CN103093750B - 音乐数据显示控制设备及方法 - Google Patents

Abstract

本发明提供了一种音乐数据显示控制设备及方法。在显示装置（22）上显示其中在由音高轴和时间轴的组合构成的二轴坐标系上显示音符的显示区域（51）。用于显示区域的显示放大率可变。在显示区域中将给定音符的音符图形显示为按照对应于给定音符的音高和音调产生时间进行布置。音符图形的尺寸根据显示放大率而改变。与显示区域中显示的音符图形相关地显示相关信息，以使得相关信息在第一显示状态中被布置在音符的音符图形内部，并且相关信息在具有比第一显示状态的第一显示放大率小的第二显示放大率的第二显示状态中被布置在音符的音符图形外部。

Description

音乐数据显示控制设备及方法

技术领域

本发明涉及一种用于显示音乐数据的技术。

背景技术

通常建议将用于在显示设备上显示由音乐数据指定的多个音符的时序的技术作为不使用五线谱（staff notation）显示乐谱的方案。例如，日本专利申请公开No.2011-128186公开了一种的技术，用于在由音高轴和时间轴的组合所构成的两轴坐标系表示的钢琴卷类型的乐谱显示区域中显示出表示乐曲的每个音符的图形（下文中称为“音符图形”），并且用于例如在矩形音符图形内部中布置并显示赋予每个音符的语音代码（例如，与演唱乐曲的每个音符相对应的歌词的一个或多个文字）。

但是，当乐谱显示区域中使用的显示放大率减小时（例如，当在时间轴方向上对将在乐谱显示区域中显示的图形进行压缩或减小时），音符图形相应地被压缩或减小。因此，存在这样的可能性，即，具有预定显示尺寸的语音代码不能纳入语音图形内部。如果语音代码的显示尺寸与音符图形中的压缩或减小相关联地减少，则语音代码可被布置在语音图形内部。但是，在这种情况下，存在用户很难清楚地看清语音代码的问题。在上述描述中，已经以诸如歌词之类的语音代码为例进行了说明。但是，当与每个音符相关的各种类型的信息（例如，表示诸如颤音之类的音乐表现的字符串或符号）被一起写入或显示在音符图形中时也可能出现同样的问题。

发明内容

鉴于上述情况，本发明的一个目的是提供一种即使在乐谱显示区域减小并显示时也能确保对每个音符的相关信息的可视性并能显示该信息的音乐数据显示控制设备。

为了实现上述目的，本发明提供了一种音乐数据显示控制设备，其包括：控制部分，用于执行显示控制以使得：在显示装置上显示一个显示区域，在该显示区域中在由音高轴和时间轴的组合构成的二轴坐标系上显示音符，其中施加至显示区域的显示放大率可变；在该显示区域中将给定音符的音符图形显示为按照对应于给定音符的音高和音调产生时间进行布置，其中音符图形的尺寸根据显示放大率而改变；并且与显示区域中所显示的音符图形相关地显示相关信息，其中在具有第一显示放大率的第一显示状态中，将相关信息布置在音符的音符图形内部，在具有比第一显示状态的第一显示放大率小的第二显示放大率的第二显示状态中，以与第一显示状态中的布置不同的方式布置相关信息。根据实施例，在第二显示状态中相关信息布置在音符的音符图形的外部。

根据本发明，在其中施加至乐谱显示区域的显示放大率相对较高的第一显示状态中，相关信息布置在每个音符图形内部。在其中施加至乐谱显示区域的显示放大率相对较低的第二显示状态中，以与第一显示状态中的布置不同的方式布置相关信息；例如，相关信息布置在每个音符图形外部。由此，即使在显示区域中所显示的图形被压缩或缩小时，相关信息也能以适当形式显示从而用户可以容易地查看显示区域。而且，相关信息可以是与音符相关的任意信息（属性信息）。例如，给予音符的语音代码（歌词和音素符号）可示例为相关信息。

根据本发明的实施例，在第二显示状态中，控制部分可执行对相关信息的显示控制以使得在显示区域中将相关信息布置在音符的音符图形周围。因此，由于相关信息布置在显示区域中的音符的音符图形的周围，所以可获得用户能容易地理解音符图形与相关信息之间的关系的优势。该实施例的示例将在下文中描述为第一至第六实施例。

根据本发明的实施例，在第二显示状态中，控制部分可执行显示控制以便在显示区域中的时间轴方向上显示相关信息的多个部分。因此，相关信息的多个部分选择性地布置在显示区域中。因此，即使显示放大率极大地减小，也可以获得这样的优势，即，虽然用户查看相关信息的多个部分，但是用户仍然可查看该相关信息。该实施例的示例将在下文中描述为第三实施例。

根据本发明的实施例，在第二显示状态中，控制部分可执行显示控制以使得在显示区域中将形成相关信息的对应于一个或多个连续音符的多个字符的组沿着音高轴方向显示成一列。因此，由于形成单个相关信息或多个连续的相关信息片段的一组多个字符在显示区域中沿着音高轴方向显示成一列，所以可获得这样的优势，即，与在时间轴方向上布置多个相关信息片段的情况相比，很容易确保每个相关信息的显示尺寸。该实施例的示例将在下文中描述为第四实施例。

根据本发明的一个实施例，在第二显示状态中，控制部分可执行显示控制以使得当用户利用指针指定音符图形时，与音符图形相关地显示相关信息。因此，对应于利用指针指定的音符图形的相关信息与音符图形相关地显示。因此，当没有利用指针指定音符图形时，不显示相关信息，由此可以获得简化显示区域中的显示的优势。而且，可以获得用户能够根据指针的指定随意地查看期望的相关信息的优势。该实施例的示例将在下文中描述为第五和第六实施例。本发明的实施例并不限于用户仅仅指定一个音符图形的情况。即使指定了多个音符图形，也可以针对所指定的每个音符图形来显示相关信息。

根据本发明的一个实施例，在第二显示状态中，控制部分可执行显示控制以使得相关信息显示在显示装置上所设置的辅助区域中，而不是显示在显示区域中。因此，由于每个相关信息显示在与其中布置了各个音符图形的显示区域分开的辅助区域中，所以与其中音符图形和相关信息都布置在显示区域中的情况相比，有利于单独地确认音符的时序布置以及各个相关信息的操作。而且，在其中相关信息被布置在辅助区域中的时间轴方向上的每个音符的音调产生时间点所对应的位置处的配置中，可以获得用户能够很容易地理解每个音符图形与每个相关信息之间的对应关系的优势。该实施例的示例将在下文中描述为第七实施例。

当然，根据本发明的音乐数据显示控制设备可通过诸如专用于显示音乐数据的数字信号处理器（DSP）之类的硬件（电子电路）来实现，并且还可以通过诸如中央处理单元之类的通用算术处理装置和程序的协作来实现。可以以存储在计算机可读记录介质中的形式提供根据本发明的程序并将其安装在计算机中。还可以以经由通信网络传递的形式提供程序并将其安装在计算机中。

附图说明

下文将参考附图仅仅通过示例的方式来详细描述本发明的一些优选实施例，附图中：

图1是图示出根据本发明的音乐数据显示控制设备的实施例的语音合成设备的框图；

图2是图示出音乐数据的示意图；

图3是根据本发明的第一实施例的第一显示状态下的编辑屏幕的示意图；

图4是根据第一实施例的第二显示状态下的编辑屏幕的示意图；

图5A和5B是分别示出了显示控制部分进行的显示控制处理的示例的流程图；

图6是根据本发明的第二实施例的第二显示状态下的编辑屏幕的示意图；

图7是根据本发明的第三实施例的第二显示状态下的编辑屏幕的示意图；

图8是根据本发明的第三实施例的修改示例的第二显示状态下的编辑屏幕的示意图；

图9是根据本发明的第四实施例的第二显示状态下的编辑屏幕的示意图；

图10是根据本发明的第五实施例的第二显示状态下的编辑屏幕的示意图；

图11是根据本发明的第六实施例的第一显示状态下的编辑屏幕的示意图；

图12是根据本发明的第六实施例的第二显示状态下的编辑屏幕的示意图；

图13是根据本发明的第七实施例的第二显示状态下的编辑屏幕的示意图；

图14是根据本发明的第七实施例的修改示例的第二显示状态下的编辑屏幕的示意图；以及

图15是根据本发明的第八实施例的第二显示状态下的一部分编辑屏幕的示意图。

具体实施方式

<第一实施例>

图1是图示出采用本发明的音乐数据显示控制设备的实施例的语音合成设备100的框图。语音合成设备100是通过片段连接类型的语音合成来产生歌唱声的语音信号S的信号处理设备。如图1所示，语音合成设备100可通过包含算术处理装置12、存储装置14、显示装置22、输入装置24和发声装置26的计算机系统来实现。例如，语音合成设备100可通过固定的信息处理设备（个人计算机）或便携的信息处理设备（便携电话或便携信息终端）来实现。

算术处理装置12通过执行存储装置14中存储的程序PGM来实现多种功能（即，作为显示控制部分32、编辑处理部分34以及语音合成部分36的功能）。算术处理装置12的功能可分布至多个集成电路，或者一些功能可通过专用电子电路（例如，DSP）实现。一般，语音合成设备100的算术处理装置12以及与之相关的部分（PGM等）起到本发明的音乐数据显示控制设备的作用。

显示装置22（例如，液晶显示装置）显示算术处理装置12所指示的图形。输入装置24是从用户接收指令的装置（例如，诸如鼠标或键盘之类的点击装置）。而且，与显示装置22整体构成的触摸板可用作输入装置24。发声装置26（例如，耳机和/或扬声器）根据算术处理装置12所产生的语言信号S来发出声波。

存储装置14存储将被算术处理装置12处理的程序PGM和/或被算术处理装置12使用的各类数据（语音片段DA的数据集和音乐数据DB）。诸如半导体记录介质或磁记录介质之类的已知记录介质或者多种记录介质的组合可用作存储装置14。

语音片段DA的数据集是包括多个片段数据的语音合成库，其中每个片段数据对应于多个不同的语音片段中的一个（例如，每个片段数据包括相应语音片段的波形样本序列），并且该语音合成库被用来为其提供语音合成的材料。语音片段可以是音素（例如，元音或辅音），音素是用于在语言含义或通过将多个音素彼此连接而形成的音素链（例如，双连音或三连音）之间进行区分的最小单位。在本说明书中，语音通常指的是语言上的人类语音。由此，例如，用于演唱特定歌词的人类语音可通过组合从语音片段DA选出的多个语音片段来合成。

音乐数据DB包括用于指定构成乐曲的多个音符的数据组，并且音乐数据DB中可包含多个这种数据组。例如，如图2所示，一个乐曲的音乐数据DB包括多个与用于构成一个乐曲的每个音符相对应的单位数据U。每个单位数据U由指定音符的音高X1、音调产生时间点X2、持续时间长度X3和语音代码X4的数据集构成。音高X1是表示音符的音高（实际上是，给予每个音高的音符号）的数据。音调产生时间点X2是表示音符的音调产生时的时间（音调起始时间点）的数据。持续时间长度X3是表示其中产生音符的音调所持续的时间长度（音值）的数据。即，一个音符的音调产生时间段由音调产生时间点X2和持续时间长度X3所定义。音调产生时间点X2和持续时间长度X3对应于表示音调产生时间的信息。语音代码X4可以是表示了将要按照音符产生的由诸如歌词之类的人类语音所表达的信息的代码数据，或者可以是表示了与音符相关的给定信息的其它数据，而不限于上述代码数据。即，语音代码X4是与音符有关的相关信息。例如，语音代码X4（相关信息）可以是通过作为具体语言系统中的字素（grapheme）的字符（例如，字母字符、古代斯拉夫语字符、阿拉伯字母字符、中文字符、或者日语的假名和汉字字符）来表示歌词（或者其它符号和/或描述）的数据，或者可以是以音标（phonetic symbol）表示歌词的数据。为了便于下面的描述，日语歌词以罗马字符表示的字符将被示例为语音代码X4。

图1中的显示控制部分32进行控制以便在显示装置22上显示图3所示的编辑屏幕50，由此用户可视觉地确定音乐数据DB的内容。如图3所示，编辑屏幕50包括乐谱显示区域51。乐谱显示区域51是一个由二维坐标平面形成的显示区域，该二维坐标平面以类似于已知的钢琴卷类型屏幕的形式显示了乐谱。即，乐谱显示区域51由彼此交叉的二轴坐标系（例如，水平轴和竖直轴）构成。显示对象的时间轴（乐谱，即，多个音符的时序）可被分配给二轴坐标系的一个轴（例如，水平轴），显示对象的音高轴可被分配给二轴坐标系的另一个轴（例如，竖直轴）。在图3中，时间轴方向上以规则间隔布置的竖直的虚线L表示与乐曲内一个节拍相对应的时段的边界（下文中称为“节拍线”）。即，时间轴上彼此相邻的两条节拍线L之间的间隔对应于乐曲的一个节拍的时间长度。按照这样的方式，显示控制部分32执行显示控制以使得显示区域51（在该显示区域51中将音符显示在由音高轴和时间轴的组合所构成的二轴坐标系上）显示在显示装置22上。向显示区域51施加（或使用）的显示放大率可改变而减小和/或增大。在该实施例中，向显示区域51施加（或使用）的显示放大率可在时间轴方向上改变。可替换地，向显示区域51施加（或使用）的显示放大率可以在音高轴方向上改变、或者在音高轴方向和时间轴方向上都改变。

在乐谱显示区域51中，表示（或渲染）音乐数据DB所指定的每个音符的音符图形V根据音高和音调产生时间以二维布置进行显示。在第一实施例中，音符图形V是矩形图形。针对乐曲中对应于音乐数据DB的局部部分（下文中称为“显示目标部分”）中存在的一个或多个音符的一个或多个音符图形V被显示在乐谱显示区域51中。根据音乐数据DB中包含的音高X1的数据来设置音符图形V在音高轴（竖直轴）方向上的位置。根据音乐数据DB中包含的音调产生时间点X2的数据来设置音符图形V在时间轴（水平轴）方向上的位置（时序布置）。根据音乐数据DB中包含的持续时间长度X3的数据来设置音符图形V在时间轴方向上的显示长度。即，持续时间长度X3越长，音符图形V的显示长度越长。因此，根据本实施例的音符图形V表示给定音符的音高X1、音调产生时间点X2、和持续时间长度X3。对应于音符的音调信号根据乐谱显示区域51中显示的多个音符的时序而自动合成，由此可根据所产生的音调信号通过发声装置26产生声学声音。按照这样的方式，显示控制部分32还执行显示控制以使得给定音符的音符图形按照与音高和音调产生时间相对应的布置被显示在显示区域51中。如下所述，显示区域51中显示的每个音符图形V的尺寸随着施加至显示区域51的显示放大率而改变。

如图3所示，编辑屏幕50包括用户用来改变乐谱显示区域51的时间轴方向上的显示放大率R的操作器图像（滑块图像）52。用户可利用输入装置24适当地对操作器图像52进行操作。显示控制部分32将时间轴方向上的显示放大率R设置为可响应于用户对操作器图像52的操作而变化。

在本实施例中，显示放大率R对应于乐谱显示区域51中的乐曲的单位时间的显示长度（例如，乐曲的一个节拍的时间长度）。由此，随着显示放大率R增大（乐谱显示区域51中的单位时间的显示长度增大），乐曲中的显示目标部分变窄。因此，乐谱显示区域51中显示的乐曲中的节拍数或小节数减少地越多（节拍线L的宽度扩展），每个音符图形V在时间轴方向上的尺寸扩展地越多。另一方面，随着显示放大率R减小（乐谱显示区域51中单位时间的显示长度减小），乐曲中显示目标部分的范围拓宽。因此，乐曲中在乐谱显示区域51中显示的小节数或节拍数增多（节拍线L的宽度减小），从而音符图形V在时间轴方向上的尺寸变小。在本实施例中，即使显示放大率R改变，乐谱显示区域51本身的物理显示尺寸也不会变化。

显示控制部分32从存储装置14获取将要显示的音乐数据DB，并且控制所获取的音乐数据DB中包含的每个音符的语音代码X4，以使得语音代码X4根据所指定的显示放大率R按照不同的形式或布置进行显示。具体地说，显示控制部分32控制语音代码X4的显示位置，以使得语音代码X4的显示位置在显示放大率R不同的至少两种状态之间变化，这两种状态分别是其中显示放大率R相对较高（第一显示放大率）的第一显示状态以及其中显示放大率R相对较低（第二显示放大率）的第二显示状态。例如，第一显示状态是其中音符图形V在时间轴方向上的显示长度（表示音乐数据DB所指定的多个音符中的最短音符）大于预定值的状态（其中显示放大率R大于阈值的情况）。例如，第二显示状态是其中音符图形V在时间轴方向上的显示长度（表示音乐数据DB所指定的多个音符中的最短音符）小于预定值的状态（其中显示放大率R小于阈值的情况）。由此，第一显示状态中的音符图形V的尺寸大于第二显示状态中的音符图形V的尺寸。图3是图示出第一显示状态下的编辑屏幕50的显示示例的示图。图4是图示出第二显示状态下的编辑屏幕50的显示示例的示图。显示控制部分32可配置成从不限于存储装置14的任意源（例如，外部服务器设备）获取将被显示的音乐数据DB。

在第一显示状态中，如图3所示，显示控制部分32将音乐数据DB在显示目标部分内的每个音符中指定的语音代码X4布置在音符的音符图形V的轮廓内部。即，语音代码X4被显示为与音符图形V重叠。

另一方面，在具有比第一显示状态小的显示放大率R的第二显示状态中，显示控制部分32将音乐数据DB在显示目标部分内的每个音符中指定的语音代码X4布置在音符图形V外部，如图4所示。例如，每个音符的语音代码X4布置在音高轴方向的负方向上（向下方向）与每个音符的音符图形V的底边相距预定距离的位置处。语音代码X4在时间轴方向上的位置根据音调产生时间点X2来进行选择，如音符图形V那样。

如上所述，在正常显示时间（第一显示状态）在音符图形V内部显示语音代码X4，并且在缩短显示时间（第二显示状态）在音符图形V外部显示语音代码X4。即，当显示放大率R在其中语音代码X4布置在音符图形V内部的第一显示状态中逐渐减小时，每个音符图形V在时间轴方向上逐渐减小。音符图形V在时间轴方向上的显示长度下降至预定值以下的阶段（即，在显示放大率R下降至阈值以下的阶段），状态从第一显示状态转换至第二显示状态，并且语音代码X4从每个音符图形V的内部移动至外部。例如，第一显示状态下的语音代码X4的显示尺寸与第二显示状态下的语音代码X4的显示尺寸一样。但是，语音代码X4的显示尺寸在第二显示状态中可相对第一显示状态进一步地适当减小，只要语音代码X4可被容易地看见即可。按照这样的方式，控制部分32还执行显示控制以使得相关信息（语音代码X4）与显示区域51中显示的音符图形V相关地显示，并且相关信息（语音代码X4）在第一显示状态下布置在音符的音符图形V内部，并且相关信息（语音代码X4）在显示放大率小于第一显示状态的第二显示状态下布置在音符的音符图形V外部。

图5A是图示了算术处理装置12的处理器可执行的用以实现显示控制部分32的功能的计算机程序的主处理的示意步骤的流程图。在步骤S1中，以显示乐谱显示区域51的方式执行显示控制，在乐谱显示区域51中用于在由音高轴和时间轴的组合构成的二轴坐标系上显示音符。如上所述，施加至乐谱显示区域51的显示放大率R可根据用户的操作等而改变。换言之，乐谱显示区域51中显示的显示元素可根据显示放大率R而在时间轴方向上收缩或扩展。在步骤S2中，以在乐谱显示区域51中将给定音符的音符图形V显示为与音高X1和音调产生时间（音调产生时间点X2和持续时间长度X3）相对应地布置的方式执行显示控制。在步骤S1或S2中，显示控制部分32执行用于改变的处理从而根据显示放大率R在时间轴方向上收缩或扩展乐谱显示区域51中必须的显示元素。即，在步骤S2中，显示控制部分32还执行根据显示放大率R来在时间轴方向上增大或减小音符图形V的尺寸的改变处理。在步骤S3中，以如下方式执行显示控制：使得相关信息（语音代码X4）与乐谱显示区域51中显示的音符图形V相关地显示、并且相关信息（语音代码X4）在第一显示状态下布置在音符的音符图形V内部并且相关信息（语音代码X4）在第二显示状态下布置在音符的音符图形V外部。此处，第二显示状态的显示放大率R小于第一显示状态的显示放大率R。步骤S3对应于第三控制部分32c的功能。如通常所知的，包括步骤S1至S3的处理被重复执行。

图5B是图示了上述步骤S3中执行的处理的细节并且其中根据显示放大率R控制相关信息（语音代码X4）的显示位置的流程图。例如，无论何时用户操作输入装置24以给出指定（改变）显示放大率R的指令，都执行图5B中的处理。而且，例如，当启动编辑屏幕50的显示时，首先选择第一显示状态。当图5B中的处理开始时，显示控制部分32确定用户指示的显示放大率（改变后的显示放大率）R是否大于预定阈值RTH（S31）。当显示放大率R大于阈值RTH（步骤S31中的是）时，显示控制部分32选择第一显示状态（S32）。即，将每个音符的语音代码X4布置在音符图形V内部。相反，当显示放大率R等于或小于阈值RTH（步骤S31中的否）时，显示控制部分32选择第二显示状态（S33）。即，将每个音符的语音代码X4布置在音符图形V外部。每次用户做出了指定（或者改变）显示放大率R的操作时都执行上述处理，从而，随后将每个音符的语音代码X4以适合于显示放大率R的显示形式（第一显示状态或第二显示状态）进行显示。

在图1中，编辑处理部分34用于响应于用户对乐谱显示区域51中的显示元素的操作或指令，编辑音乐数据DB中包含的每个数据或状态的值。例如，当接收到改变乐谱显示区域51中现有的音符图形V的位置的指令时，与音符图形V相对应的单位数据U的音高X1和音调产生时间点X2发生改变。当接收到改变音符图形V的长度的指令时，与音符图形V相对应的单位数据U的持续时间长度X3发生改变。而且，当接收到改变或添加与每个音符图形V相对应的语音代码X4的指令时，改变或添加与音符图形V相对应的单位数据U的语音代码X4。而且，当接收到添加音符图形V的指令时，与音符图形V相对应的单位数据U被添加至音乐数据DB。

图1所示的语音合成部分36利用语音片段DA和音乐数据DB产生语音信号S。具体地说，首先，语音合成部分36从语音片段DA中针对由音乐数据DB所指定的每个音符依次选择与语音代码X4相对应的语音片段的片段数据。其次，语音合成部分36将每个片段数据调节为单位数据U所指定的音高X1和持续时间长度X3。然后，语音合成部分36通过以由单位数据U所指定的音调产生时间点X2对调节后的各片段数据进行排列和连接来产生语音信号S。语音合成部分36所产生的语音信号S被提供至发声装置26并被再现为声波。

如上所述，语音代码X4在第一显示状态下显示在音符图形V内部，并且在显示放大率R比第一显示状态的小的第二显示状态下显示在音符图形V外部。由此，根据第一实施例，即使乐谱显示区域51中的显示放大率R减小，也可以获得充分地确保语音代码X4的可视性的优势。就明确每个音符（音符图形V）和语音代码X4之间的对应关系的观点而言，将语音代码X4布置在音符图形V内部的显示布局是有利的。即，根据第一实施例，当第一显示状态与其中语音代码X4被配置成显示在音符图形V外部的第二显示状态相比时，第一显示状态的更有利之处在于，可以清楚地理解音符图形V和语音代码X4之间的对应关系。但是，即使在第二显示状态下，也可以理解语音代码X4和音符图形V之间的对应关系，这是因为语音代码X4布置在音符图形V的周围。

<第二实施例>

将描述本发明的第二实施例。在将要示例说明的每个实施例中的操作和功能中，上述参考标记被分配给与第一实施例的构成元素相同的构成元素，并且将适当省略对其的详细描述。

图6是图示出根据第二实施例的第二显示状态下的编辑屏幕50的示意图。在第一实施例中，在第二显示状态下，语音代码X4在音高轴方向上的位置被配置成对于每个音符来说彼此不同。在第二实施例，如图6所示，乐谱显示区域51中的多个语音代码X4在时间轴方向上排成一条线。具体地说，显示控制部分32在处于乐谱显示区域51中的起始（最左侧）音符图形V的底边下方并与之相距适当距离的位置处，将乐谱显示区域51中的多个语音代码X4布置在一条直线上。即，多个语音代码X4在音高轴方向上的位置是相同的。与第一实施例类似，根据每个音符的音调产生时间点X2来选择每个语音代码X4在时间轴方向上的位置。第一显示状态中的显示图像与第一实施例相同。

在第二实施例中，可以获得与第一实施例相同的优势。在第二实施例中，由于多个语音代码X4在时间轴方向上布置成直线，所以与第一实施例相比，可以获得用户可以容易地确认语音代码X4的时序的优势。

<第三实施例>

图7是图示出根据第三实施例的编辑屏幕50的示意图。在图7中，图示了编辑屏幕50的显示示例，其中显示放大率R相对于图6所示例的第二显示状态进一步减小。第一显示状态下的显示图像与第一实施例相同。

当显示放大率R在第二显示状态中减小至预定阈值以下时，显示控制部分32将与乐谱显示区域51中的各音符相对应的多个语音代码X4的时序在时间轴上分成前部分和后部分，并且仅仅在乐谱显示区域51中布置前部分（布置在每个音符图形V外部），如图7所示。即，不显示后部分。在图7中，图示了一种情况，其中显示目标部分中的语音代码X4的时序“sa-i-ta、sa-i-ta”被分成前部分“sa-i-ta”和后部分“sa-i-ta”，并且后部分未被显示。将多个语音代码X4划分成前部分和后部分的任意方法都可以采用。例如，可利用乐曲中的休止符（例如，时间轴上前后音符的音调产生时段彼此分开的时间点）或者用户指定的时间点作为边线来将多个语音代码X4的时序分成前部分和后部分。

在第三实施例中，可以获得与第一实施例相同的优势。在第三实施例中，当显示放大率R减小时，多个语音代码X4中的一些被省略而仅仅显示剩下的部分。因此，即使显示放大率R显著减小，也能获得用户可部分确定语音代码X4的优势。

而且，可利用乐曲中的休止符作为边线将音符图形V的时序分成多个集合（下文中称为“乐句”），并且可针对每个乐句布置语音代码X4的时序。例如，在图8中，示例了这样的情况，其中在前后相连位置处指定语音代码X4的乐句“saita，saita”以及语音代码X4的乐句“tulip no hana ga”。每个乐句的语音代码X4被布置在与该乐句中的起始音符图形V相对应的位置（音符图形V的起始时间点的位置）处的后方，并且语音代码X4的一部分（末端侧）被省略以便不与紧跟其后的帧重叠。例如，在图8的示例中，前乐句“saita，saita”的语音代码X4的起始侧“sai”之后的语音代码X4被省略，并且后乐句“tulip no hana ga”的语音代码X4的起始侧“tuli”之后的语音代码X4被省略。从图8的示例可以理解，语音代码X4的位置可被配置成根据音符图形V改变。而且，语音代码X4和音符图形V可被显示成彼此重叠（语音代码X4和音符图形V之一布置在另一个的前面）。

<第四实施例>

图9是图示出根据第四实施例的编辑屏幕50的示意图。在图9中，当如图7所示显示放大率R相对于图6所示的第二显示状态进一步减小时，图示出编辑屏幕50的显示示例。第一显示状态中的显示图像与第一实施例相同。

当显示放大率R在第二显示状态中下降至小于预定阈值时，显示控制部分32将与乐谱显示区域51中的音符相对应的多个语音代码X4的时序划分成多个部分（下文中称为部分代码时序），并且将各部分代码时序的多个语音代码X4沿着音高轴方向布置在一条线上，如图9所示。具体地说，使用在与部分代码时序中的起始语音代码X4相对应的音符图形V的底边下方适当距离的位置作为起始时间点，将部分代码时序的多个语音代码X4布置在音高轴方向上。在图9中，示例了这样的情况，其中显示目标部分中的语音代码X4的时序“saita，saita”被分成前半部分代码行“saita”以及后半部分代码“saita”。可以采用将多个语音代码X4划分成各部分代码时序的任意方法。例如，可利用乐曲中的休止符或者用户指定的时间点作为边线将多个语音代码X4的时序划分成多个部分代码时序。在本实施例中，将沿着音高轴方向布置成一条线而显示的一组多个字符形成为一个或多条连续的相关信息。

在第四实施例中，可以获得与第一实施例相同的优势。在第四实施例中，当显示放大率R减小时，多个语音代码X4的布置方向由时间轴方向变为音高轴方向（竖直方向）。因此，即使显示放大率R极大地减小，也可以获得可适当布置语音代码X4的优势。

<第五实施例>

图10是图示了根据第五实施例的第二显示状态下的编辑屏幕50的示意图。如图10所示，显示控制部分32显示了可由用户操作来指定显示装置22上的显示屏的任意位置的指针（例如，鼠标指针）60。用户可通过适当操作输入装置24来移动指针60至任意位置。

在其中显示放大率R较低的第二显示状态中，与乐曲的显示目标位置中的每个音符相对应的音符图形V被布置在乐谱显示区域51中。在第五实施例中，当指针60没有在第二显示状态下指定任何音符图形V时，不显示每个音符的语音代码X4。即，当显示放大率R从第一显示状态逐渐减小时，每个音符的语音代码X4在从第一显示状态转换成第二显示状态的时间点被擦除。

在第二显示状态中，当指针60指定了乐谱显示区域51中的期望的音符图形V（例如，指针60移动至期望的音符图形V的附近）时，显示控制部分32在显示装置22上显示与该期望的音符图形V相对应的音符的语音代码X4。具体地说，如图10所示，语音代码X4以气球状图形62布置在期望的音符图形V的周围（指针60的附近）。当指针60对音符图形V的指定取消时（例如，指针60从音符图形V移动至其它位置），语音代码X4的显示（图形62）被清除。即，在第五实施例中，用户在乐谱显示区域51中显示的多个音符中指定的一个音符的语音代码X4被暂时显示在该音符的音符图形V的周围。第一显示状态下的显示图像与第一实施例相同。

在第五实施例中，可以获得与第一实施例相同的优势。在第五实施例中，当用户没有指定任何音符图形V时，语音代码X4未被显示。因此，可以获得简化了乐谱显示区域51并且用户可以容易地确认每个音符图形V（乐曲中的音符的时序）的优势。另一方面，由于响应于用户的指定而在音符图形V周围显示语音代码X4，所以可以充分地确保语音代码X4的可视性。

在上面的描述中，语音代码X4布置在用户所选的单个音符图形V的周围。但是，用户可任意选择多个音符图形V。针对用户所选的多个音符图形V的每一个显示语音代码X4。而且，当对输入装置24执行预定操作（例如，对具体操作器的按压操作）时，可配置成显示所有指定音符的语音代码X4或者一些特定音符的语音代码X4。

<第六实施例>

图11是根据第六实施例的第一显示状态下的编辑屏幕50的示意图。在第一显示状态中，如图11所示，针对乐谱显示区域51中的每个音符布置音符图形V、语音代码X4、以及辅助图形W。在第一显示状态下，语音代码X4布置在音符图形V内部，如第一实施例那样。

辅助图形W是其中示意性地示出了表示每个音符的音乐特征的附加信息的图形。例如，附加信息设置在音乐数据DB中。例如，附加信息指定了诸如音符的音量（速度）、颤音深度或时间、发音程度（例如发声时嘴的张开程度）、音高的波动（即音调弯曲（pitchbench））、延音的存在与否之类的表达参数。在图11中，图示了表示对附加信息所指定的颤音进行施加的辅助图形W。

图12是根据第六实施例的第二显示状态下的编辑屏幕50的示意图。如第一实施例中那样，在具有更低显示放大率R的第二显示状态中，如图12所示，与第一显示状态相比，音符图形V在时间轴方向上进一步减小，并且辅助图形W与显示放大率R的减小相关联地也在时间轴方向上减小。当第二显示状态下没有指定任意音符图形时，每个音符的语音代码X4被设置成不显示。

当用户通过操作指针60在第二显示状态下指定乐谱显示区域51中的期望的音符图形V时，如图12所示，显示控制部分32以与第一显示状态相同的形式（具有类似尺寸）将与音符图形V相对应的音符的音符图形V'、语音代码X4以及辅助图形W'布置在用户指定的音符图形V的周围。具体地说，气球状图形62布置在用户指定的音符图形V的周围，并且音符图形V'、语音代码X4、辅助图形W'以容易被用户查看的尺寸布置在图形62内部。而且，多个音符图形V可构造成由用户选择，并且用户所选的多个音符图形V的每一个的音符图形V'、语音代码X4和辅助图形W'可分别对应气球状图形62进行显示。

在第六实施例中，可以获得与第一实施例相同的优势。在第六实施例中，当在第二显示状态下指定一个音符时，表示与该音符有关的附加信息的辅助图形W与语音代码X4一起显示在音符图形V周围。因此，通过在第二显示状态下省略每个音符的语音代码X4的显示，可以获得简化乐谱显示区域51并且用户可详细确认每个音符的音乐信息（语音代码X4和附加信息）的优势。应该注意的是，附加信息是相关信息以及语音代码X4。

<第七实施例>

图13是根据第七实施例的第二显示状态下的编辑屏幕50的示意图。如图13所示，根据第七实施例的编辑屏幕50不仅包括其中布置了每个音符的音符图形V的乐谱显示区域51，而且包括辅助区域53。在具有较低的显示放大率R的第二显示状态下，显示控制部分32在辅助区域53中显示与显示目标部分中的每个音符相对应的语音代码X4。具体地说，语音代码X4沿时间轴以恒定间隔布置在辅助区域53中。乐谱显示区域51中未显示语音代码X4。而且，在第一显示状态下，语音代码X4布置在乐谱显示区域51中的每个音符图形V内部，并且辅助区域53中未显示语音代码X4，如第一实施例所示。

在第七实施例中，可以获得与第一实施例相同的优势。在根据第七实施例的第二显示状态下，每个音符的语音代码X4布置在与乐谱显示区域51分开的辅助区域53中。因此，与其中在乐谱显示区域51中与音符图形V一起显示语音代码X4的配置相比，可以获得用户可以容易地查看语音代码X4的时序的优势。

在图13的示例中，多个语音代码X4以恒定间隔布置在辅助区域53中。但是，如图14所示，语音代码X4可布置在每个音符图形V在辅助区域53中的时间轴方向上的端点（即，每个音符的音调产生时间点X2）的位置处。在图14的配置中，可以获得用户可以很容易地理解乐谱显示区域51中的每个音符图形V与辅助区域53中的每个语音代码X4之间的对应关系的优势。

从上述每个实施例的描述可以理解的是，第二显示状态下语音代码X4的显示位置被涵盖为在音符图形V的外部。即，音符图形V外部至少包括第一至第六实施例中示例的音符图形V的周围（乐谱显示区域51内部）以及第七实施例中示例的辅助区域53内部。另一方面，第一显示状态下语音代码X4的显示位置被涵盖为在音符图形V的内部（音符图形V的轮廓内部）。

<第八实施例>

在上述每个实施例中，已经示例了当显示放大率R减小时音符图形V在时间轴方向上的长度减小为语音代码X4不被显示在其内部的程度的配置。在第八实施例中，如图15所示，当显示放大率R下降至阈值以下（第二显示状态）时，音符图形V在时间轴方向上的显示长度被设置为预定长度（下文中称为“基准长度”）Q。即，每个音符图形V与显示放大率R的减小相关联地在时间轴方向上减小，但是没有减小到小于基准长度Q的显示长度。由此，在其中显示放大率R小于阈值的第二显示状态下，音符图形V在时间轴方向的显示长度（基准长度Q）大于与每个音符的持续时间长度X3相对应的显示长度q。基准长度Q被设置为语音代码X4可适当地显示在音符图形V内部的长度，并且即使在第二显示状态下，每个音符的语音代码X4也布置在音符图形V内部。

在第八实施例中，即使显示放大率R小于阈值时，音符图形V在时间轴方向上的显示长度也保持为基准长度Q，并且语音代码X4布置在音符图形V内部。由此，即使乐谱显示区域51缩小并显示，也能获得确保语音代码X4的可视性的优势。

<修改示例>

可以以各种形式修改上述每个实施例。下面将描述具体修改示例。从下述示例中任意选择的两个或更多示例可适当结合。

（1）在上述每个实施例中，已经描述了用于合成语音的音乐数据DB，但是音乐数据DB并不限于语音合成数据。例如，即使表示乐曲（例如，演唱乐曲）的乐谱的音乐数据DB显示在显示装置22上（不考虑语音合成是否执行），也可应用本发明。

（2）在上述每个实施例中，已经以歌词（发音字符）作为语音代码X4的示例进行了说明。例如，音素符号可配置成被显示为语音代码X4，或者发音字符和音素代码的组合可配置成被显示为语音代码X4。而且，与音符图形V一起显示的非相关信息并不限于语音代码X4。例如，可在音符图形V的内部或外部显示表示添加至每个音符的语音的颤音的类型的代码（字符串、符号或图形），而不是显示上述每个实施例的语音代码X4（或者可与语音代码X4一起显示）。例如，当表示乐器的乐谱的音乐数据DB被显示在显示装置22上时，可在音符图形V的内部或外部显示诸如用于演奏每个音符的乐器类型或乐音的特征之类的信息，而不是显示语音代码X4。从以上描述可以理解，根据本发明显示在音符图形内部或外部的信息被涵盖为与每个音符相关的信息（相关信息），并且语音代码X4是相关信息的一个示例。而且，相关信息还可以是表示每个音符的属性的属性信息。例如，将要显示在显示装置22上的相关信息的类型（例如，歌词、音素代码、与颤音有关的信息等当中的哪个被显示）可根据用户对输入装置24的操作而改变。

（3）在上述每个实施例中，乐曲的单个演奏部分的音符已经显示在乐谱显示区域51中。但是，乐曲的多个演奏部分的音符可以同时或选择性地显示在乐谱显示区域51中。可在每个部分中以不同形式（即，其中可根据色调或灰度的不同来视觉区分多个部分的音符图形V的多种形式）显示音符图形V。

（4）在上述一些实施例中，已经描述了其中在第二显示状态下语音代码X4不显示在音符图形V内部的配置。但是，语音代码X4在第二显示状态下可显示在音符图形V的内部及外部。当语音代码X4被配置成显示在音符图形V的内部及外部时，布置在音符图形V内部的语音代码X4的显示尺寸可与显示放大率R的减小相关联地减小。

（5）按时序显示在显示装置22上的语音代码X4（相关信息）可以以强调的方式在合成语音时（乐曲再现时）与再现进程相关联地依次显示。例如，与再现位置相对应的语音代码X4可配置成以与其它语音代码X4不同的方式显示。

（6）语音代码X4（相关信息）的布置位置可适当变化。例如，语音代码X4可配置成布置在用户预先指定的位置（例如，音符图形V上的位置），或者语音代码X4的位置可配置成通过用户对输入装置24的操作（例如，拖拽鼠标）而改变。

（7）上述每个实施例可适当组合。例如，第七实施例的其中布置了语音代码X4的辅助区域53可添加至第一至第六实施例的编辑屏幕50。例如，在其中不显示一些语音代码X4的第三实施例中，语音代码X4（以及辅助信息等）可布置在用户通过使用指针60指定的音符图形V的周围，如第五和第六实施例那样。

（8）在上述每个实施例中，已经示例了包括编辑处理部分34和语音合成部分36的语音合成设备100。但是，本发明还可在在显示装置22上显示音乐数据DB的设备（音乐数据显示控制设备）、或者在显示装置22上显示音乐数据DB并且响应于来自用户的指令而执行编辑的设备（音乐数据编辑设备）中实现。例如，音乐数据显示控制设备具有这样的配置，其中从图1中的语音合成设备100中省略编辑处理部分34和语音合成部分36。音乐数据编辑设备具有这样的配置，其中从语音合成设备100中省略语音合成部分36。音乐数据显示控制设备可能不将显示装置22包括进来作为必要组成组件，并且用于显示指令和控制的信息可被传输至外部显示装置22。

（9）在上述每个实施例中，已经描述了这样的配置，其中存储语音片段DA和音乐数据DB的存储装置14安装在语音合成设备100上。与语音合成设备100独立的外部设备（例如，服务器设备）可配置成存储语音片段DA和音乐数据DB之一或者两者。在这种情况下，语音合成设备100经由例如通信网络从外部设备（例如，服务器设备）获取语音片段DA和/或音乐数据DB，并且根据所获取的语音片段DA和/或所获取的音乐数据DB执行对编辑屏幕50或合成语音信号VOUT的显示。由此，存储语音片段DA和/或音乐数据DB的组成组件（上述每个实施例中描述的存储装置14）不是语音合成设备100的必要组成组件。

（10）在上述每个实施例中，已经示例了采用日语的语音代码X4。但是，任何语言都可用于语音代码X4。例如，即使语音代码X4被显示为诸如英语、西班牙语、汉语或韩语之类的其它语言，也可类似地应用上述每个实施例。

Claims (11)

1.一种音乐数据显示控制设备，包括：

控制部分，用于执行显示控制以使得：

在显示装置上显示一个显示区域，在该显示区域中在由音高轴和时间轴的组合构成的二轴坐标系上显示音符，其中施加至该显示区域的显示放大率可变；

在该显示区域中将给定音符的音符图形显示为按照对应于给定音符的音高和音调产生时间进行布置，其中音符图形的尺寸根据显示放大率而改变；

将显示区域中的显示放大率与预定阈值进行比较，其中，当显示放大率大于所述预定阈值时确定所述音符图形正以第一显示状态进行显示，并且当显示放大率小于或等于所述预定阈值时确定所述音符图形正以第二显示状态进行显示；以及

响应于所确定的音符图形的显示状态，与该显示区域中所显示的音符图形相关地显示相关信息，其中当所述音符图形以第一显示状态进行显示时，将相关信息布置在音符的音符图形内部，以及当所述音符图形以第二显示状态进行显示时，以与第一显示状态中的布置不同的方式布置该相关信息，

其中在第二显示状态中，相关信息布置在音符的音符图形外部。

2.根据权利要求1所述的音乐数据显示控制设备，其中在第二显示状态中，控制部分执行对相关信息的显示控制以使得该相关信息在显示区域中布置在音符的音符图形周围。

3.根据权利要求1所述的音乐数据显示控制设备，其中在第二显示状态中，控制部分执行显示控制以使得该相关信息的多个部分在显示区域中沿着时间轴方向显示成一行。

4.根据权利要求1所述的音乐数据显示控制设备，其中在第二显示状态中，控制部分执行显示控制以使得在显示区域中将形成相关信息的对应于一个或多个连续音符的一组多个字符沿着音高轴方向显示成一列。

5.根据权利要求1至4中任一项所述的音乐数据显示控制设备，其中在第二显示状态中，控制部分执行显示控制以使得当用户利用指针指定音符图形时，与音符图形相关地显示相关信息。

6.根据权利要求1至4中任一项所述的音乐数据显示控制设备，其中在第二显示状态中，控制部分执行显示控制以使得将相关信息显示在显示装置上所设置的辅助区域中，而不是显示在显示区域中。

7.根据权利要求1所述的音乐数据显示控制设备，其中在第二显示状态中，控制部分执行显示控制以使得音符图形的显示长度保持为给定基准长度，并且相关信息按照显示长度布置在音符图形内部。

8.根据权利要求1至4、和7中任一项所述的音乐数据显示控制设备，其中显示放大率在时间轴方向和音高轴方向中至少一个方向上可变。

9.根据权利要求1所述的音乐数据显示控制设备，其中通过改变时间轴方向中的显示放大率同时保持音高轴方向中的显示放大率来改变显示区域中的显示放大率，并且

其中在第二显示状态中，所述相关信息以与第一显示状态相同的显示尺寸布置在音符的音符图形的外部。

10.根据权利要求1所述的音乐数据显示控制设备，其中所述相关信息是歌词。

11.一种控制音乐数据的显示的计算机实施方法，包括步骤：

执行显示控制以使得在显示装置上显示一个显示区域的步骤，在该显示区域中在由音高轴和时间轴的组合构成的二轴坐标系上显示音符，其中施加至该显示区域的显示放大率可变；

执行显示控制以使得在该显示区域中将给定音符的音符图形显示为按照对应于给定音符的音高和音调产生时间进行布置的步骤，其中音符图形的尺寸根据显示放大率而改变；

将显示放大率与预定阈值进行比较的步骤，其中，当显示放大率大于所述预定阈值时确定所述音符图形正以第一显示状态进行显示，并且当显示放大率小于或等于所述预定阈值时确定所述音符图形正以第二显示状态进行显示；以及

响应于所确定的音符图形的显示状态执行显示控制以使得与显示区域中所显示的音符图形相关地显示相关信息的步骤，其中当所述音符图形以第一显示状态进行显示时，将相关信息布置在音符的音符图形内部，并且当所述音符图形以第二显示状态进行显示时，以与第一显示状态中的布置不同的方式布置相关信息，

其中在第二显示状态中，相关信息布置在音符的音符图形外部。