CN106463111A - 基于字符的话音生成的控制器与系统 - Google Patents

基于字符的话音生成的控制器与系统 Download PDF

Info

Publication number
CN106463111A
CN106463111A CN201580032999.0A CN201580032999A CN106463111A CN 106463111 A CN106463111 A CN 106463111A CN 201580032999 A CN201580032999 A CN 201580032999A CN 106463111 A CN106463111 A CN 106463111A
Authority
CN
China
Prior art keywords
speech
character
tone
selector
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580032999.0A
Other languages
English (en)
Other versions
CN106463111B (zh
Inventor
滨野桂三
柏瀬辉
柏瀬一辉
太田良朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN106463111A publication Critical patent/CN106463111A/zh
Application granted granted Critical
Publication of CN106463111B publication Critical patent/CN106463111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G10L13/0335—Pitch control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/315—User input interfaces for electrophonic musical instruments for joystick-like proportional control of musical input; Videogame input devices used for musical input or control, e.g. gamepad, joysticks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

将话音生成设备(10b)被配置为能够生成对应于预定义的字符串中一个或多个所指定的字符的话音。话音生成设备的控制器(10a)，配有字符选择器(60a)，将其配置为能够由用户加以操作，以指定字符串中一个或多个所指定的字符；以及话音控制操作器(60b)，将其配置为能够由用户加以操作，以控制话音生成设备将加以生成的话音的状态。控制器(10a)配有适合于用户手持的手柄(G)，并且将字符选择器和话音控制操作器提供在手柄上。将字符选择器和话音控制操作器提供在手柄上的可以由持有手柄的用户用不同的手指操作的位置处。

Description

基于字符的话音生成的控制器与系统
技术领域
本发明涉及一种按所指定的音调生成基于字符的话音的技术。
背景技术
迄今，已经存在人们所熟悉的通过对歌词的话音进行合成，同时随旋律变化音调的生成歌声的装置。例如，专利文献1公开了一种响应演奏数据(音调数据)的接收，更新或者控制歌词中歌唱位置(由歌词数据加以指示)的技术。即，专利文献1公开了这样一种技术：其中，由用户操作诸如键盘的操作部件执行旋律演奏，并且致使歌词与旋律演奏的进展同步行进。另外，在电子乐器领域中，已经在开发各种形状的控制器，并且人们所熟悉的是，提供一个从键盘乐器体探出的手柄部件，在所述手柄部件上，提供了所希望的操作部件以及相应的检测部件，所述检测部件用于检测在操作部件上执行的手动操作(例如，参见专利文献2和专利文献3)。
另外，例如，专利文献4公开了这样一种技术：其中，将多个歌词显示在显示设备时，通过操作部件的操作选择歌词的所希望的部分，并且将所选择的部分作为所指定的音调的歌声加以输出。专利文献4还公开了这样一种结构：其中，用户指定显示在触摸面板上的歌词的字节，然后，一旦用户在键盘上连续3次执行键盘按压，则按键盘上所指定的音调可听见地生成所指定的字节，或发出所指定的字节的声音。
现有技术文献
专利文献
专利文献1：序号为2008-170592的日本专利申请特开
专利文献2：序号为HEI-01-38792的日本专利申请特开专利文献3：序号为HEI-06-118955的日本专利申请特开专利文献4：序号为2014-10190的日本专利申请特开
在根据字符生成话音的传统上人们所熟悉的装置——例如，歌声生成设备——中，各种演奏表达(expression)，例如用户表达(可以通过话音生成加以实现)，在很大程度被不希望地受限于宽度或范围。具体地讲，在实况演奏中，希望准许对歌词的灵活的修改和/或对话音生成的风格或者方式(状态)的控制，即，灵活的即兴演奏，例如，根据乐段的升温，或者进入高潮和/或改变，重复歌词的所希望的部分的乐节，甚至是在重复同一乐节的情况下，当需要时，重复歌词表达、演奏的声调和/或乐节的每次重复等。然而，使用传统上人们所熟悉的装置，不能够容易地执行这样灵活的即兴演奏。例如，不能够容易地灵活控制话音生成的方式，例如通过进行如下设置控制话音生成的方式：致使在演奏期间能够重复乐段的用户所希望的部分范围，或者在其中重复同一乐节的情况下改变歌词和/或每次重复的声调。
另外，迄今一直存在着对开发允许易于选择重复对象的各种技术的需求。即，在专利文献4中所公开的技术中，为了重复歌词，需要选择显示在显示部件上的歌词。然而，在输出歌声的同时，还必须观察显示部件。而且，当要求选择所显示的歌词的操作时，将人类演奏者的演奏风格限制为允许观察显示部件和歌词选择操作的演奏风格。在实况演奏期间，例如，对于配有显示部件的演奏设备，实际上是针对观察配有显示部件的演奏设备的人类演奏者的。因此，在不依靠视觉的情况下，人类演奏者将难以通过触摸演奏设备进行演奏，并且因此，用户的动作、演奏姿势等的范围将受限于准许观看显示部件和选择操作的动作、演奏姿势。
发明内容
鉴于上述现有技术问题，本发明的目的是提供这样一种技术：其根据所演奏的音调、基于诸如歌词的预定义的字符串生成话音，并且其准许即兴演奏，例如将加以生成的话音的改变，并且从而准许基于字符的话音生成过程中表达的范围的扩大。本发明的另一个目的是在不依靠视觉的情况下准许选择重复对象。
为了实现上述目的，本发明提供了一种针对话音生成设备的控制器，话音生成设备被配置为能够生成对应于预定义的字符串中一个或多个所指定的字符的话音，所述控制器包含：字符选择器，将其配置为能够由用户加以操作，以指定预定义的字符串中一个或多个所指定的字符；以及话音控制操作器，将其配置为能够由用户加以操作，以控制话音生成设备将加以生成的话音的状态。本发明还提供了一种包含以上所提到的控制器和以上所提到的话音生成设备的系统。
根据本发明，其中，尽管将本发明构造为能够根据预定义的字符串生成话音，但是话音生成设备响应于字符选择器的用户的操作生成对应于从预定义的字符串所指定的一个或多个字符的话音，并且可以响应话音控制操作器的用户的操作按所希望的控制将加以生成的话音，根据用户的操作改变将加以生成的话音等。因此，在其中将与音乐演奏同步生成对应于歌词的字符的话音的情况下，可以增强用户的可控性，其从而有助于基于歌词的话音生成中的即兴演奏。以此方式，本发明可以显著增加基于歌词的话音生成中表达的宽度或范围。
在本发明的一个实施例中，控制器还包含一个适合于用户用手持的手柄，并且将字符选择器和话音控制操作器两者提供在手柄上。在一个实施例中，将字符选择器和话音控制操作器提供在手柄的可由持有手柄的用户的不同的手指操作字符选择器和话音控制操作器的位置处。另外，在一个实施例中，按照这样的方式构造该控制器：可以使用用户的拇指操作字符选择器和话音控制操作器之一，并且可以使用用户的另一个手指操作字符选择器和话音控制操作器中的另一个。另外，在一个实施例中，将字符选择器和话音控制操作器设置在手柄的不同的表面上。对于用户而言，其中按以上所提到的方式将字符选择器和话音控制操作器设置在单一手柄上的结构适合于使用持有手柄的用户的一只手适当地操作字符选择器和话音控制操作器两者。因此，用户能够容易地使用一只手操作手柄上的字符选择器和话音控制操作器，同时使用另一只手演奏键盘乐器等。
根据本发明的了一个方面，提供了一种话音生成设备，其包含一个处理器，将其配置为可用作：信息获取部件，其获取指定预定义的字符串中一个或多个字符的信息；话音生成部件，其根据所获取的信息生成一个对应于所指定的一个或多个字符的话音；重复的对象接收部件，其接收将当前生成的话音指定为重复的对象的信息；以及重复控制部件，其控制话音生成部件重复地生成被指定为重复对象的话音。因此，通过倾听由话音生成部件所生成的话音所顺序地生成的话音，用户能够快速地从听觉上判断当前实时地生成的话音是否适合于被指定为重复对象，然后将当前生成的话音指定(选择)为重复对象。以此方式，用户能够将字符选择为重复对象，而无需依靠听觉。
附图说明
图1A是示意性地示出根据本发明的实施例的作为配有控制器的系统的键盘乐器的示意图。
图1B是示出用户所持或者所握控制器的手柄的示意图。
图1C是示出键盘乐器的控制系统的框图。
图2A是示出基于字符的话音生成的实际示例的示意图。
图2B是示出基于字符的话音生成的实际示例的示意图。
图2C是示出基于字符的话音生成的实际示例的示意图。
图2D是示出基于字符的话音生成的实际示例的示意图。
图2E是示出基于字符的话音生成的实际示例的示意图。
图2F是示出基于字符的话音生成的实际示例的示意图。
图3A是示出话音生成开始过程的示例的流程图。
图3B是示出话音生成过程(键接通过程)的示例的流程图。
图3C是示出话音生成过程(键关闭过程)的示例的流程图。
图3D是示出字符选择过程的示例的流程图。
图4A是示出话音控制过程的示例的流程图。
图4B是示出重复目标选择过程的示例的流程图。
图5是示出控制器的手柄形状的一个修改的示意图。
图6A是示出日语歌词字符串的示例的示意图。
图6B是示出英语歌词字符串的示例的示意图。
图7是示出提供在控制器上的字符选择器的示例的平面图。
图8是示出响应于图7的字符选择器的操作所执行的字节联合过程和字节分隔过程的示例的示意图。
具体实施方式
(1)系统结构
图1A是示意性地示出根据本发明的实施例的作为配有控制器10a的系统的键盘乐器10的示意图。键盘乐器10包括直角平行六面体形状的体10b和矩形柱面形状的控制器10a。键盘乐器10的体10b用作电子地生成所希望的音程和所希望的话音的话音生成设备的示例，体10b包括音调选择器50和输入/输出部件60。音调选择器50是可以由用户操作，以指定将加以弹奏或者演奏的音程或者话音的操作器，例如，其包含多个键，包括白色和黑色键。未加以描述的保护肩部的衬垫可以连接于键盘乐器10的体10b相反两端的安装位置P1和P2。用户可以使用吊挂在用户肩上的保护肩部的衬垫握住其身体前方的键盘乐器10，在该状态下，用户可以通过使用一只手操作音调选择器(键盘)50执行演奏。在图1A中，“上”、“下”、“右”、以及“左”指的是从按以上所提到的方式弹奏或者演奏键盘乐器10的用户看去的方向。本说明书中以下所提到的各种方向指的是从演奏键盘乐器10的用户看去的向上、向下、向左、向右、向前、向后(朝后)方向等。不必将音调选择器50限制为键盘型音调指定演奏操作器，其可以是任何所希望类型的演奏操作器，只要将其配置为能够响应用户的操作指定音调即可。
另外，输入/输出部件60包含从用户等输入给定指令的输入部件以及向用户输出各种信息(图像信息和话音信息)的输出部件(包括显示器和扬声器)。例如，作为输入部件和输出部件，分别在键盘乐器10上提供了旋转开关和显示器，并且在图1A中的虚线框中对它们进行了描述。
控制器10a从体(话音生成设备)10b的一个侧表面(图1A中所说明的示例中的左侧表面)探出，即沿垂直于该侧表面的方向探出(即，从演奏键盘乐器10的用户看去从所述一个侧表面向左探出)。控制器10a具有基本柱形的外形。控制器10a的外周边部分具有能够使用户用一只手握住控制器10a的尺寸；因此，从体10b探出的控制器10a的部分构成手柄G。垂直于纵轴(即沿图1A中左-右方向延伸的轴)的跨越手柄G的切截的截面具有均匀的形状，而不管手柄G的切截位置如何。如以下所提到的，可以将控制器10a整体结合于体(话音生成设备)10b并且不可以从体(话音生成设备)10b拆卸下来、可拆卸地附接于体(话音生成设备)10b、或者以其能够以有线或者无线的方式与体(话音生成设备)10b进行通信的方式独立于体(话音生成设备)10b提供。
图1B是从图1A的左侧看去控制器10a的示意图，其更具体地示出了用户所持手柄G的示例状态。如图1B中所示，手柄G的横截面(垂直于纵轴横截手柄G)具有基本上为矩形形状，该基本上矩形形状具有圆形四角部分。即，手柄G具有这样的形状：具有前、后(背)、上以及下平表面和位于前、后、上以及下平表面之间弯曲或者倾斜的表面(即，斜切形状)。
在控制器10a的手柄G上，提供了能够用作键盘乐器10的输入/输出部件60的一部分的字符选择器60a、话音控制操作器60b、以及重复操作器60c。即，将响应于控制器10a上的字符选择器60a、话音控制操作器60b以及重复操作器60c任何之一的操作所生成的信号和/或信息被传送到键盘乐器10的体(话音生成设备)10b，其中，将所述信号和/或信息作为用户输入信号和/或信息加以处理。将其配置为能够由用户指定包含在预定义的字符串(例如，歌词)中的一个或多个字符的字符选择器60a包括多个呈按钮开关形式的选择按钮Mcf、Mcb、Mpf以及Mpb。将字符选择器60a设置在形成于上平表面和后平表面之间的弯曲或者倾斜的表面(斜切部分)上(参见图1B)。使用按上述方式设置的字符选择器60a，用户能够使用握住手柄G的手的拇指容易地操作字符选择器60a。
用户可以操作字符选择器60a，以输入与重复演奏相关的输入。在相关的实施例中，将也呈按钮开关形式的重复操作器60c设置在形成于上平表面和后平表面之间的弯曲或者倾斜的表面(斜切部分)上(参见图1B)。在相关的实施例中，沿手柄G的延伸方向(沿图1A中所示左-右方向)将字符选择器60a的各选择按钮Mcf、Mcb、Mpf以及Mpb和重复操作器60c的按钮设置在弯曲或者倾斜的表面(斜切部分)上。
将话音控制操作器60b配置为可以由用户加以操作，以控制话音生成设备10b所生成的话音的状态。例如，可以响应于话音控制操作器60b的操作控制将加以生成的话音的音调。将话音控制操作器60b设置在手柄G的第一平表面上(参见图1B)。例如，话音控制操作器60b呈细长薄膜形状的触摸传感器形式，将其配置为能够检测检测对象(在相关的实施例中为用户的手指)的操作器60b的操作表面上的触摸操作或者触摸接触位置(例如，沿纵向的一维位置)。在相关的实施例中，按这样的方式将话音控制操作器60b设置在手柄G的前表面上：沿上下(从上向下)方向相互平行地设置矩形形状的触摸传感器的短边，而矩形形状的长边沿左右方向相互平行地相对(参见图1A)。
在以上所描述的结构中，用户操作字符选择器60a、话音控制操作器60b以及重复操作器60c，同时用左手握住控制器10a的手柄G，如图1B中所示。更具体地，用户握住手柄G，同时使用位于手柄G后表面上的左手的拇指和位于手柄G前表面上的左手的其它手指，从左手掌上的手柄G之下加以支撑。在该状态下，将字符选择器60a和重复操作器60c定位在其中允许用户容易地使用拇指操作器60a和60c的位置，如图1B中所示，因为这些操作器60a和60c位于手柄G的后平表面和上平表面之间的弯曲或者倾斜的表面上。
另外，当用户握住手柄G时，如图1B中所示，将话音控制操作器60b定位在其中允许用户使用除拇指之外的手指(例如，食指)容易地操作操作器60b的位置，如图1B中所示，因为将操作器60b设置在了手柄G的前表面上。因此，在相关的实施例中，当用户使用拇指操作字符选择器60a或者重复操作器60c，同时握住手柄G时，将话音控制操作器60b提供在其中定位另一个手指的位置。
另外，根据以上所描述的结构，用户可以使用一只手的拇指操作字符选择器60a或者重复操作器60c，并且使用一只手的另一个手指操作话音控制操作器60a，同时使用一只手握住控制器10a中的手柄G。因此，用户能够使用一只手容易地同时操作话音控制操作器60b和字符选择器60a(或者重复操作器60c)。而且，用户使用一只手对话音控制操作器60b的操作类似于握住吉他音柱等的操作；因此，由于用户使用类似于吉他音柱握住操作的操作触摸话音控制操作器60b，所以可以根据话音控制操作器60b上用户的触摸操作或者触摸接触位置，控制话音生成的方式。另外，当用户握住控制器10a时，用户的手紧接触控制器10a的平的、弯曲的、或者倾斜的表面，而不接触控制器10a的任何尖锐的部分。因此，用户能够沿话音控制操作器60b的纵向(即，图1A中的左右方向)重复地移动，而不会伤害手。注意，允许用户同时操作这些操作器60a和60b的字符选择器60a和话音控制操作器60b的定位方式不必局限于所说明的示例，也可以采用任何其它的定位方式，只要用户能够同时使用其位置握住G的手操作字符选择器60a和话音控制操作器60b之一，并且使用同一只手的另一个手指操作操作器60a和60b中的另一个即可。
图1C是示出了用于生成和输出话音的键盘乐器10中所使用的结构的框图。如图1C中所示，键盘乐器10包括CPU 20、非易失存储器30、RAM 40、音调选择器50、输入/输出部件60以及声音输出部件70。声音输出部件70可以包括用于输出话音的电路和扬声器(图1A中未加以描述)。CPU 20能够将RAM 40用作临时存储区，执行存储在非易失存储器30中的程序。
另外，还预先将话音生成程序30a、字符信息30b以及话音段数据库30c记录在非易失存储器30中。字符信息30b是预定义的字符串(例如，歌词)的信息，其例如包括构成字符串的多个字符的信息以及指示字符串中各个字符的次序的信息。在相关的实施例中，字符信息30b呈文本数据的形式，其中，根据以上所提到的次序描述指示字符的代码。无需说明，预存储在非易失存储器30中的歌词的数据可以是一个或多个乐段，或者只是一部分乐段的一个乐节。当要生成所希望的歌曲或者字符串时，选择乐段，即字符串的字符信息30b。另外，话音段数据库30c是一组用于回放或者复制人类歌声的数据，在相关的实施例中，通过收集话音的波形(由字符加以表示)创建话音段数据库30c，当使用参考音调发出话音时，将每一个所收集的波形划分为话音段，每一个话音段具有短的时间周期，并且然后将指示所划分的话音段的波形数据存储在数据库中。即，话音段数据库30c包含一组指示多个话音段的波形。将这样的指示话音段的波形数据加以组合可以复制由所希望的字符指示的话音。
更具体地，话音段数据库30c是话音过渡部分(发音)的一组波形数据，例如，C至V(即，辅音至元音)过渡部分、V至V(即，元音至另一个元音)过渡部分以及V至C(元音至辅音)过渡部分、以及元音V的延长的声音的波形数据(平稳性)。即，话音段数据库30c是一组指示作为歌声的材料的各种话音段的话音段数据。话音段数据是根据从真人所发出的话音波形所提取的话音段创建的数据。在相关的实施例中，预先确定用于复制所希望的字符或者所希望的字符串的被连接在一起的话音段数据，并且将它们预存储在非易失存储器30中(尽管未特别加以描述)。CPU 20根据字符信息30b所指示的所希望的字符或者所希望的字符串引用非易失存储器30，以选择被连接在一起的话音段数据。然后，通过CPU 20将所选择的话音段数据连接在一起，创建用于复制所希望的字符或者所希望的字符串所指示的话音的波形数据。注意，可以为各种不同的语言或者为不同特征的话音(例如，人类话音发声者的性别)准备话音段数据库30c。另外，构成话音段数据库30c的波形数据可以分别是通过对通过按预先确定的取样率对话音段的波形进行取样所获得的一连串样本分段为帧(每一帧具有预先确定的时间长度)所准备的数据、或者通过针对通过对一连串样本进行分段所准备的数据执行FFT(快速傅里叶转换)所获得的(振幅和相位谱的)每帧频谱数据。以下示出了这样一种情况：其中，构成话音段数据库30c的波形数据是以上所描述的后者的数据，即频谱数据。
在所说明的实施例中，CPU 20可以执行存储在非易失存储器30中的话音生成程序30a。通过话音生成程序30a的执行，CPU 20以用户在音调选择器502上所指示的音调生成对应于字符信息30b所定义的字符的话音信号。然后，CPU 20根据所生成的话音信号指示声音输出部件70输出话音，响应于该指示，声音输出部件70生成用于输出话音的模拟波形信号，并且对模拟波形信号进行放大，以可听见地输出话音。
(2)字符串的示例
在本发明中，预定义的字符串不必局限于与预先确定的乐段相关联的现存的歌曲，而也可以是诗、韵文、普通语句等的任何所希望的字符串。在以下的描述中，假设生成了对应于与预先确定的乐段相关联的歌词的字符串的话音。如人们所知，按预先确定的关系将乐段中的音符的行进和歌词的行进互相关联。在这样的情况下，音符可以对应于一个字节或者多个字节，有时候其也可以对应于已经针对紧前面的音符生成的字节的持续的部分。同样如人们所知，可以与一个音符相关联的字符的单位数目取决于语言的类型。例如，在日语中，每一个字节通常可以由一个日语字母表字母(假名字符)加以表示，因此，能够逐个假名字符地将歌词与单个音符相关联。另一方面，在许多其它语言中，例如在英语中，一个字节通常可以由一个或多个字符加以表示，因此，可以逐个字节地而不是逐个字符地将歌词与各个音符相关联，即，构成字节的字符的数目可以仅为一个或多个(以上)。可以从以上的描述导出的概念是，在任何语系中，指定对应于字节加以生成的话音的字符的数目为一个或多个。在该意义上，在本发明中，为话音的生成所指定的一个或多个字符足以识别话音生成所需的一个或多个字节(包括仅具有辅音的字节)。
例如，可以使用这样一种结构：其中，与用户在音调选择器50上的音调指定操作同步地致使字符串(歌词)中的一个或多个字符根据字符串(歌词)的预先确定的字符行进次序顺序地行进。为此，将字符串(歌词)中的各个字符划分为字符组，每一个字符组包含一个或多个字符，与将字符分配于其的音符相关联，并且根据行进次序对这样的字符组进行排序。图6A和6B示出了对这样的字符组进行排序的示例。更具体地，图6A示出了日语歌词的字符串，以及对应于五线谱符号上所述字符串的旋律的音符，并且图6B示出了英语歌词的字符串，以及对应于五线谱符号上所述字符串的旋律的音符。在图6A和6B中，紧在歌词字符串中的各个字符组之下所示出的数字指示字符组在行进次序中的相应位置。记录在非易失存储器30中的字符信息30b包括这样的字符数据：其中，将歌词字符串中的各个字符可读地存储在其每一个具有一个或多个字符的字符组中，并且包括指示字符组的行进次序的各位置的位置数据。在图6A的所说明的示例中，对应于位置(次序位置)1、2、3、4、5、6、9以及10的字符组分别包含单个字符，对应于位置(次序位置)7和8的字符组分别包含多个字符组。另一方面，在图6B的所说明的示例中，对应于位置1、2、3、4、5、8、9、10以及11的字符组分别包含多个字符，对应于位置3和7的字符组分别包含单个字符。注意，由于本发明中不要求乐段的音符数据(例如，MIDI数据)，所以图6A和6B中最上几行中所描述的乐谱仅作为参考。然而，作为修改，也可以使用乐段的音符数据(例如，MIDI数据)，如以下将加以描述的。
(3)话音生成过程的基本示例
图3A至3C示出了CPU 20所执行的话音生成过程的基本示例。图3A示出了话音生成开始过程的示例。一旦用户操作输入/输出部件60以选择将针对其生成话音的乐段(即，其应该变为话音生成目标)时，在步骤S100处，CPU 20确定已经进行了乐段选择，然后CPU 20前进至步骤S101，在步骤S101中，其从非易失存储器30获取所选择的乐段的歌词字符串的字符信息30b，并且将所获取的字符信息30b缓冲存储在RAM 40中。注意，如以上所提到的，如此被缓冲存储在RAM 40中的所选择的乐段的歌词字符串的字符信息30b包括分别包含一个或多个字符的各个字符组的字符数据、以及指示字符组的行进次序的位置的位置数据。因此，在步骤S102处，CPU 20按初始值“1”设置指针j(可变的)的值，指针j用于指定将针对其输出话音或者其将被生成话音(换句话说，其应该变为输出目标字符组)的任何一个字符组的行进次序的位置。将指针j保持在RAM 40中。将在下一个话音生成时间生成具有对应于指针j的值的位置数据的歌词字符串中的一个字符组的字符数据所指示的话音(字节)。在“下一个话音生成时间”指的是用户下一次在音调选择器50上指定所希望的音调时的时间。例如，指针j的值“1”指定第一位置“1”的字符组、指针j的值“2”指定第二位置“2”的字符组等。
另外，图3B示出了根据音调指定信息生成话音的话音生成过程(键接通过程)的示例。一旦用户按压或者操作了音调选择器50，以选择(指定)音调(最好是基于所选择的乐段的乐谱的音调)，则CPU 20在步骤S103处确定已经执行了键接通操作，并且然后转向步骤S104。在步骤S104处，CPU 20根据来自音调选择器50中所提供的传感器的输出信息，获取操作状态信息(即，指示所指定的音调的音调指定信息和指示用户操作的速度或者强度的信息)。接下来，在步骤S105处，CPU 20按所指定的音调、音量、强度等生成话音，所述话音对应于指针j所指定的输出的对象字符组。更具体地，CPU20从话音段数据库30c获取用于复制输出的对象字符组所指示的字节的话音。另外，CPU 20还针对对应于所获取的话音段数据中的元音的数据执行音调转换过程，以将元音转换为具有用户在音调选择器50上所指定的音调的元音话音段数据。另外，CPU 20还用已经经历了音调转换过程的元音话音段数据取代对应于用于复制输出的对象字符组所指示的字节的话音的所获取的话音段数据中的元音，然后，CPU 20通过对将这些话音段数据进行组合所获得的数据执行反FFT。因此，合成了用于复制输出的对象字符组所指示的字节的话音信号(即，时域中的数字话音信号)。
注意，可以按任何所希望的方式布置以上所提到的音调转换过程，只要其能够将某一特定音调的话音转换为另一个音调即可；例如，可以通过下述操作实现音调转换过程：估计音调选择器50上所指定的音调和话音段数据所指示的话音的参考音调之间的差，在频率轴方向中，将话音段数据的波形所指示的频谱分布移位对应于所估计的差等的频率。更不用说的是，可以通过除以上所提到的操作之外的各种其它操作实现音调转换过程，并且可以在时间轴上加以执行。将步骤S105的话音生成配置为也能够根据经由话音控制操作器60b所执行的操作控制将加以生成的话音的状态(例如，音调)，以下将对此更详细地进行描述。在步骤S105的话音生成中，可以将加以生成的话音的各种因素(例如，音调、音量以及颜色)作为可调整的并且可以进行用于对于加以生成的话音的削弱振动和/或等的话音控制。
一旦生成了话音信号，CPU 20将所生成的话音信号输出到声音输出部件70。然后，声音输出部件70将话音信号转换为模拟波形信号，并且在放大之后可听见地输出模拟波形信号。因此，从声音输出部件70可听见地输出为输出的对象字符组所指示的字节的、并且具有音调选择器50上所指定的音调、音量、强度等的话音。
在接下来的步骤S106处，CPU 20决定是否已经通过重复操作器60c的操作接通重复功能，以下将对其细节加以描述。正常情况下，重复功能处于关闭状态，因此，在步骤S106处决定为否，因此，CPU 20转向步骤S120，在步骤S120中将指针j递增“1”。因此，指针j的所递增的值所指定的输出的对象字符组对应于在下一个话音生成时间将加以生成的话音。
图3C示出了用于停止根据音调指定信息所生成的话音的生成的话音生成过程(键关闭过程)的示例。在步骤S107处，CPU 20根据来自音调选择器50中所提供的传感器的输出信息决定是否已经执行了键关闭操作，即，是否已经执行了终止了音调选择器50上的按压操作。如果已经确定已经执行了键关闭操作，则CPU 20停止(或者减弱)当前生成的话音，从而阻断当前从声音输出部件70输出的话音信号(S108)。因此，终止了从声音输出部件70输出的话音。通过以上所提到的图3B和3C的过程(键接通和键关闭过程)，CPU 20致使音调选择器50上所指定的音调和强度的话音输出一段音调选择器50上所指定的持续时间。
在以上所描述的处理中，每次操作音调选择器50一次，CPU 20递增用于指定输出的对象字符组的变量(指针j)(步骤S120)。在相关的实施例中，在开始生成和输出对应于具有音调选择器50上所指定的音调的输出的对象字符组的话音的操作之后，CPU 20递增所述变量(指针j)，而不管是否已经停止了话音的生成与输出。因此，在相关的实施例中，术语“输出的对象字符组”指的是对应于将加以生成的话音，并且即响应于下一个话音生成指令加以输出的字符组，换句话说，等待话音生成和输出的字符组。
(4)针对其生成话音的字符的显示
在相关的实施例中，CPU 20可以在输入/输出部件60的显示器上显示，以行进的次序，在输出的对象字符组之前或者之后的输出的对象字符组以及至少另一个该位置的字符组。例如，在输入/输出部件60的显示器上提供用于显示预先确定数目的字符(例如，m个字符)的歌词显示帧。CPU 20引用RAM 40以从字符串获取全部m个字符，包括指针j所指定位置的一个字符组以及该字符组之前和/或之后的其它字符，并且然后将如此获取的字符显示在显示器的歌词显示帧上。
另外，CPU 20可以使输入/输出部件60呈现显示，使得能够将输出的对象字符组与其它字符可视地互相加以区分。可以按各种方式实现这样的显示，例如，通过突显输出的对象字符组(例如，令输出的对象字符组闪烁、改变输出的对象字符组的颜色、或者向输出的对象字符组添加下划线)、清晰地显示输出的对象字符组之前或者之后的其它字符(例如，令输所述其它字符组闪烁和/或改变所述其它字符组的颜色、或者向所述其它字符组添加下划线)等。而且，CPU 20还在输入/输出部件60的显示器上转换所显示的内容，使得总是将输出的对象字符组显示在输入/输出部件60的显示器上。可以按各种方式实现所述显示转换，例如，当响应于指针j值的改变将输出的对象字符组转换另一个输出的对象字符组时，通过在显示器上滚动所显示的内容，通过一次多个字符顺序地转换所显示的内容。
(5)基于字符的话音生成的基本示例
图2A是示出了基于字符的话音生成的基本示例的示意图。在图2A中，横轴为时间轴，并且纵轴为表示音调的轴。在图2A中，在纵轴上表示乐谱中的对应于多个字节名(“叨(Do)”、“唻(Re)”、“咪(Mi)”、“发(Fa)”和“嗦(So)”)的音调。另外，在图2A中，由参考字符L1、L2、L3、L4、L5、L6以及L7描绘针对其将加以生成的话音的字符串的行进次序中的第一至第七位置的字符组。而且，在图2A的示意图中，由矩形框描绘将加以生成和输出的话音，每一个矩形框的横向(时间轴方向)的长度对应于话音的输出持续时间，每一个矩形框的纵向的位置对应于话音的音调。更具体地，在图2A中，每一个矩形框的纵向中间位置对应于话音的音调。
而且，在图2A中，还示出了当用户在时刻t1、t2、t3、t4、t5、t6以及t7操作音调选择器50，以按所提到的次序指定字节名“叨”、“唻”、“咪”、“发”、“叨”、“唻”以及“咪”时，将加以生成和输出的话音。与用户操作音调选择器50，以这样地指定字节名“叨”、“唻”、“咪”、“发”、“叨”、“唻”以及“咪”同步，输出的对象字符组顺序地改变，例如，L1、L2、L3、L4、L5、L6以及L7。因此，在图2A的所说明的示例中，与用户为指定字节名“叨”、“唻”、“咪”、“发”、“叨”、“唻”以及“咪”操作音调选择器50同步地顺序输出具有“叨”、“唻”、“咪”、“发”、“叨”、“唻”以及“咪”的音调的对应于L1、L2、L3、L4、L5、L6以及L7所描绘的字符组的话音。
根据话音生成的这样的基本示例，用户可以经由音调选择器50控制话音的音调和字符的行进，从而能够生成(自动地唱)对应于具有严格如用户所希望的音调的、具有预先确定的字符次序的歌词歌声。然而，在这样的基本示例中，字符串中的字符按预先确定的行进次序行进，因此，如果用户在音调选择器50上执行了不同于或者不对应于乐段的实际行进的非预定的操作，例如错误操作，则歌声的行进会不希望地变得快于或者慢于乐段的行进。在图6B的所说明的示例中，例如，如果用户错误地操作了音调选择器50，以顺序地指定小节(其中，将要唱位置1、2以及3的单词“sometimes I”，而且其中，用户应该顺序地指定“唏(Ti)”、“叨(Do)”以及“#叨”的3个音调)中的“唏”、“叨”、“#叨”以及“#叨”的3个音调，则会错误地合成“sometimes I won-”的话音。因此，在该情况下，将在前一个小节的末端错误地输出下一个小节中的歌词字节“won-”，因此，此后歌词行进将变得较快。尽管可以在音调选择器50上指定所希望的音调，但歌词字符的行进不能够经由音调选择器50向后或者向前移动。
(6)字符选择器60a的具体示例
鉴于以上描述，根据相关的实施例的键盘乐器10的控制器10a配有字符选择器60a，并且按这样的方式构造控制器10a：即使当已经在音调选择器50上执行了非预定的操作时，也可以通过用户对字符选择器60a的操作将针对其将生成话音(即，将对其发声)的输出的对象字符组返回至符合预定或者原始乐段行进的字符组。另外，可以通过用户有意组合地操作音调选择器50和字符选择器60a(如果需要的话)执行修改原始乐段的行进的即兴演奏。
更具体地，如图1A中所示，字符选择器60a包括用于根据歌词字符串的行进次序将输出的对象字符组向前移位一个字符组(一个位置)的向前字符移位选择按钮Mcf、用于将输出的对象字符组向后移位一个字符组(一个位置)(与行进次序的向前的方向相反)的向后字符移位选择按钮Mcb。字符选择器60a也包括用于根据歌词字符串的行进次序将输出的对象字符组向前移位一个乐节的向前乐节移位选择按钮Mpf、用于将输出的对象字符组向后移位一个乐节(与行进次序的向前的方向相反)的向后乐节移位选择按钮Mpb。术语“乐节”用于意指一系列的多个字符，并且由歌词字符串的字符信息30b中所描述的各个乐节的边界或者端点预定义多个这样的乐节。例如，在字符信息30b中，将代码插入字符串中的各个字符代码的配置的中间位置处，其中每一个代码指示乐节的端点，例如，可以是指示空格的代码。因此，可以从在歌词字符串的字符信息30b中提供的乐节定义容易地识别，紧在指针j的当前值之前的乐节的头或第一字符组的在字符串的行进次序中的位置、以及紧在指针j的当前值之后的乐节的头或第一字符组的在字符串的行进次序中的位置。注意，向前字符移位选择按钮Mcf和向前乐节移位选择按钮Mpf分别是用于根据字符串的行进次序将输出的对象字符组向前移位一个或多个字符的向前移位选择器，而向后字符移位选择按钮Mcb和向后乐节移位选择按钮Mpb分别是用于将输出的对象字符组向后(即，与字符串的行进次序的向前方向相反)移位一个或多个字符的向后移位选择器。
(7)字符选择过程
以下，参考图3D描述CPU 20根据话音生成程序30a所执行的字符选择过程的示例。响应于字符选择器60a的任何一个选择按钮的操作(按压和按压的相继的终止)开始字符选择过程。在步骤S200处，CPU 20决定已经操作了字符选择器60a的选择按钮中的哪一个选择按钮。更具体地，一旦操作了字符选择器60a的向前字符移位选择按钮Mcf、向前字符移位选择按钮Mpf、向前乐节移位选择按钮Mpf以及向后乐节移位选择按钮Mpb任何之一，则从所操作的选择按钮输出指示所操作的选择按钮的操作的类型和内容的信号。因此，CPU 20能够根据所述输出信号决定所操作的选择按钮是向前字符移位选择按钮Mcf、向前字符移位选择按钮Mpf、向前乐节移位选择按钮Mpf以及向后乐节移位选择按钮Mpb中的哪一个。
当所操作的选择按钮为向前字符移位选择按钮Mcf时，CPU 20将输出的对象字符组的行进次序的位置向前移位一个位置(步骤S205)。即，CPU 20将指针j的值递增1。当所操作的选择按钮为向后字符移位选择按钮Mcb时，CPU 20将输出的对象字符组的行进次序位置向后移位一个位置(步骤S210)。即，CPU 20将指针j的值递减1。
另外，当所操作的选择器为向前乐节移位选择按钮Mpf时，CPU 20将输出的对象字符组的位置向前移位一个乐节(步骤S215)。即，CPU 20引用歌词字符列的字符信息30b，以搜寻存在于当前输出的对象字符组和当前输出的对象字符组之后(即，位置指示值大于)行进次序的位置的字符组之间的最近乐节的端点。然后，当已经检测到最近乐节的端点时，CPU 20将指示邻近最近乐节的端点定位的字符组的位置(即，紧在最近乐节的端点之后的头，即第一字符组的行进次序位置)的数值的值设置于指针j中。
而且，当所操作的选择器为向后乐节移位选择按钮Mpb时，CPU 20将输出的对象字符组的位置向后移位一个乐节(步骤S220)。即，CPU 20引用歌词字符列的字符信息30b，以搜寻存在于当前输出的对象字符组和当前输出的对象字符组之前(即，位置指示值小于)行进次序位置的字符组之间的最近乐节的端点。然后，当已经检测到最近乐节的端点时，CPU20将指示向前邻近最近乐节的端点定位的字符组的位置(即，紧在最近乐节的端点之前的头，即第一字符组的行进次序位置)的数值的值设置于指针j中。
一旦用户通过操作音调选择器50在基本上与指针j的值按需要响应于用户对字符选择器60a的操作而递增或递减的同时或者在紧接在其之后，指定了音调，则CPU 20执行图3B的过程，其中，在步骤S103处的决定为“是”。响应于步骤S103处的“是”的决定，执行步骤S104处的和步骤S104之后的操作，使得能够输出对应于响应于字符选择器60a的用户操作所指定的字符组(一个或多个字符)的话音。即，当已经操作了向前字符移位选择按钮Mcf时(步骤S205)，生成向前移位了一个字符的位置的字符组的话音；当已经操作了向后字符移位选择按钮Mcb时(步骤S210)，生成向后移位了一个字符的位置的字符组的话音；当已经操作了向前乐节移位选择按钮Mpf时(步骤S215)，生成向前下一个(紧在之后的)乐节中的第一字符组的话音；以及当已经操作了向后乐节移位选择按钮Mpb时(步骤S220)，生成紧在乐节之前中的第一字符组的话音。以此方式，生成了已经适当地被修改的或者是将响应于字符选择器60a的用户操作即兴演奏的歌词字符的话音。
(8)错误操作的校正示例
如以上所阐述的，可以通过字符选择器60a的用户操作修改将针对其生成话音的字符组的次序。因此，即使当用户已经在音调选择器50上执行了错误的音调指定操作，也可以将针对其生成话音的字符组的次序调整回对应于预先确定的乐段行进的相应次序。图2B示出了其中在与图2A中所描述的乐段相类似的乐段的演奏期间用户已经错误地操作了音调选择器50的示例。更具体地，图2B示出了这样一种情况：其中，尽管用户通过音调选择器50的按压操作仅应该指定从时刻t5到时刻t6一段时间为“叨”的音调，但用户为指定“叨”的音调首先按压了音调选择器50，然后紧在按压操作(在时刻t0)之后，又终止了针对“叨”的音调的音调选择器50的按压操作，并且然后，按压音调选择器50以指定“唻”的音调。
根据相关的实施例，在这样的情况下，输出的对象字符组的位置与音调选择器50的用户操作同步改变。因此，如图2B中所示，对应于字符组L5的话音的生成开始于时刻t5，然后，在时刻t0不仅结束了对应于字符组L5的话音的生成，而且还开始了对应于字符组L6的话音的生成。因此，在该情况下，不仅输出了错误的音调，而且相继的歌词字符还将不适当地行进。然而，这样地配置了相关的实施例：即使在这样的情况下，也通过用户例如，在时刻tb，操作向后字符移位选择按钮Mcb将输出的对象字符组的位置向后移位一个位置。因此，如果在时刻t9用户操作音调选择器50，以指定“叨”的音调，则输出具有“叨”的正确音调的对应于正确字符组L5的话音。以此方式，能够适当地校正音调选择器50上音调指定操作中的错误。另外，在图6B的所说明的示例中，当用户错误地指定小节中的“唏”、“叨”、“#叨”以及“#叨”的音调(其中，要唱位置1、2以及3的单词“sometimes I”，而且其中，用户应该顺序地指定以上所阐述的“唏”、“叨”以及“#叨”的3个音调)时，通过用户操作向后字符移位选择按钮Mcb一次，能够容易地校正错误操作，致使正确的歌词字节“won-”开始于下一个小节的开始处。
使用以上所提到的结构，用户可以根据字符信息所指示的次序、通过操作字符选择器60a，逐个字符组地或者逐个乐节地改变输出的对象字符组。因此，使用该简单结构，用户能够适当地校正输出的对象字符组；另外，如果用户精确地记得歌词字符串的次序，则用户也可以通过仅仅是触摸操作修改输出的对象字符组，而无需依赖视觉。
而且，根据以上所提到的结构，与音调选择器50的操作同步地生成对应于输出的对象字符组的话音，然后递增指定输出的对象字符组的位置指针j。因此，一旦响应于音调选择器50的操作生成话音，则紧在对应于所生成的话音之后的位置的另一个字符组变为输出的对象。以此方式，用户可以通过倾听当前时刻已经输出的话音知道歌声的行进状态。因此，当用户操作字符选择器60a的任何一个按钮时，用户能够容易地知道接下来可以为哪一个歌词字符生成话音，即接下来可以针对哪一个歌词字符发声。例如，如果用户操作向后字符移位选择按钮Mcb，使得将输出的对象字符组向后移位了一个位置，则用户可以认识到：对应于当前输出的话音的字符组(或者其输出已经完成的话音的最后输出的话音)可以再次成为输出的对象字符组。以此方式，用户可以通过根据通过听觉所获取的信息操作字符选择器60a改变输出的对象字符组，于是用户能够通过仅仅是触摸操作更容易地校正输出的对象字符组，而无需依赖视觉。
(9)话音控制过程
另外，还将相关的实施例配置为能够响应于用户对话音控制操作器60b的操作控制将加以生成的话音的特征(例如，调整音调)，以增强作为乐器的键盘乐器10的性能。更具体地，一旦在对应于音调选择器50的操作的话音的生成期间通过用户的手指操作了话音控制操作器60b，则CPU 20获取话音控制操作器60b上手指的触摸接触位置，而且还预先获取与接触位置相关联的校正量。然后，CPU 20根据校正量控制当前生成的话音的特征(音调、音量、颜色等任何之一)。
图4A示出了CPU 20根据话音生成程序30a所执行的、而且其中响应于话音控制操作器60b的操作调整音调的话音控制过程的示例。一旦操作了话音控制操作器60b(即，一旦用户的手指接触话音控制操作器60b)，则话音控制过程开始。在话音控制过程中，CPU 20首先在步骤S300处决定是否当前正在生成任何话音。例如，CPU 20确定当前正在生成话音，即在从输出了指示已经执行了音调指定按压操作的信号时的时间到紧在输出了指示已经终止了音调指定按压操作的信号之前的时间这段时间正在生成话音。如果在步骤S300处确定当前没有正在生成话音，则CPU 20结束话音控制过程，因为没有成为控制对象的话音。
如果在步骤S300确定当前没有正在生成话音，则CPU 20获取用户手指的触摸接触位置(步骤S305)；即，CPU 20获取指示从话音控制操作器60b输出的触摸接触位置的信号。然后，根据话音控制操作器60b上用户手指的接触位置，CPU 20获取相对于作为音调选择器50上所指定的音调的参考音调的校正量。
更具体地，话音控制操作器60b是具有长方形手指接触表面，并且将其配置为能够检测至少一个一维操作的位置(线性位置)的传感器。在一个示例中，话音控制操作器60b的长边的长度方向中间位置对应于参考音调，预先确定不同触摸接触位置的校正量，以使音调的校正量距接触位置离话音控制操作器60b的长边的中间位置越远而变得越大。另外，在各校正量中，将用于升高音调的校正量与从话音控制操作器60b的中间位置起的一边上的各个触摸接触位置相关联，而将将用于降低音调的校正量与从话音控制操作器60b的中间位置起的另一边上的各个触摸接触位置相关联。
因此，话音控制操作器60b的长边的端点位置代表最高和最低音调。在准许通过距参考音调达4个半音程的校正的结构中，例如，将参考音调与话音控制操作器60b的长边的中间位置相关联，将比参考音调高4个半音程的音调与长边的相反的端点之一相关联，将比参考音调高2个半音程的音调与一个端点和中间位置之间的位置中点相关联。而且，将比参考音调低4个半音程的音调与长边的另一个端点相关联，并且将比参考音调高2个半音程的音调与另一个端点和中间位置之间的位置中点相关联。在相关的实施例中，其中，将所校正的音调与以上所提到的各个触摸接触位置相关联，在已经从话音控制操作器60b获取了接触位置指示信号之后，CPU 20获取作为校正量的对应于接触位置的音调和参考音调之间的频率差。
接下来，CPU 20执行音调转换(步骤S315)。即，作为参考音调，使用通过当前所按压的音调选择器50所指定的音调，即在步骤S300处当前所生成的话音的音调，CPU 20根据在步骤S310所获取的校正量执行当前所生成的话音的音调调整(音调转换)。更具体地，CPU20执行用于创建话音段数据的音调转换过程，其中，使用所述话音段数据输出具有所校正的音调的话音，例如，通过执行沿频率轴方向移位频谱分布的过程，其中，由使用其输出具有参考音调的话音段数据的波形指示所述频谱分布。另外，CPU 20还根据音调转换过程已经创建的话音段数据生成话音信号，并且将如此生成的音程信号输出到声音输出部件70。因此，将所校正的音调的话音从声音输出部件70输出。在以上所描述的示例中，在话音生成期间检测话音控制操作器60b的操作，并且根据所检测的操作(如以上所提到的)执行校正量获取和音调转换过程。可替换地，当在话音的输出开始之前已经操作了话音控制操作器60b，然后操作了音调选择器50时，可以在对应于音调选择器50的操作的话音的生成期间，可以执行校正量获取和音调转换过程，同时紧在话音的生成之前反射话音控制操作器60b的操作。
(10)即兴歌唱演奏和话音控制的实例
图2C示出了其中在与图2A的乐段相类似的乐段的演奏期间执行对应于字符选择器60a的操作即兴演奏和对应于话音控制操作器60b的操作的话音控制的示例，图2C示出了其中在时刻tb已经两次执行字符选择器60a的向后字符移位选择按钮Mcb的操作(由按压和按压的相继的终止组成)。在图2C的所说明的示例中，一旦在时刻t4操作音调选择器50，以指定“发”的音调，则按“发”的音调开始生成对应于字符组L4的话音，而且指针j所指定的输出的对象字符组转换至字符组L5。然后，在时刻tb，按重复方式两次操作向后字符移位选择按钮Mcb，响应于所述两次操作，将输出的对象字符组的位置向后移位两个位置，使得字符组L3变为输出的对象字符组。
因此，一旦通过在下一个时刻t5音调选择器50上的操作指定“咪”的音调，则按“咪”的音调生成对应于字符组L3的话音。在该情况下，一旦开始了对应于字符组L3的话音的生成，则指针j所指定的输出的对象字符组转换至字符组L4。对应于字符组L3的话音的生成从指定“咪”的音调的音调选择器50的按压操作的开始时刻(即，从时刻t5开始)持续到终止音调选择器50的按压操作的时刻(即，至时刻t6)。然后，一旦在时刻t6音调选择器50的操作指定了“发”的音调，则按“发”的音调生成输出的对象字符组L4的话音。
在图2C的所说明的示例中，当严格根据乐段的结构进行演奏时，尽管在时刻t5至时刻t7的一段时间中应该按“叨”和“唻”的音调输出字符组L5和L6所指示的话音，但在时刻t5至时刻t7的这段时间中，按“咪”和“发”的音调输出了字符组L3和L4所指示的话音。这些字符组和音调与紧在时刻t3至t5之前的字符组和音调相同，这意味着在时刻t5至t7重复了与在时刻t3至t5相同的歌词字符和音调。例如，当演奏升温，或者进入高潮时，例如，在其中按“咪”和“发”的音调输出了字符组L3和L4所指示的话音部分是突显的或者进入高潮的乐段以及其中将重复同样内容的合唱插入接下来的主声歌唱的情况下，使用演奏的这样的示例。以此方式，能够适当地执行即兴歌唱演奏。
另外，在这样的情况下，尽管重复了同样的歌词字符，如以上提到的，就状态而言，如果在时刻t5至时刻t7的这段时间内重复的歌声不同于从时刻t3至时刻t5的这段时间内输出的歌声，则可以增强演奏的完美水平。而且，在相关的实施例中，其中键盘乐器10配有话音控制操作器60b，用户可以通过操作话音控制操作器60b改变第一和第二重复的演奏之间的歌声话音的状态。
另外，在图2C的所说明的示例中，为了在执行重复的演奏的时刻t5至时刻t7的这段时间令内音调上下变化，演奏颤音重复。即，在时刻tc1至时刻t6的一段时间内以及在时刻tc2至时刻t7的一段时间内，用其手指接触字符控制操作器60b的用户已经将触摸接触位置的手指从左向右跨越字符控制操作器60b的长度方向中间位置移动。在该情况下，字符组L3所指示的话音跨越“咪”的音调上下变化，字符组L4所指示的话音跨越“发”的音调上下变化。因此，用户可以按控制第一和第二重复的演奏之间差别的方式演奏同一歌词部分的话音。以此方式，用户不仅不能够灵活地执行歌词的修改和话音控制，而且还能够多次执行具有不同声调的同样的歌词部分。因此，可能扩大了基于字符的话音的表达范围。
另外，在图2C的所说明的示例中，一旦将重复的歌词部分作为即兴演奏完成时，需要用户操作向前字符移位选择按钮Mcf，以将歌词字符的行进位置返回至歌词字符的行进位置(为了将字符组设置为在字符组L7处、在时刻t7发声)。图2C示出了其中在时刻tf用户已经两次执行了向前字符移位选择按钮Mcf的操作(即，按压操作和按压终止操作)的示例。即，由于通过音调选择器50的用户操作、已经在时刻t6、在字符组L5处设置了输出的对象字符组，所以响应于用户在时刻tf两次操作音调选择器50，将输出的对象字符组转换至字符组L7。因此，根据用户在时刻t7为指定“咪”的音调对音调选择器50的操作，按音调“咪”输出字符组L7所指示的话音，从而当返回至歌词字符的原始次序和原始音调时可以使所讨论的乐段行进。
注意，尽管需要用户在时刻tf同时操作向前字符移位选择按钮Mcf和话音控制操作器60b，但用户可以根据本发明的所述实施例，通过使用控制器10a容易地执行向前字符移位选择按钮Mcf和话音控制操作器60b的这样的同时操作。即，使用根据本发明所述实施例的控制器10a，其中在从用户看去的手柄的前平表面上提供了话音控制操作器60b，并且在手柄的上和后平表面之间提供了向前字符移位选择按钮Mcf，用户可以使用一只手的拇指操作向前字符移位选择按钮Mcf，并且使用另一个手指(例如食指)操作话音控制操作器60b，同时使用一只手握住手柄G；因此，用户能够同时操作向前字符移位选择按钮Mcf和话音控制操作器60b。
使用按以上所提到的方式提供的话音控制操作器60b，能够按多种形式执行歌声演奏。例如，即使使用其中每次操作音调选择器50一次致使字符组的次序行进的结构，也可以使用两或两个以上的相继的音调生成单个字符组所指示话音。例如，假设按字符组L1、L2、L3、L4、L5以及L6的次序、按预先确定的音调，即按针对字符组L1的“叨”，、针对字符组L2的“唻”、针对字符组L3的“咪”和“发”、针对字符组L4的“叨”、针对字符组L5的“唻”以及针对字符组L1的“咪”，顺序地演奏歌曲。在该情况下，用户操作音调选择器50，以分别在时刻t1、t2以及t3指定“叨”、“唻”以及“咪”的音调，如图2D中所示，并且在时刻tc操作话音控制操作器60b，以将“咪”的参考音调升高半度，即升至“发”的音调。因此，按“叨”的音调生成字符组L1所指示的话音、按“唻”的音调生成字符组L2所指示的话音、以及按“咪”的音调，然后按“发”的音调生成字符组L3所指示的话音。此后，根据用户分别在时刻t5、t6以及t7为了指定“叨”、“唻”以及“咪”的音调对音调选择器50的操作，按“叨”的音调输出字符组L4所指示的话音、按“唻”的音调输出字符组L5所指示的话音、以及按“咪”的音调输出字符组L6所指示的话音。因此，根据相关的实施例，用户可以使单个字符组所指示的话音按两或两个以上相继的音调输出。注意，在以上所描述的结构中，根据用户操作话音控制操作器60b的速度连续地实现从“咪”到“发”的音调变化。从而能够生成比较接近人类歌声的话音。
通过以上所描述的结构，用户可以使用控制器10a给出按各种表达生成基于字符的话音的指令。另外，在用户演奏键盘乐器10以及响应于键盘乐器10的演奏输出话音的同时，用户可以灵活地执行歌词的修改以及话音生成的方式的控制，例如，所希望的歌词部分(例如，合唱或者突显的部分)的重复，以及响应于乐段的升温或者进入高潮对声调的改变。另外，当通过歌词的修改重复同一歌词部分时，也能够通过控制话音生成的方式改变同一歌词部分的声调，从而能够扩大基于字符的话音的表达的范围。
(11)重复功能
另外，为了允许按多种方式执行歌词的即兴演奏，按照以下方式构造本发明的相关的实施例：用户可以通过操作重复操作器60c指定将被设置为重复对象的字符组的范围(字符组范围)(即，重复演奏的开始与结束)。更具体地，一旦用户按压了重复操作器60c，则CPU 20开始将被设置为重复对象的字符组的选择。然后，一旦用户终止了重复操作器60c上的按压操作，则CPU结束作为重复对象的字符组的选择。以此方式，CPU 20将用户按压重复操作器60c时所选择的字符组的范围设置为重复对象。
首先，将参考图4B，描述用于选择重复对象的过程的示例。响应于重复操作器60c上的按压操作执行图4B中所示的该重复对象选择过程。图2E示出了这样一种情况：其中，在类似于图2A中所示乐段的乐段的演奏期间设置将成为重复对象的字符，而且其中，按重复方式播放如此设置的重复对象。更具体地，在图2E中，在时刻ts在重复操作器60c上执行按压操作，在时刻te结束重复操作器60c上的按压操作，然后，在时刻tt在重复操作器60c上执行按压操作。
以下参考图2E描述重复对象选择(设置)过程。在图2E的所说明的示例中，通过在时刻ts在重复操作器60c上执行按压操作开始(触发)重复对象选择过程。在重复对象选择过程中，CPU 20首先决定重复功能当前是否为关闭(步骤S400)。即，CPU 20参考记录在RAM40中的重复标志，决定重复功能当前是否为关闭。
如果在步骤S400重复功能当前为关闭，则CPU 20接通重复功能(步骤S405)。即，在相关的实施例中，当重复功能当前为关闭时，一旦用户按压了重复操作器60c，则CPU 20确定已经将重复功能转换为接通，并且将记录在RAM 40中的重复标志重写入指示重复功能当前接通的值。在已经接通重复功能(如以上所描述的)之后，CPU 20执行用于设置将成为重复对象的字符组的范围(字符组范围)的过程一段时间，直至终止了重复操作器60c上的按压操作。
然后，CPU 20将输出的对象字符组设置为重复对象的第一字符组(步骤S410)。即，CPU 20获取指针j的当前值，并且将如此获取的指针j的当前值作为指示重复对象的第一字符组的行进次序的位置的值记录在RAM 40中。指针j的当前值所指示的输出的对象字符组指示下一个话音生成时间将加以生成的话音(即，下一次操作音调选择器50)。在图2E的所说明的示例中，响应于时刻t2音调选择器50上的操作，开始对应于字符组L2的话音的生成，但也将输出的对象字符组更新为字符组L3。因此，通过响应于时刻ts重复操作器60c上的按压操作执行步骤S410，将指针j所指示的输出的对象字符组L3设置为重复对象的第一字符组。
然后，CPU 20等待直至确定已经终止了重复操作器60c上的按压操作(步骤S415)。即使在等待时期，CPU 20也响应于音调选择器50上的操作执行以上所提到的话音生成过程(参见图3B和3C)。因此，一旦操作了音调选择器50，输出的对象字符与这样的操作同步行进，并且根据字符信息30b所指示的次序行进。例如，一旦在时刻ts之后的t3和t4操作了音调选择器50，则输出的对象字符组转换至字符组L4和L5。
一旦在步骤S415处确定终止了重复操作器60c上的按压操作，则作为重复对象的最后字符组，CPU 20设置紧在输出的对象字符组之前的字符组(步骤S420)。即，CPU 20获取指针j的当前值，并且将通过从指针j的当前值减1所获得的值(j-1)作为指示重复对象的最后字符组的位置的值记录在RAM 40中。紧在输出的对象字符组之前的字符组，由值(j-1)加以指示，对应于当前生成的话音或者最后生成的话音。
在图2E的所说明的示例中，例如，响应于时刻t4音调选择器50上的操作，开始对应于字符组L5的话音的生成，但也将输出的对象字符组更新为字符组L5。因此，通过响应于时刻te重复操作器60c上的解除按压操作的终止作执行步骤S420，将指示当前所生成的话音的字符组L4设置为重复对象的最后字符组。因此，在图2E的所说明的示例中，重复对象的第一字符组是字符组L3，而重复对象的最后字符组是字符组L4，因此将重复对象设置于字符组L3和L4的范围。响应于由字符组L3和L4组成、按以上所提到的方式被设置为重复对象的字符组范围，可以一次或者多次重复设置为重复对象的字符组范围的话音，直至关闭重复功能。因此，可以按用户所希望的次数重复设置为重复对象的字符组范围。以此方式，相关的实施例不仅准许其中重复被设置为重复对象的字符组范围的话音一次(同一歌词部分重复两次)的演奏，并且还准许其中响应于如在实况演奏中的观众的激情多次重复某一特定乐节的演奏。
一旦按以上所提到的方式将字符组范围设置为重复对象，则CPU 20将重复对象的第一字符组设置为输出的对象字符组(步骤S425)。即，CPU 20引用RAM 40，以获取指示重复对象的第一字符组的行进次序的位置的值，并且将如此获取的值设置于指针j中。因此，响应于音调选择器50上的操作获取下一次音调指定信息，将生成对应于重复对象的第一字符组的话音。
以下参考图3B描述用于重复生成以上所提到的方式所选择的重复对象的字符组范围的话音的过程的示例。在已经执行了步骤S425的操作之后，一旦在音调选择器50上执行了音调指定操作，则CPU 20从步骤S103的“是”的决定转向步骤S104，其中，其获取指示所指定的音调的音调指定信息。然后，在步骤S105处，按所指定的音调生成对应于指针j所指定的位置的字符组(即，重复对象的第一字符组)的话音。接下来，在步骤S106处，CPU 20决定重复功能当前是否接通。在该情况下，由于重复功能已经接通，所以在步骤S106为“是”的决定，因此CPU 20前进至步骤S110。
在步骤S110处，CPU 20决定指针j所指示的输出的对象字符组是否为重复对象的最后字符组。如果指针j所指示的输出的对象字符组不是重复对象的最后字符组，则CPU 20从步骤S110的“否”的决定转向步骤S120，其中，其将指针j的值递增1。
即，每次在音调选择器50上执行音调指定操作时，都执行图3B的过程，从而重复了从步骤S110的“否”的决定到步骤S120的路线，直至达到重复对象的最后字符组。一旦达到重复对象的最后字符组，在步骤S110处，作出“是”的决定，使得CPU 20转向步骤S115。在步骤S115处，将指针j的值设置为重复对象的第一字符组的位置。然后，一旦在音调选择器50上执行了音调指定操作，则通过步骤S105的操作再次生成对应于重复对象的第一字符组的话音。以此方式，每次执行音调指定操作时，顺序地生成从重复对象的第一到最后字符组的话音，接下来，在返回至第一字符组之后，重复所述重复话音生成。只要保持重复功能接通，就重复这样的重复话音生成过程。
为了关闭当前处于接通状态的重复功能，用户再次按压重复操作器60c，响应于其，执行图4B的过程。即，因为重复功能当前为接通，所以在步骤S400处作出“否”的决定，使得CPU 20分支到步骤S430，其中，CPU 20关闭重复功能。即，当重复功能为接通时，一旦用户按压重复操作器60c，则CPU20认为已经关闭了重复功能，并且将记录在RAM 40中的重复标志重写入指示重复功能关闭的值。
然后，CPU 20清除将字符组范围设置为重复对象的设置(步骤S435)。即，CPU 20从RAM 40删除指示重复对象的第一和最后字符组的相应行进次序的位置的值。例如，将CPU20配置为甚至是当已经关闭了重复功能时，保持指针j(即，输出的对象字符组)的值不变。因此，在图2E的所说明的示例中，例如，甚至是当响应于在时刻t1在重复操作器60c上所执行的按压操作已经关闭了重复功能时，输出的对象字符组从字符组L5起保持不变。
用户可以通过倾听用户按压重复操作器60c时所输出的话音来识别输出的对象字符组(在图2E的所说明的示例中为L5)，因此，用户能够在下一个话音生成时间之前的一段时间期间通过操作字符选择器60a将所希望的字符组设置为输出的对象字符组。
用户可以通过在时刻t7之前的时序按压向前字符移位选择按钮Mcf两次，将字符组L7设置为输出的对象。在该情况下，如果用户在时刻t7操作了音调选择器50，则输出字符组L7所指示的话音。另外，在其中将字符组L6和字符组L7之间的边界设置为话音生成程序30a中乐节的端点的情况下，用户可以通过在时刻t7之前的时序按压向前字符移位选择按钮Mcf两次，将字符组L7设置为输出的对象。同样在这样的情况下，如果用户在时刻t7操作了音调选择器50，则输出字符组L7所指示的话音。
注意，作为步骤S435的操作的修改，CPU 20可以自动地将指针j的值前进至原始预定行进位置。更具体地，CPU 20可以顺序地前进参考指针，其假设在重复演奏期间不进行响应于音调指定操作的重复。例如，在图2E的所说明的示例中，当在时刻tt已经响应于重复操作器60c上的按压操作执行了步骤S435的操作(重复关闭操作)时，CPU 20从参考指针来识别，应该由指针j加以指定的输出的对象字符组是字符组L7。对于响应于重复功能的关闭自动地将指针j的值前进至原始预定行进位置，可以使用除以上所提到的基于参考指针的技术之外的各种其它技术。例如，CPU 20可以统计在音调选择器50上所执行的操作的数目，同时接通重复功能，然后使用所统计的操作的数目和重复开始时指针j的值校正重复结束时指针j的值。
注意，将经由重复操作器60c的操作和经由话音控制操作器60b的话音控制相组合，准许各种各样的演奏。例如，这样的组合准许与图2C中所示演奏相似的演奏，而无需使用字符选择器60a。图2F示出了其中使用重复操作器60c和话音控制操作器60b执行与图2C中所示演奏相似的演奏的示例。更具体地，图2F示出了这样的示例：其中，在时刻ts执行重复操作器60c上的按压操作，在时刻te执行重复操作器60c上的终止按压操作的操作，从时刻tc1到t6的一段时间和从时刻tc2到t6的一段时间施以颤音，并且从时刻tt执行重复操作器60c上的按压操作。响应于这样的操作，按与图2C相类似的方式重复执行字符组L3和L4两次，其中，按照所施以的颤音执行其第二次演奏。
根据以上所描述的相关的实施例的结构，CPU 20响应于重复操作器60c上的操作重复地生成对应于设置为重复对象(设置为用户所希望的重复对象)的话音，另外，使用所述相关的实施例，可以根据用户的指令(用户在音调选择器50上的操作)控制重复对象的字符所指示的话音的时序。而且，用户可以指定歌词字符串的所希望的字符范围，从而能够使所希望的字符范围重复得以输出，如以上所阐述的，因此，当为了乐器演奏的熟练、记忆等重复同一部分的演奏时，用户可以容易地指定所希望的重复范围，并且使所指定的重复范围按重复的方式得以演奏。另外，例如，也可以将以上所描述的功能用于外语的熟练等，而并不局限于乐器演奏；例如，可以重复地生成所希望的字符范围的话音，例如，倾听外语的训练等。另外，在字符信息30b的创建过程中，可以省略用于重复演奏的同一字符组的创建(即，将针对第一次演奏之后的第二次或者相继次演奏的同一字符组的创建)。按照该方式，能够简化用于创建字符信息30b的操作，因此减少了字符信息30b所需的存储容量。而且，根据相关的实施例，可以从定义为字符信息30b的预先确定的行进次序的字符串选择所希望的部分，并且可以在由话音生成装置根据字符信息30b生成话音的同时重复所述部分，如上所述。因此，能够根据希望按所修改的字符串的现存的行进次序生成字符串的话音。可以按各种方式修改字符串的现存的行进次序，例如，通过拖拽、重复突显的或者进入高潮的乐段的部分(即，合唱)、添加无意义的单词(例如“啦，啦，啦”)、以及出于练习之目的重复难以演奏的部分。另外，使用相关的实施例，不仅能够将字符范围指定为重复对象，而且还能够经由重复操作器60c、按单一按键开关的形式指示重复演奏的开始与结束。因此，不仅能够将字符范围指定为重复对象，并且还能够按极简单的操作执行重复演奏的时序控制。另外，还可以使用数目减少的操作执行与重复相关的控制。而且，用户可以通过倾听从声音输出部件70顺序地输出的话音实时地将字符选择为重复对象，而无需依赖视觉。
(12)其它实施例
以上所描述的实施例仅为用于描述本发明的说明性的示例，也可以使用各种其它的实施例。例如，控制器10a并不局限于图1A中所示的形状。图5的(A)至(E)示出了取自手柄G一端的手柄G的各种形状。如这些图中所示，手柄G的截面可以是多边形形状(例如，图5的(A)中所示的平行四边形)、图5的(B)中所示的三角形或者图5的(E)中所示的矩形)、封闭的曲线形状(例如，图5的(C)中所示的椭圆形)、或者包含直线或者曲线的形状(例如，图5的(D)中所示的半圆形状)。更不用说的是，手柄G的截面形状和尺寸在每一个所截位置不必是恒定的，可以将手柄G配置为截面面积中变化，并且曲率在朝向体(话音生成设备)10b的方向中变化。
另外，对于手柄G，仅需要在这样的位置提供字符选择器60a、重复操作器60c以及话音控制操作器60b：当用户使用手指操作字符选择器60a或者重复操作器60c时，使用用户的另一个手指操作话音控制操作器60b。为此，可以将字符选择器60a(或者重复操作器60c)和话音控制操作器60b提供在其中用户的一只手的手指所放的手柄G的一部分，同时用户用另一只手握住手柄G。例如，可以按这样的方式构造手柄G：将字符选择器60a(或者重复操作器60c)和话音控制操作器60b提供在不同的表面上，而不是提供在同一平表面上，如图5的(A)、(B)、(D)以及(E)中所示。这样的布置可以防止字符选择器60a(或者重复操作器60c)和话音控制操作器60b上的错误操作，并且允许用户容易地同时操作这些操作器。
另外，为了使用户能够用一只手稳定地拿着手柄，同时握紧手柄，较佳的做法是，可以不将字符选择器60a(或者重复操作器60c)和话音控制操作器60b定位在其中手柄G的重心位于它们之间的两个相反的表面(例如，图5的(A)和(E)中的前和后表面)上。当用户握紧手柄G时，这样的配置可以防止用户错误地操作字符选择器60a(或者重复操作器60c)和话音控制操作器60b。
而且，控制器10a和体(话音生成设备)10b的互连方式不必局限于图1A中所示的互连方式。例如，不必一定要仅在一个位置互连控制器10a和体10b，例如，可以将控制器10a构造为U形的弯柱形设备，并且在柱形设备的相反的端点处将其连接于具有形成为手柄的柱形设备部分的体10b。另外，可以将控制器10a可拆卸地附接于键盘10，在该情况下，通过有线或者无线通信将从控制器10a的操作器所输出的操作传输于体10b的CPU 20。
另外，本发明的应用不必局限于键盘乐器10，也可以是装备有音调选择器50的不同类型的电子乐器。本发明也适用于根据预先创建的音调信息(例如MIDI信息)自动地生成字符信息30b中所定义的歌词的话音的歌声生成设备，或者复制所记录的声音信息和所记录的图像信息的装置。在这样的情况下，CPU 20可以获取根据自动演奏序列自动地复制的音调指定信息(MIDI事件信息等)，按所获取的音调指定信息(MIDI事件信息等)所指定的音调生成指针j所指定的字符组的话音，以及根据所获取的音调指定信息(MIDI事件信息等)前进指针j的值。当在根据自动演奏序列获取这样的音调指定信息的实施例中已经操作了音调选择器60a时，CPU 20可以根据自动演奏序列临时停止音调指定信息的获取、取代获取这样的音调指定信息，改为获取响应于用户的操作从音调选择器50给出的音调指定信息、然后生成由指针j所指定的字符组的话音，其中，指针j已经响应于字符选择器60a上的操作被改变，所述话音具有从音调选择器50所获取的音调指定信息所指定的音调。可以按这样的方式构造其中根据自动演奏序列获取音调指定信息的实施例的修改：当已经操作了音调选择器60a时，根据对应于字符选择器60a上的操作的指针j的值的改变，改变(前进或者返回)自动演奏的行进，获取根据如此改变的自动演奏的行进自动地生成的音调指定信息，然后，按所获取的音调指定信息所指示的音调生成响应于字符选择器60a的操作已经改变的指针j所指定的字符组的话音。在这样的修改中，音调选择器50是不必要的。即使在由用户的操作指定话音生成(输出)时序的情况下，用于指定这样的话音生成(输出)时序的机制也不必局限于音调选择器50，也可以为另外类型的合适的转换器等。例如，修改可以被构造为使得，从自动序列数据获取指示将加以生成的话音的音调的信息以及根据用户对合适的转换器的操作指定所述话音的生成时序。
而且，根据话音控制操作器60b变化音调的构造也不必局限于以上所描述的实施例中所使用的结构，也可以使用各种其它结构。例如，可以将CPU 20配置为根据话音控制操作器60b上的触摸接触位置获取相对参考音调的音调变化率，并且根据所获取的音调变化率变化音调。另外，CPU 20还可以认为用户首先接触的操作器60b的话音控制操作器60b的位置是参考音调，同时正在按参考音调生成话音，并且然后，当接触位置已经从第一接触位置改变时，CPU 20可以根据第一接触位置和改变的接触位置之间的距离确定音调校正量和音调变化率。
在以上所提到的情况下，预先确定音调校正量和每单位距离音调变化率。在这样的情况下，CPU 20获取所改变的距离，所述所改变的距离是从第一接触位置到改变的接触位置的距离。然后，CPU 20通过乘以一值来识别音调变化量和音调变化率，其中所述值是通过将所改变的距离除以单位距离、根据每单位距离音调校正量和音调变化率计算的。可替换地，也可以将CPU 20配置为根据话音控制操作器60b上的接触位置的改变(例如，移动速度)，而不是根据话音控制操作器60b上的触摸接触位置的改变来识别音调校正量和音调变化率。当然，通过话音控制操作器60b音调可以变化的宽度，即范围不局限于以上所提到的宽度，即范围，而可以为任何范围(例如一个八音度的范围)。另外，可以使音调变化率随用户的指令等变化。而且，可以根据用户的指令等从话音的音调、音量、话音的字符选择控制操作器60b的控制对象(例如，话音发出者的性别和话音的特征)。
注意，可以与具有提供在其上的字符选择器60a的手柄G相分隔地设置话音控制操作器60b，而不是设置在手柄G之上。例如，可以将提供在键盘乐器10的体10b的输入/输出部件60上的现存的音程控制操作器用作话音控制操作器60b。
另外，获取字符信息30b的方式也不必局限于以上所提到的方式，也可以通过有线或者无线通信从具有记录在其中的字符信息30b的外部记录媒体将字符信息30b输入到键盘乐器10。可替换地，也可以经由麦克风实时地拾取被发出的歌声，并且将其缓冲存储于键盘乐器10的RAM 14中，从而能够根据所缓冲存储的音频波形数据获取字符信息30b。
而且，定义了歌词等的预先确定的字符串的字符信息30b可以为任何信息，只要其能够基本上定义多个字符和字符的次序即可，并且字符信息30b可以呈任何形式的数据表示，例如，文本数据、图像数据或者音频数据。例如，可以使用指示对应于字符的字节的时间系列变化的代码信息或者使用时间系列音频波形数据表示字符信息30b。简而言之，字符信息30b可以呈任何形式的数据表示，只需按这样的方式对字符信息30b进行编码：字符串中的各个字符组(每一个字符组包含一个或多个对应于字节的字符)能够独立加以区分，并且可以根据这样的代码生成话音信号。
而且，可以按任何所希望的方式构造以上所描述的话音生成设备，只要其具有由字符加以指示、根据字符的次序生成话音的功能即可，即，只要其可以根据字符信息、按话音复制字符所指示的单词的声音即可。另外，作为用于生成对应于以上所阐述的字符组的话音的技术，可以使用各种技术中任何一种所希望的技术，例如，根据指示不同字节的声音的波形信息生成针对字符信息所指示的发声字符的波形的技术。
另外，可以按任何所希望的方式构造话音控制操作器，只要其可以改变作为控制对象的因素(控制的对象因素)即可；例如，话音控制操作器可以是传感器，经由其用户可以从控制的对象因素、控制的对象因素的值、变化后的控制的对象因素的状态和/或等的预先确定的参考指定变化。而且，尽管只需话音控制操作器至少能够控制字符选择器所选择的字符所指示的话音的生成的方式，然而并未对话音控制操作器如此加以限制，也可以将话音控制操作器配置为能够独立于字符选择器的选择控制话音的生成的方式。
而且，除了以上所提到的4种类型的选择按钮Mcf、Mcb、Mpf以及Mpb之外，字符选择器60a还可以包括一个或多个其它类型的字符选择(指定)机制。图7示出了对字符选择器60a的修改。如图7中所示，除了以上所提到的4种类型的选择按钮Mcf、Mcb、Mpf以及Mpb之外，字符选择器60a还包括字节分隔选择器Mcs和字节联合选择器Mcu。字节分隔选择器Mcs可以由用户加以操作，以使用预先确定的所分隔的(例如，按两个字节所分隔的)字符组指示歌词的行进。字节联合选择器Mcu可以由用户加以操作，以指示将多个(例如，两个)相继的字符组联合为按单个话音发声。图8示出了字节分隔选择器Mcs和字节联合选择器Mcu的字节分隔和字节联合控制的示例，假设了这样一种情况：将生成对应于图6B中所示的歌词字符串的话音。在图8的所说明的示例中，在按行进次序生成位置“4”的字符组“won”的话音开始之前，已经接通了字节联合选择器Mcu。CPU 20响应于字节联合选择器Mcu的接通将“联合”标志设置为附加信息，然后响应于紧在字节联合选择器Mcu的接通之后的音调指定信息的获取，执行字节联合过程。在字节联合过程中，执行步骤S105(图3B)的操作的修改，使得能够按行进次序将指针j的当前值“4”所指示的字符组“won”和对应于下一个位置“5”的字符组“der”联合，以生成多个字节的话音，并且执行步骤S120(图3B)的操作的修改，使得能够将值“2”添加于指针j的当前值“4”，以将指针j递增2。以此方式，字节联合选择器Mcu用作联合选择器，以指示联合包括在预定义的字符串中的多个相继的字符组，并在一个生成时序处生成如此联合的相继的字符组的话音。
另外，在图8的所说明的示例中，在生成位置“6”的字符组“why”的话音开始之前，已经接通了字节分隔选择器Mcs。CPU 20响应于字节分隔选择器Mcs的接通将“分隔”标志设置为附加信息，然后响应于紧在字节分隔选择器Mcs接通之后的音调指定信息的获取执行字节分隔过程。在字节分隔过程中，执行步骤S105(图3B)的操作的修改，使得能够将指针j的当前值“6”的所指示的字符组“why”分隔成两个字节“wh-”和“y”，并且生成所分隔的字节的第一个字节(字符组)的“wh”的话音，并且执行步骤S120(图3B)的操作的修改，使得将值“0.5”添加于指针j的当前值“6”，以按打破的值“6.5”设置指针j的值。然后，响应于下一个音调指定信息的获取，生成所分隔的字节的第二个字节(字符组)的“y”的话音，并且将值“0.5”添加于当前值“6.5”，以按值“7”设置指针j的值。此后，字节分隔过程结束，响应于信息中下一个音调指定的获取，生成对应于指针j的值“7”的字符组“I”的话音。在字节分隔过程中，即使在经历字节分隔的字符组包含单个字符(例如，字符“I”)的情况下，也根据按两个字节(例如，“a”和“I”)所分隔的字符组生成所述字符组的话音，如果这样的分隔是可能的。另一方面，如果这样的分隔无论如何都是不可能的，则仅可以生成不具有针对第二字节所生成的话音或者具有所维持的第一字节的话音的第一字节的话音。以此方式，字节分隔选择器Mcs用作分隔选择器，其指令包含一个或多个包括在预先确定的字符中的字符的话音分隔为多个分隔的字节，并且每个分隔的字节的话音在不同的生成时序处生成。
针对重复功能总结一下以上所描述的实施例，将CPU 20配置为能够人工地响应于字符选择器60a的操作和/或响应于自动演奏序列的行进以及响应于根据指针j对字符组(包含一个或多个字符)而前进或者后退指针j，并且从指针j(参见步骤S102、S105、步骤S200至S220等)识别(获取)字符组。CPU 20所执行的这样的功能对应于作为获取指定一个或多个包括在预定义的字符串中的字符的信息的功能的信息获取部件。
另外，还将CPU 20配置为能够生成对应于指针j所指定的行进次序的位置的字符组的话音，具有所指定的音调，如以上所描述的(步骤S105)。将如此生成的话音从声音输出部件70输出。CPU 20所执行的这样的功能对应于用作根据所获取的信息生成所指定的一个或多个字符的话音的功能的话音生成部件。
另外，如图4B中所示，CPU 20执行用于响应于用户的操作将字符串的范围设置为重复对象的过程。CPU 20所执行的这样的功能对应于用作接收将当前所生成话音指定为重复对象的信息的功能的重复对象接收部件。而且，只要重复功能为接通，CPU 20就能够通过步骤S425(图4B)的操作将重复对象的第一字符组的位置设置于指针j中，并且从重复对象的结束返回至重复对象的开始，从而能够重复话音生成(步骤S105)。CPU 20所执行的这样的功能对应于控制话音生成部件重复地生成被指定为重复对象的话音的功能的重复控制部件。

Claims (21)

1.一种针对话音生成设备的控制器，话音生成设备被配置来生成对应于预定义的字符串中一个或多个所指定的字符的话音，所述控制器包含：
字符选择器，其被配置来由用户加以操作，以指定预定义的字符串中一个或多个所指定的字符，以及
话音控制操作器，其被配置来由用户加以操作，以控制话音生成设备将加以生成的话音的状态。
2.根据权利要求1中所主张的控制器，其还包含适合于用户手持的手柄，而且其中，在手柄上提供字符选择器和话音控制操作器。
3.根据权利要求2中所主张的控制器，其中，将字符选择器和话音控制操作器提供在手柄的由把持手柄的用户不同的手指操作字符选择器和话音控制操作器的位置处。
4.根据权利要求3中所主张的控制器，以此方式构造该控制器：由用户的拇指操作字符选择器和话音控制操作器之一，并且由用户的另一手指操作字符选择器和话音控制操作器中的另一个。
5.根据权利要求2至4任何之一中所主张的控制器，其中，将字符选择器和话音控制操作器设置在手柄的不同的表面上。
6.根据权利要求1至5任何之一中所主张的控制器，其中，话音控制操作器包含触摸传感器，所述触摸传感器被配置来检查所述触摸传感器的操作表面上的触摸操作位置。
7.根据权利要求1至6任何之一中所主张的控制器，其中，字符选择器包括向前位移选择器和向后位移选择器，其中，向前位移选择器用于根据字符串的接续次序向前位移一个或多个字符，向后位移选择器用于根据所述接续次序向后位移一个或多个字符。
8.根据权利要求1至7任何之一中所主张的控制器，其中，字符选择器包括分隔选择器和联合选择器，其中，分隔选择器用于指示将包含一个或多个字符的、包括在字符串中的字符组的话音分隔成多个音节，并且按不同的时序生成所分隔的音节的话音；联合选择器用于指示联合字符串中多个相继的字符组以及应该按一个生成时序生成联合的字符组的话音。
9.根据权利要求1至8任何之一中所主张的控制器，其还包含重复操作器，其被配置来由用户加以操作，以指示：重复对应于所指定的一个或多个字符的话音。
10.一种包含根据权利要求1至9任何之一中所述的控制器以及话音生成设备的系统。
11.根据权利要求10中所主张的系统，其中，话音生成设备包括处理器，该处理器被配置来：
获取指定将加以生成的话音的音调的音调指定信息；
按所获取的音调指定信息所指定的音调，合成根据字符选择器的操作所指定的一个或多个字符的话音；以及
根据话音控制操作器的操作控制将加以生成的话音的状态。
12.根据权利要求11中所主张的系统，其中，所述处理器还被配置来：
保持指示被指定为用于话音合成的一个或多个字符在字符串中位置的指针；以及
响应对音调指定信息的获取，顺序地前进所述指针，以及
其中，根据字符选择器的操作指定一个或多个字符包含响应字符选择器的操作，向前位移或者向后位移所述指针所指示的位置。
13.根据权利要求12中所主张的系统，其中，所述处理器还被配置来按所获取的音调指定信息所指定的音调，来合成由指针所指示的位置所指定的一个或多个字符的话音。
14.根据权利要求11至13任何之一中所主张的系统，其还包含音调选择器，所述音调选择器被配置来由用户加以操作，以指定将加以生成的话音的音调。
15.根据权利要求14中所主张的系统，其中，话音生成设备是一种电子乐器。
16.一种用于使用控制器对话音的生成进行控制的方法，所述控制器包括：字符选择器，其被配置来由用户加以操作，以指定预定义的字符串中一个或多个字符；以及话音控制操作器，其被配置来由用户加以操作，以控制将加以生成的话音的状态，所述方法包含：
获取指定将加以生成的话音的音调的音调指定信息的步骤；
从字符选择器接收用于指定字符串中一个或多个字符的信息的步骤；
从字符选择器接收用于控制将加以生成的话音的状态的信息的步骤；
按所获取的音调指定信息所指定的音调，合成根据从字符选择器所接收的信息所指定的一个或多个字符的话音的步骤；以及
根据从话音控制操作器所接收的信息控制将加以生成的话音的状态的步骤。
17.一种包含处理器的话音生成设备，其被配置来用作：
信息获取部分，其获取指定预定义的字符串中一个或多个字符的信息；
话音生成部分，其基于所获取的信息生成对应于所指定的一个或多个字符的话音；
重复对象接收部分，其接收将当前生成的话音指定为重复对象的信息；以及
重复控制部分，其控制话音生成部分反复地生成被指定为重复对象的话音。
18.根据权利要求17中所主张的话音生成设备，其中，所述重复对象接收部分被配置来：当按时间序列方式生成一个或多个话音时，响应用户的操作接收指定应该成为重复对象的第一话音和最后话音的信息，以及
将重复控制部分构造来控制话音生成部分反复地生成作为重复对象的、按时间序列方式生成的一个或多个话音的所指定的第一话音到所指定的最后话音。
19.根据权利要求17中所主张的话音生成设备，其中，所述处理器还被配置来用作音调指定信息获取部分，其获取指定将加以生成的话音的音调的音调指定信息，以及
话音生成部分，其按所获取的音调指定信息所指定的音调生成对应于所指定的一个或多个字符的话音。
20.一种方法，包含：
获取指定预定义的字符串中一个或多个字符的信息；
基于所获取的信息生成对应于所指定的一个或多个字符的话音；
接收将当前生成的话音指定为重复对象的信息；以及
执行控制，以反复地生成被指定为重复对象的话音。
21.一种非瞬时计算机可读存储媒体，其存储了一组可以由处理器执行的，以执行话音生成方法的指令，包含：
获取指定预定义的字符串中一个或多个字符的信息；
基于所获取的信息生成对应于所指定的一个或多个字符的话音；
接收将当前生成的话音指定为重复对象的信息；以及
执行控制，以反复地生成被指定为重复对象的话音。
CN201580032999.0A 2014-06-17 2015-06-10 基于字符的话音生成的控制器与系统 Active CN106463111B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014-124092 2014-06-17
JP2014-124091 2014-06-17
JP2014124091 2014-06-17
JP2014124092 2014-06-17
PCT/JP2015/066659 WO2015194423A1 (ja) 2014-06-17 2015-06-10 文字に基づく音声生成のためのコントローラ及びシステム

Publications (2)

Publication Number Publication Date
CN106463111A true CN106463111A (zh) 2017-02-22
CN106463111B CN106463111B (zh) 2020-01-21

Family

ID=54935410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580032999.0A Active CN106463111B (zh) 2014-06-17 2015-06-10 基于字符的话音生成的控制器与系统

Country Status (5)

Country Link
US (1) US10192533B2 (zh)
EP (1) EP3159892B1 (zh)
JP (2) JP6399091B2 (zh)
CN (1) CN106463111B (zh)
WO (1) WO2015194423A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6728754B2 (ja) * 2015-03-20 2020-07-22 ヤマハ株式会社 発音装置、発音方法および発音プログラム
JP6634897B2 (ja) * 2016-03-09 2020-01-22 ヤマハ株式会社 歌詞生成装置および歌詞生成方法
WO2018175892A1 (en) * 2017-03-23 2018-09-27 D&M Holdings, Inc. System providing expressive and emotive text-to-speech
JP6497404B2 (ja) * 2017-03-23 2019-04-10 カシオ計算機株式会社 電子楽器、その電子楽器の制御方法及びその電子楽器用のプログラム
WO2018198379A1 (ja) * 2017-04-27 2018-11-01 ヤマハ株式会社 歌詞表示装置
WO2019026233A1 (ja) * 2017-08-03 2019-02-07 ヤマハ株式会社 効果制御装置
CN107617214A (zh) * 2017-09-23 2018-01-23 深圳市谷粒科技有限公司 一种游戏手柄的自动学习控制方法
JP6610715B1 (ja) 2018-06-21 2019-11-27 カシオ計算機株式会社 電子楽器、電子楽器の制御方法、及びプログラム
JP6610714B1 (ja) * 2018-06-21 2019-11-27 カシオ計算機株式会社 電子楽器、電子楽器の制御方法、及びプログラム
JP7059972B2 (ja) 2019-03-14 2022-04-26 カシオ計算機株式会社 電子楽器、鍵盤楽器、方法、プログラム
US20210366448A1 (en) * 2020-05-21 2021-11-25 Parker J. Wonser Manual music generator

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430240A (en) * 1992-06-08 1995-07-04 Yamaha Corporation Parameter control system for electronic musical instrument
US5875427A (en) * 1996-12-04 1999-02-23 Justsystem Corp. Voice-generating/document making apparatus voice-generating/document making method and computer-readable medium for storing therein a program having a computer execute voice-generating/document making sequence
CN101046958A (zh) * 2006-03-29 2007-10-03 株式会社东芝 语音处理的装置和方法
CN101194224A (zh) * 2005-04-12 2008-06-04 夏普株式会社 音频再现方法、字符码使用设备、分发服务系统和字符码管理方法
US20140006031A1 (en) * 2012-06-27 2014-01-02 Yamaha Corporation Sound synthesis method and sound synthesis apparatus

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6438792A (en) 1988-02-25 1989-02-09 Yamaha Corp Electronic keyed instrument
JP2508937B2 (ja) 1991-10-25 1996-06-19 ヤマハ株式会社 電子鍵盤楽器
GB2279172B (en) * 1993-06-17 1996-12-18 Matsushita Electric Ind Co Ltd A karaoke sound processor
KR0135792B1 (ko) * 1994-12-08 1998-05-15 김광호 노래반주용 곡프로그램 및 이에 적합한 노래반주장치
JPH1063287A (ja) * 1996-08-21 1998-03-06 Brother Ind Ltd 発音訓練装置
JP3900580B2 (ja) * 1997-03-24 2007-04-04 ヤマハ株式会社 カラオケ装置
JP3317181B2 (ja) * 1997-03-25 2002-08-26 ヤマハ株式会社 カラオケ装置
JP3365354B2 (ja) * 1999-06-30 2003-01-08 ヤマハ株式会社 音声信号または楽音信号の処理装置
JP2002251185A (ja) * 2001-02-27 2002-09-06 Casio Comput Co Ltd 自動演奏装置および自動演奏方法
JP4153220B2 (ja) * 2002-02-28 2008-09-24 ヤマハ株式会社 歌唱合成装置、歌唱合成方法及び歌唱合成用プログラム
JP2004205605A (ja) * 2002-12-24 2004-07-22 Yamaha Corp 音声および楽曲再生装置およびシーケンスデータフォーマット
JP3823930B2 (ja) 2003-03-03 2006-09-20 ヤマハ株式会社 歌唱合成装置、歌唱合成プログラム
JP2005189454A (ja) 2003-12-25 2005-07-14 Casio Comput Co Ltd テキスト同期音声再生制御装置及びプログラム
JP4487632B2 (ja) * 2004-05-21 2010-06-23 ヤマハ株式会社 演奏練習装置および演奏練習用コンピュータプログラム
JP4735544B2 (ja) 2007-01-10 2011-07-27 ヤマハ株式会社 歌唱合成のための装置およびプログラム
US7973230B2 (en) * 2007-12-31 2011-07-05 Apple Inc. Methods and systems for providing real-time feedback for karaoke
JP5223433B2 (ja) 2008-04-15 2013-06-26 ヤマハ株式会社 音声データ処理装置およびプログラム
JP2012083569A (ja) * 2010-10-12 2012-04-26 Yamaha Corp 歌唱合成制御装置および歌唱合成装置
JP2012150874A (ja) * 2010-12-28 2012-08-09 Jvc Kenwood Corp 再生装置、コンテンツ再生方法およびコンピュータプログラム
US8729374B2 (en) * 2011-07-22 2014-05-20 Howling Technology Method and apparatus for converting a spoken voice to a singing voice sung in the manner of a target singer
JP5821824B2 (ja) 2012-11-14 2015-11-24 ヤマハ株式会社 音声合成装置
JP6083764B2 (ja) 2012-12-04 2017-02-22 国立研究開発法人産業技術総合研究所 歌声合成システム及び歌声合成方法
JP6171711B2 (ja) * 2013-08-09 2017-08-02 ヤマハ株式会社 音声解析装置および音声解析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430240A (en) * 1992-06-08 1995-07-04 Yamaha Corporation Parameter control system for electronic musical instrument
US5875427A (en) * 1996-12-04 1999-02-23 Justsystem Corp. Voice-generating/document making apparatus voice-generating/document making method and computer-readable medium for storing therein a program having a computer execute voice-generating/document making sequence
CN101194224A (zh) * 2005-04-12 2008-06-04 夏普株式会社 音频再现方法、字符码使用设备、分发服务系统和字符码管理方法
CN101046958A (zh) * 2006-03-29 2007-10-03 株式会社东芝 语音处理的装置和方法
US20140006031A1 (en) * 2012-06-27 2014-01-02 Yamaha Corporation Sound synthesis method and sound synthesis apparatus
CN103514874A (zh) * 2012-06-27 2014-01-15 雅马哈株式会社 声音合成方法和声音合成设备

Also Published As

Publication number Publication date
CN106463111B (zh) 2020-01-21
JP2018112748A (ja) 2018-07-19
US20170169806A1 (en) 2017-06-15
EP3159892B1 (en) 2020-02-12
WO2015194423A1 (ja) 2015-12-23
US10192533B2 (en) 2019-01-29
JP6562104B2 (ja) 2019-08-21
JP6399091B2 (ja) 2018-10-03
EP3159892A4 (en) 2018-03-21
EP3159892A1 (en) 2017-04-26
JPWO2015194423A1 (ja) 2017-04-20

Similar Documents

Publication Publication Date Title
CN106463111A (zh) 基于字符的话音生成的控制器与系统
JP6735100B2 (ja) 音楽コンテンツ及びリアルタイム音楽伴奏の自動採譜
US20090173213A1 (en) Music Score Recognizer and Its Applications
JP5983573B2 (ja) 演奏練習装置、方法、およびプログラム
CN108028040B (zh) 音乐演奏辅助装置和方法
EP3428911B1 (en) Device configurations and methods for generating drum patterns
CN110390923A (zh) 电子乐器、电子乐器的控制方法以及存储介质
JP2006030692A (ja) 楽器演奏教習装置及びそのプログラム
CN106133824A (zh) 用于滚动乐谱的方法、设备以及计算机程序产品
JP6645063B2 (ja) ターゲット文字列の推定
JP6977741B2 (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
US8865991B1 (en) Portable music player
JP2020056938A (ja) 演奏情報表示装置及び演奏情報表示方法、演奏情報表示プログラム、並びに、電子楽器
JP4185991B2 (ja) 指動音楽演奏装置
JP4140887B2 (ja) 演奏判定装置
US8158874B1 (en) System and method for determining tempo in early music and for playing instruments in accordance with the same
JP2003015672A (ja) 声域告知機能付きカラオケ装置
KR101790998B1 (ko) 악보전환방법 및 악보전환장치
JP6459162B2 (ja) 演奏データとオーディオデータの同期装置、方法、およびプログラム
JP2013003205A (ja) 楽譜表示装置、楽譜表示プログラム及び楽譜
JP6953746B2 (ja) 電子音響装置および音色設定方法
Kapur et al. Audio-based gesture extraction on the esitar controller
JPH065455B2 (ja) 歌唱指導装置
JP6787491B2 (ja) 音発生装置及び方法
JP5195209B2 (ja) 演奏データ編集装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant