CN1137667A - 利用样板语音修改现行歌唱语音的卡拉ok装置 - Google Patents

Abstract

一种卡拉OK装置，其中存储装置存储包含在样板语音中的样板元音的第一特征；输入装置收集歌唱者的包括一对前辅音成分及后元音成分的输入歌唱语音；分离装置将前辅音成分与后元音成分分离；提取装置提取出分离的后元音成分的第二特征；发生装置根据第一及第二特征产生替代元音成分；合成装置将分离的前辅音成分与代替分离的后元音的替代元音成分相结合，以合成演唱者的输出歌唱语音；输出装置产生与卡拉OK伴奏一起的输出歌唱语音。

Description

利用样板语音修改现行歌唱语音的卡拉OK装置

本发明涉及一种卡拉OK装置，更具体地，涉及一种能使现行歌唱语音改变成与卡拉OK歌曲的原始歌手相似的语音的卡拉OK装置。

已经有人提出过一种卡拉OK装置，它能可变化地处理现行歌唱的语音，以使卡拉OK演唱者唱得更高或唱得更好听。在这种卡拉OK装置中，公开了一种语音转换装置，用于将歌唱语音戏剧性地改变以使唱声奇怪或可笑。此外，一种复杂的卡拉OK装置能产生出高于歌唱语音三音阶的伴唱声，例如以作为和声。

卡拉OK演唱者希望他们能唱得象一个注册卡拉OK歌曲的职业歌手(原始歌手)那样。但是，在传统的卡拉OK装置中不可能将卡拉OK演唱者的语音转换成职业歌手的样板语音。

本发明的目的在于提供一种卡拉OK装置，利用它可使卡拉OK演唱者能修改的语音唱得象卡拉OK歌曲的原始歌手的声音。

在总的形式上，本发明的卡拉OK装置用于产生为演唱者的歌唱音伴奏的卡拉OK伴奏，它包括：存储装置，它存储样板语音的第一特征；输入装置，它收集演唱者的输入歌唱语音；分析装置，它分析该输入歌唱语音，从中分离出第二特征；合成装置，它根据第一特征及第二特征合成演唱者的输出歌唱语音，以致输入歌唱语音转换成被样板语音修改的输出歌唱语音；及输出装置，它产生与卡拉OK伴奏一起的输出歌唱语音。

在一个特定形式中，本发明的卡拉OK装置用于产生为演唱者的歌唱语音伴奏的卡拉OK伴奏，它包括：存储装置，它存储包含在样板语音中样板元音的第一特征；输入装置，它收集歌唱者的包括一对前辅音成分及后元音成分的输入歌唱语音；分离装置，它将前辅音成分与后元音成分彼此分离；提取装置，它提取与前辅音成分分离开的后元音成分的第二特征；发生装置，它根据第一特征及第二特征产生替代元音成分，以使分离的后元音成分被转换成由样板元音修改的替代元音成分；合成装置，它将分离的前辅音成分与代替分离的后元音成分的替代元音成分相组合，以合成演唱者的输出歌唱语音；及输出装置，它产生与卡拉OK伴奏一起的输出歌唱语音。

在一个优选形式中，存储装置存储关于样板元音波形的第一特征，而提取装置提取出关于分离的后元音成分的音调的第二特征，以使发生装置产生的替代元音成分具有样板元音的波形及分离的后元音成分的音调。

在另一优选形式中，输入装置接连地收集输入歌唱语音的音节，及分离装置将每个音节分离成前辅音成分及后元音成分，以致合成装置持续地合成相应于输入歌唱语音音节的输出歌唱语音的音节。

在另一优选形式中，存储装置以对应于歌唱语音音节顺序的序贯数据的形式存储多个样板元音的第一特征，以使发生装置能与输入歌唱语音的进行同步地产生每个音节的替代元音成分。

根据本发明的卡拉OK装置将一特定人物、如卡拉OK歌曲的原始歌手的样板语音的第一特征存储到特征存储装置中。该样板语音可从真实的歌唱语音中采样得到。当现行歌唱的语音被供给输入装置时，分析装置分析该输入的歌唱语音，及在分析的基础上产生出具有存储在存储装置中的第一特征的输出歌唱语音。对输出歌唱语音进行播放，使得卡拉OK演唱者演唱得好象他或她就是该特定人物或原始歌手。详细地说，根据本发明的卡拉OK装置分离及存储包含在特定人物语音中的样板元音的第一特征。当卡拉OK演唱者的输入歌唱语音被输入时，每个输入歌唱语音音节的后元音及前辅音彼此分离。然后，至少从分离出的元音中提取作为第二特征的音调信息，并基于分离出的音调信息产生替代元音。被产生的元音与分离出的辅音彼此相结合，重组出最后输出的歌唱语音。最后歌唱语音包含卡拉OK演唱者关于其辅音的演唱风格的第二特征，并具有卡拉OK歌曲原始歌手音色的第一特征。因此卡拉OK演唱者唱得好象他或她是有卡拉OK歌曲的特定样板人物演唱的声音。通过将逐音节地对演唱原始卡拉OK歌曲的特定人物的样板语音的分析得来的元音特征存储在特征存储装置中，及利用由存储的元音特征产生出替代元音，卡拉OK演唱者可模仿出唱卡拉OK歌曲的特定样板人物的歌唱语音。如果使用了逐音节的分析，则可使用瞬应装置与卡拉OK演唱的进行同步地指出相应的音节。

图1是表示根据本发明的语音转换式卡拉OK装置的电路框图；

图2表示设在该卡拉OK装置中的语音转换器DSP的结构；

图3表示用在该卡拉OK装置中的歌曲数据的结构；

图4表示用在该卡拉OK装置中的歌曲数据的结构；

图5A-5D表示用在该卡拉OK装置中的歌曲数据的结构；及

图6A及6B表示包括在歌曲数据中的音素数据的结构。

现在将参照附图来描述根据本发明的具有声音转换功能的卡拉OK装置的实施例的细节。本发明的卡拉OK装置是一种所谓的声源卡拉OK装置。该声源卡拉OK装置通过根据歌曲数据驱动声源产生出伴奏乐器的声音。此外，本发明的该卡拉OK装置构成了一种网络通信式卡拉OK装置，它通过通信网络与一主台相连接。该卡拉OK装置接收由主台卸载的歌曲数据，并将该歌曲数据存储到硬盘驱动器(HDD)17(图1)中。该硬盘驱动器17可存储几百至几千首歌曲的数据。本发明的声音转换功能不是输出卡拉OK歌唱者原来歌唱的声音，而是将它转换成不同的音调，例如原始歌手的音色，能作这种声音转换的专门信息与歌曲数据一起存储在硬盘驱动器17中。

现在参照图3至6B来描述本发明卡拉OK装置中使用的歌曲数据的结构。图3表示该歌曲数据的整体结构，图4及5A-5D表示该歌曲数据的详细结构，及图6A和6B表示包括在歌曲数据中的音素数据结构。

在图3中，一首歌曲的数据包括一个数据头，一个乐器声轨，一个歌词轨，一个语音轨，一个DSP控制轨，一个音素轨，及一个语音数据组。数据头包括涉及歌曲数据的各种目录数据，它包括歌曲题目，歌曲类别，歌曲内容数据，歌曲的演奏时间(长度)等。CPU10(图1)确定出基于类别数据要在电监视器26上显示的背景电视图象，并将电视图象的章节数发送到一个LD变换器24。背景电视图象可这样选择，如对于具有涉及冬季主题的日本民歌选择一个下雪乡村的电视图象，或对于外国民歌选择外国场景的电视图象。

图4中所示的乐器声轨包括各种乐器声轨，它包括旋律轨，节奏轨等。由演奏项目数据及持续时间数据Δt组成的顺序数据写入在每个数据轨上。CPU10在对持续时间数据Δt计数时执行乐器顺序程序，并在该过程数据的输出定时时将下一项目数据传送到声源装置18。声源装置18根据包括在过程数据中的通道规定数据选择音调发生通道，并在规定的项目上执行该项目，以便产生出该卡拉OK歌曲的乐器伴奏。

如图5A中所示，歌词轨记录了在电视监视器26上要显示的歌词的顺序数据。该顺序数据不是实际的乐器声数据，但该轨也以MIDI数据格式写入，以便综合数据的执行。数据的类是MIDI标准的专用信息系统。在歌词轨的数据描述中，一个歌词的词组被处理成歌词显示数据的一个项目。歌词显示数据包括用于歌词词组的字符码，每个字符的显示座标，歌词词组显示时间(典型应有用为约30秒)及“扫描”顺序数据。该“扫描”顺序数据是相对于歌曲的进程显示歌词词组时改变每个字符的颜色。扫描顺序数据包括定时数据(从歌词显示开始的时间)及每个字符的位置(座标)，用以改变颜色。

如图5B中所示，语音轨是用于控制存储在语音数据组中语音数据n(n＝1，2，3……)产生的定时的顺序数据轨。语音数据组存储很难由声源装置18合成的人语音，例如伴唱或和声。在语音轨上，写入了持续时间数据Δt，即每个语音规定数据的读出时间间隔。持续时间数据Δt确定对语音数据处理器19(图1)输出语音数据的定时。语音规定数据包括语音序数，音调数据及音量数据。语音序数是一个码数n，用于识别记录在语音数据组中的所需语音数据项。音调及音量数据分别规定待产生的语音数据的音调及音量。非词的伴唱如“阿”或“哇哇哇”可根据所需次数改变音调及音量地、可变化地再产生出来。这部分是用移动寄存在语音数据组中语音数据的音调或调节其音量幅值来再产生出来的。语音数据处理器19基于音量数据控制输出电平，并基于音调数据改变语音数据的读出间隔来调节音调。

如图5C所示，DSP控制轨存储用于连接在声源装置18及语音数据处理器19后面的操作器DSP20的控制数据。该操作器DSP的主要用途是加上各种声音效果，如混响(“reverb”)。DSP20根据记录在DSP控制轨上的及规定效果类型和深度的控制数据在实时基础上控制效果。

如图5D中所示，音素轨以时间串存储音素数据s1，s2……，及代表每音素所属音节长度的持续时间数据e1，e2…。音素数据s1，s2，s3，…及持续时间数据e1，e2，e…彼此交替地设置以形成一个序贯的数据格式。而从乐器声轨到DSP控制轨的大多数数据轨从硬盘驱动器17被转存到RAM12中。CPU10在歌曲数据再产生的开始读出这些轨中的数据。但是，音素轨直接地从硬盘驱动器17存入到包括在语音转换DSP30内的另一RAM中。该语音转换DSP30与其它数据同步地读出音素数据。

在图6A中，一个歌词词组“A KA SH1YA NO”包括五个音节“A”、“KA”、“SH1”、“YA”、“NO”，及音素数据s1，s2，由该五个音节中分离出的元音“a”、“a”、“i”、“a”、“o”组成。如图6B所示，音素数据包括由样板语音的元音波形编码的采样波形数据，平均幅值数据，颤音频率数据，颤音深度数据，及附加噪音数据。附加噪音数据代表包含在样板元音中的非周期性噪音的特征。音素数据表示包含在样板语音中的元音的主要特征，涉及其波形，它的包络线，颤音频率，颤音深度及附加噪音。

图1表示具有语音转换功能的本发明卡拉OK装置的概要框图。控制整个系统的CPU10通过系统总线连接到ROM11，RAM12，硬盘驱动器(表示为HDD)17，ISDN控制器16，遥控接收器13，显示面板14，开关面板15，声源装置18，语音数据处理器19，操作器DSP20，字符发生器23，LD变换器24，显示控制器25及语音转换器DSP30。

ROM11存储系统程序，应用程序，输入程序及源数据。系统程序用于控制基本操作，外围装置之间的数据传送等。应用程序包括外围装置控制器，定序控制程序等。定序程序包括主定序程序，乐器声定序程序，字符定序程序，语音定序程序，DSP定序程序等。在卡拉OK演唱中，  由CPU以并行方式处理每个定序程序，以再生产根据歌曲数据的乐器伴奏声及背景电视图象。输入程序的执行是用于从主台卸载输入所需的歌曲数据。源数据是用于显示歌词及歌曲题目，且各种源数据，  例如“Minchl”、“Gothic”等被作为源数据存储。工作区域被分配在RAM12中。硬盘驱动器17存储歌曲数据文件。

ISDN控制器16控制经过ISDN网络与主台之间的数据通信。包括歌曲数据在内的各种数据从主台卸载输入。ISDN控制器16包括一个DMA控制器，它不用CPU10的控制直接地将数据如卸载的歌曲数据及应用程序写入到HHD17。

遥控接收器13接收来自遥控器31的由控制数据调制的红外信号，并对接收的数据解码。遥控器31设有十键开关，指令开关，如歌曲选择开关等，并传送由与使用者开关操作相应的码调制的红外信号。开关面板15设在卡拉OK装置的正面，它包括一个歌曲码输入开关，一个歌唱键变换开关等。

声源装置18根据歌曲数据产生乐器伴奏声。语音数据处理器19产生具有与包含在歌曲数据中作为ADPCM数据的语音数据相应的规定长度及音调的语音信号。该语音数据是代表难以由声源装置18合成的伴唱或示范歌唱声的数字化波形数据，因此它是以原样被数字地编码的。由声源装置18产生的乐器伴奏声信号，由语音数据处理器19产生的伴唱语音信号，及由语音转换器DSP30产生的歌唱语音信号被同时地传送到声音效果操作器DSP20。操作器DSP20将各种声响效果、如回声及混响加到乐器声及语音信号上。基于包括在歌曲数据中的DSP控制数据对由操作器DSP20所加的声响效果的类型及深度进行控制。根据DSP控制定序程序在CPU控制下，DSP控制数据在预定的定时上被提供给操作器DSP20。加入效果的乐器声信号及歌唱语音信号由D/A转换器21转换成模拟量音频信号，然后输出给放大器/扬声器22。该放大器/扬声器22构成一个输出装置，用于放大及重播音频信号。

话筒27构成一个输入装置，它收集或拾取歌唱语音信号，该信号通过预放大器28及A/D转换器29传送到DSP30。DSP将歌唱语音信号的每个元音成分转换成根据样板人物如原始歌手的元音波形产生的替代元音成分。被转换信号输送到声响效果操作器DSP20。

字符发生器23根据输入字符码数据产生表示歌曲题目及歌词的字符字型。LD变换器24根据输入电视图象选择数据(章节序数)重播背景电视图象。例如，基于卡拉OK歌曲的类型数据确定电视图象选择数据。当卡拉OK演唱开始时，CPU读出在歌曲数据的数据头中记录的类型数据。CPU10根据类型数据确定待显示的背景电视图象及背景电视图象目录。CPU10将该电视图象选择数据传送给LD变换器24。LD变换器24提供包括120个场景的五个激光唱盘，并可选择地重播120个背景电视图象的场景。根据图象选择数据，选择出一个待显示的背景电视图象。字符数据及电视图象数据被供给显示控制器25，该控制器将它们彼此叠加并显示在电视监视器26上。

图2表示语音变换器DSP30的详细结构。表示样板语音主要特征的音素数据被提供给构成一存储装置的音素数据寄存器48。另一方面，从HDD17将持续时间数据供给音素指针发生器46。包括在音素数据轨中的音素数据s1，s2…及持续时间数据e1，e2…按序贯的次序分别被输入到音素数据寄存器48及音素指针发生器46。当卡拉OK演唱开始时，音素指针发生器46提供节拍信息，例如对卡拉OK歌曲的进行作定时及控制的节拍时钟。音素指针发生器46与节拍信息同步地对持续时间计数，以决定歌词的哪个音节是将要被唱出的，并产生一个地址指针，以便对与决定出的音节对应的音素数据指示出存储相应音素数据的寄存器48的地址。所产生的地址指针被存储在音素指针寄存器47。当元音信号发生器42(如以下所述)访问音素数据寄存器48时，由音素指针寄存器47指示的音素数据被读出。

辅音分离器40接收通过话筒27，前置放大器28及A/D转换器收集的输入歌唱语音信号的数字化信号。辅音分离器40将包含在数字化的输入歌唱语音信号中每个音节的前辅音成分及后元音成分分离开来。该分离器40将辅音成分提供给延时器44，及将元音成分提供给一个音调/音平检测器41。例如，利用检测基本频率或波形中的差别可分离开辅音成分及元音成分。音调/音平检测器41构成一个用于分析输入歌唱语音信号并从中分离出第二特征的分析装置。即为，检测器41检测输入元音成分的音调(频率)及音平。检测是在实时基础上执行的，及检测到的涉及在时间序列中音调及音平的变化的信息被作为第二特征分别提供给元音信号发生器42及包络线发生器43。元音信号发生器42与歌曲进行同步地接收来自音素数据寄存器48的由音素指针指示的音素数据。元音信号发生器42根据在由音调/音平检测器41规定的音调上的音素数据产生或发生一个替代元音信号。该由元音信号发生器产生的替代元音信号被传送给包络线发生器43。包络线发生器43实时地接收分离出的元音成分的音平信息，并响应于该音平信息控制由元音信号发生器42接收的替代元音信号的音平。加上了根据音平信息的包络线的替代元音信号被送到一个加法器45。

另一方面，延时器44使来自于辅音分离器40被分离出的辅音号延时一段与在包括音调/音平检测器41、元音信号发生器42及包络线发生器43的环路中元音处理时间一样长的时间。被延时的辅音信号输入到加法器45。加法器45部分地构成了一个合成装置，它通过将由卡拉OK歌唱者输入的歌唱语音分离出的辅音分量与替代元音成分相结合来合成输出歌唱语音信号，替代元音成分是从原始歌手取得的并根据从卡拉OK演唱者的被分离元音成分中分离出的音调及音平信息修改的。因此，合成的最后输出歌唱语音包括在辅音部分中的卡拉OK演唱者的第二特征及在元音部分中的样板歌手的特征。产生出的歌唱语音被送到操作器DSP20。

语音转换器DSP30如上所述地工作，它能使卡拉OK演唱者唱出与原始样板歌手相似的人造语音，而还保持自己在辅音部分中歌唱的风格。

总地来看，本发明的卡拉OK装置产生对歌唱者的歌唱语音伴奏的卡拉OK伴奏。在该装置中，存储装置存储样板语音的第一特征。输入装置收集演唱者的输入歌唱语音。分析装置分析输入歌唱语音，从中分离出第二特征。合成装置根据第一特征及第二特征合成歌唱者的输出歌唱语音，以致输入歌唱语音被转换成用样板语音修正的输出歌唱语音。输出装置与卡拉OK伴奏一起地产生出输出歌唱语音。尤其是，存储装置存储关于样板语音波形的第一特征，而分析装置分离出关于输入歌唱语音的音调及包络线中至少一项的第二特征，以使合成装置合成的输出歌唱语音具有样板语音的波形和至少输入歌唱语音的音调及包络线中的一项。此外，存储装置存储表示包含在样板语音中的元音的第一特征，而分析装置分离出表示包括在输入歌唱语音中的辅音的第二特征，以使合成装置合成的输出歌唱语音包含源于样板语音的元音及源于输出歌唱语音的辅音。另外，存储装置存储从由样板歌手唱的样板语音中顺序采样的每个音节的第一特征，而分析装置分离出从歌唱者的输入歌唱语音顺序采样的每个音节的第二特征，以使合成装置一个音节接一个音节地合成输出歌唱语音。

在以上的说明中，包络线发生器43响应于卡拉OK演唱者的语音对产生的元音信号的包络线进行控制。另外，发生器43也可构成为加入预定的及固定的包络线。在上述实施例中，从原始歌唱中分离出的样板元音以音素数据的方式被存储。但是待存储的音素数据数据不限制于此范围。例如，日语标准五十音图的典型发音可被存储，用于通过对卡拉OK输入歌唱语音的分析来确定音素数据及合成元音。

如上所述，根据本发明，基于卡拉OK演唱者现唱的语音信号来合成专门人员如原始歌手的歌唱语音信号，可以作到响应卡拉OK演唱者的语音重播出原始歌手的语音，以使卡拉OK演出者能欣赏其演唱就象原始歌手正在演唱一样。此外，利用将卡拉OK演唱者及原始歌手的元音相混合再产生出歌唱语音信号，可以保持卡拉OK演唱者的演唱风格，以致卡拉OK演唱者的音色可被原始歌手的音色代替。

Claims (8)

1、一种用于产生为演唱者的歌唱语音伴奏的卡拉OK奏的卡拉OK装置，包括：

存储装置，它存储样板语音的第一特征；

输入装置，它收集演唱者的输入歌唱语音；

分析装置，它分析输入歌唱语音，从中分离出第二特征；

合成装置，它根据第一特征及第二特征合成演唱者的输出歌唱语音，以致输入歌唱语音转换成被样板语音修改的输出歌唱语音；及

输出装置，它产生与卡拉OK伴奏一起的输出歌唱语音。

2、根据权利要求1所述的卡拉OK装置，其中存储装置存储关于样板语音波形的第一特征，而分析装置分离出关于输入歌唱语音的音调及包络线中至少一项的第二特征，以使合成装置合成的输出歌唱语音具有样板语音的波形和至少输入歌唱语音的音调及包络线中的一项。

3、根据权利要求1所述的卡拉OK装置，其中存储装置存储表示包含在样板语音中的元音的第一特征，而分析装置分离出表示包含在输入歌唱语音中的辅音的第二特征，以使合成装置合成的输出歌唱语音包含源于样板语音的元音及源于输出歌唱语音的辅音。

4、根据权利要求1所述的卡拉OK装置，其中存储装置存储从由样板歌手唱的样板语音中顺序采样的每个音节的第一特征，而分析装置分离出从歌唱者的输入歌唱语音顺序采样的每个音节的第二特征，以使合成装置一个音节接一个音节地合成输出歌唱语音。

5、一种用于产生为演唱者的歌唱语音伴奏的卡拉OK伴奏的卡拉OK装置，包括：

存储装置，它存储包含在样板语音中样板元音的第一特征；

输入装置，它收集歌唱者的包括一对前辅音成分及后元音成分的输入歌唱语音；

分离装置，它将前辅音成分与后元音成分彼此分离；

提取装置，它提取与前辅音成分分离开的后元音成分的第二特征；

发生装置，它根据第一特征及第二特征产生替代元音成分，以使分离的后元音成分被转换成由样板元音修改的替代元音成分；

合成装置，它将分离的前辅音成分与代替分离的后元音成分的替代元音成分相组合，以合成演唱者的输出歌唱语音；及

输出装置，它产生与卡拉OK伴奏一起的输出歌唱语音。

6、根据权利要求5所述的卡拉OK装置，其中存储装置存储关于样板元音波形的第一特征，而提取装置提取出关于分离的后元音成分的音调的第二特征，以使发生装置产生的替代元音成分具有样板元音的波形及分离的后元音成分的音调。

7、根据权利要求5所述的卡拉OK装置，其中输入装置接连地收集输入歌唱语音的音节，及分离装置将每个音节分离成前辅音成分及后元音成分，以致合成装置持续地合成相应于输入歌唱语音音节的输出歌唱语音的音节。

8、根据权利要求7所述的卡拉OK装置，其中存储装置以对应于歌唱语音音节顺序的序贯数据的形式存储多个样板元音的第一特征，以使发生装置能与输入歌唱语音的进行同步地产生每个音节的替代元音成分。

Images