CN1199146C - 一种用于在实际歌唱声上产生虚拟和声的卡拉ok设备 - Google Patents

一种用于在实际歌唱声上产生虚拟和声的卡拉ok设备 Download PDF

Info

Publication number
CN1199146C
CN1199146C CN96103212.XA CN96103212A CN1199146C CN 1199146 C CN1199146 C CN 1199146C CN 96103212 A CN96103212 A CN 96103212A CN 1199146 C CN1199146 C CN 1199146C
Authority
CN
China
Prior art keywords
sound
data
harmony
chanteur
karaoke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN96103212.XA
Other languages
English (en)
Other versions
CN1153964A (zh
Inventor
荫山保夫
三野浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN1153964A publication Critical patent/CN1153964A/zh
Application granted granted Critical
Publication of CN1199146C publication Critical patent/CN1199146C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/245—Ensemble, i.e. adding one or more voices, also instrumental voices
    • G10H2210/261—Duet, i.e. automatic generation of a second voice, descant or counter melody, e.g. of a second harmonically interdependent voice by a single voice harmonizer or automatic composition algorithm, e.g. for fugue, canon or round composition, which may be substantially independent in contour and rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/011—Lyrics displays, e.g. for karaoke applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis

Abstract

一种卡拉OK设备产生伴随实际歌唱者的歌唱声的卡拉OK伴音，并同时产生一位虚拟歌唱者的和声。该设备中，一存储装置存储该虚拟歌唱者的声音信息。一输入装置收集该实际歌唱者的歌唱声。一分析装置分析收集的歌唱声的声音频率。一合成装置根据所分析的声音频率处理所存储的声音信息以合成具有设定得与所分析的声音频率相和谐的另一种声音频率的和声。一输出装置把所收集的歌唱声和所合成的和声混合，并把混合的歌唱声和和声与卡拉OK伴音一起输出。

Description

一种用于在实际歌唱声上产生虚拟和声的卡拉OK设备
技术领域
本发明涉及一种设计得能在卡拉OK歌唱声上加上一个和声的卡拉OK设备，更特别地涉及一种能够产生一个相似于非实际卡拉OK歌唱声音的，例如相似于卡拉OK歌曲的原始演唱者的歌声的虚拟的和声的卡拉OK设备。
背景技术
在以往技术中，为了鼓励卡拉OK歌唱和改善卡拉OK表演，已知有一种卡拉OK设备能够在卡拉OK歌唱者的歌唱声上添加一个和声，例如比主旋律高三度的和声，并复现出该和声和歌唱声的混合声。一般，这种和声功能通过移动由麦克风所拾取的歌唱声的音调以产生一个与歌唱者的速度相同步的和声来达到。然而，在这种普通的卡拉OK设备中，由于所产生的和声的音色与卡拉OK歌唱者的实际歌唱声的音色相同，所以歌唱表演显得平淡。要满足卡拉OK歌唱者想要和卡拉OK歌曲的原始演唱者一起歌唱的愿望是困难的。
发明内容
本发明的目的是提供一种卡拉OK设备，它能够产生与卡拉OK歌唱者有不同音色的和声，例如具有由卡拉OK歌曲的原始演唱者所发出的或由其导出的悦耳音色的和声。
根据本发明，提供一种卡拉OK设备，它用来产生伴随一位实际歌唱者的歌唱声的卡拉OK伴音，并用来同时地产生一个来源于一位虚拟的歌唱者的和声，该和声响应输入的歌唱声而被输出，该设备包括：一个存储装置，用来存储虚拟歌唱者的声音信息；一个输入装置，用来收集实际歌唱者的歌唱声；一个分析装置，用来分析所收集的歌唱声的声音频率；一个合成装置，用来根据所分析的声音频率来处理所存储的声音信息，以合成出具有被设定得与所分析的声音频率相谐和的另一种声音频率的和声信号；以及一个输出装置，用来把所收集的歌唱声和所合成的和声互相混合起来，并把相混合的歌唱声和和声与卡拉OK伴音一起输出。
较好地，上述卡拉OK设备中的存储装置以一系列音素的形式存储声音信息，这些音素是从虚拟歌唱者的歌唱声中逐个音节地连续采样而得到的。
较好地，上述卡拉OK设备中的合成装置以同步于卡拉OK伴音的方式从存储装置中依次地读出每个音素，以合成对应于歌唱声的每个音节的每个和声音节。
较好地，上述卡拉OK设备中的存储装置还存储代表和声旋律模式的和声信息，并且其中的合成装置根据所存储的和声信息来移动所分析的声音频率，以设定上述和声的另一种声音频率。
较好地，上述卡拉OK设备中的该存储装置存储包括一系列的音素的虚拟歌唱者的声音信息，这些音素从虚拟歌唱者的演唱声音连续采样得到。
较好地，上述卡拉OK设备还包括一个元音/子音分离器，用于分离实际歌唱者的歌唱声音的子音成分和元音成分，其中该合成装置包括一个元音合成器，用于根据声音信息的音素合成和声的元音成分，及一个相加器，用于通过将从卡拉OK歌唱者的歌唱声音中分离的子音耦合到虚拟歌唱者的合成的元音成分来产生和声。
较好地，上述卡拉OK设备中的该存储装置存储表示要由实际的歌唱者歌唱的歌词的序列数据，该设备还包括显示装置，根据该序列数据来与卡拉OK伴音的进展相关地显示歌词。
附图说明
图1是示出根据本发明的具有和声产生功能的卡拉OK设备的原理方框图。
图2示出设置在该卡拉OK设备中的声音处理DSP(数字信号处理器)的结构。
图3示出该卡拉OK设备中所使用的歌曲数据的结构。
图4示出该卡拉OK设备中所使用的歌曲数据的详细结构。
图5A至5F示出该卡拉OK设备中所使用的歌曲数据的详细结构。
图6A和图6B示出含在歌曲数据中的音素数据的结构。
具体实施方式
现在将参考附图说明根据本发明的具有和声产生功能的卡拉OK设备的实施例细节。本发明的卡拉OK设备叫做有声源卡拉OK设备。该有声源卡拉OK设备通过根据歌曲数据来驱动一个声源而产生器乐伴音。歌曲数据是一系列数据，它们排列在多个轨道上，其中包含了确定卡拉OK伴音的音调和时序的表演数据序列。还有，本发明的卡拉OK设备的结构是一种网络通信卡拉OK装置，它通过一个通信网络与一个主站相连接。该卡拉OK设备接收从主站下载而来的歌曲数据，并把歌曲数据存储在一个硬盘驱动器(HDD)17中(图1)。该硬盘驱动器17能够存储几百到几千个歌曲数据。该卡拉OK设备的和声产生功能就是能产生这样的和声信号，它的音调与卡拉OK歌唱者的歌唱声音调有三度或五度的差别。在该卡拉OK设备中，所产生的和声在音调上与卡拉OK歌唱者的歌唱声有三度或五度的差别，而在音色上却是卡拉OK歌曲原始演唱者的音色。
现在参考图3至图6B来说明本发明卡拉OK设备中所使用的歌曲数据的结构。图3示出歌曲数据结构的总貌，图4和图5A-5F示出歌曲数据的详细结构，图6A和6B示出含在歌曲数据中的音素数据的结构。
在图3中，一个乐曲的歌曲数据包括一个引头部分、一个器乐声或器乐迹道、一个语声或主旋律迹道、一个和声迹道、一个歌词迹道、一个声音迹道、一个效果迹道、一个音素迹道、以及一个声音数据块。引头部分含有关于该歌曲数据的各种索引数据，包括歌曲的标题、歌曲的种类、歌曲的发行日期、歌曲的表演时间(长度)等等。CPU(中央处理器单元)10(图1)根据种类数据确定准备显示在视象监视器26上的背景视频图象，并向一个LD(光盘)变换器24输送该视频图象的章号。背景视频图象可以这样来选择。例如对于其主题涉及冬季的日本民谣，该视频图象可以选择为一个下雪的乡间，或者对于外国通俗流行歌曲，可以选择为外国的景象。
图4和图5A-5F所示的从器乐声迹道到音素迹道中的每一个迹道都含有一系列的过程数据和指明各过程数据时限的时间数据Δt。CPU10执行一个序列程序，其中以预定速度的时钟对时间数据Δt进行计数。当计数完Δt之后就读出下一个过程数据，并且该读出的过程数据被输送给一个预定的处理模块。
图4所示的器乐声迹道含有各种亚迹道，包括伴音旋律迹道、伴音节奏迹道等等。由表演过程数据和时间数据Δt组成的序列数据被写在每个迹道上。CPU10在计数时间数据Δt的同时执行一个器乐序列程序，并在过程数据的输出时刻把下一个过程数据输送给声源装置18。声源装置18根据含在过程数据中的通道指定数据选出一个音色发生通道，并执行指定通道上的过程，以产生卡拉OK歌曲的器乐伴音音色。
如图5A所示，语声或主旋律迹道记录了代表卡拉OK歌唱者应该歌唱的主旋律模式的序列数据。如图5B所示，和声迹道存储了代表卡拉OK歌曲的和声旋律的模式的序列数据。这些模式数据被CPU10读出，读出的模式数据被输送给声音处理DSP30，以产生和声。
如图5C所示，歌词迹道记录了要在视象监视器26上显示的歌词的序列数据。这个序列数据不是实际的器乐声数据，不过为了易于实现数据合成，这个迹道也用MIDI数据格式来描述。在MIDI标准中这个数据的等级是系统专用信息。在该歌词迹道的数据描述中，一个歌词短句被当作歌词显示数据的一个过程来处理。歌词显示数据包括歌词短句的文字代码、每个文字的显示坐标、歌词短句的显示时间(在典型应用中约为30秒)，以及“擦除”序列数据。该“擦除”序列数据用来随着歌唱的进程改变所显示歌词短句中每个文字的颜色。该擦除序列数据包括时间数据(歌词显示以来的时间)和每个文字的位置(坐标)数据，用来改变颜色。
如图5D所示，声音迹道是一个序列迹道，用来控制存储在声音数据块中的声音数据n(n＝1，2，3…)的产生时刻。声音数据块存储声源装置18难以合成的人类声音，如背景合唱声。在声音迹道上写入了时间数据Δt，也即每个声音指定数据的读出时限。时间数据Δt确定了向声音数据处理器19(图1)输出声音数据的时间。声音指定数据包括一个声音号、音调数据和音量数据。声音号是一个代码号n，以指定记录在声音数据块中的一个所需的声音数据项。音调数据和音量数据分别确定准备产生的声音数据的音调和音量。非语言性的背景合唱，例如“啊”或“哇哇哇”，可以以不同的音调整和音量按需要再生任何次数。这种部分是通过移动记录在声音数据块中的声音数据的音调或调整该声音数据的音量来再生的。声音数据处理器19根据音量数据来控制输出电平，并根据音调数据通过改变声音数据的读出时钟来调节音调。
如图5E所示，效果迹道存储用于一个与声源装置18、声音数据处理器19和声音处理DSP30相连接的效果DSP20的控制数据。效果DSP20的主要目的是添加各种声响效果，例如对从声源装置18、声音数据处理器19和声音处理DSP30输入的声音信号加上回响(“混响”)。DSP20根据记录在效果迹道上的、并指定效果类型和强度的控制数据，实时地控制效果。
如图5F所示，音素迹道存储按时间序列排列的音素数据s1、s2…，以及代表各个音素所属的音节长度的时期数据e1，e2…。音素数据s1、s2、s3…和时期数据e1、e2、e3…是互相交替排列地来形成序列数据格式的。
在图6A中，一个歌词短名“A KA SHI YA NO”包括5个音节“A”、“KA”、“SHI”、“YA”、“NO”，音素数据s1、s2、…则由从这5个音节中提出的元音“a”、“a”、“i”“a”、“0”所组成。如图6B所示，音素数据包括根据虚拟演唱者典型声音的元音波形编码的样品波形数据，平均大小(振幅)数据、颤音频率数据、颤音强度数据和附加的噪声数据。附加的噪声数据代表含在典型元音中的非周期性噪声的特性。音素数据以波形、波形的包络、颤音频率、颤音强度和附加噪声的形式，代表含在虚拟演唱者典型声音中的元音的声音信息。
大多数迹道的数据，例如器乐声迹道和效果迹道的数据被从硬盘驱动器17装载到一个RAM(随机存取存储器)12中。CPU10在开始再生歌曲数据时读出这些迹道的数据。不过，音素迹道、语声或主旋律迹道和和声迹道的数据可以从硬盘驱动器17直接装载到含在声音处理DSP30内的另一个RAM中。声音处理DSP30读出音素数据、主旋律的音符过程数据、以及和声旋律的音符过程数据。
图1示出了该具有和声产生功能的卡拉OK设备的原理方框图。控制整个系统的CPU10通过系统总线与一个ROM(只读存储器)11、一个RAM12、一个硬盘驱动器(用HDD表示)17、一个ISDN控制器16、一个遥控接收器13、一个显示面板14、一个开关板15、一个声源装置18、一个声音数据处理器19、一个效果DSP20、一个文字发生器23、一个LD变换器24、一个显示控制器25、和一个声音处理DSP30相连接。
ROM11存储系统程序、请求程序、装载器程序和字体数据。系统程序控制基本操作和周边设备之间的数据转移等。请求程序包括周边设备控制程序、序列程序等等。在卡拉OK表演时，CPU10处理序列程序，以根据歌曲数据再生器乐伴音和背景视频图象。装载器程序的执行使所要求的歌曲数据从主站下载。字体数据用来显示歌词和歌曲标题，并且各种字体，例如“明体”和“歌特体”等都作为字体数据存储。在RAM12中分配有一个工作区。硬盘驱动器17存储歌曲数据文件。
ISDN控制器16控制经过ISDN网络与主站的数据通信。包括歌曲数据在内的各种数据从主机下载。ISDN控制器16含有一个DMA(直接存储器访问)控制器，它可以不受CPU10控制地直接把例如下载的歌曲数据和请求程序写入到HDD17中。
遥控接收器13接收来自一个遥控器31的被控制数据所调制的红外信号，并对接收到的控制数据进行解码。遥控器31上有十键开关和诸如歌曲选择器开关这样的指令开关等，并且发射出被对应于用户的开关操作的代码所调制的红外信号。开关板15设置在卡拉OK设备的前面板上，并含有一个歌曲代码输入开关、一个按键转换开关等等。
声源装置18根据歌曲数据产生器乐伴音。声音数据处理器19产生具有对应于作为ADPCM数据含在歌曲数据内的声音数据的特定长度和音调的声音信号。声音数据是代表背景合唱或示范性歌声的数字波形数据，这种声音是难以由声源装置18来合成的，所以它们按其自身进行了数字编码。
声音处理DSP30经过一个前置放大器28和一个A/D(模数)转换器29接收由例如麦克风27这样的输入装置所拾取或收集的歌唱声信号，还接收其他各种信息，例如主旋律模式数据、和声旋律模式数据和音素数据。声音处理DSP30根据输入信息产生叠加在卡拉OK歌唱者所唱出的主旋律之上的、具有该卡拉OK歌曲的原始演唱者的音色的和声信号。所产生的信号被输送给声音效果DSP20。
由声源装置18产生的器乐伴音信号、由声音数据处理器19产生的合唱声信号、以及由声音处理DSP30产生的歌唱声信号和和声信号都同时被输送给声音效果DSP20。效果DSP添加上各种声响效果，例如器乐声和声音信号的回声和混响声。由效果DSP20所添加的声响效果的类型和强度是根据含在歌曲数据内的效果控制数据来控制的。在CPU10的控制之下，根据效果控制序列程序该效果控制数据在预定的时刻被输送给效果DSP20。加有效果的器乐声信号和声音信号被一个D/A(数模)转换器21转换成模拟声音信号，然后输送给一个放大器/扬声器22。该放大器/扬声器22构成了一个输出装置，用来放大和再生声频信号。
文字发生器23产生代表对应于输入文字代码数据的歌曲标题和歌词的文字图形。LD变换器24再生对应于输入视频图象选择数据(章号)的背景视频图象。该视频图象选择数据例如是根据卡拉OK歌曲的种类数据来确定的。当卡拉OK表演开始时，CPU10读出记录在歌曲数据引头部分内的种类数据。CPU10根据该种类数据确定准备显示的背景视频图象。CPU10把该视频图象选择数据输送给LD变换器24。LD变换器24装备了含有120个景象的5个激光视盘，它能够有选择地再生出120种背景视频图象。根据图象选择数据，选出其中一个背景视频图象以显示出来。文字数据和视频图象数据被输送给显示控制器25，后者把它们重叠在一起并在视象监视器26上显示出来。
图2示出声音处理DSP30的详细工作结构。该声音处理DSP30根据内设的微程序执行图2中各个模块所示的对输入声频信号的各种数据处理。参见图2，原始演唱者的声音数据存储在一个音素数据寄存器48中。一个音素指针发生器46指定了应该读出哪一个音素。该指定的音素数据被输送给一个元音合成器43，以产生和声信号。该和声与卡拉OK歌唱者的声音信号混合起来。混合的信号被再生成声音。下面将详细说明该和声合成处理。
含在音素数据迹道内并由HDD17输送的音素数据s1、s2…被依次地输入给音素数据寄存器48，同时时期数据e1、e2…被输送给音素指针发生器46。在卡拉OK表演中，音素指针发生器46从一个音调分析器41接收音节探测信号以及从CPU10接收节拍信息。音素指针发生器46识别出当前在歌唱的是歌词的哪一个音节，并产生一个用寄存器48的地址的形式来指明对应于被识别出的音节的音素数据的指针，在该地址处即存储了该指明的音素数据。所产生的指针被暂时地存储在一个音素指针寄存器47中。元音合成器43读出被音素指针寄存器47所寻址的音素数据。也就是说，寄存器48以一系列音素的形式存储了声音信息，这些音素是从虚拟演唱者的歌声中逐个音节地临时采样出来的。还有，元音合成器43与卡拉OK伴音同步地从寄存器48依次读出每个音素，以合成出对应于歌唱声每个音节的每一个和声音节。
一个元音/子音分离器40和一个延时器50接收由麦克风27经过前置放大器28和A/D转换器29输入的数字化歌声信号。元音/子音分离器40通过分析该数字化歌声信号把一个音节的子音成分和元音成分互相分开。元音/子音分离器40把子音成分输送给延时器49，同时把元音成分输送给音调分析器41。可以通过探测歌声信号的基频或波形来分离子音成分和元音成分。音调分析器41探测输入元音成分的音调(声频)和电平。
该探测是实时地进行的，探测到的音调信息或分析出的声频被输送给一个音调计算器42，而探测到的电平信息被输送给元音合成器43和一个包络发生器44。还有，音调分析器41还被提供有从语声旋律迹道中提取出的、并代表了实际歌唱者演唱卡拉OK歌曲时所跟随的主旋律模式的语声旋律信息，该音调分析器41根据所探测到的歌唱声音调来跟踪主旋律模式，由此探测出歌唱声的每一个音节。当前正在唱出的音节通过跟踪而得到，探测到的音节信息被分配给音素指针发生器46。音素指针发生器46的基本操作是根据探测到的音节信息来增加音素指针值。为此而执行了对卡拉OK歌唱者歌唱声的跟踪。如果音节信息的输入时刻和由节拍信息所提供的时间数据计数完时刻两者的时间偏差大于一个预定值，则将进行补偿，即取探测到的音节的输入时刻和时间数据计数完的时刻的平均时刻。
音调计算器42根据输入的音调数据和主旋律信息来探测当前正在演唱的哪一个音符。根据这个探测，音调计算器按照由歌曲数据的和声迹道所提供的、并且代表了和声旋律模式的和声信息来确定应该产生哪一个和声音符。也就是说，存储装置存储了代表和声旋律模式的和声信息，而音调计算器42根据所存储的和声信息来移动歌唱声的分析出的声音频率，以设定一个适当的和声声音频率。元音合成器43根据由音素数据寄存器48所提供的音素数据，产生具有由音调计算器42所指定的音调的元音信号。也就是说，元音合成器43合成出一个具有移动了的音调和由音素数据所指字的波形的元音成分。这个由元音合成器43所产生的元音信号被输送给一个包络发生器44。该包络发生器44实时地从分离器40接收元音成分的电平信息，并根据该电平信息来控制从元音合成器43接收到的元音信号的电平。这个加上了由电平信息所指定的包络的元音信号被输送给一个相加器45。
另一方面，延时器49把由元音/子音分离器40所输送的子音信号延时这样一个时间，它等于包括音调分析器41、音调计算器42、元音合成器43和包络发生器44这些方框中的元音处理时间。延时后的子音信号被输送给相加器45。相加器45通过把从卡拉OK歌唱者的歌唱声中分离出来的子音成分耦合到根据元音信息所产生的卡拉OK歌曲原始演唱者的和声元音信号上，以产生一个组合的和声信号。这样，就有可能根据关于卡拉OK歌唱者的歌唱声的子音成分以及音调和音量的信息，合成出与卡拉OK歌唱者的歌唱声匹配良好的最后的和声信号，同时其中还保持了原始演唱者的音色。所产生的和声信号在相加器51中与卡拉OK歌唱者的歌唱声混合起来。原始演唱者的歌声信号在延时器50中被延时，以补偿和声信号的产生过程中所需的处理时间。相混合的歌唱声和和声被输送给效果DSP20。
声音信号DSP30如前述那样工作，并产生出具有原始演唱者的音色并且与卡拉OK歌唱者所唱的主旋律匹配良好的和声信号。在上述实施例中，从原始歌声中所提取的元音作为音素数据存储。不过，要存储的音素数据不限于此。例如，还可以存储日语标准音节中的典型发音，以用于通过分析卡拉OK歌唱声来确定音素数据和合成元音。还有，在上述实施例中，歌曲数据的音素数据迹道只记录了原始演唱者或模范演唱者的元音数据，而和声信号是利用卡拉OK歌唱者的子音信号来产生的。或者，音素数据迹道上也还可以记录模范演唱者的子音成分，而且和声波形可以由模范演唱者的元音和子音成分组成。
如前所述，在根据本发明的卡拉OK设备中，根据一个特定人物，例如一位原始演唱者的声音特性，可以在卡拉OK歌唱者的歌声之上产生具有这种特性的和声信号，从而卡拉OK歌唱者就能够感到好象他或她是在和一位虚拟的歌唱者，例如该卡拉OK歌曲的原始演唱者一起表演二重唱，从而享受到了卡拉OK演唱的乐趣。

Claims (7)

1、一种卡拉OK设备，它用来产生伴随一位实际歌唱者的歌唱声的卡拉OK伴音，并用来同时地产生一个来源于一位虚拟的歌唱者的和声，该和声响应输入的歌唱声而被输出，该设备包括：
一个存储装置，用来存储虚拟歌唱者的声音信息；
一个输入装置，用来收集实际歌唱者的歌唱声；
一个分析装置，用来分析所收集的歌唱声的声音频率；
一个合成装置，用来根据所分析的声音频率来处理所存储的声音信息，以合成出具有被设定得与所分析的声音频率相谐和的另一种声音频率的和声信号；以及
一个输出装置，用来把所收集的歌唱声和所合成的和声互相混合起来，并把相混合的歌唱声和和声与卡拉OK伴音一起输出。
2、根据权利要求1的卡拉OK设备，其中的存储装置以一系列音素的形式存储声音信息，这些音素是从虚拟歌唱者的歌唱声中逐个音节地连续采样而得到的。
3、根据权利要求2的卡拉OK设备，其中的合成装置以同步于卡拉OK伴音的方式从存储装置中依次地读出每个音素，以合成对应于歌唱声的每个音节的每个和声音节。
4、根据权利要求1的卡拉OK设备，其中的存储装置还存储代表和声旋律模式的和声信息，并且其中的合成装置根据所存储的和声信息来移动所分析的声音频率，以设定上述和声的另一种声音频率。
5、根据权利要求1的卡拉OK设备，其中该存储装置存储包括一系列的音素的虚拟歌唱者的声音信息，这些音素从虚拟歌唱者的演唱声音连续采样得到。
6、根据权利要求5的卡拉OK设备，还包括一个元音/子音分离器，用于分离实际歌唱者的歌唱声音的子音成分和元音成分，其中该合成装置包括一个元音合成器，用于根据声音信息的音素合成和声的元音成分，及一个相加器，用于通过将从卡拉OK歌唱者的歌唱声音中分离的子音耦合到虚拟歌唱者的合成的元音成分来产生和声。
7、根据权利要求5的卡拉OK设备，其中该存储装置存储表示要由实际的歌唱者歌唱的歌词的序列数据，该设备还包括显示装置，根据该序列数据来与卡拉OK伴音的进展相关地显示歌词。
CN96103212.XA 1995-02-27 1996-02-27 一种用于在实际歌唱声上产生虚拟和声的卡拉ok设备 Expired - Lifetime CN1199146C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP38465/95 1995-02-27
JP38465/1995 1995-02-27
JP7038465A JP2921428B2 (ja) 1995-02-27 1995-02-27 カラオケ装置

Publications (2)

Publication Number Publication Date
CN1153964A CN1153964A (zh) 1997-07-09
CN1199146C true CN1199146C (zh) 2005-04-27

Family

ID=12526007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN96103212.XA Expired - Lifetime CN1199146C (zh) 1995-02-27 1996-02-27 一种用于在实际歌唱声上产生虚拟和声的卡拉ok设备

Country Status (6)

Country Link
US (1) US5857171A (zh)
EP (1) EP0729130B1 (zh)
JP (1) JP2921428B2 (zh)
CN (1) CN1199146C (zh)
DE (1) DE69621488T2 (zh)
HK (1) HK1001145A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3552379B2 (ja) * 1996-01-19 2004-08-11 ソニー株式会社 音響再生装置
JP3453248B2 (ja) * 1996-05-28 2003-10-06 株式会社第一興商 通信カラオケシステム、カラオケ再生端末
US5997308A (en) * 1996-08-02 1999-12-07 Yamaha Corporation Apparatus for displaying words in a karaoke system
JP4010019B2 (ja) * 1996-11-29 2007-11-21 ヤマハ株式会社 歌唱音声信号切換装置
DE19719041A1 (de) * 1997-04-30 1998-11-05 Arman Emami Elektronische Anlage zum Wechseln von jeder gegebenen Sängerstimme aus einem gegebenen Lied, gegen eine gewünschte Sängerstimme bei Erhaltung von Text und Musik
EP1343139B1 (en) 1997-10-31 2005-03-16 Yamaha Corporation audio signal processor with pitch and effect control
JP3921773B2 (ja) * 1998-01-26 2007-05-30 ソニー株式会社 再生装置
RU2121718C1 (ru) * 1998-02-19 1998-11-10 Яков Шоел-Берович Ровнер Портативная музыкальная система для караоке и картридж для нее
US20050120870A1 (en) * 1998-05-15 2005-06-09 Ludwig Lester F. Envelope-controlled dynamic layering of audio signal processing and synthesis for music applications
US6182044B1 (en) * 1998-09-01 2001-01-30 International Business Machines Corporation System and methods for analyzing and critiquing a vocal performance
JP2000105595A (ja) * 1998-09-30 2000-04-11 Victor Co Of Japan Ltd 歌唱装置及び記録媒体
JP3116937B2 (ja) 1999-02-08 2000-12-11 ヤマハ株式会社 カラオケ装置
JP3491553B2 (ja) * 1999-03-02 2004-01-26 ヤマハ株式会社 演奏データ処理装置及びその記録媒体
US6369311B1 (en) * 1999-06-25 2002-04-09 Yamaha Corporation Apparatus and method for generating harmony tones based on given voice signal and performance data
JP4757971B2 (ja) * 1999-10-21 2011-08-24 ヤマハ株式会社 ハーモニー音付加装置
JP3879402B2 (ja) * 2000-12-28 2007-02-14 ヤマハ株式会社 歌唱合成方法と装置及び記録媒体
JP4067762B2 (ja) * 2000-12-28 2008-03-26 ヤマハ株式会社 歌唱合成装置
JP4168621B2 (ja) * 2001-12-03 2008-10-22 沖電気工業株式会社 歌唱音声合成を用いた携帯電話装置及び携帯電話システム
JP2004086067A (ja) * 2002-08-28 2004-03-18 Nintendo Co Ltd 音声発生装置および音声発生プログラム
FR2852778B1 (fr) * 2003-03-21 2005-07-22 Cit Alcatel Terminal de telecommunication
US20050137880A1 (en) * 2003-12-17 2005-06-23 International Business Machines Corporation ESPR driven text-to-song engine
KR100658869B1 (ko) * 2005-12-21 2006-12-15 엘지전자 주식회사 음악생성장치 및 그 운용방법
DE102006028024A1 (de) * 2006-06-14 2007-12-20 Matthias Schreier Verfahren zur Multiplikation von Tonsignalen
US7957976B2 (en) * 2006-09-12 2011-06-07 Nuance Communications, Inc. Establishing a multimodal advertising personality for a sponsor of a multimodal application
US8168877B1 (en) * 2006-10-02 2012-05-01 Harman International Industries Canada Limited Musical harmony generation from polyphonic audio signals
EP1970892A1 (en) * 2007-03-12 2008-09-17 The TC Group A/S Method of establishing a harmony control signal controlled in real-time by a guitar input signal
JP5130809B2 (ja) * 2007-07-13 2013-01-30 ヤマハ株式会社 楽曲を制作するための装置およびプログラム
US8244546B2 (en) * 2008-05-28 2012-08-14 National Institute Of Advanced Industrial Science And Technology Singing synthesis parameter data estimation system
US8697975B2 (en) * 2008-07-29 2014-04-15 Yamaha Corporation Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument
WO2010013754A1 (ja) * 2008-07-30 2010-02-04 ヤマハ株式会社 オーディオ信号処理装置、オーディオ信号処理システム、およびオーディオ信号処理方法
US7977560B2 (en) * 2008-12-29 2011-07-12 International Business Machines Corporation Automated generation of a song for process learning
US8844051B2 (en) * 2009-09-09 2014-09-23 Nokia Corporation Method and apparatus for media relaying and mixing in social networks
JP5782677B2 (ja) * 2010-03-31 2015-09-24 ヤマハ株式会社 コンテンツ再生装置および音声処理システム
US8729374B2 (en) * 2011-07-22 2014-05-20 Howling Technology Method and apparatus for converting a spoken voice to a singing voice sung in the manner of a target singer
EP2573761B1 (en) 2011-09-25 2018-02-14 Yamaha Corporation Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus
KR20130065248A (ko) * 2011-12-09 2013-06-19 삼성전자주식회사 음성 변조 장치 및 이를 이용한 음성 변조 방법
JP5494677B2 (ja) 2012-01-06 2014-05-21 ヤマハ株式会社 演奏装置及び演奏プログラム
US8847056B2 (en) 2012-10-19 2014-09-30 Sing Trix Llc Vocal processing with accompaniment music input
CN104392731A (zh) * 2014-11-30 2015-03-04 陆俊 一种练习唱歌的方法和系统
US10235131B2 (en) * 2015-10-15 2019-03-19 Web Resources, LLC Communally constructed audio harmonized electronic card
CN106653037B (zh) * 2015-11-03 2020-02-14 广州酷狗计算机科技有限公司 音频数据处理方法和装置
DE102017209585A1 (de) 2016-06-08 2017-12-14 Ford Global Technologies, Llc System und verfahren zur selektiven verstärkung eines akustischen signals
US10008193B1 (en) * 2016-08-19 2018-06-26 Oben, Inc. Method and system for speech-to-singing voice conversion
US10134374B2 (en) * 2016-11-02 2018-11-20 Yamaha Corporation Signal processing method and signal processing apparatus
CN108172210B (zh) * 2018-02-01 2021-03-02 福州大学 一种基于歌声节奏的演唱和声生成方法
CN110148394B (zh) * 2019-04-26 2024-03-01 平安科技（深圳）有限公司 歌声合成方法、装置、计算机设备及存储介质
CN112687248B (zh) * 2020-12-22 2023-10-31 广州番禺巨大汽车音响设备有限公司 一种基于智能dj音响系统的音频播放控制方法及装置
CN113035164A (zh) * 2021-02-24 2021-06-25 腾讯音乐娱乐科技（深圳）有限公司 歌声生成方法和装置、电子设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731847A (en) * 1982-04-26 1988-03-15 Texas Instruments Incorporated Electronic apparatus for simulating singing of song
US4771671A (en) * 1987-01-08 1988-09-20 Breakaway Technologies, Inc. Entertainment and creative expression device for easily playing along to background music
IT1206915B (it) * 1987-02-06 1989-05-11 Ketron Srl Macchina automatica per la riproduzzione contemporanea di piu'note con intervalli di frequenza musicali prefissati su e forniti da tabelle di lettura contenenti tutte le armonie per ogni nota,a seconda dell'accordo e del tipo di accordo prescelti
EP0396141A2 (en) * 1989-05-04 1990-11-07 Florian Schneider System for and method of synthesizing singing in real time
JPH04107298U (ja) * 1991-02-28 1992-09-16 株式会社ケンウツド カラオケ装置
JPH05341793A (ja) * 1991-04-19 1993-12-24 Pioneer Electron Corp カラオケ演奏装置
US5231671A (en) * 1991-06-21 1993-07-27 Ivl Technologies, Ltd. Method and apparatus for generating vocal harmonies
JP2897552B2 (ja) * 1992-10-14 1999-05-31 松下電器産業株式会社 カラオケ装置
US5518408A (en) * 1993-04-06 1996-05-21 Yamaha Corporation Karaoke apparatus sounding instrumental accompaniment and back chorus
JP2947032B2 (ja) * 1993-11-16 1999-09-13 ヤマハ株式会社 カラオケ装置
JP3333022B2 (ja) * 1993-11-26 2002-10-07 富士通株式会社 歌声合成装置
JP2820052B2 (ja) * 1995-02-02 1998-11-05 ヤマハ株式会社 コーラス効果付与装置
JP3319211B2 (ja) * 1995-03-23 2002-08-26 ヤマハ株式会社 音声変換機能付カラオケ装置

Also Published As

Publication number Publication date
JP2921428B2 (ja) 1999-07-19
CN1153964A (zh) 1997-07-09
US5857171A (en) 1999-01-05
DE69621488T2 (de) 2003-01-23
JPH08234771A (ja) 1996-09-13
EP0729130A3 (en) 1997-01-08
DE69621488D1 (de) 2002-07-11
EP0729130A2 (en) 1996-08-28
EP0729130B1 (en) 2002-06-05
HK1001145A1 (en) 1998-05-29

Similar Documents

Publication Publication Date Title
CN1199146C (zh) 一种用于在实际歌唱声上产生虚拟和声的卡拉ok设备
US5621182A (en) Karaoke apparatus converting singing voice into model voice
Rothstein MIDI: A comprehensive introduction
Vail The synthesizer: a comprehensive guide to understanding, programming, playing, and recording the ultimate electronic music instrument
US7601904B2 (en) Interactive tool and appertaining method for creating a graphical music display
JP2983292B2 (ja) 仮想楽器、仮想楽器に使用するための制御ユニット、および仮想楽器を操作する方法
US5890115A (en) Speech synthesizer utilizing wavetable synthesis
US5410097A (en) Karaoke apparatus with skip and repeat operation of orchestra accompaniment
EP0723256B1 (en) Karaoke apparatus modifying live singing voice by model voice
US5939654A (en) Harmony generating apparatus and method of use for karaoke
Kirk et al. Digital sound processing for music and multimedia
US5854619A (en) Karaoke apparatus displaying image synchronously with orchestra accompaniment
JP2003241757A (ja) 波形生成装置及び方法
JP3829780B2 (ja) 奏法決定装置及びプログラム
JP3116937B2 (ja) カラオケ装置
CN1161524A (zh) 用于不中断演奏的交替驱动多声源的卡拉ok装置
JPH08286689A (ja) 音声信号処理装置
Burns The history and development of algorithms in music composition, 1957-1993
Simon et al. Audio analogies: Creating new music from an existing performance by concatenative synthesis
Jaffe et al. The computer-extended ensemble
CN1240043C (zh) 利用样板语音修改现行歌唱语音的卡拉ok装置
JPH08227296A (ja) 音声信号処理装置
Menzies New performance instruments for electroacoustic music
JP2904045B2 (ja) カラオケ装置
Souvignier Loops and grooves: The musician's guide to groove machines and loop sequencers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20050427

EXPY Termination of patent right or utility model