CN109559718B - 电子乐器、电子乐器的乐音产生方法以及存储介质 - Google Patents
电子乐器、电子乐器的乐音产生方法以及存储介质 Download PDFInfo
- Publication number
- CN109559718B CN109559718B CN201811131167.6A CN201811131167A CN109559718B CN 109559718 B CN109559718 B CN 109559718B CN 201811131167 A CN201811131167 A CN 201811131167A CN 109559718 B CN109559718 B CN 109559718B
- Authority
- CN
- China
- Prior art keywords
- tone
- data
- memory
- waveform data
- pitch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 52
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 52
- 230000015654 memory Effects 0.000 claims abstract description 46
- 230000008859 change Effects 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
- G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/02—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
- G10H7/04—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories in which amplitudes are read at varying rates, e.g. according to pitch
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
- G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
- G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
- G10H1/125—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms using a digital filter
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/295—Noise generation, its use, control or rejection for music processing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
- G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
一种电子乐器,包含:存储器,自演奏者在所述电子乐器上所演奏的乐曲的演奏开始前存储有音调变动数据,该音调变动数据表示所述乐曲的旋律中所含的各音符各自的基音频率与规定的歌声波形数据中的各音符各自的基音频率之差;以及声源,所述声源输出由波形合成装置接收的音调调整完成载波信号,所述波形合成装置基于所述音调调整完成载波信号生成合成波形数据,所述音调调整完成载波信号基于从所述存储器取得的音调变动数据和表示在所述电子乐器上演奏所述乐曲期间由所述演奏者指定的音高的演奏指定音调数据来生成,即使所述演奏者在所述乐曲的演奏开始后不歌唱也生成所述音调调整完成载波信号。
Description
相关申请的参考
本申请主张以2017年9月27日提出的日本国专利申请特愿2017-186690为基础的优先权,并将该基础申请的内容全部引用至本申请。
技术领域
本发明涉及电子乐器、电子乐器的乐音产生方法以及存储介质。
背景技术
以往,提出通过键盘操作件等演奏歌唱声音的乐曲演奏装置的技术(例如专利文献1中所述的技术)。在该现有技术中,提出了被称为所谓“声音合成(vocoder)”的技术,该技术对于所输入的声音(调制器信号),通过各自的中心频率不同的多个带通滤波器组(分析滤波器组、声道分析滤波器)来计测各频带的声音电平,对于通过键盘操作件弹奏的电子音(载波信号),通过各自的中心频率不同的多个带通滤波器组(播放滤波器组、声道播放滤波器),根据所计测的声音电平来控制各带通滤波器的输出电平,该技术使通过键盘操作件弹奏的声音变化为如人在说话一样的声音。
此外,以往,作为人声的声音产生方式,还公知使用将人的声道模型化的滤波器(声道滤波器),输入决定音高的连续波形信号来对人声进行模仿的技术。
而且,作为通过键盘操作件等演奏管乐器音或弦乐器音的装置,还公知使用物理声源的电子乐器的声源技术。该现有技术是被称为波导(wave guide)的、通过数字滤波器来模仿弦或空气的振动变化而产生乐器音的技术。
现有技术文献
专利文献
专利文献1日本特开2015-179143号公报
但是,所述现有技术中,虽然声源的波形能够接近人声或自然乐器,但其输出声音的音调(音高变化)是由具有基于通过键盘操作件弹奏的音高的固定音调(pitch)的电子音(载波信号或者激励信号)统一决定的,因此,音调变化单调,而且缺乏真实感。因此,本发明涉及一种基本克服了由于现有技术的限制和缺点导致的一个或多个问题的方案。
发明内容
因此,本发明的目的在于不仅再现作为输入声音的特征的共振峰变化,还再现输入声音的音调变化。
本发明的其他或不同的特征和优点将在下面的说明书中得到阐述,并且根据说明书部分将变得是显而易见的,或者可以通过本发明的实践来获悉。本发明的目的和其他优点将通过在下面的说明书、权利要求书以及附图中特意指出的结构来实现和获得。
为了实现这些和其他优点并且根据本发明的目的,如所体现和广泛描述地,在一方面中,本发明提供了一种电子乐器,包含:存储器,自演奏者在所述电子乐器上所演奏的乐曲的演奏开始前存储有音调变动数据,该音调变动数据表示所述乐曲的旋律中所含的各音符各自的基音频率与规定的歌声波形数据中的各音符各自的基音频率之差;所规定的歌声波形数据表示或者模仿当人实际歌唱所述乐曲的旋律时生成的歌声;以及声源,所述声源输出由波形合成装置接收的音调调整完成载波信号,所述波形合成装置基于所述音调调整完成载波信号生成合成波形数据,所述音调调整完成载波信号基于从所述存储器取得的音调变动数据和表示在所述电子乐器上演奏所述乐曲期间由所述演奏者指定的音高的演奏指定音调数据来生成,即使所述演奏者在所述乐曲的演奏开始后不歌唱也生成所述音调调整完成载波信号。
在另一方面中,本公开提供了一种由电子乐器执行的方法,该电子乐器具备:存储器,自演奏者在所述电子乐器上所演奏的乐曲的演奏开始前存储有音调变动数据,该音调变动数据表示所述乐曲的旋律中所含的各音符各自的基音频率与规定的歌声波形数据中的各音符各自的基音频率之差;所规定的歌声波形数据表示或者模仿当人实际歌唱所述乐曲的旋律时生成的歌声,所述存储器还存储有多个振幅数据,该多个振幅数据表示基于所述规定的歌声波形数据所生成的所述歌声的特征,并且与多个频带分别对应;声源;以及波形合成装置,所述方法包括:使所述声源输出音调调整完成载波信号,所述音调调整完成载波信号基于从所述存储器取得的音调变动数据和表示在所述电子乐器上演奏所述乐曲期间由所述演奏者指定的音调的演奏指定音调数据来生成,即使所述演奏者在所述乐曲的演奏开始后不歌唱也生成所述音调调整完成载波信号;以及使所述波形合成装置根据从所述存储器取得的所述多个振幅数据来修改所述音调调整完成载波信号,以生成并且输出所合成的波形数据。
在另一方面中,本公开提供了一种非暂态计算机可读存储介质,存储有能够由电子乐器执行的程序,该电子乐器具备:存储器,自演奏者在所述电子乐器上所演奏的乐曲的演奏开始前存储有音调变动数据,该音调变动数据表示所述乐曲的旋律中所含的各音符各自的基音频率与规定的歌声波形数据中的各音符各自的基音频率之差;所规定的歌声波形数据表示或者模仿当人实际歌唱所述乐曲的旋律时生成的歌声,所述存储器还存储有多个振幅数据,该多个振幅数据表示基于所述规定的歌声波形数据所生成的所述歌声的特征,并且与多个频带分别对应;声源;以及波形合成装置,所述程序使得所述电子乐器执行以下步骤:使所述声源输出音调调整完成载波信号,所述音调调整完成载波信号基于从所述存储器取得的音调变动数据和表示在所述电子乐器上演奏所述乐曲期间由所述演奏者指定的音调的演奏指定音调数据来生成,即使所述演奏者在所述乐曲的演奏开始后不歌唱也生成所述音调调整完成载波信号;以及使所述波形合成装置根据从所述存储器取得的所述多个振幅数据来修改所述音调调整完成载波信号,以生成并且输出所合成的波形数据。
应该理解的是,前述概括性描述和以下详细描述二者都是示范性和解释性的,并且旨在提供对所要求保护的发明的进一步解释。
附图说明
图1为电子乐器的实施方式的框图。
图2为表示声音合成解调装置的详细构成的框图。
图3为表示存储器的数据构成例的图。
图4为声音调制装置400的框图。
图5为表示声音合成调制装置的详细构成的框图。
图6为对声音调制装置中的音调变动数据的生成的结构加以说明的图。
图7为表示电子乐器的乐音产生处理的例子的流程图。
图8为表示键盘处理的详细例的流程图。
图9为表示音调更新处理的详细例的流程图。
图10为表示声音合成解调处理的详细例的流程图。
具体实施方式
以下,参照附图,对用于实施本发明的方式详细地加以说明。图1为电子乐器100的实施方式的框图。电子乐器100具备:存储器101、键盘操作件102、声源103、声音合成解调装置104、音响系统105、微型计算机107(以下记载为“微机107”)(处理器)、以及开关组108。
存储器101存储:第二振幅数据111,该第二振幅数据111是与作为实际所歌唱的乐曲的声音数据的歌声波形数据中所含的各音(音符)的多个频带分别对应的振幅的时间序列数据;音调变动数据112,该音调变动数据112是表示乐曲的歌唱的例如作为模范数据的旋律中所含的各音(音符)的母音区间的基音频率(本说明书中使用的基音频率指的是基音的频率或基音的基本频率)与所述歌声波形数据中所含的各音的母音区间的基音频率之差的时间序列数据;以及音振幅数据113,该音振幅数据113是与所述歌声波形数据的各音的子音区间对应的时间序列数据。第二振幅数据111是控制供声音合成解调装置104的所述多个频带成分分别通过的带通滤波器组的各带通滤波器的增益的时间序列数据。音调变动数据112是沿时间序列提取对旋律中所含的各音的母音区间预先设定的例如作为模范的音高的基音频率数据与从实际的歌唱获得的歌声波形数据中所含的各音的母音区间的基音频率数据的差分数据而得到的数据。子音振幅数据113是所述歌声波形数据中所含的各音的子音区间的噪声振幅数据的时间序列。
键盘操作件102按时间序列输入由用户的演奏操作指定的表示音高的演奏指定音调数据110。
作为音调变更处理,微机107基于从存储器101依次输入的音调变动数据112的时间序列来变更从键盘操作件102输入的演奏指定音调数据110的时间序列,由此来生成变更(调整)完成音调数据115的时间序列。
接着,作为第一输出处理,微机107将所述变更完成音调数据115输出至声源103,并且生成与键盘操作件102的按键或离键的操作对应的按键/离键指示114的时间序列并输出至声源103。
另一方面,作为噪声生成指示处理,微机107在与键盘操作件102的操作对应的歌声波形数据中所含的各音的子音区间、例如先于各音的发音定时的规定的短时间区间,取代将音调变动数据112输出至声源103,将从存储器101以所述子音区间的定时依次读入的子音振幅数据113输出至噪声发生器106。
而且,作为振幅变更处理的一部分的处理,微机107从存储器101读入与歌声波形数据中所含的各音的多个频带分别对应的多个第二振幅数据111的时间序列,并输出至声音合成解调装置104。
声源103通过由微机107实现的所述第一输出处理的控制,基于从微机107输入的按键/离键指示114来控制发音开始和发音停止,同时,将具有与对应于从微机107输入的变更完成音调数据115的基音频率对应的音调的波形数据作为音调变更完成第一波形数据109而输出。该情况下,声源103作为将音调变更完成第一波形数据109用作使连接于其后的声音合成解调装置104激励的载波信号来进行振荡的振荡器而工作。因此,音调变更完成第一波形数据109在歌声波形数据中所含的各音的母音区间形成包含常作为载波信号使用的三角波的泛音频率成分或任意的乐器的泛音频率成分,并以与所述变更完成音调数据115对应的音调重复的连续波形。
此外,在歌声波形数据的各音的发音定时的开始时等存在的子音区间,声源103进行输出之前,噪声发生器106(或者子音波形发生器)通过由微机107实现的所述噪声生成指示处理的控制,生成具有与从微机107输入的子音振幅数据113对应的振幅的子音噪声(例如白噪声),并将该子音噪声作为子音区间波形数据而与音调变更完成第一波形数据109重叠。
声音合成解调装置(也能够表达为输出装置、声音合成装置、或者波形合成装置来取代声音合成解调装置)104通过由微机107实现的所述振幅变更处理的控制,基于从微机107输出的、与歌声波形数据中所含的各音的多个频带分别对应的多个第二振幅数据111来使与从声源103所输出的音调变更完成第一波形数据109获得的多个频带分别对应的多个第一振幅数据变更。在此,声音合成解调装置104在所述歌声波形数据的各音的子音区间内通过音调变更完成第一波形数据109中所含的子音噪声数据而被激励,在其后续的各音的母音区间内通过具有与变更完成音调数据115对应的音调的音调变更完成第一波形数据109而被激励。
然后,作为由微机107指定的第二输出处理,声音合成解调装置104将通过分别变更所述多个第一振幅数据而获得的第二波形数据116输出至音响系统105,并从此处发出声音。
在用户进行乐曲的课程(训练)时,开关组108作为对微机107输入各种指示的输入部而发挥功能。
微机107执行电子乐器100的整体的控制。微机107为具备未特别进行图示的CPU(中央运算处理装置)、ROM(只读存储器)、RAM(随机存取存储器)、对图1的101、102、103、104、106以及108的各部分进行输入输出的接口电路、以及将它们相互连接的总线等的微型计算机。在微机107中,CPU将RAM作为工作存储器来执行存储于ROM的乐曲演奏处理程序,由此,实现用于所述乐曲演奏的控制处理。
通过以上的电子乐器100,能够对反映了声源103生成的所歌唱的声音的音调变动的微细差别的旋律乐器音等音调变更完成第一波形数据109输出附加有人的歌声的微细差别的第二波形数据116来发出声音。
图2为表示图1的声音合成解调装置(波形合成装置)104的详细构成的框图。声音合成解调装置104具备包含将图1的声源103或噪声发生器106输出的音调变更完成第一波形数据109作为载波信号输入,并使多个频带分别通过的多个带通滤波器(BPF#1、BPF#2、BPF#3、……、BPF#n)的带通滤波器组201。
此外,声音合成解调装置104具备包含使作为各带通滤波器(BPF#1、BPF#2、BPF#3、……、BPF#n)的各输出的第一振幅数据204(#1~#n)与从微机107输入的#1~#n的各第二振幅数据111的值相乘的多个乘法器(×#1~×#n)的乘法器组202。
而且,声音合成解调装置104具备将乘法器组202的各乘法器(×#1~×#n)的输出相加而输出图1的第二波形数据116的加法器203。
根据所述图2的声音合成解调装置104,能够通过滤波特性基于各第二振幅数据111而被控制的带通滤波器组201,将与乐曲的歌唱声音对应的声音频谱包络特性(共振峰特性)附加至所输入的音调变更完成第一波形数据109。
图3为表示图1的存储器101的数据构成例的图。按例如以每10msec划分乐曲的歌词声音的时间经过所得的时间(time),存储有从后述的图4的声音合成调制装置401输出的#1、#2、#3、……、#n的各第二振幅数据111(图1)。此外,按所述时间经过,针对乐谱上旋律的各音的母音区间内例如作为模范的音调,存储有作为实际演唱此旋律时的歌声波形数据的各音的音调的偏离的音调变动数据112。而且,存储有与歌声波形数据的各音的子音区间对应的子音振幅数据113。
图4为生成第二振幅数据组111、音调变动数据112以及子音振幅数据113的声音调制装置400的框图。声音调制装置400具备声音合成调制装置401、音调检测器402、减法器403以及子音检测器407。
声音合成调制装置401输入预先演唱某个乐曲的旋律而从麦克风获得的歌声波形数据404,生成第二振幅数据组111并存储于图1的存储器101。
音调检测器402从基于所述旋律的实际的歌唱的歌声波形数据404提取各音的母音区间的基音频率(音调)406。
减法器403从基于音调检测器402所提取的所述旋律的实际的歌唱的歌声波形数据404中所含的各音的母音区间的基音频率406减去对所述旋律中所含的各音的母音区间预先设定的例如作为模范的基音频率405,由此计算出音调变动数据112的时间序列。
子音检测器407将所述歌声波形数据404的各音所存在的区间且音调检测器402未检测到基音频率406的区间判断为子音区间,计算出此区间的平均振幅,并将其值作为子音振幅数据113输出。
图5为表示图4的声音合成调制装置401的详细情况的框图。声音合成调制装置401具备包含输入图4的歌声波形数据404并使多个频带分别通过的多个带通滤波器(BPF#1、BPF#2、BPF#3、……、BPF#n)的带通滤波器组501。该带通滤波器组501与图1的声音合成解调装置104的图2的带通滤波器组201特性相同。
此外,声音合成调制装置401具备包含多个包络跟随器(EF#1、EF#2、EF#3、……、EF#n)的包络跟随器组502。各包络跟随器(EF#1、EF#2、EF#3、……、EF#n)分别提取各带通滤波器(BPF#1、BPF#2、BPF#3、……、BPF#n)的各输出的时间变化的包络数据,分别按固定时间(例如10msec(毫秒))进行采样并作为各第二振幅数据111(#1~#n)输出。包络跟随器(EF#1、EF#2、EF#3、……、EF#n)例如是计算出各带通滤波器(BPF#1、BPF#2、BPF#3、……、BPF#n)的各输出的振幅的绝对值,并为了分别输入各算出值来提取时间变化的包络特性而仅使足够低的频率成分通过的低通滤波器。
图6为说明图4的声音调制装置400中的音调变动数据112的生成方法的图。例如实际上人类所歌唱的歌声波形数据404的各音的母音区间的基本频率相对于乐谱所表示的旋律的各音的母音区间的例如作为模范的基音频率405,频率发生变动,这正是演唱者的个性或愉悦之处。因此,在本实施方式中,计算出预先获得的旋律中所含的各音的母音区间的基音频率405与通过音调检测器402从实际演唱旋律而获得的歌声波形数据404检测出的各音的母音区间的基音频率406的差分,由此生成音调变动数据112。
所述歌声波形数据404可以是在演奏者指定操作件来进行演奏之前,预先将人类所歌唱的歌声存储于存储器101的数据,也可以是使用声音合成技术将机械所输出的歌声数据存储于存储器101的数据。此外,在演奏者一边指定操作件来进行演奏一边歌唱的情况下,所述歌声波形数据404也可以是通过未作图示的麦克实时地取得演奏者所唱的歌声并存储于存储器101的数据。
图7为表示图1的微机107所执行的电子乐器的乐音产生处理的例子的流程图。如上所述,该乐音产生处理是作为在微机107中,内部的CPU将RAM作为工作存储器来执行存储于内部的ROM的作为图7的流程图而举例示出的乐音产生处理程序的动作来实现的。
若用户通过图1的开关组108来指示课程的开始,则图7的流程图的处理开始,键盘处理(步骤S701)、音调更新处理(步骤S702)、以及声音合成解调处理(步骤S703)被反复执行。若用户通过图1的开关组108来指示课程的结束,则图7的流程图的处理结束。
图8为表示图7的步骤S701的键盘处理的详细例的流程图。首先,在图1的键盘操作件102,判断是否存在按键操作(步骤S801)。
若步骤S801的判断为“是”,则对图1的声源103输出发音开始(音符开(note on))指示,以便输出具有将音调变动数据112与被按键操作的音高的演奏指定音调数据110相加而获得的变更完成音调数据115所表示的音调的音调变更完成第一波形数据109(步骤S802)。若步骤S801的判断为“否”,则步骤S802的处理被跳过。
接着,判断是否存在离键操作(步骤S803)。
若步骤S803的判断为“是”,则对图1的声源103输出发音结束(音符关(note off))指示,以便对被离键操作的音高的载波波形进行消音。
之后,图8的流程图中举例示出的图7的步骤S701的键盘处理结束。
图9为表示图7的步骤S702的音调更新处理的详细例的流程图。在该处理中,随着以乐曲开始时为起点的时间经过(图6的time),从存储器101读出音调变动数据112(参照图6)并与被按键操作的音高的演奏指定音调数据110相加,由此,生成变更完成音调数据115(步骤S901)。
接着,对声源103指示基于变更完成音调数据115的音调变更指示(步骤S902)。之后,由图9的流程图举例示出的图7的步骤S702的音调更新处理结束。
图10为表示图7的步骤S703的声音合成解调处理的详细例的流程图。读出与相当于图1的乐曲的进行时间的时间对应的各频带的第二振幅数据111的组(#1~#n)(参照图3),并输出至图1的声音合成解调装置104内的图2的乘法器组202内的各乘法器(×#1~×#n)(步骤S1001)。另外,乐曲的进行时间是例如通过微机107中内置的计时器从用户指示课程开始的时间点起进行计时得到的。在此,在相当于所述进行时间的时间未存储于图5中举例示出的存储器101的情况下,也可以通过所述进行时间的时间值前后的存储于存储器101的时间相对于振幅数据的插补运算,对与所述进行时间的时间值对应的振幅数据进行运算。
将图2的乘法器组202内的各乘法器的输出加至声音合成解调装置104内的加法器203,并将其加法计算结果作为第二波形数据116输出(步骤S1002)。之后,由图10的流程图举例示出的图7的步骤S703的声音合成解调处理结束。
通过以上说明的实施方式,能够获得反映出相对于图1的音调变更完成第一波形数据109的、从通过声音合成解调装置104歌唱旋律的声音获得的歌声波形数据404中的音调变动的微细差别的第二波形数据116。此时,不仅能够再现输入声音的波形(共振峰)的变化,还能够再现其音调变动,因此,能够形成具有更接近于人类的歌唱声音的表现力的声源装置。
此外,在本实施方式中,以通过键盘操作件来演奏歌唱声音为目的而使用用于再现声音的共振峰的滤波器组(分析滤波器、声道分析滤波器),但若将管乐器或弦乐器等自然乐器应用于由数字滤波器组模型化的构成,则通过配合着键盘操作件的操作而模仿管乐器或弦乐器的音调变动,能够实现更接近于自然乐器的表现的演奏。
对于歌词声音,可以考虑通过PCM(脉冲编码调制)数据内置预先进行了录音的歌唱声音,而使其声音发音的方法,但在该方式中声音数据会变大,或者在演奏者弹错时,以错误的音高进行发音是比较困难的。此外,存在内置歌词数据而使以此数据为基础进行声音合成后的声音信号发音的方法,但该方式的缺点是:由于声音合成需要许多计算量和数据,因此难以进行实时的控制。
通过以本实施方式的声音合成方式进行合成,预先分析每个频率的振幅变化,由此,能够无需分析滤波器组,所以,与通过PCM数据进行内置相比,能够削减电路规模和计算量、数据量。而且,在弹奏了错误的键盘操作件102时通过PCM声音数据保持歌词声音的情况下,需要进行用于使此声音与由错误的键盘操作件指定的音调相配的音调变换,通过采用声音合成方式,音调变换也只是改变载波的音调,因此,还具有容易这一优点。
图1的声音合成解调装置104作为滤波器部发挥功能,该滤波器部一边通过与微机107的协调控制,从存储器101依次读出并输入声音频谱包络数据的时间序列,一边对音调变更完成第一波形数据109执行具有声音频谱包络特性的滤波处理,并输出执行了该滤波处理后的第二波形数据116。在此,滤波器部除了声音合成解调装置104,还可以通过基于线形预测分析或最大似然谱估计而获得的线形预测合成滤波器、基于偏相关分析获得的PARCOR合成滤波器、或者基于线谱对分析而获得的LSP合成滤波器等数字滤波器实现。此时,声音频谱包络数据可以是用于所述的数字滤波器的线形预测系数数据、PARCOR系数数据、或者LSP系数数据的任一个的参数组。
所述的实施方式中,与乐曲的歌词声音对应的声音频谱包络数据以及音调变动数据预先存储于存储器101,但也可以根据用户配合用户的演奏操作而发声的乐曲的歌词声音实时地输入声音频谱包络数据以及音调变动数据。
此外,所述的实施方式中,每进行一次按键,都将音调变动数据加至其音高,但也可以在按键与按键之间的音符的移行期间,应用音调变动数据来实施发音。
而且,所述的实施方式中,微机107例如在图9的音调更新处理中,通过将从存储器101读出的音调变动数据112本身加至被按键操作的音高的演奏指定音调数据110,而生成变更完成音调数据115。此时,微机107也可以不将音调变动数据112本身加至演奏指定音调数据110,而是将例如基于用户所进行的开关组108(图1)的操作而使音调变动数据112乘以规定的系数所得的结果加至演奏指定音调数据110。如果此时的系数的值例如是“1”,则从声源103输出的音调变更完成第一波形数据109中直接反映出基于实际的歌唱的音调变动,并被附加与实际的歌唱相同的语调。另一方面,如果所述系数的值为例如1以上,则在音调变更完成第一波形数据109中反映出比实际的歌唱大的音调变动,能够附加比实际的歌唱感情更丰富的语调。
以上,对本发明的具体实施方式进行了说明,但本发明并不限于所述实施方式,在不脱离本发明的主旨的范围内可以进行各种变更。可以不脱离本发明的精神或范围地对本发明进行各种变更以及变形这一点对于本领域技术人员来说是显而易见的。因此,本发明意指包含添付的权利要求书以及进入其等同的范围的改变以及变形。特别是,明确地意指可以对所述实施方式以及其变形中任意二个以上的任意一部或全部进行组合并视为落在本发明的范围。
Claims (7)
1.一种电子乐器,包含:
存储器,自演奏者所演奏的乐曲的演奏开始前存储有音调变动数据,该音调变动数据表示所述乐曲的旋律中所含的各音符各自的基音频率与歌声波形数据中的各音符各自的基音频率之差;所述歌声波形数据表示配合所述乐曲的旋律中所含的各音符而歌唱时的歌声;以及
声源,所述声源输出音调调整完成载波信号,所述音调调整完成载波信号基于从所述存储器取得的音调变动数据和表示在所述电子乐器上演奏所述乐曲期间由所述演奏者指定的音高的演奏指定音调数据来生成,即使所述演奏者在所述乐曲的演奏开始后不歌唱也生成所述音调调整完成载波信号,
所述存储器自所述演奏者所演奏的所述乐曲的演奏开始前还存储有多个振幅数据,该多个振幅数据表示基于所述歌声波形数据而生成的所述歌声的特征,并且与多个频带分别对应,
所述电子乐器还具备波形合成装置,所述波形合成装置包含与所述多个频带对应的多个带通滤波器,所述多个带通滤波器各自接收所述音调调整完成载波信号,
所述波形合成装置基于所述存储器中存储的与所述多个频带相应的所述多个振幅数据,对分别通过了所述多个带通滤波器中的各个带通滤波器的所述音调调整完成载波信号进行变更,将针对所述多个频带中的各个频带进行变更后的所述音调调整完成载波信号相加并作为合成波形数据输出。
2.根据权利要求1所述的电子乐器,其中,
所述存储器自所述演奏者所演奏的所述乐曲的演奏开始前还存储有基于所述歌声波形数据而生成的子音振幅波形数据,
所述音调调整完成载波信号与根据所述子音振幅波形数据生成的子音区间波形数据重叠。
3.根据权利要求2所述的电子乐器,其中,
存储在所述存储器中的所述子音振幅波形数据是基于音调检测器未检测出所述歌声波形数据中的各音符各自的基音频率的区间的振幅而生成的。
4.根据权利要求1所述的电子乐器,具备:
微机,随着以所述乐曲的演奏开始时为起点的时间经过,从所述存储器读出所述音调变动数据。
5.根据权利要求4所述的电子乐器,还包括:
所述微机根据与从所述演奏者开始演奏的时间点起计时的乐曲的进行时间相当的时间,从所述存储器读出所述多个频带每一个的振幅数据。
6.一种由电子乐器执行的方法,该电子乐器具备:
存储器,自演奏者所演奏的乐曲的演奏开始前存储有音调变动数据,该音调变动数据表示所述乐曲的旋律中所含的各音符各自的基音频率与歌声波形数据中的各音符各自的基音频率之差;所述歌声波形数据表示配合所述乐曲的旋律中所含的各音符歌唱时的歌声,所述存储器还存储有多个振幅数据,该多个振幅数据表示基于所述歌声波形数据而生成的所述歌声的特征,并且与多个频带分别对应;
声源;以及
波形合成装置,包含与所述多个频带对应的多个带通滤波器,所述多个带通滤波器各自接收音调调整完成载波信号,
所述方法包括:
使所述声源输出所述音调调整完成载波信号,所述音调调整完成载波信号基于从所述存储器取得的音调变动数据和表示在所述电子乐器上演奏所述乐曲期间由所述演奏者指定的音调的演奏指定音调数据来生成,即使所述演奏者在所述乐曲的演奏开始后不歌唱也生成所述音调调整完成载波信号;以及
使所述波形合成装置基于所述存储器中存储的与所述多个频带相应的所述多个振幅数据,对分别通过了所述多个带通滤波器中的各个带通滤波器的所述音调调整完成载波信号进行变更,将针对所述多个频带中的各个频带进行变更后的所述音调调整完成载波信号相加并作为合成波形数据输出。
7.一种非暂态计算机可读存储介质,存储有能够由电子乐器执行的程序,该电子乐器具备:
存储器,自演奏者所演奏的乐曲的演奏开始前存储有音调变动数据,该音调变动数据表示所述乐曲的旋律中所含的各音符各自的基音频率与歌声波形数据中的各音符各自的基音频率之差;所述歌声波形数据表示配合所述乐曲的旋律中所含的各音符歌唱时的歌声,所述存储器还存储有多个振幅数据,该多个振幅数据表示基于所述歌声波形数据而生成的所述歌声的特征,并且与多个频带分别对应;
声源;以及
波形合成装置,包含与所述多个频带对应的多个带通滤波器,所述多个带通滤波器各自接收音调调整完成载波信号,
所述程序使得所述电子乐器执行以下步骤:
使所述声源输出所述音调调整完成载波信号,所述音调调整完成载波信号基于从所述存储器取得的音调变动数据和表示在所述电子乐器上演奏所述乐曲期间由所述演奏者指定的音调的演奏指定音调数据来生成,即使所述演奏者在所述乐曲的演奏开始后不歌唱也生成所述音调调整完成载波信号;以及
使所述波形合成装置基于所述存储器中存储的与所述多个频带相应的所述多个振幅数据,对分别通过了所述多个带通滤波器中的各个带通滤波器的所述音调调整完成载波信号进行变更,将针对所述多个频带中的各个频带进行变更后的所述音调调整完成载波信号进行相加并作为合成波形数据输出。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017186690A JP6569712B2 (ja) | 2017-09-27 | 2017-09-27 | 電子楽器、電子楽器の楽音発生方法、及びプログラム |
JP2017-186690 | 2017-09-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109559718A CN109559718A (zh) | 2019-04-02 |
CN109559718B true CN109559718B (zh) | 2023-06-20 |
Family
ID=65807844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811131167.6A Active CN109559718B (zh) | 2017-09-27 | 2018-09-27 | 电子乐器、电子乐器的乐音产生方法以及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10825438B2 (zh) |
JP (1) | JP6569712B2 (zh) |
CN (1) | CN109559718B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6587008B1 (ja) * | 2018-04-16 | 2019-10-09 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6587007B1 (ja) | 2018-04-16 | 2019-10-09 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610714B1 (ja) * | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610715B1 (ja) | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP7059972B2 (ja) | 2019-03-14 | 2022-04-26 | カシオ計算機株式会社 | 電子楽器、鍵盤楽器、方法、プログラム |
JP7230870B2 (ja) * | 2020-03-17 | 2023-03-01 | カシオ計算機株式会社 | 電子楽器、電子鍵盤楽器、楽音発生方法およびプログラム |
JP7192831B2 (ja) * | 2020-06-24 | 2022-12-20 | カシオ計算機株式会社 | 演奏システム、端末装置、電子楽器、方法、およびプログラム |
CN112562633A (zh) * | 2020-11-30 | 2021-03-26 | 北京有竹居网络技术有限公司 | 一种歌唱合成方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09134188A (ja) * | 1995-11-10 | 1997-05-20 | Matsushita Electric Ind Co Ltd | 歌声合成装置および音楽再生装置 |
JPH11126083A (ja) * | 1997-10-22 | 1999-05-11 | Matsushita Electric Ind Co Ltd | カラオケ再生装置 |
JP2001249668A (ja) * | 2000-03-02 | 2001-09-14 | Yamaha Corp | 音声信号または楽音信号の処理装置およびその処理プログラムが記録された記録媒体 |
CN1841495A (zh) * | 2005-03-31 | 2006-10-04 | 雅马哈株式会社 | 电子乐器 |
JP2009122611A (ja) * | 2007-11-19 | 2009-06-04 | Yamaha Corp | ハーモニー音生成装置及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3567587B2 (ja) * | 1996-01-25 | 2004-09-22 | カシオ計算機株式会社 | 楽音発生装置 |
JP3834804B2 (ja) | 1997-02-27 | 2006-10-18 | ヤマハ株式会社 | 楽音合成装置および方法 |
JP3815347B2 (ja) * | 2002-02-27 | 2006-08-30 | ヤマハ株式会社 | 歌唱合成方法と装置及び記録媒体 |
JP2006154526A (ja) * | 2004-11-30 | 2006-06-15 | Roland Corp | ボコーダ装置 |
JP5293460B2 (ja) * | 2009-07-02 | 2013-09-18 | ヤマハ株式会社 | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 |
US9147385B2 (en) * | 2009-12-15 | 2015-09-29 | Smule, Inc. | Continuous score-coded pitch correction |
EP2362378B1 (en) * | 2010-02-25 | 2016-06-08 | YAMAHA Corporation | Generation of harmony tone |
EP2930714B1 (en) * | 2012-12-04 | 2018-09-05 | National Institute of Advanced Industrial Science and Technology | Singing voice synthesizing system and singing voice synthesizing method |
JP6171711B2 (ja) | 2013-08-09 | 2017-08-02 | ヤマハ株式会社 | 音声解析装置および音声解析方法 |
JP6390130B2 (ja) * | 2014-03-19 | 2018-09-19 | カシオ計算機株式会社 | 楽曲演奏装置、楽曲演奏方法及びプログラム |
US9818396B2 (en) * | 2015-07-24 | 2017-11-14 | Yamaha Corporation | Method and device for editing singing voice synthesis data, and method for analyzing singing |
-
2017
- 2017-09-27 JP JP2017186690A patent/JP6569712B2/ja active Active
-
2018
- 2018-09-13 US US16/130,278 patent/US10825438B2/en active Active
- 2018-09-27 CN CN201811131167.6A patent/CN109559718B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09134188A (ja) * | 1995-11-10 | 1997-05-20 | Matsushita Electric Ind Co Ltd | 歌声合成装置および音楽再生装置 |
JPH11126083A (ja) * | 1997-10-22 | 1999-05-11 | Matsushita Electric Ind Co Ltd | カラオケ再生装置 |
JP2001249668A (ja) * | 2000-03-02 | 2001-09-14 | Yamaha Corp | 音声信号または楽音信号の処理装置およびその処理プログラムが記録された記録媒体 |
CN1841495A (zh) * | 2005-03-31 | 2006-10-04 | 雅马哈株式会社 | 电子乐器 |
JP2009122611A (ja) * | 2007-11-19 | 2009-06-04 | Yamaha Corp | ハーモニー音生成装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10825438B2 (en) | 2020-11-03 |
JP6569712B2 (ja) | 2019-09-04 |
US20190096379A1 (en) | 2019-03-28 |
CN109559718A (zh) | 2019-04-02 |
JP2019061135A (ja) | 2019-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109559718B (zh) | 电子乐器、电子乐器的乐音产生方法以及存储介质 | |
JP6547878B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6610715B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6610714B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
CN111542875B (zh) | 声音合成方法、声音合成装置及存储介质 | |
CN111418005B (zh) | 声音合成方法、声音合成装置及存储介质 | |
CN111696498B (zh) | 键盘乐器以及键盘乐器的计算机执行的方法 | |
JP6747489B2 (ja) | 情報処理方法、情報処理システムおよびプログラム | |
JP7331588B2 (ja) | 情報処理方法、推定モデル構築方法、情報処理装置、推定モデル構築装置およびプログラム | |
JP6737320B2 (ja) | 音響処理方法、音響処理システムおよびプログラム | |
JP6801766B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6835182B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6819732B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
WO2020158891A1 (ja) | 音信号合成方法およびニューラルネットワークの訓練方法 | |
JP6390130B2 (ja) | 楽曲演奏装置、楽曲演奏方法及びプログラム | |
JP7192834B2 (ja) | 情報処理方法、情報処理システムおよびプログラム | |
JP2004061753A (ja) | 歌唱音声を合成する方法および装置 | |
WO2022054496A1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
US20230098145A1 (en) | Audio processing method, audio processing system, and recording medium | |
JP2009237590A (ja) | 音声効果付与装置 | |
RU2591640C1 (ru) | Способ модификации голоса и устройство для его осуществления (варианты) | |
JP2004287350A (ja) | 音声変換装置、音声効果付与装置、及びプログラム | |
Teglbjærg et al. | Developing TheStringPhone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |