JP2019061135A - 電子楽器、電子楽器の楽音発生方法、及びプログラム - Google Patents

電子楽器、電子楽器の楽音発生方法、及びプログラム Download PDF

Info

Publication number
JP2019061135A
JP2019061135A JP2017186690A JP2017186690A JP2019061135A JP 2019061135 A JP2019061135 A JP 2019061135A JP 2017186690 A JP2017186690 A JP 2017186690A JP 2017186690 A JP2017186690 A JP 2017186690A JP 2019061135 A JP2019061135 A JP 2019061135A
Authority
JP
Japan
Prior art keywords
pitch
data
waveform data
amplitude
changed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017186690A
Other languages
English (en)
Other versions
JP6569712B2 (ja
Inventor
広 岩瀬
Hiroshi Iwase
広 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017186690A priority Critical patent/JP6569712B2/ja
Priority to US16/130,278 priority patent/US10825438B2/en
Priority to CN201811131167.6A priority patent/CN109559718B/zh
Publication of JP2019061135A publication Critical patent/JP2019061135A/ja
Application granted granted Critical
Publication of JP6569712B2 publication Critical patent/JP6569712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/02—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
    • G10H7/04—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories in which amplitudes are read at varying rates, e.g. according to pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
    • G10H1/125—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms using a digital filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/295—Noise generation, its use, control or rejection for music processing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/455—Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】入力音声の特徴であるフォルマント変化だけではなく、入力音声のピッチ変化も再現する電子楽器、電子楽器の楽音発生方法、及びプログラムを提供する。【解決手段】鍵盤操作子１０２から入力した演奏指定ピッチデータ１１０に、メモリ１０１から読み込んだピッチ変動データ１１２を加算し、変更済ピッチデータ１１５を生成する。変更済ピッチデータ１１５および鍵盤操作子１０２の操作に基づく押鍵・離鍵指示１１４を音源１０３に指定して、ピッチ変更済第１波形データ１０９を出力する。ボコーダ復調装置１０４に、ピッチ変更済第１波形データ１０９から得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、メモリ１０１から読み込んだ複数の周波数帯域夫々に対応する複数の第２振幅データ１１１に基づいて変更させるボコーダ復調処理を実行し、各周波数帯域からの変更出力を加算して第２波形データ１１６を出力する。【選択図】図１

Description

本発明は、電子楽器、電子楽器の楽音発生方法、及びプログラムに関する。
従来、歌唱音声を鍵盤操作子等で演奏させる楽曲演奏装置の技術が提案されている（例えば特許文献１に記載の技術）。この従来技術では、入力された音声（モジュレータ信号）に対して、それぞれの中心周波数が異なる複数のバンドパスフィルタ群（分析フィルタ群、声道分析フィルタ）により、各周波数帯の音声レベルを計測し、鍵盤操作子で弾かれた電子音（キャリア信号）に対して、それぞれの中心周波数が異なる複数のバンドパスフィルタ群（再生フィルタ群、声道再生フィルタ）を通し、各バンドパスフィルタの出力レベルを、計測された音声レベルにより制御する、いわゆるボコーダと呼ばれる技術が提案されており、鍵盤操作子で弾かれた音を人が喋っているような音に変化させるものである。
また、従来、人の声の音声発生方式として、人の声道をモデル化したフィルタ（声道フィルタ）を用いて、音高を決定する連続波形信号を入力して、人の声を模倣する技術も知られている。
更に、管楽器音や弦楽器音を鍵盤操作子等で演奏させる装置として物理音源を用いた電子楽器の音源技術も知られている。この従来技術は、ウェーブガイドと呼ばれる、弦や空気の振動変化をデジタルフィルタで模倣し楽器音を発生させる技術である。
特開２０１５−１７９１４３号公報
しかし、上記従来技術は、音源の波形は人の声や自然楽器に近づけることができるが、その出力音声のピッチ(音高変化）は、鍵盤操作子で弾かれた音高に基づく一定のピッチをもつ電子音（キャリア信号あるいは励起信号）で一律に決定されるため、ピッチ変化が単調であり、リアリティに欠ける。
そこで、本発明は、入力音声の特徴であるフォルマント変化だけではなく、入力音声のピッチ変化も再現することを目的とする。
態様の一例では、指定される複数の操作子と、制御部と、を備える電子楽器であって、制御部は、指定された操作子が対応している第１波形データのピッチを、メロディに含まれる各音の基音周波数と、歌声波形データに含まれる各音の基音周波数との差を示すピッチ変動データに基づいて変更するピッチ変更処理と、ピッチ変更処理により第１波形データのピッチが変更されたピッチ変更済第１波形データを音源に出力させる第１出力処理と、第１出力処理により音源に出力させたピッチ変更済第１波形データから得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、歌声波形データから得られる複数の周波数帯域夫々に対応する複数の第２振幅データに基づいて変更させる振幅変更処理と、振幅変更処理により複数の第１振幅データが夫々変更されることにより得られる第２波形データを出力させる第２出力処理と、を実行する。
本発明によれば、入力音声の特徴であるフォルマント変化だけではなく、入力音声のピッチ変化も再現することが可能となる。
電子楽器の実施形態のブロック図である。 ボコーダ復調装置の詳細構成を示すブロック図である。 メモリのデータ構成例を示す図である。 ボコーダ変調装置４０１のブロック図である。 ボコーダ変調装置の詳細構成を示すブロック図である。 音声変調装置におけるピッチ変動データの生成のしくみを説明する図である。 電子楽器の楽音発生処理の例を示すフローチャートである。 鍵盤処理の詳細例を示すフローチャートである。 ピッチ更新処理の詳細例を示すフローチャートである。 ボコーダ復調処理の詳細例を示すフローチャートである。
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。図１は、電子楽器１００の実施形態のブロック図である。電子楽器１００は、メモリ１０１、鍵盤操作子１０２、音源１０３、ボコーダ復調装置１０４、サウンドシステム１０５、マイクロコンピュータ１０７（以下「マイコン１０７」と記載）、及びスイッチ群１０８を備える。
メモリ１０１は、実際に歌唱された楽曲の音声データである歌声波形データに含まれる各音の複数の周波数帯域夫々に対応する振幅の時系列データである第２振幅データ１１１と、楽曲の歌唱の例えば模範データであるメロディに含まれる各音の母音区間の基音周波数と上記歌声波形データに含まれる各音の母音区間の基音周波数との差を示す時系列データであるピッチ変動データ１１２と、上記歌声波形データの各音の子音区間に対応する時系列データである子音振幅データ１１３とを記憶する。第２振幅データ１１１は、ボコーダ復調装置１０５の上記複数の周波数帯域成分夫々を通過させるバンドパスフィルタ群の各バンドパスフィルタの利得を制御する時系列データである。ピッチ変動データ１１２は、メロディに含まれる各音の母音区間に対して予め設定されている例えば模範となる音高の基音周波数データと、実際の歌唱から得られる歌声波形データに含まれる各音の母音区間の基音周波数データとの差分データを、時系列に沿って抽出したデータである。子音振幅データ１１３は、上記歌声波形データに含まれる各音の子音区間のノイズ振幅データの時系列である。
鍵盤操作子１０２は、ユーザの演奏操作により指定された音高を示す演奏指定ピッチデータ１１０を時系列で入力する。
マイコン１０７は、ピッチ変更処理として、鍵盤操作子１０２から入力された演奏指定ピッチデータ１１０の時系列を、メモリ１０１から順次入力するピッチ変動データ１１２の時系列に基づいて変更することにより変更済ピッチデータ１１５の時系列を生成する。
続いて、マイコン１０７は、第１出力処理として、上記変更済ピッチデータ１１５を音源１０３に出力すると共に、鍵盤操作子１０２における押鍵又は離鍵の操作に対応する押鍵・離鍵指示１１４の時系列を生成して音源１０３に出力する。
一方、マイコン１０７は、ノイズ生成指示処理として、鍵盤操作子１０２の操作に対応する歌声波形データに含まれる各音の子音区間、例えば各音の発音タイミングに先行する所定の短時間区間では、ピッチ変動データ１１２を音源１０３に出力する代わりに、メモリ１０１から上記子音区間のタイミングで順次読み込まれる子音振幅データ１１３を、ノイズ発生器１０６に出力する。
更に、マイコン１０７は、振幅変更処理の一部の処理として、歌声波形データに含まれる各音の複数の周波数帯域夫々に対応する複数の第２振幅データ１１１の時系列を、メモリ１０１から読み込んでボコーダ復調装置１０４に出力する。
音源１０３は、マイコン１０７による上記第１出力処理の制御により、マイコン１０７から入力する押鍵・離鍵指示１１４に基づいて発音開始と発音停止を制御しながら、マイコン１０７から入力する変更済ピッチデータ１１５に対応する基音周波数に対応するピッチを有する波形データを、ピッチ変更済第１波形データ１０９として出力する。この場合、音源１０３は、ピッチ変更済第１波形データ１０９をその後に接続されるボコーダ復調装置１０４を励起させるためのキャリア信号として発振する発振器として動作する。このため、ピッチ変更済第１波形データ１０９は、歌声波形データに含まれる各音の母音区間では、キャリア信号としてよく使用される三角波の倍音周波数成分又は任意の楽器の倍音周波数成分を含み、上記変更済ピッチデータ１１５に対応するピッチで繰り返す連続波形となる。
また、歌声波形データの各音の発音タイミングの開始時等に存在する子音区間では、音源１０３が出力を行う前に、ノイズ発生器１０６が、マイコン１０７による前述したノイズ生成指示処理の制御により、マイコン１０７から入力する子音振幅データ１１３に対応する振幅を有する子音ノイズ（例えばホワイトノイズ）を生成し、子音区間波形データとしてピッチ変更済第１波形データ１０９に重畳させる。
ボコーダ復調装置１０４は、マイコン１０７による前述した振幅変更処理の制御により、音源１０３が出力したピッチ変更済第１波形データ１０９から得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、マイコン１０７から出力される、歌声波形データに含まれる各音の複数の周波数帯域夫々に対応する複数の第２振幅データ１１１に基づいて変更させる。ここで、ボコーダ復調装置１０４は、前述した歌声波形データの各音の子音区間ではピッチ変更済第１波形データ１０９に含まれる子音ノイズデータによって励起され、それに続く各音の母音区間では変更済ピッチデータ１１５に対応するピッチを有するピッチ変更済第１波形データ１０９によって励起されることになる。
そして、ボコーダ復調装置１０４は、マイコン１０７から指定される第２出力処理として、上記複数の第１振幅データが夫々変更されることにより得られる第２波形データ１１６を、サウンドシステム１０５に出力し、そこから放音させる。
スイッチ群１０８は、ユーザが楽曲のレッスン（教習）を行うときに、様々な指示をマイコン１０７に対して入力する入力部として機能する。
マイコン１０７は、電子楽器１００の全体の制御を実行する。マイコン１０７は、特には図示しないＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、図１の１０１、１０２，１０３、１０４、１０６、及び１０８の各部に対する入出力を行うインタフェース回路、及びこれらを相互に接続するバス等を備えたマイクロコンピュータである。マイコン１０７では、ＣＰＵが、ＲＯＭに記憶された楽曲演奏処理プログラムを、ＲＡＭをワークメモリとして実行することにより、上述した楽曲演奏のための制御処理を実現する。
以上の電子楽器１００によって、音源１０３が生成した歌唱する音声のピッチ変動のニュアンスが反映されたメロディ楽器音などのピッチ変更済第１波形データ１０９に対して人の歌声のニュアンスが付加された第２波形データ１１６を出力し放音することが可能となる。
図２は、図１のボコーダ復調装置１０４の詳細構成を示すブロック図である。ボコーダ復調装置１０４は、図１の音源１０３又はノイズ発生器１０６が出力するピッチ変更済第１波形データ１０９をキャリア信号として入力し、複数の周波数帯域のそれぞれを通過させる複数のバンドパスフィルタ（ＢＰＦ＃１、ＢＰＦ＃２、ＢＰＦ＃３、・・・、ＢＰＦ＃ｎ）からなるバンドパスフィルタ群２０１を備える。
また、ボコーダ復調装置１０４は、各バンドパスフィルタ（ＢＰＦ＃１、ＢＰＦ＃２、ＢＰＦ＃３、・・・、ＢＰＦ＃ｎ）の各出力である第１振幅データ２０４（＃１〜＃ｎ）に、マイコン１０７から入力する＃１〜＃ｎの各第２振幅データ１１１の値を乗算する複数の乗算器（×＃１〜×＃ｎ）からなる乗算器群２０２を備える。
更に、ボコーダ復調装置１０４は、乗算器群２０２の各乗算器（×＃１〜×＃ｎ）の出力を加算して図１の第２波形データ１１６を出力する加算器２０３を備える。
上述した図２のボコーダ復調装置１０４により、各第２振幅データ１１１に基づいてフィルタリング特性が制御されるバンドパスフィルタ群２０１によって、楽曲の歌唱音声に対応する音声スペクトルエンベロープ特性（フォルマント特性）を、入力されるピッチ変更済第１波形データ１０９に付加することが可能となる。
図３は、図１のメモリ１０１のデータ構成例を示す図である。楽曲の歌詞音声の時間経過を例えば１０ｍｓｅｃ毎に区切った時間（ｔｉｍｅ）毎に、後述する図４のボコーダ変調装置４０１から出力される＃１、＃２、＃３、・・・、＃ｎの各第２振幅データ１１１（図１）が記憶される。また、上記時間経過毎に、楽譜上のメロディの各音の母音区間において例えば模範となるピッチに対して、実際にそのメロディを歌ったときの歌声波形データの各音のピッチのずれであるピッチ変動データ１１２が記憶される。更に、歌声波形データの各音の子音区間に対応する子音振幅データ１１３が記憶される。
図４は、第２振幅データ群１１１、ピッチ変動データ１１２、及び子音振幅データ１１３を生成する音声変調装置４００のブロック図である。音声変調装置４００は、ボコーダ変調装置４０１、ピッチ検出器４０２、減算器４０３、及び子音検出器４０７を備える。
ボコーダ変調装置４０１は、予め或る楽曲のメロディを歌唱させてマイクロフォンから得られる歌声波形データ４０４を入力して、第２振幅データ群１１１を生成し、図１のメモリ１０１に記憶させる。
ピッチ検出器４０２は、上述のメロディの実際の歌唱に基づく歌声波形データ４０４から、各音の母音区間の基音周波数（ピッチ）４０６を抽出する。
減算器４０３は、ピッチ検出器４０２が抽出した上述のメロディの実際の歌唱に基づく歌声波形データ４０４に含まれる各音の母音区間の基音周波数４０６から、上記メロディに含まれる各音の母音区間に対して予め設定されている例えば模範となる基音周波数４０５を減算することにより、ピッチ変動データ１１２の時系列を算出する。
子音検出器４０７は、上記歌声波形データ４０４の各音が存在する区間であって、ピッチ検出器４０２が基本周波数４０６を検出しなかった区間を子音区間として判定し、その区間の平均振幅を算出し、その値を子音振幅データ１１３として出力する。
図５は、図４のボコーダ変調装置４０１の詳細を示すブロック図である。ボコーダ変調装置４０１は、図４の歌声波形データ４０４を入力し、複数の周波数帯域のそれぞれを通過させる複数のバンドパスフィルタ（ＢＰＦ＃１、ＢＰＦ＃２、ＢＰＦ＃３、・・・、ＢＰＦ＃ｎ）からなるバンドパスフィルタ群５０１を備える。このバンドパスフィルタ群５０１は、図１のボコーダ復調装置１０４の図２のバンドパスフィルタ群２０１と同じ特性のものである。
また、ボコーダ変調装置４０１は、複数のエンベロープフォロア（ＥＦ＃１、ＥＦ＃２、ＥＦ＃３、・・・、ＥＦ＃ｎ）からなるエンベロープフォロア群５０２を備える。各エンベロープフォロア（ＥＦ＃１、ＥＦ＃２、ＥＦ＃３、・・・、ＥＦ＃ｎ）は、各バンドパスフィルタ（ＢＰＦ＃１、ＢＰＦ＃２、ＢＰＦ＃３、・・・、ＢＰＦ＃ｎ）の各出力の時間変化のエンベロープデータをそれぞれ抽出し、それぞれ一定時間（例えば１０ｍｓｅｃ（ミリ秒））毎にサンプリングして、各第２振幅データ１１１（＃１〜＃ｎ）として出力する。エンベロープフォロア（ＥＦ＃１、ＥＦ＃２、ＥＦ＃３、・・・、ＥＦ＃ｎ）は例えば、各バンドパスフィルタ（ＢＰＦ＃１、ＢＰＦ＃２、ＢＰＦ＃３、・・・、ＢＰＦ＃ｎ）の各出力の振幅の絶対値を算出し、各算出値をそれぞれ入力して時間変化のエンベロープ特性を抽出するために十分に低い周波数成分のみを通過させるローパスフィルタである。
図６は、図４の音声変調装置４００におけるピッチ変動データ１１２の生成のしくみを説明する図である。例えば実際に人間が歌唱した歌声波形データ４０４の各音の母音区間の基本周波数は、楽譜が示すメロディの各音の母音区間の例えば模範となる基音周波数４０５に対して、周波数が変動していて、それが歌い手の個性や心地よさになっている。そこで、本実施形態では、予め得られているメロディに含まれる各音の母音区間の基音周波数４０５と、メロディが実際に歌唱されて得られた歌声波形データ４０４からピッチ検出器４０２により検出された各音の母音区間の基音周波数４０６との差分が算出されることで、ピッチ変動データ１１２が生成される。
上記歌声波形データ４０４は、演奏者が操作子を指定して演奏する前に、予め人間が歌唱した歌声をメモリ１０１に記憶したものでもよいが、音声合成技術を用いて機械が出力した歌声データをメモリ１０１に記憶したものでもよい。また、上記歌声波形データ４０４は、演奏者が操作子を指定して演奏しながら歌唱する場合は、図示しないマイクにより演奏者が歌う歌声をリアルタイムに取得し、メモリ１０１に記憶したものでもよい。
図７は、図１のマイコン１０７が実行する電子楽器の楽音発生処理の例を示すフローチャートである。この楽音発生処理は、前述したように、マイコン１０７において、内部のＣＰＵが、内部のＲＯＭに記憶された図７のフローチャートとして例示される楽音発生処理プログラムをＲＡＭをワークメモリとして実行する動作として実現される。
ユーザが図１のスイッチ群１０８からレッスンの開始を指示すると、図７のフローチャートの処理が開始され、鍵盤処理（ステップＳ７０１）、ピッチ更新処理（ステップＳ７０２）、及びボコーダ復調処理（ステップＳ７０３）が、繰り返し実行される。ユーザが図１のスイッチ群１０８からレッスンの終了を指示する図７のフローチャートの処理が終了する。
図８は、図７のステップＳ７０１の鍵盤処理の詳細例を示すフローチャートである。まず、図１の鍵盤操作子１０２において、押鍵があったか否かが判定される（ステップＳ８０１）。
ステップＳ８０１の判定がＹＥＳならば、押鍵された音高の演奏指定ピッチデータ１１０に対してピッチ変動データ１１２を加算して得られる変更済ピッチデータ１１５が示すピッチを有するピッチ変更済第１波形データ１０９を出力するよう、図１の音源１０３に発音開始（ノートオン）指示が出力される（ステップＳ８０２）。ステップＳ８０１の判定がＮＯならば、ステップＳ８０２の処理はスキップされる。
次に、離鍵があったか否かが判定される（ステップＳ８０３）。
ステップＳ８０３の判定がＹＥＳならば、離鍵された音高のキャリア波形を消音するよう、図１の音源１０３に発音終了（ノートオフ）指示が出力される。
その後、図８のフローチャートで例示される図７のステップＳ７０１の鍵盤処理が終了する。
図９は、図７のステップＳ７０２のピッチ更新処理の詳細例を示すフローチャートである。この処理においては、楽曲の開始時を起点とする時間経過（図５のｔｉｍｅ）に従い、メモリ１０１から、ピッチ変動データ１１２（図５参照）が読み出され、押鍵されている音高の演奏指定ピッチデータ１１０に加算されることにより、変更済ピッチデータ１１５が生成される（ステップＳ９０１）。
次に、変更済ピッチデータ１１５によるピッチ変更指示が、音源１０３に対して指示される（ステップＳ９０２）。その後、図９のフローチャートで例示される図７のステップＳ７０２のピッチ更新処理が終了する。
図１０は、図７のステップＳ７０３のボコーダ復調処理の詳細例を示すフローチャートである。図１の楽曲の進行時間に該当する時間に対応する各周波数帯域の第２振幅データ１１１の組（＃１〜＃ｎ）（図３参照）が読み出され、図１のボコーダ復調装置１０４内の図２の乗算器群２０２内の各乗算器（×＃１〜×＃ｎ）に出力される（ステップＳ１００１）。なお、楽曲の進行時間は例えば、ユーザがレッスン開始を指示した時点から、マイコン１０７が内蔵するタイマによって計時されている。ここで、上記進行時間に該当する時間が図５に例示されるメモリ１０１に記憶されていない場合には、上記進行時間の時間値の前後のメモリ１０１に記憶されている時間の振幅データからの補間演算により、上記進行時間の時間値に対応する振幅データが演算されてよい。
ボコーダ復調装置１０４内の加算器２０３に対して、図２の乗算器群２０２内の各乗算器の出力を加算させ、その加算結果を第２波形データ１１６として出力させる（ステップＳ１００２）。その後、図１０のフローチャートで例示される図７のステップＳ７０３のボコーダ復調処理が終了する。
以上説明した実施形態により、図１のピッチ変更済第１波形データ１０９に対してボコーダ復調装置１０４によってメロディを歌う音声から得られる歌声波形データ４０４におけるピッチ変動のニュアンスを反映させた第２波形データ１１６を得ることが可能となる。このとき、入力音声の波形（フォルマント）の変化だけではなく、そのピッチ変動も再現できるため、より人間の歌唱音声に近い表現力を持つ音源装置とすることができる。
また、本実施形態では、歌唱音声を鍵盤操作子で演奏することを目的とし、声のフォルマンとを再現するためのフィルタ群（分析フィルタ、声道分析フィルタ）を用いているが、管楽器や弦楽器等の自然楽器をデジタルフィルタ群でモデリングした構成に応用すれば、鍵盤操作子の操作に合わせて、管楽器や弦楽器のピッチ変動を模倣することにより、自然楽器の表現により近い演奏が可能になる。
歌詞音声は、予め録音された歌唱音声をＰＣＭ（パルスコード変調）データで内蔵し、その音声を発音させる方法も考えられるが、この方式では音声データが大きくなることや、演奏者が弾き間違えたときに、間違えたなりの音高で発音させることが比較的難しい。また、歌詞データを内蔵し、そのデータを元に音声合成された音声信号を発音させる方法があるが、この方式の欠点として、音声合成には多くの計算量とデータが必要となるため、リアルタイムの制御が困難である。
本実施形態によるボコーダ方式で合成するものとすることで、周波数毎の振幅変化を予め分析しておくことで、分析フィルタ群を不要とできるので、ＰＣＭデータで内蔵しておくよりも、回路規模や計算量、データ量を削減することができる。更に、間違った鍵盤操作子１０２を弾いた場合、歌詞音声をＰＣＭ音声データで保持していた場合は、その音声を間違った鍵盤操作子で指定されるピッチに合わせるためのピッチ変換を行う必要があるが、ボコーダ方式にすることで、ピッチ変換もキャリアのピッチを変えるだけなので、容易であるという利点もある。
図１のボコーダ復調装置１０４は、マイコン１０７との協調制御によって、メモリ１０１から音声スペクトルエンベロープデータの時系列を順次読み出して入力しながら、ピッチ変更済第１波形データ１０９に対して、音声スペクトルエンベロープ特性を有するフィルタリング処理を実行し、このフィルタリング処理の実行された第２波形データ１１６を出力するフィルタ部として機能する。ここで、フィルタ部は、ボコーダ復調装置１０４のほかに、線形予測分析又はスペクトル最尤推定に基づいて得られる線形予測合成フィルタ、偏相関分析に基づいて得られるＰＡＲＣＯＲ合成フィルタ、又は線スペクトル対分析に基づいて得られるＬＳＰ合成フィルタなどのデジタルフィルタによって実現することも可能である。このとき、音声スペクトルエンベロープデータは、上述のデジタルフィルタのための線形予測係数データ、ＰＡＲＣＯＲ係数データ、又はＬＳＰ係数データのいずれかのパラメータ群であってよい。
上述の実施形態では、楽曲の歌詞音声に対応する音声スペクトルエンベロープデータ及びピッチ変動データは、メモリ１０１に予め記憶させたが、ユーザの演奏操作に合わせてユーザが発声する楽曲の歌詞音声から音声スペクトルエンベロープデータ及びピッチ変動データが、リアルタイムで入力されるようにしてもよい。
また、上述の実施形態では、押鍵毎に、その音高にピッチ変動データが加算されるようにしたが、押鍵と押鍵の間の音符の移行期間で、ピッチ変動データが適用されて発音が実施されるようにしてもよい。
更に、上述の実施形態では、マイコン１０７は、例えば図９のピッチ更新処理において、押鍵されている音高の演奏指定ピッチデータ１１０にメモリ１０１から読み出したピッチ変動データ１１２そのものを加算することにより、変更済ピッチデータ１１５を生成した。このとき、マイコン１０７は、ピッチ変動データ１１２そのものではなく、例えばユーザによるスイッチ群１０８（図１）の操作に基づいて、ピッチ変動データ１１２に所定の係数を乗じた結果を演奏指定ピッチデータ１１０に加算するようにしてもよい。このときの係数の値が例えば「１」であれば、音源１０３から出力されるピッチ変更済第１波形データ１０９には、実際の歌唱に基づくピッチ変動がそのまま反映され、実際の歌唱と同じ抑揚が付加される。一方、上記係数の値が例えば１以上であれば、ピッチ変更済第１波形データ１０９には、実際の歌唱よりも大きなピッチ変動が反映され、実際の歌唱よりも感情豊かな抑揚を付加することができる。
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
指定される複数の操作子と、
制御部と、を備え、前記制御部は、
指定された操作子が対応している第１波形データのピッチを、メロディに含まれる各音の基音周波数と、歌声波形データに含まれる各音の基音周波数との差を示すピッチ変動データに基づいて変更するピッチ変更処理と、
前記ピッチ変更処理により前記第１波形データのピッチが変更されたピッチ変更済第１波形データを音源に出力させる第１出力処理と、
前記第１出力処理により前記音源に出力させた前記ピッチ変更済第１波形データから得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、前記歌声波形データから得られる前記複数の周波数帯域夫々に対応する複数の第２振幅データに基づいて変更させる振幅変更処理と、
前記振幅変更処理により前記複数の第１振幅データが夫々変更されることにより得られる第２波形データを出力させる第２出力処理と、を実行する電子楽器。
（付記２）
前記歌声波形データは、前記メロディに含まれる各音に合わせて歌詞が歌われた歌声の波形データである、ことを特徴とする付記１に記載の電子楽器。
（付記３）
前記歌声波形データは、前記複数の操作子のうちの少なくともいずれか１つの操作子の指定に合わせて演奏者が歌うことにより得られる歌声の波形データであり、
前記制御部は、前記複数の操作子のうちの少なくともいずれか１つの操作子の指定に応じて、前記演奏者が歌う前記歌声に基づいた前記第２波形データを前記第２出力処理により出力させる、ことを特徴とする付記１に記載の電子楽器。
（付記４）
前記第２波形データは、前記複数の第１振幅データと、前記複数の第２振幅データの値とをそれぞれ乗算し、前記それぞれ乗算して得られる各値を加算することにより得られることを特徴とする付記１乃至３の何れかに記載の電子楽器。
（付記５）
前記ピッチ変動データは、演奏者が指定する係数に応じて変更可能であることを特徴とする付記１乃至４の何れかに記載の電子楽器。
（付記６）
前記ピッチ変更済第１波形データは、前記歌声波形データに含まれる各音の子音区間において前記振幅変更処理に入力される子音区間波形データを含むことを特徴とする付記１乃至５の何れかに記載の電子楽器。
（付記７）
指定される複数の操作子と、制御部とを備えた電子楽器において、前記制御部に、
指定された操作子が対応している第１波形データのピッチを、メロディに含まれる各音の基音周波数と、歌声波形データに含まれる各音の基音周波数との差を示すピッチ変動データに基づいて変更するピッチ変更処理と、
前記ピッチ変更処理により前記第１波形データのピッチが変更されたピッチ変更済第１波形データを音源に出力させる第１出力処理と、
前記第１出力処理により前記音源に出力させた前記ピッチ変更済第１波形データから得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、前記歌声波形データから得られる前記複数の周波数帯域夫々に対応する複数の第２振幅データに基づいて変更させる振幅変更処理と、
前記振幅変更処理により前記複数の第１振幅データが夫々変更されることにより得られる第２波形データを出力させる第２出力処理と、を実行させる電子楽器の楽音発生方法。
（付記８）
指定される複数の操作子と、制御部とを備えた電子楽器を制御するコンピュータに、
指定された操作子が対応している第１波形データのピッチを、メロディに含まれる各音の基音周波数と、歌声波形データに含まれる各音の基音周波数との差を示すピッチ変動データに基づいて変更するピッチ変更処理と、
前記ピッチ変更処理により前記第１波形データのピッチが変更されたピッチ変更済第１波形データを音源に出力させる第１出力処理と、
前記第１出力処理により前記音源に出力させた前記ピッチ変更済第１波形データから得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、前記歌声波形データから得られる前記複数の周波数帯域夫々に対応する複数の第２振幅データに基づいて変更させる振幅変更処理と、
前記振幅変更処理により前記複数の第１振幅データが夫々変更されることにより得られる第２波形データを出力させる第２出力処理と、
を実行させるためのプログラム。
１００ 電子楽器
１０１ メモリ
１０２ 鍵盤操作子
１０３ 音源
１０４ ボコーダ復調装置
１０５ サウンドシステム
１０７ マイコン
１０８ スイッチ群
１０９ ピッチ変更済第１波形データ
１１０ 演奏指定ピッチ
１１１ 第２振幅データ
１１２ ピッチ変動データ
１１３ 子音振幅データ
１１４ 押鍵・離鍵指示
１１５ 変更済ピッチデータ
１１６ 第２波形データ
２０１、５０１ バンドパスフィルタ群
２０２ 乗算器群
２０３ 加算器
２０４ 第１振幅データ
４００ 音声変調装置
４０１ ボコーダ変調装置
４０２ ピッチ検出器
４０３ 減算器
４０４ 歌声波形データ
４０５ メロディに含まれる各音の基音周波数
４０６ 歌声波形データに含まれる各音の基音周波数
４０７ 子音検出器
５０２ エンベロープフォロア群
態様の一例は、楽曲のメロディに含まれる各音それぞれの基音周波数と、前記楽曲のメロディに含まれる各音に合わせて歌われた歌声を示す歌声波形データにおける各音それぞれの基音周波数と、の差を示すピッチ変動データを、演奏者による前記楽曲の演奏開始前から記憶しているメモリと、前記演奏者が前記楽曲の演奏開始後に歌わなくても、前記メモリから取得されるピッチ変動データと、演奏のために前記演奏者により指定された音高に応じた演奏指定ピッチデータと、に基づいてキャリア信号となる信号を出力する音源と、を備える電子楽器である。

Claims (8)

  1. 指定される複数の操作子と、
    制御部と、を備え、前記制御部は、
    指定された操作子が対応している第１波形データのピッチを、メロディに含まれる各音の基音周波数と、歌声波形データに含まれる各音の基音周波数との差を示すピッチ変動データに基づいて変更するピッチ変更処理と、
    前記ピッチ変更処理により前記第１波形データのピッチが変更されたピッチ変更済第１波形データを音源に出力させる第１出力処理と、
    前記第１出力処理により前記音源に出力させた前記ピッチ変更済第１波形データから得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、前記歌声波形データから得られる前記複数の周波数帯域夫々に対応する複数の第２振幅データに基づいて変更させる振幅変更処理と、
    前記振幅変更処理により前記複数の第１振幅データが夫々変更されることにより得られる第２波形データを出力させる第２出力処理と、を実行する電子楽器。
  2. 前記歌声波形データは、前記メロディに含まれる各音に合わせて歌詞が歌われた歌声の波形データである、ことを特徴とする請求項１に記載の電子楽器。
  3. 前記歌声波形データは、前記複数の操作子のうちの少なくともいずれか１つの操作子の指定に合わせて演奏者が歌うことにより得られる歌声の波形データであり、
    前記制御部は、前記複数の操作子のうちの少なくともいずれか１つの操作子の指定に応じて、前記演奏者が歌う前記歌声に基づいた前記第２波形データを前記第２出力処理により出力させる、ことを特徴とする請求項１に記載の電子楽器。
  4. 前記第２波形データは、前記複数の第１振幅データと、前記複数の第２振幅データの値とをそれぞれ乗算し、前記それぞれ乗算して得られる各値を加算することにより得られることを特徴とする請求項１乃至３の何れかに記載の電子楽器。
  5. 前記ピッチ変動データは、演奏者が指定する係数に応じて変更可能であることを特徴とする請求項１乃至４の何れかに記載の電子楽器。
  6. 前記ピッチ変更済第１波形データは、前記歌声波形データに含まれる各音の子音区間において前記振幅変更処理に入力される子音区間波形データを含むことを特徴とする請求項１乃至５の何れかに記載の電子楽器。
  7. 指定される複数の操作子と、制御部とを備えた電子楽器において、前記制御部に、
    指定された操作子が対応している第１波形データのピッチを、メロディに含まれる各音の基音周波数と、歌声波形データに含まれる各音の基音周波数との差を示すピッチ変動データに基づいて変更するピッチ変更処理と、
    前記ピッチ変更処理により前記第１波形データのピッチが変更されたピッチ変更済第１波形データを音源に出力させる第１出力処理と、
    前記第１出力処理により前記音源に出力させた前記ピッチ変更済第１波形データから得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、前記歌声波形データから得られる前記複数の周波数帯域夫々に対応する複数の第２振幅データに基づいて変更させる振幅変更処理と、
    前記振幅変更処理により前記複数の第１振幅データが夫々変更されることにより得られる第２波形データを出力させる第２出力処理と、を実行させる電子楽器の楽音発生方法。
  8. 指定される複数の操作子と、制御部とを備えた電子楽器を制御するコンピュータに、
    指定された操作子が対応している第１波形データのピッチを、メロディに含まれる各音の基音周波数と、歌声波形データに含まれる各音の基音周波数との差を示すピッチ変動データに基づいて変更するピッチ変更処理と、
    前記ピッチ変更処理により前記第１波形データのピッチが変更されたピッチ変更済第１波形データを音源に出力させる第１出力処理と、
    前記第１出力処理により前記音源に出力させた前記ピッチ変更済第１波形データから得られる複数の周波数帯域夫々に対応する複数の第１振幅データを、前記歌声波形データから得られる前記複数の周波数帯域夫々に対応する複数の第２振幅データに基づいて変更させる振幅変更処理と、
    前記振幅変更処理により前記複数の第１振幅データが夫々変更されることにより得られる第２波形データを出力させる第２出力処理と、
    を実行させるためのプログラム。
JP2017186690A 2017-09-27 2017-09-27 電子楽器、電子楽器の楽音発生方法、及びプログラム Active JP6569712B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017186690A JP6569712B2 (ja) 2017-09-27 2017-09-27 電子楽器、電子楽器の楽音発生方法、及びプログラム
US16/130,278 US10825438B2 (en) 2017-09-27 2018-09-13 Electronic musical instrument, musical sound generating method of electronic musical instrument, and storage medium
CN201811131167.6A CN109559718B (zh) 2017-09-27 2018-09-27 电子乐器、电子乐器的乐音产生方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017186690A JP6569712B2 (ja) 2017-09-27 2017-09-27 電子楽器、電子楽器の楽音発生方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019061135A true JP2019061135A (ja) 2019-04-18
JP6569712B2 JP6569712B2 (ja) 2019-09-04

Family

ID=65807844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017186690A Active JP6569712B2 (ja) 2017-09-27 2017-09-27 電子楽器、電子楽器の楽音発生方法、及びプログラム

Country Status (3)

Country Link
US (1) US10825438B2 (ja)
JP (1) JP6569712B2 (ja)
CN (1) CN109559718B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6587008B1 (ja) * 2018-04-16 2019-10-09 カシオ計算機株式会社 電子楽器、電子楽器の制御方法、及びプログラム
JP6587007B1 (ja) 2018-04-16 2019-10-09 カシオ計算機株式会社 電子楽器、電子楽器の制御方法、及びプログラム
JP6610714B1 (ja) * 2018-06-21 2019-11-27 カシオ計算機株式会社 電子楽器、電子楽器の制御方法、及びプログラム
JP6610715B1 (ja) 2018-06-21 2019-11-27 カシオ計算機株式会社 電子楽器、電子楽器の制御方法、及びプログラム
JP7059972B2 (ja) 2019-03-14 2022-04-26 カシオ計算機株式会社 電子楽器、鍵盤楽器、方法、プログラム
JP7230870B2 (ja) * 2020-03-17 2023-03-01 カシオ計算機株式会社 電子楽器、電子鍵盤楽器、楽音発生方法およびプログラム
JP7192831B2 (ja) * 2020-06-24 2022-12-20 カシオ計算機株式会社 演奏システム、端末装置、電子楽器、方法、およびプログラム
CN112562633A (zh) * 2020-11-30 2021-03-26 北京有竹居网络技术有限公司 一种歌唱合成方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09204185A (ja) * 1996-01-25 1997-08-05 Casio Comput Co Ltd 楽音発生装置
JP2001249668A (ja) * 2000-03-02 2001-09-14 Yamaha Corp 音声信号または楽音信号の処理装置およびその処理プログラムが記録された記録媒体
JP2006154526A (ja) * 2004-11-30 2006-06-15 Roland Corp ボコーダ装置
JP2009122611A (ja) * 2007-11-19 2009-06-04 Yamaha Corp ハーモニー音生成装置及びプログラム
JP2015179143A (ja) * 2014-03-19 2015-10-08 カシオ計算機株式会社 楽曲演奏装置、楽曲演奏方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09134188A (ja) * 1995-11-10 1997-05-20 Matsushita Electric Ind Co Ltd 歌声合成装置および音楽再生装置
JP3834804B2 (ja) 1997-02-27 2006-10-18 ヤマハ株式会社 楽音合成装置および方法
JP3521711B2 (ja) * 1997-10-22 2004-04-19 松下電器産業株式会社 カラオケ再生装置
JP3815347B2 (ja) * 2002-02-27 2006-08-30 ヤマハ株式会社 歌唱合成方法と装置及び記録媒体
JP4321476B2 (ja) * 2005-03-31 2009-08-26 ヤマハ株式会社 電子楽器
JP5293460B2 (ja) * 2009-07-02 2013-09-18 ヤマハ株式会社 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
US9058797B2 (en) * 2009-12-15 2015-06-16 Smule, Inc. Continuous pitch-corrected vocal capture device cooperative with content server for backing track mix
EP2362378B1 (en) * 2010-02-25 2016-06-08 YAMAHA Corporation Generation of harmony tone
WO2014088036A1 (ja) * 2012-12-04 2014-06-12 独立行政法人産業技術総合研究所 歌声合成システム及び歌声合成方法
JP6171711B2 (ja) 2013-08-09 2017-08-02 ヤマハ株式会社 音声解析装置および音声解析方法
US9818396B2 (en) * 2015-07-24 2017-11-14 Yamaha Corporation Method and device for editing singing voice synthesis data, and method for analyzing singing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09204185A (ja) * 1996-01-25 1997-08-05 Casio Comput Co Ltd 楽音発生装置
JP2001249668A (ja) * 2000-03-02 2001-09-14 Yamaha Corp 音声信号または楽音信号の処理装置およびその処理プログラムが記録された記録媒体
JP2006154526A (ja) * 2004-11-30 2006-06-15 Roland Corp ボコーダ装置
JP2009122611A (ja) * 2007-11-19 2009-06-04 Yamaha Corp ハーモニー音生成装置及びプログラム
JP2015179143A (ja) * 2014-03-19 2015-10-08 カシオ計算機株式会社 楽曲演奏装置、楽曲演奏方法及びプログラム

Also Published As

Publication number Publication date
US20190096379A1 (en) 2019-03-28
JP6569712B2 (ja) 2019-09-04
CN109559718B (zh) 2023-06-20
US10825438B2 (en) 2020-11-03
CN109559718A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
JP6569712B2 (ja) 電子楽器、電子楽器の楽音発生方法、及びプログラム
JP6547878B1 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP6610714B1 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP6610715B1 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP6733644B2 (ja) 音声合成方法、音声合成システムおよびプログラム
JP7059972B2 (ja) 電子楽器、鍵盤楽器、方法、プログラム
JP6747489B2 (ja) 情報処理方法、情報処理システムおよびプログラム
JP6835182B2 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP6819732B2 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP6801766B2 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP4433734B2 (ja) 音声分析合成装置、音声分析装置、及びプログラム
JP6390130B2 (ja) 楽曲演奏装置、楽曲演奏方法及びプログラム
JP4300764B2 (ja) 歌唱音声を合成する方法および装置
JP2022065554A (ja) 音声合成方法およびプログラム
JPH11338480A (ja) カラオケ装置
WO2022054496A1 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP7192834B2 (ja) 情報処理方法、情報処理システムおよびプログラム
JP2009237590A (ja) 音声効果付与装置
JPH1031496A (ja) 楽音発生装置
JP2004177984A (ja) カラオケ装置
JP2004287350A (ja) 音声変換装置、音声効果付与装置、及びプログラム
Teglbjærg et al. Developing TheStringPhone

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190215

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R150 Certificate of patent or registration of utility model

Ref document number: 6569712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150