JP2004347640A - Device and program to modulate musical sound - Google Patents

Device and program to modulate musical sound Download PDF

Info

Publication number
JP2004347640A
JP2004347640A JP2003141316A JP2003141316A JP2004347640A JP 2004347640 A JP2004347640 A JP 2004347640A JP 2003141316 A JP2003141316 A JP 2003141316A JP 2003141316 A JP2003141316 A JP 2003141316A JP 2004347640 A JP2004347640 A JP 2004347640A
Authority
JP
Japan
Prior art keywords
state
vocoder
input
sound
formant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003141316A
Other languages
Japanese (ja)
Other versions
JP4061500B2 (en
Inventor
Masuo Yokota
益男 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2003141316A priority Critical patent/JP4061500B2/en
Publication of JP2004347640A publication Critical patent/JP2004347640A/en
Application granted granted Critical
Publication of JP4061500B2 publication Critical patent/JP4061500B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a musical sound modulating device in which vocoder performance is always reproduced in a same manner and chorus sound is generated in real time. <P>SOLUTION: When a control signal CntSig is [1], a carrier signal CS, which is vocoder processed in accordance with modulated waveform formant components, is generated as a vocoder output OUT. On the other hand, when the control signal CntSig is [0], the vocoder output OUT which is obtained by adding dry route modulated waveforms and the carrier signal CS, that is vocoder processed in accordance with the fixed formant components at the time point where the control signal CntSig is transitioned from [1] to [0], is generated. Therefore, vocoder performance is always reproduced in a same manner by fixing the formant components for every specified timing. Moreover, real time chorus sound is generated when the formant components are fixed. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、常に同じようにボコーダ演奏を再現でき、しかもリアルタイムにコーラス音を生成し得る楽音変調装置および楽音変調プログラムに関する。
【0002】
【従来の技術】
音源から出力される楽音信号を、外部より入力される音声信号により変調して楽音形成する装置が知られている。この種の技術として、例えば特許文献1には、通過周波数帯域がそれぞれ異なる複数のバンドパスフィルタを用いて、外部より入力される音声信号の各周波数帯域毎のエンベロープレベルを抽出し、これに応じて、自動演奏される楽音の周波数特性を制御する所謂ボコーダ処理を施してあたかも人声のような楽音を発生する装置が開示されている。
【0003】
【特許文献1】
特許第2808721号公報
【0004】
【発明が解決しようとする課題】
ところで、特許文献1に開示される形態の楽音変調装置の中には、スイッチ操作に応じてフォルマント成分を固定化するものがあるが、例えば自動演奏される楽音にボコーダ処理を施す際に、指定タイミング毎にフォルマント成分を固定化することが叶わず、これ故、演奏再現性に欠ける、という問題がある。
また、従来の楽音変調装置は、外部より入力される音声信号のフォルマント成分に応じて、音源が発生する楽音にボコーダ処理を施すだけだから、リアルタイムにコーラス音を生成することができない、という問題もある。
そこで本発明は、このような事情に鑑みてなされたもので、常に同じようにボコーダ演奏を再現でき、しかもリアルタイムにコーラス音を生成することができる楽音変調装置および楽音変調プログラムを提供することを目的としている。
【0005】
【課題を解決するための手段】
上記目的を達成するため、請求項1に記載の発明では、第1および第2の状態を交互に設定する状態設定手段と、前記状態設定手段によって第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理手段と、前記状態設定手段によって第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理手段とを具備することを特徴とする。
【0006】
請求項2に記載の発明では、指定周期毎に第1および第2の状態を交互に設定する状態設定手段と、前記状態設定手段によって第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理手段と、前記状態設定手段によって第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理手段とを具備することを特徴とする。
【0007】
請求項3に記載の発明では、時系列データにより第1および第2の状態を交互に設定する状態設定手段と、前記状態設定手段によって第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理手段と、前記状態設定手段によって第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理手段とを具備することを特徴とする。
【0008】
請求項4に記載の発明では、第1および第2の状態を交互に設定する状態設定ステップと、前記状態設定ステップにて第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理ステップと、前記状態設定ステップにて第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理ステップとをコンピュータで実行させることを特徴とする。
【0009】
請求項5に記載の発明では、指定周期毎に第1および第2の状態を交互に設定する状態設定ステップと、前記状態設定ステップにて第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理ステップと、前記状態設定ステップにて第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理ステップとをコンピュータで実行させることを特徴とする。
【0010】
請求項6に記載の発明では、時系列データにより第1および第2の状態を交互に設定する状態設定ステップと、前記状態設定ステップにて第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理ステップと、前記状態設定ステップにて第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理ステップとをコンピュータで実行させることを特徴とする。
【0011】
本発明では、第1の状態に設定されると、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力し、第2の状態に設定されると、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する。
したがって、第1および第2の状態を所定タイミング毎に設定すれば、そのタイミング毎にフォルマント成分を固定化でき、これにより常に同じようにボコーダ演奏を再現することが可能になる。また、第2の状態に設定すると、ボコーダ音と入力される音声とが混合される為、リアルタイムにコーラス音を生成することが可能になる。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態による楽音変調装置を搭載した電子楽器を実施例とし、これについて図面を参照して説明する。
【0013】
A.実施例の構成
(1)全体構成
図1は、本発明による電子楽器の全体構成を示すブロック図である。この図において、1は押離鍵操作(演奏操作)に応じたキーオン/キーオフイベントおよびノート番号、ベロシティ等からなる演奏情報を発生する鍵盤である。2は楽器パネルに配設される各種スイッチから構成されるスイッチ部であり、操作されたスイッチに対応したスイッチイベントを発生する。3は各種制御プログラムを記憶するROMである。各種制御プログラムは、後述するメインルーチン、ボコーダタイマ処理およびシーケンサ処理を含む。
【0014】
4はCPU5のワークエリアとして用いられるRAMであり、例えば図2に図示するように、フォルマント成分のエンベロープレベルが格納されるレジスタENV_PREV[1]〜[n]等、各種レジスタ・フラグデータを一時記憶する。なお、このレジスタENV_PREV[1]〜[n]にストアされる各フォルマント成分のエンベロープレベルが意図するところは追って説明する。
CPU5はROM3に格納される各種制御プログラムを実行し、例えば鍵盤1が発生する演奏情報に対応した楽音パラメータ(ノートオン/オフイベント等)を発生して音源10に送出したり、スイッチ部2が発生するスイッチイベントに応じて動作状態を変更させる等、楽器各部を制御する。本発明の要旨に係わるCPU5の処理動作については追って詳述する。
【0015】
6は楽器パネルに配設される表示部であり、CPU5から供給される表示制御信号に応じて楽器各部の動作状態やパラメータ設定状態などを表示する。7はCPU5の制御の下に、外部MIDI機器とMIDIデータ(MIDIメッセージ)をシリアル形式で入出力するMIDIインタフェースである。8は入力される音声を音声信号に変換して出力するマイクである。9はマイク8から入力される音声信号をA/D変換し、これを変調波形として出力するA/D変換器である。10は周知の波形メモリ読み出し方式にて構成される音源であり、CPU5から供給される楽音パラメータ(ノートオン/オフイベント等)に応じた波形を発生する。音源10では、発生波形の一部をキャリア信号CS(被変調波形)としてDSP11に供給する一方、他の発生波形とDSP11から供給されるボコーダ出力OUTとを混合した楽音波形Wを出力する。
【0016】
DSP11は、被変調波形として音源10から入力されるキャリア信号CSを、A/D変換器9から供給される変調波形(音声信号)のフォルマント成分に応じて変調するボコーダ処理を施し、これにて得られるボコーダ出力OUTを音源10に出力するものであり、その構成については追って詳述する。12は音源10から出力される楽音波形Wをアナログ形式の波形信号に変換して出力するD/A変換器である。13は前段のD/A変換器12より入力される波形信号から不要ノイズを除去する等のフィルタリングを施した後、これを増幅してスピーカ14から発音させるサウンドシステムである。
【0017】
(2)DSP11の構成
次に、図3を参照してDSP11の構成を説明する。DSP11は分析部20、モジュレータ制御部30、合成部40および加算器50から構成される。分析部20は、バンドパスフィルタ(以下、BPFと記す)20a−1〜20a−nとエンベロープ検出器(以下、ENVと記す)20b−1〜20b−nとを備える。BPF20a−1〜20a−nは、それぞれ人声のフォルマント周波数に対応させた通過周波数帯域を有し、CPU5の制御の下にA/D変換器9から供給される変調波形(音声信号)のフォルマント成分を抽出する。ENV20b−1〜20b−nは、整流器を含む絶対値回路およびLPFを含む平滑回路から構成され、上記BPF20a−1〜20a−nにて抽出されるフォルマント成分のエンベロープレベルを検出して出力する。
【0018】
モジュレータ制御部30は、低周波発振器(以下、LFOと記す)31、信号制御部32およびエンベロープ制御回路33−1〜33−nから構成される。LFO31は、CPU5から供給されるタイマクロックClockに同期して一定周期毎に「0」又は「1」に変化する制御信号CntSigを発生する。信号制御部32は、制御信号CntSigに応じて、変調波形(音声信号)のドライルートを開閉制御すると共に、エンベロープ制御回路33−1〜33−nにスルー出力指示信号もしくはラッチ指示信号を出力する。
【0019】
すなわち、制御信号CntSigが「0」の場合には、変調波形(音声信号)を加算器50に入力させるドライルートを接続すると共に、エンベロープ制御回路33−1〜33−nに対し、制御信号CntSigが「1」から「0」に遷移した時点のエンベロープレベルをラッチさせるラッチ指示信号を出力する。
一方、制御信号CntSigが「1」の場合には、変調波形(音声信号)を加算器50に入力させるドライルートをカットすると共に、エンベロープ制御回路33−1〜33−nに対し、検出したエンベロープレベルをそのまま出力させるスルー出力指示信号を出力する。
エンベロープ制御回路33−1〜33−nは、スルー出力指示信号が供給された場合、分析部20のBPF20a−1〜20a−nからそれぞれ入力されるエンベロープレベルを検出して合成部40側に出力し、一方、ラッチ指示信号が供給された場合、その時点で検出したエンベロープレベルをラッチして合成部40側に出力する。
【0020】
合成部40は、BPF40a−1〜40a−n、乗算器40b−1〜40b−nおよび加算器40cを備える。BPF40a−1〜40a−nは、分析部20のBPF20a−1〜20a−nと同一の通過周波数帯域を有し、音源10から供給されるキャリア信号CS(被変調波形)をn個の通過周波数帯域に分割濾波する。乗算器40b−1〜40b−nは、エンベロープ制御回路33−1〜33−nがそれぞれ出力する各エンベロープレベルを、BPF40a−1〜40a−nの各出力に乗算する。加算器40cは乗算器40b−1〜40b−nの各出力を加算合成して加算器50に出力する。加算器50は、加算器40cの出力と、信号制御部32を介して入力されるドライルートの変調波形(音声信号)とを加算してボコーダ出力OUTを発生する。
【0021】
B.実施例の動作
次に、図4〜図6を参照して上記構成による実施例の動作を説明する。以下では、最初に全体の概略動作としてCPU5が実行するメインルーチンの動作を説明した後、このメインルーチンと共にDSP11が所定周期毎に実行するボコーダタイマ処理の動作について述べる。
【0022】
(1)メインルーチンの動作
電源投入によりCPU5はROM3から所定の制御プログラムを読み出して自身にロードし、図4に示すメインルーチンを実行する。メインルーチンが実行されると、CPU5は先ずステップSA1に処理を進め、RAM4に格納される各種レジスタやフラグ類をリセットしたり初期値をセットする他、音源10およびDSP11にイニシャライズを指示する初期化処理を行う。そして、イニシャライズ完了後、ステップSA2に進み、スイッチ部2のスイッチ操作に応じたスイッチ処理、例えばマイク8およびA/D変換器9を用いて変調波形(音声信号)を入力させる動作モードに設定する等の処理を実行する。
続いて、ステップSA3では、鍵盤1の押離鍵操作に応じた楽音の発音/消音を音源10に指示する鍵盤処理を実行する。そして、ステップSA4では、例えば上記ステップSA2のスイッチ処理にて設定されたモードの内容を表示部6に表示する表示処理を実行する。次いで、ステップSA5では、MIDIインタフェース7を介して外部MIDI機器からのMIDIメッセージを受信して楽音を発生するMIDI処理を実行する等の、その他の処理を実行する。以後、電源がオフされるまで上述のステップSA2〜SA5を繰り返し実行する。
【0023】
(2)ボコーダタイマ処理の動作
次に、図5を参照してDSP11が実行するボコーダタイマ処理の動作を説明する。DSP11は一定周期毎にボコーダタイマ処理を実行しており、実行タイミングになると、図5のステップSB1に処理を進め、LFO31が発生する制御信号CntSigが「0」か否かを判断する。以下、制御信号CntSigが「0」の場合と、「1」の場合とに分けて動作説明する。
【0024】
▲1▼制御信号CntSigが「0」の場合
制御信号CntSigが「0」であると、ステップSB1の判断結果は「YES」になり、次のステップSB2に進み、レジスタCS_PREVが「1」であるか否かを判断する。レジスタCS_PREVは、前回処理時の制御信号CntSigを保持する。したがって、このステップSB2では、制御信号CntSigが「1」から「0」に遷移したかどうかを判断する。制御信号CntSigが「0」を維持している場合には、判断結果は「NO」になり、後述のステップSB4に進むが、制御信号CntSigが「1」から「0」に遷移すると、判断結果が「YES」となり、ステップSB3に進む。
【0025】
ステップSB3では、レジスタENV[1]〜ENV[n]に格納される現在のエンベロープレベル、すなわち分析部20のBPF20a−1〜20a−nがそれぞれ現在検出する各エンベロープレベルを、レジスタENV_PREV[1]〜ENV_PREV[n]にストアする。次いで、ステップSB4では、レジスタENV_PREV[1]〜ENV_PREV[n]に格納される各エンベロープレベルを、合成部40の乗算器40b−1〜40b−nにそれぞれ供給する。
【0026】
次いで、ステップSB5では、ドライルートの変調波形(音声信号)を加算器50に供給する。この後、ステップSB13に進み、現在の制御信号CntSigの値をレジスタCS_PREVにストアし、続くステップSB14では、制御信号CntSigが「1」から「0」に遷移した時点で分析部20のBPF20a−1〜20a−nがそれぞれ出力する各エンベロープレベルに応じてボコーダ処理されるキャリア信号CS(被変調波形)とドライルートの変調波形(音声信号)とを加算したボコーダ出力OUTを発生する。
このように、制御信号CntSigが「0」の場合には、制御信号CntSigが「1」から「0」に遷移した時点で固定化されるフォルマント成分に応じてボコーダ処理されるキャリア信号CS(被変調波形)とドライルートの変調波形(音声信号)とを加算したボコーダ出力OUTを発生する。
【0027】
▲2▼制御信号CntSigが「1」の場合
この場合、制御信号CntSigが「0」から「1」に遷移した直後からの一定期間と、それ以降とでは動作態様が異なる。以下、遷移直後から一定期間経過するまでの動作と、一定期間経過後の動作とに分けて説明する。
【0028】
a.遷移直後から一定期間経過するまでの動作
制御信号CntSigが「0」から「1」に遷移した直後であると、ステップSB1,SB6の各判断結果が「NO」になり、ステップSB8に進み、レジスタkに処理回数Nをセットする。続いて、ステップSB9では、ポインタiを「1」〜「n」まで歩進させながら、(レジスタENV[i]+レジスタENV_PREV[i])/2を算出し、それをレジスタENV_PREV[i]にストアする。つまり、現在のエンベロープレベルと前回のエンベロープレベルとの平均値を算出し、それを前回のエンベロープレベルとして更新登録する。
【0029】
次いで、ステップSB10では、上記ステップSB9にて更新されたレジスタENV_PREV[1]〜ENV_PREV[n]の各エンベロープレベルを、合成部40の乗算器40b−1〜40b−nに供給する。続いて、ステップSB11では、レジスタkに格納された処理回数Nをデクリメントする。この後、上述したステップSB13,SB14にて、現在の制御信号CntSigの値をレジスタCS_PREVにストアした後、加算器50からボコーダ出力OUTを発生させる。
以後、制御信号CntSigが「1」を維持する間、ステップSB9以降を処理回数N分繰り返し実行して、現在のエンベロープレベルと前回のエンベロープレベルとが不連続にならないように、レジスタENV_PREV[1]〜ENV_PREV[n]の各エンベロープレベルを指数関数的に変化させる。
【0030】
b.一定期間経過後の動作
そして、ステップSB9以降を処理回数N分繰り返し実行する一定期間が経過すると、ステップSB7の判断結果が「NO」となって、ステップSB12に進み、レジスタENV[1]〜ENV[n]に格納される現在の各エンベロープレベルを、合成部40の乗算器40b−1〜40b−nに供給する。この後、上述したステップSB13,SB14に進み、現在の制御信号CntSigの値をレジスタCS_PREVにストアした後、加算器50からボコーダ出力OUTを発生させる。
【0031】
このように、制御信号CntSigが「0」から「1」に遷移した直後から一定期間経過するまでは、現在のエンベロープレベルと前回のエンベロープレベルとが不連続にならないよう指数関数的に変化させたレジスタENV_PREV[1]〜ENV_PREV[n]の各エンベロープレベルを、合成部40の乗算器40b−1〜40b−nに供給し、これに応じてボコーダ処理される音源10からのキャリア信号CS(被変調波形)をボコーダ出力OUTとする。
そして、その一定期間が経過すると、レジスタENV[1]〜ENV[n]に格納される現在の各エンベロープレベルを、合成部40の乗算器40b−1〜40b−nに供給し、これに応じてボコーダ処理される音源10からのキャリア信号CS(被変調波形)をボコーダ出力OUTとする。
【0032】
(3)具体的動作
次に、図6を参照してDSP11の具体的な動作を説明する。なお、図6において、(A)はLFO31が発生する制御信号CntSigを表す。(B)はマイク8およびA/D変換器9を介して入力される変調波形(音声信号)を表す。(C)は合成部40の合成出力(加算器40cの出力)を表す。(D)は信号制御部32を経て加算器50に入力されるドライルートの変調波形(音声信号)を表す。
【0033】
さて、図6(A)に図示するように、小節先頭直前を変化タイミングとして4拍子2小節周期で変化する制御信号CntSigがLFO31から出力されている時に、同図(B)に図示するタイミングで変調波形(音声信号)がDSP11に入力されたとする。
そうすると、制御信号CntSigが「1」を維持する第1小節の1拍目から4拍目では、「あいうお」と拍毎に変化する変調波形(音声信号)のフォルマント成分毎のエンベロープレベルに応じてボコーダ処理されるキャリア信号CS(被変調波形)をボコーダ出力OUTとして音源10に供給する。この結果、「あいうお」と変化する音声の楽音波形Wが生成される。
【0034】
続いて、第2小節先頭直前で制御信号CntSigが「1」から「0」に遷移すると、DSP11ではその遷移時点における変調波形(音声信号)のフォルマント成分毎のエンベロープレベルを保持する。そして、制御信号CntSigが「0」を維持する第2小節の1拍目から4拍目では、保持された各エンベロープレベルに応じてボコーダ処理されるキャリア信号CS(被変調波形)にドライルートの変調波形(音声信号)を加算して得るボコーダ出力OUTを音源10に供給する。この結果、「おー」というキャリア信号CS(被変調波形)と、「かきくこ」と拍毎に変化する変調波形(音声信号)とが混合された音声の楽音波形Wが生成される。
【0035】
以上のように、本実施例によれば、制御信号CntSigが「1」の期間は変調波形(音声信号)のフォルマント成分に応じてボコーダ処理されるキャリア信号CS(被変調波形)をボコーダ出力OUTとして発生し、一方、制御信号CntSigが「0」の期間は制御信号CntSigが「1」から「0」に遷移した時点で固定化されたフォルマント成分に応じてボコーダ処理されるキャリア信号CS(被変調波形)とドライルートの変調波形(音声信号)とを加算したボコーダ出力OUTを発生するので、指定タイミング毎にフォルマント成分を固定化でき、これにより常に同じようにボコーダ演奏を再現することが可能になる。
加えて、上述のようにフォルマント成分を固定化した時にボコーダ処理されるキャリア信号CS(被変調波形)とドライルートの変調波形(音声信号)とを加算したボコーダ出力OUTを発生させる為、リアルタイムにコーラス音を生成することが可能になっている。
【0036】
(4)変形例
上述した実施例では、LFO31が発生する制御信号CntSigを用いて、指定タイミング毎にフォルマント成分を固定化するようにしたが、これに替えて、RAM4内のシーケンスデータの再生に応じて発生するノートオン/ノートオフイベントもしくはMIDIインタフェース7を介して外部MIDI機器から入力されるノートオン/ノートオフイベントに従ったタイミングでフォルマント成分を固定化させる態様としてもよい。RAM4内のシーケンスデータの再生に応じて発生するノートオン/ノートオフイベントに従ったタイミングでフォルマント成分を固定化させる場合には、図7に図示するシーケンサ処理を所定周期毎に割込み実行する。
【0037】
実行タイミングになると、図7に示すステップSC1の判断結果が「YES」になり、ステップSC2に進み、ノートイベントの発生の有無を判断する。ノートイベント以外のイベントであると、判断結果は「NO」となり、ステップSC3に進み、発生イベント種に対応した処理の実行を指示するイベント実行指示処理を行って本処理を完了させる。
一方、ノートイベントが発生した場合には、上記ステップSC2の判断結果が「YES」になり、ステップSC4に進み、そのノートイベントがオンイベントであるか否かを判断する。オンイベントであると、判断結果は「YES」になり、ステップSC5に進み、ノートオンイベント数をカウントするレジスタNoteOnをインクリメントして歩進させる。これに対し、オフイベントであれば、判断結果が「NO」となり、ステップSC6に進み、レジスタNoteOnをデクリメントする。
【0038】
次いで、ステップSC7では、レジスタNoteOnの値が「0」、すなわち全ノートオフであるかどうかを判断する。そして、全ノートオフであれば、判断結果が「YES」になり、ステップSC8に進み、制御信号CntSigを「1」にセットする。一方、全ノートオフでないと、上記ステップSC7の判断結果は「NO」になり、ステップSC9に進み、制御信号CntSigを「0」にセットする。
このように、変形例によれば、シーケンスデータの再生状態が全ノートオフの場合は制御信号CntSigを「1」に設定し、少なくとも1つのノートオンが発生した場合は制御信号CntSigを「0」に設定してフォルマント成分を固定化する。したがって、全ノートオフ中には、変調波形(音声信号)のフォルマント成分に応じてボコーダ処理されるキャリア信号CS(被変調波形)をボコーダ出力OUTとして発生し、少なくとも一つのノートオンが発生している場合は、「全ノートオフの状態」から「全ノートオフでない状態」に遷移した時点で固定化されたフォルマント成分に応じて、ボコーダ処理されるキャリア信号CS(被変調波形)とドライルートの変調波形(音声信号)とを加算したボコーダ出力OUTを発生する。これにより、シーケンスデータの再生を行うことで、制御信号CntSigの設定の再現性を実現することができる。
【0039】
さらに、ノートオン/ノートオフイベントに従ったタイミングでフォルマント成分を固定化させる態様に替えて、操作ペダルを設けておき、その操作ペダルの操作に応じて制御信号CntSigを変化させるようにすれば、ユーザが意図するタイミングでフォルマント成分を固定化してコーラス効果を付与することも可能になる。
【0040】
【発明の効果】
請求項1,4に記載の発明によれば、第1の状態に設定されると、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力し、第2の状態に設定されると、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する。したがって、第1および第2の状態を所定タイミング毎に設定すれば、そのタイミング毎にフォルマント成分を固定化でき、これにより常に同じようにボコーダ演奏を再現することができる。また、第2の状態に設定すると、ボコーダ音と入力される音声とが混合される為、リアルタイムにコーラス音を生成することができる。
請求項2,5に記載の発明では、指定周期毎に第1の状態に設定されると、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力し、指定周期毎に第2の状態に設定されると、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力するので、指定タイミング毎にフォルマント成分を固定化でき、これにより常に同じようにボコーダ演奏を再現することができる。また、第2の状態に設定すると、ボコーダ音と入力される音声とが混合される為、リアルタイムにコーラス音を生成することができる。
請求項3,6に記載の発明によれば、時系列データによって第1の状態に設定されると、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力し、時系列データによって第2の状態に設定されると、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力するので、時系列データが指定するタイミング毎にフォルマント成分を固定化でき、これにより常に同じようにボコーダ演奏を再現することができる。また、第2の状態に設定すると、ボコーダ音と入力される音声とが混合される為、リアルタイムにコーラス音を生成することができる。
【図面の簡単な説明】
【図1】本発明による一実施例の全体構成を示すブロック図である。
【図2】RAM4の主要レジスタ構成を示すメモリマップである。
【図3】DSP11の構成を示すブロック図である。
【図4】メインルーチンの動作を示すフローチャートである。
【図5】ボコーダタイマ処理の動作を示すフローチャートである。
【図6】DSP11の具体的動作を説明するための図である。
【図7】変形例によるシーケンサ処理の動作を示すフローチャートである。
【符号の説明】
1 鍵盤
2 スイッチ部
3 ROM
4 RAM
5 CPU
6 表示部
7 MIDIインタフェース
8 マイク
9 A/D変換器
10 音源
11 DSP
12 D/A変換器
13 サウンドシステム
14 スピーカ
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a tone modulation device and a tone modulation program capable of always reproducing a vocoder performance in the same manner and generating a chorus sound in real time.
[0002]
[Prior art]
2. Description of the Related Art There is known an apparatus which forms a musical tone by modulating a musical tone signal output from a sound source with an externally input audio signal. As this kind of technology, for example, in Patent Document 1, an envelope level is extracted for each frequency band of an audio signal input from the outside by using a plurality of band-pass filters having different pass frequency bands. In addition, there is disclosed an apparatus that performs a so-called vocoder process for controlling the frequency characteristics of automatically played musical sounds to generate musical sounds as if they were human voices.
[0003]
[Patent Document 1]
Japanese Patent No. 2880721
[0004]
[Problems to be solved by the invention]
By the way, some tone modulating devices of the type disclosed in Patent Document 1 fix a formant component in response to a switch operation. For example, when performing a vocoder process on a tone to be automatically played, There is a problem that the formant component cannot be fixed at each timing, and therefore, the performance reproducibility is lacking.
In addition, the conventional tone modulation device only performs vocoder processing on the tone generated by the sound source in accordance with the formant component of the audio signal input from the outside, so that there is also a problem that a chorus sound cannot be generated in real time. is there.
Therefore, the present invention has been made in view of such circumstances, and provides a tone modulation apparatus and a tone modulation program capable of always reproducing a vocoder performance in the same manner and generating a chorus sound in real time. The purpose is.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, according to the first aspect of the present invention, a state setting means for alternately setting a first state and a second state, and an input when a first state is set by the state setting means. A first vocoder processing means for modulating a tone generated in response to a performance input in accordance with a formant component of a voice to output a vocoder sound, and a second state set by the state setting means The formant component of the voice input at the time of transition from the first state to the second state is held and fixed, and is generated corresponding to the performance input in accordance with the fixed formant component. A second vocoder processing means for mixing and outputting a vocoder sound obtained by modulating a musical tone and an input voice is provided.
[0006]
According to the second aspect of the present invention, the state setting means for alternately setting the first state and the second state for each designated period, and when the first state is set by the state setting means, the input sound is A first vocoder processing means for modulating a tone generated in response to a performance input in accordance with a formant component and outputting a vocoder sound; and a first vocoder processing means, wherein a second state is set by the state setting means. The formant component of the voice input at the time of the transition from the state to the second state is retained and fixed, and the tone generated corresponding to the performance input is modulated according to the fixed formant component. Second vocoder processing means for mixing and outputting the vocoder sound obtained as described above and the input voice.
[0007]
According to the third aspect of the present invention, the state setting means for alternately setting the first and second states based on the time-series data, and when the first state is set by the state setting means, the input sound is A first vocoder processing means for modulating a tone generated in response to a performance input in accordance with a formant component and outputting a vocoder sound; and a first vocoder processing means, wherein a second state is set by the state setting means. The formant component of the voice input at the time of the transition from the state to the second state is retained and fixed, and the tone generated corresponding to the performance input is modulated according to the fixed formant component. Second vocoder processing means for mixing and outputting the vocoder sound obtained as described above and the input voice.
[0008]
According to the invention described in claim 4, a state setting step of alternately setting the first and second states and, if the first state is set in the state setting step, the formant component of the input voice is A first vocoder processing step of outputting a vocoder sound by modulating a tone generated in response to a performance input, and a first state when the second state is set in the state setting step. From the second state to the second state, hold and fix the formant component of the voice input, and modulate the tone generated corresponding to the performance input in accordance with the fixed formant component. And a second vocoder processing step of mixing and outputting the obtained vocoder sound and the input voice.
[0009]
According to the invention described in claim 5, a state setting step of alternately setting the first and second states for each specified period, and a sound input when the first state is set in the state setting step A first vocoder processing step of modulating a tone generated in response to a performance input and outputting a vocoder sound in accordance with the formant component of A formant component of a voice input at the time of transition from the first state to the second state is held and fixed, and a tone generated in response to a performance input in accordance with the fixed formant component And a second vocoder processing step of mixing and outputting the vocoder sound obtained by modulating the vocoder sound and the input voice.
[0010]
According to the invention described in claim 6, a state setting step of alternately setting the first and second states based on time-series data, and an input voice when the first state is set in the state setting step A first vocoder processing step of modulating a tone generated in response to a performance input and outputting a vocoder sound in accordance with the formant component of A formant component of a voice input at the time of transition from the first state to the second state is held and fixed, and a tone generated in response to a performance input in accordance with the fixed formant component And a second vocoder processing step of mixing and outputting the vocoder sound obtained by modulating the vocoder sound and the input voice.
[0011]
According to the present invention, when set to the first state, a tone generated in response to a performance input is modulated to output a vocoder sound according to the formant component of the input voice, and the vocoder sound is output to the second state. When set, the formant component of the voice input at the time of transition from the first state to the second state is held and fixed, and in response to a performance input, the formant component is fixed according to the fixed formant component. The vocoder sound obtained by modulating the tone generated by the above is mixed with the input voice and output.
Therefore, if the first and second states are set at predetermined timings, the formant component can be fixed at each timing, thereby making it possible to always reproduce the vocoder performance in the same manner. In the second state, the vocoder sound and the input sound are mixed, so that a chorus sound can be generated in real time.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an example of an electronic musical instrument equipped with a tone modulation device according to an embodiment of the present invention will be described with reference to the drawings.
[0013]
A. Configuration of the embodiment
(1) Overall configuration
FIG. 1 is a block diagram showing the overall configuration of an electronic musical instrument according to the present invention. In this figure, reference numeral 1 denotes a keyboard for generating key-on / key-off events corresponding to key press / release operations (performance operations) and performance information including note numbers, velocities, and the like. Reference numeral 2 denotes a switch unit including various switches provided on the instrument panel, and generates a switch event corresponding to the operated switch. A ROM 3 stores various control programs. The various control programs include a main routine, a vocoder timer process, and a sequencer process described later.
[0014]
Reference numeral 4 denotes a RAM used as a work area of the CPU 5, for example, as shown in FIG. 2, temporarily storing various register / flag data such as registers ENV_PREV [1] to [n] in which envelope levels of formant components are stored. I do. Note that the intended purpose of the envelope level of each formant component stored in the registers ENV_PREV [1] to [n] will be described later.
The CPU 5 executes various control programs stored in the ROM 3, for example, generates musical tone parameters (note on / off events and the like) corresponding to the performance information generated by the keyboard 1 and sends them to the sound source 10. It controls various parts of the musical instrument, such as changing the operation state according to the generated switch event. The processing operation of the CPU 5 according to the gist of the present invention will be described later in detail.
[0015]
Reference numeral 6 denotes a display unit provided on the musical instrument panel, which displays an operation state, a parameter setting state, and the like of each section of the musical instrument according to a display control signal supplied from the CPU 5. Reference numeral 7 denotes a MIDI interface for inputting / outputting MIDI data (MIDI message) to / from an external MIDI device in a serial format under the control of the CPU 5. Reference numeral 8 denotes a microphone that converts an input voice into a voice signal and outputs the voice signal. Reference numeral 9 denotes an A / D converter that A / D converts an audio signal input from the microphone 8 and outputs the converted signal as a modulated waveform. Reference numeral 10 denotes a sound source configured by a well-known waveform memory reading method, which generates a waveform corresponding to a musical tone parameter (note on / off event or the like) supplied from the CPU 5. The sound source 10 supplies a part of the generated waveform to the DSP 11 as a carrier signal CS (modulated waveform), and outputs a tone waveform W in which another generated waveform is mixed with the vocoder output OUT supplied from the DSP 11.
[0016]
The DSP 11 performs vocoder processing for modulating the carrier signal CS input from the sound source 10 as a modulated waveform according to the formant component of the modulation waveform (audio signal) supplied from the A / D converter 9. The obtained vocoder output OUT is output to the sound source 10, and its configuration will be described later in detail. Reference numeral 12 denotes a D / A converter that converts the tone waveform W output from the sound source 10 into an analog waveform signal and outputs the analog waveform signal. Reference numeral 13 denotes a sound system which performs filtering such as removal of unnecessary noise from a waveform signal input from the D / A converter 12 at the preceding stage, amplifies the signal, and causes a speaker 14 to generate sound.
[0017]
(2) Configuration of DSP 11
Next, the configuration of the DSP 11 will be described with reference to FIG. The DSP 11 includes an analyzer 20, a modulator controller 30, a synthesizer 40, and an adder 50. The analysis unit 20 includes band-pass filters (hereinafter, referred to as BPF) 20a-1 to 20a-n and envelope detectors (hereinafter, referred to as ENV) 20b-1 to 20b-n. The BPFs 20a-1 to 20a-n each have a pass frequency band corresponding to the formant frequency of a human voice, and formant of a modulated waveform (audio signal) supplied from the A / D converter 9 under the control of the CPU 5. Extract the components. Each of the ENVs 20b-1 to 20b-n includes an absolute value circuit including a rectifier and a smoothing circuit including an LPF, and detects and outputs an envelope level of a formant component extracted by the BPFs 20a-1 to 20a-n.
[0018]
The modulator control unit 30 includes a low-frequency oscillator (hereinafter, referred to as LFO) 31, a signal control unit 32, and envelope control circuits 33-1 to 33-n. The LFO 31 generates a control signal CntSig that changes to “0” or “1” at regular intervals in synchronization with the timer clock Clock supplied from the CPU 5. The signal control unit 32 controls the opening and closing of the dry route of the modulation waveform (audio signal) according to the control signal CntSig, and outputs a through output instruction signal or a latch instruction signal to the envelope control circuits 33-1 to 33-n. .
[0019]
That is, when the control signal CntSig is “0”, a dry route for inputting the modulation waveform (audio signal) to the adder 50 is connected, and the control signal CntSig is supplied to the envelope control circuits 33-1 to 33-n. Outputs a latch instruction signal for latching the envelope level at the time of transition from “1” to “0”.
On the other hand, when the control signal CntSig is “1”, the dry route for inputting the modulation waveform (audio signal) to the adder 50 is cut, and the detected envelope is sent to the envelope control circuits 33-1 to 33-n. A through output instruction signal for outputting the level as it is is output.
When the through output instruction signal is supplied, the envelope control circuits 33-1 to 33-n detect the envelope levels input from the BPFs 20a-1 to 20a-n of the analysis unit 20 and output the detected envelope levels to the synthesis unit 40 side. On the other hand, when the latch instruction signal is supplied, the envelope level detected at that time is latched and output to the synthesizing section 40 side.
[0020]
The combining unit 40 includes BPFs 40a-1 to 40a-n, multipliers 40b-1 to 40b-n, and an adder 40c. The BPFs 40a-1 to 40a-n have the same pass frequency band as the BPFs 20a-1 to 20a-n of the analysis unit 20, and convert the carrier signal CS (modulated waveform) supplied from the sound source 10 into n pass frequencies. Filter by dividing into bands. The multipliers 40b-1 to 40b-n multiply the respective outputs of the BPFs 40a-1 to 40a-n by the respective envelope levels output from the envelope control circuits 33-1 to 33-n. The adder 40c adds and combines the outputs of the multipliers 40b-1 to 40b-n and outputs the result to the adder 50. The adder 50 adds the output of the adder 40c and the modulation waveform (audio signal) of the dry route input via the signal control unit 32 to generate a vocoder output OUT.
[0021]
B. Operation of the embodiment
Next, the operation of the embodiment having the above configuration will be described with reference to FIGS. Hereinafter, the operation of the main routine executed by the CPU 5 will be described first as an overall schematic operation, and then the operation of the vocoder timer process executed by the DSP 11 at predetermined intervals together with this main routine will be described.
[0022]
(1) Main routine operation
When the power is turned on, the CPU 5 reads out a predetermined control program from the ROM 3, loads it into itself, and executes the main routine shown in FIG. When the main routine is executed, the CPU 5 first proceeds to step SA1, resets various registers and flags stored in the RAM 4, sets initial values, and initializes the tone generator 10 and the DSP 11 to perform initialization. Perform processing. After the initialization is completed, the process proceeds to step SA2, in which a switch process corresponding to the switch operation of the switch unit 2, for example, an operation mode in which a modulation waveform (audio signal) is input using the microphone 8 and the A / D converter 9 is set. And the like.
Subsequently, in step SA3, a keyboard process for instructing the sound source 10 to generate / mute a musical tone in response to a key press / release operation of the keyboard 1 is executed. Then, in step SA4, for example, a display process for displaying the contents of the mode set in the switch process in step SA2 on the display unit 6 is executed. Next, at step SA5, other processes such as receiving a MIDI message from an external MIDI device via the MIDI interface 7 and executing a MIDI process for generating a musical tone are executed. Thereafter, the above steps SA2 to SA5 are repeatedly executed until the power is turned off.
[0023]
(2) Operation of vocoder timer processing
Next, the operation of the vocoder timer process executed by the DSP 11 will be described with reference to FIG. The DSP 11 executes the vocoder timer process at regular intervals. When the execution timing comes, the process proceeds to step SB1 in FIG. 5 to determine whether or not the control signal CntSig generated by the LFO 31 is “0”. Hereinafter, the operation will be described separately when the control signal CntSig is “0” and when it is “1”.
[0024]
(1) When the control signal CntSig is "0"
If the control signal CntSig is "0", the result of the determination in step SB1 is "YES", and the flow advances to the next step SB2 to determine whether or not the register CS_PREV is "1". The register CS_PREV holds the control signal CntSig from the previous processing. Therefore, in step SB2, it is determined whether the control signal CntSig has transitioned from "1" to "0". When the control signal CntSig maintains “0”, the determination result is “NO”, and the process proceeds to Step SB4 described later. When the control signal CntSig transitions from “1” to “0”, the determination result Is "YES", and the routine proceeds to step SB3.
[0025]
In step SB3, the current envelope levels stored in the registers ENV [1] to ENV [n], that is, the respective envelope levels currently detected by the BPFs 20a-1 to 20a-n of the analysis unit 20, respectively, are stored in a register ENV_PREV [1]. ENENV_PREV [n]. Next, in step SB4, the envelope levels stored in the registers ENV_PREV [1] to ENV_PREV [n] are supplied to the multipliers 40b-1 to 40b-n of the synthesis unit 40, respectively.
[0026]
Next, in step SB5, the modulation waveform (audio signal) of the dry route is supplied to the adder 50. Thereafter, the process proceeds to step SB13, in which the current value of the control signal CntSig is stored in the register CS_PREV. In the subsequent step SB14, the BPF 20a-1 of the analysis unit 20 is activated when the control signal CntSig changes from “1” to “0”. 20a-n generate a vocoder output OUT obtained by adding a carrier signal CS (modulated waveform) subjected to vocoder processing according to each envelope level output and a dry route modulation waveform (audio signal).
As described above, when the control signal CntSig is “0”, the carrier signal CS (subjected to vocoder processing according to the formant component fixed when the control signal CntSig transits from “1” to “0”) A vocoder output OUT is generated by adding the modulation waveform (modulation waveform) and the modulation waveform (voice signal) of the dry route.
[0027]
(2) When the control signal CntSig is "1"
In this case, the operation mode differs between a certain period immediately after the control signal CntSig changes from “0” to “1” and the period after that. Hereinafter, the operation immediately after the transition until a certain period elapses and the operation after the certain period elapses will be described separately.
[0028]
a. Operation immediately after the transition until a certain period elapses
If the control signal CntSig has just transitioned from “0” to “1”, the result of each determination in steps SB1 and SB6 becomes “NO”, the process proceeds to step SB8, and the number of processes N is set in the register k. Subsequently, in step SB9, (register ENV [i] + register ENV_PREV [i]) / 2 is calculated while incrementing the pointer i from “1” to “n”, and the calculated value is stored in the register ENV_PREV [i]. Store. That is, the average value of the current envelope level and the previous envelope level is calculated, and the average value is updated and registered as the previous envelope level.
[0029]
Next, in step SB10, the envelope levels of the registers ENV_PREV [1] to ENV_PREV [n] updated in step SB9 are supplied to the multipliers 40b-1 to 40b-n of the synthesis unit 40. Subsequently, in step SB11, the number of processes N stored in the register k is decremented. Thereafter, in steps SB13 and SB14 described above, after the current value of the control signal CntSig is stored in the register CS_PREV, the vocoder output OUT is generated from the adder 50.
Thereafter, while the control signal CntSig is maintained at "1", step SB9 and subsequent steps are repeatedly executed N times, and the register ENV_PREV [1] is set so that the current envelope level and the previous envelope level do not become discontinuous. ENENV_PREV [n] is changed exponentially.
[0030]
b. Operation after a certain period
After a lapse of a predetermined period in which step SB9 and subsequent steps are repeatedly executed N times, the determination result of step SB7 becomes “NO” and the process proceeds to step SB12 where the data is stored in the registers ENV [1] to ENV [n]. The current envelope levels are supplied to the multipliers 40b-1 to 40b-n of the synthesis unit 40. Thereafter, the process proceeds to steps SB13 and SB14 described above, where the current value of the control signal CntSig is stored in the register CS_PREV, and the vocoder output OUT is generated from the adder 50.
[0031]
In this manner, the current envelope level and the previous envelope level are changed exponentially until a predetermined period elapses immediately after the control signal CntSig transitions from “0” to “1” so that the previous envelope level does not become discontinuous. The envelope levels of the registers ENV_PREV [1] to ENV_PREV [n] are supplied to multipliers 40b-1 to 40b-n of the synthesizing unit 40, and the carrier signal CS (received) from the sound source 10 to be vocoder-processed in response thereto. (Modulated waveform) as the vocoder output OUT.
After a lapse of the certain period, the current envelope levels stored in the registers ENV [1] to ENV [n] are supplied to the multipliers 40b-1 to 40b-n of the synthesizing unit 40. The carrier signal CS (modulated waveform) from the sound source 10 to be vocoder-processed is used as the vocoder output OUT.
[0032]
(3) Specific operation
Next, a specific operation of the DSP 11 will be described with reference to FIG. In FIG. 6, (A) represents a control signal CntSig generated by the LFO 31. (B) shows a modulated waveform (audio signal) input via the microphone 8 and the A / D converter 9. (C) represents the combined output of the combining unit 40 (the output of the adder 40c). (D) shows a dry route modulation waveform (audio signal) input to the adder 50 via the signal control unit 32.
[0033]
As shown in FIG. 6A, when the control signal CntSig that changes in a two-measure period of four beats is output from the LFO 31 with the change timing immediately before the beginning of the bar as the change timing, the timing shown in FIG. It is assumed that a modulation waveform (audio signal) has been input to the DSP 11.
Then, in the first to fourth beats of the first measure in which the control signal CntSig maintains “1”, the control signal CntSig changes according to the envelope level for each formant component of the modulated waveform (audio signal) that changes every beat. The carrier signal CS (modulated waveform) subjected to vocoder processing is supplied to the sound source 10 as a vocoder output OUT. As a result, a musical sound waveform W of a voice that changes to “Aio” is generated.
[0034]
Subsequently, when the control signal CntSig transitions from “1” to “0” immediately before the beginning of the second bar, the DSP 11 holds the envelope level for each formant component of the modulation waveform (audio signal) at that transition. Then, in the first to fourth beats of the second bar in which the control signal CntSig maintains “0”, the carrier signal CS (modulated waveform) subjected to vocoder processing according to each of the held envelope levels has a dry route. The vocoder output OUT obtained by adding the modulation waveform (audio signal) is supplied to the sound source 10. As a result, a musical tone waveform W of sound is generated in which the carrier signal CS (modulated waveform) of “O” and the modulated waveform (audio signal) that changes every beat and “Kakikuko” are mixed.
[0035]
As described above, according to the present embodiment, the carrier signal CS (modulated waveform) subjected to vocoder processing according to the formant component of the modulation waveform (audio signal) is output during the period when the control signal CntSig is “1”. On the other hand, when the control signal CntSig transitions from “1” to “0” during the period when the control signal CntSig is “0”, the carrier signal CS (subjected to vocoder processing according to the formant component fixed at the time when the control signal CntSig transits from “1” to “0”) Since the vocoder output OUT is generated by adding the modulation waveform (modulation waveform) and the dry route modulation waveform (sound signal), the formant component can be fixed at each specified timing, so that the vocoder performance can always be reproduced in the same manner. become.
In addition, in order to generate a vocoder output OUT in which a carrier signal CS (modulated waveform) subjected to vocoder processing and a dry route modulation waveform (audio signal) are added when the formant component is fixed as described above, It is possible to generate a chorus sound.
[0036]
(4) Modified example
In the above-described embodiment, the formant component is fixed at each specified timing using the control signal CntSig generated by the LFO 31. However, a note generated in response to the reproduction of the sequence data in the RAM 4 is used instead. A formant component may be fixed at a timing according to an on / note-off event or a note-on / note-off event input from an external MIDI device via the MIDI interface 7. In order to fix the formant component at a timing according to a note-on / note-off event generated in response to the reproduction of the sequence data in the RAM 4, the sequencer process shown in FIG. 7 is executed at predetermined intervals.
[0037]
When the execution timing comes, the determination result of step SC1 shown in FIG. 7 becomes “YES”, and the process proceeds to step SC2 to determine whether or not a note event has occurred. If the event is other than a note event, the determination result is "NO", and the process proceeds to Step SC3 to perform an event execution instruction process for instructing execution of a process corresponding to the generated event type, thereby completing this process.
On the other hand, if a note event has occurred, the result of the determination in step SC2 is "YES", and the flow advances to step SC4 to determine whether the note event is an on event. If the event is an ON event, the determination result is "YES", and the process proceeds to Step SC5 to increment the register NoteOn for counting the number of note-on events, and to advance. On the other hand, if the event is an off event, the determination result is "NO", and the flow advances to step SC6 to decrement the register NoteOn.
[0038]
Next, in step SC7, it is determined whether or not the value of the register NoteOn is “0”, that is, whether or not all notes are off. If all notes are off, the determination result is "YES", and the flow advances to step SC8 to set the control signal CntSig to "1". On the other hand, if all notes are not turned off, the result of determination in step SC7 is “NO”, and the flow advances to step SC9 to set the control signal CntSig to “0”.
As described above, according to the modification, the control signal CntSig is set to “1” when the reproduction state of the sequence data is all note-off, and the control signal CntSig is set to “0” when at least one note-on occurs. To fix the formant component. Therefore, during all note-offs, a carrier signal CS (modulated waveform) subjected to vocoder processing according to the formant component of the modulation waveform (audio signal) is generated as a vocoder output OUT, and at least one note-on occurs. If there is, the carrier signal CS (modulated waveform) to be vocoded and the dry route of the dry route are changed according to the formant component fixed at the time of transition from the “all note off state” to the “all note off state”. A vocoder output OUT is generated by adding the modulation waveform (audio signal). Thereby, by reproducing the sequence data, reproducibility of the setting of the control signal CntSig can be realized.
[0039]
Further, instead of fixing the formant component at the timing according to the note-on / note-off event, an operation pedal is provided, and the control signal CntSig is changed according to the operation of the operation pedal. It is also possible to add a chorus effect by fixing the formant component at the timing intended by the user.
[0040]
【The invention's effect】
According to the first and fourth aspects of the present invention, when set to the first state, a vocoder sound is modulated by modulating a tone generated in response to a performance input in accordance with a formant component of an input voice. And, when set to the second state, retains and fixes the formant component of the audio input at the time of transition from the first state to the second state, and also fixes the fixed formant component , The vocoder sound obtained by modulating the musical sound generated corresponding to the performance input and the input sound are mixed and output. Therefore, if the first and second states are set at each predetermined timing, the formant component can be fixed at each timing, whereby the vocoder performance can always be reproduced in the same manner. In the second state, the vocoder sound and the input sound are mixed, so that a chorus sound can be generated in real time.
According to the second and fifth aspects of the present invention, when the first state is set for each specified period, the tone generated in response to the performance input is modulated in accordance with the formant component of the input voice. When a vocoder sound is output and set to the second state every specified period, the formant component of the sound input at the time of transition from the first state to the second state is held and fixed, According to the fixed formant component, the vocoder sound obtained by modulating the tone generated corresponding to the performance input and the input voice are mixed and output, so the formant component is fixed at each specified timing This makes it possible to always reproduce the vocoder performance in the same manner. In the second state, the vocoder sound and the input sound are mixed, so that a chorus sound can be generated in real time.
According to the third and sixth aspects of the present invention, when the first state is set by the time series data, the tone generated in response to the performance input is modulated according to the formant component of the input voice. When the second state is set by the time series data, the vocoder sound is output, and the formant component of the sound input at the time of transition from the first state to the second state is held and fixed. At the same time, according to the fixed formant component, the vocoder sound obtained by modulating the musical sound generated corresponding to the performance input and the input voice are mixed and output, so that the time-series data is specified. The formant component can be fixed at each timing, so that the vocoder performance can always be reproduced in the same manner. In the second state, the vocoder sound and the input sound are mixed, so that a chorus sound can be generated in real time.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an embodiment according to the present invention.
FIG. 2 is a memory map showing a main register configuration of a RAM 4.
FIG. 3 is a block diagram illustrating a configuration of a DSP 11;
FIG. 4 is a flowchart showing an operation of a main routine.
FIG. 5 is a flowchart showing an operation of a vocoder timer process.
FIG. 6 is a diagram for explaining a specific operation of the DSP 11;
FIG. 7 is a flowchart showing an operation of a sequencer process according to a modified example.
[Explanation of symbols]
1 keyboard
2 Switch section
3 ROM
4 RAM
5 CPU
6 Display
7 MIDI interface
8 microphone
9 A / D converter
10 sound sources
11 DSP
12 D / A converter
13 Sound system
14 Speaker

Claims (6)

第1および第2の状態を交互に設定する状態設定手段と、
前記状態設定手段によって第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理手段と、
前記状態設定手段によって第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理手段と
を具備することを特徴とする楽音変調装置。
State setting means for alternately setting the first and second states;
When the first state is set by the state setting means, first vocoder processing for modulating a tone generated in response to a performance input and outputting a vocoder sound in accordance with a formant component of the input voice Means,
When the second state is set by the state setting means, the formant component of the voice input at the time of transition from the first state to the second state is held and fixed, and the fixed formant is Second vocoder processing means for mixing and outputting a vocoder sound obtained by modulating a tone generated in response to a performance input and an input voice according to the component; Music modulation device.
指定周期毎に第1および第2の状態を交互に設定する状態設定手段と、
前記状態設定手段によって第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理手段と、
前記状態設定手段によって第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理手段と
を具備することを特徴とする楽音変調装置。
State setting means for alternately setting the first and second states for each specified cycle;
When the first state is set by the state setting means, first vocoder processing for modulating a tone generated in response to a performance input and outputting a vocoder sound in accordance with a formant component of the input voice Means,
When the second state is set by the state setting means, the formant component of the voice input at the time of transition from the first state to the second state is held and fixed, and the fixed formant is Second vocoder processing means for mixing and outputting a vocoder sound obtained by modulating a tone generated in response to a performance input and an input voice according to the component; Music modulation device.
時系列データにより第1および第2の状態を交互に設定する状態設定手段と、
前記状態設定手段によって第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理手段と、
前記状態設定手段によって第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理手段と
を具備することを特徴とする楽音変調装置。
State setting means for alternately setting the first and second states according to time-series data;
When the first state is set by the state setting means, first vocoder processing for modulating a tone generated in response to a performance input and outputting a vocoder sound in accordance with a formant component of the input voice Means,
When the second state is set by the state setting means, the formant component of the voice input at the time of transition from the first state to the second state is held and fixed, and the fixed formant is Second vocoder processing means for mixing and outputting a vocoder sound obtained by modulating a tone generated in response to a performance input and an input voice according to the component; Music modulation device.
第1および第2の状態を交互に設定する状態設定ステップと、
前記状態設定ステップにて第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理ステップと、
前記状態設定ステップにて第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理ステップと
をコンピュータで実行させることを特徴とする楽音変調プログラム。
A state setting step of alternately setting the first and second states;
When a first state is set in the state setting step, a first vocoder that modulates a tone generated in response to a performance input and outputs a vocoder sound according to a formant component of an input voice Processing steps;
When the second state is set in the state setting step, the formant component of the voice input at the time of transition from the first state to the second state is held and fixed, and the fixed A second vocoder processing step of mixing and outputting a vocoder sound obtained by modulating a musical tone generated in response to a performance input according to a formant component and an input voice, by a computer. Characteristic tone modulation program.
指定周期毎に第1および第2の状態を交互に設定する状態設定ステップと、
前記状態設定ステップにて第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理ステップと、
前記状態設定ステップにて第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理ステップと
をコンピュータで実行させることを特徴とする楽音変調プログラム。
A state setting step of alternately setting the first and second states for each specified cycle;
When a first state is set in the state setting step, a first vocoder that modulates a tone generated in response to a performance input and outputs a vocoder sound according to a formant component of an input voice Processing steps;
When the second state is set in the state setting step, the formant component of the voice input at the time of transition from the first state to the second state is held and fixed, and the fixed A second vocoder processing step of mixing and outputting a vocoder sound obtained by modulating a musical tone generated in response to a performance input according to a formant component and an input voice, by a computer. Characteristic tone modulation program.
時系列データにより第1および第2の状態を交互に設定する状態設定ステップと、
前記状態設定ステップにて第1の状態が設定された場合、入力される音声のフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調してボコーダ音を出力する第1のボコーダ処理ステップと、
前記状態設定ステップにて第2の状態が設定された場合、第1の状態から第2の状態に遷移した時点で入力される音声のフォルマント成分を保持して固定化すると共に、固定化されたフォルマント成分に応じて、演奏入力に対応して生成される楽音を変調して得たボコーダ音と入力される音声とを混合して出力する第2のボコーダ処理ステップと
をコンピュータで実行させることを特徴とする楽音変調プログラム。
A state setting step of alternately setting the first and second states according to time-series data;
When a first state is set in the state setting step, a first vocoder that modulates a tone generated in response to a performance input and outputs a vocoder sound according to a formant component of an input voice Processing steps;
When the second state is set in the state setting step, the formant component of the voice input at the time of transition from the first state to the second state is held and fixed, and the fixed A second vocoder processing step of mixing and outputting a vocoder sound obtained by modulating a musical tone generated in response to a performance input according to a formant component and an input voice, by a computer. Characteristic tone modulation program.
JP2003141316A 2003-05-20 2003-05-20 Musical sound modulation device and musical sound modulation program Expired - Fee Related JP4061500B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003141316A JP4061500B2 (en) 2003-05-20 2003-05-20 Musical sound modulation device and musical sound modulation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003141316A JP4061500B2 (en) 2003-05-20 2003-05-20 Musical sound modulation device and musical sound modulation program

Publications (2)

Publication Number Publication Date
JP2004347640A true JP2004347640A (en) 2004-12-09
JP4061500B2 JP4061500B2 (en) 2008-03-19

Family

ID=33529700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003141316A Expired - Fee Related JP4061500B2 (en) 2003-05-20 2003-05-20 Musical sound modulation device and musical sound modulation program

Country Status (1)

Country Link
JP (1) JP4061500B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007298751A (en) * 2006-04-28 2007-11-15 Roland Corp Musical sound controller and musical sound control program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007298751A (en) * 2006-04-28 2007-11-15 Roland Corp Musical sound controller and musical sound control program
JP4514055B2 (en) * 2006-04-28 2010-07-28 ローランド株式会社 Musical sound control device and musical sound control program

Also Published As

Publication number Publication date
JP4061500B2 (en) 2008-03-19

Similar Documents

Publication Publication Date Title
JP2921428B2 (en) Karaoke equipment
JP3176273B2 (en) Audio signal processing device
JP3116937B2 (en) Karaoke equipment
JP4061500B2 (en) Musical sound modulation device and musical sound modulation program
EP0536644A1 (en) Electronic musical instrument having algorithm selectable function
KR100574808B1 (en) Musical tone signal generating apparatus
JP2002091443A (en) Automatic player
JPH0519771A (en) Electronic musical instrument
JP4096814B2 (en) Waveform modulation apparatus and waveform modulation program
JP3909693B2 (en) Musical sound modulation device, musical sound modulation method, and musical sound modulation program
JP2904045B2 (en) Karaoke equipment
JP3257400B2 (en) Effect device
JP3173310B2 (en) Harmony generator
JP2643761B2 (en) Waveform processing device based on frequency modulation tone synthesis principle
JP3552265B2 (en) Sound source device and audio signal forming method
JP2004361884A (en) Waveform modulator and waveform modulate program
JP2000187490A (en) Sound processing device
JP3700605B2 (en) Music signal processor
JP3702792B2 (en) Automatic performance apparatus, method and medium
JP3580077B2 (en) Electronic musical instrument
JP3394290B2 (en) Music processing equipment
JP3564775B2 (en) Karaoke device with vibrato addition function
JP4492680B2 (en) Music generator
JP2006337450A (en) Device and program for generation of musical sound
JP2004279750A (en) Device and program for musical sound generation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070914

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071211

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees