JP2007193151A - 楽音制御装置および楽音制御処理のプログラム - Google Patents

Abstract

【課題】 マイクロフォンから出力された音声信号を模範となる伴奏曲の基準の音声信号に近づけて、歌唱者の音程や音量のずれを矯正して発音する。
【解決手段】 ＣＰＵおよびＤＳＰは、マイクロフォンから入力された音声信号のパラメータを抽出し、基準となる音声信号のパラメータをＭＩＤＩデータとして入力し、抽出されたパラメータの値と入力されたパラメータとの合成比の重み付けを演算し、演算された重み付けに基づいて抽出されたパラメータの値および入力されたパラメータの値に基づいて対応する音声を合成してサウンドシステムに送出する。
【選択図】 図１

Description

本発明は、楽音制御装置および楽音制御処理のプログラムに関し、特に、マイクロフォンから入力される音声信号を制御する楽音制御装置および楽音制御処理のプログラムに関するものである。

入力された歌声に応じてマイクロフォンから音声信号を出力し、アンプ等の信号処理系を通して発音するシステムとしては、広く普及しているカラオケシステムのみならず、プロ用のスタジオ録音やライブ演奏のシステムなどが知られている。近年のシステムにおいては、歌唱する対象者が伴奏曲に合わせて入力した音声に応じてマイクロフォンから出力された音声信号を、アナログからデジタルに変換して信号処理を施し、信号処理された後にその音声信号をデジタルからアナログに変換して発音する構成になっている。この信号処理に多く使用されているデバイスとして、ＤＳＰ（Digital Signal Processor）がある。このＤＳＰを使用することによって、歌唱する対象者の音声にエコーやリバーブの効果音を付加したり、歌唱する対象者の音質とは異なる音質で発音することもできる。例えば、ある提案の声質変換装置および声質変換方法並びに声質変換プログラムにおいては、変換目標話者の発音内容に依存しない自由な声質変換を可能とする技術が開示されている。この提案の構成は、図１に特徴的に示されるように、目標話者の音声信号を入力部１１に入力し、目標話者音声と同一あるいは類似の発音内容の発音記号列を発音記号列入力部１２に入力する。音声合成部１４は、入力された発音記号列にしたがって、音声合成用データ記憶部１３内の音声合成用データベースを用いて合成音を作成する。特徴パラメータ抽出部１５は、目標話者音声を分析して特徴パラメータを抽出し、特徴パラメータ抽出部１６は、作成された合成音を分析して特徴パラメータを抽出する。変換関数生成部１７は、抽出された双方の特徴パラメータを用い、合成音のスペクトル形状を目標話者音声のスペクトル形状に変換する関数を同定する。音質変換部１８は、同定された変換関数により、入力信号の音質変換を行う。（特許文献１参照）。
特開２００５−２６６３４９号公報

しかしながら、上記特許文献１を含む従来の技術では、作成された合成音の特徴と入力された音声信号の特徴との差分の間で、入力された音声信号の特徴から合成音の特徴に任意の偏倚量で近づけて発音するようなものではない。したがって、歌唱する対象者が入力した音声の音程や音量が模範となる伴奏曲の基準の音声信号からずれている場合に、そのずれを矯正することはできない。
本発明は、このような従来の課題を解決するためのものであり、マイクロフォンから出力された音声信号が模範の音声信号からずれている場合に、そのずれを模範となる基準の音声信号に近づけて、歌唱の音程や音量を矯正して発音できるようにすることを目的とする。

請求項１に記載の楽音制御装置は、マイクロフォンから入力された音声信号のパラメータを抽出する抽出手段（実施形態においては、図１のＤＳＰ７に相当する）と、基準となる音声信号のパラメータ（実施形態においては、図１のＭＩＤＩデータに含まれている基準のパラメータに相当する）を入力する入力手段（実施形態においては、図１のＣＰＵ１に相当する）と、抽出手段によって抽出されたパラメータの値と入力手段によって入力されたパラメータとの合成比の重み付けを演算する演算手段（実施形態においては、図１のＤＳＰ７に相当する）と、演算手段によって演算された重み付け（実施形態においては、図７のｐ＿ｏｍｏｍｉおよび図８のａ＿ｏｍｏｍｉに相当する）に基づいて抽出されたパラメータの値および入力されたパラメータの値に基づいて対応する音声を合成して発音手段（実施形態においては、サウンドシステムに相当する）に送出する合成手段（実施形態においては、図１のＤＳＰ７に相当する）と、を備えた構成になっている。

請求項１の楽音制御装置において、請求項２に記載したように、抽出されたパラメータおよび入力されたパラメータは、音声信号の周波数を表すパラメータである。
請求項１の楽音制御装置において、請求項３に記載したように、抽出されたパラメータおよび入力されたパラメータは、音声信号の振幅を表すパラメータである。
請求項１の楽音制御装置において、請求項４に記載したように、演算手段は、操作によって設定された制御データに基づいて合成比の重み付けを演算するような構成にしてもよい。
請求項４の楽音制御装置において、請求項５に記載したように、演算手段は、マイクロフォンに設けられた操作子の操作量に対応して設定された制御データに基づいて合成比の重み付けを演算するような構成にしてもよい。

請求項６に記載の楽音制御処理のプログラムは、マイクロフォンから入力された音声信号のパラメータを抽出するステップＡと、基準となる音声信号のパラメータを入力するステップＢと、ステップＡによって抽出されたパラメータの値とステップＢによって入力されたパラメータとの合成比の重み付け（実施形態においては、図７のｐ＿ｏｍｏｍｉおよび図８のａ＿ｏｍｏｍｉに相当する）を演算するステップＣと、ステップＣによって演算された重み付けに基づいて抽出されたパラメータの値および入力されたパラメータの値に基づいて対応する音声を合成して発音手段（実施形態においては、サウンドシステムに相当する）に送出するステップＤと、をコンピュータ（実施形態においては、図１のＣＰＵ１およびＤＳＰ７に相当する）に実行させる構成になっている。

請求項６の楽音制御処理のプログラムにおいて、請求項７に記載したように、抽出されたパラメータおよび入力されたパラメータは、音声信号の周波数を表すパラメータである。
請求項６の楽音制御処理のプログラムにおいて、請求項８に記載したように、抽出されたパラメータおよび入力されたパラメータは、音声信号の振幅を表すパラメータである。
請求項６の楽音制御処理のプログラムにおいて、請求項９に記載したように、ステップＣは、操作によって設定された制御データに基づいて合成比の重み付けを演算するような構成にしてもよい。
請求項９の楽音制御処理のプログラムにおいて、請求項１０に記載したように、ステップＣは、マイクロフォンに設けられた操作子の操作量によって設定された制御データに基づいて合成比の重み付けを演算するような構成にしてもよい。

本発明の楽音制御装置および楽音制御処理のプログラムによれば、マイクロフォンから出力された音声信号が模範の音声信号からずれている場合に、そのずれを模範となる基準の音声信号に近づけて、歌唱の音程や音量を矯正して発音できるという効果が得られる。

以下、本発明による楽音制御装置の第１実施形態および第２実施形態について、カラオケシステムを例に採って図を参照して詳細に説明する。
図１は、各実施形態に共通する楽音制御装置のシステム構成を示すブロック図である。図１において、ＣＰＵ１は、システムバス２を介して接続されているＲＯＭ３、ＲＡＭ４、ディスプレイ５、スイッチ６、ＤＳＰ７との間で、コマンドおよびデータを授受しながらこの楽音制御装置を制御する。ＣＰＵ１に入力されるＭＩＤＩデータは、伴奏曲のノート番号およびベロシティを含んでいる。すなわち、基準の音程および音量に相当するデータを含んでいる。ＲＯＭ３は、ＣＰＵ１によって実行される楽音制御処理のプログラムおよびこの装置の起動時における初期データを含んでいるとともに、ＭＩＤＩデータに含まれているノート番号を音程に変換するテーブル、ベロシティを音量に変換するテーブルを予め格納している。楽音制御処理のプログラムの中には、ＤＳＰ７によって実行される音声合成のアルゴリズムやパラメータ抽出のアルゴリズムが含まれている。ＲＡＭ４は、ＣＰＵ１によって処理されるデータを一時的に記憶するワークエリアである。ディスプレイ５は、メニュー画面や楽音制御に関する種々の情報を表示する。スイッチ６は、電源スイッチ、ＤＳＰスタートスイッチ、ＤＳＰストップスイッチ、第２実施形態において使用する重み付けスイッチであるテンキー、その他のスイッチ群で構成されている。ＤＳＰ７は、ワークエリアであるＲＡＭ８および音声合成の音素データを格納した音素ＲＯＭ９と接続され、後で詳述する音声合成処理やその他の処理を実行する。また、ＤＳＰ７の入力側には入力ＦＩＦＯ（First In/First Out：先読み先出し）１０が含まれており、マイクロフォンから入力された音声信号をアナログからデジタルに変換するＡＤＣ（アナログ／デジタル変換回路）１１から入力される音声信号を記憶する。一方、ＤＳＰ７の出力側にも出力ＦＩＦＯ１２が含まれており、ＤＳＰ７によって音声合成された音声信号を記憶して、ＤＡＣ（デジタル／アナログ変換回路）１３に出力する。ＤＡＣ１３は、その音声信号をデジタルからアナログに変換して、増幅回路やスピーカを備えたサウンドシステム（図示せず）に送出する。

図２は、第１実施形態におけるＤＳＰ７のアルゴリズムの機能を示すブロック図である。ＤＳＰ７は、マイクロフォンから入力された音声信号がＡＤＣ１１によってアナログからデジタルに変換された後、音声認識機能７１によって音声を認識し、認識した音声の音程（周波数）を音程抽出機能７２によって抽出し、認識した音声の音量（振幅）を音量抽出機能７３によって抽出する。抽出された音程および音量は音声合成７１に入力され、音素ＲＯＭ９から読み出された音素データに基づいて音声合成処理され、ＤＡＣ１３でデジタルからアナログに変換されて出力される。

次に、図１の楽音制御装置の第１実施形態の動作について説明する。図３は、図１のＣＰＵ１のメインルーチンのフローチャートであり、ＲＡＭ４およびＤＳＰ７に対する初期化処理（ステップＳＡ１）の後、ＲＯＭ３からＤＳＰ７に楽音制御処理のプログラムをロードする（ステップＳＡ２）。そして、ＤＳＰスタートスイッチがオンされたか否かを判別し（ステップＳＡ３）、このスイッチがオンされたときは、ＤＳＰ７に対して音声合成処理を指示する（ステップＳＡ４）。そして、ＤＳＰストップスイッチがオンされたか否かを判別し（ステップＳＡ５）、このスイッチがオンされたときは、ＤＳＰ７に対して音声合成停止を指示する終了処理を行う（ステップＳＡ６）。

次に、第１実施形態における音声合成処理について説明する。図４は、第１実施形態におけるＤＳＰ７の音声合成処理のフローチャートである。まず、入力ＦＩＦＯ１０から信号を取り込み（ステップＳＢ１）、音声入力があるか否かを判別する（ステップＳＢ２）。音声入力があったときは、音声認識処理を行う（ステップＳＢ３）。そして、音声信号の音程すなわち周波数のパラメータを抽出して（ステップＳＢ４）、変数ｐｉｔｃｈに抽出した音程を代入する（ステップＳＢ５）。さらに、音声信号の音量すなわち振幅のパラメータを抽出して（ステップＳＢ６）、変数ａｍｐに抽出した音量を代入する（ステップＳＢ７）。次に、音素ＲＯＭ９から読み出した音素データと、変数ｐｉｔｃｈおよび変数ａｍｐに代入した周波数のパラメータおよび振幅のパラメータとをそれぞれ合成して合成信号を生成する音声合成を行う（ステップＳＢ８）。そして、生成した合成信号を出力ＦＩＦＯ１３に書き込む（ステップＳＢ９）。ステップＳＢ２において、音声入力がない場合には、無音信号を出力ＦＩＦＯ１３に書き込む（ステップＳＢ１０）。ステップＳＢ９又はステップＳＢ１０において、合成信号又は無音信号を出力ＦＩＦＯ１３に書き込んだ後は、図３のメインルーチンに戻る。

以上のように、この第１実施形態によれば、マイクロフォンから出力された音声信号の音程である周波数のパラメータと音素ＲＯＭ９から読み出した音素データとを合成し、マイクロフォンから出力された音声信号の音量である振幅のパラメータと音素ＲＯＭ９から読み出した音素データとを合成して、その合成信号に基づいて発音を行う。例えば、カラオケシステムにおいて、歌唱する対象者が伴奏曲に合わせて入力した音声の音程や音量が模範的な音声の音程や音量からずれていた場合でも、入力した音声と音素ＲＯＭ１０の音素データによる音声とを合成して、ずれが目立たないように発音することができる。

図５は、第２実施形態におけるＤＳＰ７のアルゴリズムの機能を示すブロック図である。ＤＳＰ７は、マイクロフォンから入力された音声信号がＡＤＣ１１によってアナログからデジタルに変換された後、音声認識機能７１によって音声を認識し、認識した音声の音程（周波数）を音程抽出機能７２によって抽出し、外部からのＭＩＤＩデータに応じてＣＰＵ１によって設定された制御データに基づいて、重み付け演算機能７５によって音程の重み付けを行う。また、認識した音声の音量（振幅）を音量抽出機能７３によって抽出し、ＭＩＤＩデータに応じてＣＰＵ１によって設定された制御データに基づいて、重み付け演算機能７６によって音量の重み付けを行う。重み付けされた音程および音量は音声合成７１に入力され、音素ＲＯＭ９から読み出された音素データに基づいて音声合成処理され、ＤＡＣ１３でデジタルからアナログに変換されて出力される。

次に、第２実施形態における音声合成処理について説明する。図６は、第２実施形態におけるＤＳＰ７の音声合成処理のフローチャートである。まず、入力ＦＩＦＯ１０から信号を取り込み（ステップＳＣ１）、音声入力があるか否かを判別する（ステップＳＣ２）。音声入力があったときは、音声認識処理を行う（ステップＳＣ３）。そして、音声信号の音程すなわち周波数のパラメータを抽出して（ステップＳＣ４）、変数ｐｉｔｃｈに抽出した音程を代入する（ステップＳＣ５）。次に、変数ｐｉｔｃｈの重み付け演算を行う（ステップＳＣ６）。

図７は、ステップＳＣ６の変数ｐｉｔｃｈの重み付け演算処理のフローチャートである。ＭＩＤＩのノートオンメッセージがあるか否かを判別し（ステップＳＤ１）、ＭＩＤＩのノートオンメッセージがある場合には、ＭＩＤＩのノート番号をＲＯＭ３のテーブルによって変換して音程を求め、変数ｍｉｄｉｐｉｔｃｈに代入する（ステップＳＤ２）。すなわち、伴奏曲の基準の音程を示す周波数のパラメータを変数ｍｉｄｉｐｉｔｃｈに代入する。次に下記の演算式によって変数ｐｉｔｃｈの値を変更する（ステップＳＤ３）。
ｐｉｔｃｈ＝
ｐ＿ｏｍｏｎｉ×ｐｉｔｃｈ＋（１−ｐ＿ｏｍｏｎｉ）×ｍｉｄｉｐｉｔｃｈ
ただし、０≦ｐ＿ｏｍｏｎｉ≦１であり、ｐ＿ｏｍｏｎｉの値は重み付けスイッチであるテンキー（０，０．１，０．２…０．９，１）によってユーザが設定する。ｐ＿ｏｍｏｎｉの値が０に近づくと、サウンドシステムから出力される合成音声の音程は、ＭＩＤＩデータで示したノート番号すなわち基準の音程に近づく。一方、ｐ＿ｏｍｏｎｉの値が１に近づくと、サウンドシステムから出力される合成音声の音程は、マイクロフォンから入力された音声信号の歌唱者の音程に近づく。
なお、テンキーに代えてマイクロフォンにダイヤルなどの操作子を設けて、その操作子の操作量に対応してｐ＿ｏｍｏｎｉの値を設定する構成にしてもよい。変数ｐｉｔｃｈの重み付け演算処理が終了すると、図６のフローチャートに戻ってステップＳＣ７に移行する。

図６のステップＳＣ７においては、音声信号の音量すなわち振幅のパラメータを抽出する。そして、変数ａｍｐに抽出した音量を代入する（ステップＳＣ８）。次に、変数ａｍｐの重み付け演算処理を行う（ステップＳＣ９）。
図８は、ステップＳＣ９の変数ａｍｐの重み付け演算処理のフローチャートである。ＭＩＤＩのノートオンメッセージがあるか否かを判別し（ステップＳＥ１）、ＭＩＤＩのノートオンメッセージがある場合には、ＭＩＤＩのベロシティをＲＯＭ３のテーブルによって変換して音量を求め、変数ｍｉｄｉａｍｐに代入する（ステップＳＥ２）。すなわち、伴奏曲の基準の音量を示す振幅のパラメータを変数ｍｉｄｉａｍｐに代入する。次に下記の演算式によって変数ampの値を変更する（ステップＳＥ３）。
ａｍｐ＝
ａ＿ｏｍｏｎｉ×ａｍｐ＋（１−ａ＿ｏｍｏｎｉ）×ｍｉｄｉａｍｐ
この場合も、０≦ａ＿ｏｍｏｎｉ≦１であり、ａ＿ｏｍｏｎｉの値は重み付けスイッチであるテンキーによってユーザが設定するか、あるいは、マイクロフォンの操作子の操作量に対応してａ＿ｏｍｏｎｉの値を設定する。ａ＿ｏｍｏｎｉの値が０に近づくと、サウンドシステムから出力される合成音声の音量は、ＭＩＤＩデータで示したベロシティすなわち基準の音量に近づく。一方、ａ＿ｏｍｏｎｉの値が１に近づくと、サウンドシステムから出力される合成音声の音量は、マイクロフォンから入力された音声信号の歌唱者の音量に近づく。
変数ａｍｐの重み付け演算処理が終了すると、図６のフローチャートに戻ってステップＳＣ１０に移行する。

図６のステップＳＣ１０においては、重み付けされた変数ｐｉｔｃｈの値および変数ａｍｐの値と音素ＲＯＭ１０から読み出した音素データとに基づいて音声合成を行う。そして、生成した合成信号を出力ＦＩＦＯ１３に書き込む（ステップＳＣ１１）。ステップＳＣ２において、音声入力がない場合には、無音信号を出力ＦＩＦＯ１３に書き込む（ステップＳＣ１２）。ステップＳＣ１１又はステップＳＣ１２において、合成信号又は無音信号を出力ＦＩＦＯ１３に書き込んだ後は、図３のメインルーチンに戻る。

以上のように、この第２実施形態によれば、楽音制御装置は、マイクロフォンから入力された音声信号の周波数および振幅のパラメータを抽出し、伴奏曲の基準となる音声信号の周波数および振幅のパラメータをＭＩＤＩデータとして入力し、抽出されたパラメータの値と入力されたパラメータとの合成比の重み付けを演算し、演算された重み付けに基づいて抽出されたパラメータの値および入力されたパラメータの値に基づいて対応する音声を合成して図示しないサウンドシステムに送出する。
したがって、マイクロフォンから出力された音声信号を模範となる基準の音声信号に近づけて、歌唱の音程や音量のずれを重み付けに応じた度合いで伴奏曲の基準の音程や音量に合うように矯正して発音することができる。
この場合において、スイッチ５のテンキーの操作によって合成比の重み付けの制御データを設定することができる。あるいは、マイクロフォンにダイヤルなどの操作子を設けて、その操作量によって合成比の重み付けの制御データを設定することができる。

なお、上記各実施形態においては、ＲＯＭ３に予め格納されている楽音制御処理のプログラムをＣＰＵ１が実行する装置の発明について説明したが、フレキシブルディスク（ＦＤ）、ＣＤ、メモリカードなどの外部記憶媒体に記憶された楽音制御処理のプログラム、又は、インターネットなどのネットワークからダウンロードしたカラオケ情報処理のプログラムをＲＡＭ４あるいは別途設けたフラッシュＲＯＭやハードディスクなどの不揮発性メモリにインストールして、ＣＰＵ１がそのプログラムを実行する構成も可能である。この場合には、プログラムの発明および記憶媒体の発明を実現できる。

すなわち、本発明の楽音制御処理のプログラムは、
マイクロフォンから入力された音声信号のパラメータを抽出するステップＡと、
基準となる音声信号のパラメータを入力するステップＢと、前記ステップＡによって抽出されたパラメータの値と前記ステップＢによって入力されたパラメータとの合成比の重み付けを演算するステップＣと、前記ステップＣによって演算された重み付けに基づいて前記抽出されたパラメータの値および前記入力されたパラメータの値に基づいて対応する音声を合成して発音手段に送出するステップＤと、をコンピュータに実行させる。

前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の周波数を表すパラメータである。
前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の振幅を表すパラメータである。
前記ステップＣは、操作によって設定された制御データに基づいて合成比の重み付けを演算する。
前記ステップＣは、前記マイクロフォンに設けられた操作子の操作量によって設定された制御データに基づいて合成比の重み付けを演算する。

本発明の実施形態における楽音制御装置のシステム構成を示すブロック図。 第１実施形態におけるＤＳＰのアルゴリズムの機能を示すブロック図。 図１のＣＰＵのメインルーチンのフローチャート。 第１実施形態における音声合成処理のフローチャート。 第２実施形態におけるＤＳＰのアルゴリズムの機能を示すブロック図。 第２実施形態における音声合成処理のフローチャート。 図６における音程の重み付け演算処理のフローチャート。 図６における音量の重み付け演算処理のフローチャート。

符号の説明

１ ＣＰＵ
３ ＲＯＭ
４、８ ＲＡＭ
５ スイッチ
６ ディスプレイ
７ ＤＳＰ
９ 音素ＲＯＭ
１０、１２ ＦＩＦＯ
１１ ＤＡＣ
１３ ＡＤＣ

Claims (10)

1. マイクロフォンから入力された音声信号のパラメータを抽出する抽出手段と、
   基準となる音声信号のパラメータを入力する入力手段と、
   前記抽出手段によって抽出されたパラメータの値と前記入力手段によって入力されたパラメータとの合成比の重み付けを演算する演算手段と、
   前記演算手段によって演算された重み付けに基づいて前記抽出されたパラメータの値および前記入力されたパラメータの値に基づいて対応する音声を合成して発音手段に送出する合成手段と、
   を備えた楽音制御装置。
2. 前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の周波数を表すパラメータであることを特徴とする請求項１に記載の楽音制御装置。
3. 前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の振幅を表すパラメータであることを特徴とする請求項１に記載の楽音制御装置。
4. 前記演算手段は、操作によって設定された制御データに基づいて合成比の重み付けを演算することを特徴とする請求項１に記載の楽音制御装置。
5. 前記演算手段は、前記マイクロフォンに設けられた操作子の操作量に対応して設定された制御データに基づいて合成比の重み付けを演算することを特徴とする請求項４に記載の楽音制御装置。
6. マイクロフォンから入力された音声信号のパラメータを抽出するステップＡと、
   基準となる音声信号のパラメータを入力するステップＢと、
   前記ステップＡによって抽出されたパラメータの値と前記ステップＢによって入力されたパラメータとの合成比の重み付けを演算するステップＣと、
   前記ステップＣによって演算された重み付けに基づいて前記抽出されたパラメータの値および前記入力されたパラメータの値に基づいて対応する音声を合成して発音手段に送出するステップＤと、
   をコンピュータに実行させる楽音制御処理のプログラム。
7. 前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の周波数を表すパラメータであることを特徴とする請求項６に記載の楽音制御処理のプログラム。
8. 前記抽出されたパラメータおよび前記入力されたパラメータは、音声信号の振幅を表すパラメータであることを特徴とする請求項６に記載の楽音制御処理のプログラム。
9. 前記ステップＣは、操作によって設定された制御データに基づいて合成比の重み付けを演算することを特徴とする請求項７に記載の楽音制御処理のプログラム。
10. 前記ステップＣは、前記マイクロフォンに設けられた操作子の操作量によって設定された制御データに基づいて合成比の重み付けを演算することを特徴とする請求項９に記載の楽音制御処理のプログラム。

Images