JP2011203483A - 音声処理装置 - Google Patents

Abstract

【課題】音声信号のピッチを変換する技術において、音質と演算負荷のバランスを調整することのできる技術を提供する。
【解決手段】音声処理装置のＤＳＰ１９は、波形メモリ１８からの音声データの読出速度を変更することによって音声データのピッチを変換する。補間部２４は、波形メモリ１８から読み出された音声データを、演算負荷の異なる複数の補間処理アルゴリズムのいずれかを用いて補間を行う。ＤＳＰ負荷計測部２３は、ＤＳＰ１９の処理負荷を計測する。制御部２２は、ＤＳＰ負荷計測部２３の計測結果に応じて補間部２４が行う補間処理を切り替える。
【選択図】図４

Description

本発明は、音声信号のピッチを変換する技術に関する。

カラオケ装置においては、自分の音域に合わないなどの理由により、歌唱者自身が歌いやすいキー（調）で歌唱することを可能にすべく伴奏音のキーをシフトさせる、いわゆるキーコントロールと呼ばれる機能を備えたものがある。特許文献１には、音声波形を表す音声データのバッファへの書込速度と読出速度とを異ならせることにより、音声信号のピッチを変換する技術が開示されている。特許文献１に記載の技術においては、読出速度を変化させることによって音声波形の時間軸方向の伸縮が発生するため、音声データを線形補間やラグランジュ補間等によって補間する処理が行われている。

特許第３４５１９００号公報

ところで、音声データを補間する場合において、ラグランジュ補間などの高次補間は線形補間よりも計算精度が高いため、音質は良いが計算負荷が重いという問題がある。一方、線形補間を用いる場合は、計算負荷は軽いものの音質が悪くなるという問題がある。
本発明は上述した背景の下になされたものであり、音声信号のピッチを変換する技術において、音質と演算負荷のバランスを調整することのできる技術を提供することを目的とする。

上述した課題を解決するため、本発明は、音声波形を表す音声データが予め定められた書込速度で順次書き込まれるバッファと、前記バッファに書き込まれた音声データを、前記書込速度と異なる読出速度で、複数の異なる読出位置から並行して読み出す読出手段と、前記書込速度と等しい速度で読み出しを行う場合の読出位置を基準位置として、前記読出手段が予め定められた時間だけ前記音声データの読み出しを行う毎に、前記読出手段の読出位置を当該基準位置の方向に移動させる読出制御手段と、当該音声処理装置の処理負荷を計測する計測手段と、前記読出手段によって読み出された複数の音声データのそれぞれを、演算負荷の異なる複数の補間態様のいずれかで補間する補間手段であって、前記計測手段の計測結果に応じて前記補間態様を切り替える補間手段と、前記補間手段によって補間された複数の音声データをクロスフェードさせて合成する合成手段とを具備することを特徴とする音声処理装置を提供する。

本発明の好適な態様において、前記補間手段は、前記計測手段によって計測された処理負荷が予め定められた閾値未満である場合には、予め定められた第１のアルゴリズムに従って補間処理を行う一方、それ以外の場合には、前記第１のアルゴリズムよりも処理負荷の低い第２のアルゴリズムに従って補間処理を行ってもよい。

本発明の更に好ましい態様において、前記補間手段は、前記計測手段によって計測される処理負荷の時間変化を計測し、計測結果が予め定められた条件を満たす場合に、前記補間態様を切り替えてもよい。

また、本発明の更に好ましい態様において、利用者によって操作される操作手段から出力される信号に基づいて、前記処理負荷が高くなるか否かを推定する推定手段を具備し、前記補間手段は、前記推定手段によって前記処理負荷が高くなると推定された場合に、前記補間処理に用いるアルゴリズムを処理負荷の低いものに切り替えてもよい。

本発明によれば、音声信号のピッチを変換する技術において、音質と演算負荷のバランスを調整することができる。

音声処理装置のハードウェア構成の一例を示すブロック図である。 ピッチ変換処理の内容を説明するための概念図である。 ２系統のバッファ出力信号の読出アドレスとゲインの時間的変化を示す図である。 ＤＳＰの機能的構成の一例を示すブロック図である。 ＤＳＰの機能的構成の一例を示すブロック図である。

＜音声処理装置の構成＞
図１は、この発明の一実施形態である音声処理装置１のハードウェア構成を例示したブロック図である。音声処理装置１は、例えば、カラオケ伴奏を再生するカラオケ装置や、パーソナルコンピュータ等の汎用コンピュータである。図において、ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２に記憶されているコンピュータプログラムを読み出してＲＡＭ（Random Access Memory）１３にロードし、これを実行することにより、音声処理装置１の各部を制御する。外部記憶装置１４は、ハードディスクや光ディスク等の大容量の記憶手段である。通信Ｉ／Ｆ１５は、通信回線で結ばれた他の装置（例えば、カラオケ装置の管理室のサーバ等）との間でデータの授受を行うインターフェースである。

表示回路１６は、液晶ディスプレイ等の表示装置に画像を表示するための回路である。具体的には、例えば、音声処理装置１がカラオケ装置である場合には、動画像や設定画面を表示装置に表示するための回路が表示回路１６に相当し、音声処理装置１が汎用コンピュータである場合には、ビデオカードが表示回路１６に相当する。入力装置１７は、操作された内容に応じた操作信号を出力する操作入力装置である。具体的には、例えば、音声処理装置１がカラオケ装置である場合には、リモコンや装置本体付属の操作子が入力装置１７に相当し、音声処理装置１が汎用コンピュータである場合には、キーボードやマウスが入力装置１７に相当する。

波形メモリ１８は、ＤＳＰ（Digital Signal Processor）１９の処理対象となるデータを一時的に記憶するバッファである。この実施形態では、波形メモリ１８は、リング状に書き込み／読み出しを行うリングバッファである。波形メモリ１８には、通信Ｉ／Ｆ１５を介して取得される楽曲データや、マイクロホン（図示略）で収音された音声を表す音声信号がＡ（Analog）／Ｄ（Digital）変換されたデータ、外部記憶装置１４に記憶された楽曲データ等の、音声波形を表すデータ（以下「音声データ」と称する）が一時的に蓄積される。波形メモリ１８としては、音声データのビットデータをサンプリングタイムで入出力する速度に対応できるものが必要である。

ＤＳＰ１９は、波形メモリ１８に記憶された音声データに対してピッチ変換処理等の各種デジタル信号処理を行う。Ｄ／Ａ変換器２０は、ＤＳＰ１９から出力されるデジタル信号をアナログ信号に変換し、アナログの出力信号を取り出す。この出力信号は、増幅器（図示略）を介してスピーカ（図示略）へ出力される。

＜ピッチ変換処理の概要＞
次に、ＤＳＰ１９が行うピッチ変換処理の概要について図面を参照しつつ説明する。ＤＳＰ１９は、波形メモリ１８からの音声データの読出速度を変更することによってピッチの変更を行う。具体的には、ＤＳＰ１９は、ピッチを高くする場合には音声データの読出速度を速くし、ピッチを低くする場合には音声データの読出速度を遅くする。

図２は、ＤＳＰ１９が行うピッチ変換処理の内容を説明するための概念図である。図２において、横軸は経過時間を示し、縦軸は波形メモリ１８内のアドレスを示す。すなわち、図２は、時間の経過に伴う音声データの読出位置の変化を概略的に示す図である。図２において、直線Ｓ１は、書込速度と等しい速度で読出を行った場合の読出位置（以下「基準位置」）の遷移を示すものである。

波形メモリ１８への書き込み及び波形メモリ１８からの読み出しは、同一の方向に沿ってリング状に行われる。波形メモリ１８へは、予め定められた書込速度（基準のサンプリング周波数）で順次書き込みが行われる。一方、読出を行う場合は、ＤＳＰ１９は、ピッチの変更量に応じて読出速度を変更する。具体的には、ピッチを上げる場合には、ＤＳＰ１９は、書込速度よりも速い速度（図２の直線Ｓ２参照）で音声データを読み出す。また、ピッチを下げる場合には、音声処理装置１は、書込速度よりも遅い速度（図２の直線Ｓ３参照）で音声データを読み出す。

ここで、読出速度を変更することにより発生する問題点とその対応について図面を参照しつつ説明する。図２に示すように、ピッチアップしたときの波形読出アドレスの遷移（図２の直線Ｓ２参照）は、ピッチシフトしない場合（図２の直線Ｓ１参照）よりも速くアドレスが進む。すなわち、読出速度を速くした場合には音声データの再生時間が短くなってしまう。一方、ピッチダウンしたときの波形読出アドレスの遷移（図２の直線Ｓ３参照）は、ピッチシフトしない場合よりも遅くなる。すなわち、読出速度を遅くした場合には音声データの再生時間が長くなってしまう。このように、波形の読出速度を変更することにより時間の伸縮が発生してしまい、音声のテンポが変化してしまう。更に、読出位置がアドレスの書込位置を追い抜いてしまい、リングバッファの１周期前のデータを読み出してしまう可能性がある。

そこで、この実施形態では、ＤＳＰ１９は、書込速度と等しい速度で読み出した場合の読出位置（基準位置）からのずれが大きくなったときに、読出位置を基準位置に戻すことにより時間的な伸縮の発生を回避する。すなわち、ＤＳＰ１９は、予め定められた時間だけ音声データの読出を行う毎に、読出位置（アドレス）を基準位置に移動させる（ジャンプさせる）処理を行う。具体的には、図２に示す例においてピッチを上げる場合には、ＤＳＰ１９は、時刻ｔ１，ｔ２，ｔ３，ｔ４，ｔ５において波形アドレスの読出位置を基準位置にジャンプさせる（図２のＳ４参照）。ピッチを下げる場合も同様であり、ＤＳＰ１９は、時刻ｔ１，ｔ２，ｔ３，ｔ４，ｔ５において波形アドレスの読出位置を基準位置にジャンプさせる（図２のＳ５参照）。

次いで、アドレス（読出位置）をジャンプさせることにより発生する問題点とその対応について図面を参照しつつ説明する。読出アドレスを所定間隔毎にジャンプさせる処理を行うことによって、アドレスをジャンプさせるタイミングにおいて波形の不連続が発生する。この波形の不連続によって出力音声にノイズが発生してしまう。そこで、この実施形態では、ノイズの発生を軽減するために、波形の読出処理を２系統設け、その２系統の出力を交互にクロスフェードすることにより、波形不連続によるノイズの発生を軽減させる。クロスフェードとは、２つの信号のうちひとつをフェードアウトし、他方をフェードインして継ぎ目なく信号を接続する技術である。

図３は、２系統のバッファ出力信号（以下、「バッファ出力信号１８Ａ、１８Ｂ」という）のそれぞれの読出アドレス（以下「読出アドレス２４Ａ、２４Ｂ」という）とゲインの時間的変化を示す図である。図３の（Ａ）は、バッファ出力信号１８Ａのゲインの時間変化を表す図であり、横軸は経過時間を示し、縦軸はゲインを示す。（Ｂ）は、基準位置に対するバッファ出力信号１８Ａの読出位置の差分の変化を表す図であり、横軸は経過時間を示し、縦軸は基準位置に対するバッファ出力信号１８Ａの読出位置のアドレス差を示す。（Ｃ）は、バッファ出力信号１８Ｂのゲインの時間変化を表す図であり、横軸は経過時間を示し、縦軸はゲインを示す。（Ｄ）は、基準位置に対するバッファ出力信号１８Ｂの差分の変化を表す図であり、横軸は経過時間を示し、縦軸は基準位置に対するバッファ出力信号１８Ｂの読出位置のアドレス差を示す。

ところで、上述した図２に示す例においては、ＤＳＰ１９は、基準位置からのずれが大きくなったときに、読出アドレスを基準位置にジャンプさせるようにしたが、図３の（Ｂ），（Ｄ）に示す例においては、ＤＳＰ１９は、基準位置からのずれが大きくなったときに、読出アドレスを基準位置の方向に予め定められた量だけ移動させる処理を行う。ＤＳＰ１９が行う読出アドレスのジャンプ処理の態様は、図２に例示する態様であってもよく、また、図３に例示する態様であってもよく、また、これ以外の態様であってもよく、要は、ＤＳＰ１９は、予め定められた時間だけ音声データの読出を行う毎に、読出位置を基準位置の方向に移動させる（ジャンプさせる）処理を行うものであればよい。

ＤＳＰ１９は、バッファ出力信号の読出アドレスをジャンプさせるタイミングで、ジャンプする側のバッファ出力信号のゲインを０％にする一方、他方の出力を１００％にする。これにより、アドレスのジャンプによるノイズが軽減される。具体的には、図３において、バッファ出力信号１８Ａの読出アドレス２４Ａをジャンプさせるタイミング（図３（Ｂ）の時刻ｔ１２，ｔ１４，ｔ１６，ｔ１８，ｔ２０参照）で、バッファ出力信号１８Ａのゲインが常にゼロとなるように制御する（図３（Ａ）の時刻ｔ１２，ｔ１４，ｔ１６，ｔ１８，ｔ２０参照）。これにより、バッファ出力信号１８Ａの波形不連続によるノイズの発生が軽減される。バッファ出力信号１８Ｂについても同様であり、バッファ出力信号１８Ｂの読出アドレス２４Ｂをジャンプさせるタイミング（図３（Ｄ）の時刻ｔ１１，ｔ１３，ｔ１５，ｔ１７，ｔ１９参照）で、バッファ出力信号１８Ｂのゲインが常にゼロとなるように制御する（図３（Ｄ）の時刻ｔ１１，ｔ１３，ｔ１５，ｔ１７，ｔ１９参照）。これにより、バッファ出力信号１８Ｂの波形不連続によるノイズの発生が軽減される。
また、図示のように、読出アドレス２４Ａ、２４Ｂのジャンプを発生させる時刻を異ならせている。これにより、アドレスのジャンプの発生時刻が重ならないから、アドレスのジャンプによるノイズが軽減される。

ピッチを下げる場合には、図３において読出アドレス２４Ａ、２４Ｂのグラフは基準位置Ｓ１に対して反転した形状となる。
以上がこの実施形態においてＤＳＰ１９が行うピッチ変換処理の概要である。

＜ＤＳＰの構成＞
次に、図４を参照しつつ、上述したピッチ変換処理に係るＤＳＰ１９の機能的構成について詳述する。図において、ピッチ変換部１９１は、入力する音声データのピッチを変換するものである。なお、ＤＳＰ１９はピッチ変換処理以外にも種々の処理を実行するが、図４においては、説明の理解を容易にするため、ピッチ変換部１９１のみを図示しており、その他の処理に係る構成についてはその記載を省略する。図において、波形解析部２１は、音声データの波形を解析するものである。波形解析部２１は、ＬＰＦ２１１と基本周期検出部２１２とアタック検出部２１３とを備えている。ＬＰＦ２１１は音声データから低周波成分のみを取り出すためのフィルタである。音声データをＬＰＦ２１１に通すことによって高周波成分がカットされ、基本周期の検出が容易になる。基本周期検出部２１２は、ＬＰＦ２１１を通した音声データから基本周期を検出し、検出結果を制御部２２へ送る。基本周期検出部２１２の基本周期の検出の方法としては、例えばＦＦＴ変換により信号の周波数成分を検出することにより行う。アタック検出部２１３は、音声データからアタックを検出する。ここで、アタックとは、平均的な音声の波高レベルよりも極端に高い部分又は振幅上昇が急激な信号の区間である。アタック検出部２１３は、所定の時間間隔毎に切り出した音声データのエネルギー和をそれぞれ計算し、平均的な音声の波高レベルより極端に高い区間、又はエネルギーの増加が急激な区間を、アタックとして検出する。アタック検出部２１３は、アタックの検出結果を示す信号を制御部２２に出力する。

ＤＳＰ負荷計測部２３は、ＤＳＰ１９によって行われる処理の負荷を計測し、当該計測値を出力する。負荷の計測は、例えば、ＤＳＰ１９の処理速度であるＭＩＰＳ（Million Instructions Per Second）値を計測することによって行われる。すなわち、ＤＳＰ１９が１命令を実行する時間を計測し、１秒間に実行される命令数を算出することによって計測される。なお、ＤＳＰ１９の処理負荷を計測する方法はこれに限定されるものではなく、他の方法で処理負荷を計測してもよい。

制御部２２は、波形解析部２１の解析結果及びＤＳＰ負荷計測部２３の計測結果に基づいて、補間部２４やクロスフェードゲイン計算部２６に指示を送る。具体的には、例えば、制御部２２は、基本周期検出部２１２の検出した周期に基づいてクロスフェード時に合成するバッファ出力信号１８Ａ、１８Ｂの基本周期の位相が合うように、クロスフェード開始時、終了時を調整する指示をクロスフェードゲイン計算部２６に送る。また、急峻に音量が変動するアタックの場合には、アタックの部分は急激な音量変化を伴うため、波形の接続により２度打ちが生じやすいことから、クロスフェード合成部２７の動作をとめて、バッファ出力信号１８Ａ、１８Ｂのいずれかの出力をそのまま出すように、クロスフェードゲイン計算部２６に指示を送る。また、制御部２２は、ＤＳＰ負荷計測部２３の計測結果に基づいて、補間部２４の補間処理の処理態様を切り替えるように補間部２４を制御する。

読出アドレス制御部２５は、制御部２２からの指示に基づいて、波形メモリ１８における音声データの読出位置を算出して、読出アドレスを指示する。上述したように、読出アドレス制御部２５は、ピッチを上げる場合には読出速度を速くする一方、ピッチを下げる場合には読出速度を遅くする。バッファ出力信号１８Ａ、１８Ｂは、読出アドレス制御部２５の指示に従って波形メモリ１８から読み出され、補間部２４に送られる。

なお、読出速度を速めたり、遅くしたりしてバッファ出力信号の時間軸圧伸を行う場合には、指定されたピッチ変換率に正確に対応する圧伸を行おうとすると読出アドレスは小数点以下を含むことになる。そこで、波形メモリ１８の出力を補間部２４で合成する。

補間部２４は、制御部２２の制御の下、波形メモリ１８から読み出された複数の音声データのそれぞれを、演算負荷の異なる複数の補間処理のいずれかで補間を行う。より具体的には、この実施形態では、補間部２４は、制御部２２の指示に応じて、線形補間又はラグランジュ補間によって補間処理を行う。補間部２４は、補間処理を施した音声データをクロスフェード合成部２７に供給する。

制御部２２は、ＤＳＰ負荷計測部２３の計測結果に基づいて、補間部２４の補間処理の処理態様を切り替えるように補間部２４を制御する。より具体的には、この実施形態では、制御部２２は、ＤＳＰ負荷計測部２３によって計測された処理負荷が予め定められた閾値未満である場合には、ラグランジュ補間処理を行うように補間部２４に指示を送る一方、それ以外の場合（処理負荷が閾値以上である場合）には、ラグランジュ補間よりも処理負荷の低い線形補間を行うように補間部２４に指示を送る。この判定処理に用いられる閾値は、ＤＳＰ１９がラグランジュ補間処理を行う場合に増加する処理負荷を考慮して予め設定された値であることが好ましい。制御部２２は、補間アルゴリズムを切り替えるか否かの判定処理を、予め定められた単位時間毎に行い、切り替える場合にはその旨を指示する信号を補間部２４に送る。

クロスフェードゲイン計算部２６は、クロスフェード合成部２７におけるクロスフェードのゲインカーブを計算し、クロスフェード合成部２７にゲインの指示を行う。クロスフェード合成部２７は、クロスフェードゲイン計算部２６の指示に基づいて、バッファ出力信号１８Ａ、１８Ｂのゲインをそれぞれ調整し、ゲインが調整されたバッファ出力信号１８Ａ、１８Ｂを加算し、Ｄ／Ａ変換器２０に出力する。すなわち、クロスフェード合成部２７は、バッファ出力信号１８Ａ、１８Ｂをクロスフェードさせて合成する。

このとき、クロスフェードゲイン計算部２６は、ゲイン一定の区間がなく連続的に小刻みにクロスフェードを行うようゲイン調整しているので、ジャンプするアドレス量が小さくなり、音色のずれを小さくすることができる。このように連続的にクロスフェードさせる場合には、いずれのクロスフェード時間においてもクロスフェードする信号の基本周期の位相をそろえた方が滑らかにクロスフェードさせることができる。そこで、クロスフェード時の基本周期の位相をそろえるため、図１で説明した基本周期検出部２１２は、基本周期を求めている。制御部２２は、この基本周期をクロスフェードゲイン計算部２６に指示する。クロスフェードゲイン計算部２６は、この基本周期の位相をそろえるため、バッファ出力信号１８Ａのゲインをフェードアウトさせるとき、フェードアウト区間長をこの基本周期の整数倍とする。また、クロスフェードゲイン計算部２６は、これに合わせてバッファ出力信号１８Ｂのゲインをフェードインさせるとき、フェードイン区間長をこの基本周期の整数倍とする。バッファ出力信号１８Ａのゲインをフェードインさせるときも同様である。

ところで、補間処理において、ラグランジュ補間などの高次補間は線形補間よりも計算精度が高いため、音質は良いが計算負荷が重いという問題がある。そのため、ＤＳＰ１９の処理状況によっては使用率が１００％に近くなってしまう場合がある。一方、線形補間を用いる場合は、計算負荷は軽いものの音質が悪くなってしまう場合がある。
それに対しこの実施形態では、ＤＳＰ１９の処理負荷を計測し、計測結果に応じて補間処理の処理アルゴリズムを切り替えるから、これにより、ピッチを変換する装置において、処理負荷が重くなりすぎるのを防ぎつつ、高音質の音声データを出力することができる。

＜変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態では、ＤＳＰ１９は、２系統のバッファ出力信号１８Ａ、１８Ｂを合成して出力したが、合成する音声データの数は２に限らず、３以上の出力タップを設け、３以上の音声データを合成するようにしてもよい。

（２）上述の実施形態において、制御部２２が、ＤＳＰ１９の処理負荷が予め定められた閾値を予め定められた時間以上継続して下回っているか否かを判定するようにしてもよい。より具体的には、制御部２２は、ＤＳＰ１９の処理負荷が予め定められた閾値を予め定められた時間以上継続して上回っている場合に補間処理アルゴリズムを線形補間アルゴリズムに切り替えるようにしてもよい。このようにすることで、補間アルゴリズムが不必要に頻繁に切り替えられるのを防ぐことができる。

（３）上述の実施形態では、ＤＳＰ１９は、線形補間とラグランジュ補間との２種類の補間アルゴリズムのうちのいずれかを用いて補間処理を行ったが、補間処理の態様はこれに限らず、例えばスプライン補間等の他の補間アルゴリズムを用いて補間処理を行うようにしてもよい。また、ＤＳＰ１９が用いる補間アルゴリズムの数は２に限らず、これより多くてもよい。要は、ＤＳＰ１９は、演算負荷の異なる複数の補間処理のいずれかで補間するものであって、ＤＳＰ負荷計測部２３の計測結果に応じて補間処理の態様を切り替えるものであればよい。

また、補間アルゴリズムの切替処理においては、補間アルゴリズムそのものを切り替えるようにしてもよく、また、例えば、補間アルゴリズムで用いるパラメータの数や種類を切り替えるようにしてもよい。

（４）上述の実施形態において、ＤＳＰ１９は、音声データの振幅がゼロになるタイミングで補間アルゴリズムを切り替えるようにしてもよい。このようにすることによって、波形の不連続によるノイズの発生をより軽減することができる。

（５）上述の実施形態において、制御部２２が、ＤＳＰ負荷計測部２３によって計測される処理負荷の時間変化を計測し、計測結果が予め定められた条件を満たす場合に、補間処理の処理態様を切り替えるようにしてもよい。すなわち、現在の処理負荷を補間処理に反映させるのではなく、過去の処理負荷の変化から将来の処理負荷を予測し、予め将来の処理負荷に備えて、必要ならば適切な補間処理に切り替えておくのである。具体的には、例えば、制御部２２が、計測された処理負荷の微分値（傾き）を算出し、算出した傾きが所定時間以上継続して閾値を上回った場合に、測定以後の処理負荷が高くなると判定して処理負荷の低い補間処理に切り替えるようにしてもよい。また、例えば、制御部２２が、算出した微分値が所定時間以上継続して増加している場合に、処理負荷の低い補間処理に切り替えるようにしてもよい。

（６）上述の実施形態において、ＣＰＵ１１又はＤＳＰ１９が、音声処理装置１の利用者の操作に応じて処理負荷の変化を推定し、推定結果に応じて、補間アルゴリズムを切り替えるか否かを判定するようにしてもよい。この態様においては、ＣＰＵ１１又はＤＳＰ１９が、利用者によって操作される入力装置１７から出力される信号に基づいて、処理負荷の変化を推定する。この推定処理としては、例えば、処理負荷が高くなると推定される操作内容をリストで予め保持しておき、入力装置１７から出力される信号に対応する操作内容をこのリストと照合することによって判定してもよい。また、例えば、操作内容とその操作内容に対応する処理負荷値とを対応付けたテーブルを予め保持しておき、入力装置１７から出力される信号に対応する操作内容から処理負荷値を特定するようにしてもよい。

（７）上述の実施形態において、補間処理の切替判定に用いる閾値を、音声処理装置１の利用者が入力装置１７を用いて設定できるようにしてもよい。また、例えば、楽曲データに閾値を付加しておく構成とし、制御部２２が、楽曲データに付与された閾値を用いて補間処理の切替判定を行うようにしてもよい。

（８）上述の実施形態において、ＤＳＰ１９が、複数の音声データに対してピッチ変換処理を並行して行うようにしてもよい。この場合のＤＳＰ１９の機能的構成について、図５を参照しつつ説明する。図５は、ＤＳＰ１９の機能的構成の一例を示すブロック図であり、上述した実施形態における図４に対応するものである。図５において、図４と同様の構成については同じ符号を付して適宜その説明を省略する。図５に示す例では、ＤＳＰ１９は、カラオケ伴奏を行う際に、ガイドボーカル音声データ、伴奏Ａの音声データ、伴奏Ｂの音声データの３種類の音声データに対してそれぞれ個別にピッチ変換処理を行う。図５において、ピッチ変換部１９１Ａ，１９１Ｂ，１９１Ｃはそれぞれ、図４に示したピッチ変換部１９１と同様の構成を有するものであり、ここではその詳細な説明を省略する。ピッチ変換部１９１Ａは、ガイドボーカル音声データに対してピッチ変換処理を施すものである。ピッチ変換部１９１Ｂは、伴奏Ａの音声データに対してピッチ変換処理を施すものである。ピッチ変換部１９１Ｃは伴奏Ｂの音声データに対してピッチ変換処理を施すものである。合成部１９２は、ピッチ変換部１９１Ａ，１９１Ｂ，１９１Ｃから出力される、ピッチ変換処理が施された音声データを合成して、Ｄ／Ａ変換器２０に出力する。

ピッチ変換部１９１Ａ，１９１Ｂ，１９１Ｃも上述した図４に示したピッチ変換部１９１と同様に、ＤＳＰ１９の処理負荷を計測し、計測結果に応じて補間処理に用いる補間アルゴリズムを切り替える処理を行う。

図５に示す例では、ＤＳＰ１９は、３種類の音声データ（ガイドボーカル音声データ、伴奏Ａの音声データ、伴奏Ｂの音声データ）に対するピッチ変換処理を並行して行うため、ＤＳＰ１９に対する処理負荷が大きくなりすぎる場合がある。この態様においては、ＤＳＰ１９が処理負荷を計測し、計測結果に応じて補間処理を行う際の補間アルゴリズムを切り替えるから、これにより、ＤＳＰ１９に対する処理負荷が重くなりすぎるのを防ぎつつ、高品質の音声データを出力することができる。

図５に示す態様において、補間処理の切替判定の態様を、ピッチ変換部１９１Ａ，１９１Ｂ，１９１Ｃのそれぞれで異ならせるようにしてもよい。具体的には、例えば、補間処理の切替判定に用いる閾値を、ピッチ変換部１９１Ａ，１９１Ｂ，１９１Ｃのそれぞれで異ならせるようにしてもよい。より具体的には、例えば、音質を重視すべき音声データについては閾値を高く設定しておいて可能な限り精度の高い補間処理を行うようにする一方、それ以外の音声データについては閾値を低く設定しておくようにしてもよい。

この態様において、複数の閾値は予め定められた値が設定されていてもよく、また、楽曲データの各々に閾値を付加しておく構成としてもよい。また、どの音声データの閾値を高くするか（すなわちどの音声データの音質を優先させるか）を利用者が入力装置１７を用いて設定できるようにしてもよい。このようにすることで、利用者の所望する態様（例えば、ガイドボーカルの音質をできるだけ高くしたい等）の音声データを出力することができる。

（９）上述の実施形態における音声処理装置１のＣＰＵ１１、ＤＳＰ１９によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由で音声処理装置１にダウンロードさせることも可能である。

１…音声処理装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…外部記憶装置、１５…通信Ｉ／Ｆ、１６…表示回路、１７…入力装置、１８…波形メモリ、１９…ＤＳＰ、２０…Ｄ／Ａ変換器、２１…波形解析部、２２…制御部、２３…ＤＳＰ負荷計測部、２４…補間部、２５…読出アドレス制御部、２６…クロスフェードゲイン計算部、２７…クロスフェード合成部、１９１…ピッチ変換部、１９２…合成部、２１１…ＬＰＦ、２１２…基本周期検出部、２１３…アタック検出部。

Claims (3)

1. 音声波形を表す音声データが予め定められた書込速度で順次書き込まれるバッファと、
   前記バッファに書き込まれた音声データを、前記書込速度と異なる読出速度で、複数の異なる読出位置から並行して読み出す読出手段と、
   前記書込速度と等しい速度で読み出しを行う場合の読出位置を基準位置として、前記読出手段が予め定められた時間だけ前記音声データの読み出しを行う毎に、前記読出手段の読出位置を当該基準位置の方向に移動させる読出制御手段と、
   当該音声処理装置の処理負荷を計測する計測手段と、
   前記読出手段によって読み出された複数の音声データのそれぞれを、演算負荷の異なる複数の補間態様のいずれかで補間する補間手段であって、前記計測手段の計測結果に応じて前記補間態様を切り替える補間手段と、
   前記補間手段によって補間された複数の音声データをクロスフェードさせて合成する合成手段と
   を具備することを特徴とする音声処理装置。
2. 前記補間手段は、前記計測手段によって計測された処理負荷が予め定められた閾値未満である場合には、予め定められた第１のアルゴリズムに従って補間処理を行う一方、それ以外の場合には、前記第１のアルゴリズムよりも処理負荷の低い第２のアルゴリズムに従って補間処理を行う
   ことを特徴とする請求項１に記載の音声処理装置。
3. 前記補間手段は、前記計測手段によって計測される処理負荷の時間変化を計測し、計測結果が予め定められた条件を満たす場合に、前記補間態様を切り替える
   ことを特徴とする請求項１又は２に記載の音声処理装置。

Images