JP2016004234A - 音声再生装置および音声再生方法 - Google Patents

Abstract

【課題】符号化された音声を復号し、さらに話速変換を行う音声再生装置において、音声復号処理の一時的な演算量の増大を抑制する。
【解決手段】符号化音声信号をあらかじめ設定された復号条件に基づいて復号する音声復号部１と、復号した音声信号を蓄積する蓄積部２と、蓄積された音声信号の音声信号波形の基本周期を算出し、算出した基本周期およびあらかじめ設定された話速に基づき音声信号波形の伸長または圧縮を行い、音声信号の再生速度を変換して出力音声信号を生成する話速変換部３と、話速変換部３が算出した音声信号波形の基本周期、およびあらかじめ設定された話速に基づき音声復号部１の復号条件を決定する復号動作制御部４とを備える。
【選択図】図１

Description

この発明は、高能率符号化された音声の再生速度を変換する話速変換を行うと共に、当該話速変換を行った音声を再生する技術に関するものである。

近年、ＣＥＬＰ（Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）方式やＭＰＥＧオーディオ方式など、高能率な音声・音響符号化方式が、通信、放送分野や録音再生システムなどに広く適用されている。また、これらの音声・音響符号化方式に加えて、再生音声を短時間で聞く、あるいは再生音声を聞き取り易い音声に変換するため、音声の高さや声質を変化させることなく音声信号の再生速度を変換させる話速変換技術が併用される場合がある。

話速変換処理について図７および図８を参照しながら説明する。まず、図７は音声信号の再生速度を上げる場合の話速変換処理の原理を示す説明図である。
話速変換前信号に対して、まず位置（Ｘ１）からの信号の基本周期Ｔｐ１を算出する。次に、位置（Ｘ１）から基本周期Ｔｐ１後（位置（Ｘ２））までの信号をフェードアウトさせた信号と、位置（Ｘ１）の基本周期Ｔｐ１後（位置（Ｘ２））から２×Ｔｐ１後（位置（Ｘ３））までの信号をフェードインさせた信号とを生成する。さらに生成したフェードアウトさせた信号とフェードインさせた信号を合算した長さＴｐ１の信号を生成し、話速変換後信号として出力する。

フェードインとフェードアウトを三角窓で実現する場合、話速変換前信号をｘ（ｔ）（ｔ：時間）、位置（Ｘ１）の時間をｔ１とすると、フェードイン信号と、フェードアウト信号との合成により生成した話速変換後信号ｙ（ｔ）（ｔ１≦ｔ≦ｔ１＋Ｔｐ１）は以下の式（１）で表わされる。
ｙ（ｔ）＝｛（ｔ１＋Ｔｐ１−ｔ）／Ｔｐ１｝ｘ（ｔ）
＋｛（ｔ−ｔ１）／Ｔｐ１｝ｘ（ｔ＋Ｔｐ１）・・・（１）
図７で示した話速変換後信号において、上述した話速変換後の部分の出力信号を太線 で表している。

その後、位置（Ｘ３）から位置（Ｘ４）までの信号を話速変換することなく出力する。これにより、長さＴｐ１＋Ｔ１の話速変換前信号が、長さＴ１に短縮されて話速変換後信号となり、当該話速変換後信号の話速は（Ｔｐ１＋Ｔ１）／Ｔ１倍となる。ここでＴ１は話速調整用時間であり、話速をｓ倍とするには、Ｔ１＝Ｔｐ１／（ｓ−１）とする。以降、位置（Ｘ１）から位置（Ｘ４）までの処理と同様の処理を繰り返す。図７の例では、位置（Ｘ４）からの信号の基本周期Ｔｐ２を算出し、位置（Ｘ４）以降の信号をフェードアウト、フェードインして加算した信号を生成するまでを示している。

次に、音声信号の再生速度を下げる場合について説明する。図８は音声信号の再生速度を下げる場合の話速変換処理の原理を示す説明図である。
まず、位置（Ｙ１）の前後の信号の基本周期Ｔｐ１を算出する。次に、位置（Ｙ１）の基本周期Ｔｐ１前から位置（Ｙ１）までの信号をフェードインさせた信号と、位置（Ｙ１）から位置（Ｙ１）の基本周期Ｔｐ１後までの信号をフェードアウトさせた信号を生成する。さらに生成したフェードインさせた信号とフェードアウトさせた信号を合算した長さＴｐ１の信号を生成し、話速変換後信号として出力する。図８で示した話速変換後信号において、上述した話速変換後の部分の出力信号を太線で表している。

その後、位置（Ｙ１）から位置（Ｙ２）までの信号を話速変換することなく出力する。これにより、長さＴ１の話速変換前信号が、長さＴｐ１＋Ｔ１に伸長されて話速変換後信号となり、話速変換後信号の話速はＴ１／（Ｔｐ１＋Ｔ１）倍となる。つまり、話速をｓ倍とするには、Ｔ１＝Ｔｐ１×ｓ／（１−ｓ）となるようにＴ１を決定する。以降、位置（Ｙ１）から位置（Ｙ２）までの処理と同様の処理を繰り返す。図８の例では、位置（Ｙ２）の前後の信号の基本周期Ｔｐ２を算出し、位置（Ｙ２）の前後の信号をフェードイン、フェードアウトして加算した信号を生成し、さらに位置（Ｙ２）からの信号を出力するまでを示している。

上述した話速変換処理においては、音声の基本周期を算出する処理の演算量が大きい。このため、高能率符号化された音声信号を復号しながら話速変換処理を行う場合に演算量を低減する技術が開示されている。例えば、特許文献１の音声再生装置では、高能率符号化された音声符号の中から基本周期の情報と有声か無声かを示すモード情報とを取り出し、取り出した情報を話速変換処理で利用することにより演算量を低減している。

特開平９−３３００９７号公報

しかしながら、上述した特許文献１に開示された技術では、ＣＥＬＰ方式のように高能率符号化された音声符号に基本周期の情報が含まれる場合は演算量を低減することができるが、ＭＰＥＧオーディオ方式のように音声符号に基本周期の情報が含まれない場合、演算量を低減することが困難であるという課題があった。さらに、基本周期の算出、およびフェードアウト信号、フェードイン信号の生成と加算を行う場合に、高能率符号化された音声符号を復号する音声復号処理の演算量が一時的に増大するという課題があった。

ここで、図９および図１０を参照しながら、音声復号処理の演算量の変化について説明を行う。まず、図９は音声信号の再生速度を上げる場合の音声復号処理の演算量の変化を示す説明図である。図９における話速変換前後の音声信号波形は上述した図７と同様であり、話速変換前信号の基本周期Ｔｐ１，Ｔｐ２、および話速調整用時間Ｔ１も図７と同様である。一方、最大基本周期Ｔｍａｘは、信号の基本周期として想定される最大値である。基本周期の算出処理は、音声信号波形の類似性が最も高い時間間隔を探す処理であり、一般に最大基本周期Ｔｍａｘの２倍の長さの信号が必要となる。図９では、基本周期Ｔｐ１および基本周期Ｔｐ２を算出する際に必要となる信号に相当する部分に「２×Ｔｍａｘ」と示している。

また、話速変換前の入力信号は高能率符号化された音声符号が復号された信号である。高能率音声・音響符号化は、通常、特定の時間長単位で入力信号を符号化・復号するもので、この時間長は符号化フレームと呼ばれる。図９では、話速変換前の信号の下方に符号化フレーム境界を示し、各符号化フレームには後述する説明で使用するため便宜上番号を付している。また、話速変換後信号の下方には、話速変換処理のタイミングを示している。話速変換処理は当該話速変換処理のタイミング毎に行われ、次の話速変換処理のタイミングまでの時間に相当する信号を出力するものとする。なお、後述する説明で使用するため話速変換処理タイミングの一部に（ａ）〜（ｅ）なる記号を付している。

話速変換処理のタイミングの下方には、各タイミングにおいて必要となる話速変換前の信号の符号化フレーム番号を示している。以下、符号化フレーム番号について順に説明する。まず、話速変換処理タイミング（ａ）において、符号化フレーム「４」までの音声復号手段の出力信号が必要となる。これは、当該タイミングで信号の基本周期を算出するためである。図９において、基本周期の算出には、符号化フレーム「１」の先頭を算出起点として、その算出起点から２×Ｔｍａｘの信号を必要とする。そして、話速変換処理タイミング（ｂ）までは、符号化フレーム「４」までの音声復号手段の出力信号により、話速変換後信号を生成することができる。その後、話速変換処理タイミング（ｃ）の時点から話速変換処理タイミング（ｄ）までは、話速変換処理のタイミング毎に１ずつ大きい符号化フレームの信号が必要となる。そして、話速変換処理タイミング（ｅ）においては信号の基本周期を算出するため、符号化フレーム「１２」までの音声復号手段の出力信号が必要となる。つまり話速変換処理タイミング（ｄ）と比較すると、話速変換処理タイミング（ｅ）で新たに５フレーム分の音声復号手段の出力信号が必要となる。このため、音声復号処理の演算量が一時的に増大する。

次に、音声信号の再生速度を下げる場合について説明する。図１０は音声信号の再生速度を下げる場合の音声復号処理の演算量の変化を示す説明図である。
図１０における話速変換前後の音声信号波形は上述した図８と同様であり、話速変換前の信号の基本周期Ｔｐ１，Ｔｐ２、および話速調整用時間Ｔ１も図８と同様である。また、符号化フレーム境界、話速変換処理のタイミング、当該タイミングにおいて必要となる話速変換前の信号に対応する符号化フレーム番号を図９と同様に示している。

まず、話速変換処理タイミング（ａ）において、符号化フレーム「３」までの音声復号手段の出力信号が必要となる。これは、信号の基本周期を算出する際、その基本周期算出起点（位置（Ｚ１））の前後の最大基本周期Ｔｍａｘの信号を必要とするためである。なお、基本周期の算出起点に対してその前後の信号を用いて基本周期を探索する点は、話速を上げる場合に基本周期の算出起点から未来方向に２×Ｔｍａｘの長さの信号を必要とした図９の場合と異なる。

次に、話速変換処理タイミング（ｂ）までは、符号化フレーム「３」の音声復号手段の出力信号により、話速変換後信号を生成することができる。話速変換処理タイミング（ｃ）から話速変換処理タイミング（ｄ）までは、出力タイミング毎に１ずつ大きい符号化フレームの信号が必要となる。話速変換処理タイミング（ｅ）においては再び信号の基本周期を算出するために、符号化フレーム「１０」までの信号が必要となる。つまり、話速変換処理タイミング（ｄ）と比較すると、話速変換処理タイミング（ｅ）で新たに２符号化フレーム分の信号が必要となり、これにより音声復号処理の演算量が一時的に増大する。

以上のように、音声復号処理および話速変換処理とを備えた音声再生装置では、音声符号に基本周期の情報が含まれない場合、話速変換処理の基本周期算出において一時的に音声復号処理の演算量が増大するという課題があった。

この発明は、上記のような課題を解決するためになされたもので、符号化された音声を復号し、さらに話速変換を行う音声再生装置において、音声復号処理の一時的な演算量の増大を抑制することを目的とする。

この発明に係る音声再生装置は、符号化音声信号をあらかじめ設定された復号条件に基づいて復号する音声復号部と、音声復号部が復号した音声信号を蓄積する蓄積部と、蓄積部に蓄積された音声信号の音声信号波形の基本周期を算出し、算出した基本周期およびあらかじめ設定された話速に基づき音声信号波形の伸長または圧縮を行い、音声信号の再生速度を変換して出力音声信号を生成する話速変換部と、話速変換部が算出した音声信号波形の基本周期、およびあらかじめ設定された話速に基づき音声復号部の復号条件を決定する復号動作制御部とを備えるものである。

この発明によれば、音声復号処理の一時的な演算量の増大を抑制することができる。

実施の形態１による音声再生装置の構成を示すブロック図である。 実施の形態１による音声再生装置の動作を示すフローチャートである。 実施の形態１による音声再生装置の話速を上げる場合の話速変換処理を示す説明図である。 実施の形態１による音声再生装置の話速を下げる場合の話速変換処理を示す説明図である。 実施の形態３による音声再生装置の構成を示すブロック図である。 実施の形態３による音声再生装置の動作を示すフローチャートである。 音声信号の再生速度を上げる場合の話速変換処理の原理を示す説明図である。 音声信号の再生速度を下げる場合の話速変換処理の原理を示す説明図である。 音声信号の再生速度を上げる場合の音声復号処理の演算量の変化を示す説明図である。 音声信号の再生速度を下げる場合の音声復号処理の演算量の変化を示す説明図である。

実施の形態１．
図１は、実施の形態１による音声再生装置の構成を示すブロック図である。
音声再生装置１０は、音声復号部１、蓄積部２、話速変換部３および復号動作制御部４で構成されている。
音声復号部１は、高能率符号化された符号化音声の復号処理を行う。より詳細には、後述する話速変換処理に先立ち、話速変換処理タイミング毎に、後述する復号動作制御部４から指定される復号すべきフレーム数に基づいて復号処理を行う。蓄積部２は、例えばＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆａｓｔ Ｏｕｔ）バッファなどで構成され、音声復号部１が復号した音声信号を一時蓄積する。話速変換部３は、蓄積部２に蓄積された音声信号の再生速度を変換することにより話速変換を行って出力音声信号を生成し、出力する。復号動作制御部４は、音声復号部１の復号動作を制御する制御情報として、音声復号部１が復号すべきフレーム数（以下、動作フレーム数と称する）を算出する。

次に、実施の形態１の音声再生装置１０の動作について説明する。
図２は、この発明の実施の形態１による音声再生装置の動作を示すフローチャートである。
高能率符号化された符号化音声が入力されると（ステップＳＴ１）、音声復号部１は当該高能率符号化された符号化音声に対して、あらかじめ復号動作制御部４から指定された動作フレーム数の復号処理を話速変換処理タイミング毎に行う（ステップＳＴ２）。ステップＳＴ２で復号された音声信号は蓄積部２に出力され、蓄積部２は入力された音声信号を一時蓄積する（ステップＳＴ３）。

話速変換部３は、ステップＳＴ３で蓄積された音声信号の再生速度を、話速変換処理タイミング毎に設定された話速に変換する（ステップＳＴ４）。話速変換部３は、ステップＳＴ４で再生速度を変換した出力音声信号を外部に出力する（ステップＳＴ５）と共に、ステップＳＴ４の話速変換処理において算出された音声の基本周期を復号動作制御部４に出力する（ステップＳＴ６）。復号動作制御部４は、ステップＳＴ６で入力された音声の基本周期に基づいて音声復号部１の動作フレーム数を算出し、音声復号部１に出力する（ステップＳＴ７）。音声復号部１は、設定されている動作フレーム数をステップＳＴ７で入力された動作フレーム数に更新する（ステップＳＴ８）。その後、フローチャートはステップＳＴ１の処理に戻り、上述した処理を繰り返す。

次に、図３を参照しながら復号動作制御部４の動作をより詳細に説明する。
図３は、実施の形態１による音声再生装置において音声信号の再生速度を上げる場合の話速変換処理を示す説明図である。
図３では、音声復号部１の出力である話速変換前の信号（以下、話速変換前信号と称する）、話速変換前信号の符号化フレーム境界、話速変換部３の出力である話速変換後の信号（以下、話速変換後信号と称する）および話速変換処理タイミングを示している。また、話速変換前信号の上部には基本周期Ｔｐ１、基本周期Ｔｐ２、基本周期Ｔｐ１算出後の話速調整用時間Ｔ１、想定される基本周期の最大値である最大基本周期Ｔｍａｘを示している。また、符号化フレーム境界は、音声符号の符号化フレーム長Ｔｃを用いて示している。

さらに、話速変換処理タイミングは、音声復号部１、話速変換部３および復号動作制御部４の動作周期Ｔｏを用いて示している。復号動作制御部４は話速変換処理タイミング毎、即ち動作周期Ｔｏ毎に音声復号部１の動作フレーム数を算出し、音声復号部１は算出された動作フレーム数に基づいて符号化音声の復号処理を行い、話速変換部３は復号された音声信号の話速変換処理を行い、動作周期Ｔｏの長さの話速変換後信号を出力音声信号として出力する。また、話速変換後信号において、話速変換後に対応する部分の出力音声信号を太線で表わしている。

なお、図３においても上述した図９と同様に、話速変換処理タイミングの一部に（ａ）〜（ｇ）の記号を付している。図３で示した信号長Ｔａは、話速変換処理タイミング（ａ）で出力する話速変換後信号の先頭から基本周期Ｔｐ１を算出する場合の基本周期算出基点までの信号長を示している。信号長Ｔａの値は、基本周期Ｔｐ１の前の基本周期を算出した時点での基本周期算出起点から話速調整用時間経過後の時点であるため、話速変換処理タイミング（ａ）においては既知の値である。

また、信号長Ｔｂは話速変換処理タイミング（ａ）において音声復号部１が復号処理を行った時点、即ち話速変換部３が話速変換処理を行う前の時点において復号済み且つ未出力の信号長を示している。当該話速変換処理タイミング（ａ）において話速変換部３が出力する信号には、先頭から信号長Ｔａ後に次の基本周期算出起点がある。従って、話速変換処理タイミング（ａ）では、話速変換前信号として話速変換部３が基本周期を算出するために必要な長さの信号、すなわち符号化フレーム境界の位置（Ａ２）までの信号が復号されていなければならない。つまり、信号長Ｔｂは、話速変換出力前の信号の先頭位置（Ａ１）から符号化フレーム境界の位置（Ａ２）までの長さ以上の信号長である必要がある。

以下、上述した条件、即ち話速変換処理タイミング（ａ）において音声復号部１の動作が完了した時点で、信号長Ｔｂは話速変換出力前の信号の先頭位置（Ａ１）から符号化フレーム境界の位置（Ａ２）までの長さ以上であるという条件を満たしているものとして説明を行う。言い換えると、上述した条件は復号動作制御部４が以下に示す動作を行うことにより満たされる。

次に、話速変換処理タイミング（ｂ）〜（ｇ）における復号動作制御部４の動作について説明する。
まず、復号動作制御部４は話速変換処理タイミング（ｂ）において、次に基本周期を算出する話速変換処理タイミング（ｇ）までの話速変換処理タイミング回数ｎｏ_Ａを以下の式（２）に基づいて算出する。
ｎｏ_Ａ＝ｆｌｏｏｒ｛（Ｔａ＋Ｔ１）／Ｔｏ｝・・・（２）
式（２）において、ｆｌｏｏｒ｛ｘ｝はｘ以下の最大の整数である。また、Ｔ１は話速変換処理タイミング（ａ）において話速変換部３が算出した基本周期Ｔｐ１および話速設定ｓから、Ｔ１＝Ｔｐ１／（ｓ−１）により求められる。図３の例では、式（２）により求めた話速変換処理タイミング回数ｎｏ_Ａ＝６となる。

次に、復号動作制御部４は話速変換処理タイミング（ｇ）までに復号されるべき符号化フレーム数ｎｆ_Ａを求める。符号化フレーム数ｎｆ_Ａは、話速変換処理タイミング（ｇ）において、次の基本周期を算出するために符号化フレーム境界（Ａ３）までの信号が復号済みとなるように決定する。具体的には、以下の式（３）に基づいて算出する。
ｎｆ_Ａ＝ｃｅｉｌ｛（Ｔａ＋Ｔｐ１＋Ｔ１＋２・Ｔｍａｘ−Ｔｂ）／Ｔｃ｝・・・（３）
式（３）において、ｃｅｉｌ｛ｘ｝はｘ以上の最小の整数を表す。図３の例では、式（３）により求めた符号化フレーム数ｎｆ_Ａ＝８となる。

上述した話速変換処理タイミング回数ｎｏ_Ａおよび符号化フレーム数ｎｆ_Ａを用いて、以降話速変換処理タイミング（ｂ）から（ｇ）までの話速変換処理タイミング回数ｎｏ_Ａの間に符号化フレーム数ｎｆ_Ａの符号化フレームの音声が復号されるように設定する。具体的には、話速変換処理タイミング（ｂ）から（ｇ）までの間、話速変換処理タイミング毎に、以下の式（４）に基づいて音声復号部１の動作フレーム数ｎｐ_Ａを算出すると共に、式（５）に基づいて音声復号部１の符号化フレーム数ｎｆ_Ａおよび話速変換処理タイミング回数ｎｏ_Ａの更新を行う。
ｎｐ_Ａ＝ｃｅｉｌ（ｎｆ_Ａ／ｎｏ_Ａ）・・・（４）

ｎｆ_Ａ＝ｎｆ_Ａ−ｎｐ_Ａ
ｎｏ_Ａ＝ｎｏ_Ａ−１ ・・・（５）

図３の例では、話速変換処理タイミング（ｂ）において動作フレーム数ｎｐ_Ａ＝２、話速変換処理タイミング（ｃ）において動作フレーム数ｎｐ_Ａ＝２、話速変換処理タイミング（ｄ）において動作フレーム数ｎｐ_Ａ＝１、話速変換処理タイミング（ｅ）においてで動作フレーム数ｎｐ_Ａ＝１、話速変換処理タイミング（ｆ）において動作フレーム数ｎｐ_Ａ＝１、話速変換処理タイミング（ｇ）において動作フレーム数ｎｐ_Ａ＝１となる。

上述した手順により決定した動作フレーム数ｎｐ_Ａに従って音声復号部１が復号動作を行うと、話速変換処理タイミング（ｇ）において、次の基本周期Ｔｐ２を算出するために必要となる信号が復号済みとなる。従って、話速変換処理タイミング（ａ）に至るまでの処理も上述した手順に従ったとすると、話速変換処理タイミング（ａ）において基本周期Ｔｐ１を算出するために必要な信号が復号済みであること、つまり信号長Ｔｂは話速変換出力前の信号の先頭位置（Ａ１）から符号化フレーム境界位置（Ａ２）までの長さとなっていることは自明である。

音声再生装置１０が起動後に初めて話速変換を開始する場合や、話速が１倍速の状態から再生速度を上げる場合、最初の話速変換処理タイミングにおいて信号の基本周期を算出する場合、信号長Ｔｂが０または非常に小さい値であるため、最初の話速変換処理タイミングのみ音声復号部１の演算量が増大する。そこで、話速調整用時間Ｔ１の初期値Ｔ１＿ｉｎｉをあらかじめ設定しておき、最初の話速変換処理タイミングのみ上述した話速変換処理タイミング回数ｎｏ_Ａ、符号化フレーム数ｎｆ_Ａ、信号長Ｔａを以下の式（６）に基づいて算出する。
ｎｏ_Ａ＝ｃｅｉｌ｛（Ｔ１＿ｉｎｉ）／Ｔｏ｝
ｎｆ_Ａ＝ｃｅｉｌ｛（Ｔ１＿ｉｎｉ＋２・Ｔｍａｘ−Ｔｂ）／Ｔｃ｝・・・（６）
Ｔａ＝０
初期値Ｔ１＿ｉｎｉを十分大きい値に設定することにより、話速変換が実質的に開始されるまでに時間を要するが、音声復号部１の演算量増大を防止することができる。

次に、図４を参照しながら音声信号の再生速度を下げる場合の復号動作制御部４の動作を説明する。図４は、実施の形態１による音声再生装置において音声信号の再生速度を下げる場合の話速変換処理を示す説明図である。
図４では、図３と同様に話速変換前信号、符号化フレーム境界、話速変換後信号および話速変換処理タイミングを示している。話速変換前信号の上部には基本周期Ｔｐ１、基本周期Ｔｐ２、基本周期Ｔｐ１算出後の話速調整用時間Ｔ１、想定される基本周期の最大値である最大基本周期Ｔｍａｘを示している。また、符号化フレーム境界は、音声符号の符号化フレーム長Ｔｃを用いて示している。

動作周期Ｔｏは音声復号部１および話速変換部３の動作周期を示している。復号動作制御部４は、話速変換処理タイミング毎、即ち動作周期Ｔｏ毎に音声復号部１の符号化フレーム数を算出し、音声復号部１は算出された符号化フレーム数に基づいて復号処理を行い、話速変換部３は復号された音声信号の話速変換処理を行い、動作周期Ｔｏの長さの話速変換後信号を出力音声信号として出力する。また、話速変換後信号において、話速変換後に対応する部分の出力音声信号を太線で表わしている。

なお、図４においても上述した図９と同様に、話速変換処理タイミングの一部に（ａ）〜（ｉ）の記号を付している。図４で示した信号長Ｔａは、話速変換処理タイミング（ａ）で出力する話速変換後信号の先頭から基本周期Ｔｐ１を算出する場合の基本周期算出基点までの信号長を示している。信号長Ｔａの値は、基本周期Ｔｐ１の前の基本周期を算出した時点での基本周期算出起点から話速調整用時間経過後の時点であるため、話速変換処理タイミング（ａ）においては既知の値である。

また、信号長Ｔｂは話速変換処理タイミング（ａ）において音声復号部１が復号処理を行った時点、即ち話速変換部３が話速変換処理を行う前の時点において復号済み且つ未出力の信号長を示している。当該話速変換処理タイミング（ａ）において話速変換部３が出力する信号には、先頭から信号長Ｔａ後に次の基本周期算出タイミング（ｂ）がある。従って、話速変換処理タイミング（ａ）では、話速変換前信号として話速変換部３が基本周期を算出するために必要な長さの信号、すなわち符号化フレーム境界の位置（Ｂ２）までの信号が復号されていなければならない。つまり、信号長Ｔｂは、話速変換出力前の信号の先頭位置（Ｂ１）から符号化フレーム境界の位置（Ｂ２）までの長さ以上の信号長である必要がある。

以下、上述した条件、即ち話速変換処理タイミング（ａ）において音声復号部１の動作が完了した時点で、信号長Ｔｂは話速変換出力前の信号の先頭位置（Ｂ１）から符号化フレーム境界の位置（Ｂ２）までの長さ以上であるという条件を満たしているものとして説明を行う。言い換えると、上述した条件は復号動作制御部４が以下に示す動作を行うことにより満たされる。

次に、話速変換処理タイミング（ｂ）〜（ｉ）における復号動作制御部４の動作について説明する。
まず、復号動作制御部４は話速変換処理タイミング（ｂ）において、次に基本周期を算出する話速変換処理タイミング（ｉ）までの話速変換処理タイミング回数ｎｏ_Ｂを以下の式（７）に基づいて算出する。
ｎｏ_Ｂ＝ｆｌｏｏｒ｛（Ｔａ＋Ｔｐ１＋Ｔ１）／Ｔｏ｝・・・（７）
式（７）において、Ｔ１は話速変換処理タイミング（ａ）において話速変換部３が算出した基本周期Ｔｐ１および話速設定ｓから、Ｔ１＝Ｔｐ１×ｓ／（１−ｓ）により求められる。図４の例では、式（７）により求めた話速変換処理タイミング回数ｎｏ_Ｂ＝８となる。

次に、復号動作制御部４は話速変換処理タイミング（ｉ）までに復号されるべき符号化フレーム数ｎｆ_Ｂを求める。符号化フレーム数ｎｆ_Ｂは、話速変換処理タイミング（ｉ）において、次の基本周期を算出するために符号化フレーム境界（Ｂ３）までの信号が復号済みとなるように決定する。具体的には、以下の式（８）に基づいて算出する。
ｎｆ_Ｂ＝ｃｅｉｌ｛（Ｔａ＋Ｔ１＋Ｔｍａｘ−Ｔｂ）／Ｔｃ｝・・・（８）
式（８）において、ｃｅｉｌ｛ｘ｝はｘ以上の最小の整数を表す。図４の例では、式（８）により求めた符号化フレーム数ｎｆ_Ｂ＝７となる。

以降、上述した音声信号の再生速度を上げる場合と同様、話速変換処理タイミング回数ｎｏ_Ｂおよび符号化フレーム数ｎｆ_Ｂを用いて、話速変換処理タイミング（ｂ）から（ｉ）までの話速変換処理タイミング回数ｎｏ_Ｂの間に符号化フレーム数ｎｆ_Ｂの符号化フレームの音声が復号されるように設定する。具体的には、話速変換処理タイミング（ｂ）から（ｉ）までの間、話速変換処理タイミング毎に、以下の式（９）に基づいて音声復号部１が動作フレーム数ｎｐ_Ｂを算出すると共に、式（９）に基づいて音声復号部１の符号化フレーム数ｎｆ_Ｂおよび話速変換処理タイミング回数ｎｏ_Ｂの更新を行う。
ｎｐ_Ｂ＝ｃｅｉｌ（ｎｆ_Ｂ／ｎｏ_Ｂ）

ｎｆ_Ｂ＝ｎｆ_Ｂ−ｎｐ_Ｂ・・・（９）
ｎｏ_Ｂ＝ｎｏ_Ｂ−１

図４の例では、話速変換処理タイミング（ｂ）において動作フレーム数ｎｐ_Ｂ＝１、話速変換処理タイミング（ｃ）において動作フレーム数ｎｐ_Ｂ＝１、話速変換処理タイミング（ｄ）において動作フレーム数ｎｐ_Ｂ＝１、話速変換処理タイミング（ｅ）において動作フレーム数ｎｐ_Ｂ＝１、話速変換処理タイミング（ｆ）において動作フレーム数ｎｐ_Ｂ＝１、話速変換処理タイミング（ｇ）において動作フレーム数ｎｐ_Ｂ＝１、話速変換処理タイミング（ｈ）において動作フレーム数ｎｐ_Ｂ＝１、話速変換処理タイミング（ｉ）において動作フレーム数ｎｐ_Ｂ＝０となる。

上述した手順により決定した動作フレーム数ｎｐ_Ｂに従って音声復号部１が復号動作を行うと、話速変換処理タイミング（ｉ）の時点において、次の基本周期Ｔｐ２を算出するために必要となる信号が復号済みとなる。従って、話速変換処理タイミング（ａ）に至るまでの処理も上述した手順に従ったとすると、話速変換処理タイミング（ａ）の時点で基本周期Ｔｐ１を算出するために必要な信号が復号済みであること、つまり信号長Ｔｂは話速変換出力前の信号の先頭位置（Ｂ１）から符号化フレーム境界位置（Ｂ２）までの長さとなっていることは自明である。

音声再生装置１０が起動後に初めて話速変換を開始する場合や、話速が１倍速の状態から再生速度を下げる場合、最初の話速変換処理タイミングにおいて信号の基本周期を算出する場合、信号長Ｔｂが０または非常に小さい値であるため、最初の話速変換処理タイミングのみ音声復号部１の演算量が増大する。そこで、話速調整用時間Ｔ１の初期値Ｔ１＿ｉｎｉ２をあらかじめ設定しておき、最初の話速変換処理タイミングのみ上述した話速変換処理タイミング回数ｎｏ_Ｂ、符号化フレーム数ｎｆ_Ｂ、信号長Ｔａを以下の式（１０）に基づいて算出する。
ｎｏ_Ｂ＝ｃｅｉｌ｛（Ｔ１＿ｉｎｉ２）／Ｔｏ｝
ｎｆ_Ｂ＝ｃｅｉｌ｛（Ｔ１＿ｉｎｉ２＋Ｔｍａｘ−Ｔｂ）／Ｔｃ｝・・・（１０）
Ｔａ＝０
初期値Ｔ１＿ｉｎｉ２を十分大きい値に設定することにより、話速変換が実質的に開始されるまでに時間を要するが、音声復号部１の演算量増大を防止することができる。

以上のようにこの実施の形態１によれば、復号された音声信号を一時蓄積する蓄積部２と、蓄積部２に蓄積された音声信号の再生速度を設定された話速に変換して出力音声信号を生成する話速変換部３と、信号の基本周期と設定された話速に基づいて次の基本周期算出を行う話速変換処理タイミングまでの話速変換処理タイミング回数ｎｏ_Ａ，ｎｏ_Ｂおよび話速変換処理タイミングまでに復号されるべき符号化フレーム数ｎｆ_Ａ，ｎｆ_Ｂを求め、音声復号部１の動作フレーム数を決定する復号動作制御部４と、復号動作制御部４が決定した動作フレーム数に基づいて音声信号の復号を行う音声復号部１とを備えるように構成したので、符号化された音声を復号すると共に話速変換を行う音声再生装置において、音声復号処理における一時的な演算量の増大を抑制することができる。

実施の形態２．
上述した実施の形態１とは異なる方法を適用して音声復号部１の動作フレーム数ｎｐ_Ａ，ｎｐ_Ｂを算出しても良い。具体的には、音声復号部１の動作フレーム数ｎｐ_Ａ，ｎｐ_Ｂは、次の基本周期算出を行う話速変換処理タイミングまでの話速変換処理タイミング回数ｎｏ_Ａ，ｎｏ_Ｂ、および話速変換処理タイミングまでに復号されるべき符号化フレーム数ｎｆ_Ａ，ｎｆ_Ｂを算出した後、話速変換処理タイミング回数ｎｏ_Ａ，ｎｏ_Ｂの処理により符号化フレーム数ｎｆ_Ａ，ｎｆ_Ｂのフレームの符号が行われるように決定すればよい。

例えば、実施の形態１の図２で示した話速を上げる場合の話速変換処理において、話速変換処理タイミング回数ｎｏ_Ａ＝６、符号化フレーム数ｎｆ_Ａ＝８の場合、実施の形態１に示した方法では、話速変換処理タイミング（ｂ）において動作フレーム数ｎｐ_Ａ＝２、話速変換処理タイミング（ｃ）において動作フレーム数ｎｐ_Ａ＝２、話速変換処理タイミング（ｄ）において動作フレーム数ｎｐ_Ａ＝１、話速変換処理タイミング（ｅ）において動作フレーム数ｎｐ_Ａ＝１、話速変換処理タイミング（ｆ）において動作フレーム数ｎｐ_Ａ＝１、話速変換処理タイミング（ｇ）において動作フレーム数ｎｐ_Ａ＝１となる。

一方、上述のように話速変換処理タイミング回数ｎｏ_Ａおよび符号化フレーム数ｎｆ_Ａを求めた後、動作フレーム数ｎｐ_Ａを決定する話速変換処理では、話速変換処理タイミング（ｂ）において動作フレーム数ｎｐ_Ａ＝２、話速変換処理タイミング（ｃ）において動作フレーム数ｎｐ_Ａ＝２、話速変換処理タイミング（ｄ）において動作フレーム数ｎｐ_Ａ＝２、話速変換処理タイミング（ｅ）において動作フレーム数ｎｐ_Ａ＝２、話速変換処理タイミング（ｆ）において動作フレーム数ｎｐ_Ａ＝０、話速変換処理タイミング（ｇ）において動作フレーム数ｎｐ_Ａ＝０となる。
このように、実施の形態２による話速変換処理による音声復号部１の最大の処理フレーム数は「２」であり、演算量のピーク値は実施の形態１で示した話速変換処理と変わらない。

以上のように、この実施の形態２によれば、音声復号部１が動作フレーム数ｎｐ_Ａ，ｎｐ_Ｂは、次の基本周期算出を行う話速変換処理タイミングまでの話速変換処理タイミング回数ｎｏ_Ａ，ｎｏ_Ｂ、および話速変換処理タイミングまでに復号されるべき符号化フレーム数ｎｆ_Ａ，ｎｆ_Ｂを算出した後、話速変換処理タイミング回数ｎｏ_Ａ，ｎｏ_Ｂの処理により符号化フレーム数ｎｆ_Ａ，ｎｆ_Ｂのフレームの符号が行われるように決定すればよく、上述した実施の形態１と同様に符号化された音声を復号すると共に話速変換を行う音声再生装置において、音声復号処理における一時的な演算量の増大を抑制することができる。

実施の形態３．
上述した実施の形態１および実施の形態２では復号動作制御部４が制御情報として音声復号部１の動作フレーム数を決定する構成を示したが、この実施の形態３では復号動作制御部４ａが制御情報として音声復号部１ａの復号処理時間を決定する構成を示す。
図５は、実施の形態３の音声再生装置の構成を示すブロック図である。
実施の形態３の音声再生装置１０ａは、図１で示した音声再生装置１０の音声復号部１および復号動作制御部４に替えて、音声復号部１ａおよび復号動作制御部４ａを設けている。以下では、実施の形態１による音声再生装置１０の構成要素と同一または相当する部分には、図１で使用した符号と同一の符号を付して説明を省略または簡略化する。

音声復号部１ａは、高能率符号化された符号化音声の復号処理を行うが、より詳細には話速変換処理に先立ち、話速変換処理タイミング毎に、後述する復号動作制御部４ａから指定された処理時間の復号処理を行う。復号動作制御部４ａは、音声復号部１ａの復号動作を制御する制御情報として、復号すべき処理時間（以下、復号処理時間と称する）を算出する。算出した復号処理時間は、音声復号部１ａに出力される。

次に、実施の形態３の音声再生装置１０ａの動作について説明する。
図６は、この発明の実施の形態２による音声再生装置の動作を示すフローチャートである。なお以下では、実施の形態１による音声再生装置１０と同一のステップには図２で使用した符号と同一の符号を付し、説明を省略または簡略化する。

高能率符号化された符号化音声が入力されると（ステップＳＴ１）、音声復号部１ａは当該高能率符号化された符号化音声に対して、あらかじめ復号動作制御部４ａから指定された復号処理時間の復号処理を話速変換処理タイミング毎に行う（ステップＳＴ１１）。ステップＳＴ１１で復号された音声信号は蓄積部２に出力され、蓄積部２は入力された音声信号を一時蓄積する（ステップＳＴ３）。

その後、ステップＳＴ４からステップＳＴ６と同様の処理を行う。次に、復号動作制御部４ａは、ステップＳＴ６で入力された音声の基本周期に基づいて音声復号部１ａの復号処理時間を算出し、音声復号部１ａに出力する（ステップＳＴ１２）。音声復号部１ａは、復号処理時間をステップＳＴ１２で入力された処理時間に更新する（ステップＳＴ１３）。その後、フローチャートはステップＳＴ１の処理に戻り、上述した処理を繰り返す。

次に、音声信号の再生速度を上げる場合の復号動作制御部４ａの動作を説明する。なお、動作の説明は実施の形態１で示した図３を参照しながら説明を行う。
まず、復号動作制御部４ａは、実施の形態１で示した復号動作制御部４と同様に話速変換処理タイミング（ｂ）において、次に基本周期を算出する話速変換処理タイミング（ｇ）までの話速変換処理タイミング回数ｎｏ_Ａ、および話速変換処理タイミング（ｇ）までに復号されるべき符号化フレーム数ｎｆ_Ａを求める。

以降、話速変換処理タイミング（ｂ）から（ｇ）までの話速変換処理タイミング回数ｎｏ_Ａの間に符号化フレーム数ｎｆ_Ａの符号化フレームの音声が復号される必要がある。そこで、話速変換処理タイミング回数ｎｏ_Ａおよび符号化フレーム数ｎｆ_Ａを用いて、話速変換処理タイミング（ｂ）から（ｇ）までの間、話速変換処理タイミング毎に、音声復号部１ａの復号処理時間Ｔｄｅｃ_Ａを以下の式（１１）に基づいて算出する。
Ｔｄｅｃ_Ａ＝Ｔｄｍａｘ×ｎｆ_Ａ／ｎｏ_Ａ・・・（１１）
式（１０）において、Ｔｄｍａｘは音声復号部１ａが１符号化フレーム分の処理を行う際の処理時間の最大値であり、あらかじめ求めておくものとする。

音声復号部１ａの復号処理時間Ｔｄｅｃを上述した式（１１）に基づいて決定すると、音声復号部１ａは話速変換処理タイミング（ｂ）から話速変換処理タイミング回数ｎｏ_Ａ回の間（図３の話速変換処理タイミング（ｇ）までの間）に、Ｔｄｅｃ_Ａ×ｎｏ_Ａ＝Ｔｄｍａｘ×ｎｆ_Ａだけ復号処理が行われ、Ｔｄｍａｘは１符号化フレーム分の処理時間の最大値であるから符号化フレーム数ｎｆ_Ａフレーム以上の復号処理が行われる。

次に、音声信号の再生速度を下げる場合の復号動作制御部４ａの動作を説明する。なお、動作の説明は実施の形態１で示した図４を参照しながら説明を行う。
まず、復号動作制御部４ａは、実施の形態１で示した復号動作制御部４と同様に話速変換処理タイミング（ｂ）において、次に基本周期を算出する話速変換処理タイミング（ｉ）までの話速変換処理タイミング回数ｎｏ_Ｂ、および話速変換処理タイミング（ｉ）までに復号されるべき符号化フレーム数ｎｆ_Ｂを求める。

以降、上述した音声信号の再生速度を上げる場合と同様、話速変換処理タイミング回数ｎｏ_Ｂおよび符号化フレーム数ｎｆ_Ｂを用いて、話速変換処理タイミング（ｂ）から（ｉ）まで間、話速変換処理タイミング毎に、音声復号部１ａの復号処理時間Ｔｄｅｃ_Ｂを以下の式（１２）に基づいて算出する。
Ｔｄｅｃ_Ｂ＝Ｔｄｍａｘ×ｎｆ_Ｂ／ｎｏ_Ｂ・・・（１２）

音声復号部１ａの復号処理時間Ｔｄｅｃ_Ｂを上述した式（１２）に基づいて決定すると、音声復号部１ａは話速変換処理タイミング（ｂ）から話速変換処理タイミング回数ｎｏ_Ｂ回の間（図４の話速変換処理タイミング（ｉ）までの間）に、Ｔｄｅｃ_Ｂ×ｎｏ_Ｂ＝Ｔｄｍａｘ×ｎｆ_Ｂだけ復号処理が行われ、Ｔｄｍａｘは１符号化フレーム分の処理時間の最大値であるから符号化フレーム数ｎｆ_Ｂフレーム以上の復号処理が行われる。

以上のように、この実施の形態３によれば、復号された音声信号を一時蓄積する蓄積部２と、蓄積部２に蓄積された音声信号の再生速度を設定された話速に変換して出力音声信号を生成する話速変換部３と、信号の基本周期と設定された話速に基づいて次の基本周期算出を行う話速変換処理タイミングまでの話速変換処理タイミング回数ｎｏ_Ａ，ｎｏ_Ｂおよび話速変換処理タイミングまでに復号されるべき符号化フレーム数ｎｆ_Ａ，ｎｆ_Ｂを求め、音声復号部１が動作すべき処理時間を決定する復号動作制御部４ａと、復号動作制御部４ａが決定した処理時間に基づいて音声信号の復号を行う音声復号部１ａとを備えるように構成したので、符号化された音声を復号すると共に話速変換を行う音声再生装置において、音声復号処理における一時的な演算量の増大を抑制することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１，１ａ 音声復号部、２ 蓄積部、３ 話速変換部、４，４ａ 復号動作制御部、１０，１０ａ 音声再生装置。

Claims (6)

1. 入力された符号化音声信号を復号し、復号した音声信号の再生速度を変換して出力音声信号を生成する音声再生装置において、
   前記符号化音声信号をあらかじめ設定された復号条件に基づいて復号する音声復号部と、
   前記音声復号部が復号した音声信号を蓄積する蓄積部と、
   前記蓄積部に蓄積された音声信号の音声信号波形の基本周期を算出し、算出した基本周期およびあらかじめ設定された話速に基づき前記音声信号波形の伸長または圧縮を行い、前記音声信号の再生速度を変換して前記出力音声信号を生成する話速変換部と、
   前記話速変換部が算出した前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき前記音声復号部の復号条件を決定する復号動作制御部とを備えたことを特徴とする音声再生装置。
2. 前記復号動作制御部は、前記復号条件として、前記話速変換部が算出した前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき、前記話速変換部が次に前記音声信号波形の基本周期を算出する位置に到達するまでの前記話速変換部の動作回数および復号すべき符号化フレーム数を算出し、算出した前記話速変換部の動作回数および前記復号すべき符号化フレーム数に基づき前記音声復号部の動作フレーム数を決定することを特徴とする請求項１記載の音声再生装置。
3. 前記復号動作制御部は、前記復号条件として、前記話速変換部が算出した前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき、前記話速変換部が次に前記音声信号波形の基本周期を算出する位置に到達するまでの前記話速変換部の動作回数および復号すべき符号化フレーム数を算出し、算出した前記話速変換部の動作回数および前記復号すべき符号化フレーム数に基づき前記音声復号部の動作時間を決定することを特徴とする請求項１記載の音声再生装置。
4. 入力された符号化音声信号を復号し、復号した音声信号の再生速度を変換して出力音声信号を生成する音声再生方法において、
   音声復号部が、前記符号化音声信号をあらかじめ設定された復号条件に基づいて復号する復号ステップと、
   蓄積部が、前記復号された音声信号を蓄積する蓄積ステップと、
   話速変換部が、前記蓄積された音声信号の音声信号波形の基本周期を算出し、算出した基本周期およびあらかじめ設定された話速に基づき前記音声信号波形の伸長または圧縮を行い、前記音声信号の再生速度を変換して前記出力音声信号を生成する出力音声信号生成ステップと、
   復号動作制御部が、前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき前記復号条件を決定する復号条件決定ステップとを備えたことを特徴とする音声再生方法。
5. 前記復号条件決定ステップは、前記復号条件として、前記話速変換部が算出した前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき、前記話速変換部が次に前記音声信号波形の基本周期を算出する位置に到達するまでの前記話速変換部の動作回数および復号すべき符号化フレーム数を算出し、前記算出した前記話速変換部の動作回数および前記復号すべき符号化フレーム数に基づき前記音声復号部の動作フレーム数を決定することを特徴とする請求項４記載の音声再生方法。
6. 前記復号条件決定ステップは、前記復号条件として、前記話速変換部が算出した前記音声信号波形の基本周期、および前記あらかじめ設定された話速に基づき、前記話速変換部が次に前記音声信号波形の基本周期を算出する位置に到達するまでの前記話速変換部の動作回数および復号すべき符号化フレーム数を算出し、前記算出した前記話速変換部の動作回数および前記復号すべき符号化フレーム数に基づき前記音声復号部の動作時間を決定することを特徴とする請求項４記載の音声再生方法。

Images