JP2005151235A - 復号装置 - Google Patents

Abstract

【課題】 復号時に以前のデータに依存するような符号化方式に従う符号化データでも、その消失に対する補償を適切に行い、高い復号品質を達成する。
【解決手段】 本発明は、復号時に以前のデータに依存するような符号化方式で符号化された符号化データを入力し、その符号化データを復号する復号装置に関する。そして、符号化データを復号する復号手段と、この復号手段の前段側に設けられ、入力された符号化データの消失期間を補間処理により補償する消失補償手段とを有することを特徴とする。
【選択図】 図１

Description

本発明は符号化データを復号する復号装置に関し、例えば、予測符号化方式などの差分量子化を利用した音声符号化データを復号する音声復号装置に適用し得るものである。

現在、インターネット等のネットワークを利用した音声通信が盛んに行われている。ネットワークを介する場合においては、音声データを一塊りの集まり（フレーム）にして、授受などの処理を行う。

ネットワーク上ではフレームの伝送失敗がしばしば発生し、上述した音声データを格納したフレームも例外ではない。このようなフレーム欠損が原因で生起する音声消失により、通信音声品質の劣化が生じる。この劣化に対する補償方法としては、例えば、国際的規格化機関（ＩＴＵ）が非特許文献１で開示して推奨する補償方法など、音声信号の振幅を基に、音声消失期間の波形を補間する補償方法が挙げられる。

この補償方法では、音声信号を符号化した音声符号化データを復号した後、音声データを内部メモリなどに確保しておき、復号処理単位である音声フレーム毎に音声消失の発生を監視し、音声消失が発生する度に、以下のような補償処理を実行する。事前に内部メモリなどに確保しておいた音声消失が起きた直前の音声データをもとに当該音声消失の起きた付近での周期を求める。そして、音声消失により音声データの補間が必要となったフレームの音声データとして、その直前フレームの終了位相と合って波形周期での連続性が確保できるような１フレーム分の音声データを内部メモリから取り出して補間する。

ところで、ネットワークを介した音声通信の方式として、非特許文献３の開示技術などのように瞬時振幅データをそのまま量子化する方法や、非特許文献２の開示技術などのように標本点間の振幅値の変化を量子化する差分量子化方式（例えば予測符号化方式）などが用いられている。差分量子化の方式では、音声データの符号化を行う符号化器において、音声データの標本点間の差分を求め、この差分を量子化した差分データを伝送する。送信した差分データを受取る復号装置では、到達した差分データを基に元の音声データに復元する。差分量子化方式では、符号化器及び復号器に、この差分と元の信号とを計算、変換するための共通した内部変数を持っている。従って、この方式により、符号化器及び復号器が動作している間は、符号化器及び復号器の内部変数は常に更新されている。
ＩＴＵ−Ｔ Ｇ．７１１ Ａｐｐｅｎｄｉｘ Ｉ ＩＴＵ−Ｔ Ｇ．７２６ ＩＴＵ−Ｔ Ｇ．７１１

国際的規格化機関（ＩＴＵ）が推奨している従来技術では、到来した符号化データを音声データに復号した後に音声消失の補償を行っている。また、従来技術では、音声の瞬時振幅データを伝送することが前提であり、それ以外の伝送方法を用いたときの問題に関して何ら考慮されていなかった。

しかし、復号時に以前のデータに依存するような符号化方式、例えば、公知の差分符号化方式などでは、復号処理で、現時点の音声データを過去の音声データを拠り所として求めているので、音声消失したまま復号すると意図しない音声が出力されて、音声信号を不自然に乱すことがあった。また、差分符号化方式の場合、符号化データ系列の一部が消失したとき、音声消失に応じて音声データを補間した部分と音声消失解消後に再開された復号処理により得られた音声データ部分との間で、復号器の内部変数に不連続や跳躍が生じるため、再生音声として異常な波形を出力する可能性がある。例えば、差分符号化方式では、音声消失後の再開処理により、元の波形より大きい振幅の音声データが復号により出力されるようなことが起こる。

そのため、復号時に以前のデータに依存するような符号化方式に従う符号化データの消失に対する補償を適切に行い、高い復号品質を達成することができる復号装置が望まれている。

かかる課題を解決するため、本発明は、復号時に以前のデータに依存するような符号化方式で符号化された符号化データを入力し、その符号化データを復号する復号装置において、符号化データを復号する復号手段と、この復号手段の前段側に設けられ、入力された符号化データの消失期間を補間処理により補償する消失補償手段とを有することを特徴とする。

本発明の復号装置によれば、復号後のデータではなく、復号処理に供する前のデータ段階で補償を行うようにしたので、復号時に以前のデータに依存するような符号化方式に従う符号化データでも、その消失に対する補償を適切に行うことができ、高い復号品質を達成することができる。

（Ａ）第１の実施形態
以下、本発明による復号装置の第１の実施形態を図面を参照しながら説明する。この第１の実施形態の復号装置は、音声符号化データを復号するものである。第１の実施形態の場合、音声符号化データは、差分符号化方式（例えば、ＤＰＣＭやＡＤＰＣＭなど）に従った処理をその一連の符号化処理の中に含む符号化処理に従って符号化されたものである。

第１の実施形態の復号装置は、音声データの標本点間の差分である差分データは、これに対応する音声データと同等な性質を持っているという現象に鑑み、消失時に、差分データに対して補間処理を行うことにより、音声消失補償を実行しようとしたものである。

図１は、第１の実施形態の復号装置（音声復号装置）１０の要部構成を示すブロック図である。第１の実施形態の復号装置１０は、補間器１１、復号器１２及び消失判定器１３を備えている。

第１の実施形態の復号装置１０の場合、補間器１１は復号器１２の前段に設けられており、復号装置１０に到達した差分データＣ０が補間器１１に入力される。なお、図示しない符号化装置及び当該復号装置１０間の符号化データが、差分データに対して更に伝送路符号化などを行ったものであれば、伝送路復号されて得られた差分データＣ０が補間器１１に入力される。

補間器１１は、消失判定器１３から音声消失ありが通知された場合には、差分データＣ０における該当期間（該当するフレーム期間）を後述するように補間した後、その他の場合には、入力差分データＣ０を加工せずにそのまま復号器１２に与える。補間器１１は、音声消失時の補間のために、フレーム長（例えば、１０ｍｓ）より十分長い所定時間（例えば、３９０ｍｓ）分の最新の入力差分データＣ０を保持し、この保持データをフレーム毎に更新する。そして、補間器１１は、音声消失が生じた場合には、保持しておいた差分データから音声消失期間の差分データを補間し、補間後の差分データＣ１を復号器１２に出力する。

復号器１２は、入力された差分データＣ１に対して復号処理を行い、出力音声データＯを生成するものである。この第１の実施形態の場合、復号器１２への入力差分データＣ１には、消失期間は常に存在せず、復号器１２は常時復号処理を実行する。

消失判定器１３は、補間器１１での補間が必要となる音声（符号化データ）の消失期間を判定するものである。消失判定器１３は、例えば、本来連番で変化していくはずの、フレームに挿入されているフレーム番号の欠損や跳躍を検出したときに（フレーム番号は自己で取り出してもオーバーヘッド処理部から取り込んでも良い）、フレームの欠落として消失を検出する。また、消失判定器１３は、例えば、フレームを受信しても、伝送路復号処理によっても誤り訂正できない誤りを含んでいる場合には、そのフレームについて消失とする検出する。消失判定器１３の符号化データ消失の判定方法は、上述の例に限定されるものではなく、符号化データ消失の有無が判定できればどのような方法であっても構わない。消失判定器１３は、音声消失（符号化データ消失）を検出したときには、音声消失有りを補間器１１に通知する。

補間器１１による補間方法としては、例えば、非特許文献１に開示されている、復号後の音声データに対する補間方法と同様な補間方法を適用できる。すなわち、補間器１１は、復号前の差分データ段階で補間を行うが、非特許文献１に開示されている補間方法と同様な補間方法を適用できる。すなわち、保持している過去の差分データ列の中から、消失期間の直前の所定期間（例えばフレーム）の差分データ列との相関が最も高い部分を認識し、その直後の消失期間分の差分データを消失期間の差分データとして補間する。なお、補間期間の差分データと、その前後の差分データとの接続の平滑化などを適宜行うようにしても良い。

この第１の実施形態は、復号後の音声データの段階ではなく、復号前の差分データの段階で補間処理を行うことに特徴を有しており、補間方法自体は、非特許文献１に開示されている方法に限定されるものではない。但し、差分データの波形周期性を利用した方法であることは要する。

次に、差分データを音声消失期間の補間に用いられることを図２を利用しながら説明する。図２（Ａ１）は、ある音声データ列Ａ（ｋ）を示しており（ｋは標本化時刻）、図２（Ｂ１）は、その音声データ列Ａ（ｋ）についての差分データ列Ｃ０（ｋ）＝Ａ（ｋ）−Ａ（ｋ−１）を示している。差分データ列Ｃ０（ｋ）も波形的な変動を有している。図２（Ａ２）は、音声データ列Ａ（ｋ）の周期性を示し、図２（Ｂ２）は、差分データ列Ｃ０（ｋ）の周期性を示している。ここで、図２（Ａ２）における周期は、所定期間の音声データ列Ａ（ｋ）と、Ａ（ｋ）〜Ａ（ｋ−Ｍ）との自己相関が最も大きくなる位相差（周期）であり、図２（Ｂ２）における周期は、所定期間の差分データ列Ｃ（ｋ）とＣ（ｋ）〜Ｃ（ｋ−Ｍ）との自己相関が最も大きくなる位相差（周期）である。これら図２（Ａ２）及び図２（Ｂ２）からは、差分データの周期は音声データの周期と共通した傾向があり、波形の周期性からは、差分データを音声データと同様に扱うことができることが分かる。これにより、差分データ段階で補間処理を行うこととした。

補間器１１、復号器１２及び消失判定器１３が以上のように機能することにより、伝送路などで消失することなく、復号装置１０に到達した差分データＣ０は、補間器１１をそのまま通過して復号器１２に入力され、復号されて音声データＯが再生され、一方、伝送路などで消失した差分データは、補間器１１によって、過去に到来していた差分データが利用されて補間され、その補間差分データＣ１が復号器１２に入力されて音声データＯが再生される。

上記第１の実施形態によれば、差分データの段階で補間処理を行うことにより、復号器では常に連続した信号を復号することができる。これにより、復号時に音声復号と同時に更新される復号器内の内部変数を連続的に遷移させることができ、出力される音声も連続的に遷移することができる。その結果、音声消失時の補間処理において、復号器の内部変数の不連続により発生していた復号音声の異常な振幅の発生を抑えることができ、聴感上の違和感が小さい自然な音声を出力することができる。

（Ｂ）第２の実施形態
次に、本発明による復号装置の第２の実施形態を図面を参照しながら説明する。この第２の実施形態の復号装置も、差分符号化方式（例えば、ＤＰＣＭやＡＤＰＣＭなど）に従った処理をその一連の符号化処理の中に含む符号化処理に従って符号化された音声符号化データを復号するものである。第２の実施形態の復号装置も、差分データは、これに対応する音声データと同等な周期的な性質を持っているという現象を利用しているものである。

図３は、第２の実施形態の復号装置（音声復号装置）３０の要部構成を示すブロック図である。第２の実施形態の復号装置３０は、変換器３１、補間器３２、逆変換器３３、復号器３４及び消失判定器３５を備えている。

この第２の実施形態の場合、符号化装置（図示せず）からの符号化データＣ１０は、変換器３１に入力される。第１の実施形態の場合、到来する符号化データＣ０そのものが差分データであるように説明したが、この第２の実施形態では、符号化データＣ１０は、差分データを量子化した後、符号化したものである。

変換器３１は、入力された符号化データＣ１０を波形形状データＸに変換するものである。変換器３１は、機能的には、例えば、図４に示すように、符号対差分変換器４１及び係数乗算器４２からなるが、変換器３１を、図５に示すような変換テーブルで実現することもできる。なお、図４及び図５は、説明のために作成した図面であり、実際上の符号化データＣ１０の符号語のビット数などはこれに限定されない。また、変換テーブルで実現した場合には、差分値Ｖ０への変換を実行しないで、直ちに、データＸに変換するようにしても良い。

符号対差分変換器４１は、符号化装置が差分データを量子化し、量子化された差分データに適用した符号化規則と逆の変換規則を適用し、入力された符号化データＣ１０の各符号語を、差分値Ｖ０に変換するものである。係数乗算器４２は、差分値Ｖ０に重み係数α（例えば、１０２４）を乗算し、乗算後のデータ（拡大差分データ）Ｘを補間器３２に与えるものである。符号対差分変換器４１の処理により、波形形状のデータに変換され、係数乗算器４２の処理により、そのダイナミックレンジが拡げられた。係数乗算器４２は、補間器３２が扱うビット数などを考慮して設けられたものであるが、補間器３２が扱うビット数などによっては省略するようにしても良い。

補間器３２は、第１の実施形態の補間器１１とほぼ同様なものであるのでその説明は省略する。また、消失判定器３５も、第１の実施形態の補間器１３とほぼ同様なものであるのでその説明は省略する。

逆変換器３３は、補間器３２から出力されたデータ（拡大差分データ）Ｙを、当該音声復号装置３０への入力符号化データＣ１０と同じ形式のデータＣ１１に変換して復号器３４に与えるものである。逆変換器３３は、機能的には、例えば、図６に示すように、係数乗算器５１及び差分対符号変換器５２からなるが、逆変換器３１を、図７に示すような変換テーブルで実現することもできる。なお、変換テーブルで実現した場合には、差分値Ｖ１への変換を実行しないで、直ちに、符号語Ｃ１１に変換するようにしても良い。

係数乗算器５１は、補間器３２からの出力データＹに対し、上述した重み係数αの逆数である重み係数β（例えば、１／１０２４）を乗算し、乗算後のデータ（差分データ）Ｖ１を差分対符号変換器５２に与えるものである。差分対符号変換器５２は、乗算後のデータＶ１に対し、符号化装置（図示せず）が差分データを符号語に変換するのと同様な処理を行い、符号語の系列でなる符号化データＣ１１を得て復号器３４に与えるものである。すなわち、係数乗算器５１及び差分対符号変換器５２はそれぞれ、変換器３１の符号対差分変換器４１及び係数乗算器４２の逆処理を行い、補間後のデータＹを、入力データＣ１１と同様な形式のデータに変換する。

復号器３４は、入力された符号化データＣ１１に対して復号を行い、出力音声データＯを生成する。なお、符号化データＣ１１の形式が第１の実施形態と異なっているので、復号処理も第１の実施形態とは異なっているが、その詳細説明は省略する。

上述のように、第２の実施形態によれば、符号化装置からの符号化データが、差分データを符号語に置き換えたものである場合でも、差分データに戻し、音声消失時に差分データ段階で補間し、その後、再度、符号化データに変換して復号するようにしたので、復号器へ入力される符号化データが連続的に遷移し、復号器内の内部変数も連続的に遷移する。従って、音声消失に起因した復号音声の異常な振幅の発生を抑えることができ、結果として聴感上の違和感が小さい音声を出力することができる。

（Ｃ）他の実施形態
上記各実施形態では、ネットワークを介することによる音声消失（フレーム消失）を問題とした場合を示したが、広義の通信系での音声消失を補間する場合に、本発明を適用することができる。例えば、記憶媒体からピックアップして得た符号化データにデータ欠落があり、再度のピックアップでもその部分の符号化データが得られない場合での補償に本発明を適用することができる。

また、上記各実施形態では、時刻が異なる元音声データ同士の差分である差分データを用いている場合を説明したが、ある時刻（ｔ１）の元音声データと、過去の元音声データ列から得られたその時刻ｔ１の予測音声データとの差分を問題とする差分データの情報を、直接又は処理された後に含む符号化データの消失補償にも本発明を適用することができる。

さらに、上記第２の実施形態では、符号語列を変換した波形形状のデータ（差分データ）の段階で補間するものを示したが、符号語と差分データとの対応付けによっては、波形形状のデータに変換することなく、過去の符号語列の中から、消失期間直前の所定期間の符号語列との相関が高い部分を探索して補間に用いるようにしても良い。

さらにまた、上記各実施形態では、音声データを符号化した符号化データを扱う復号装置を示したが、本発明はこれに限定されず、画像データや単なるデータを符号化した符号化データを扱う復号装置にも、本発明を適用することができる。

第１の実施形態の復号装置の要部構成を示すブロック図である。 差分データを音声消失期間の補間に利用できることの説明図である。 第２の実施形態の復号装置の要部構成を示すブロック図である。 第２の実施形態の変換器の機能的詳細構成を示すブロック図である。 第２の実施形態の変換器の変換規則の説明図である。 第２の実施形態の逆変換器の機能的詳細構成を示すブロック図である。 第２の実施形態の逆変換器の変換規則の説明図である。

符号の説明

１０、３０…復号装置、１１、３２…補間器、１２、３４…復号器、１３、３５…消失判定器、３１…変換器、３３…逆変換器。

Claims (4)

1. 復号時に以前のデータに依存するような符号化方式で符号化された符号化データを入力し、その符号化データを復号する復号装置において、
   符号化データを復号する復号手段と、
   この復号手段の前段側に設けられ、入力された符号化データの消失期間を補間処理により補償する消失補償手段と
   を有することを特徴とする復号装置。
2. 入力された符号化データが、波形形状が変化するデータであり、上記消失補償手段は、入力された過去の符号化データを、消失期間の補間データに利用することを特徴とする請求項１に記載の復号装置。
3. 入力された符号化データが、波形形状が変化するデータを符号語に置き換えたものであり、
   上記消失補償手段は、
   入力された符号化データを、波形形状が変化するデータに変換する変換部と、
   この変換部によって変換された後の過去のデータを、消失期間の補間データに利用する補間部と、
   この補間部から出力されたデータを、符号語に再度置き換える逆変換部とを有する
   ことを特徴とする請求項１に記載の復号装置。
4. 上記符号化データが、音声データを符号化したものであることを特徴とする請求項１〜３のいずれかに記載の復号装置。
   

Images