JP2004023191A - 信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラム - Google Patents
信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラム Download PDFInfo
- Publication number
- JP2004023191A JP2004023191A JP2002171987A JP2002171987A JP2004023191A JP 2004023191 A JP2004023191 A JP 2004023191A JP 2002171987 A JP2002171987 A JP 2002171987A JP 2002171987 A JP2002171987 A JP 2002171987A JP 2004023191 A JP2004023191 A JP 2004023191A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- packet
- error
- code
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
【課題】定常的でない信号部分の符号を含むパケットに伝送遅延や消失、誤りが生じた場合においても、復号信号の劣化を小さくする。
【解決手段】本発明は、符号化側において、時間的に互いに隣接するサンプルからなるディジタル信号を複数のフレームを跨いで隣接サンプルの時刻が隣接しない所定の順序でフレーム毎にベクトル量子化して対応する符号列を求め、フレーム毎に誤り検出検出符号を付与して伝送し、復号側において、誤り検出を検出し、検出されなかったフレームに対応する信号ベクトルを逆量子化し、符号化時の並べ替え順と逆に並べ替え、誤りまたは、欠落が検出されたフレームに対するサンプル値を少なくとも前後のサンプルを用いて補間して推定する。
【選択図】 図１
【解決手段】本発明は、符号化側において、時間的に互いに隣接するサンプルからなるディジタル信号を複数のフレームを跨いで隣接サンプルの時刻が隣接しない所定の順序でフレーム毎にベクトル量子化して対応する符号列を求め、フレーム毎に誤り検出検出符号を付与して伝送し、復号側において、誤り検出を検出し、検出されなかったフレームに対応する信号ベクトルを逆量子化し、符号化時の並べ替え順と逆に並べ替え、誤りまたは、欠落が検出されたフレームに対するサンプル値を少なくとも前後のサンプルを用いて補間して推定する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラムに係り、特に、インターネットプロトコル等のパケット伝送路において、パケットの伝送遅延や消失や誤りが生じた場合でも、伝送遅延や消失、誤りが生じたパケットに相当する復号信号を精度よく再生し、定常的でない信号部分の符号を含むパケットに伝送遅延や消失、誤りが生じた場合であっても、復号信号の劣化を小さくすることが可能な信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラムに関する。
【０００２】
【従来の技術】
近年、ファイル転送やデータ転送のみならず、一般通話等の音響信号通信も、インターネットプロトコルなどによりパケット通信で実現されるようになってきている。このパケット通信では、音響信号をディジタル化して符号列とし、これをパケットに格納して音響信号通信を行う。伝送路を効率良く利用するために、ディジタル化された音響信号を能率よく圧縮する、ＩＴＵ−Ｔ標準Ｇ．７２９などの音声符号化方法が利用される場合も多い。一般に、パケット通信用の音響信号符号化方法は、これらの音声符号化方法と符号をパケットに格納する手段とを組み合わせることにより実現される。
【０００３】
図５は、従来のパケット通信用の音響信号符号化方法の基本構成を示すブロック図である。また、図６は、従来のパケット通信用の音響信号符号化方法における信号、符号、パケットの流れを示す図である。
【０００４】
図６では、２４サンプルのディジタル音響信号を符号化して４つのパケットに格納する場合の例を示しており、点線による曲線は、このディジタル音響信号の元となったアナログ信号波形である。
【０００５】
これらの図を用いて従来の信号符号化方法について説明する。
【０００６】
まず、入力されたディジタル音響信号ｓ（１），ｓ（２），…，Ｓ（２４）は、フレーム化手段１において、信号ｓ（１）〜ｓ（６）は、フレームＦ（１）に、信号ｓ（７）〜ｓ（１２）は、フレームＦ（２）に、信号ｓ（１３）〜ｓ（１８）は、フレームＦ（３）に、信号ｓ（１９）〜ｓ（２４）は、フレーム（４）に格納される。
【０００７】
次に、量子化手段２において、フレームＦ（１）は符号列Ｃ（１）に、フレームＦ（２）は符号列Ｃ（２）に、フレームＦ（３）は符号列Ｃ（３）に、フレームＦ（４）は符号列Ｃ（４）にそれぞれ変換される。これらフレーム化手段１と、量子化手段２が先に述べたＧ．７２９音声符号化などに相当する部分である。さらに、パケット格納手段３において、符号列Ｃ（１）はパケットＰ（１）に、符号列Ｃ（２）はパケットＰ（２）に、符号列Ｃ（３）はパケットＰ（３）に、符号列Ｃ（４）はパケットＰ（４）にそれぞれに格納されて、これらのパケットＰ（１）〜Ｐ（４）が出力される。
【０００８】
図７は、従来のパケット通信用の音響復号化方法の基本構成を示し、図８は、従来のパケット通信用の音響信号復号化における信号、符号、パケットの流れを示す。
【０００９】
図８は、１つの誤りパケットを含む４つのパケットから２４サンプルの復号ディジタル音響信号を得る場合の例であり、同図の点線による曲線は復号ディジタル音響信号をＤＡ変換して得られるアナログ信号波形である。
【００１０】
これらの図を用いて従来の信号復号方法について説明する。
【００１１】
まず、パケット消失誤り判定部４において、入力されたパケットＰ’（１）〜Ｐ’（４）の消失や誤りの判定が行われる。ここで、パケットＰ’（１），Ｐ’（３），Ｐ’（４）については誤りが検出されず、パケットＰ’（２）については誤りが検出される。誤りが検出されなかったパケットＰ’（１），Ｐ’（３），Ｐ’（４）は、次段に送られ、誤りが検出されたＰ’（２）については、パケット誤り情報Ｅ（２）が復号信号生成手段８に送られる。
【００１２】
次に、サブ符号列生成手段５において、パケット消失誤り判定手段４にて誤りが検出されなかったパケットＰ’（１）から符号列Ｃ’（１）が、パケットＰ’（３）から符号列Ｃ’（３）が、パケットＰ’（４）から符号列Ｃ’（４）が取り出され、符号列Ｃ’（１），Ｃ’（３），Ｃ’（４）が得られる。
【００１３】
さらに、逆量子化手段６において、符号列Ｃ’（１）は、フレームＦ’（１）に、符号列Ｃ’（３）はフレームＦ’（３）に、符号列Ｃ’（４）はフレームＦ’（４）にそれぞれ変換され、逆フレーム化手段において、フレームＦ’（１）から復号信号ｓ’（１）〜ｓ’（６）が、フレームＦ’（３）から復号信号ｓ’（１３）〜ｓ’（１８）が、フレームＦ’（４）から復号信号ｓ’（１９）〜ｓ’（２４）が取り出され、信号列ｓ’（１）〜ｓ’（６），ｓ’（１３）〜ｓ’（２４）が復号信号生成手段８に送られる。
【００１４】
最後に、復号信号生成手段８において、入力された信号列ｓ’（１）〜ｓ’（６），ｓ’（１３）〜ｓ’（２４）については、このまま、パケット誤り情報Ｅ（２）が入力された誤りパケットＰ’（２）に対応する復号ディジタル音響信号ｓ’（７）〜ｓ’（１２）については、値を０として、復号ディジタル音響信号ｓ’（１）〜ｓ’（２４）を得る。
【００１５】
【発明が解決しようとする課題】
しかしながら、パケット通信においては、伝送遅延により復号化時にパケットが未着であったり、伝送路でパケットが消失したり、伝送誤りにより復号化時にパケットに誤りが生じていたりして、パケットが正しく受信されない場合がある。
【００１６】
従来の信号符号化方法及び信号復号化方法では、上記で述べたように、パケットが正しく受信されない部分については、正しい復号信号を得ることができない。これにより、この部分を無音とするなどの処理を行うが、復号音響信号の著しい劣化は避けられないという問題がある。
【００１７】
この劣化の度合を小さくするため、信号復号方法において、誤りパケットに対応する復号音響信号をその前後にパケットに対応する符号列や復号音響信号から擬似的に再生する方法も提案されているが、定常的な音響信号部分については劣化を抑えることができるものの、定常的でない音響信号部分については、著しい劣化が避けられないという問題がある。
【００１８】
このように、従来の信号符号化方法及び信号復号化方法では、パケット通信伝送に適用した場合において、定常的でない信号部分の符号を含むパケットに伝送遅延や消失、誤りが生じた場合に、復号信号の著しい劣化が避けられないという問題がある。
【００１９】
本発明は、上記の点に鑑みなされたもので、定常的でない信号部分の符号を含むパケットに伝送遅延や消失、誤りが生じた場合においても、復号信号の劣化の小さい信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラムを提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明は、ディジタル信号をフレーム毎に符号列に変換し、該符号列を含むパケットを出力する信号符号化方法において、
ディジタル信号を隣合う信号が同一のサブ信号列に格納されないように複数のサブ信号列に分割してフレーム毎に複数のサブ符号列に変換し、
それぞれのサブ符号列が同一のパケットに格納されないようにパケットに格納して出力する。
【００２１】
本発明は、ディジタル信号に対応する符号を格納したパケットから符号列を取り出してフレーム毎に復号ディジタル信号を再生する信号復号化方法において、隣合う信号に対応する符号を同一のパケットを含まないパケットが入力されると、パケットの消失や誤りの検出を行い、
消失や誤りが検出されないパケットについては、これに含まれる符号から復号信号を得て復号ディジタル信号とし、
消失や誤りが検出されたパケットについては、これに含まれる符号からの復号信号ではなく、消失や誤りが検出されない直前及び直後のパケットに含まれる符号から正しく復号された直前の及び直後のそれぞれ１つ、または、複数の復号ディジタル信号値から補間した信号値の集まりを消失や誤りが検出されたパケットに対応する復号ディタル信号とする。
【００２２】
本発明の信号復号化方法は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前と直後の信号値の平均値を補間した信号値とする。
【００２３】
本発明の信号復号化方法は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値から線形予測した値を補間した信号値とする。
【００２４】
本発明の信号復号化方法は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値をアップサンプリングすることにより得られた値を補間した信号値とする。
本発明は、ディジタル信号をフレーム毎に符号列に変換し、これを含むパケットを出力する信号符号化装置であって、
ディジタル信号を隣合う信号が同一のサブ信号列に格納されないように複数のサブ信号列に分割する信号列分割手段と、
分割された複数の信号列をそれぞれのフレーム列にフレーム化する複数のフレーム化手段と、
フレーム列をそれぞれサブ符号列に変換する複数の量子化手段と、
サブ符号列が同一のパケットに格納されないようにパケットに格納して出力するパケット格納手段と、を有する。
【００２５】
本発明は、ディジタル信号に対応する符号を格納したパケットから符号列を取り出してフレーム毎に復号ディジタル信号を再生する信号復号化装置であって、
隣合う信号に対応する符号を同一のパケットに含まないパケットが入力されると、パケットの消失や誤りの検出を行い、消失または誤りがあるパケットの誤り情報及び、パケットの消失及び誤りのないパケットを出力するパケット消失誤り判定手段と、
パケットから複数の符号列を取り出し、これら複数の符号列を出力する符号列分割手段と、
符号列分割手段から出力された複数の符号列をそれぞれ逆量子化する複数の逆量子化手段と、
複数の逆量子化手段から得られた複数のフレーム列をそれぞれサブ信号列化する複数の逆フレーム化手段と、
消失や誤りが検出されないパケットについては、これに含まれる符号からの復号信号を得て出力ディジタル信号とし、消失や誤りが検出されたパケットについては、これに含まれる符号からの復号信号ではなく、消失や誤りが検出されない直前及び直後のパケットに含まれる符号から正しく復号された直前及び直後のそれぞれ１つまたは、複数の復号ディジタル信号値から補間した信号値の集まりを該消失や誤りが検出されたパケットに対応する復号ディジタル信号とする復号信号生成手段と、を有する。
【００２６】
本発明の信号復号化装置の復号信号生成手段は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前と直後の信号値の平均値を補間した信号値とする手段を含む。
【００２７】
本発明の信号復号化装置の復号信号生成手段は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値から線形予測した値を補間した信号値とする手段を含む。
【００２８】
本発明の信号復号化装置の復号信号生成手段は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値をアップサンプリングすることにより得られた値を補間した信号値とする手段を含む。
【００２９】
本発明は、ディジタル信号をフレーム毎に符号列に変換し、該符号列を含むパケットを出力することをコンピュータに実行させる信号符号化プログラムであって、
ディジタル信号を隣合う信号が同一のサブ信号列に格納されないように複数のサブ信号列に分割してフレーム毎に複数のサブ符号列に変換するステップと、
それぞれのサブ符号列が同一のパケットに格納されないようにパケットに格納して出力するステップと、をコンピュータに実行させる。
【００３０】
本発明は、ディジタル信号に対応する符号を格納したパケットから符号列を取り出してフレーム毎に復号ディジタル信号を再生することをコンピュータに実行させる信号復号化プログラムであって、
隣合う信号に対応する符号を同一のパケットを含まないパケットが入力されると、パケットの消失や誤りの検出を行うパケット消失誤り判定ステップと、
消失や誤りが検出されないパケットについては、これに含まれる符号から復号信号を得て復号ディジタル信号とし、消失や誤りが検出されたパケットについては、これに含まれる符号からの復号信号ではなく、消失や誤りが検出されない直前及び直後のパケットに含まれる符号から正しく復号された直前の及び直後のそれぞれ１つ、または、複数の復号ディジタル信号値から補間した信号値の集まりを消失や誤りが検出されたパケットに対応する復号ディタル信号とする復号信号生成ステップと、をコンピュータに実行させる。
【００３１】
本発明の信号復号化プログラムの復号信号生成ステップは、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前と直後の信号値の平均値を補間した信号値とするステップを含む。
【００３２】
本発明の信号復号化プログラムの復号信号生成ステップは、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値から線形予測した値を補間した信号値とするステップを含む。
【００３３】
本発明の信号復号化プログラムの復号信号生成ステップは、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値をアップサンプリングすることにより得られた値を補間した信号値とするステップを含む。
【００３４】
上記のように、本発明では、符号化側（信号符号化装置）において、時間的に互いに隣接するサンプルからなるディジタル信号を複数のフレームを跨いで隣接サンプルの時刻が隣接しない所定の順序でフレーム毎にベクトル量子化して対応する符号列を求め、フレーム毎に誤り検出もしくは、欠落検出符号を付与して伝送対象とし、復号側（信号復号装置）において、誤り検出もしくは、欠落を検出し、検出されなかったフレームに対応する信号ベクトルを逆量子化し、符号化時の並べ替え順と逆に並べ替え、誤りまたは、欠落が検出されたフレームに由来するサンプル値を少なくとも前後のサンプルを用いて補間して推定する。これにより、誤りまたは、欠落等の伝送誤りに対する品質劣化を防ぐことが可能となる。
【発明の実施の形態】
図１は、本発明の一実施の形態における信号符号化装置の基本構成を示す図である。
【００３５】
図１に示す信号符号化装置１０は、信号列分割部１１、第１のフレーム化部１２、第２フレーム化部１３、第量子化部１４、第２量子化部１５、及びパケット格納部１６から構成される。
【００３６】
信号列分割部１１は、入力された入力ディジタル音響信号を隣合う信号が同一のサブ信号列に格納されないように複数のサブ信号列に分割する。
【００３７】
第１フレーム化部１２、第２フレーム化部１３は、サブ信号列をそれぞれフレーム列にフレーム化する。本実施の形態では、当該フレーム化部を２つ設ける構成としているが、信号列分割部１１において分割されたサブ信号列の数に対応するものとする。
【００３８】
第１量子化部１４、第２量子化部１５は、各フレーム化部１２、１３から取得したフレーム列をそれぞれサブ符号列に変換する。
【００３９】
パケット格納部１６は、各量子化部１４、１５から取得したサブ符号列が同一のパケットに格納されないようにパケットに格納してパケット伝送路に出力する。
【００４０】
図２は、本発明の一実施の形態における信号符号化方法における信号、符号、パケットの流れを示す。
【００４１】
同図において、２４サンプルのディジタル音響信号を符号化して４つのパケットに格納する場合の例を示しており、同図における点線による曲線は、このディジタル音響信号の元となったアナログ信号波形である。
【００４２】
図１、図２に基づいて、信号符号化方法について説明する。
【００４３】
まず、入力されたディジタル音響信号ｓ（１），ｓ（２），…，ｓ（２４）は、信号列分割部１１において、隣合う信号が同一のサブ信号列に含まれないように、奇数番目の信号ｓ（１），ｓ（３），…，ｓ（２３）は、第１サブ信号列に、偶数番目の信号ｓ（２），ｓ（４），ｓ（２４）は、第２サブ信号列に格納される。
【００４４】
次に、第１のサブ信号列ｓ（１），ｓ（３），…ｓ（２３）は、第１フレーム化部１２において、信号ｓ（１），ｓ（３），…，ｓ（１１）は、サブフレームＳＦ１（１）に、信号ｓ（１３），ｓ（１５），…，ｓ（２３）は、サブフレームＳＦ１（２）に格納され、第１フレーム列ＳＦ１（２），ＳＦ１（２）が得られる。
【００４５】
同様に、第２サブ信号列ｓ（２），ｓ（４），…，ｓ（２４）は、第２フレーム化部１３において、信号ｓ（２），ｓ（４），…，ｓ（１２）は、サブフレームＳＦ２（１）に、信号ｓ（１４），ｓ（１６），…ｓ（２４）は、サブフレームＳＦ２（２）に格納され、第２フレーム列ＳＦ２（１），ＳＦ２（２）が得られる。第２フレーム列ＳＦ２（１），ＳＦ２（２）は、第２量子化部１５において、サブフレームＳＦ２（１）は符号列ＳＣ２（１）に、サブフレームＳＦ２（２）は、符号列ＳＣ２（２）に変換され、第２符号列ＳＣ２（１），ＳＣ２（２）が得られる。第１フレーム列ＳＦ１（１），ＳＦ１（２）は、第１量子化部１４において、サブクレームＳＦ１（１）は、符号列ＳＣ１（１）に、サブフレームＳＦ１（２）は、符号列ＳＣ１（２）に変換され、第１符号列ＳＣ１（１），ＳＣ１（２）が得られる。
【００４６】
これら、第１フレーム化部１２と第１量子化部１４、及び第２フレーム化部１３と第２量子化部１５が、それぞれ先に述べたＧ．７２９音声符号化（時間領域信号に対する処理を基本とする符号励振線形予測符号化方法”Ｃｏｄｅ−Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ（ＣＥＬＰ） ）などに相当する部分である。
【００４７】
さらに、パケット格納部１６において、符号列ＳＣ１（１）は、パケットＰ（１）に、符号列ＳＣ２（１）は、パケットＰ（２）に、符号列ＳＣ１（２）は、パケットＰ（３）に、符号列ＳＣ２（２）は、パケットＰ４（４）にそれぞれ格納されて、これらのパケットＰ（１）〜Ｐ（４）が出力される。なお、このとき、フレーム毎に符号列を誤りや欠落検出符号と組にしてパケットとして、パケット伝送路に出力される。
【００４８】
図３は、本発明の一実施の形態における信号復号化装置の基本構成を示す。
【００４９】
同図に示す信号復号化装置２０は、パケット消失誤り判定部２１、符号列分割部２２、第１逆量子化部２３、第２逆量子化部２４、第１逆フレーム化部２５、第２逆フレーム化部２６、復号信号生成部２７から構成される。
【００５０】
パケット消失誤り判定部２１は、隣合う信号に対応する符号を同一のパケットを含まないパケットが入力されると、パケットの消失や誤りの検出を行い、消失または、誤りがあるパケットの誤り情報、及び、消失及び誤りのないパケットを出力する。
【００５１】
符号列分割部２２は、パケットから複数の符号列を取り出し、これら複数の符号列を対応する複数の逆量子化部２３、２４に送る。
【００５２】
第１・第２の逆量子化部２３、２４は、複数の符号列をそれぞれ逆量子化する。
【００５３】
第１・第２の逆フレーム化部２５、２６は、複数の逆量子化部２３、２４から得られた複数のフレーム列をそれぞれサブ信号列化する。
【００５４】
復号信号生成部２７は、第１・第２の逆フレーム化部２５、２６から送られたパケット消失誤り判定部２１から送られた消失や誤りが検出されないパケットについては、これに含まれる符号からの復号信号を出力ディジタル信号とし、パケット消失誤り判定部２１で検出されたパケット誤り情報Ｅ（２）については、これに含まれる符号からの復号信号ではなく、消失や誤りが検出されない直前及び直後のパケットに含まれる符号から正しく復号された直前及び直後のそれぞれ１つまたは、複数の復号ディジタル信号値から補間した信号値の集まりを、消失や誤りが検出されたパケットに対応する復号ディジタル信号とする。
【００５５】
図４は、本発明の一実施の形態における信号復号化方法における信号、符号、パケットの流れを示す。同図において、１つの誤りパケットを含む４つのパケットから２４サンプルの復号ディジタル音響信号を得る場合の例である。図４の点線による曲線は、この復号ディジタル音響信号をＤＡ変換して得られるアナログ信号波形である。
【００５６】
まず、パケット消失誤り判定部２１において、入力されたＰ’（１）〜Ｐ’（４）の消失や誤りの判定が行われる。なお、当該パケット消失や誤りの判定は、誤り（欠落）検出符号を用いて、そのパケットが誤り（欠落）したものかを検出することであり、この方法としては既存の方法を用いるものとする。 ここで、パケットＰ’（１），Ｐ’（３），Ｐ’（４）については、誤りが検出されず、パケットＰ’（２）については誤りが検出される。誤りが検出されなかったパケットＰ’（１），Ｐ’（３），Ｐ’（４）は、次段の符号分割部２２に送られ、誤りが検出されたＰ’（２）については、パケット誤り情報Ｅ（２）が復号信号生成部２７に送られる。
【００５７】
次に、符号列分割部２２において、パケット消失誤り判定部２１にて誤りが検出されなかったパケットＰ’（１）から符号列ＳＣ１’（１）が、パケットＰ’（３）から符号列ＳＣ１’（２）が、パケットＰ’（４）から符号列ＳＣ２’（２）が取り出され、符号列ＳＣ１’（１），ＳＣ１’（２），ＳＣ２’（２）が得られる。ここで、第１符号列ＳＣ１’（１），ＳＣ１’（２）は、第１逆量子化部２３に送られ、第２符号列ＳＣ２’（２）は、第２逆量子化部２４に送られる。
【００５８】
さらに、第１逆量子化部２３において、符号列ＳＣ１’（１）は、フレームＳＦ１’（１）に、符号列ＳＣ１’（２）はフレームＳＦ１’（２）に変換され、第１逆フレーム化部２５において、フレームＳＦ１’（１）から復号信号ｓ’（１），ｓ’（３），…，ｓ’（１１）が、フレームＳＦ１’（２）から復号信号ｓ’（１３），ｓ’（１５），…，ｓ’（２３）が取り出され、第１サブ信号列ｓ’（１），ｓ’（３），…，ｓ’（２３）が復号信号生成部２７に送られる。同様に、第２逆量子化部２６において、符号列ＳＣ２’（２）は、フレームＳＦ２’（２）に変換され、、第２逆フレーム化部２６において、フレームＳＦ２’（２）から復号信号ｓ’（１４），ｓ’（１６），…，ｓ’（２４）が、取り出され、第２サブ信号列ｓ’（１４），ｓ’（１６），…，ｓ’（２４）が復号信号生成部２７に送られる。
【００５９】
最後に、復号信号生成部２７において、消失や誤りが検出されたパケットに対応する信号について補間を行う。補間の方法としては、以下の方法が考えられる。
【００６０】
▲１▼ 正しく復号された直前の復号ディジタル信号値と直後の復号ディジタル信号値の平均値を補間した信号値とする。
【００６１】
▲２▼ 正しく復号された直前の複数の復号ディジタル信号値及び直後の複数の復号ディジタル信号値から線形予測した値を補間した信号値とする。
【００６２】
▲３▼ 正しく復号された直前の複数の復号ディジタル信号値及び直後の複数の復号ディジタル信号値をアップサンプリングすることにより得られる値を補間した信号値する。
【００６３】
具体的には、入力された信号列ｓ’（１），ｓ’（３），…，ｓ’（１１），ｓ’（１３）〜ｓ’（２４）についてはそのままとし、パケット誤り情報Ｅ（２）が入力された誤りパケットＰ’（２）に対応する復号ディジタル音響信号ｓ’（２），ｓ’（４），…，ｓ’（１２）については隣接する復号信号ｓ’（１），ｓ’（３），…ｓ’（１１）等から補間した値をｓ’（２），ｓ’（４），…，ｓ’（１２）とすることにより、復号ディジタル音響信号ｓ’（１）〜ｓ’（２４）を得る。
【００６４】
ここで、▲１▼の前後の信号値の平均を復号信号値とする方法について説明する。
例えば、
ｓ’（２）＝（ｓ’（１）＋ｓ’（３））／２，
ｓ’（４）＝（ｓ’（３）＋ｓ’（５））／２，
ｓ’（６）＝（ｓ’（５）＋ｓ’（７））／２，
ｓ’（８）＝（ｓ’（７）＋ｓ’（９））／２，
ｓ’（１０）＝（ｓ’（９）＋ｓ’（１１））／２，
ｓ’（１２）＝（ｓ’（１１）＋ｓ’（１３））／２，
のように、前後の信号値の平均を復号信号値とする方法がある。
【００６５】
以上述べたように、パケットの遅延や消失、誤りが生じる伝送路を介して本実施の形態に示した信号符号化方法及び信号復号化方法を用いて音響信号伝送を行うことにより、パケットの遅延や消失、誤りが生じた場合でも、このパケットに対応する復号音響信号をその直前、直後の正しい復号音響信号から補間して再生できることから、定常的でない信号部分についても精度よく復号信号を再生することができ、復号信号の劣化の小さい信号符号化方法、信号復号化方法を提供することができる。
【００６６】
また、上記の実施の形態では、図１及び図３に示す信号符号化装置及び信号復号化装置に基づいて説明しているが、信号符号化装置及び信号符号化装置の各構成要素をプログラムとして構築し、信号符号化装置及び信号符号化装置として利用されるコンピュータにインストールして、当該コンピュータに実行させる、または、ネットワークを介して流通させることが可能である。
【００６７】
また、構築されたプログラムを信号符号化装置及び信号符号化装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にコンピュータにインストールすることも可能である。
【００６８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００６９】
【発明の効果】
上述のように、本発明によれば、信号符号化方法では、隣合う信号に対応する符号を異なるパケットに格納して、信号復号化方法では、パケットの消失や誤りにより復号信号を得られない部分について、直前、直後の復号信号を用いて補間して復号信号を再生する。
【００７０】
これにより、伝送遅延や消失、誤りが生じたパケットに相当する復号信号を精度よく再生することができることから、定常的でない信号部分の符号を含むパケットに伝送遅延や消失、誤りが生じた場合においても、復号信号の劣化の小さい信号符号化や信号復号化が実現できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における信号符号化装置の基本構成図である。
【図２】本発明の一実施の形態の符号化における信号・符号・パケットの流れを示す図である。
【図３】本発明の一実施の形態における信号復号化装置の基本構成図である。
【図４】本発明の一実施の形態の復号化における信号・符号・パケットの流れを示す図である。
【図５】従来の信号符号化装置の基本構成図である。
【図６】従来の信号符号化における信号・符号・パケットの流れを示す図である。
【図７】従来の信号復号化装置の基本構成図である。
【図８】従来の信号符号化における入力から出力までの流れを示す図である。
【符号の説明】
１０ 信号符号化装置
１１ 信号列分割部
１２ 第１フレーム化部
１３ 第２フレーム化部
１４ 第１量子化部
１５ 第２量子化部
１６ パケット格納部
２０ 信号復号化装置
２１ パケット消失誤り判定部
２２ 符号列分割部
２３ 第１逆量子化部
２４ 第２逆量子化部
２５ 第１逆フレーム化部
２６ 第２逆フレーム化部
２７ 復号信号生成部
【発明の属する技術分野】
本発明は、信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラムに係り、特に、インターネットプロトコル等のパケット伝送路において、パケットの伝送遅延や消失や誤りが生じた場合でも、伝送遅延や消失、誤りが生じたパケットに相当する復号信号を精度よく再生し、定常的でない信号部分の符号を含むパケットに伝送遅延や消失、誤りが生じた場合であっても、復号信号の劣化を小さくすることが可能な信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラムに関する。
【０００２】
【従来の技術】
近年、ファイル転送やデータ転送のみならず、一般通話等の音響信号通信も、インターネットプロトコルなどによりパケット通信で実現されるようになってきている。このパケット通信では、音響信号をディジタル化して符号列とし、これをパケットに格納して音響信号通信を行う。伝送路を効率良く利用するために、ディジタル化された音響信号を能率よく圧縮する、ＩＴＵ−Ｔ標準Ｇ．７２９などの音声符号化方法が利用される場合も多い。一般に、パケット通信用の音響信号符号化方法は、これらの音声符号化方法と符号をパケットに格納する手段とを組み合わせることにより実現される。
【０００３】
図５は、従来のパケット通信用の音響信号符号化方法の基本構成を示すブロック図である。また、図６は、従来のパケット通信用の音響信号符号化方法における信号、符号、パケットの流れを示す図である。
【０００４】
図６では、２４サンプルのディジタル音響信号を符号化して４つのパケットに格納する場合の例を示しており、点線による曲線は、このディジタル音響信号の元となったアナログ信号波形である。
【０００５】
これらの図を用いて従来の信号符号化方法について説明する。
【０００６】
まず、入力されたディジタル音響信号ｓ（１），ｓ（２），…，Ｓ（２４）は、フレーム化手段１において、信号ｓ（１）〜ｓ（６）は、フレームＦ（１）に、信号ｓ（７）〜ｓ（１２）は、フレームＦ（２）に、信号ｓ（１３）〜ｓ（１８）は、フレームＦ（３）に、信号ｓ（１９）〜ｓ（２４）は、フレーム（４）に格納される。
【０００７】
次に、量子化手段２において、フレームＦ（１）は符号列Ｃ（１）に、フレームＦ（２）は符号列Ｃ（２）に、フレームＦ（３）は符号列Ｃ（３）に、フレームＦ（４）は符号列Ｃ（４）にそれぞれ変換される。これらフレーム化手段１と、量子化手段２が先に述べたＧ．７２９音声符号化などに相当する部分である。さらに、パケット格納手段３において、符号列Ｃ（１）はパケットＰ（１）に、符号列Ｃ（２）はパケットＰ（２）に、符号列Ｃ（３）はパケットＰ（３）に、符号列Ｃ（４）はパケットＰ（４）にそれぞれに格納されて、これらのパケットＰ（１）〜Ｐ（４）が出力される。
【０００８】
図７は、従来のパケット通信用の音響復号化方法の基本構成を示し、図８は、従来のパケット通信用の音響信号復号化における信号、符号、パケットの流れを示す。
【０００９】
図８は、１つの誤りパケットを含む４つのパケットから２４サンプルの復号ディジタル音響信号を得る場合の例であり、同図の点線による曲線は復号ディジタル音響信号をＤＡ変換して得られるアナログ信号波形である。
【００１０】
これらの図を用いて従来の信号復号方法について説明する。
【００１１】
まず、パケット消失誤り判定部４において、入力されたパケットＰ’（１）〜Ｐ’（４）の消失や誤りの判定が行われる。ここで、パケットＰ’（１），Ｐ’（３），Ｐ’（４）については誤りが検出されず、パケットＰ’（２）については誤りが検出される。誤りが検出されなかったパケットＰ’（１），Ｐ’（３），Ｐ’（４）は、次段に送られ、誤りが検出されたＰ’（２）については、パケット誤り情報Ｅ（２）が復号信号生成手段８に送られる。
【００１２】
次に、サブ符号列生成手段５において、パケット消失誤り判定手段４にて誤りが検出されなかったパケットＰ’（１）から符号列Ｃ’（１）が、パケットＰ’（３）から符号列Ｃ’（３）が、パケットＰ’（４）から符号列Ｃ’（４）が取り出され、符号列Ｃ’（１），Ｃ’（３），Ｃ’（４）が得られる。
【００１３】
さらに、逆量子化手段６において、符号列Ｃ’（１）は、フレームＦ’（１）に、符号列Ｃ’（３）はフレームＦ’（３）に、符号列Ｃ’（４）はフレームＦ’（４）にそれぞれ変換され、逆フレーム化手段において、フレームＦ’（１）から復号信号ｓ’（１）〜ｓ’（６）が、フレームＦ’（３）から復号信号ｓ’（１３）〜ｓ’（１８）が、フレームＦ’（４）から復号信号ｓ’（１９）〜ｓ’（２４）が取り出され、信号列ｓ’（１）〜ｓ’（６），ｓ’（１３）〜ｓ’（２４）が復号信号生成手段８に送られる。
【００１４】
最後に、復号信号生成手段８において、入力された信号列ｓ’（１）〜ｓ’（６），ｓ’（１３）〜ｓ’（２４）については、このまま、パケット誤り情報Ｅ（２）が入力された誤りパケットＰ’（２）に対応する復号ディジタル音響信号ｓ’（７）〜ｓ’（１２）については、値を０として、復号ディジタル音響信号ｓ’（１）〜ｓ’（２４）を得る。
【００１５】
【発明が解決しようとする課題】
しかしながら、パケット通信においては、伝送遅延により復号化時にパケットが未着であったり、伝送路でパケットが消失したり、伝送誤りにより復号化時にパケットに誤りが生じていたりして、パケットが正しく受信されない場合がある。
【００１６】
従来の信号符号化方法及び信号復号化方法では、上記で述べたように、パケットが正しく受信されない部分については、正しい復号信号を得ることができない。これにより、この部分を無音とするなどの処理を行うが、復号音響信号の著しい劣化は避けられないという問題がある。
【００１７】
この劣化の度合を小さくするため、信号復号方法において、誤りパケットに対応する復号音響信号をその前後にパケットに対応する符号列や復号音響信号から擬似的に再生する方法も提案されているが、定常的な音響信号部分については劣化を抑えることができるものの、定常的でない音響信号部分については、著しい劣化が避けられないという問題がある。
【００１８】
このように、従来の信号符号化方法及び信号復号化方法では、パケット通信伝送に適用した場合において、定常的でない信号部分の符号を含むパケットに伝送遅延や消失、誤りが生じた場合に、復号信号の著しい劣化が避けられないという問題がある。
【００１９】
本発明は、上記の点に鑑みなされたもので、定常的でない信号部分の符号を含むパケットに伝送遅延や消失、誤りが生じた場合においても、復号信号の劣化の小さい信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラムを提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明は、ディジタル信号をフレーム毎に符号列に変換し、該符号列を含むパケットを出力する信号符号化方法において、
ディジタル信号を隣合う信号が同一のサブ信号列に格納されないように複数のサブ信号列に分割してフレーム毎に複数のサブ符号列に変換し、
それぞれのサブ符号列が同一のパケットに格納されないようにパケットに格納して出力する。
【００２１】
本発明は、ディジタル信号に対応する符号を格納したパケットから符号列を取り出してフレーム毎に復号ディジタル信号を再生する信号復号化方法において、隣合う信号に対応する符号を同一のパケットを含まないパケットが入力されると、パケットの消失や誤りの検出を行い、
消失や誤りが検出されないパケットについては、これに含まれる符号から復号信号を得て復号ディジタル信号とし、
消失や誤りが検出されたパケットについては、これに含まれる符号からの復号信号ではなく、消失や誤りが検出されない直前及び直後のパケットに含まれる符号から正しく復号された直前の及び直後のそれぞれ１つ、または、複数の復号ディジタル信号値から補間した信号値の集まりを消失や誤りが検出されたパケットに対応する復号ディタル信号とする。
【００２２】
本発明の信号復号化方法は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前と直後の信号値の平均値を補間した信号値とする。
【００２３】
本発明の信号復号化方法は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値から線形予測した値を補間した信号値とする。
【００２４】
本発明の信号復号化方法は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値をアップサンプリングすることにより得られた値を補間した信号値とする。
本発明は、ディジタル信号をフレーム毎に符号列に変換し、これを含むパケットを出力する信号符号化装置であって、
ディジタル信号を隣合う信号が同一のサブ信号列に格納されないように複数のサブ信号列に分割する信号列分割手段と、
分割された複数の信号列をそれぞれのフレーム列にフレーム化する複数のフレーム化手段と、
フレーム列をそれぞれサブ符号列に変換する複数の量子化手段と、
サブ符号列が同一のパケットに格納されないようにパケットに格納して出力するパケット格納手段と、を有する。
【００２５】
本発明は、ディジタル信号に対応する符号を格納したパケットから符号列を取り出してフレーム毎に復号ディジタル信号を再生する信号復号化装置であって、
隣合う信号に対応する符号を同一のパケットに含まないパケットが入力されると、パケットの消失や誤りの検出を行い、消失または誤りがあるパケットの誤り情報及び、パケットの消失及び誤りのないパケットを出力するパケット消失誤り判定手段と、
パケットから複数の符号列を取り出し、これら複数の符号列を出力する符号列分割手段と、
符号列分割手段から出力された複数の符号列をそれぞれ逆量子化する複数の逆量子化手段と、
複数の逆量子化手段から得られた複数のフレーム列をそれぞれサブ信号列化する複数の逆フレーム化手段と、
消失や誤りが検出されないパケットについては、これに含まれる符号からの復号信号を得て出力ディジタル信号とし、消失や誤りが検出されたパケットについては、これに含まれる符号からの復号信号ではなく、消失や誤りが検出されない直前及び直後のパケットに含まれる符号から正しく復号された直前及び直後のそれぞれ１つまたは、複数の復号ディジタル信号値から補間した信号値の集まりを該消失や誤りが検出されたパケットに対応する復号ディジタル信号とする復号信号生成手段と、を有する。
【００２６】
本発明の信号復号化装置の復号信号生成手段は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前と直後の信号値の平均値を補間した信号値とする手段を含む。
【００２７】
本発明の信号復号化装置の復号信号生成手段は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値から線形予測した値を補間した信号値とする手段を含む。
【００２８】
本発明の信号復号化装置の復号信号生成手段は、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値をアップサンプリングすることにより得られた値を補間した信号値とする手段を含む。
【００２９】
本発明は、ディジタル信号をフレーム毎に符号列に変換し、該符号列を含むパケットを出力することをコンピュータに実行させる信号符号化プログラムであって、
ディジタル信号を隣合う信号が同一のサブ信号列に格納されないように複数のサブ信号列に分割してフレーム毎に複数のサブ符号列に変換するステップと、
それぞれのサブ符号列が同一のパケットに格納されないようにパケットに格納して出力するステップと、をコンピュータに実行させる。
【００３０】
本発明は、ディジタル信号に対応する符号を格納したパケットから符号列を取り出してフレーム毎に復号ディジタル信号を再生することをコンピュータに実行させる信号復号化プログラムであって、
隣合う信号に対応する符号を同一のパケットを含まないパケットが入力されると、パケットの消失や誤りの検出を行うパケット消失誤り判定ステップと、
消失や誤りが検出されないパケットについては、これに含まれる符号から復号信号を得て復号ディジタル信号とし、消失や誤りが検出されたパケットについては、これに含まれる符号からの復号信号ではなく、消失や誤りが検出されない直前及び直後のパケットに含まれる符号から正しく復号された直前の及び直後のそれぞれ１つ、または、複数の復号ディジタル信号値から補間した信号値の集まりを消失や誤りが検出されたパケットに対応する復号ディタル信号とする復号信号生成ステップと、をコンピュータに実行させる。
【００３１】
本発明の信号復号化プログラムの復号信号生成ステップは、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前と直後の信号値の平均値を補間した信号値とするステップを含む。
【００３２】
本発明の信号復号化プログラムの復号信号生成ステップは、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値から線形予測した値を補間した信号値とするステップを含む。
【００３３】
本発明の信号復号化プログラムの復号信号生成ステップは、誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、正しく復号された直前の複数の信号値及び直後の複数の信号値をアップサンプリングすることにより得られた値を補間した信号値とするステップを含む。
【００３４】
上記のように、本発明では、符号化側（信号符号化装置）において、時間的に互いに隣接するサンプルからなるディジタル信号を複数のフレームを跨いで隣接サンプルの時刻が隣接しない所定の順序でフレーム毎にベクトル量子化して対応する符号列を求め、フレーム毎に誤り検出もしくは、欠落検出符号を付与して伝送対象とし、復号側（信号復号装置）において、誤り検出もしくは、欠落を検出し、検出されなかったフレームに対応する信号ベクトルを逆量子化し、符号化時の並べ替え順と逆に並べ替え、誤りまたは、欠落が検出されたフレームに由来するサンプル値を少なくとも前後のサンプルを用いて補間して推定する。これにより、誤りまたは、欠落等の伝送誤りに対する品質劣化を防ぐことが可能となる。
【発明の実施の形態】
図１は、本発明の一実施の形態における信号符号化装置の基本構成を示す図である。
【００３５】
図１に示す信号符号化装置１０は、信号列分割部１１、第１のフレーム化部１２、第２フレーム化部１３、第量子化部１４、第２量子化部１５、及びパケット格納部１６から構成される。
【００３６】
信号列分割部１１は、入力された入力ディジタル音響信号を隣合う信号が同一のサブ信号列に格納されないように複数のサブ信号列に分割する。
【００３７】
第１フレーム化部１２、第２フレーム化部１３は、サブ信号列をそれぞれフレーム列にフレーム化する。本実施の形態では、当該フレーム化部を２つ設ける構成としているが、信号列分割部１１において分割されたサブ信号列の数に対応するものとする。
【００３８】
第１量子化部１４、第２量子化部１５は、各フレーム化部１２、１３から取得したフレーム列をそれぞれサブ符号列に変換する。
【００３９】
パケット格納部１６は、各量子化部１４、１５から取得したサブ符号列が同一のパケットに格納されないようにパケットに格納してパケット伝送路に出力する。
【００４０】
図２は、本発明の一実施の形態における信号符号化方法における信号、符号、パケットの流れを示す。
【００４１】
同図において、２４サンプルのディジタル音響信号を符号化して４つのパケットに格納する場合の例を示しており、同図における点線による曲線は、このディジタル音響信号の元となったアナログ信号波形である。
【００４２】
図１、図２に基づいて、信号符号化方法について説明する。
【００４３】
まず、入力されたディジタル音響信号ｓ（１），ｓ（２），…，ｓ（２４）は、信号列分割部１１において、隣合う信号が同一のサブ信号列に含まれないように、奇数番目の信号ｓ（１），ｓ（３），…，ｓ（２３）は、第１サブ信号列に、偶数番目の信号ｓ（２），ｓ（４），ｓ（２４）は、第２サブ信号列に格納される。
【００４４】
次に、第１のサブ信号列ｓ（１），ｓ（３），…ｓ（２３）は、第１フレーム化部１２において、信号ｓ（１），ｓ（３），…，ｓ（１１）は、サブフレームＳＦ１（１）に、信号ｓ（１３），ｓ（１５），…，ｓ（２３）は、サブフレームＳＦ１（２）に格納され、第１フレーム列ＳＦ１（２），ＳＦ１（２）が得られる。
【００４５】
同様に、第２サブ信号列ｓ（２），ｓ（４），…，ｓ（２４）は、第２フレーム化部１３において、信号ｓ（２），ｓ（４），…，ｓ（１２）は、サブフレームＳＦ２（１）に、信号ｓ（１４），ｓ（１６），…ｓ（２４）は、サブフレームＳＦ２（２）に格納され、第２フレーム列ＳＦ２（１），ＳＦ２（２）が得られる。第２フレーム列ＳＦ２（１），ＳＦ２（２）は、第２量子化部１５において、サブフレームＳＦ２（１）は符号列ＳＣ２（１）に、サブフレームＳＦ２（２）は、符号列ＳＣ２（２）に変換され、第２符号列ＳＣ２（１），ＳＣ２（２）が得られる。第１フレーム列ＳＦ１（１），ＳＦ１（２）は、第１量子化部１４において、サブクレームＳＦ１（１）は、符号列ＳＣ１（１）に、サブフレームＳＦ１（２）は、符号列ＳＣ１（２）に変換され、第１符号列ＳＣ１（１），ＳＣ１（２）が得られる。
【００４６】
これら、第１フレーム化部１２と第１量子化部１４、及び第２フレーム化部１３と第２量子化部１５が、それぞれ先に述べたＧ．７２９音声符号化（時間領域信号に対する処理を基本とする符号励振線形予測符号化方法”Ｃｏｄｅ−Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ（ＣＥＬＰ） ）などに相当する部分である。
【００４７】
さらに、パケット格納部１６において、符号列ＳＣ１（１）は、パケットＰ（１）に、符号列ＳＣ２（１）は、パケットＰ（２）に、符号列ＳＣ１（２）は、パケットＰ（３）に、符号列ＳＣ２（２）は、パケットＰ４（４）にそれぞれ格納されて、これらのパケットＰ（１）〜Ｐ（４）が出力される。なお、このとき、フレーム毎に符号列を誤りや欠落検出符号と組にしてパケットとして、パケット伝送路に出力される。
【００４８】
図３は、本発明の一実施の形態における信号復号化装置の基本構成を示す。
【００４９】
同図に示す信号復号化装置２０は、パケット消失誤り判定部２１、符号列分割部２２、第１逆量子化部２３、第２逆量子化部２４、第１逆フレーム化部２５、第２逆フレーム化部２６、復号信号生成部２７から構成される。
【００５０】
パケット消失誤り判定部２１は、隣合う信号に対応する符号を同一のパケットを含まないパケットが入力されると、パケットの消失や誤りの検出を行い、消失または、誤りがあるパケットの誤り情報、及び、消失及び誤りのないパケットを出力する。
【００５１】
符号列分割部２２は、パケットから複数の符号列を取り出し、これら複数の符号列を対応する複数の逆量子化部２３、２４に送る。
【００５２】
第１・第２の逆量子化部２３、２４は、複数の符号列をそれぞれ逆量子化する。
【００５３】
第１・第２の逆フレーム化部２５、２６は、複数の逆量子化部２３、２４から得られた複数のフレーム列をそれぞれサブ信号列化する。
【００５４】
復号信号生成部２７は、第１・第２の逆フレーム化部２５、２６から送られたパケット消失誤り判定部２１から送られた消失や誤りが検出されないパケットについては、これに含まれる符号からの復号信号を出力ディジタル信号とし、パケット消失誤り判定部２１で検出されたパケット誤り情報Ｅ（２）については、これに含まれる符号からの復号信号ではなく、消失や誤りが検出されない直前及び直後のパケットに含まれる符号から正しく復号された直前及び直後のそれぞれ１つまたは、複数の復号ディジタル信号値から補間した信号値の集まりを、消失や誤りが検出されたパケットに対応する復号ディジタル信号とする。
【００５５】
図４は、本発明の一実施の形態における信号復号化方法における信号、符号、パケットの流れを示す。同図において、１つの誤りパケットを含む４つのパケットから２４サンプルの復号ディジタル音響信号を得る場合の例である。図４の点線による曲線は、この復号ディジタル音響信号をＤＡ変換して得られるアナログ信号波形である。
【００５６】
まず、パケット消失誤り判定部２１において、入力されたＰ’（１）〜Ｐ’（４）の消失や誤りの判定が行われる。なお、当該パケット消失や誤りの判定は、誤り（欠落）検出符号を用いて、そのパケットが誤り（欠落）したものかを検出することであり、この方法としては既存の方法を用いるものとする。 ここで、パケットＰ’（１），Ｐ’（３），Ｐ’（４）については、誤りが検出されず、パケットＰ’（２）については誤りが検出される。誤りが検出されなかったパケットＰ’（１），Ｐ’（３），Ｐ’（４）は、次段の符号分割部２２に送られ、誤りが検出されたＰ’（２）については、パケット誤り情報Ｅ（２）が復号信号生成部２７に送られる。
【００５７】
次に、符号列分割部２２において、パケット消失誤り判定部２１にて誤りが検出されなかったパケットＰ’（１）から符号列ＳＣ１’（１）が、パケットＰ’（３）から符号列ＳＣ１’（２）が、パケットＰ’（４）から符号列ＳＣ２’（２）が取り出され、符号列ＳＣ１’（１），ＳＣ１’（２），ＳＣ２’（２）が得られる。ここで、第１符号列ＳＣ１’（１），ＳＣ１’（２）は、第１逆量子化部２３に送られ、第２符号列ＳＣ２’（２）は、第２逆量子化部２４に送られる。
【００５８】
さらに、第１逆量子化部２３において、符号列ＳＣ１’（１）は、フレームＳＦ１’（１）に、符号列ＳＣ１’（２）はフレームＳＦ１’（２）に変換され、第１逆フレーム化部２５において、フレームＳＦ１’（１）から復号信号ｓ’（１），ｓ’（３），…，ｓ’（１１）が、フレームＳＦ１’（２）から復号信号ｓ’（１３），ｓ’（１５），…，ｓ’（２３）が取り出され、第１サブ信号列ｓ’（１），ｓ’（３），…，ｓ’（２３）が復号信号生成部２７に送られる。同様に、第２逆量子化部２６において、符号列ＳＣ２’（２）は、フレームＳＦ２’（２）に変換され、、第２逆フレーム化部２６において、フレームＳＦ２’（２）から復号信号ｓ’（１４），ｓ’（１６），…，ｓ’（２４）が、取り出され、第２サブ信号列ｓ’（１４），ｓ’（１６），…，ｓ’（２４）が復号信号生成部２７に送られる。
【００５９】
最後に、復号信号生成部２７において、消失や誤りが検出されたパケットに対応する信号について補間を行う。補間の方法としては、以下の方法が考えられる。
【００６０】
▲１▼ 正しく復号された直前の復号ディジタル信号値と直後の復号ディジタル信号値の平均値を補間した信号値とする。
【００６１】
▲２▼ 正しく復号された直前の複数の復号ディジタル信号値及び直後の複数の復号ディジタル信号値から線形予測した値を補間した信号値とする。
【００６２】
▲３▼ 正しく復号された直前の複数の復号ディジタル信号値及び直後の複数の復号ディジタル信号値をアップサンプリングすることにより得られる値を補間した信号値する。
【００６３】
具体的には、入力された信号列ｓ’（１），ｓ’（３），…，ｓ’（１１），ｓ’（１３）〜ｓ’（２４）についてはそのままとし、パケット誤り情報Ｅ（２）が入力された誤りパケットＰ’（２）に対応する復号ディジタル音響信号ｓ’（２），ｓ’（４），…，ｓ’（１２）については隣接する復号信号ｓ’（１），ｓ’（３），…ｓ’（１１）等から補間した値をｓ’（２），ｓ’（４），…，ｓ’（１２）とすることにより、復号ディジタル音響信号ｓ’（１）〜ｓ’（２４）を得る。
【００６４】
ここで、▲１▼の前後の信号値の平均を復号信号値とする方法について説明する。
例えば、
ｓ’（２）＝（ｓ’（１）＋ｓ’（３））／２，
ｓ’（４）＝（ｓ’（３）＋ｓ’（５））／２，
ｓ’（６）＝（ｓ’（５）＋ｓ’（７））／２，
ｓ’（８）＝（ｓ’（７）＋ｓ’（９））／２，
ｓ’（１０）＝（ｓ’（９）＋ｓ’（１１））／２，
ｓ’（１２）＝（ｓ’（１１）＋ｓ’（１３））／２，
のように、前後の信号値の平均を復号信号値とする方法がある。
【００６５】
以上述べたように、パケットの遅延や消失、誤りが生じる伝送路を介して本実施の形態に示した信号符号化方法及び信号復号化方法を用いて音響信号伝送を行うことにより、パケットの遅延や消失、誤りが生じた場合でも、このパケットに対応する復号音響信号をその直前、直後の正しい復号音響信号から補間して再生できることから、定常的でない信号部分についても精度よく復号信号を再生することができ、復号信号の劣化の小さい信号符号化方法、信号復号化方法を提供することができる。
【００６６】
また、上記の実施の形態では、図１及び図３に示す信号符号化装置及び信号復号化装置に基づいて説明しているが、信号符号化装置及び信号符号化装置の各構成要素をプログラムとして構築し、信号符号化装置及び信号符号化装置として利用されるコンピュータにインストールして、当該コンピュータに実行させる、または、ネットワークを介して流通させることが可能である。
【００６７】
また、構築されたプログラムを信号符号化装置及び信号符号化装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にコンピュータにインストールすることも可能である。
【００６８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００６９】
【発明の効果】
上述のように、本発明によれば、信号符号化方法では、隣合う信号に対応する符号を異なるパケットに格納して、信号復号化方法では、パケットの消失や誤りにより復号信号を得られない部分について、直前、直後の復号信号を用いて補間して復号信号を再生する。
【００７０】
これにより、伝送遅延や消失、誤りが生じたパケットに相当する復号信号を精度よく再生することができることから、定常的でない信号部分の符号を含むパケットに伝送遅延や消失、誤りが生じた場合においても、復号信号の劣化の小さい信号符号化や信号復号化が実現できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における信号符号化装置の基本構成図である。
【図２】本発明の一実施の形態の符号化における信号・符号・パケットの流れを示す図である。
【図３】本発明の一実施の形態における信号復号化装置の基本構成図である。
【図４】本発明の一実施の形態の復号化における信号・符号・パケットの流れを示す図である。
【図５】従来の信号符号化装置の基本構成図である。
【図６】従来の信号符号化における信号・符号・パケットの流れを示す図である。
【図７】従来の信号復号化装置の基本構成図である。
【図８】従来の信号符号化における入力から出力までの流れを示す図である。
【符号の説明】
１０ 信号符号化装置
１１ 信号列分割部
１２ 第１フレーム化部
１３ 第２フレーム化部
１４ 第１量子化部
１５ 第２量子化部
１６ パケット格納部
２０ 信号復号化装置
２１ パケット消失誤り判定部
２２ 符号列分割部
２３ 第１逆量子化部
２４ 第２逆量子化部
２５ 第１逆フレーム化部
２６ 第２逆フレーム化部
２７ 復号信号生成部
Claims (15)
- ディジタル信号をフレーム毎に符号列に変換し、該符号列を含むパケットを出力する信号符号化方法において、
ディジタル信号を隣合う信号が同一のサブ信号列に格納されないように複数のサブ信号列に分割してフレーム毎に複数のサブ符号列に変換し、
それぞれのサブ符号列が同一のパケットに格納されないようにパケットに格納して出力することを特徴とする信号符号化方法。 - ディジタル信号に対応する符号を格納したパケットから符号列を取り出してフレーム毎に復号ディジタル信号を再生する信号復号化方法において、
隣合う信号に対応する符号を同一のパケットを含まないパケットが入力されると、パケットの消失や誤りの検出を行い、
消失や誤りが検出されないパケットについては、これに含まれる符号から復号信号を得て復号ディジタル信号とし、
消失や誤りが検出されたパケットについては、これに含まれる符号からの復号信号ではなく、消失や誤りが検出されない直前及び直後のパケットに含まれる符号から正しく復号された直前の及び直後のそれぞれ１つ、または、複数の復号ディジタル信号値から補間した信号値の集まりを前記消失や誤りが検出されたパケットに対応する復号ディタル信号とすることを特徴とする信号復号化方法。 - 誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、
正しく復号された直前と直後の信号値の平均値を補間した信号値とする請求項２記載の信号復号化方法。 - 誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、
正しく復号された直前の複数の信号値及び直後の複数の信号値から線形予測した値を補間した信号値とする請求項２記載の信号復号化方法。 - 誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、
正しく復号された直前の複数の信号値及び直後の複数の信号値をアップサンプリングすることにより得られた値を補間した信号値とする請求項２記載の信号復号化方法。 - ディジタル信号をフレーム毎に符号列に変換し、これを含むパケットを出力する信号符号化装置であって、
ディジタル信号を隣合う信号が同一のサブ信号列に格納されないように複数のサブ信号列に分割する信号列分割手段と、
分割された複数の信号列をそれぞれのフレーム列にフレーム化する複数のフレーム化手段と、
前記フレーム列をそれぞれサブ符号列に変換する複数の量子化手段と、
前記サブ符号列が同一のパケットに格納されないようにパケットに格納して出力するパケット格納手段と、
を有することを信号符号化装置。 - ディジタル信号に対応する符号を格納したパケットから符号列を取り出してフレーム毎に復号ディジタル信号を再生する信号復号化装置であって、
隣合う信号に対応する符号を同一のパケットに含まないパケットが入力されると、パケットの消失や誤りの検出を行い、消失または誤りがあるパケットの誤り情報及び消失及び誤りのないパケットを出力するパケット消失誤り判定手段と、
前記パケットから複数の符号列を取り出し、これら複数の符号列を出力する符号列分割手段と、
前記符号列分割手段から出力された複数の符号列をそれぞれ逆量子化する複数の逆量子化手段と、
前記複数の逆量子化手段から得られた複数のフレーム列をそれぞれサブ信号列化する複数の逆フレーム化手段と、
消失や誤りが検出されないパケットについては、これに含まれる符号からの復号信号を得て出力ディジタル信号とし、消失や誤りが検出されたパケットについては、これに含まれる符号からの復号信号ではなく、消失や誤りが検出されない直前及び直後のパケットに含まれる符号から正しく復号された直前及び直後のそれぞれ１つまたは、複数の復号ディジタル信号値から補間した信号値の集まりを該消失や誤りが検出されたパケットに対応する復号ディジタル信号とする復号信号生成手段と、
を有することを特徴とする信号復号化装置。 - 前記復号信号生成手段は、
誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、
正しく復号された直前と直後の信号値の平均値を補間した信号値とする手段を含む請求項７記載の信号復号化装置。 - 前記復号信号生成手段は、
誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、
正しく復号された直前の複数の信号値及び直後の複数の信号値から線形予測した値を補間した信号値とする手段を含む請求項７記載の信号復号化装置。 - 前記復号信号生成手段は、
誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、
正しく復号された直前の複数の信号値及び直後の複数の信号値をアップサンプリングすることにより得られた値を補間した信号値とする手段を含む請求項７記載の信号復号化装置。 - ディジタル信号をフレーム毎に符号列に変換し、該符号列を含むパケットを出力することをコンピュータに実行させる信号符号化プログラムであって、
ディジタル信号を隣合う信号が同一のサブ信号列に格納されないように複数のサブ信号列に分割してフレーム毎に複数のサブ符号列に変換するステップと、
それぞれのサブ符号列が同一のパケットに格納されないようにパケットに格納して出力するステップと、をコンピュータに実行させることを特徴とする信号符号化プログラム。 - ディジタル信号に対応する符号を格納したパケットから符号列を取り出してフレーム毎に復号ディジタル信号を再生することをコンピュータに実行させる信号復号化プログラムであって、
隣合う信号に対応する符号を同一のパケットを含まないパケットが入力されると、パケットの消失や誤りの検出を行うパケット消失誤り判定ステップと、
消失や誤りが検出されないパケットについては、これに含まれる符号から復号信号を得て復号ディジタル信号とし、消失や誤りが検出されたパケットについては、これに含まれる符号からの復号信号ではなく、消失や誤りが検出されない直前及び直後のパケットに含まれる符号から正しく復号された直前の及び直後のそれぞれ１つ、または、複数の復号ディジタル信号値から補間した信号値の集まりを前記消失や誤りが検出されたパケットに対応する復号ディタル信号とする復号信号生成ステップと、
をコンピュータに実行させることを特徴とする信号復号化プログラム。 - 前記復号信号生成ステップは、
誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、
正しく復号された直前と直後の信号値の平均値を補間した信号値とするステップを含む請求項１２記載の信号復号化プログラム。 - 前記復号信号生成ステップは、
誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、
正しく復号された直前の複数の信号値及び直後の複数の信号値から線形予測した値を補間した信号値とするステップを含む請求項１２記載の信号復号化プログラム。 - 前記復号信号生成ステップは、
誤りや消失が検出されたパケットに対応する信号値の補間を行う際に、
正しく復号された直前の複数の信号値及び直後の複数の信号値をアップサンプリングすることにより得られた値を補間した信号値とするステップを含む請求項１２記載の信号復号化プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002171987A JP2004023191A (ja) | 2002-06-12 | 2002-06-12 | 信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002171987A JP2004023191A (ja) | 2002-06-12 | 2002-06-12 | 信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004023191A true JP2004023191A (ja) | 2004-01-22 |
Family
ID=31171701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002171987A Pending JP2004023191A (ja) | 2002-06-12 | 2002-06-12 | 信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004023191A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011095378A (ja) * | 2009-10-28 | 2011-05-12 | Nikon Corp | 録音装置、撮像装置、および、プログラム |
| JP2012029224A (ja) * | 2010-07-27 | 2012-02-09 | Yamaha Corp | 音響データ通信装置 |
| US8698911B2 (en) | 2009-10-28 | 2014-04-15 | Nikon Corporation | Sound recording device, imaging device, photographing device, optical device, and program |
| JP5671630B2 (ja) * | 2011-11-22 | 2015-02-18 | パイオニア株式会社 | 音声信号補正装置及び音声信号補正方法 |
-
2002
- 2002-06-12 JP JP2002171987A patent/JP2004023191A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011095378A (ja) * | 2009-10-28 | 2011-05-12 | Nikon Corp | 録音装置、撮像装置、および、プログラム |
| US8698911B2 (en) | 2009-10-28 | 2014-04-15 | Nikon Corporation | Sound recording device, imaging device, photographing device, optical device, and program |
| JP2012029224A (ja) * | 2010-07-27 | 2012-02-09 | Yamaha Corp | 音響データ通信装置 |
| JP5671630B2 (ja) * | 2011-11-22 | 2015-02-18 | パイオニア株式会社 | 音声信号補正装置及び音声信号補正方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6597961B1 (en) | System and method for concealing errors in an audio transmission | |
| KR101290425B1 (ko) | 소거된 스피치 프레임을 복원하는 시스템 및 방법 | |
| RU2496156C2 (ru) | Маскирование ошибки передачи в цифровом аудиосигнале в иерархической структуре декодирования | |
| KR101455915B1 (ko) | 일반 오디오 및 음성 프레임을 포함하는 오디오 신호용 디코더 | |
| US7328161B2 (en) | Audio decoding method and apparatus which recover high frequency component with small computation | |
| US8428959B2 (en) | Audio packet loss concealment by transform interpolation | |
| US9245529B2 (en) | Adaptive encoding of a digital signal with one or more missing values | |
| US20110196673A1 (en) | Concealing lost packets in a sub-band coding decoder | |
| US10504525B2 (en) | Adaptive forward error correction redundant payload generation | |
| JP2008261904A (ja) | 符号化装置、復号化装置、符号化方法および復号化方法 | |
| US6889183B1 (en) | Apparatus and method of regenerating a lost audio segment | |
| RU2628197C2 (ru) | Маскирование ошибок в кадрах | |
| CN1302513A (zh) | 用于发送多媒体信号的传输系统 | |
| CN102047336A (zh) | 用于产生或截除或改变包括至少一个报头部分在内的基于帧的比特流格式文件的方法和设备以及相应数据结构 | |
| US6754203B2 (en) | Method and program product for organizing data into packets | |
| JP2002221994A (ja) | 音声信号の符号列のパケット組立方法、装置及びパケット分解方法、装置並びにこれらの方法を実行するプログラム、プログラムを記録する記録媒体 | |
| JP2004184975A (ja) | 少ない計算量で高周波数成分を復元するオーディオデコーディング方法及び装置 | |
| JP2004023191A (ja) | 信号符号化方法及び信号復号化方法及び信号符号化装置及び信号復号化装置及び信号符号化プログラム及び信号復号化プログラム | |
| KR100629997B1 (ko) | 오디오 신호의 인코딩 방법 | |
| JP2006279809A (ja) | 音声再生装置および音声再生方法 | |
| JP3559488B2 (ja) | 音響信号の階層符号化方法及び復号化方法 | |
| KR100591544B1 (ko) | ＶｏＩＰ 시스템을 위한 프레임 손실 은닉 방법 및 장치 | |
| KR100542435B1 (ko) | 패킷 망에서의 프레임 손실 은닉 방법 및 장치 | |
| JP6713424B2 (ja) | 音声復号装置、音声復号方法、プログラム、および記録媒体 | |
| JP4347323B2 (ja) | 音声符号変換方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040707 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060711 |