JP2004140569A

JP2004140569A - ディジタル信号符号化方法、復号化方法、これらの符号器、復号器及びこれらのプログラム

Info

Publication number: JP2004140569A
Application number: JP2002303055A
Authority: JP
Inventors: Akio Jin; 神　明夫; Takehiro Moriya; 守谷　健弘; Kazunaga Ikeda; 池田　和永
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-10-17
Filing date: 2002-10-17
Publication date: 2004-05-13
Anticipated expiration: 2022-10-17
Also published as: JP3816859B2

Abstract

【課題】可成り多くの下位ビットのパケットを復号しなくても、ある程度の品質を保持でき、高品質から低品質までのスケーラブルの符号化復号化を可能とする。
【解決手段】符号絶対値表現のＰＣＭディジタル信号（図６Ａ）の符号ビット列を可逆圧縮した符号のパケットＰＣと、各サンプルの“１”が存在する最上位桁位置（図６Ｂ）の情報列を可逆圧縮した符号のパケットＰＭと、その中の最上位桁位置より下位桁位置のビット列をそれぞれ可逆圧縮したパケットＰ２，Ｐ３，…を作り、ＰＣとＰＭに最高の優先度を与え、Ｐ２，Ｐ３，…を順次優先度を下げる。伝送路の容量、利用者の要求品質、蓄積容量などに応じて下位パケットから順に出力（又は入力）しない。復号器でＰＣとＰＭとＰ２〜Ｐ５のみを入力し（下位７ビットはない）、これらと対応桁位置をビット復号し（図６Ｃ）、残りを全て０で詰めて（図６Ｄ）再生信号とする。
【選択図】　　　図６

Description

【０００１】
【発明の属する技術分野】
この発明は音声、音楽などの音響信号や画像信号などディジタル信号を、要求品質、伝送速度、蓄積容量などに応じて、スケーラブルに符号化し、または復号化する方法、その符号器、復号器、およびこれらのプログラムに関する。
【０００２】
【従来の技術】
従来のこの種のディジタル信号符号化、復号化方法として、圧縮率の高い非可逆の符号化を行い、その再生信号と原信号との誤差信号を可逆に圧縮することを組み合わせることで圧縮率の高い非可逆符号化と可逆の圧縮との両方を柔軟に使い分ける方法が提案されている（例えば特許文献１）。これを改良し、圧縮のスケーラビリティを更に柔軟に変更可能とした方法が、例えば非特許文献１に提案されている。この従来法を図１を参照して説明する。
【０００３】
符号器１０では、ディジタル入力信号の時系列（以下「ディジタル入力信号系列」と称する）が、入力端子１００から入力され、フレーム分割部１１０で、ディジタル入力信号系列が、例えば１０２４個のディジタル入力信号（即ち、１０２４点のサンプル）からなるフレーム単位に、順次分割される。
非可逆圧縮部１２０で、フレーム分割部１１０の出力が非可逆圧縮符号化される。この符号化は、復号化時に元のディジタル入力信号をある程度再現できる方法であれば、入力信号に適した如何なる方法でもよい。例えば、上記ディジタル入力信号が音声であればＩＴＵ−Ｔの音声符号化などが利用でき、音楽であればＭＰＥＧまたはＴｗｉｎ　ＶＱなどが利用でき、映像であればＭＰＥＧなどが利用できる。その他、前記特許文献１で示す各種非可逆量子化法を用いることもできる。なお、非可逆圧縮部１２０の出力を「非可逆圧縮符号Ｉ（ｎ）」と称する。
【０００４】
非可逆圧縮部１２０に対応する復号部（即ち、非可逆伸張部２３０）と同様構成の局部復号化部１３０で、非可逆圧縮符号Ｉ（ｎ）から局部再生信号が生成される。局部再生信号と元のディジタル入力信号との誤差信号が減算部１４０で求められる。通常、この誤差信号の振幅は、元のディジタル入力信号の振幅よりもかなり小さい。よって、ディジタル入力信号を可逆圧縮符号化するよりも、誤差信号を可逆圧縮符号化する方が情報量を小さくできる。
【０００５】
この可逆圧縮符号化の効率を上げるために、ならびかえ部１６２で、誤差信号（即ち、ビット列）のビットをならびかえるが、誤差信号を２の補数表現（各サンプルが正負の整数で表現）によるビット列から、極性符号と絶対値の２進数表現に極性絶対値変換部１６１で変換し、その後、ならびかえ部１６２で、各サンプルの同一桁位置のビットをサンプルを跨いでフレーム内のビットからなるビット列として伝送記録単位分割部３１０に供給され、このビット列は伝送単位あるいは記録単位のデータに分割される。これら各分割された伝送記録単位データは、可逆圧縮部１５０により可逆圧縮され、パケット化部３２０により、分割された伝送記録単位データを、復号時に１つのフレームとして再構成可能なようにヘッダが取付けられ、パケットとして出力端子１７０に出力される。例えば図２Ａに示すように、誤差信号の１フレームの１０２４サンプルＳ１，…，Ｓ１０２４はそれぞれ１６ビットのＰＣＭ信号、つまり最上位ビット（ＭＳＢ）で極性符号が、他の１５ビットで振幅の絶対値の２進数が表わされ、この２進数はＭＳＢ側が上位桁とされている。この各サンプルＳ１，…，Ｓ１０２４の同一桁位置のビットの１フレーム分、つまり１０２４ビットでビット列が構成され、つまりこの例では１６個のビット列Ｂ１，…，Ｂ１６が作られる。これらビット列Ｂ１，…，Ｂ１６が伝送記録単位で分割され、例えば各ビット列に分割され、それぞれ１つのパケットＰ１，…，Ｐ１６とされる。
【０００６】
パケット化部３２０で、例えば図２Ｂに示すようにヘッダ３１がその伝送記録単位データ（ペイロード）３２に付けられる。ヘッダ３１は例えばフレーム番号とフレーム内の伝送記録単位データの番号よりなるパケット番号３３と、パケットの優先順位３４及びデータ長３５が設けられ、復号側で各フレームごとにディジタル信号列を再構成できるようにされる。
データ長３５は伝送記録単位データ３２のデータ長が固定であれば必要ないが、可逆圧縮部１５０で圧縮された場合などはデータ長がパケットにより異なる。
【０００７】
更に一般にはパケット全体に誤りが生じているか否かを検出するためのＣＲＣ符号などの誤り検出符号３６が最後に付加されて１つのパケット３０が構成され、このパケット３０が出力端子１７０に出力される。
可逆圧縮部１５０は、例えば、連続する系列がある場合や頻繁に出現する系列がある場合を利用した、ハフマン符号化や算術符号化などのエントロピィ符号化などによりビット列（分割データ）を可逆圧縮符号化する。テキスト等を可逆に圧縮するユニバーサル符号化を適用してもよい。
【０００８】
非可逆圧縮部１２０よりの非可逆圧縮符号Ｉ（ｎ）もパケット化部３２０でパケットＰ０とされ、このパケットＰ０に第１優先順位が与えられ符号列（ＭＳＢのビット列）の可逆圧縮符号Ｉ（ｅ）のパケットＰ１に第２優先順位が与えられ、以下、下位桁位置のビット列の可逆圧縮符号Ｉ（ｅ）のパケットになるに従って、順次優先順位が低くされる。
これらパケットＰ０，…，Ｐ１６は出力部３３０により伝送又は蓄積される。復号器２０では入力部４００によりパケットが受信され、又は蓄積部から読み取られて入力端子２００より非パケット化部４４０に入力される。非パケット化部４４０ではパケットが誤りがないか、誤りがあった場合に利用可能か否か判定され、また優先順位と、パケット番号が判定され、非可逆圧縮符号Ｉ（ｎ）と可逆圧縮符号Ｉ（ｅ）とに分離され、かつフレームの再構成が可能なように、順に各所要のデータが取出される。
【０００９】
可逆圧縮符号Ｉ（ｅ）は可逆伸張部２１０で可逆復号され、各伝送記録単位データは伝送記録単位統合部４１０でそのパケット番号に基づき、複数のパケットより１フレーム分を各ビット列Ｂ１，…，Ｂ１６が区別できるように統合し、この統合されたデータはならびかえ部２２１で、各ビット列Ｂ１，…，Ｂ１６から順番に各１ビットずつを取り出して、サンプル列として順次変換され、符号器で図２Ａに示した変換と逆の変換が行われ、つまりサンプル列Ｓ１，…，Ｓ１０２４が得られ、これらは２の補数変換部２２２で２の補数表現に変換されて誤差信号が再生される。
【００１０】
一方非パケット化部４４０からの非可逆圧縮符号Ｉ（ｎ）は非可逆伸張部２３０で非可逆復号化されて伸張され、この非可逆伸張信号と２の補数変換部２２２よりのフレーム単位の再生誤差信号とが加算部２４０で加算される。パケット番号からパケット欠落が生じている場合は欠落検出部４２０でこれが検出され、欠落情報補正部４３０へ供給され、欠落情報に対する補正が行われて、加算部２４０へ供給される。パケット欠落が生じていない場合は誤差信号は加算部２４０へ直ちに供給される。フレーム合成部２５０では入力された信号を順次連結して再生されたディジタル信号系列として出力端子２６０に出力する。
【００１１】
伝送路の特性、蓄積する場合の蓄積容量、あるいは利用者の要求などに応じて、優先順位の低いパケットだけを出力しない、又は入力しない。例えば図２４Ａ中のパケットＰ１５とＰ１６を出力せず又は入力せず、復号器２０では図２Ｃに示すように再生された符号絶対値表現のサンプル列の下位に“０”を２ビット付加して誤差信号を再生する。このようにして要求される品質が低い程、優先順位の低い方から順に多くのパケットを省略することにより、スケーラブル機能をもたせることができる。
【００１２】
なお上述では誤差信号に対し、スケーラブルにしたが、図１中において符号器１０では非可逆圧縮部１２０、非可逆伸張部１３０、加算部を省略してフレーム分割部１１０の出力を極性絶対値変換部１６１へ直接供給し、復号器２０では非可逆伸張部２３０、加算部２４０を省略して２の補数変換部２２２の出力をフレーム合成部２５０又は欠落情報補正部４３０へ直接、切り替え供給するようにして、入力ディジタル信号時系列を直接スケーラブルな符号化をすることもできる。
【００１３】
前記非特許文献１にはパケット欠落に対する対策として次のことも記載されている。補助情報生成部３５０中のスペクトル包絡算出部３５１でフレームごとの誤差信号のスペクトル包絡を表現するパラメータＬＰＣが、例えば線形予測分析により線形予測係数として求められ、またパワー算出部３５２でフレームごとの誤差信号の平均パワーが算出される。これら線形予測係数ＬＰＣ及び平均パワーは補助情報符号化部３５３により、例えば３０〜５０ビット程度の低ビットで符号化されて補助情報符号とされる。この補助情報符号はパケット化部３２０で優先順位の高いパケット、例えば極性符号を含む伝送記録単位データが格納されたパケット内に付加され、あるいは独立したパケットとして出力される。なお復号器２０においては非パケット化部４４０において、補助情報符号は分離されて補助情報復号部４５０へ供給され、補助情報復号部４５０は当該フレームの誤差信号のスペクトル包絡を表すパラメータ及び平均パワーを復号し、スペクトル包絡パラメータ及び平均パワーを欠落補正部４３０へ供給する。
【００１４】
欠落情報補正部４３０の処理について以下に説明する。
図３にその処理手順を示す。まず２の補数変換部２２２から入力された確定しているビットのみを使ってフレーム内の暫定波形（暫定的なサンプル列）を再生する（Ｓ１）。この暫定波形の再生は欠落しているビットは例えば０に固定するか、欠落ビットが取り得る値の中間値とする。例えば下位４ビットが欠落しているとすると、０〜１５までのレベルのどれかが正しい値であるが、仮に８または７に設定する。
【００１５】
次にこの暫定波形のスペクトル包絡を計算する（Ｓ２）。例えば音声分析で使われている全極型の線形予測分析を暫定波形に対し行えばスペクトル包絡を推定できる。この推定したスペクトル包絡と補助情報として送られた誤差信号のスペクトル包絡、つまり補助情報復号部４５０で復号されたスペクトル包絡とを、比較して誤差が許容範囲内であれば暫定波形を出力波形（補正された誤差信号波形）信号として加算部２４０へ出力する（Ｓ３）。
ステップＳ３において、推定スペクトル包絡形状が復号スペクトル包絡形状と大きく異なるときにはまず推定したスペクトル包絡の逆特性を暫定波形に与える（Ｓ４）。具体的にはステップＳ２で求めたスペクトル包絡を表すパラメータを用いて、例えば全極型の線形予測の逆フィルタ（全零型）に暫定波形を通過させることでスペクトルを平坦化して平坦化信号とする。この平坦化信号の平均パワーを計算し、この平均パワーと、補助情報復号部４５０からの復号された平均パワーとから補正量を計算し、例えば両者の比又は差をとり、その補正量により、前記平坦化信号に対し振幅補正を行う、つまり、平坦化信号に対し補正量を乗算又は加算して、復号パワーに合せる（Ｓ５）。
【００１６】
次にこの振幅補正された平坦化信号に対して補助情報のスペクトル包絡の特性を与えてスペクトル包絡を補正する（Ｓ６）。すなわち補助情報の復号スペクトル包絡を表わすパラメータＬＰＣを用いた全極型の合成フィルタにパワー補正された平坦化信号を通してスペクトル補正波形を作る。この結果の波形のスペクトル包絡は原音に近いものになる。
ただしこのスペクトル補正波形はすでにわかっている振幅のビットと矛盾する可能性があるので、その場合は正しい値に修正する（Ｓ７）。例えば１６ビット精度の振幅の値のうち、下位４ビットが不明である場合、各サンプルのとりうる値には１６の範囲の不確定があるが、スペクトル補正波形と最も近い値に修正する。つまり各サンプルにおいて補正したサンプル値がとり得る範囲から外れた場合はとり得る範囲の限界値に修正する。この修正で振幅値の確定しているビットはすべて一致して同時にスペクトル包絡も原音に近い波形が再生できる。
この修正波形をステップＳ１の暫定波形としてステップＳ２以後の処理を繰り返すことができる。
【００１７】
【特許文献１】
特開２００１−４４８４７号公報（第１図）
【非特許文献１】
Ｔ．Ｍｏｒｉｙａ　外４名著“Ｌｏｓｓｌｅｓｓ　ｓｃａｌａｂｌｅ　ａｕｄｉｏｃｏｄｅｒ　ａｎｄ　ｑｕａｌｉｔｙ　ｅｎｈａｎｃｅｍｅｎｔ”ＩＣＡＳＰＰ　２００２，＃２４４０，２００２
【００１８】
【発明が解決しようとする課題】
上記のような従来法における課題は、音響信号の伝送時または蓄積時にスケーラブルに情報ビット列を複数個のパケットに分割した場合、再生する際にパケット全部を再生すれば最高品質で音が聞こえて良いが、一部分のパケットだけからそれなりの品質の音を再生しようとすれば、劣化する音の品質が、対象とする原信号の性質に応じてばらつきがあり、場合によっては非常に聞き苦しい大きなノイズを発生することである。
【００１９】
例えば入力原信号の波形の一部が１６ビットＰＣＭ信号で図４Ａに示す場合に、下位６ビット分の各パケットを復号器２０に入力しない場合は再生信号は図４Ｂに示すように各サンプルの下位６ビットが“０”とされたものとなり、そのサンプルＳ４〜Ｓ７の包絡波形は図４Ｃに示すようになだらかな山状となるが、下位７ビット分の各パケットを復号器２０に入力しない場合は再生信号は図４Ｄに示すように各サンプルの下位７ビットが“０”とされたものとなり、そのサンプルＳ４〜Ｓ７の包絡波形は図４Ｅに示すようにパルス状となり、大きな雑音の原因となる。
【００２０】
【課題を解決するための手段】
（１）この発明の符号化方法によれば入力ディジタル信号をフレームごとに分割し、各フレームごとに入力ディジタル信号の符号絶対値表現における各符号のサンプルを跨ぐ符号列をパケットとし、かつ上記符号絶対値表現における各サンプルのビット１が存在する最大桁位置情報のサンプルを跨ぐ桁位置情報列をパケットとし、また上記桁位置情報列中の最大桁位置以下について各桁位置又は連続する複数の桁位置ごとに各ビットのサンプルを跨ぐビット列をパケットとし、上記符号列のパケット及び上記桁位置情報列のパケットに高い優先順位を与え、上記ビット列のパケットを上記高い優先順位より低く、かつ、桁位置番号が小さくなる程、低い優先順位を与える。
（２）前記（１）項において好ましくは上記符号列、上記桁位置情報列、上記各ビット列はそれぞれ可逆符号化により圧縮された後、パケットとされる。
（３）前記（１）項又は（２）項において好ましくは原信号を非可逆符号化により圧縮し、その非可逆符号を上記高い優先順位より更に高い優先順位を与えたパケットとし、上記非可逆符号を局部復号し、その局部復号信号と上記原信号との誤差信号を上記ディジタル信号とする。
（４）前記（１）〜（３）項の何れかにおいて、好ましくは入力されたビットレート、品質、蓄積容量などに応じて優先順位を決定し、優先順位が最も高いパケットから、上記決定した優先順位までの各パケットを出力する。
（５）この発明の復号化方法によれば入力された各パケットを非パケット化して、符号列と、桁位置情報列を求め、これら符号列と桁位置情報列の対応する符号と桁位置情報ごとにその符号で予め決められた符号ビット位置を再生し、桁位置情報が表わす桁のビット位置をビット“１”に再生し、上記再生符号ビット、再生ビット“１”の組ごとに再生されていないビット位置をビット“０”に再生して各サンプルが符号絶対値表現されたディジタル信号を生成し、これらディジタル信号をフレームごとに合成して出力する。
（６）前記（５）項において、好ましくは上記非パケット化して、少くとも１つ以上のビット列を求め、これらビット列パケット優先順位の高い順に、その各ビットで対応する上記ビット“１”中の最も上位桁位置よりも下位桁位置のビットを各サンプルについて再生し、その後、上記再生されていないビット位置をビット“０”に再生する。
（７）前記（５）項又は（６）項において、好ましくは上記各列は非パケット化後、可逆復号化により伸張して生成する。
（８）前記（５）項〜（７）項の何れかにおいて、好ましくは得られた最も優先順位が高いパケットの上記非パケット化により得られた非可逆符号を、非可逆復号化して伸張された復号信号を生成し、その復号信号と上記ディジタル信号とを加算して、上記フレームごとの合成を行う。
（９）前記（６）項〜（８）項の何れかにおいて、好ましくは少くとも上記符号列と桁位置情報列を求めて上記ディジタル信号のフレーム合成を行った後、このフレーム合成に用いたパケットと、これより優先順位が低いパケットを含めて、再びディジタル信号の復号化を行う。
【００２１】
この発明の符号器によれば入力ディジタル信号をフレームごとに分割するフレーム分割部と、フレームごとのディジタル信号の符号絶対値表現における各符号のサンプルを跨ぐ符号列、上記符号絶対値表現における最大絶対値の最大桁位置よりも下位の桁位置について、各桁位置又は連続する複数の桁位置ごとに各ビットのサンプルを跨ぐビット列を生成するならびかえ部と、フレームごとのディジタル信号の符号絶対値表現における各サンプルのビット１が存在する最大桁位置情報のサンプルを跨ぐ桁位置情報列を生成する桁情報生成部と、上記符号列及び上記桁位置情報列をそれぞれ高い優先順位のパケットとし、上記ビット列を、上記高い優先順位よりも低く、かつ対応する桁位置が小さい程、低い優先順位のパケットとして出力するパケット化部とを具備する。
【００２２】
この発明の復号器によれば入力されたパケットを非パケット化して符号列、桁位置情報列、ビット列を求める非パケット化部と、上記符号列の各符号で、対応サンプルの予め決められた符号位置を再生し、パケット優先順位に従って、上記ビット列の各ビットで、対応サンプルの一部を生成するならびかえ部と、上記桁位置情報列の各桁位置情報ごとに対応するサンプルのその桁位置部が表わす桁位置をビット“１”に再生し、かつそのビット“１”中の最も上位の桁位置より下の各桁位置を対応するサンプルの上記生成された一部でそれぞれ再生する最大桁ビット再生部と、各サンプルごとに再生されていないビット位置をビット“０”に再生するゼロ詰部と、上記ビット“０”に再生された各サンプルを２の補数表現に変換してディジタル信号を再生する２の補数変換部とを具備する。
【００２３】
【発明の実施の形態】
図５にこの発明の実施形態を示し、図１と対応する部分に同一参照番号を付けてある。この実施形態は高圧縮の非可逆符号化と、可逆圧縮符号化を組み合せた場合である。
符号化
図１に示したものと同様にして、減算部１４０から局部非可逆復号信号と入力ディジタル信号との誤差信号が得られ、この誤差信号は極性絶対値変換部１６１で２の補数符号表現から符号絶対値表現に変換される。
この誤差符号はならびかえ部１６２へ供給されると共に、この実施形態では桁情報生成部３４０へも供給される。桁情報生成部３４０では各サンプルについて、最上位桁の符号ビットを除いた振幅の絶対値を表わすビット部分の中で最も上位桁側に存在する“１”の値を示すビットが何桁目にあるかを探し、その探した桁位置を示す情報、つまりビット“１”が存在する最大桁位置情報を２進数で表わし、１フレーム内のその最大桁位置情報をサンプル順の桁位置情報列に生成する。
【００２４】
例えば、図６Ａに示す例（図４Ａと同一）においては、サンプルＳ１の最大桁位置情報Ｂ_ＰＭ１は１２の２進数、サンプルＳ２の最大桁位置情報Ｂ_ＰＭ２は１３の２進数…であり、１フレームのサンプル数が１０２４の場合は桁位置情報列Ｂ_ＰＭ１，Ｂ_ＰＭ２，…，Ｂ_{ＰＭ１０２４}が生成される。
最大値検出部３６０において、この桁位置情報列中の最大値Ｂ_ＰＭＭを探し、この値Ｂ_ＰＭＭ又はこれより１小さい値をならびかえ部１６２へ供給する。ならびかえ部１６２は入力された誤差信号の符号ビットを、従来と同様にサンプルを跨いだ符号列に生成するが、誤差信号の振幅値を表わすビット部分については最大桁位置情報中の最大値Ｂ_ＰＭＭより下位の桁を、ＭＳＢ（最上位ビット）側から順に、同桁位置ごとに各ビットのサンプルを跨ぐビット列に生成する。つまりならびかえ部１６２のビット列の生成は最上位桁（ＭＳＢ）位置のビット列（符号列）Ｂ１の他に、従来と異なり、例えば図６Ａに示す例ではＢ_ＰＭＭが１３であるから、桁位置番号１２（第１２桁目）以下の桁位置についてのみビット列Ｂ１，Ｂ２，…，Ｂ１３を生成する。これら符号列Ｂ１ビット列Ｂ２，…，Ｂ１３が伝送記録単位分割部３１０で伝送記録単位で分割され、つまりビット列については連続する複数の桁位置が１つの単位とされる場合もある。
符号列と、分割された各ビット列と桁位置情報列とが可逆圧縮部１５０でそれぞれ可逆符号化により圧縮される。この可逆符号化法は従来の手法と同様なものでよい。
【００２５】
パケット化部３２０では非可逆圧縮部１２０からの非可逆符号Ｉ（ｎ）を最も高い優先順位第０番のパケットＰ０とし、次に可逆圧縮部１５０よりの符号列Ｂ１の可逆圧縮符号Ｉ（ｅＣ）と、桁位置情報列の可逆圧縮符号Ｉ（ｅＭ）とを次に高い優先順位第１番のパケットＰ１とＰＭとし、振幅値情報を表わすパケット、例えばビット列Ｂ２，…，Ｂ１３の各可逆圧縮符号Ｉ（ｅ２），Ｉ（ｅ３），…，Ｉ（ｅ１３）をそれぞれパケットＰ１，ＰＭより低く、かつ下位桁番号になる程低い優先順位第２番，第３番，…，第１３番のパケットＰ２，Ｐ３，…，Ｐ１３として出力する。各パケットは復号器でフレームに再構成するための情報もヘッダ部に付けられる。
これらパケットは出力部３３０により伝送路へ送信されたり、蓄積部に蓄積されたりする。
【００２６】
復号化
復号器２０においては入力部４００により受信された又は蓄積部から読み出されたパケットが入力端子２００より非パケット化部４４０に入力され、非パケット化部は各パケットより圧縮符号を取り出すが、優先順位の高い順に取り出す。この場合も、従来と同様に、まずパケットＰ０から非可逆圧縮符号Ｉ（ｎ）が取り出されて、非可逆伸張部２３０で非可逆復号化され、その復号信号が加算部２４０へ供給される。
【００２７】
次に高い優先順位のパケットＰ１とＰＭからの各可逆圧縮符号Ｉ（ｅＣ）とＩ（ｅＭ）が可逆伸張部２１０で順次可逆伸張されて、符号列Ｂ１と桁位置情報列が再生され、再生された符号列Ｂ１は伝送記録単位統合部４１０へ供給され、桁位置情報列は桁位置記憶部４６０に格納される。
次に優先順位が第２番目以後のパケットの可逆圧縮符号がその優先順位の高い順に可逆伸張部２１０で順次可逆伸張されて、ビット列Ｂ２，Ｂ３，…が再生され、これらが伝送記録単位統合部４１０へ供給され、伝送記録単位統合部４１０は、ビット列Ｂ１，Ｂ２，…を１フレーム分統合する。ならびかえ部２２１はビット列Ｂ２，Ｂ３，…を各ビット列の例えば先頭から順に同一番目のビットを取り出して、ビット列Ｂ２のビットを上位とし、Ｂ３，Ｂ４，…の各ビットを順次その下位とする仮サンプルを生成する。フレーム中の一部のディジタル信号が例えば図６Ａの場合、各サンプルの第１２桁以下の部分が仮サンプルとして得られる。
【００２８】
最大桁ビット再生部４７０において、ならびかえ部２２１よりの符号列Ｂ１の各符号ビットによりサンプル列の各サンプルの最上位桁位置を再生し、桁位置記憶部４６０内の桁位置情報列Ｂ_ＰＭ２，…，Ｂ_{ＰＭ１０２４}がそれぞれ示す桁位置をビット１として各サンプルのビット“１”が存在する最大桁位置を再生する。この状態では、図６Ａに示した１フレーム中の一部のディジタル信号についてみれば、図６Ｂに示すように、最上位の符号ビットと、各サンプルにおける振幅値中の最上位のビット“１”が再生される。
【００２９】
更に各サンプルにおける振幅値中の最上位のビット“１”の下位の各ビット位置を、ならびかえ部２２１よりの対応する仮サンプルで再生する。
ゼロ詰部４８０で最大桁ビット再生部４７０の出力中の各サンプルの再生されていない各桁位置をビット“０”に再生する。この例では各サンプル中の最上位の符号ビットと各振幅値を表わす２進数との間の各桁位置がビット“０”とされる。このようにして例えば図６Ａに示す符号絶対値表現された誤差信号が再生される。
【００３０】
この誤差信号は２の補数変換部２２２で２の補数表現に変換され、加算部２４０で非可逆伸張部２３０よりの復号信号と加算され、フレーム合成部２５０でフレームごとの再生ディジタル信号が順次接続されることは従来と同様である。
高品質の再生を必要としない場合や優先順位が低いパケットが入力されない場合、例えば図６Ａに示した例において、パケットＰ７〜Ｐ１３が入力端子２００に入力されない場合は、最大桁ビット再生部４７０における再生状態は図６Ｃに示すように、各サンプルの符号ビットと振幅値中の“１”の存在する最上位ビット内のみならず、下位の７ビットも再生されていない。ゼロ詰部４８０でこれら再生されていない部分を“０”ビットに再生され、図６Ｄに示す状態になる。これが再生された符号絶対値表現誤差信号とされる。
【００３１】
この誤差信号は図４Ａに示したＰＣＭ信号と同一のものについて下位７ビットと対応するパケットを入力しなかった場合であるが、この図６Ｄから明らかに、サンプルＳ４〜Ｓ７の部の波形包絡は図４Ｃに示したものと同様になだらかな山状となりパルス状波形とならず大きな雑音は生じない。
この発明方法によれば、極端な場合は、パケットＰ０とＰＣとＰＭのみを送っても、再生誤差信号は、図６Ｂに示した状態の未再生の全ビット位置をビット“０”に再生した状態となり、原誤差信号の大まかな包絡をもつ再生波形が得られる。ならびかえ部２２１において、復号した各ビット列についてそのサンプルの桁位置の情報も対応パケット内に付加されている場合は各ビット列の各ビットにより各サンプルの対応桁位置を再生し、最大桁ビット再生部４１０ではならびかえ部２２１から、符号ビット、各サンプルの再生ビットに対し、桁位置情報列の各最大桁位置情報が示す桁位置をビット１に再生してもよい。つまり、最大桁位置の再生を行った後にその下位に連続するように仮サンプルを配するようにしなくてもよく、特にビット列と対応するパケット中の一部がパケット欠落した場合にも、各ビット列に基づき、各サンプルの対応位置の再生が可能となり、ゼロ詰部４８０では、再生されていないビット位置の全てをビット“０”に再生すればよい。
【００３２】
この発明においても、符号器１０において、図５中で非可逆圧縮部１２０、局部復号化部１３０、減算部１４０を省略し、破線１１で示すようにフレーム分割部１１０の出力を極性絶対値変換部１６１へ直接供給するようにしてもよい。その場合は復号器２０において、非可逆伸張部２３０、加算部２４０を省略して、破線２１で示すように、２の補数変換部２２２の出力をフレーム合成部２５０へ直接供給してもよい。
また図５の符号器１０中に破線１２で示すように可逆圧縮部１５０を省略し、復号器２０中に破線２２で示すように可逆伸張部２１０を省略してもよい。
【００３３】
このように非可逆圧縮符号Ｉ（ｎ）を用いない場合でも、符号列Ｂ１のパケットＰＣと桁位置情報列のパケットＰＭだけを復号器に入力しても、ある程度の品質で原音を再生できる。例えば原音の波形が図７に示す場合、パケットＰＣとＰＭのみによる再生波形は図７Ｂの曲線４１となり、その包絡は曲線４２となる。仮に図７Ｃに示すようにある区間３３で、振幅の絶対値のパケットが全て欠落し、区間４３をビット“０”で補間した場合、再生信号の包絡は曲線４４となり、原音信号の波形包絡と全く異なってしまう。しかし、この発明においてパケットＰＣとＰＭとが入力され、他の全てのパケットＰ２，Ｐ３，…が欠落しても、欠落区間４３の再生信号は図７Ｄに示すように曲線４５となり、それなりの振幅値が表現され、その包絡は曲線４６となり、原音の品質がある程度保持できる。
【００３４】
上述では桁位置情報列中の最大桁位置より下位桁のビットで構成するパケットに対する優先順位をその上位桁程、高い優先順位を与え、図６Ａの例では桁番号１２のビット列に対するパケットに第２番優先順位のパケットＰ２とし、最下位桁（ＬＳＢ）のビット列に対するパケットは最も優先順位が低いパケットＰ１３としたが、図６Ａに破線で示すように最下位桁（ＬＳＢ）のビット列に対するパケットを最も高い優先順位のパケットＰ２とし、最下位から２番目のビット列に対するパケットを次に高い優先順位のパケットＰ３とし、桁番号１２のビット列のパケットを最も優先順位が低いパケットＰ１３としてもよい。このことは非可逆符号のパケットＰ０を用いない場合にも同様に適用してもよい。
【００３５】
応用例及び変形例
この発明は以上述べたようにスケーラビリティがあるから、例えば、パケットを送信側から受信側へ配信する場合、パケットＰ０は必ず伝送するが、パケットＰＣ，ＰＭ，Ｐ２，…は伝送路の回線容量に応じて、ビットレートを逐次、変動させながら配信することができる。その際、優先順位の高いパケットを優先して送り、伝送レートが足りなければ、優先順位の低いパケットは廃棄してしまい伝送しないか、または、遅延時間の許容範囲内であれば優先順位を下げて後から伝送する。なお図５中の符号器１０側に破線で示すように優先順位決定部３７０にその時の伝送路の伝送可能なビットレートを入力すると、優先順位の何番目のパケットまで送信してよいかが決定され、パケットＰ０から、その決定された順位のパケットまでが出力部３３０から出力されるようにすることができる。
【００３６】
受信側では、ほぼリアルタイムでパケットを受信し、送信側の符号化の際に作成した全てのパケットが送られてきたならば、これらを全て使って可逆符号化による復号化と不可逆符号化による復号化の出力ＰＣＭ信号とを足し合わせれば、完全に無歪な音を出力として再生することができる。また、一部分のパケットのみを受信した場合には、それなりの品質での再生が可能となる。受信側では、目的に応じて、受信パケットの中から実際の再生に使用するパケット量を調整し、優先順位の高いものから優先して一部分のパケットのみを使って再生することによって、再生音の品質を下げたり上げたりすることもできる。例えば、受信側でわざと品質を落とすことによって試聴に使用したり無料サービスを実施できるし、品質を上げれば本サービスや有料サービスができる。例えば復号器２０側にも優先順位決定部４９０を設けて、これに利用者が指示入力すると、その指示に応じた優先順位の何番目のパケットまで復号するか決定され、入力部４００に受信したパケット中からＰ０よりその決定されたパケットまでが非パケット化部４４０へ供給される。
【００３７】
また送信側で優先順位の高いパケットからなるべく早く受信側へ配信されるようにし、受信側では、たとえ回線の伝送容量が小さくてもリアルタイムで、またはあまり待たずに音を再生すると共に蓄積部５００（図５）に蓄積し、時間をかけて多くのパケットが到着後に再び先に到着済みのパケットと併せて再生して品質の高い音を聴くこともできる。
遠隔地の利用者が、放送番組や図書館に所蔵されているデータなど、データセンターの蓄積された音のデータを素早く検索したい場合には、同じデータベースから優先度の高いパケット部分のみを検索して目的の音を探し出し、その後は、時間をかけて優先度の低いパケットも受信することによって、品質の高い音を再生できる。また、送信側で、配信パケットを優先度の順位で制限することにより、利用者の利用できる品質を制約することもできる。
【００３８】
マルチキャスト・ルータを使えば、各利用者の要求レベルに応じて、それぞれ優先度の高い順に要求に応じたビットレートに見合うだけのパケットを各利用者に配信することが可能となる。
またハードディスク、半導体メモリなどの記憶装置（蓄積部）に、符号化したスケーラブル符号ビット列の各パケットを記憶し、パケット優先順位に従って、この一部分を瞬時に取り出して試聴、検索、無料サービスなどを実施したり、多くのパケットを取り出して本使用や有料サービスを実施したり、全てのパケットを時間をかけて取り出し、放送や教育などの高品位サービス、高価格サービスに利用したりすることもできる。
【００３９】
上述では非可逆圧縮符号と可逆圧縮符号を用いたが、可逆圧縮符号のみを用いる場合にもこれら応用例を適用することができる。その場合は優先順位が最も高いパケットはＰＣとＰＭの両者になる。上述の説明から理解されるように、優先順位決定部３７０，４９０の入力はビットレート、利用者の要求品質、利用者の目的（検索、試聴、有料など）などであり、これらに応じて、優先順位を何番目にするか予め決められる。
図５中に破線で示すように、補助情報生成部３５０を設け、スペクトルＬＰＣやパワーなどの補助情報符号を優先順位の高いパケットＰＣ又はＰＭ内に付加し、又は独立のパケットとして出力し、復号器では欠落情報補正部４３０、補助情報復号部４５０を設けて、例えば図３を参照して説明したように欠落パケットに対し、復号した補助情報による補正を行うこともできる。
【００４０】
図５に示した符号器１０、復号器２０はそれぞれコンピュータにより符号化プログラム、復号化プログラムを実行させて機能させることもできる。これらの場合は、そのコンピュータのプログラムメモリに、符号化プログラム、復号化プログラムを、ＣＤ−ＲＯＭ、可撓性磁気ディスクなどから、又は通信回線を通じてダウンロードして利用することになる。
この発明は音響信号の符号化、復号化のみならず画像信号にも適用できる。なおこの明細書においては情報量を調整するために意図的に１フレーム中のパケットを除去したために、復号器において１フレーム中のパケットが全て入力されない場合、あるいは通信網のトラフィック輻輳による交換局などで一部パケットを送出しないために基づく、又は伝送路障害、記録再生装置の異常などに基づくパケット欠落の場合、更に入力されたパケット中に誤りがあり、その伝送記録単位データを解読できず、使用することができない場合などを総称でパケット欠落と記す。
【００４１】
【発明の効果】
以上述べたようにこの発明によれば桁位置情報列を用いることにより、復号化するパケットが著しく少ない場合でも大きな雑音が生じることなく、ある程度の品質が得られ、高品質から低品質までのスケーラブルな符号化、復号化が可能である。
【図面の簡単な説明】
【図１】従来のディジタル信号符号器及び復号器の機能構成を示す図。
【図２】Ａは符号器１０のならびかえ部１６２の処理を説明するための図、Ｂはパケットのフォーマット例を示す図、Ｃは復号器２０のならびかえ部２２１の処理を説明するための図である。
【図３】復号器２０の欠落情報補正部４３０の処理例を示す流れ図。
【図４】Ａは原ＰＣＭ信号の例を示す図、Ｂはその下位６ビットを全て“０”とした再生ＰＣＭ信号を示す図、Ｃはその一部の波形包絡を示す図、Ｄは図４Ａの下位７ビットを全て“０”とした再生ＰＣＭ信号を示す図、Ｅはその一部の波形包絡を示す図である。
【図５】この発明による符号器及び復号器の各実施形態の機能構成例を示す図。
【図６】Ａは図５の符号器のならびかえ部１６２の処理を説明するための図、Ｂは図６Ａの波形に対する桁位置情報列による最高桁位置の再生例を示す図、Ｃは図６ＡのＰＣＭ信号の下位７ビットと対応するパケットを入力しない場合の復号器の最大桁ビット再生部４７０における再生状態を示す図、Ｄはそのゼロ詰部４８０に得られた再生ＰＣＭ信号を示す図である。
【図７】Ａは原波形例を示す図、Ｂはその符号ビットと桁位置情報列とにより再生された波形曲線の絶対値４１と、その包絡線４２を示す図、Ｃは区間４３でビット情報が欠落し、ゼロで補間した再生信号の包絡波形を示す図、Ｄはこの発明において図７Ｂの再生波形により欠落区間４３を補間し、その時の包絡を示す図である。

Claims

入力ディジタル信号をフレームごとに分割し、
各フレームごとに入力ディジタル信号の符号絶対値表現における各符号のサンプルを跨ぐ符号列をパケットとし、
かつ上記符号絶対値表現における各サンプルのビット１が存在する最大桁位置情報のサンプルを跨ぐ桁位置情報列をパケットとし、
また上記桁位置情報列中の最大桁位置以下について各桁位置又は連続する複数の桁位置ごとに各ビットのサンプルを跨ぐビット列をパケットとし、
上記符号列のパケット及び上記桁位置情報列のパケットに高い優先順位を与え、上記ビット列のパケットを上記高い優先順位より低く、かつ、桁位置番号が小さくなる程、低い優先順位を与える
ことを特徴とするディジタル信号符号化方法。
入力ディジタル信号をフレームごとに分割し、
各フレームごとに入力ディジタル信号の符号絶対値表現における各符号のサンプルを跨ぐ符号列をパケットとし、
かつ上記符号絶対値表現における各サンプルのビット１が存在する最大桁位置情報のサンプルを跨ぐ桁位置情報列をパケットとし、
また上記桁位置情報列中の最大桁位置より下位桁について各桁位置又は連続する複数の桁位置ごとに各ビットのサンプルを跨ぐビット列をパケットとし、
上記符号列のパケット及び上記桁位置情報列のパケットに高い優先順位を与え、上記ビット列のパケットを上記高い優先順位より低く、かつ、桁位置番号が大きくなる程、低い優先順位を与える
ことを特徴とするディジタル信号符号化方法。
上記符号列、上記桁位置情報列、上記各ビット列はそれぞれ可逆符号化により圧縮された後、パケットとされることを特徴とする請求項１又は２記載のディジタル信号符号化方法。
原信号を非可逆符号化により圧縮し、その非可逆符号を上記高い優先順位より更に高い優先順位を与えたパケットとし、上記非可逆符号を局部復号し、その局部復号信号と上記原信号との誤差信号を上記ディジタル信号とすることを特徴とする請求項１乃至３の何れかに記載のディジタル信号符号化方法。
入力されたビットレート、品質、蓄積容量などに応じて優先順位を決定し、優先順位が最も高いパケットから、上記決定した優先順位までの各パケットを出力することを特徴とする請求項１乃至４の何れかに記載のディジタル信号符号化方法。
入力された各パケットを非パケット化して、符号列と、桁位置情報列を求め、
これら符号列と桁位置情報列の対応する符号と桁位置情報ごとにその符号で予め決められた符号ビット位置を再生し、桁位置情報が表わす桁のビット位置をビット“１”に再生し、上記再生符号ビット、再生ビット“１”の組ごとに再生されていないビット位置をビット“０”に再生して各サンプルが符号絶対値表現されたディジタル信号を生成し、
これらディジタル信号をフレームごとに合成して出力する
ことを特徴とするディジタル信号復号化方法。
上記非パケット化して、少くとも１つ以上のビット列を求め、
これらビット列パケット優先順位の高い順に、上記再生ビット“１”中の最も上位桁位置よりも下位の桁位置のビットを各サンプルについて再生し、
その後、上記再生されていないビット位置をビット“０”に再生することを特徴とする請求項６記載のディジタル信号復号化方法。
上記各列は非パケット化後、可逆復号化により伸張して生成することを特徴とする請求項６又は７記載のディジタル信号復号化方法。
得られた最も優先順位が高いパケットの上記非パケット化により得られた非可逆符号を、非可逆復号化して伸張された復号信号を生成し、
その復号信号と上記ディジタル信号とを加算して、上記フレームごとの合成を行うことを特徴とする請求項６乃至８の何れかに記載のディジタル信号復号化方法。
少くとも上記符号列と桁位置情報列を求めて上記ディジタル信号のフレーム合成を行った後、このフレーム合成に用いたパケットと、これより優先順位が低いパケットを含めて、再びディジタル信号の復号化を行うことを特徴とする請求項７乃至９の何れかに記載のディジタル信号復号化方法。
入力ディジタル信号をフレームごとに分割するフレーム分割部と、
フレームごとのディジタル信号の符号絶対値表現における各符号のサンプルを跨ぐ符号列、上記符号絶対値表現における最大絶対値の最大桁位置よりも下位の桁位置について、各桁位置又は連続する複数の桁位置ごとに各ビットのサンプルを跨ぐビット列を生成するならびかえ部と、
フレームごとのディジタル信号の符号絶対値表現における各サンプルのビット“１”が存在する最大桁位置情報のサンプルを跨ぐ桁位置情報列を生成する桁情報生成部と、
上記符号列及び上記桁位置情報列をそれぞれ高い優先順位のパケットとし、上記ビット列を、上記高い優先順位よりも低く、かつ対応する桁位置番号が小さい程、低い優先順位のパケットとして出力するパケット化部と
を具備するディジタル信号符号器。
入力されたパケットを非パケット化して符号列、桁位置情報列、ビット列を求める非パケット化部と、
上記符号列の各符号で、対応サンプルの予め決められた符号位置を再生し、パケット優先順位に従って、上記ビット列の各ビットで、対応サンプルの一部を生成するならびかえ部と、
上記桁位置情報列の各桁位置情報ごとに対応するサンプルのその桁位置情報が表わす桁位置をビット“１”に再生し、かつそのビット“１”中の最も上位の桁位置より下の各桁位置を対応するサンプルの上記生成された一部でそれぞれ再生する最大桁ビット再生部と、
各サンプルごとに再生されていないビット位置をビット“０”に再生するゼロ詰部と、
上記ビット“０”に再生された各サンプルを２の補数表現に変換してディジタル信号を再生する２の補数変換部と
を具備するディジタル信号復号器。
請求項１乃至５の何れかに記載したディジタル信号符号化方法の各処理をコンピュータに実行させるための符号化プログラム。
請求項６乃至１０の何れかに記載したディジタル信号復号化方法の各処理をコンピュータに実行させるためのプログラム。