JP2004274454A - ディジタル信号パケット出力方法、その装置及びプログラム - Google Patents

Abstract

【課題】主観評価と対応した優先度を、なめらかな段階で決定可能にする。
【解決手段】ディジタル信号をフレームごとに絶対電力Ｘ１と、前フレーム電力比Ｘ２、自己相関関数最大値Ｘ３を求め、これらＸ１，Ｘ２，Ｘ３を線形結合して指標値ｙを求め、これを量子化して優先度ｐとし、これと対応フレームの符号化符号とを組としてパケット化する。線形結合の係数α１，α２，α３を、フレームが消失した時に、再生信号に与える主観評価に与える影響を考慮して決定する。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
この発明は、インターネットを始めとするパケット通信ネットワークにおいて音声、音楽、映像などディジタル信号をパケットとして組立て出力する方法、その装置及びプログラムに関するものである。
【０００２】
【従来の技術】
与えられたネットワークやシステム資源（音声、映像など）を用いて最大の効果が得られるように、各メディアの品質（アプリケーション品質）を調整することを、インターネットで動的に制御する技術、いわゆるインターネットＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）制御技術として、ＤｉｆｆＳｅｒｖ（非特許文献１，２）が注目されている。この手法は特にネットワークに入るパケットを予め優先度でクラス分けしておき、輻輳時に各ネットワークノードで優先度の低いパケットから破棄する仕組みである。この仕組みを音声通信で利用するためには、音声の処理単位（すなわちパケット）毎に優先度が演算されているようにしておけば有効なネットワークの活用ができる。
【０００３】
従来の音声信号伝送に用いられているＶＡＤ（Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ）（非特許文献３）は、基本的には音声信号の有無の制御に主眼が置かれ、音声区間と非音声区間と２つの粗い区別しかなかった。つまり従来の音声信号パケットにおいては、音声区間を高い優先度とし、無音区間を低い優先度とする２段階しかなかった。
【０００４】
【非特許文献１】
ＩＥＴＦ−ＲＦＣ２４７４：Ｄｅｆｉｎｉｔｉｏｎ ｏｆ ｔｈｅ Ｄｉｆｆｅｒｅｎｔｉａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｆｉｅｌｄ（ＤＳ Ｆｉｅｌｄ）ｉｎ ｔｈｅ ＩＰｖ４ ａｎｄ ＩＰｖ６ Ｈｅａｄｅｒｓ，１９９８．
【非特許文献２】
ＩＥＴＦ−ＲＦＣ２４７５：Ａｎ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｄｉｆｆｅｒｅｎｔｉａｔｅｄ Ｓｅｒｖｉｃｅｓ，１９９８．
【非特許文献３】
３ＧＰＰ：ＥＴＳＩ ＴＳ １４６ ０３２，“Ｄｉｇｉｔａｌ ｃｅｌｌｕｌａｒ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｓｙｓｔｅｍ（Ｐｈａｓｅ ２＋）；Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ（ＶＡＤ），２００２
【０００５】
【発明が解決しようとする課題】
今後普及するであろう音声、音楽、映像とデータとの統合ネットワーク環境では、一般的なピーク伝送レートの高い「データ通信」と、伝送レートが低くとも遅延時間が品質劣化に直接結びついてしまう「音声、音楽、映像通信」とが効率良く混在する必要がある。この場合なめらかな段階の優先度をもつパケットを生成して音声、楽音や映像などを品質を落さずに効率良く伝送を可能とすることが望まれる。
この発明の目的は音声、音楽、映像などのディジタル信号を、なめらかな段階を持つ優先度を与えたパケットを生成出力するディジタル信号パケット送出方法、その装置及びプログラムを提供することにある。
【０００６】
【課題を解決するための手段】
この発明の方法によればディジタル信号をフレームごとに分割し、その分割されたフレームごとのディジタル信号を符号化し、上記符号化に基づく特徴量又は／及び上記ディジタル信号の特徴量を説明変数として求め、上記説明変数の複数個を線形結合して指標値を求め、その指標値を量子化して優先度を求め、この優先度と上記符号化の符号とをパケットとして出力する。
この発明の装置によればディジタル信号をフレームごとに分割するフレーム分割部と、分割されたフレームごとのディジタル信号を符号化する符号化部と、上記符号化に基づく特徴量、及び／又は上記分割されたフレームごとのディジタル信号の特徴量を説明変数として生成する複数の説明変数生成部と、上記複数の説明変数を線形結合して指標値を計算する指標値計算部と、上記指標値を量子化して優先度を生成する量子化部と、上記優先度及び上記符号化部よりの符号をパケットとして出力するパケット送出部とを具備する。
【０００７】
この発明のプログラムは前記ディジタル信号パケット出力方法の各ステップをコンピュータに実行させるためのプログラムである。
更に好ましくはディジタル信号をフレームごとに複数帯域に分割し、各帯域ごとのディジタル信号を符号化し、フレーム及び帯域ごとに符号化に基づく特徴量、及び／又は帯域ごとの各ディジタル信号の特徴量の複数個を説明変数として求め、これら説明変数を１次結合して１つの指標値を求め、その指標値を量子化し優先度を求め、フレーム及び帯域ごとのその優先度及び符号化符号を組とし、少くともその組の１つを含むパケットとして出力する。フレームが消失した場合に、その説明変数が主観評価値に与える影響度を線形結合の各係数と対応づけて決定する。
【０００８】
【発明の実施の形態】
以下にこの発明の実施の形態を音声ディジタル信号のパケット生成について述べるが、この発明は映像や音楽のディジタル信号のパケット生成にも適用できる。
第１実施形態
図１にこの発明の第１実施形態を示す。入力端子１１からの各サンプルがディジタル値とされた音声ディジタル信号（以下音声信号と記す）ｓ［ｎ］はこの種の一般的な符号化器と同様に５ミリ秒から２０ミリ秒の単位のフレームにフレーム分割部１２で分割され、各フレームごとに、つまり音声信号ｓ［ｎ］（ｎは離散的時刻）がまとめてＮサンプル毎に符号化部１３で符号化される。例えば３２ｋＨｚサンプリングの音声信号であれば、Ｎ＝１６０サンプルからＮ＝６４０サンプルである。またフレームごとにパケットの優先度を優先度決定部１４で決定する。優先度決定部１４の具体例を図２に示す。この例ではそのフレームの音声信号ｓ［ｎ］の特徴量を、複数の説明変数生成部１４１，１４２，１４３でそれぞれ説明変数ｘ１［ｉ］，ｘ２［ｉ］，ｘ３［ｉ］として生成する。ｉ番目の処理フレームの説明変数ｘｊ［ｉ］として、そのフレームの音声信号ｓ［ｎ］を入力して、その絶対電力を説明変数生成部１４１で次式（１）を計算して求める。
【０００９】
ｘ１［ｉ］＝（１／Ｎ）Σ_ｎ＝１ ^Ｎｓ［Ｎｉ＋ｎ］^２ （１）
あるいは、次式（２）に示すように絶対電力の対数表現としてｘ１［ｉ］を求める。
ｘ１［ｉ］＝ｌｏｇ_１０（（１／Ｎ）Σ_ｎ＝１ ^Ｎｓ［Ｎｉ＋ｎ］^２） （２）
説明変数生成部１４２では説明変数生成部１４１よりの説明変数ｘ１［ｉ］と、前フレーム（ｉ−１）の説明変数ｘ１［ｉ−１］を入力して現フレームの電力の前フレームの電力に対する比を次式（３）により計算して説明変数ｘ２［ｉ］を出力する。
【００１０】
ｘ２［ｉ］＝ｘ１［ｉ］／（ｘ１［ｉ−１］） （３）
前フレームの説明変数ｘ１［ｉ−１］を前フレームバッファ１４２ａに格納しておき、式（３）の計算を計算部１４２ｂで行い、現フレームの説明変数ｘ１［ｉ］で前フレームバッファ１４２ａに保持する説明変数を更新する。
更に説明変数生成部１４３では音声信号ｓ［ｎ］を入力して、その自己相関関数（ρ［ｎ］）の最大値（周期性）を次式（４）により計算して説明変数ｘ３［ｉ］とする。
【００１１】
ｘ３［ｉ］＝ｍａｘ（ρ_ｉ［ｋ］） （４）
ここで正規化された自己相関関数ρ［ｎ］は、次式（５）を用いて計算する。
ρ_ｉ［ｋ］＝Σ_ｎ＝０ ^Ｎ（ｓ［Ｎｉ＋ｎ］）（ｓ［Ｎｉ＋ｎ＋ｋ］）／
Σ_ｎ＝０ ^Ｎ（ｓ［Ｎｉ＋ｎ］）^２ （５）
ｋは１，２，…とし、ｋの最大値は音声信号ｓ［ｎ］のピッチ周期相当程度とする。この時、自己相関関数をアップサンプリングして、つまり補間してより正確な値を計算するようにした方が良い結果が得られる。
【００１２】
これら求めた説明変数ｘ１［ｉ］，ｘ２［ｉ］，ｘ３［ｉ］を指標値計算部１４４で線形結合して指標値ｙ［ｉ］を求める。つまり例えば次式（６）、（７）を計算する。
ｙ［ｉ］＝α０＋Σ_ｊ＝１ ^３αｊｘｊ［ｉ］＾ （６）
ｘｊ［ｉ］＾は説明変数ｘｊの確率分布の平均を０、分散を１に正規化したもの、つまり次式（７）で求まる。
ｘｊ［ｉ］＾＝（ｘｊ［ｉ］−ｘｊ′）／γｊ （７）
ｘｊ′，γｊはそれぞれ説明変数ｘｊの平均値、標準偏差である。
【００１３】
これらの線形結合係数α０，α１は重回帰分析（例えば奥野忠一他：多変量解析法（改訂版），日科技連，１９８１参照）を用いて事前に最適化した偏回帰係数値を用いる。例えば１つのパケット（フレーム）を消失させたときの受聴者が主観評価したＭＯＳ値をｙ［ｉ］′とした時、このｙ［ｉ］′と、式（６）により計算された指標値ｙ［ｉ］との誤差が最小となるように、最小自乗法を用いて、係数αｊを求める。α０はＭＯＳ値１〜５の平均値である。ここでＭＯＳ値１は「非常に悪い」、ＭＯＳ値５は「非常に良い」と対応する。
【００１４】
係数α０〜α３は、このように決められるから、αｊの絶対値が大きいことはその説明変数（特徴量）がパケット（フレーム）消失時の主観評価品質に大きく影響し、αｊの絶対値が小さければその説明変数（特徴量）はパケット（フレーム）消失時の主観評価品質への影響が比較的小さいことになる。つまり主観評価品質への影響度が大きい程、係数αｊが大きくなるようにαｊが決定されている。また指標値ｙ［ｉ］は複数の説明変数（特徴量）ｘ１［ｉ］〜ｘ３［ｉ］を係数α１〜α３を用いて線形結合させたものであるから、１つの説明変数（特徴量）のみにて、パケット（フレーム）消失の主観評価品質に与える影響の程度よりも、より正しく、影響の程度を示すことになる。主観評価品質に対して大きく影響を与えるフレーム、この場合音声であるから聴感的に重要なものは指標値ｙ［ｉ］が小さくなり、重要でないものは指標値が大きくなる傾向になる。
【００１５】
図２中の指標値計算部１４４において、各説明変数ｘ１〜ｘ３はそれぞれ正規化部１４４ａ１〜１４４ａ３で正規化され、正規化説明変数ｘ１＾〜ｘ３＾は乗算部１４４ｂ１〜１４４ｂ３で係数α１〜α３がそれぞれ乗算され、これら乗算結果と定数α０は加算部１４４ｃ１，１４４ｃ２により加算されて指標値ｙ［ｉ］が出力される。
こうして求められた指標値ｙ［ｉ］は、量子化部１４５でスカラ量子化され、離散的な値、例えば０，１，…，７の何れかの値の優先度ｐ［ｉ］が出力される。つまり一般的に指標値の小さいパケットは高優先度のものへ、大きいものは低優先度のものへと写像する。写像は以下のような関数で表わすことができる。
【００１６】
ｐ［ｉ］＝ｆ（ｙ［ｉ］） （８）
このとき用いる写像関数ｆ（ｙ）は、パケットを総優先度ステップ数に写像するスカラ量子化を用いればよい。このときの量子化のしきい値は、指標値ｙ［ｉ］を等確率で分割する方法や、指標値ｙ［ｉ］の範囲を等分割するなどの方法がある。
線形結合係数の各値は例えばα１＝−０．３７、α２＝−０．１、α３＝−０．２であり、その絶対値が大きい程、主観評価品質への影響が大きい。これらの３つの説明変数（特徴量）において絶対電力が大きいフレームが消失すると、主観評価品質への影響が最も大きい、これは音声信号中の大きなレベルのフレームが消失すれば大きな影響を与えることを意味している。自己相関関数の最大値が大きいフレームが消失すると主観評価品質への影響は次に大きい。このことは、そのフレームの絶対電力が小さくても、音声信号があれば、自己相関関数の最大値が大きくなり、そのように音声信号を含むフレームが消失は小さい絶対電力でも比較的大きく影響することを意味している。
【００１７】
従って、説明変数ｘ１〜ｘ３のうち少なくともｘ１とｘ３を用い、更にｘ２も用いると、一層なめらかな段階をもつ優先度ｐ［ｉ］が得られ、そのフレームの消失の主観評価品質への影響がより正確になる。以上の具体例は係数が負の値であり、評価値ｙ［ｉ］が小さい程、高い優先度ｐ［ｉ］とされる。
このようにして各フレームごとに決定された優先度ｐ［ｉ］は符号化部１３よりのそのフレームｉの符号Ｐ［ｉ］と、パケット送出部１５（図１）でパケットとして組立てられて出力される。
【００１８】
第２実施形態
この第２実施形態は広帯域音声信号を複数帯域に分割して符号化を行なう場合にこの発明を適用したものである。
図３に示すように広帯域音声信号はフレーム分割部１２で一定区間ごとのフレームに分割され、帯域分割部１６で帯域通過フィルタを用いてＦ個の複数帯域に分割される。この帯域の分割方法は、音声信号ｓ［ｎ］が例えば１６ｋＨｚサンプリングであれば上下各４ｋＨｚ帯域（Ｆ＝２）に分割し、３２ｋＨｚサンプリングであればＦ＝３で０〜４ｋＨｚ帯域と、４ｋＨｚ〜８ｋＨｚ帯域と、８ｋＨｚ〜１６ｋＨｚ帯域というようにウェーブレットで分割しても良いし、Ｆ＝４で総て等間隔に各４ｋＨｚ帯域に分割しても良い。各帯域分割された音声信号は個々の符号化器で、固定時間長（フレーム）ごとに符号化される。このときの音声ブロック（パケット）の分割イメージを図４に示す。図４の例はＦ＝３でフレームごとに各帯域の信号がそれぞれブロック（パケット）とされ、フレームごとに３つのブロック（パケット）が生成されることになる。
【００１９】
図３に示す例では音声信号を上、下２帯域に分割した場合で、分離された低域音声信号ｓ１［ｎ］、高域音声信号ｓ２［ｎ］はそれぞれ低域符号化部１３_Ｌ 、高域符号化部１３_Ｈ で符号化される。また低域音声信号ｓ１［ｎ］、高域音声信号ｓ２［ｎ］はそれぞれ低域優先度決定部１４_Ｌ 、高域優先度決定部１４_Ｈ に入力され、フレームごとのパケット優先度がそれぞれ決定される。
低域優先度決定部１４_Ｌ の具体例を図５に示す。図５において図２と対応する機能構成部分に、同一番号に添字「 _Ｌ」を付けてある。低域音声信号ｓ１［ｎ］は説明変数生成部１４１_Ｌ で式（１）又は（２）と同様に絶対電力又はその対数が計算されて説明変数ｘ１［１，ｉ］が生成される。説明変数生成部１４２_Ｌ で式（３）と同様に前フレーム電力比が計算されて説明変数ｘ２［１，ｉ］が生成される。また説明変数生成部１４３_Ｌ で式（４）、（５）と同様に自己相関関数の最大値が計算されて、説明変数ｘ３［１，ｉ］が生成される。
【００２０】
更にこの実施形態では説明変数生成部１４６_Ｌ でこの帯域の絶対電力ｘ１［ｆ，ｉ］と、他帯域の絶対電力とが入力されてこの帯域の絶対電力の総電力に対する比が次式（９）により計算され、説明変数ｘ４［ｆ，ｉ］として出力される。
ｘ４［ｆ，ｉ］＝ｘ１［ｆ，ｉ］／Σ_ｆ＝１ ^Ｆｘ１［ｆ，ｉ］ （９）
図５の例ではＦ＝２であるから、低域のｘ１［１，ｉ］と高域のｘ１［２，ｉ］により
ｘ４［１，ｉ］＝ｘ１［１，ｉ］／（ｘ１［１，ｉ］＋ｘ１［２，ｉ］）
が計算される。
【００２１】
指標値計算部１４４_Ｌ で説明変数ｘ１［１，ｉ］，ｘ２［１，ｉ］，ｘ３［１，ｉ］，ｘ４［１，ｉ］が線形結合され、次式による指標値ｙ［１，ｉ］が計算される。
ｙ［１，ｉ］＝α０＋Σ_ｊ＝１ ^４αｊｘｊ［１，ｉ］＾
ｘｊ［１，ｉ］＾＝（ｘｊ［１，ｉ］−ｘｊ［１］′）／γｊ［１］
この指標値ｙ［１，ｉ］は量子化部１４５_Ｌ で量子化され、優先度ｐ［１，ｉ］＝ｆ_１（ｙ［１，ｉ］）が出力される。
【００２２】
同様にして高域優先度決定部１４_Ｈ で指標値
ｙ［２，ｉ］＝α０＋Σ_ｊ＝１ ^４αｊｘｊ［２，ｉ］＾
ｘｊ［２，ｉ］＾＝（ｘｊ［２，ｉ］−ｘｊ［２］′）／γｊ［２］
が計算され、更に優先度ｐ［２，ｉ］＝ｆ_２（ｙ［２，ｉ］）が出力される。パケット送出部１５は、低域符号化部１３_Ｌ よりの符号化符号Ｐ［１，ｉ］と優先度ｐ［１，ｉ］が１つのパケットとして、また符号化部１３_Ｈ よりの符号化符号Ｐ［２，ｉ］と優先度ｐ［２，ｉ］が１つのパケットとして送出される。
【００２３】
なお一般にＦ個に帯域分割された場合、ｆ番目の帯域の指標値ｙ［ｆ，ｉ］は
ｙ［ｆ，ｉ］＝α０＋Σ_ｊ＝１ ^４αｊｘｊ［ｆ，ｉ］＾
ｘｊ［ｆ，ｉ］＾＝（ｘｊ［ｆ，ｉ］−ｘｊ［ｆ］′）／γｊ［ｆ］
により計算され、優先度ｐ［ｆ，ｉ］はｆ_ｆ（ｙ［ｆ，ｉ］）により求められる。
係数α４は例えば−０．４３であり、α１より大とされる。つまり分割された帯域のフレームの全帯域電力に対する比が大きいことは、その部分に大きな電力の音声信号成分があることになりα１〜α４中で優先度を最も高くすることが好ましいことを意味している。
【００２４】
第３実施形態
第３実施形態は単一帯域の品質スケーラブル符号化器、つまり各種の品質の符号化を行うことができる符号化器を用いて音声を符号化する場合にこの発明を適用した実施形態である。この場合の音声ブロック（パケット）の分割イメージは図４中に括弧書きで品質ｑとフレームとの関係を示すようになる。またＱ＝２段構成の、一般的な固定処理時間単位で音声信号を符号化する場合にこの発明を適用した機能構成を図６に示す。
【００２５】
音声信号ｓ［ｎ］はフレーム分割部１２でフレーム単位で分割され、１段目符号化部１３_１ でフレームごとに符号化されると共に１段目優先度決定部１４_１ で優先度ｐ［１，ｉ］が決定される。１段目符号化部１３_１ よりの符号化符号Ｐ［１，ｉ］は１段目復号化部１７_１ で復号化され、この復号化信号が音声信号から減算部１８_１ で差し引かれて、１段目の残差信号（符号化誤差信号）ｅ１［ｎ］が生成される。この残差信号は２段目符号化部１３_２ でフレームごとに符号化されると共に２段目優先度決定部１４_２ で優先度ｐ２［２，ｉ］が決定される。２段目符号化部１３_２ よりの符号化符号Ｐ［２，ｉ］は２段目復号化部１７_２ で復号化され、その復号化信号が、１段目の残差信号ｅ１［ｎ］から減算部１８_２ で差し引かれて２段目残差信号ｅ２［ｎ］が生成される。
【００２６】
１段目優先度決定部１４_１ の具体例を図７に示す。図２に示した優先度決定部１４と同様に、絶対電力の説明変数ｘ１［１，ｉ］と前フレーム電力比の説明変数ｘ２［１，ｉ］と、自己相関関数最大値の説明変数ｘ３［１，ｉ］とがそれぞれ説明変数生成部１４１_１ と１４２_１ と１４３_１ で生成される。
この第３実施形態では更に説明変数生成部１４で符号Ｐ［１，ｉ］の品質、例えば信号に対する雑音比が説明変数ｘ５［１，ｉ］として生成される。即ち信号電力計算部１４７ａでＳ＝Σ_ｎ＝１ ^Ｎｓ［Ｎｉ＋ｎ］^２ が計算され、また雑音計算部１４７ｂでＥ＝Σ_ｎ＝１ ^Ｎｅ１［Ｎｉ＋ｎ］^２が計算され、これらの比の対数ｌｏｇ_１０ Ｅ／Ｓが対数割算部１４７ｃで計算され、その結果が説明変数ｘ５［１，ｉ］として出力される。
【００２７】
これら４個の説明変数は指標計算部１４４_１ で線形結合されて指標値ｙ［１，ｉ］が計算される。例えば先の場合と同様に正規化部１４４ａｊ（ｊ＝１，…，４）で説明変数ｘｊ［１，ｉ］がそれぞれ正規化され、その正規化値ｘｊ［１，ｉ］＾が線形結合ｙ［１，ｉ］＝α０＋Σ_ｊ＝１ ^４αｊｘｊ［１，ｉ］＾，ｘｊ［１，ｉ］＾＝（ｘｊ［１，ｉ］−ｘｊ［１］′）γｊされる。この指標値ｙ［１，ｉ］は量子化部１４５_１ で量子化され、１段目優先度ｐ［１，ｉ］が出力される。
【００２８】
２段目優先度ｐ［２，ｉ］も同様に求められる。この場合は図７中に括弧書きで示しているように、１段目残差信号ｅ１［ｎ］の代りに２段目残差信号ｅ２［ｎ］がそれぞれ入力され、これら信号に対して同様に処理され、２段目優先度ｐ［２，ｉ］が出力される。
パケット送出部１５（図６）では１段目符号Ｐ［１，ｉ］と優先度ｐ［１，ｉ］を１つのパケットとし、２段目符号Ｐ［２，ｉ］と優先度ｐ［２，ｉ］を１つのパケットとして出力する。
【００２９】
この説明変数ｘ５［ｑ，ｉ］（ｑ＝１，２，…，Ｑ）は、符号化に基づく特徴量といえる。これを求める計算式は一般的に示すと以下となる。
ｘ５［ｑ，ｉ］＝ｌｏｇ_１０（Σ_ｎ＝１ ^Ｎｅｑ［Ｎｉ＋ｎ］^２ ／Σ_ｎ＝１ ^Ｎｓ［Ｎｉ＋ｎ］^２）
この場合の線形結合係数α５は−０．１程度が考えられる。ｑが大きいものは高品質の信号の再生には必要であるが、トラヒックが輻輳している状態では品質よりも伝送される情報の意味内容がより重要であるから、ｑが大きいパケットはｘ５［ｑ，ｉ］が小さくなり、かつα５が比較的小さいから優先度にあまり関与しないようになる。
【００３０】
第４実施形態
一般的なスケーラブル複数帯域符号化器の場合は、第１実施形態に挙げた説明変数ｘ１［ｉ］，ｘ２［ｉ］，ｘ３［ｉ］の他に、第２実施形態に挙げた説明変数ｘ４［ｆ，ｉ］と第３実施形態に挙げた説明変数ｘ５［ｑ，ｉ］の双方を用いて指標値ｙ［ｆ，ｑ，ｉ］の演算を行なう。このときの音声ブロック（パケット）の分割イメージを図８に示す。
つまり各種サンプリング周波数、各種サンプル量子化精度（振幅ビット数）の組合せをもつ各品質の音声信号に符号化する、いわゆるスケーラブル符号化の場合で、図８はサンプリング周波数は３段階、量子化精度（品質）も３段階とした場合で周波数帯域がｆ＝１，ｆ＝２，ｆ＝３の３帯域に分割され、振幅ビット長がｑ＝１，ｑ＝２，ｑ＝３の３領域に分割され、互いに直交する周波数帯軸（帯域番号）と品質軸（振幅ビット分割番号）と時間軸（フレーム番号）で表わされていた３次元空間における１つの信号ブロック（パケット）として［ｆ，ｑ，ｉ］で識別される。
【００３１】
この場合の各説明変数はそれぞれ次式で求める。帯域ｆ、品質（ビット分割番号ｑ）の音声信号をｓｆｑと表わす。
ｘ１［ｆ，ｑ，ｉ］＝（１／Ｎ）Σ_ｎ＝１ ^Ｎｓｆｑ［Ｎｉ＋ｎ］^２
又はｘ１［ｆ，ｑ，ｉ］＝ｌｏｇ_１０（（１／Ｎ）Σ_ｎ＝１ ^Ｎｓｆｑ［Ｎｉ＋ｎ］^２）
ｘ２［ｆ，ｑ，ｉ］＝ｘ１［ｆ，ｑ，ｉ］／ｘ１［ｆ，ｑ，ｉ−１］
ｘ３［ｆ，ｑ，ｉ］＝ｍａｘ（ρ_{ｆ，ｑ，ｉ}［ｋ］）
ρ_{ｆ，ｑ，ｉ}［ｋ］＝Σ_ｎ＝０ ^Ｎ（ｓｆｑ［Ｎｉ＋ｎ］）（ｓｆｑ［Ｎｉ＋ｎ＋ｋ］）／Σ_ｎ＝０ ^Ｎ（ｓｆｑ［Ｎｉ＋ｎ］）^２
ｘ４［ｆ，ｑ，ｉ］＝ｘ１［ｆ，ｑ，ｉ］／Σ_ｆ＝１ ^Ｆｘ１［ｆ，ｑ，ｉ］
ｘ５［ｆ，ｑ，ｉ］＝ｌｏｇ_１０（Σ_ｎ＝１ ^Ｎｅｆｑ［Ｎｉ＋ｎ］^２ ／Σ_ｎ＝１ ^Ｎｓｆｑ［Ｎｉ＋ｎ］^２）
指標値ｙ［ｆ，ｑ，ｉ］＝α０＋Σ_ｊ＝１ ^５αｊｘｊ［ｆ，ｑ，ｉ］
優先度ｐ［ｆ，ｑ，ｉ］＝ｆ_ｆ，ｑ（ｙ［ｆ，ｑ，ｉ］）
このようにして決定された優先度ｐ［ｆ，ｑ，ｉ］と対応する符号化符号Ｐ［ｆ，ｑ，ｉ］とを１つのパケットとして送出する。
【００３２】
第５実施形態
上述においては分割された各音声ブロックごとその符号化符号と優先度とを組として１パケットとして出力したが、第５実施形態では同一優先度の信号ブロックの符号をまとめて１つのパケットとして送出する。
例えば図９に示すようにフレーム分割された音声信号を、Ｆ個の帯域に帯域分割部１６で分割し、これら１〜Ｆ番目の帯域信号をそれぞれ符号化部１３_１ 〜１３_Ｆ で符号化すると共に優先度決定部１４_１ 〜１４_Ｆ でそれぞれ優先度を決定する。この第５実施形態ではこれら符号化符号Ｐ［１，ｉ］〜Ｐ［Ｆ，ｉ］と優先度ｐ［１，ｉ］〜ｐ［Ｆ，ｉ］をパケット集約部１９に供給し、所定フレーム数ごとに、同一優先度の符号をまとめて、１つのパケットとして、送出部１５より送出する。
【００３３】
入力音声信号ｓ［ｎ］を例えばウェーブレット分析を用いた０−４ｋＨｚ，４ｋＨｚ−８ｋＨｚ，８−１６ｋＨｚのＦ＝３帯域に分割し、５ｍｓで時間方向に分割し、時間２０ｍｓごとにパケット送出するものとする。各パケット送出番号ｔにおけるフレーム番号ｉ＝１，…，４とし、フレーム番号ｉの帯域番号ｆの信号ブロックの符号化符号をＰ［ｆ，ｉ］と、優先度をｐ［ｆ，ｉ］とそれぞれ表わす。各第ｔ番目の送出区間における各ブロックの符号Ｐ［ｆ，ｉ］と優先度ｐ［ｆ，ｉ］が図１０Ａに示すようになった場合パケット集約部１９では図１０Ｂに示すように、同じ優先度をもつブロックをそれぞれ集約して１つのパケットとする。この例では優先度ｐ＝４のブロック（１，２）及び（１，３）の符号Ｐ［１，２］，Ｐ［１，３］をまとめ、かつその各符号Ｐ［１，２］，Ｐ［１，３］の帯域−時間座標上の位置情報（１，２），（１，３）を優先度ｐ＝４のパケットに組み込む。優先度ｐ＝３のパケットには符号Ｐ［２，２］，Ｐ［１，４］とその位置情報（２，２），（１，４）を組み込む。以下同様に同一優先度の符号をまとめ、その位置情報と共に１つのパケットとして組み込む。
【００３４】
こうして同一の優先順位をもつ符号が集約されたパケットは、この例では２０ｍｓ毎にネットワークへと送出される。このとき、ネットワークの状況に応じて、優先度が低いパケットは品質への影響が少ないので、送出しなくても良い。また、ネットワークの各ノードにおいてトラフィックの混雑状況に応じて低い優先度のパケットは破棄されても通話品質への影響は最小限に留められる。
こうして、ネットワークに送出されたパケットは、受信側において図１１に示すようにパケット分解部２１でｔ番目の送出区間の全てのパケット、図１０の場合は優先度ｐ＝１〜ｐ＝４の４つのパケットＰ［１，ｔ］〜Ｐ［４，ｔ］を図１０に示した組み立てと逆の手順を経て帯域−時間座標上に再構成し、各帯域符号Ｐ［１，ｉ］〜Ｐ［Ｆ，ｉ］を復号化部２２_１ 〜２２_Ｆ でそれぞれ帯域音声復号に復号する。このとき、受信側に到達しなかった低い優先度の符号がある場合は、基本的にはその符号に対する復号化部の動作を停止する。高優先度の符号が到達しない場合は、フレーム（ブロック）消失対策をブロック消失補償部２３_１ 〜２３_Ｆ の対応する部分で行い、品質低下を避ける。このようにして復号され、必要に応じて消失補償された各帯域音声信号は帯域合成部２４で合成されて再生音声信号ｓ［ｎ］として出力される。なおパケット分解部２１よりブロック消失情報がブロック消失補償部２３_１ 〜２３_Ｆ へ供給されている。このブロック消失補償は公知の技術により行えばよい。
【００３５】
図８に示したように音声信号を３次元座標（空間）にブロック化する第４実施形態の場合も所定のフレーム数ごとに、同一優先度のブロック符号をその位置情報と共にまとめて１つのパケットとして送出するようにしてもよい。
上述ではこの発明を音声信号に適用したが、音楽信号、映像信号にも適用できる。また符号化に基づく特徴量の説明変数としては次のものなども考えられる。例えば、予測符号化を用いた音声符号化器によっては語頭などのパケットが破棄されると、その後の音声品質（ＳＮ比）が著しく劣化する可能性がある。そのような破棄されることによって伝播するＳＮ比の劣化も説明変数ｘｊ（ｍ，ｉ）としてもよい。音声信号の特徴量の説明変数、符号化に基づく特徴量の説明変数の何れも上述した例に限らず、各種のものを使用することができる。
【００３６】
上述したこの発明のディジタル信号パケット送出装置はコンピュータにより機能させることもできる。その場合は上述したこの発明の方法の各ステップをコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体から当該装置のコンピュータにインストールし、あるいは通信回線を介してダウンロードして実行させればよい。
【００３７】
【発明の効果】
フレームが消失した時のその再生信号の主観品質評価は、その信号の一つの物理量（例えば絶対的な電力）のみから求まるものではないが、この発明によれば信号の特徴量の説明変数及び／又は符号化に基づく特徴量の説明変数の複数を用いて、各々のパケットの優先度を決定するための指標値を計算しているため優先度を適切なものとすることができ、かつ優先度の段階をなめらかなものとすることができ、優先度の段階数を多くすることができる。
【００３８】
また優先度が妥当でない場合、新たに説明変数を付け加えてあるいは入れ替えて優先度分けの精度を向上させることも可能である。
この優先度の決定は、説明変数ｘｊ［ｍ，ｉ］の数が増えても、優先度を求める指標値ｙ［ｍ，ｉ］が簡単な１次結合で表現できるから比較的容易に説明変数の追加、変更をすることができ、拡張性に富む。
説明変数の設定が拡張性に富むこと、つまり単一の値から求めることでなく性能が向上できること、指標値を優先度に量子化するしきい値の決定そのものを重回帰分析を用いて自動化することによって容易に求めることができる。
【図面の簡単な説明】
【図１】この発明の第１実施形態の機能構成例を示すブロック図。
【図２】図１中の優先度決定部１４の具体的機能構成例を示すブロック図。
【図３】この発明の第２実施形態の機能構成例を示すブロック図。
【図４】信号を帯域−時間座標のブロックに分割した例を示す図。
【図５】図３中の低域優先度決定部１４_Ｌ の具体的機能構成例を示すブロック図。
【図６】この発明の第３実施形態の機能構成例を示すブロック図。
【図７】図６中の１段目優先度決定部１４_１ の具体的機能構成例を示すブロック図。
【図８】この発明の第４実施形態に用いる品質−帯域−時間の３次元座標に信号をブロック分割する例を示す図。
【図９】この発明の第５実施形態の機能構成例を示すブロック図。
【図１０】図９中のパケット集約部１９の処理を説明するための図。
【図１１】図９に示したパケット送出装置と対応するパケット受信装置の機能構成例を示すブロック図。

Claims (3)

1. ディジタル信号をフレームごとに分割し、
   その分割されたフレームごとのディジタル信号を符号化し、
   上記符号化に基づく特徴量又は／及び上記ディジタル信号の特徴量を説明変数として求め、
   上記説明変数の複数個を線形結合して指標値を求め、
   その指標値を量子化して優先度を求め、
   この優先度と上記符号化の符号とをパケットとして出力するディジタル信号パケット出力方法。
2. ディジタル信号をフレームごとに分割するフレーム分割部と、
   上記分割されたフレームごとのディジタル信号を符号化する符号化部と、
   上記符号化に基づく特徴量、及び／又は上記分割されたフレームごとのディジタル信号の特徴量を説明変数として生成する複数の説明変数生成部と、
   上記複数の説明変数を線形結合して指標値を計算する指標値計算部と、
   上記指標値を量子化して優先度を生成する量子化部と、
   上記優先度及び上記符号化部よりの符号をパケットとして出力するパケット送出部と、
   を具備するディジタル信号パケット出力装置。
3. 請求項１記載のディジタル信号パケット出力方法の各ステップをコンピュータに実行させるためのプログラム。

Images