JP2012124890A - 符号化信号を、この符号化信号と副情報との間の統計的依存性に基づいて復号する方法および復号器 - Google Patents

Abstract

【課題】符号化信号を、この符号化信号と副情報との間の統計的依存性に基づいて復号する。
【解決手段】副情報の各変換ブロックの統計的信頼性が、変換ブロックの変換係数の絶対値の関数として求められる。副情報の変換ブロックは、各変換ブロックの統計的信頼性に基づいて１組のグループにグループ化される。復号は、符号化信号の変換ブロックと、副情報の対応する変換ブロックを含むグループとの間の統計的依存性を用いて実行される。
【選択図】図１

Description

本発明は、包括的には信号コーディングに関し、より詳細には、信号と副情報（ｓｉｄｅ ｉｎｆｏｒｍａｔｉｏｎ）との間の空間統計的依存性を用いた信号の符号化および復号に関する。

動画専門家グループ（ＭＰＥＧ：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）および国際電気通信連合（ＩＴＵ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）の標準規格によるコーディング等の従来技術の画像符号化およびビデオ符号化は、復号器を有する低複雑度の受信機（ＴＶ）がより多数存在するが、符号化器を有する高複雑度の送信機は少数しか存在しないときのブロードキャストされるビデオおよびマルチメディアの配信によく適している。

そのようなビデオ配信モデルでは、ビデオフレーム間の時間相関を利用するために、計算的に要求の大きい動き推定技法が符号化器において用いられる。送信前に時間冗長性を利用するこのプロセスは、優れた圧縮効率をもたらし、復号を簡略化する。

図６は、動き推定１１０を用いた従来の符号化器１００を示している。入力ビデオ１０１のフレームは、１度に１ブロック処理される。動き推定器１１０は、フレームメモリ１１１内に格納された基準フレームの、符号化されることになる現在のブロックに最も適合したブロックを求める。この最も適合したブロックは、現在のブロックの予測としての役割を果たす。対応する動きベクトル１１２がエントロピー符号化される（１５０）。動き補償予測器１３０によって生成される、入力ビデオの現在のブロックと予測ブロック１２１との間の差分１２０が取得される。次に、差分信号が変換／量子化プロセス１４０を受け、１組の量子化された変換係数１４１がもたらされる。これらの係数は、エントロピー符号化され（１５０）、圧縮されたビットストリーム１０９がもたらされる。

量子化された変換係数１４１に対して逆変換／逆量子化１６０を実行すること、およびこの結果を動き補償予測１２１に加算すること（１７０）によって、基準フレームが生成され、この基準フレームは、フレームメモリ１１１内に格納され、入力ビデオ１０１の後続のフレームを予測する（１３０）のに用いられる。動きベクトル１１２およびテクスチャ１４１の情報のエントロピー符号化１５０に基づいて、出力ビットストリーム１０９が生成される。

図７は、対応する従来の復号器２００を示している。入力ビットストリーム２０１がエントロピー復号器２１０に与えられ、量子化された変換係数２１１および対応する動きベクトル２１２がもたらされる。動きベクトルは、動き補償予測器２２０によって用いられ、予測信号２２１がもたらされる。量子化された変換係数２１１は、逆変換／逆量子化され（２３０）、予測信号２２１に加算され（２４０）、再構成されたビデオ２０９がもたらされる。後続のフレームを復号するのに用いられる再構成されたビデオのフレームは、フレームメモリ２５０に格納される。

上述したコーディングは、優れた圧縮効率を達成するが、かなりの処理コストおよび電力コストを有する。これは、ほぼ無制限のリソースを有する映画スタジオおよび放送スタジオ等の大規模な商業用途においては問題でない。しかしながら、画像およびビデオの捕捉および符号化が、限られた電池および処理能力、並びに限られたストレージおよび帯域幅を有するデバイス、たとえば携帯電話、ＰＤＡ、環境センサー、並びに厳しく制限された処理リソース、ストレージリソース、および電力リソースを有する単純なデジタルカメラで行われる用途が増えている。通常、これらの電池で動作するデバイスは、単純なマイクロプロセッサまたはマイクロコントローラーを用いる。したがって、符号化信号における良好な圧縮効率および復号器における高品質画像をもたらすことができる低複雑度の符号化器が必要とされている。

図８は、そのような従来の低複雑度の符号化器３００を示している。入力ビデオ３０１が分類される（３１０）。分類器は、現在のフレームにおけるブロックごとの時空間相関の度合いを推定する。符号化されることになるブロックと、前の符号化されたフレームの同じロケーションにあるブロックとの間の二乗誤差の差に基づいて、クラスが求められる。たとえば、「ＳＫＩＰ」クラスは、相関が非常に高く、現在のブロックを符号化する必要がないことを示す一方、「ＩＮＴＲＡ」クラスは、相関が非常に低く、現在のブロックが従来のイントラコーディング方式を用いて最も良好に符号化されることを示す。これらの２つの両極端のものの間の相関について、シンドロームに基づく（ｓｙｎｄｒｏｍｅ−ｂａｓｅｄ）コーディング方式が用いられる。

次のステップにおいて、離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）等のブロック変換３２０が適用され、データが脱相関（ｄｅｃｏｒｒｅｌａｔｅ）される。次に、変換係数がジグザグスキャン３３０を受け、エネルギーの降順で順序付けされた１Ｄベクトルにされる。

低周波数係数３３１に対応する係数のわずかな部分、たとえば総係数の約２０％が基本量子化３４０を受ける。次に、量子化された係数は、シンドローム符号化器３７０に入力され、シンドロームビット３７１が生成される。その特定の方式では、１／２レートのトレリス符号がシンドロームコーディングに用いられる。シンドローム符号化された係数の目標品質を達成するために、精緻量子化（ｒｅｆｉｎｅｍｅｎｔ ｑｕａｎｔｉｚａｔｉｏｎ）３６０が実行される。この操作は、基本量子化間隔を、目標量子化ステップサイズに等しいサイズの間隔にプログレッシブに分割する。ここで、基本量子化間隔内の精緻量子化間隔のインデックス３６１は、最終的に復号器に送信される。

より高い周波数係数３３２に対応する係数の大きな部分、たとえば係数の残りの８０％が従来のイントラコーディングを受ける。イントラコーディングにおいて、係数は、上述したように従来の量子化３５０およびエントロピー符号化３８０の操作を受ける。

上記に加えて、量子化された符号語シーケンスの巡回冗長検査（ＣＲＣ：ｃｙｃｌｉｃ ｒｅｄｕｎｄａｎｃｙ ｃｈｅｃｋ）がＣＲＣ生成器３９０によって計算され、ＣＲＣビット３９１が生成される。これらも復号器に送信される。ＣＲＣビット３９１は、復号器においていくつかの候補予測子間で最も良好な予測子を求めるのに用いられる。ＣＲＣビット３９１は、ブロック３６０、３７０および３８０からの出力と結合され（３９９）、ビットストリーム３０９の形態で出力符号化信号が生成される。

図９は、対応する復号器４００を示している。符号化された入力ビットストリーム４０１をデインターリーブした（４１０）後、復号器は、動き推定４０５を実行する。動き推定４０５は、フレームメモリ４０６からの空間的にシフトされたピクセルを含む予測子４０７を出力する。異なる空間シフトを有する複数の予測子が生成される。シンドローム復号器４４０が予測子ごとに受信シンドロームビットに基づいて量子化された係数のシーケンスを生成する。シンドローム符号化は、トレリス符号に基づくので、ビタビプロセスを用いて候補予測子に最も近い係数シーケンスが特定される。復号された係数がＣＲＣ検査４４５によるＣＲＣに適合する場合、復号は成功したと宣言される。復号されたシンドローム係数および符号化器によって送信される精緻量子化間隔のインデックスを与えると、逆基本量子化および逆精緻化４２０を実行して低周波数係数の再構成されたセットをもたらすことができる。より高い周波数係数がエントロピー復号４５０および逆量子化操作４６０を通じて復号される。次に、係数の双方のセットが逆スキャン４３０および逆ブロック変換４７０を受け、復号されたビデオ４０９がもたらされる。また、復号されたフレーム４０８は、後続のフレームの復号のためにフレームメモリ４０６内に格納される。

上記の方式には、いくつかの不利な点が存在する。第１に、変換係数、すなわち高周波数係数の大部分が従来の量子化技法３５０およびエントロピー符号化技法３８０を用いて符号化される。複雑なシーンは、相当量の高周波数情報を含む。したがって、従来技術の方式は、かなりの量のオーバーヘッドを有し、効率性の損失につながる。第２に、従来技術のシンドローム符号化は、比較的小さな８×８のマクロブロックに基づき、これによって全体圧縮レートが減少する。第３に、ＣＲＣは、係数を確実に反映する必要がある。これは、全てのブロックのオーバーヘッドであるだけでなく、復号が正しく実行される保証もない。

分散ソースコーディング
分散ソースコーディング方式は、独立して符号化されるが共同で復号される相関したソースに対する２つの影響力を持つ（ｓｅｍｉｎａｌ）情報理論的結果に基づく。分散ソースコーディング法は、ソースの共同符号化と同じ漸近可逆圧縮性能を達成する。たとえば、ソースが結合ガウス分布している場合、分散ソースコーディングは、共同符号化と同じレート歪みペナルティを有する。ソースが結合ガウス分布していない場合であっても、共同符号化に関するレート歪みペナルティには制限がある。

図１０の従来技術の符号化器５００に示されるように、入力ビデオ５０１は、スイッチ５１０を用いて２つのタイプのフレーム、すなわちキーフレーム５１１およびワイナー・ジブフレーム５１２に分割される。キーフレームは、規則的に離間したフレームである。これらのフレームは、従来のフレーム内符号化５２０、たとえばＤＣＴ、量子化、およびエントロピーコーディングを用いて符号化され、目標品質レベルにおいてコーディングされる。ワイナー・ジブフレーム５１２は、スカラー量子化５１３、およびシンドロームコーディングの１つの形態であるターボ符号化器５３０にかけられる。出力ビットストリーム５０９は、符号化されたキーフレームおよびワイナー・ジブフレームの双方に対応するビットを結合した（５４０）ものである。この従来技術の方式では、シンドロームビットは、ワイナー・ジブフレームのためにのみ生成され、キーフレームのためには生成されず、イントラ符号化は、従来のものであり、すなわち低周波数係数および高周波数係数の双方が符号化されることが留意される。

図１１は、対応する従来技術の復号器６００を示している。入力ビットストリーム６０１は、符号化されたキーフレームおよびワイナー・ジブフレームを含む。符号化されたキーフレームは、フレーム内復号器６１０を用いて復号され、再構成されたキーフレーム６１１がもたらされるのに対して、ワイナー・ジブフレームは、まずターボ復号器６２０にかけられ、１組のシンドローム係数がもたらされる。その１組のシンドローム係数は、再構成プロセス６３０を受け、スイッチ６６０を用いて最終的な再構成されたビデオ６０９がもたらされる。再構成は、ターボ復号器によって出力された係数および補間された（６４０）フレームデータに基づく。再構成されたワイナー・ジブフレームおよびキーフレームは、後続のフレームを復号するためにフレームメモリ６５０に格納される。

この方法の２つの主要な不利な点は、高品質のキーフレームを送信する際に導入されるオーバーヘッド、および過去のフレームを復号するのに必要とされる未来のキーフレームを送信することによって被る遅延である。従来のコーディング方式の観点において、キーフレームは、Ｉフレームであり、ワイナー・ジブフレームは、Ｂフレームに類似している。他の従来のコーディング方式と同様に、Ｉフレーム間の距離は、遅延の量を示している。高い遅延を許容することができると仮定すると、キーフレームをさらに離して配置することによって、オーバーヘッドの量が減少する。しかしながら、それを行うことによって、補間の品質も減少し、補間によって生じる誤りを補正するのにさらなるシンドロームビットが必要とされるので、事実上、全体コーディング効率が減少する。

明らかに、低い符号化複雑度を有する、すなわち、イントラのみのコーディングに類似しているが、高いコーディング効率を有する、すなわち最良のフレーム間コーディング方式のコーディング効率により近いコーディング方式を有することが望ましい。たとえば、分散ビデオコーディング方法は、個々のフレームに対して単純な符号化方式を用い、復号器においてのみフレーム間依存を利用する。同様に、複雑な帯域間予測符号化を用いる代わりに複数帯域画像データを分散コーディングする方法は、単純な符号化方式を画像データの個々の帯域に適用し、復号器においてのみ帯域間依存を利用する。

統計的に依存する副情報に基づいて符号化された信号を復号する同じ技法が、他のソースの分散圧縮に適用される。他のソースには、限定ではないが、ビデオ信号、ハイパースペクトル画像、マルチビュー画像、光照射野画像が含まれる。したがって、統計的に依存する副情報を用いて符号化信号を復号するために、復号器の性能を改善する必要がある。

発明の実施の形態は、符号化信号が、この符号化信号と副情報との間の統計的依存性に基づいて復号される分散コーディング法について、その統計的依存性は均一でなく、符号化信号内の特定の変換ブロックの空間ロケーションに依拠するという認識に基づく。符号化信号には、限定ではないが、ビデオフレーム、マルチスペクトル画像、ハイパースペクトル画像、または生体信号を含めることができる。

たとえば、地球のマルチスペクトル衛星画像において、海または雲を含む領域内の変換ブロックの変換係数は、画像の全ての帯域にわたって、都市のシーンを含む変換ブロック領域の変換係数よりも確実に予測可能である。

実施の形態は、変換ブロック内の有意でない変換係数の数と、このブロックの統計的信頼性との間に相関があるという驚くべき観測結果に基づいている。具体的には、有意でない係数の数が大きくなるほど、副情報がより信頼性が高いことを示す。実施の形態は、この観測結果を用いて副情報を複数のグループにグループ化する。

したがって、実施の形態は、変換ブロックの統計的依存性が、各変換ブロックの統計的信頼性によって示すことができるという別の認識に基づいている。さらに、各変換ブロックの統計的信頼性は、変換ブロックの変換係数の絶対値の関数として求めることができる。

これらの認識によって、異なるロケーションにある信号の異なる変換ブロックが同じ統計的依存性を有することができる一方、隣接している変換ブロックが異なる統計的依存性を有する可能性があるという驚くべき結果が導かれる。したがって、本発明の実施の形態は、副情報を、変換ブロックの統計的信頼性に基づいて変換ブロックの１組のグループに分割し、グループごとに独立して統計的依存性を求める。

たとえば、１つの実施の形態では、１組のグループ内のグループの数が予め決められ、グループごとに、統計的信頼性の値の特定の範囲が割り当てられる。変換係数の絶対値の関数によって、変換ブロックの統計的信頼性が決まる。いくつかの実施の形態では、この関数は、閾値未満の絶対値を有するその変換ブロック内の変換係数の数であり、変換ブロックは、この変換ブロックの統計的信頼性を、グループについて指定された統計的信頼性の範囲と比較することによってグループ化される。

次に、符号化信号の各変換ブロックが、符号化信号の変換ブロックと、副情報の対応する変換ブロックを含む変換ブロックのグループとの間の統計的依存性を用いて復号され、統計的依存性は、変換ブロックのグループごとに独立して求められる。

したがって、統計的依存性は、変換ブロックのグループごとに求められ、したがって副情報全体について求められた統計的依存性よりも正確である。このため、本発明の実施の形態は、従来の手法よりも効率的で信頼性のあるコーディング方法を提供する。

このため、１つの実施の形態は、符号化信号を、前記符号化信号と副情報との間の統計的依存性に基づいて復号する方法であって、前記方法は、前記副情報の各変換ブロックの統計的信頼性を、前記変換ブロックの変換係数の絶対値の関数として求めるステップと、前記副情報の前記変換ブロックを、各前記変換ブロックの前記統計的信頼性に基づいて１組のグループにグループ化するステップであって、各前記グループの前記変換ブロックの前記統計的信頼性が実質的に同様になるようにグループ化する、グループ化するステップと、前記符号化信号の各前記変換ブロックを、前記符号化信号の前記変換ブロックと、前記副情報の対応する変換ブロックを含むグループとの間の前記統計的依存性を用いて復号するステップであって、前記統計的依存性は、前記副情報の前記変換ブロックの前記グループごとに独立して求められ、復号信号が生成される、復号するステップと、を含む、方法を開示する。前記復号信号は、メモリ内に格納される。

別の実施の形態は、符号化信号および副情報から、前記信号と前記副情報との間の統計的依存性に基づいて信号を復号する復号器であって、前記副情報の各変換ブロックの統計的信頼性を、前記変換ブロックの変換係数の絶対値の関数として求める手段と、前記副情報の前記変換ブロックを、各前記変換ブロックの前記統計的信頼性に基づいて１組のグループにグループ化する手段であって、各前記グループの前記変換ブロックの前記統計的信頼性が実質的に同様になるようにする、グループ化する手段と、前記１組のグループ内の前記グループごとに前記統計的依存性を求める手段と、を備える、復号器を開示する。

定義
本発明の実施の形態を説明する際に、全体を通じて（上記を含む）以下の定義が適用可能である。

「コンピュータ」は、構造化された入力を受け入れ、この構造化された入力を所定の規則に従って処理し、処理結果を出力として生成することが可能な任意の装置を指す。コンピュータの例には、コンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、双方向テレビ、コンピュータおよび双方向テレビのハイブリッドな組み合わせ、並びにコンピュータおよび／またはソフトウェアをエミュレートする特定用途向けハードウェアが含まれる。コンピュータは、単一のプロセッサ、または並列に動作しかつ／若しくは並列に動作しないことができる複数のプロセッサを有することができる。コンピュータは、コンピュータ間で情報を送信または受信するネットワークを介して共に接続された２つ以上のコンピュータも指す。そのようなコンピュータの例には、ネットワークによってリンクされたコンピュータを介して情報を処理する分散コンピュータシステムが含まれる。

「中央処理ユニット（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）」または「プロセッサ」は、ソフトウェア命令を読み出して実行するコンピュータまたはコンピュータの構成要素を指す。

「メモリ」または「コンピュータ可読媒体」は、コンピュータによってアクセス可能なデータを格納するための任意のストレージを指す。例には、磁気ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭまたはＤＶＤのような光ディスク、磁気テープ、メモリチップ、並びに電子メールを送受信する際に、またはネットワークおよびコンピュータメモリ、たとえばランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）にアクセスする際に用いられる搬送波等の、コンピュータ可読電子データを搬送するのに用いられる搬送波が含まれる。

「ソフトウェア」は、コンピュータを動作させるための所定の規則を指す。ソフトウェアの例には、ソフトウェア、コードセグメント、命令、コンピュータプログラム、およびプログラムロジックが含まれる。インテリジェントシステムのソフトウェアは、自己学習が可能とすることができる。

「モジュール」または「ユニット」は、タスクまたはタスクの一部を実行するコンピュータにおける基本構成要素を指す。「モジュール」または「ユニット」は、ソフトウェアによってもハードウェアによっても実施することができる。

これにより、復号器の性能を改善することができる。

本発明の実施の形態による、副情報の変換ブロックを変換ブロックの１組のグループにグループ化する方法のブロック図である。 副情報の変換ブロックの例である。 副情報の変換ブロックの例である。 本発明の実施の形態による、空間統計的依存性に基づいて符号化信号から信号を復号する方法のブロック図である。 本発明の１つの実施の形態による符号化器のブロック図である。 本発明の１つの実施の形態による復号器のブロック図である。 従来の動き推定技法および動き変換技法を用いる従来技術のビデオ符号化器のブロック図である。 図６の符号化器に対応する従来技術のビデオ復号器のブロック図である。 シンドロームコーディングを用いた第１の従来技術のビデオ符号化器のブロック図である。 図８の符号化器に対応する第１の従来技術のビデオ復号器のブロック図である。 シンドロームコーディングを用いた第２の従来技術のビデオ符号化器のブロック図である。 図１０のビデオ符号化器に対応する第２の従来技術のビデオ復号器のブロック図である。

本発明の実施の形態は、符号化信号と副情報との間の統計的依存性に基づいて、符号化信号を復号するシステムおよび方法を提供する。符号化信号には、限定ではないが、ビデオフレーム、マルチスペクトル画像、ハイパースペクトル画像、または生体信号を含めることができる。信号がビデオである場合、ビデオはフレームのシーケンスを含み、各フレームがブロックに分割される。

様々な実施の形態では、信号は符号化器によってシンドロームビットとして符号化され、復号器に送信される。副情報は、信号との統計的依存性を有する任意の情報、たとえば復号器に送信されるキーフレーム、または以前に復号されたフレームとすることができる。

本発明の実施の形態は、信号と副情報との間の統計的依存性が均一でなく、副情報内の変換ブロックのロケーションに空間的に依存するという認識に基づく。変換ブロックは、符号化／復号操作の最小単位である。たとえば、信号が１組の画像である場合、変換ブロックは、画像の８×８ピクセルブロックとすることができる。

したがって、実施の形態は、変換ブロックの統計的信頼性の類似度に従って、副情報の変換ブロックを１組のグループにグループ化する。統計的信頼性は、符号化信号内の変換ブロックを副情報信号内の対応する変換ブロックから予測することができる信頼度を示している。統計的信頼性は、各変換ブロックの変換係数の絶対値の関数として求められる。統計的依存性は、グループごとに独立して求められ、符号化信号を復号するのに用いられる。実施の形態は、当該技術分野において既知のプロセッサを用いて実施される。

図１は、副情報の変換ブロック７１０を、この変換ブロックの統計的信頼性７３５を用いて１組のグループ７２０にグループ化する方法７００のブロック図を示している。各変換ブロック、たとえば変換ブロック７１１の統計的信頼性７３１は、変換ブロックの変換係数の絶対値の関数７５０として求められる（７３０）。

１つの実施の形態では、関数は閾値７５１未満の絶対値を有する変換係数の数を計算する。別の実施の形態では、関数は、閾値よりも大きい絶対値を有する変換係数の数を計算する。実施の形態は、変換ブロック内の有意でない変換係数の数と、そのブロックの統計的信頼性との間に相関があるという驚くべき観測結果に基づく。具体的には、有意でない係数の数が多くなると、副情報の信頼性がより高くなることを示す。実施の形態は、この観測結果を用いて副情報を複数のグループにグループ化する。

たとえば、閾値が２０である場合、図２Ａに示す変換ブロックは、図２Ｂに示す変換ブロックよりも信頼性が高い。様々な実施の形態では、閾値は、トレーニングデータに基づいて、かつ符号化される信号のタイプ、たとえばビデオフレーム、マルチスペクトル画像、ハイパースペクトル画像、または生体信号のタイプに基づいて経験的に求められる。

したがって、実施の形態は、副情報の変換ブロックを、各変換ブロックの統計的信頼性に基づいて、各グループ、たとえばグループ７２１の変換ブロックの統計的信頼性が実質的に同様になるように、１組のグループ７２０にグループ化する（７４０）。たとえば、１つの実施の形態は、１組のグループ内のグループ数Ｔを決定し、各グループに統計的信頼性の値の範囲７６０を割り当てる。変換ブロックのグループ化は、変換ブロックの統計的信頼性を、少なくとも１つのグループについて指定された統計的信頼性の範囲と比較することによって達成される。このため、この実施の形態では、実質的に同様の統計的信頼性とは、同じ値の範囲に入る統計的信頼性である。たとえば、Ｔ＝８の場合、最大８個の有意でない係数を有する変換ブロックが１つのグループに配置され、９個〜１６個の有意でない係数を有する変換ブロックが第２のグループに配置され、１７個〜２３個の有意でない係数を有する変換ブロックが第３のグループに配置され、８個のグループが形成されるまで以下同様である。グループ内の全ての変換ブロックについて、この変換ブロックを副情報内の対応するブロックから予測することができる統計的信頼性が実質的に同様であると仮定される。

統計的依存性７７１および７７２は、グループ７２１および７２２ごとに独立して求められ、符号化信号の各変換ブロックは、符号化信号の変換ブロックと、副情報の対応する変換ブロックを含む変換ブロックのグループとの間の統計的依存性を用いて復号される。

図３は、符号化信号と副情報との間の統計的依存性に基づいて符号化信号を復号する方法のブロック図を示している。信号８１０の変換ブロック８１５ごとに、対応する変換ブロック７１１の統計的依存性８２５が、グループの統計的依存性のセット８４０から選択される。統計的依存性８２５は、副情報の対応する変換ブロック７１１を含む変換ブロックのグループの統計的依存性である。

統計的依存性は、グループごとに独立して求められ、符号化信号の対応する変換ブロックを復号するのに用いられる。たとえば、第１の変換ブロック７１１の第１の統計的依存性８２５は、符号化信号の第１の部分８１５を復号している間に求められ、第１の変換ブロックおよび第２の変換ブロックが同じグループ内にある場合、符号化信号の第２の部分８１６は、第２の変換ブロック７１２および第１の統計的依存性８２５を用いて復号される。

１つの実施の形態では、統計的依存性は、たとえばグループの変換ブロックの統計的信頼性に基づいて初期化され、復号中にさらに更新される。別の実施の形態では、統計的依存性は以前に復号された信号に基づいて初期化される。さらに別の実施の形態では、統計的依存性は一様分布として初期化され、その後復号中に更新される。

たとえば、いくつかの実施の形態では、統計的依存性は、符号化信号の変換ブロックの変換係数と副情報の変換ブロックの変換係数との差分Δの分布である。統計的依存性は、以下に従って、ゼロ平均ラプラシアンパラメーターλに基づいてモデル化される。

ラプラシアンパラメーターは、同じグループ内の以前に復号された変換ブロックから推定される。変換係数のλの値が小さくなると、その係数について帯域間予測を実行するのが容易になり、このため副情報の信頼性がより高くなる。

たとえば、いくつかの実施の形態では、復号器は、シンドローム復号を用いて全ての変換係数の全てのビットプレーンを復号する。様々な実施の形態では、復号８３０は、符号化器によって用いられるシンドローム符号に依拠する。１つの実施の形態では、低密度パリティ検査（ＬＤＰＣ：ｌｏｗ ｄｅｎｓｉｔｙ ｐａｒｉｔｙ ｃｈｅｃｋ）符号が用いられる。ＬＤＰＣ符号の場合、確率伝搬（ＢＰ：ｂｅｌｉｅｆ ｐｒｏｐａｇａｔｉｏｎ）法を用いて復号が実行される。ＢＰ復号を初期化するために、符号グラフの検査ノードが符号化信号の受信シンドロームビットと関連付けられる。

１つの実施の形態は、変換係数のビット数の推定を

によって表す。ここで、

は最上位ビットである。ほとんどの従来技術による分散ソースコーディングと対照的に、実施の形態は、最下位ビットから最上位ビットまで、すなわち

から

まで復号する。その論拠は、より下位のビットプレーンが復号されると、より上位のビットプレーンは、候補値がより離れた距離にあるので復号が容易になることである。より離れた距離にあることにより、より上位のビットプレーンの復号は、よりロバストである。

ｉ番目のビットプレーンを復号する間、ｊ番目の変数ノードの初期ＬＬＲ（ｌｏｇ−ｌｉｋｅｌｉｈｏｏｄ ｒａｔｉｏ：対数尤度比）が以下に従って求められる。

ここで、Ｗ_ｉｊは、シンドローム符号のｊ番目の変数ノードに対応する副情報の変換係数の値である。ｉ番目のビットの条件付き確率は、ラプラシアンパラメーターに基づいて、信号の以前に復号されたビットの値から求められる。

したがって、１つの実施の形態では、復号８３０の出力は、メモリ８５０内に格納され、対応するグループの統計的依存性を更新する（８６０）のに用いられる。様々な実施の形態が、対応するグループに属する復号信号の既に復号された変換ブロックを用いて、信号の変換ブロックの対応するグループと副情報との間の統計的依存性を独立して更新することができる。

最新技術による方法では、上記のＬＬＲを導出するのに用いられるラプラシアンパラメーターは、符号化信号の全ての部分について同じである。しかしながら、本発明の実施の形態は、

に従ってラプラシアンパラメーターを求め、更新し、再利用する。ここで、下付き文字ｔは、Ｔ個のグループのうちの１つをインデックス付けする。パラメーターは、ＢＰ復号器に対して、副情報の対応する変換ブロックが、信号の変換ブロックを復号するのにどれだけ信頼性があるかを直接示す。このため、ＢＰ復号の性能が改善される。換言すれば、所与の数のシンドロームについて、実施の形態は、復号信号内の誤りの数を低減する。

符号化器の例
図４は、本発明の１つの実施の形態による符号化器９００の例を示している。この実施の形態では、符号化器は、ワイナー・ジブ符号化器であり、当該技術分野において既知のプロセッサを用いて実装される。

ブロック変換モジュール９２０によって変換操作が信号９０１に適用され、変換係数９２１が生成される。変換係数は、基本量子化モジュール９４０によって、全ての変換係数について一定のステップサイズを用いる一様量子化器を用いて量子化される。他の実施の形態において、量子化器は、非一様であるか、または異なる変換係数について異なるステップを用いる。

量子化された変換係数９４１は、シンドローム符号化器モジュール９７０によってビットプレーンに変換され、各ビットプレーンにシンドローム符号が適用されてシンドロームビット９７１が生成される。１つの実施の形態では、シンドローム符号は、低密度パリティ検査（ＬＤＰＣ）符号である。他の実施の形態では、シンドローム符号は、リード・ソロモン符号、ボーズ・チョドーリ・オッケンジェム（ＢＣＨ：Ｂｏｓｅ Ｃｈａｕｄｈｕｒｉ Ｈｏｃｑｕｅｎｈｅｉｍ）符号、ターボ符号、ラプター符号、ファウンテン符号（Ｆｏｕｎｔａｉｎ Ｃｏｄｅ）、不規則反復蓄積（ＩＲＡ：ｉｒｒｅｇｕｌａｒ ｒｅｐｅａｔ ａｃｃｕｍｕｌａｔｅ）符号等の任意の線形チャネル符号である。

シンドローム符号化器モジュールは、変換係数から抽出された各ビットプレーンをベクトルとして表し、このベクトルをシンドローム符号のパリティ検査行列と乗算する。この乗算の結果、シンドロームベクトルの形態のシンドロームビットとなる。シンドロームベクトルの長さは、チャネル符号のレートに依拠し、たとえば、高レートの符号が低周波数係数のより上位のビットプレーンに用いられ、結果として小さなシンドロームベクトルが生じる。

シンドロームベクトルは、復号器に送信される（９０９）符号化信号をビットストリームとして表す。復号器は、副情報の変換係数からの信号を、シンドロームベクトルを用いて復号する。副情報は、信号との統計的依存性を有する任意の情報、たとえばキーフレーム９１０とすることができる。いくつかの実施の形態では、キーフレームは、規則的に離間したフレームである。これらのフレームは、目標品質レベルにおいて符号化される。符号化は、当該技術分野において既知のブロック変換モジュール９３０、量子化モジュール９５０、およびエントロピー符号化器モジュール９８０を用いる。通常、キーフレームの送信レートは、シンドロームベクトルの送信レートよりも低い。シンドロームベクトルは、キーフレームと結合して（９９９）送信する（９０９）こともできるし、別個に送信することもできる。

追加の情報
いくつかの用途では、送信されたシンドロームは、信号を復号するのに不十分である。したがって、１つの実施の形態では、ＬＤＰＣ累積（ＬＤＰＣＡ：ＬＤＰＣ ａｃｃｕｍｕｌａｔｅ）符号が用いられ、復号が成功するまで追加のシンドロームビットが増分的に生成されるようにする。これらの実施の形態において、符号レートは、特定のビットプレーンを復号する難易度に適合する。さらなるシンドロームを送信する要求は、復号器からのフィードバックチャネルを介して符号化器によって受信される。

別の実施の形態では、追加の補助情報が復号器に送信される。たとえば、信号が１組の画像である場合、各画像は、変換ブロックのサイズ、たとえば８×８ピクセルのブロックに分割され、これらのブロックのそれぞれにおける平均ピクセル値が補助情報として復号器に送信される。この実施の形態では、副情報は、補助情報を利用するために復号器において平均シフトされる。具体的には、副情報から平均ピクセル値が取り去られ、補助情報として受信された平均ピクセル値と置換される。別の実施の形態では、平均ピクセル値および追加のシンドロームビットの双方の組合せが復号器に送信される。

復号器
図５に示すように、復号器１０００は、シンドロームベクトルのシンドロームビット１０４１および副情報１０４２に基づいて符号化信号１００１を復号する。復号器は、シンドローム復号１０４０を用いて全ての変換係数の全てのビットプレーンを復号する。復号は、用いられるシンドローム符号に依拠する。１つの実施の形態では、ＬＤＰＣＡ符号が用いられ、この場合、復号は、ＢＰ復号によって行われる。

反復ＢＰ技法を用いて、ＬＤＰＣ符号は、それらのブロック長に対して線形の時間に復号される（１０４０）。ＢＰは、ベイズネットワークおよびマルコフ確率場等のグラフィックモデルに対する推論を実行するメッセージパッシングプロセスである。ＢＰは、任意の観測されたノードを条件として観測されていないノードごとの周辺分布を計算する。確率伝搬は、人工知能および情報理論において一般的に用いられており、低密度パリティ検査符号、ターボ符号、自由エネルギー近似、および充足可能性を含む多数の用途において経験的成功が実証されている。

ＢＰ復号を初期化するために、符号グラフの検査ノードが受信シンドロームビット１０４１と関連付けられる。上述したように、統計的依存性推定器１０１０によって求められた各グループの統計的依存性１０１５に基づいて、観測されていないノードごとの周辺分布が求められる。１つの実施の形態では、副情報１０４２、たとえばキーフレームは、符号化器から受信され、エントロピー復号され（１０２０）、逆量子化され（１０３０）、逆変換される（１０７０）。結果として生じる信号は、メモリ８５０内に格納され、後続の復号のために用いられる。

さらに、シンドローム復号１０４０によって復号された信号の部分は、逆量子化され（１０５０）、逆変換され（１０７０）、メモリ内の副情報を更新し最終的な復号信号１０８０を形成する。さまざまな実施の形態では、変換係数は、ビットプレーンごとに復号され、統計的依存性は、各ビットプレーンの復号後に更新され、更新された統計的依存性を用いて後続のビットプレーンが復号される。たとえば、この実施の形態の１つの変形形態では、統計的依存性の更新は、符号化信号のビットプレーンを復号するための確率伝搬の対数尤度比の更新を含む。

本発明の趣旨および範囲内で様々な他の適合および変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、全てのそのような変形形態および変更形態を、本発明の真の趣旨および範囲内に入るものとして包含することである。

Claims (19)

1. 符号化信号を、前記符号化信号と副情報との間の統計的依存性に基づいて復号する方法であって、前記統計的依存性は空間的であり、前記方法は、
   前記副情報の各変換ブロックの統計的信頼性を、前記変換ブロックの変換係数の絶対値の関数として求めるステップと、
   前記副情報の前記変換ブロックを、各前記変換ブロックの前記統計的信頼性に基づいて１組のグループにグループ化するステップであって、各前記グループの前記変換ブロックの前記統計的信頼性が実質的に同様になるようにグループ化する、グループ化するステップと、
   前記符号化信号の各前記変換ブロックを、前記符号化信号の前記変換ブロックと、前記副情報の対応する変換ブロックを含むグループとの間の前記統計的依存性を用いて復号するステップであって、前記統計的依存性は、前記副情報の前記変換ブロックの前記グループごとに独立して求められ、復号信号が生成される、復号するステップと、
   を含み、前記方法の前記ステップは、プロセッサによって実行される方法。
2. 前記統計的依存性は、ラプラシアンパラメーターによって表されるラプラシアン分布である、請求項１に記載の方法。
3. 前記統計的依存性のパラメーターは、前記グループごとに一意である、請求項１に記載の方法。
4. 前記符号化信号の第１の部分を復号する間に第１の変換ブロックの第１の統計的依存性を求めるステップと、
   前記第１の変換ブロックおよび第２の変換ブロックが同じグループにある場合、前記第２の変換ブロックおよび前記第１の統計的依存性を用いて前記符号化信号の第２の部分を復号するステップと、
   をさらに含む、請求項１に記載の方法。
5. 前記符号化信号の前記変換ブロックごとに、前記副情報の前記対応する変換ブロックを求めるステップと、
   前記対応する変換ブロックの前記グループを求めるステップと、
   前記グループの前記統計的依存性を選択するステップと、
   前記副情報の前記対応する変換ブロックおよび前記選択された統計的依存性を用いて前記符号化信号の前記変換ブロックを復号するステップと、
   をさらに含む、請求項１に記載の方法。
6. 対応するグループ内の前記復号信号の前記変換ブロックを用いて、前記符号化信号の前記変換ブロックの前記対応するグループと前記副情報との間の前記統計的依存性を独立して更新するステップをさらに含む、請求項１に記載の方法。
7. 前記関数は、閾値未満の絶対値を有する変換係数の数を求める、請求項１に記載の方法。
8. 前記グループ化するステップは、
   前記１組のグループ内のグループ数を求めるステップと、
   各前記グループに前記統計的信頼性の値の範囲を割り当てるステップと、
   前記変換ブロックの統計的特性を少なくとも１つのグループについて指定された前記統計的信頼性の範囲と比較することによって前記変換ブロックをグループ化するステップと、
   をさらに含む、請求項１に記載の方法。
9. 前記符号化信号の前記変換ブロックの前記変換係数のビットプレーンを復号するステップと、
   前記ビットプレーンを復号するステップの後に前記統計的依存性を更新するステップと、
   前記更新された統計的依存性を用いて後続のビットプレーンを復号するステップと、
   をさらに含む、請求項１に記載の方法。
10. 前記更新するステップは、
    前記後続のビットプレーンを復号するために確率伝搬法の対数尤度比を更新するステップをさらに含む、請求項９に記載の方法。
11. 符号化信号を、前記符号化信号と副情報との間の統計的依存性に基づいて復号する復号器であって、
    前記副情報の各変換ブロックの統計的信頼性を、前記変換ブロックの変換係数の絶対値の関数として求める手段と、
    前記副情報の前記変換ブロックを、各前記変換ブロックの前記統計的信頼性に基づいて１組のグループにグループ化する手段であって、各前記グループの前記変換ブロックの前記統計的信頼性が実質的に同様になるようにする、グループ化する手段と、
    前記１組のグループ内の前記グループごとに前記統計的依存性を求める手段であって、復号信号を生成する、求める手段と、
    を備える、復号器。
12. 前記統計的依存性は、前記グループごとに独立して求められる、請求項１１に記載の復号器。
13. 前記符号化信号の変換ブロックに対応する前記副情報の前記変換ブロックの前記グループに基づいて、１組の統計的依存性から前記統計的依存性を選択する手段をさらに備える、請求項１１に記載の復号器。
14. 前記統計的依存性に基づいて前記副情報の前記変換ブロックの前記変換係数から前記符号化信号の前記変換ブロックの変換係数を求める手段をさらに備える、請求項１３に記載の復号器。
15. 前記変換ブロックの前記変換係数を求めたことに応答して、前記グループの前記統計的依存性を更新する手段をさらに備える、請求項１４に記載の復号器。
16. 前記符号化信号の変換ブロックと、前記副情報の対応する変換ブロックを含むグループとの間の前記統計的依存性を用いて前記符号化信号の各前記変換ブロックを復号する手段であって、前記統計的依存性は、前記副情報の前記変換ブロックの前記グループごとに独立して求められる、復号する手段と、
    前記復号信号を格納するためのメモリと、
    をさらに備える、請求項１１に記載の復号器。
17. 前記信号の前記変換ブロックの対応するグループと前記副情報との間の前記統計的依存性を独立して更新する手段をさらに備える、請求項１１に記載の復号器。
18. 前記変換ブロックの前記統計的信頼性を特定のグループについて指定された前記統計的信頼性の範囲と比較する手段をさらに備える、請求項１１に記載の復号器。
19. 前記信号は、フレームのシーケンスを含むビデオであり、各前記フレームは、前記変換ブロックに分割される、請求項１１に記載の復号器。

Images