JP2006521759A - マルチメディア伝送についてサイド情報を符号化および復号化するための方法、装置およびシステム - Google Patents

Abstract

【課題】マルチメディア伝送についてサイド情報を符号化および復号化するための方法、装置およびシステム
【解決手段】本発明の１つの局面に従って、その中では入力データ（例えば、入力ビデオデータ）は符号化されたデータを発生するために第１の符号化標準（例えば、ＭＰＥＧ−４）に従って符号化される方法および装置が提供される。入力データはまた、入力データと関連する符号化されたサイド情報を発生するために入力データの再構成に基づいて符号化される。符号化されたデータは第１のチャネル上で目的地（例えば、復号化サブシステム）に伝送され、そして符号化されたサイド情報は第２のチャネル上で目的地に伝送される。符号化されたデータおよび符号化されたサイド情報は出力データを発生するために目的地で復号されて、結合される。

Description

本発明は一般にデータ処理およびデータ通信の分野に関し、そしてさらに詳しくはマルチメディア伝送についてサイド情報を符号化および復号化するための方法、装置およびシステムに関する。

技術は進歩し続け、そしてビデオおよびオーディオ信号処理についての要求は急激な速度で増加し続けるので、信号処理およびデータ伝送についての効果的で効率的な技術は、システム設計および実施においてますます重要になってきている。ビデオ信号処理を含むマルチメディア処理および伝送についての種々な標準または仕様は、マルチメディア信号処理に関連する種々な符号化スキームを標準化し、そして容易にするために永年にわたり開発されてきた。特に、動画専門家グループ（ＭＰＥＧ）として知られるグループは、動画の符号化された表示およびディジタル蓄積媒体上に蓄積された関連オーディオについての標準または仕様を開発するために設立された。結果として、１９９９年１２月に公布された、ＩＳＯ／ＩＥＣ １４４９６−２（第２部−ビジュアル）オーディオ・ビジュアル物体の符号化（ＣＯＤＩＮＧ ＯＦ ＡＵＤＩＯ−ＶＩＳＵＡＬ ＯＢＪＥＣＴＳ）（またこの中ではＭＰＥＧ−４標準またはＭＰＥＧ−４仕様とも呼ばれる）として知られる標準は、ビジュアル物体またはビデオ信号についての種々な符号化スキームを標準化するものが工業化された。それぞれ、ＩＳＯは国際標準化機関としてあり、そしてＩＥＣは国際電気標準会議としてある。通常、復号器が符号化された信号を取り戻すためにこの情報を解析し、復元し、そして再合成するために必要とする方法と同様に、ＭＰＥＧ仕様は、符号器が生成してＭＰＥＧコンプライアントなビットストリームに書き込む必要があるタイプの情報よりはむしろ符号器を標準化しない。［Ｑ１］他の符号化標準は、例えば、ＩＴＵ−Ｔ勧告Ｈ．２６３“低ビットレート通信のためのビデオ符号化（Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ Ｌｏｗ Ｂｉｔｒａｔｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）”、Ｈ．２６４、等を含む。

典型的なビデオ処理システム１００が図１に図示され、それはビデオ符号器１１０とビデオ復号器１３０とを含む。この配列では、ビデオ符号器１１０とビデオ復号器１３０とは設定された標準または仕様に従って動作することができる。例えば、ビデオ符号器１１０とビデオ復号器１３０とはＭＰＥＧ−４標準に従って動作することができる。従って、それぞれ、ビデオ符号器１１０はＭＰＥＧ−４符号器と呼ばれ、そしてビデオ復号器１３０はＭＰＥＧ−４復号器と呼ばれてもよい。図１に図示されたシステム配列では、送信端で、ビデオ符号器１１０はビデオ入力データを受信し、そしてチャネル１２０を介してビデオ復号器１３０に伝送される符号化されたビデオデータを発生または生成するためにこのビデオ入力データを符号化する。チャネル１２０は無線または有線チャネルであることができ、そしてまたこの中では主チャネルまたは主ストリームとも呼ばれる。受信端では、ビデオ復号器１３０は符号化されたビデオデータを受信し、ビデオ出力データを発生または生成するためにこの符号化されたビデオデータを復号する。チャネル１２０上での伝送処理の間、誤りは雑音、信号干渉、フェージング、接続の損失等、種々なファクタにより誘発される可能性がある。そのような誤りはビデオ復号器１３０の性能に否定的に影響を与え、従ってビデオ出力データの品質は下げられるであろう。誤り検出符号化、順方向誤り訂正（ＦＥＣ）、あるいは自動反復／再送要求（ＡＲＱ）スキームのようないろいろな従前の誤り符号化技術は誤り率を受入れ可能なレベルに保つために使用されることができる。しかしながら、そのような従前の技術は、データ冗長性および／またはより長い潜伏性(latency)のため重大な非能率という結果になる。ビデオ圧縮標準もまた伝送によって誘発された誤りの逆効果を軽減するための追加の手法を提供する。これらは再同期マーカ、データ区切り(partitioning)、逆方向可変長符号化（ＲＶＬＣ）等である。これらの誤り回復(resilience)ツールは符号器／復号器の複雑さを増加させ、そしてビデオ情報を伝送するのに必要なデータレートを増加させる。さらに、これらのツールは、ＣＤＭＡネットワークのようなスペクトル拡散通信チャネルにおいて典型的に見られるバースト的な誤りに対して適切な保護を提供することができない。

よって、マルチメディア処理システムにおいてビデオデータのようなマルチメディア情報の品質を重大な処理の非能率を招くこと無しに改善するための方法、装置およびシステムについての要望がある。

[発明の概要]
本発明の１つの態様によると、入力データ（例えば、入力ビデオデータ）は符号化されたデータを発生するために第１の符号化標準（例えば、ＭＰＥＧ−４、Ｈ．２６３）に従って符号化される方法が提供される。この入力データはまた、入力データに関連する符号化されたサイド情報を発生するために入力データの再構成に基づいて符号化される。符号化されたデータは第１のチャネル上で目的地（例えば、復号化サブシステム）に伝送され、そして符号化されたサイド情報は第２のチャネル上でこの目的地に伝送される。符号化されたデータと符号化されたサイド情報とは出力データを発生するために目的地で復号されて、結合される。

本発明のもう１つの態様によると、第１の符号器と第２の符号器とを含む装置が提供される。第１の符号器は入力データを受信し、そして第１のチャネル上での伝送のための符号化されたデータを発生するために第１の符号化標準（例えば、ＭＰＥＧ−４）に従って入力データを符号化する。第２の符号器は入力データと第１の符号器からの入力データの再構成とを受信し、そして第２のチャネル上での伝送のための符号化されたサイドデータを発生するために、少なくとも一部では、入力データの再構成に基づいて入力データを符号化する。

この発明のさらにもう１つの態様によると、第１の復号器と第２の復号器とを含む装置が提供される。第１の復号器は第１のチャネル上で受信された符号化されたデータを復号し、そして第２の復号器は第２のチャネル上で受信された符号化されたサイドデータを復号する。第１の復号器から発生されたデータと第２の復号器から発生されたデータとは出力データを発生するために結合される。

この発明のさらなる態様によると、第１の符号器、第２の符号器、第１の復号器、および第２の復号器を含むシステムが提供される。第１の符号器は入力データを受信し、そして第１のチャネル上での伝送のための符号化されたデータを発生するために第１の符号化標準に従って入力データを符号化する。第２の符号器は入力データと第１の符号器からの入力データの再構成とを受信し、そして第２のチャネル上での伝送のための符号化されたサイドデータを発生するために、少なくとも一部では、入力データの再構成に基づいて入力データを符号化する。第１の復号器は第１のチャネル上で受信された符号化されたデータを復号し、そして第２の復号器は第２のチャネル上で受信された符号化されたサイドデータを復号する。第１の復号器から発生されたデータと第２の復号器から発生されたデータとは出力データを発生するために結合される。

この発明のもう１つの態様によると、機械可読媒体は、機械によって実行された時に、符号化されたデータを発生するために第１の符号化標準に従って入力データを符号化する、符号化されたサイドデータを発生するために入力データの再構成に基づいて入力データを符号化する、および第１のチャネル上で符号化されたデータをおよび第２のチャネル上で符号化されたサイドデータを目的地に伝送するための動作を機械に実行させる命令を含んで提供される。

本発明の種々な態様および特徴は以下の詳細な説明およびこの中に添付された図面との関連によって開示される。

下記の詳細な説明では多数の特定の細部が述べられる。しかしながら、この発明の種々な実施形態はこれらの特定の細部無しに実行され得ることは理解される。以下で論じられるこの発明のいろいろな実施形態は例示的であり、そして限定するよりはむしろこの発明の実例となることを意図していることはこの分野の技術者によって認識され、理解されねばならない。

以下でさらに詳しく論じられるように、この発明の１つの実施形態に従って、方法およびシステム構成(framework)はマルチメディアビットストリームを運ぶ主ストリームのほかに特別なディジタルストリームを符号化するために提供される。特別なディジタルストリームはまたこの中ではサイドチャネルまたはヒントチャネルとも呼ばれる。そのような特別のディジタルチャネルは主チャネル上で伝送されるマルチメディアビットストリームに誤り回復力(resiliency)を提供する、したがって受信端(例えば、ビデオ復号器によって発生されたビデオデータ)で発生されるマルチメディア情報（例えば、ビデオデータ）の品質を改善するために使用されることができる。さらに、以下でより詳細に論じられるこの発明の１つの実施形態に従って、サイドチャネル上で伝送されたヒントまたはサイドチャネル情報の量は適合させられることができるか、あるいはチャネル条件、サイドチャネルが提供する必要がある保護量、等を含むいろいろなファクタに基づいてダイナミックに調整されることができる。

続く検討は、サイド情報と共に符号化を使用する方法およびシステム構成についての説明とイラストとを提供する。サイド情報構成を有する符号化は、１９９３年３月、データ圧縮会議（ＤＣＣ）の議事録内の技術論文、タイトル“シンドローム使用の分布ソース符号化(ＤＩＳＣＵＳ)：設計および構成（Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｏｕｒｃｅ Ｃｏｄｉｎｇ Ｕｓｉｎｇ Ｓｙｎｄｒｏｍｅｓ（ＤＩＳＣＵＳ）：Ｄｅｓｉｇｎ ａｎｄ Ｃｏｎｓｔｒｕｃｔｉｏｎ）”においてエス・エス・プラダーン（Ｓ．Ｓ．Ｐｒａｄｈａｎ）およびケイ・ラムチャンドラン（Ｋ．Ｒａｍｃｈａｎｄｒａｎ）によって検討された。今図２Ａおよび図２Ｂを参照すると、処理システム２００Ａおよび２００Ｂがそれぞれ図示される。処理システム２００Ａはチャネル２２０Ａ上でデータを復号器２３０Ａに送信する符号器２１０Ａを含む。同様に、処理システム２００Ｂはチャネル２２０Ｂ上でデータを復号器２３０Ｂに送信する符号器２１０Ｂを含む。

図２Ａおよび２Ｂに示されるように、ＸおよびＹは多分８ポシブルバイナリ３−タプル(the 8 possible binary 3-tuples)の各々を均一に引き受けることができる３ビット長バイナリデータであると仮定される。しかしながら、ＸおよびＹは相互に関係があるランダム変数である。それらの間の相関性はＸとＹとの間のハミング距離が高々１であるようになる。すなわち、Ｙの値（例えば、Ｙ＝［０１０］）が与えられると、Ｘの値はＹの値と同じもの（即ち、Ｘ＝［０１０］）とＹの値について1つのビットが異なるもののどちらかである。例えば、Ｘの値は第1ビットがオフされる（Ｘ＝［１１０］）か中間ビットがオフされる（Ｘ＝［０００］）か最終ビットがオフされる（Ｘ＝［０１１］）ことができる。

以下の検討は、Ｘが復号器で正確に再構成され得るようにＸは図２に図示された２つのシナリオで効率的に符号化され得ることを示すであろう。

シナリオ1：図２Ａに示された第1のシナリオでは、Ｙは符号器２１０Ａと復号器２３０Ａとの両方にある。このシナリオでは、ＸはＹから予測されることができる。残余データは残余情報、あるいはＹについての誤りパターンＸとも呼ばれる剰余(residue)

は、4個の異なる値を取ることができ、よって2ビットで符号化されることができる。これはＸを符号化するのに必要な最小可能性の(least possible)（最良の）レートと呼ばれることができる。受信端では、復号器はＸを得るために剰余をＹと結合することができる。この場合には、以下でさらに詳しく論じられるように、Ｘはヒントチャネル上で伝送される必要がある現在のマルチメディア符号化ユニットと類似している。Ｙは主チャネルに基づいた現在のマルチメディア符号化ユニットのための再構成と類似している。剰余がヒントチャネルのために符号化されるこの方法は予測符号化に相当する。

シナリオ2：図２Ｂに示されたような第2のシナリオでは、Ｘ用の符号器（符号器２１０Ｂ）はＹへのアクセスを持たない。このシナリオの性能はしたがって第1のシナリオのそれによって制限される。しかしながら、Ｘ用の符号器はＸとＹとの間の相関構成を知っており、そして復号器がＹへのアクセスを有することも知っている。この外観上、より悪いシナリオでは、第1のシナリオにおけると同じ性能が達成され得ることが下に示されることができる。即ち、第2のシナリオでは、Ｘも2ビットで符号化されることができる。

これは下記のアプローチを使用して行なわれることができる。このアプローチでは、Ｘの符号語のスペースは、次のとおり、各々２つの符号語を含む４セットに区切られることができる：
（［０００］および［１１１］）を含むコセット(coset)１；
（［００１］および［１１０］）を含むコセット２；
（［０１０］および［１０１］）を含むコセット３；および
（［１００］および［０１１］）を含むコセット４。

この例では、Ｘ用の符号器はＸ用の符号語を含んでいるセットを識別することができ、そして個々の符号語の代わりにそれぞれのセット用のインデックスを送ることができる。Ｘの符号語のスペース内には４セットがあるので、それらは２ビットでインデックスされることができる。コセットインデックスの受信では、復号器は、回答としてそれがＹに最も近い符号語であることを示すか宣言することによって、正確にするかまたはそのセットから正しいＸを得るために使用することができる。上述されたように、ＸとＹとの間の距離は高々１であり、そして任意のセット内の２つの符号語の間の距離が３であることは注意されねばならない。よって、第２のシナリオにおけるＸの復号化はコセットインデックスとＹとに基づいて正しく行なわれることができる。例えば、もしもＹが［００１］であり、そしてＸが［０１１］であれば、その時符号器２１０Ｂは、Ｘ用の個々の符号語を送る代わりに、この場合にはコセット４である、Ｘの値を含んでいる対応するセット用のインデックスを送る。よって、このインデックスを符号器２１０Ｂから受信して、復号器２３０ＢはＹ（［００１］）と２に等しいコセット４（［１００］）内の符号語の１つとの間の、およびＹ（［００１］）と１に等しい他の符号語の（［０１１］）との間の距離を計算する。復号器２１０ＢはＸとＹとの間の距離は高々１であることを知るので、［０１１］は、この例ではＸの正しい値である、Ｘ用の監視された符号語として復号される。復号器が相関するサイド情報へのアクセスを有する符号化のこのモードはサイド情報符号化として知られる。サイド情報システムと共に符号化を使用するシステムの性能は、符号長が大きくなるような、予測符号化に基づいたもののそれとマッチできる。一般に、ＸとＹとの間の相関性は伝送速度を減少させることができる。前の検討に基づいて、以下の観察結果が注目される：
・コセット１が距離３の繰返しチャネル符号であり、そして他のセットはＸの符号語スペース内のこの符号のコセットであることは注目される。この事例では、われわれはＸのソース(source)符号語スペースを分割するためにＸとＹとの間の相関距離（例えば、雑音）に“マッチした(matched)”チャネル符号を使用した。これは予測符号化システムと同じか同等である高い圧縮性能を与えるサイド情報符号化システムという結果になる。

・実際問題として、ソース符号語スペースの区切りおよび結果としてのコセットのインデックスラベリング（インデックスラベルはここではシンドロームとも呼ばれる）は、コセット符号の構成により非常に計算的に効率的な方法で行なわれることができる。このように、サイド情報符号化システム内の符号器は低い複雑性の符号化を招く。

・上で検討されたように、Ｘの区切りもまた一般的であることは注意されねばならない。即ち、Ｘの同じ区切りは、Ｙの値には関係なくＸとＹとの両者が相関構成を満足すると同様に長く、すべてのＹについて行なわれる。例えば、もしもＸが［０１０］であれば、その後Ｘについての同じ符号化（例えば、コセット３のインデックス）はＹのすべての場合（例えば、［０１０］、［１１０］、［０００］および［０１１］）に適用可能となるであろう。このように、予測符号化セットアップとは違い、Ｘについての符号化と相関関係にある情報Ｙの値との間に依存状態はなく、したがって普遍性を提供する。よって、ここに示された発明はＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４、等のようなすべての予測符号化技術に適用されるであろう。

今図３を参照して、この発明の１つの実施形態に従って、サイド情報符号化アプローチを使用する例示的なマルチメディア処理システム３００が図示される。図３に示されるように、システム３００は符号化サブシステムまたは符号化コンポーネント３１０および復号化サブシステムまたは復号化コンポーネント３３０を含む。１つの実施形態では、符号化サブシステム３１０はＭＰＥＧ−４標準またはＨ．２６３標準のような制定された標準に従って動作する符号器３１２を含む。符号器３１２はまたここでは従前の符号器とも呼ばれる。符号化サブシステム３１０はさらにビデオ符号器３１２に連結されるもう１つの符号器３１６（ここではサイド情報符号器またはヒント情報符号器とも呼ばれる）を含む。符号器３１２は主チャネル３２０を介して復号化サブシステム３３０に送信される符号化されたデータを発生するために入力データ（例えば、ビデオデータ）を受信し、そして符号化する。主チャネル３２０は無線または有線チャネルであることができる。符号器３１６は入力データおよび符号器３１２からの入力データの再構成を受信するように連結され、そして無線または有線チャネルであることができる別のチャネル３２５を介して復号化サブシステム３３０に送信される符号化されたサイドまたはヒント情報を発生する。チャネル３２５はまたここではサイドチャネルまたはヒントチャネルとも呼ばれる。１つの実施形態では、入力データと入力データの再構成との間の差は、符号器３１２によって発生された予測誤り情報を含む可能性がある残余データと呼ばれる。符号器３１６の構成および動作は下でさらに詳しく論じられる。

１つの実施形態では、図３に示されるように、復号化サブシステム３３０はＭＰＥＧ−４標準またはＨ．２６３標準のような制定された標準に従って動作する復号器３３２を含む。復号器３３２はまたここでは従前の復号器とも呼ばれる。復号化サブシステム３３０はさらにサイドチャネル３２５上で受信されたサイド情報を復号化するための復号器３３６を含む。復号器３３２および復号器３３６によって発生された情報またはデータは出力データ（例えば、出力ビデオデータ）を発生するように結合される。復号化サブシステム３３０および復号器３３６の構成および動作は下でさらに詳しく論じられる。

図４は、この発明の１つの実施形態に従って、上で図３に示されている符号器３１６の詳細なブロック図を図示する。図４に示されるように、符号器３１６（この中ではサイド情報符号器または単純にサイド符号器とも呼ばれる）は、分類ユニット４１０、基礎スカラー量子化ユニット４２０、シンドローム符号化ユニット４３０、改善(refinement)量子化ユニット４４０、および誤り検出／保護ユニット４５０を含む。符号器３１６のこれらのいろいろなユニットまたはコンポーネントは下でさらに詳細に論じられる。図４内に示されている符号器３１６の配列または構造はまさに、本発明の教えに従う１つの実施例あるいは１つの実施の形態であることは注意されねばならない。他の配列、構造、または変種は、この発明のいろいろな適用および／またはいろいろなシステム環境に基づいて実施されることができる。例えば、分類およびシンドローム符号選択は瞬間のチャネル条件にマッチされることができる。

サイド（ヒント）チャネル３２５上の許容伝送速度によって、符号器３１６によって実行されるいくつかの機能または処理が修正またはスキップされることができることは注意されねばならない。例えば、基礎スカラー量子化はＮの統計およびサイド情報についての使用可能なビットレートによって修正されることができる。同様に、改善量子化処理または機能は修正またはスキップされてもよい。説明およびイラストの目的で、Ｘは符号化されるべき現在のブロックを示し、Ｙは主チャネルでの現在のブロックの再構成であり、そしてＹ＝Ｘ＋Ｎ、ここでＮはＸとＹとの間の差を示し、そして、例えば、Ｘの符号化における予測誤り、雑音、および／または符号化および伝送過程において誘発される歪み、等に対応してもよい。

以下の検討では、符号化されるべきビデオフレームは画素の非重複空間ブロック(non-overlapping spatial blocks）（例えば、１６×１６、８×８等）に分割される。本発明の教えが符号化されるべきビデオフレームの任意の特定の分割または区切りに限定されないことはこの分野の技術者によって認識または理解されねばならない。ブロックごとに処理できる符号化処理は以下で詳細に論じられる。

分類
１つの実施形態では、分類ユニット４１０は次の通り分類機能または処理を実行する。チャネル符号をブロックにマッチさせるために、ブロックは現在のフレームの主チャネル再構成とそれらの相関関係に基づいて分類される。特定のクラスに対応するＮの統計はその後適切な区切り計画を決定または指令するために使用される。１つの実施形態では、ブロックフレーム差内のエネルギー（例えば、現在のブロックと主チャネル上の同じ位置における再構成ブロックとの間の単純な平均二乗誤差）は現在のブロックを分類するためのきっかけとして使用されることができる。多数の符号化モードまたはクラスが種々の相関度に対応する各々と共に使用されることができる。例えば、１つの極端な状態(extreme)ではモードはＳＫＩＰモードと呼ばれ、そこでは相関性はそのブロックが全然符号化されないほど強い。他の極端な状態ではモードはＩＮＴＲＡモードと呼ばれ、そこでは相関性は内部符号化(intra-coding)がふさわしいほど弱い。よって、これら２つの極端な状態の間には異なるシンドローム符号化があることができる。

基礎スカラー量子化
図４に示されるように、符号器ユニット３１６は画素値に量子化を実行するための基礎スカラー量子化ユニット４２０を含む。１つの実施形態では、入力データ（例えば、画素値）は符号化の前に量子化される必要がある。量子化について、ステップサイズの選択はＮの統計によって制限され得る。例えば、もしも非常に細かなステップサイズがＸを符号化するために選択されれば、再構成された情報Ｙはそれらを正しく明確にできず、符号語は互いに“接近し”過ぎる可能性があるので、その時は符号化誤りがあり得る。これは図５内に示された図表に図示される。図５に示されるように、上段のラインはＸについての量子化された符号語セットを示し、そして２本の下段のラインはＸについての量子化された符号語のスペースの２つの区切りを示す。矩形ボックスは第１の区切り内にある監視された符号語を示す。この例では、Ｎの大きさは量子化ステップサイズ以上であるので、復号器は不正確な（円で囲まれた）符号語を復号するために再構成された情報Ｙを使用する。このように、Ｘのエレメントの各々はＮ内の対応するエレメントの標準偏差に比例するステップサイズで量子化される。

シンドローム符号化
図４を再び参照して、シンドローム符号化ユニット４３０は基礎スカラー量子化ユニット４２０から発生されたデータに関してシンドローム符号化を実行する。この実施形態では、Ｎの統計を使用して適切に発生されていた量子化された符号語のスペースは良好な距離特性（例えば、ユークリッド スペース トレリス チャネル符号、ターボ符号、低密度パリティチェック（ＬＤＰＣ）符号、あるいはこの分野では知られている他のチャネル符号、等）を有するチャネル符号を使用して分割されることができる。これは上で検討されたソース符号語スペースを分割するのに使用された反復チャネル符号と類似している。

１つの実施形態では、レート・１／２トレリス符号はこの目的のために使用されることができる。ブロック長Ｎのレート・１／２トレリス符号は｛０，１，２，３｝Ｎのサブスペースである（例えば、ブロック長３（［０００］および［１１１］）の反復チャネル符号は｛０，１｝３のサブスペースである)。よって、それはスペース｛０，１，２，３｝Ｎを分割するために使用されることができる。この理由のため、量子化された符号語のスペースは｛０，１，２，３｝Ｎに変換される必要がある。１つの実施形態では、これは、図６に示されるように、量子化格子(quantization lattice)のｍｏｄ−４ラベリングを使用することによって行なわれることができる。

１つの実施形態では、この場合に受けられた伝送またはコセットインデックスレートは１ビット／サンプルである。この例では、｛０，１，２，３｝Ｎのサブスペースであるブロック長Ｎのレート・１／２トレリス符号はサイズ４Ｎのスペース内に２Ｎ符号語を有する。よってそれに対応した４Ｎ／２Ｎ＝２Ｎコセットがあり、それは、このように１ビット／サンプルのレートに対応する、Ｎビットによってインデックスされることができる。

各符号語に関連するコセットインデックス（シンドローム）の発生は、量子化された符号語とトレリス符号のパリティチェックマトリックスとの間の単純な畳込み演算(convolution operation)（係数の数において線形）により計算量的に効率的な方法で達成されることができる。

改善量子化
図４に示されるように、シンドローム符号化ユニット４３０によって発生されたデータは改善量子化ユニット４４０によってさらに改善されることができる。一般に、目標再構成品質は特定の量子化ステップサイズに相当する（例えば、より高い要望の品質はより細かな量子化ステップサイズに相当し、そしてより低い品質はより粗い量子化ステップサイズに相当する)。品質は典型的にＰＳＮＲ（ピーク信号対雑音比）＝Ｌｏｇ１０(２５５２／ＭＳＥ)を有するＰＳＮＲ（ｄＢ）で測定され、ここでＭＳＥは源ブロックとブロック内の画素数によって分割された符号化されたブロックとの間の平均二乗誤差を表す。

シンドローム符号化される画素値について、基礎量子化ステップサイズの選択はＮによって制限される。これは復号化誤りの確率を最小にするように行なわれる。よって、基礎量子化インターバルが高忠実度で復号器に正しく伝達されることができると仮定して、それは目標量子化ステップサイズのためにさらに改善されることができる。１つの実施形態では、改善演算はまさに基礎量子化インターバルの目標量子化ステップサイズと等しいサイズのインターバルへの漸進的な細分(progressive sub-dividing)と同様に簡単である。この場合には、基礎インターバルの内部の改善インターバルのインデックスが復号器に送信される。

シンドローム符号化および改善量子化を実行することがサイド情報と共に符号化の利得を実行するおよび実現する１つの方法に過ぎないことはこの分野の技術者によって理解されねばならない。上述されたように、この中に記述された種々な処理段階の他の構成、変種、または結合は本発明のいろいろな適用によって実施されることができる。例えば、改善量子化階梯または処理は、もしもそれがあるアプリケーションまたはあるシステム環境において不要ならば、削除またはスキップされてもよい。

ここで基礎量子化および改善量子化レベルが品質と効率との間の固有のバランスを維持するためにいろいろなファクタに基づいて調節または適合され得ることは注意されねばならない。これらのいろいろなファクタは、サイド情報についての使用可能なビットレート、望ましいレベルの品質を達成するために供給されねばならないサイドチャネルについてのチャネル条件と保護量、等を含んでもよいが、しかしこれに限定されない。

復号化誤り検出／保護：
図４に図示されるように、符号器３１６は誤り検出／保護ユニット４５０を含んでもよい。符号器サブシステムではサイド情報符号化は原則として符号化されるべきであるブロックＸと主チャネルフレームメモリ内のこのブロックについての“最良の”予測量(predictor)Ｙとの間の誤りの統計に関して行なわれることは注意されねばならない。符号化処理は統計的であるので、検出される必要がある復号化誤りがあり得る。これは巡回冗長検査（ＣＲＣ）符号のような誤り検出符号によって達成されることができる。この実施形態では、符号器３１６はこのようにサイド情報符号化係数についてのシンドロームのみならず十分な長さの量子化された符号語のシーケンスのＣＲＣ検査も送信する。このＣＲＣ検査は量子化された符号語シーケンスの“署名(signature)”として機能することができる。従前の符号化／復号化系列と対比して、ここで検討された新しいアプローチにおいて動き調査（motion search）を行うことは復号器のタスクである。１つの実施形態では、復号器はシンドロームによって標記された(labeled)セットからのシーケンスを復号するために候補予測量のスペース上で１つずつ調査する。復号されたシーケンスがＣＲＣ検査とマッチすると、復号化は成功であると宣言される。ＣＲＣは符号語シーケンスについての確かな署名として働くように十分に強い必要があることは注意されねばならない。

今図７を参照して、復号化サブシステム３３０のさらに詳細なブロック図が図示される。図７に示されるように、復号化サブシステム３３０は復号器ユニット３３２、復号器ユニット３３６、および評価および再構成(estimation and reconstruction)ユニット７３０を含むことができる。１つの実施形態では、復号器３３６（ここではサイド情報復号器または単純にサイド復号器とも呼ばれる）は動き調査ユニット７１０およびシンドローム復号化ユニット７２０を含むことができる。復号化サブシステム３３０内に含まれたいろいろなユニットの動作および機能は下でさらに論じられる。

動き調査
１つの実施形態では、動き調査ユニット７１０は受信されたシンドロームによって指示されたセットからの量子化された符号語のシーケンスを復号するための候補予測量を発生するために動き調査を実行する。全数半画素(exhaustive half pixel)動き調査は、標準ビデオアルゴリズム内の符号化側でも行なわれるようにいろいろな候補予測量を得るためにここで使用されることができる。この中で検討された方法およびシステム構成がマルチフレーム予測、オプチカルフロー、制御グリッド補間、等のような任意の他の洗練された動き評価手順を適応させるために適用され得ることは注意されねばならない。

１つの実施形態では、主チャネルが誤りを持たない時、または動きベクトルが間違いが少ない時には、動き調査は実行されない。ここで動き調査動作は時間消費となり、計算量的に集中的になり得ることは注意されねばならない。従って、もしも動きベクトルが主ストリーム内で誤り無しに到着すれば、動き調査動作は実行される必要がない。

シンドローム復号化
本検討を続けると、シンドローム復号化はシンドローム復号化ユニット７２０によって実行される。１つの実施形態では、動き調査ユニット７１０によって発生された候補予測量の各々はシンドロームによって指示されたセットからの量子化された符号語のシーケンスを復号するために使用される。トレリス符号の場合については、この復号化はビタビアルゴリズムを使用して達成されることができる。ここで受信されたシンドロームによって標記された全シーケンスのセットはトレリス上に示される。ビタビアルゴリズムはその後候補予測量に“最も近い”このセット内のシーケンスを識別するのに使用されることができる。他の符号（例えば、ターボ符号）については、対応する復号化アルゴリズム（例えば、反復復号化）が使用されることができる。もしもこの復号されたシーケンスがＣＲＣ検査とマッチすれば、その時復号化は成功であると宣言される。他方では、動き調査モジュールを使用して、次の候補予測量が得られ、そしてその後手順は繰返される。

評価および再構成
一度量子化された符号語シーケンスがシンドローム復号化ユニット７２０によって再生されると、この再生された符号語シーケンスは評価および再構成ユニット７３０（またこの中では結合ユニットとも呼ばれる）に供給される。再生された符号語シーケンスは、ソースデータの最良の再構成を得るために主チャネルからの使用可能な予測量と一緒に使用される。もしもＸ、ＹおよびＮがガウスランダム変数として作られれば、予測量と量子化された符号語とからの最良の線形評価はソース再構成を得るために使用されることができる。しかしながら、洗練された信号処理アルゴリズム（例えば、時空的な補間）または後処理機構(post processing mechanism)のいずれかがこの構成内で展開されることができ、そしてこれらは処理システムの全体の性能を改善するように機能することができる。

言い換えれば、図７に図示されるように、出力データ（例えば、ビデオ出力データ）を発生するために再構成された主ストリームデータと再構成されたサイドストリームデータとは結合ユニット７３０によって結合される。いろいろなテクニックが出力データを発生するために再構成された主ストリームデータと再構成されたサイドストリームデータとを結合するために使用されることができる。例えば、（線形評価に基づいた）線形重み付け(linear weighting)またはこの分野で知られている任意の他の非線形混合(blending)テクニックが再構成された主ストリームデータと再構成されたサイドストリームデータとを結合するために使用されることができる。

図８は本発明の１つの実施形態に従って情報（例えば、ビデオデータ）を処理するための方法のフロー図を図示する。ブロック８１０で、入力データ（例えば、入力ビデオデータ）が受信される。ブロック８２０で、入力ビデオデータは符号化されたデータを発生するために制定された標準（例えば、ＭＰＥＧ−４またはＨ．２６３標準）に従って符号化される。ブロック８３０で、入力データは符号化されたサイド情報（ヒント情報とも呼ばれる）を発生するために入力データの再構成に基づいて符号化される。ブロック８４０では、ブロック８２０で発生された符号化されたデータは第１のチャネル（主チャネルとも呼ばれる）上で目的地（例えば、復号化サブシステム）に伝送され、そして符号化されたサイド情報は第２のチャネル（サイドチャネルまたはヒントチャネルとも呼ばれる）上で目的地（例えば、復号化サブシステム）に伝送される。ここで検討されたように、主チャネル上で送信された情報ストリームは主ストリームとも呼ばれ、これに反してサイドチャネル上で伝送された情報ストリームはサイドストリームとも呼ばれる。ブロック８５０で、主チャネルから符号化されたデータを、そしてサイドチャネルから符号化されたサイド情報を受信し、受信された符号化されたデータおよび受信されたサイド情報は出力データ（例えば、出力ビデオデータ）を発生するために復号される。

上で論じられたように、この発明のいろいろな実施形態に従う方法およびシステム構成は、いろいろなシステム配列、アプリケーション、およびビデオとオーディオデータとを含むいろいろなタイプの相関データが適用または実施され得ることは理解されることができる。図３に図示されたようなサイド情報符号化／復号化を使用する処理システムでは、システム性能および復号化サブシステムによって発生された出力データの品質が従前のシステムのそれと比較して改善されることは上記説明から知ることができる。言い換えれば、この中に開示されたようなサイド情報ベースのヒントチャネル法／ソリューションは、従前のＦＥＣベースの誤り回復力法／ソリューションと比較して少なくとも下記の２点で優れている：（１）フレームまたはＧＯＰレベルで動作する必要があり、したがって有意に増加された潜伏性を招いているＦＥＣソリューションに対立するものとして、本発明のサイド情報ベースのヒントチャネル法／ソリューションは、ヒントチャネルがマクロブロックレベルで効率的に動作できるジョイントソースチャネル符号であるので、同じ性能カーブについてのＦＥＣベースのソリューションよりもはるかに低い潜伏性を招く；そして（２）主チャネル上で出会った誤りが無い時でさえ、本発明のサイド情報ベースのアプローチは、上で論じられたような２つの情報ストリームの混合のため改善された品質という結果になることができ、これに反して標準ＦＥＣベースのソリューションはこの場合における品質を改善することができない。

本発明が特定の実施形態および特定の実例を参照して論じられた一方で、これらの実施形態および実例は例証であり、そしてこの発明の範囲はこれらの実施形態に限定されないことはこの分野の技術者によって理解され、認識されねばならない。上で論じられた実施形態への多くの変種、修正、付加および改良は可能である。これらの変種、修正、付加および改良は以下のクレーム内に詳述されたようにこの発明の範囲内にある。

典型的なビデオ処理システムを示すブロック図である。 符号器および復号器ユニットの両者がサイド情報へのアクセスを有する処理システムを示すブロック図である。 復号器ユニットのみがサイド情報へのアクセスを有する処理システムを示すブロック図である。 この発明の１つの実施形態による１例示的処理システムを示すブロック図である。 この発明の１つの実施形態によるサイド情報符号器を示すブロック図である。 量子化された符号語セットおよび量子化された符号語スペースの区切りを示す図である。 量子化された符号語のスペースのＭｏｄ−４ラベリングを示す図である。 この発明の１つの実施形態によるサイド情報復号器を含む復号化サブシステムを示すブロック図である。 この発明の１つの実施形態による方法を示すフロー図である。

符号の説明

３００…マルチメディア処理システム、３１０…符号化サブシステム、３１２…符号器、３１６…サイド符号器、３２０…主チャネル、３２５…サイドチャネル、３３０…復号化サブシステム、３３２…復号器、３３６…サイド復号器、４１０…分類ユニット、４２０…基礎スカラー量子化ユニット、４３０…シンドローム符号化ユニット、４４０…改善量子化ユニット、４５０…誤り検出／保護ユニット、７１０…動き調査ユニット、７２０…シンドローム復号化ユニット、７３０…再構成ユニット

Claims (46)

1. 第１の符号化標準に従って入力データを符号化して符号化されたデータを発生し、
   前記入力データの再構成に基づいて前記入力データを符号化して符号化されたサイドデータを発生し、
   第１のチャネル上で前記符号化されたデータ及び第２のチャネル上で前記符号化されたサイドデータを目的地に伝送する
   ことを具備する方法。
2. 前記第１の符号化標準はＭＰＥＧ−４標準に適合した標準である請求項１記載の方法。
3. 前記第１の符号化標準はＨ．２６３標準に適合した標準である請求項１記載の方法。
4. 前記入力データはビデオデータを具備する請求項１記載の方法。
5. 符号化されるべき前記入力データの各フレームは画素の非重複空間ブロックに分割される請求項４記載の方法。
6. 前記入力データの前記再構成に基づいて前記入力データを符号化することは、前記入力データの現在のフレームの再構成とそれらの相関関係に基づいて前記入力データのブロックを分類することを具備する請求項１記載の方法。
7. １ブロックは前記それぞれのブロックと同じ位置における再構成されたブロックとの間のエネルギー差に基づいて分類される請求項６記載の方法。
8. 特定のクラスは特定の相関関係度に相当する請求項６記載の方法。
9. 前記入力データを量子化して前記入力データに対応する１セットの量子化された符号語を発生することをさらに具備する請求項６記載の方法。
10. 前記入力データを量子化するために使用された量子化パラメータは前記入力データと前記入力データの前記再構成との間の差に対応する残余データの統計に基づいて決定される請求項９記載の方法。
11. 前記残余データは前記入力データの前記符号化から発生された予測誤り情報を具備する請求項１０記載の方法。
12. 前記量子化された符号語に関してシンドローム符号化処理を実行して符号化されたサイドデータを発生することをさらに具備する請求項９記載の方法。
13. 発生された前記符号化されたサイドデータは改善量子化処理によりさらに改善される請求項１２記載の方法。
14. 誤り保護符号を前記符号化されたサイドデータに付加することをさらに具備する請求項１２記載の方法。
15. 前記目的地で前記符号化されたデータを復号して再構成されたデータを発生し、
    前記目的地で前記符号化されたサイドデータを復号して再構成されたサイドデータを発生することをさらに具備する請求項１記載の方法。
16. 前記再構成されたデータと前記再構成されたサイドデータとを結合して出力データを発生することをさらに具備する請求項１５記載の方法。
17. 前記符号化されたサイドデータを復号することは、もしも前記第１のチャネル上で受信された動き情報が誤りを含むならば、動き調査処理を実行することを具備する請求項１５記載の方法。
18. 前記符号化されたサイドデータを復号することは、前記第２のチャネルから受信された前記符号化されたサイドデータに対応する量子化された符号語を再生するためにシンドローム復号化処理を実行することを具備する請求項１５記載の方法。
19. 入力データを受信し、第１のチャネル上での伝送のための符号化されたデータを発生するために第１の符号化標準に従って前記入力データを符号化するための第１の符号器と、
    前記入力データおよび前記第１の符号器から前記入力データの再構成を受信するための第２の符号器とを具備し、前記第２の符号器は、少なくとも一部で、第２のチャネル上での伝送のための符号化されたサイドデータを発生するために前記入力データの前記再構成に基づいて前記入力データを符号化する装置。
20. 前記第１の符号化標準はＭＰＥＧ−４標準に適合する請求項１９記載の装置。
21. 前記第１の符号化標準はＨ．２６３標準に適合する請求項１９記載の装置。
22. 前記入力データはビデオデータを具備する請求項１９記載の装置。
23. 符号化されるべき前記入力データの各フレームは非重複空間ブロックの画素に分割される請求項２２記載の装置。
24. 前記第２の符号器は、前記入力データの現在のフレームの再構成とそれらの相関関係に基づいて前記入力データのブロックを分類するための分類ユニットを具備する請求項１９記載の装置。
25. 前記１ブロックの入力データは前記それぞれのブロックと同じ位置における再構成されたブロックとの間のエネルギー差に基づいて分類される請求項２４記載の装置。
26. 特定のクラスは特定の相関関係度に相当する請求項２４記載の装置。
27. 前記入力データに対応する１セットの量子化された符号語を発生するために前記入力データを量子化するための量子化ユニットをさらに具備する請求項２４記載の装置。
28. 前記入力データを量子化するために使用される量子化パラメータは、前記入力データと前記入力データの前記再構成との間の差に対応する残余データの統計に基づいて決定される請求項２７記載の装置。
29. 前記残余データは前記入力データの前記符号化から発生された予測誤り情報を具備する請求項２８記載の装置。
30. 符号化されたサイドデータを発生するために前記量子化された符号語に関してシンドローム符号化を実行するためのシンドローム符号化ユニットをさらに具備する請求項２７記載の装置。
31. 発生された前記符号化されたサイドデータは改善量子化処理によりさらに改善される請求項３０記載の装置。
32. 誤り保護符号を前記符号化されたサイドデータに付加するための誤り保護ユニットをさらに具備する請求項３０記載の装置。
33. 第１のチャネル上で受信された符号化されたデータを復号するための第１の復号器と、
    第２のチャネル上で受信された符号化されたサイドデータを復号するための第２の復号器と、
    出力データを発生するために前記第１の符号器から発生された前記データおよび前記第２の復号器から発生されたデータを結合するための結合ユニットと
    を具備する装置。
34. もしも前記第１のチャネル上で受信された動き情報が誤りを含むならば、動き調査動作を実行するための動き調査ユニットをさらに具備する請求項３３記載の装置。
35. 前記第２の復号器は、前記第２のチャネル上で受信された前記符号化されたサイドデータに対応する量子化された符号語を再生するためのシンドローム復号化ユニットを具備する請求項３３記載の装置。
36. 入力データを受信し、第１のチャネル上での伝送のための符号化されたデータを発生するために第１の符号化標準に従って前記入力データを符号化するための第１の符号器と、
    前記入力データおよび前記第１の符号器から前記入力データの再構成を受信するための第２の符号器と、前記第２の符号器は少なくとも一部で、第２のチャネル上での伝送のための符号化されたサイドデータを発生するために前記入力データの前記再構成に基づいて前記入力データを符号化し、
    前記第１のチャネル上で受信された符号化されたデータを復号するための第１の復号器と、
    前記第２のチャネル上で受信された符号化されたサイドデータを復号するための第２の復号器と
    を具備するシステム。
37. 出力データを発生するために前記第１の符号器から発生された前記データおよび前記第２の復号器から発生されたデータを結合するための結合ユニットをさらに具備する請求項３６記載のシステム。
38. 前記第２の符号器は、
    前記入力データの現在のフレームの再構成とそれらの相関関係に基づいて前記入力データのブロックを分類するための分類ユニットと、
    前記入力データに対応する１セットの量子化された符号語を発生するために前記入力データを量子化するための量子化ユニットと、
    符号化されたサイドデータを発生するために前記量子化された符号語に関してシンドローム符号化を実行するためのシンドローム符号化ユニットと
    を具備する請求項３６記載のシステム。
39. 前記第２の復号器は、もしも前記第１のチャネル上で受信された動き情報が誤りを含むならば、動き調査動作を実行するための動き調査ユニットを具備する請求項３６記載のシステム。
40. 前記第２の復号器は、前記第２のチャネル上で受信された前記符号化されたサイドデータに対応する量子化された符号語を再生するためのシンドローム復号化ユニットを具備する請求項３６記載のシステム。
41. 機械によって実行された時に、前記機械に下記を含む動作を実行させる命令を具備する機械可読媒体であって、前記下記を含む動作は、
    符号化されたデータを発生するために第１の符号化標準に従って入力データを符号化し、
    符号化されたサイドデータを発生するために前記入力データの再構成に基づいて前記入力データを符号化し、
    第１のチャネル上で前記符号化されたデータをおよび第２のチャネル上で前記符号化されたサイドデータを目的地に伝送する
    ことからなる機械可読媒体。
42. 前記入力データの前記再構成に基づいて前記入力データを符号化することが、該入力データの現在のフレームの再構成とそれらの相関関係に基づいて該入力データのブロックを分類することを具備する請求項４１記載の機械可読媒体。
43. 前記入力データに対応する１セットの量子化された符号語を発生するために前記入力データを量子化することをさらに具備する請求項４２記載の機械可読媒体。
44. 符号化されたサイドデータを発生するために前記量子化された符号語に関してシンドローム符号化処理を実行することをさらに具備する請求項４３記載の機械可読媒体。
45. 再構成されたデータを発生するために前記目的地で前記符号化されたデータを復号し、
    再構成されたサイドデータを発生するために前記目的地で前記符号化されたサイドデータを復号することをさらに具備する請求項４０記載の機械可読媒体。
46. 出力データを発生するために前記再構成されたデータと前記再構成されたサイドデータとを結合することをさらに具備する請求項４５記載の機械可読媒体。

Images