JP2006526908A - ピクチャを符号化する方法、ビットストリームからピクチャを復号化する方法、ピクチャを符号化するエンコーダ、ピクチャを符号化するエンコーダを備える送信装置、ビットストリームからピクチャを復号化するデコーダ、ビットストリームからピクチャを復号化するデコーダを備える受信装置、およびシステム - Google Patents

Abstract

本発明は、ピクチャを符号化する方法に関し、符号化済み一次ピクチャと、符号化済み一次ピクチャの冗長符号化済みピクチャとが形成され、各々の符号化済み一次ピクチャは、それぞれの冗長符号化済みピクチャと実質的に同じピクチャ情報を有する。冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有する。本発明はまた、システム、エンコーダ、デコーダ、送信装置、受信装置、ソフトウェアプログラム、記憶媒体、およびビットストリームにも関する。

Description

本発明は、符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャが形成されるような、ピクチャを符号化する方法に関する。本発明はまた、システム、エンコーダ（符号器）、デコーダ（復号器）、送信装置、受信装置、ソフトウェアプログラム、記憶媒体、およびビットストリームにも関する。

公開されているビデオ符号化規格には、ＩＴＵ−Ｔ Ｈ．２６１、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−２、およびＩＳＯ／ＩＥＣ ＭＰＥＧ−４のパート２が含まれている。本願明細書では、これらの規格を従来のビデオ符号化規格と呼ぶことにする。

ビデオ通信システム
ビデオ通信システムは、通話システムと非通話システムとに分けることができる。会話システムにはテレビ会議とビデオ電話とが含まれる。このようなシステムの例には、ＩＳＤＮ、ＩＰおよびＰＳＴＮ通信ネットワークでそれぞれ動作するテレビ会議電話システムを指定するＩＴＵ−Ｔ勧告Ｈ．３２０、Ｈ．３２３およびＨ．３２４が含まれる。会話型システムは、（オーディオビデオ・キャプチャから遠端のオーディオビデオ・プレゼンテーションまでの）終端間遅延を最小化して、ユーザの経験の改善を図ることを特徴とするものである。

非会話システムには、再生装置の大容量記憶装置に記憶されているディジタル多用途ディスク（ＤＶＤ）またはビデオファイル、ディジタルＴＶ、およびストリーミング等の記憶されたコンテンツの再生が含まれる。

ＩＴＵ−ＴとＩＳＯ／ＩＥＣとのジョイントビデオチーム（ＪＶＴ）において標準化のための努力が続けられている。ＪＶＴの作業は、Ｈ．２６Ｌと呼ばれるＩＴＵ−Ｔの以前の標準化プロジェクトに基づいて行われている。ＪＶＴ標準化の目標は、ＩＴ−ＵＴ勧告Ｈ．２６４およびＩＳＯ／ＩＥＣ国際規格１４４９６−１０（ＭＰＥＧ−４のパート１０）として同一規格のテキストを公開することである。上記のようなＪＶＴ標準化のためのドラフト規格は、本願明細書でＪＶＴ符号化規格と呼ばれるものであり、このドラフト規格に準拠するコーデックをＪＶＤコーデックと呼ぶことにする。

上記コーデックの仕様自体では、ビデオ符号化層（ＶＣＬ）とネットワーク抽象化層（ＮＡＬ）とは概念的に区別される。ＶＣＬには、変換、量子化、動き探索補償、およびループフィルタのようなコーデックの信号処理機能が含まれる。この信号処理機能は、今日のビデオコーデックのほとんど全ての一般的コンセプトと、動き補償によるピクチャ間予測を利用するマクロブロックベースのコーダ（符号器）と、残差信号の変換符号化とに従うものである。ＶＣＬエンコーダの出力は、下記のスライスからなる。すなわち、整数個のマクロブロックからなるマクロブロックデータを含むビット列と、スライスヘッダ情報（スライス内の第１のマクロブロックの空間アドレス、および初期量子化パラメータ等を含む）とからなる。異なるマクロブロック割当てが指定されない限り、スライス内のマクロブロックは、弾力的なマクロブロック順序付け（Flexible Macroblock Ordering）シンタックスを用いて走査順に連続的に順序付けられる。ピクチャ内予測は、スライスの中だけで利用される。

ＮＡＬは、ネットワーク抽象化層ユニット（ＮＡＬＵ）内へＶＣＬのスライス出力をカプセル化するものであり、これらのユニットは、パケットネットワークでの送信やパケット指向型多重化環境での利用に適している。ＪＶＴの添付資料Ｂには、バイト・ストリーム指向型ネットワークでこのようなＮＡＬＵを送信するカプセル化処理が定義されている。

Ｈ．２６３のオプションの参照用ピクチャ選択モードおよびＭＰＥＧ−４パート２のＮＥＷＰＲＥ符号化ツールによって、Ｈ．２６３における個々のスライス当たり等の各々のピクチャセグメント毎の動き補償に対する参照用フレームの選択が可能になる。さらに、Ｈ．２６３とＪＶＴ符号化規格とのオプションの拡張型参照用ピクチャ選択モードによって、各々のマクロブロックに対する参照用フレームの選択が個別に可能になる。

参照用ピクチャの選択によって多くのタイプの時間階層符号化方式が可能になる。図１は、時間階層符号化方式の１例を示す図であり、この符号化方式は本願明細書で再帰時間階層符号化と呼ばれるものである。３つの一定のフレームレートを用いてこの例示の方式を復号化することができる。図２は、ビデオ冗長符号化と呼ばれる方式を示す図であり、この方式では、一連のピクチャが、インタリービングされた態様で２または３以上の独立に符号化されたスレッドに分割される。これらの図内の全ての矢印、および後続する全ての図内の全ての矢印は、動き補償の方向を示しており、フレームの下の値は、フレームの相対的取得時間および表示時間に対応する。

図８は、一般的なビデオ通信システム８００の構成を示すブロック図である。未圧縮のビデオは非常に大きな帯域を必要とするという事実に起因して、入力ビデオ８０１は所望のビットレートに合わせてソース・コーダ８０３により送信装置８０２で圧縮される。ソース・コーダ８０３は、波形コーダ８０３.１とエントロピ・コーダ８０３.２との２つの構成要素に分けることができる。波形コーダ８０３.１が損失の多いビデオ信号圧縮を行うのに対して、エントロピ・コーダ８０３.２は、波形コーダ８０３.１を出力の損失の少ない２進シーケンスに変換する。トランスポート・コーダ８０４は、使用中のトランスポート・プロトコルに従って圧縮済みのビデオをカプセル化する。トランスポート・コーダ８０４は、別の方法でも圧縮済みのビデオ処理を行うことができる。例えば、トランスポート・コーダ８０４はデータをインタリービングし、変調するようにしてもよい。次いで、データは、サーバ装置８０６、ゲートウェイ（図示せず）等を具備することも可能な送信チャネル８０５を介して受信側へ送信される。受信装置８０７は、逆の処理を行って表示用の再構成されたビデオ信号を取得する。受信装置８０７は、トランスポート・デコーダ８０８とソース・デコーダ８０９とを備える。トランスポート・デコーダ８０８は、使用中のトランスポート・プロトコルに従って送信チャネル８０５から圧縮済みのビデオ入力のカプセルを外す。ソース・デコーダ８０９は２つの構成要素、すなわち、エントロピ・デコーダ８０９.２と波形デコーダ８０９.１とに分けることができる。エントロピ・デコーダ８０９.２はトランスポート・デコーダ８０８から出力された２進シーケンスを波形に変換して、波形デコーダ８０９.１への入力を行う。波形デコーダ８０９.１はビデオ信号の解凍を行い、ビデオ信号８１０を出力する。受信装置８０７は送信装置へのフィードバックを行ってもよい。例えば、受信装置は、受信に成功した通話単位のレートを信号で送るものであってもよい。

パラメータのセットのコンセプト
ＪＶＤコーデックの１つの非常に基本な設計コンセプトとして、ヘッダ複製等のメカニズムを不要にする自給型パケットの生成がある。この自給型パケットの生成を達成した方法として、２以上のスライスに関係する情報を媒体ストリームから分離する方法がある。スライスパケットを含むＲＴＰパケットストリームから高い信頼性で、非同期でかつ事前に上位層メタ情報を送信することが望ましい。上記目的のための適切な帯域外トランスポート用チャネルが設けられていないようなアプリケーションでは、上記メタ情報を帯域内で送ることも可能である。より高レベルのパラメータの組み合わせはパラメータのセットと呼ばれる。このパラメータのセットには、ピクチャサイズ、表示用ウィンドウ、採用されているオプションの符号化モード、マクロブロック割当てマップ、およびその他の情報が含まれる。

スライス・パケットストリームと同期してパラメータのセットの更新値の送信を行うことを必要とせずに、（ピクチャサイズ等の）ピクチャパラメータを変更することができるようにするために、エンコーダとデコーダとは２以上のパラメータのセットのリストを保持することができる。各々のスライスヘッダには、使用対象のパラメータのセットを示すコードワードが含まれる。

上記のメカニズムによって、上記パラメータのセットの送信をパケットストリームから分離し、機能交換の副作用としての外部手段、あるいは、（信頼性の高いまたは信頼性の高くない）制御プロトコルを介する等の外部手段によって上記パラメータのセットを送信することが可能になる。アプリケーションの設計仕様によって、上記パラメータのセットが一度も送信されず、固定される場合さえある。

送信順序
従来のビデオ符号化規格では、ピクチャの復号化順序はＢピクチャを除いて表示順序と同じである。従来方式のＢピクチャ内のブロックは、２つの参照用ピクチャから双方向の時間的予測を行うことが可能であり、この場合、表示順序で、一方の参照用ピクチャが時間的に先行し、他方の参照用ピクチャは時間的に後続する。復号化順序で最新の参照用ピクチャだけが、表示順序でＢピクチャの後に続くことができる（例外として、Ｈ．２６３でインターレースされた符号化が挙げられる。ここでは、時間的に後続する参照用フレームの双方のフィールドピクチャが復号化順でＢピクチャに先行する場合がある）。従来方式のＢピクチャは、時間的予測を行うための参照用ピクチャとして用いることはできない。したがって、他のいずれのピクチャの復号化にも影響を与えることなく従来方式のＢピクチャの配置が可能になる。

ＪＶＴ符号化規格には、以前の規格と比べると下記の新規の技術的特徴が含まれている。
（１）ピクチャの復号化順序は表示順序から分離される。ピクチャ番号が復号化順序を示し、ピクチャ順序を示すカウント値が表示順序を示す。
（２）Ｂピクチャ内のブロックのための参照用ピクチャは、表示順序でＢピクチャの前または後のいずれかに存在することが可能である。したがって、Ｂピクチャは、双方向（bi-directional）ピクチャの代わりに双予測（bi-predictive）ピクチャを表すことになる。
（３）参照用ピクチャとして使用しないピクチャは明示的にマークされる。任意のタイプ（イントラ、インタ、Ｂ等）のピクチャを、参照用ピクチャまたは非参照用ピクチャのいずれか一方にすることができる（したがって、別のピクチャのための時間的予測に対する参照用ピクチャとしてＢピクチャの利用が可能になる）。
（４）ピクチャは、異なる符号化タイプを用いて符号化されたスライスを含むことができる。換言すれば、符号化済みピクチャは、例えばイントラ符号化スライスとＢ符号化スライスとから構成されたものであってもよい。

復号化順序からの表示順序の分離は、圧縮効率およびエラー復元力という点から見て利点のあるものになる可能性がある。

圧縮効率の潜在的改善を図る予測構造の１例が図３に示されている。ボックスはピクチャを示し、ボックス内の大文字は符号化タイプを示し、ボックス内の数字はＪＶＴ符号化規格に準拠するピクチャ番号であり、矢印は予測依存状態を示す。Ｂ１７がピクチャＢ１８のための参照用ピクチャであることに留意されたい。圧縮効率は、従来方式の符号化と比べると潜在的に改善されている。というのは、ピクチャＢ１８のための参照用ピクチャの方が、ＰＢＢＰまたはＰＢＢＢＰ符号化済みピクチャパターンを用いる従来方式の符号化と比べると時間的に近くなるからである。圧縮効率は、従来方式のＰＢＰ符号化済みピクチャパターンと比べると潜在的に改善される。というのは、参照用ピクチャの一部が双方向に予測されるからである。

図４は、エラー復元力の改善を図るために利用可能なイントラピクチャ延期法の１例を示す図である。従来の方式では、イントラピクチャは、例えば、シーンのカットの直後に、あるいは、イントラピクチャリフレッシュ時間の時間切れに対する応答として符号化される。イントラピクチャ延期法では、イントラピクチャは、イントラピクチャの符号化の必要性が生じた直後には符号化されず、逆に時間的に後続するピクチャがイントラピクチャとして選択される。符号化済みイントラピクチャと、従来方式のイントラピクチャ位置との間の各々のピクチャは、時間的に後続する次のピクチャから予測される。図４に示すように、イントラピクチャ延期法が２つの独立したピクチャ間予測チェーンを生成するのに対して、従来方式の符号化アルゴリズムでは単一のインタピクチャチェーンが生成される。従来方式の１チェーン・アプローチよりも２チェーン・アプローチの方が消去エラーに対してロバスト（robust）であることは直感的に明瞭である。一方のチェーンがパケット損失を被っても、他方のチェーンはまだ正しく受信されている可能性がある。従来方式の符号化では、パケット損失に起因して、残りのピクチャ間予測チェーンに対するエラー拡散が常に生じることになる。

マルチメディア・ストリームの送信
マルチメディア・ストリーミングシステムは、ストリーミング・サーバ、およびネットワークを介して上記サーバにアクセスする複数のプレイヤから構成される。ネットワークは一般にパケット指向型であり、保証されたサービス品質のための手段をほとんど提供しないか、または全く提供しない。プレイヤは、予め記憶されたマルチメディア・コンテンツか、またはライブのマルチメディア・コンテンツかのいずれかのコンテンツをサーバからフェッチし、このコンテンツをダウンロードしながら、コンテンツをリアルタイムで再生する。通信のタイプは、ポイント・トゥー・ポイントまたはマルチキャストのいずれか一方とすることができる。ポイント・トゥー・ポイント・ストリーミングでは、サーバによって、各々のプレイヤに対して個別の接続が行われる。マルチキャスト・ストリーミングでは、サーバは、単一のデータストリームを複数のプレイヤへ送信し、次いで、必要な場合にのみネットワーク・エレメントがストリームの複製を行う。

プレイヤがサーバとの接続を確立し、マルチメディア・ストリームを要求すると、サーバは所望のストリームの送信を開始する。プレイヤはストリームの再生をすぐには開始せず、その代わりに、数秒の間着信データのバッファリングを行うのが一般的である。本願明細書では、このバッファリングを初期バッファリングと呼ぶ。初期バッファリングは、ポーズのない再生の保持に役立つものである。というのは、時折送信遅延が長くなったり、ネットワーク・スループットが低下したりする場合に、プレイヤはバッファ済みデータを復号化し、このデータの再生を行うことができるからである。

制限のない送信遅延を回避するために、信頼性の高いトランスポート・プロトコルがストリーミングシステムにおいて特に好まれることは稀である。むしろ、システムが、一方でより安定した送信遅延を受け継ぎながら、他方で、データの破損や紛失を被るＵＤＰのような信頼性の高くないトランスポート・プロトコルの方を好むことがある。

ＵＤＰの上位でＲＴＰとＲＴＣＰプロトコルとを使用して、リアルタイムの通信を制御することが可能である。ＲＴＰは、送信パケットの紛失を検出し、受信端においてパケットの正しい順序を再構成し、サンプリングタイムスタンプを各々のパケットと関連づける手段を提供するものである。ＲＴＣＰは、どのくらいの大きさのパケット部分を正確に受信したかに関する情報を送るものであり、それゆえに、フロー制御を行う目的で使用することが可能である。

送信エラー
２つの主要タイプのエラー、すなわち、送信エラーとパケットエラーが存在する。ビットエラーは、一般に、移動通信における無線アクセスネットワーク接続等のような回線交換型チャネルと関連づけられ、これらのビットエラーは、電波妨害等の物理チャネルの不完全さに起因して生じる。このような不完全さの結果として、送信データ内にビット反転、ビット挿入およびビット削除が生じる可能性がある。パケットエラーは、一般にパケット交換ネットワーク内のエレメントに起因して生じるものである。例えば、パケットルータは輻輳状態になる可能性がある。すなわち、パケットルータが入力としてあまりに多くのパケットを取得したため、同一レートでそれらの多くのパケットを出力できなくなる場合がある。この状況で、当該バッファがオーバーフローし、いくつかのパケットが紛失する。パケットの複製、および、送信時とは異なる順序でのパケットの配信も起こり得るが、一般に、これらはパケット損失ほどありふれたものではないと考えられている。パケットエラーは、使用されるトランスポート・プロトコル・スタックの実施に起因して生じる場合もある。例えば、送信装置で計算され、ソース符号化データと共にカプセル化されるチェックサムを使用するようないくつかのプロトコルもある。データ内にビット反転エラーが生じた場合、受信装置は最終的に同じチェックサムの中へ入ることができなくなり、受信パケットを破棄しなければならなくなる場合がある。

第２世代（２Ｇ）および第３世代（３Ｇ）を含むＧＰＲＳ、ＵＭＴＳおよびＣＤＭＡ−２０００によって、２つの基本タイプの無線接続、すなわち、確認応答型接続と非確認応答型接続とが提供されている。確認応答型接続とは、受け手側（移動局ＭＳ、基地局サブシステム、ＢＳＳのいずれか）が無線リンクフレームの完全性のチェックを行うようにするものであり、送信エラーが生じた場合、再送要求が無線リンクの他方の終端部へ与えられる。リンク層再送信に起因して、フレームに対する肯定の確認応答が受信されるまで、発信者は無線リンクフレームのバッファリングを行う必要がある。過酷な無線条件では、このバッファがオーバーフローして、データ損失を引き起こす可能性がある。それにもかかわらず、ストリーミング・サービス用として確認型無線リンク・プロトコルモードの利用が有利であることが証明されている。非確認応答型接続とは、一般にエラーを含む無線リンクフレームを破棄するために行われるものである。

パケット損失に対して、修正または隠蔽のいずれか一方を行うことができる。紛失の修正は、あたかも紛失が生じなかったかのように紛失データを完全に復元する能力を意味する。紛失の隠蔽は、送信紛失の影響が再構成されたビデオシーケンスの中で見えないようにするために、これらの影響を隠蔽する機能を意味するものである。

プレイヤは、パケットの紛失を検出したときに、パケットの再送信を要求することができる。初期バッファリングに起因して、再送パケットのスケジュール済みの再生時刻よりも前にこの再送パケットを受信することができる。市販のインターネット・ストリーミングシステムのなかには、独自のプロトコルを用いて再送要求を実行するものもある。ＲＴＣＰの一部として選択的再送要求メカニズムを標準化する作業が、ＩＥＴＦにおいて続けられている。

これらの再送要求プロトコルの全てに対する共通の特徴として、ネットワーク・トラフィックが著しく増加する場合があるため、これらの特徴が多数のプレイヤにとってマルチキャストに適したものではないという点が挙げられる。この結果、マルチキャスト・ストリーミング・アプリケーションは、非双方向型のパケット損失制御に依拠する必要がある。

ポイント・トゥー・ポイントストリーミングシステムは、非双方向型のエラー制御の手法から利益を得ることができる。第１に、システムの中には双方向型エラー制御メカニズムを全く含まないものもあるし、あるいは、システムを単純化するために、プレイヤからのフィードバックを全く受け取らない方を好むものもある。第２に、紛失パケットの再送信および別の形の双方向型エラー制御は、一般に、非双方向型のエラー制御方法よりも大きな部分の送信データの転送レートを必要とする。ストリーミング・サーバは、双方向型エラー制御の方法が利用可能なネットワーク・スループットの主要部分を予約しないことを保証しなければならない。実際には、サーバが双方向型エラー制御動作の量に限度を設けなければならない場合がある。第３に、データサンプルを再生する前に、ある特定のデータサンプルに対する全ての双方向型エラー制御動作を好適に行うことが望ましいため、送信遅延によってサーバとプレイヤとの間でのインタラクション回数に限度を設けるようにしてもよい。

非双方向型のパケット損失制御メカニズムは、順方向型エラー制御と、後処理による紛失隠蔽とに類別することができる。順方向型エラー制御とは、たとえ送信紛失が生じた場合であっても、受信装置が送信データの少なくとも一部を回復できるような冗長性を、送信装置が当該送信データに付加する手法を意味するものである。信号依存型と信号非依存型の２つのカテゴリの順方向誤り制御方法が存在する。信号依存型による方法は、ビットストリームの変換を必要とする。このような方法の一例として、シーケンスヘッダまたはピクチャヘッダの反復がある。信号非依存型による方法を用いて、ビットストリームの変換されたコンテンツにかかわらず、どのようなビットストリームであっても回復が可能になる。このような方法の一例として、誤り訂正符号（パリティ符号化およびリード・ソロモン符号等）がある。後処理によるエラー隠蔽は全く受信装置指向型のものである。これらの方法は誤って受信したデータの正しい表現の推定を試みるものである。

ほとんど全てのビデオ圧縮アルゴリズムは、時間的に予測が行われるＩＮＴＥＲピクチャまたはＰピクチャを生成するものである。この結果、１つのピクチャにおけるデータ損失に起因して、破損ピクチャからの時間予測の結果として得られるピクチャに目に見える劣化が生じることになる。ビデオ通信システムは、破損フレームに依存しないフレームが受信されるまで、表示画像における紛失を隠蔽するか、または最新の正しいピクチャをスクリーン上へフリーズさせるかのいずれかを行うことができる。

一次ピクチャおよび冗長ピクチャ
符号化済み一次ピクチャはピクチャの符号化済み一次表現である。復号化された符号化済み一次ピクチャは、ピクチャ領域全体をカバーする。すなわち、符号化済み一次ピクチャには、ピクチャの全てのスライスおよびマクロブロックが含まれる。冗長符号化済みピクチャは、符号化済み一次ピクチャが脱落していたり、破損したりしていない限り、復号化用として使用されることはないピクチャの冗長な符号化表現である。復号化済みの冗長符号化済みピクチャには、それぞれの復号化済みの符号化済み一次ピクチャと実質的に同じピクチャ情報が含まれる。しかしながら、復号化された冗長符号化済みピクチャ内のサンプル値は、対応する復号化された一次符号化済みピクチャの形で共置されたサンプル値に正確に等しいものである必要はない。符号化済み一次ピクチャ当たりの冗長符号化済みピクチャの数は、０から符号化規格で指定された限界値の範囲に及ぶものであってもよい（ＪＶＴ符号化規格によれば１２７まで等）。冗長符号化済みピクチャは、それぞれの符号化済み一次ピクチャと比較される異なる参照用ピクチャを用いてもよい。したがって、符号化済み一次ピクチャの参照用ピクチャのうちの１つが抜け落ちていたり、破損していたりして、対応する冗長符号化済みピクチャの全ての参照用ピクチャを正確に復号化する場合、符号化済み一次ピクチャの代わりに冗長符号化済みピクチャの復号化を行うことは画質という点から見て好都合となる。

ほとんど全ての従来のビデオ符号化規格には、「符号化されない」すなわち「スキップされる」マクロブロックというコンセプトが含まれている。このようなマクロブロックの復号化プロセスは、参照用ピクチャ内の空間的に対応するマクロブロックのコピーから構成される。

ＭＰＥＧ−４ビジュアルに準拠するオブジェクトベースの符号化
ＭＰＥＧ−４ビジュアルには、オプションのオブジェクトベースの符号化用ツールが含まれる。ＭＰＥＧ−４ビデオオブジェクトは任意の形状のものであってもよく、さらに、オブジェクトの形状、サイズおよび位置を１つのフレームから次のフレームへ変更することも可能である。その一般的表示という点から見て、ビデオオブジェクトは３つの色成分（ＹＵＶ）と、１つのアルファ成分とから構成される。アルファ成分は、画像毎のベースでオブジェクトの形状を規定する。２進オブジェクトは最も単純なクラスのオブジェクトを形成する。これらの２進オブジェクトは、一連のバイナリ・アルファマップ、すなわち、２−Ｄ画像によって表される。この場合、各々のピクセルは黒または白のいずれか一方となる。ＭＰＥＧ−４は、これらのオブジェクトを圧縮するためのバイナリ形状専用モードを供給する。一続きのアルファマップを符号化するために、圧縮プロセスは専らバイナリ形状エンコーダによって規定される。オブジェクト形状を表す一続きのバイナリ・アルファマップに加えて、表示にはオブジェクト形状の内部における全てのピクセルのカラーが含まれる。ＭＰＥＧ−４は、内部テクスチャの符号化を行うために、バイナリ形状エンコーダを用いて、次いで、動き補償離散コサイン変換（ＤＣＴ）に基づくアルゴリズムを用いてこれらのオブジェクトの符号化を行う。最終的に、グレーレベルの形状を用いてテクスチャ済みのオブジェクトの表示を行うことが可能である。このオブジェクトの場合、アルファマップは、２５６の可能なレベルを持つグレーレベルのピクチャとなる。このグレーレベルのアルファ情報を利用して、ビデオ構成プロセスにおけるオブジェクトの透過性特性が指定される。ＭＰＥＧ−４は、アルファマップのサポート用のバイナリ形状エンコーダ、およびアルファマップと、内部テクスチャとの符号化を行うための動き補償ＤＣＴベースのアルゴリズムとを用いてこれらのオブジェクトの符号化を行う。

バッファリング
ストリーミング・クライアントは、一般に、比較的多量のデータ格納能力を持つ受信バッファを備えている。最初に、ストリーミング・セッションが確立されると、クライアントはストリームの再生をすぐには開始せず、数秒の間、着信データのバッファリングを行うのが一般的である。このバッファリングは連続再生を保持するのに役立つものである。というのは、時折送信遅延が長引いたり、ネットワークのスループットが低下したりした場合、クライアントはバッファ済みデータの復号化と再生とを行うことができるからである。上記のような受信バッファを備えていない場合、クライアントは、初期バッファリングを行うことなく、表示をフリーズさせ、復号化を停止して、着信データを待つ必要がある。バッファリングは、任意のプロトコルレベルでの自動再送信または選択再送信のいずれか一方の再送信を行うためにも必要である。ピクチャのいずれかの一部が紛失した場合、再送信メカニズムを用いて紛失データの再送信を行うことが可能である。再送データがそのスケジューリングされた復号化時刻あるいは再生時刻よりも前に受信されれば、紛失は完全に回復されることになる。

符号化済みピクチャは、復号化済みシーケンスの主観的品質に関して、当該シーケンスの重要度に基づいてランク付けを行うことができる。例えば、従来方式のＢピクチャのような非参照用ピクチャは主観的に最も重要度の低いものとなる。というのは、これらのＢピクチャが存在しなくても他のいずれのピクチャの復号化にも影響が生じないからである。データ・パーティションまたはスライスグループに基づいて主観的ランク付けを行うことも可能である。最も重要度の高い符号化済みスライスおよびデータ・パーティションは、それらの復号化順序が示す順序よりも前に送ることができるのに対して、主観的に最も重要度の低い符号化済みスライスおよびデータ・パーティションは、それらの自然な符号化順序が示す順序よりも後に送ることができる。したがって、最も重要度の低いデータ・パーティションと比べて、最も重要なスライスおよびデータ・パーティションの任意の再送済み部分の方が、当該部分のスケジューリングされた復号化時刻よりも前に受信される可能性がより高くなる。

冗長なピクチャの特定
ＪＶＴ符号化シンタックスにはピクチャヘッダが存在しないという事実が存在するため、ピクチャベースでデコーダを動作させるために、スライスヘッダシンタックスはピクチャ境界を検出する手段を設ける必要がある。ＪＶＴ符号化規格に準拠するデコーダは、一次ピクチャでかつ冗長符号化済みピクチャを含むエラーのないビットストリームを受信した場合、デコーダが一次ピクチャでかつ冗長符号化済みピクチャの境界を検出し、サンプル値の再構成のために、規格で要求されているのと寸分違わぬように符号化済み一次ピクチャのみを復号化する必要がある。さらに、ＲＴＰ／ＵＤＰ／ＩＰ等の無接続チャネルを介して冗長なピクチャを送信する場合、これらのピクチャの各々を２以上のＩＰパケット内にカプセル化することも可能である。ＵＤＰの無接続性に起因して、パケットが送信された順序とは異なる順序でパケットの受信を行うことも可能である。したがって、受信装置は、どの符号化済みスライスが冗長符号化済みピクチャに属するか、どの符号化済みスライスが符号化済み一次ピクチャに属するか、および、どの冗長符号化済みピクチャが特定の符号化済み一次ピクチャに対応するかの推論を行う必要がある。受信装置がこの推論を行わなければ、互いにオーバーラップするスライスが不必要に復号化される可能性も考えられる。

ピクチャの冗長な符号化表示を用いて、エラーを受け易いビデオ送信時に異なるエラー保護を行うことが可能になる。ピクチャの符号化済み一次表示が受信されなかった場合、冗長表示を利用することができる。符号化済み一次ピクチャの参照用ピクチャのうちの１つが抜け落ちていたり、破損していたりしていて、対応する冗長符号化済みピクチャの全ての参照用ピクチャを正確に復号化する場合でも、冗長符号化済みピクチャの復号化を行うことが可能になる。ピクチャの異なる空間部分の主観的重要性を何回でも変更することが可能である。本発明によってピクチャ領域全体をカバーしないような不完全で冗長なピクチャ送信も可能になる。したがって、本発明によって選択済みピクチャの主観的に最も重要な部分のみの保護が可能になる。これは、従来の規格と比べて圧縮効率の向上を図るものとなり、異なるエラー保護に対して空間的焦点を合わせることが可能になる。

以下の説明では、エンコーダ／デコーダベースのシステムを用いて本発明についての説明を行うが、ビデオ信号が格納されるシステムにおいても本発明の実現が可能であることは言うまでもない。格納済みビデオ信号は、符号化前に格納された未符号化信号であってもよいし、あるいは、符号化後に格納される符号化済み信号のような信号や、符号化処理と復号化処理との後に格納される復号化済みの信号のような信号のいずれであってもよい。例えば、エンコーダは、復号化順にビットストリームを生成する。ファイルシステムは、例えば復号化された順番にカプセル化され、ファイルとして格納されたオーディオおよび／またはビデオビットストリームを受信する。さらに、エンコーダとファイルシステムとは、ピクチャおよびＮＡＬユニットに主観的重要性を知らせることが可能であり、特に、サブシーケンスに関する情報を含むメタデータの生成を行うことが可能である。データベースの中へファイルを格納することが可能であり、このデータベースから直接再生用サーバがＮＡＬユニットを読み取り、これらのＮＡＬユニットをＲＴＰパケット内へカプセル化することが可能である。使用中のオプションのメタデータとデータ接続とに基づいて、直接再生用サーバによって、必要な場合に、復号化順序とは異なるパケットの送信順序の変更、サブシーケンスの除去、およびＳＥＩメッセージの送信を決定すること等が可能になる。受信端では、ＲＴＰパケットの受信とバッファリングとが行われる。一般に、ＮＡＬユニットは、まず再順序化されて正しい順番に変えられ、その後デコーダへ配信される。

いくつかのネットワークまたはこれらのネットワーク内のビデオ通信用ネットワーク間プロトコルおよび／または通信プロトコルを構築して、サブネットワークがエラーを受けても、別のサブネットワークが実質的にエラーのないリンクの供給を行うようにすることが可能になる。例えば、移動端末装置が、公衆ベースのネットワーク上に常駐するストリーミング・サーバに接続されている場合、信頼性の高いリンク層プロトコルを無線リンクで利用することが可能になり、移動通信事業者によって制御されるサブネットワークが実質的にエラーのないものとなるように、私設移動通信事業者のコアネットワークが過剰供給を受けることも可能になる。しかしながら、（インターネット等の）公衆ＩＰベースのネットワークでは、エラーを受け易い最善の努力サービスが提供される。したがって、エラーを受け易いサブネットワークでは、送信エラーに対する保護を利用することが望ましいが、実質的にエラーのない接続を供給するサブネットワークでは、アプリケーションレベルのエラー保護は有効ではない。このような状況では、エラーを受け易いサブネットワークをエラーのないサブネットワークに接続するゲートウェイコンポーネントを設けることが有利である。ゲートウェイは、エラーを受け易いサブネットワークに接続された端末装置から、エラーのないサブネットワークに接続された端末装置へ送信されるビットストリームを分析することが望ましい。エラーがビットストリームの特定の一部にヒットしなかった場合、ビットストリームの当該部分に対応する順方向誤り制御を行うために、ゲートウェイはアプリケーションレベルの冗長性の除去を行うことが望ましい。この除去を行うことによって、エラーのないネットワークにおいてトラフィック量が節減されることになり、別の目的のために上記の節減されたトラフィック量を利用することが可能になる。

本発明に従ってピクチャを符号化する方法は、符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャが形成され、各々の符号化済み一次ピクチャは、それぞれの冗長符号化済みピクチャと実質的に同じピクチャ情報を有しており、冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有することを主たる特徴とするものである。

本発明に従ってビットストリームからピクチャを復号化する方法は、符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャが前記ビットストリーム内に含まれ、それぞれの冗長符号化済みピクチャの形成に利用されるピクチャ情報と実質的に同じピクチャ情報を利用して、符号化済み一次ピクチャが形成され、さらに、冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの前記符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有しており、符号化済みピクチャのピクチャ情報が冗長符号化済みピクチャに属することを示すパラメータをビットストリームの中で検出するステップと、冗長符号化済みピクチャに属する符号化済みピクチャのピクチャ情報の復号化を、パラメータを利用して制御するステップとを有しており、冗長符号化済みピクチャのピクチャ情報が、それぞれの符号化済み一次ピクチャの形成に利用されるピクチャ情報の一部のみに対応するようになっていることを主たる特徴とするものである。

本発明によるシステムは、ピクチャを符号化するエンコーダが、符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャを形成する符号化手段を具備し、各々の符号化済み一次ピクチャは、それぞれの冗長符号化済みピクチャと実質的に同じピクチャ情報を有し、冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有しており、さらに、デコーダが、符号化済みピクチャのピクチャ情報が冗長符号化済みピクチャに属することを示すパラメータをビットストリームの中で検出する検出手段と、冗長符号化済みピクチャに属する符号化済みピクチャのピクチャ情報の復号化を、パラメータを利用して制御する制御手段とを具備しており、冗長符号化済みピクチャのピクチャ情報が、それぞれの符号化済み一次ピクチャの形成に利用されるピクチャ情報の一部のみに対応するように構成されることを主たる特徴とするものである。

本発明によるエンコーダは、符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャを形成する符号化手段を具備し、各々の符号化済み一次ピクチャは、それぞれの冗長符号化済みピクチャと実質的に同じピクチャ情報を有しており、冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有することを主たる特徴とするものである。本発明によるデコーダは、冗長符号化済みピクチャのうちの少なくとも１つが、それぞれの符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有しており、符号化済みピクチャのピクチャ情報が冗長符号化済みピクチャに属することを示すパラメータを前記ビットストリームの中で検出する検出手段と、冗長符号化済みピクチャに属する符号化済みピクチャのピクチャ情報の復号化を、パラメータを利用して制御する制御手段とを備えており、冗長符号化済みピクチャのピクチャ情報が、それぞれの符号化済み一次ピクチャの形成に利用される前記ピクチャ情報の一部のみに対応するようになっていることを主たる特徴とするものである。

本発明による符号化用ソフトウェアプログラムは、ピクチャを符号化するマシーンにより実行可能なステップであって、符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャであって、各々の符号化済み一次ピクチャが、それぞれの冗長符号化済みピクチャと実質的に同じピクチャ情報を有する符号化済み一次ピクチャを形成するためのマシーンにより実行可能なステップを有しており、冗長符号化済みピクチャのうちの少なくとも１つが、それぞれの符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有するように構成されることを主たる特徴とするものである。

本発明による復号化用ソフトウェアプログラムは、符号化済みピクチャのピクチャ情報が冗長符号化済みピクチャに属することを示すパラメータをビットストリームの中で検出するためのマシーンにより実行可能なステップと、冗長符号化済みピクチャに属する符号化済みピクチャのピクチャ情報の復号化を、パラメータを利用して制御するステップとを有しており、冗長符号化済みピクチャのピクチャ情報が、それぞれの符号化済み一次ピクチャの形成に利用されるピクチャ情報の一部のみに対応するように構成されることを主たる特徴とするものである。

本発明による、ピクチャを符号化するマシーンにより実行可能なステップを具備するソフトウェアプログラムを格納する記憶媒体において、上記ソフトウェアプログラムが、上記符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャであって、各々の符号化済み一次ピクチャが、それぞれの冗長符号化済みピクチャと実質的に同じピクチャ情報を有する符号化済み一次ピクチャを形成するためのマシーンにより実行可能なステップを有しており、冗長符号化済みピクチャのうちの少なくとも１つが、それぞれの符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有するように構成されることを主たる特徴とするものである。

本発明による送信装置は、ピクチャを符号化するエンコーダを備え、このエンコーダは、符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャを形成する符号化手段を具備し、各々の符号化済み一次ピクチャは、それぞれの冗長符号化済みピクチャと実質的に同じピクチャ情報を有しており、冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有するように構成されることを主たる特徴とするものである。
本発明による受信装置は、符号化済みピクチャのピクチャ情報が冗長符号化済みピクチャに属することを示すパラメータをビットストリームの中で検出する検出手段と、冗長符号化済みピクチャに属する符号化済みピクチャのピクチャ情報の復号化を、パラメータを利用して制御する制御手段とを具備するデコーダを備えており、冗長符号化済みピクチャのピクチャ情報が、それぞれの符号化済み一次ピクチャの形成に利用される前記ピクチャ情報の一部のみに対応するように構成されることを主たる特徴とするものである。

本発明によるビットストリームは、符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャを含み、各々の符号化済み一次ピクチャが、それぞれの前記前記冗長符号化済みピクチャと実質的に同じピクチャ情報を有しており、冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有するように構成されることを主たる特徴とするものである。

本発明によって、符号化済み一次ピクチャを正確に復号化する場合、冗長符号化済みピクチャの不要な復号化を回避するために、デコーダが符号化済み一次ピクチャと冗長符号化済みピクチャとの間の境界を検出することが可能になる。

本発明は符号化システムの信頼性を改善するものである。本発明を利用することにより、たとえビデオストリームのいくつかのパケットがデコーダで利用できなくなった場合であっても、従来技術によるシステムの場合よりも高い信頼性でピクチャの正しい復号化順序を決定することが可能になる。

整合性と明瞭性とを図るために、本発明の説明で用いられる一次符号化スライスと冗長符号化スライスとに関連する以下の規定を定義する。

スライスデータ・パーティションは、各々のシンタックス要素のタイプに基づいてスライスシンタックス構造のシンタックス要素をスライスデータ・パーティション・シンタックス構造に分割する方法である。ＪＶＴ符号化規格には、３つのスライスデータ・パーティション・シンタックス構造、すなわち、スライスデータ・パーティションＡ、ＢおよびＣが存在する。スライスデータ・パーティションＡでは、予測サンプル値と復号化済みサンプル値との間の差分を符号化するために、全てのシンタックス要素が、シンタックス要素以外のスライスヘッダシンタックス構造およびスライスデータシンタックス構造の中に含まれる。スライスデータ・パーティションＢでは、予測サンプル値と復号化済みサンプル値との間の差分を符号化するためのシンタックス要素が、イントラマクロブロックタイプ（ＩおよびＳＩマクロブロック）の中に含まれる。スライスデータ・パーティションＣでは、予測サンプル値と復号化済みサンプル値との間の差分を符号化するためのシンタックス要素が、予測マクロブロック間タイプ（Ｐ、ＳＰおよびＢマクロブロック）の中に含まれる。

一次符号化されたデータ・パーティションは、符号化済み一次ピクチャに属するデータ・パーティションである。

符号化済み一次ピクチャは、ピクチャの符号化済み一次表示である。

一次符号化済みスライスは、符号化済み一次ピクチャに属するスライスである。

冗長な符号化済みデータ・パーティションは、冗長符号化済みピクチャに属するデータ・パーティションである。

冗長符号化済みピクチャは、一次符号化済みピクチャまたは復号化済みピクチャが破損している場合にのみ使用すべきピクチャの冗長な符号化表示である。復号化された冗長なピクチャがピクチャ領域全体をカバーしない場合もある。復号化された一次ピクチャの共置（co-located）領域と、任意の復号化された冗長なスライスとの間に顕著な差異が存在しないことが望ましい。冗長符号化済みピクチャは、符号化済み一次ピクチャ内に全てのマクロブロックを含むことを必要としない。

冗長符号化スライスは、冗長符号化済みピクチャに属するスライスである。

「符号化されていない」マクロブロックと、冗長なピクチャ内に含まれていないマクロブロックとの間には２つの主要な差異が存在する。すなわち、第１に、冗長符号化済みピクチャの中に含まれないマクロブロックが信号で送られないのに対して、「符号化されていない」マクロブロックは、（一般に、「符号化されていない」マクロブロックに付き１ビットによって）ビットストリームの形で符号化される。第２に、デコーダは、冗長なピクチャ内に含まれていない領域を復号化してはならない。マクロブロックが、受信された符号化済み一次ピクチャまたは任意の対応する冗長符号化済みピクチャの中には含まれていない場合、何らかの独自仕様のエラー隠匿アルゴリズムを用いて、デコーダがこれらの抜け落ちているマクロブロックを隠すことが望ましい。これとは対照的に、「符号化されていない」マクロブロックのための特定の標準的な復号化処理が存在する。

以下、図５のシステムと、図６のエンコーダ１と、オプションの仮想基準デコーダ（ＨＲＤ）５と、図７のデコーダ２とに関連して、本発明についてさらに詳細に説明する。例えば、符号化対象ピクチャは、カメラ、ビデオレコーダ等のビデオソース３から出力されるビデオストリームピクチャ等であってもよい。ビデオストリームピクチャ（フレーム）は、スライス等のさらに小さな部分に分けることができる。スライスは、さらにブロックに分けることができる。エンコーダ１では、ビデオストリームが符号化されて、情報量が低減され、送信チャネル４を介して送信されたり、記憶媒体（図示せず）へ送信されたりする。ビデオストリームピクチャはエンコーダ１へ入力される。エンコーダは、符号化対象ピクチャのいくつかを一時的に格納する符号化用バッファ１.１（図６）を備えている。エンコーダ１はメモリ１.３（ＲＯＭ）およびプロセッサ１.２も備え、本発明に基づく符号化タスクを適用することができる。メモリ１.３とプロセッサ１.２とは、送信装置６に共通のものであってもよい。あるいは、送信装置６は、この送信装置６の別の機能のための別のプロセッサおよび／またはメモリ（図示せず）を備えたものであってもよい。エンコーダ１は、動き予測および／または何らかの別のタスクを実行して、ビデオストリームの圧縮を行う。符号化対象ピクチャ（現在のピクチャ）間の動き予測の類似性に関して、以前および／または以後のピクチャの探索が行われる。類似性が発見された場合、符号化対象ピクチャの参照用ピクチャとして比較済みピクチャまたはピクチャの一部を利用することができる。ＪＶＴ符号化規格では、ピクチャの表示順序および復号化順序は必ずしも同じであるとは限らず、ピクチャが参照用ピクチャとして利用される限り、参照用ピクチャをバッファ（符号化用バッファ１.１等）に格納する必要がある。エンコーダ１はまた、ピクチャの表示順序に関する情報を送信ストリームの中へ挿入する。実際には、時間情報ＳＥＩメッセージか、またはＪＶＴシンタックス（ＲＴＰタイムスタンプ等）の外部のタイムスタンプかのいずれかの利用が可能である。

必要に応じて、符号化済みピクチャは、符号化処理から符号化済みピクチャバッファ５.２へ移される。この符号化済みピクチャは、送信チャネル４を介してエンコーダ１からデコーダ２へ送信される。デコーダ２で、符号化済みピクチャは復号化され、可能な限り符号化済みピクチャに対応する未圧縮ピクチャが形成される。各々の復号化済みピクチャは、各々の復号化済みピクチャが復号化されたほぼ直後に表示されない限り、および、参照用ピクチャとして使用されない限り、デコーダ２の復号化済みピクチャバッファＤＰＢ（復号化用バッファとも呼ばれる）２.１にてバッファリングされる。好ましくは、参照用ピクチャバッファリングと表示用ピクチャバッファリングの双方が組み合わされ、同じ復号化済みピクチャバッファ２.１が使用される。これによって、２つの異なる場所に同じピクチャを格納する必要がなくなるため、デコーダ２の必要なメモリが節減されることになる。

デコーダ２は、メモリ２.３（ＲＡＭまたはＲＯＭ）およびプロセッサ２.２も備えており、これらのメモリ２.３およびプロセッサ２.２において、本発明に基づく復号化タスクの実行が可能になる。メモリ２.３とプロセッサ２.２とは、受信装置８に共通のものであってもよいし、あるいは、受信装置８の別の機能を実行するための別のプロセッサおよび／またはメモリ（図示せず）を備えたものであってもよい。

符号化
次に、符号化／復号化処理についてさらに詳細に考察する。ビデオソース３から得られたピクチャがエンコーダ１へ入力され、好適にはプレエンコーディング用バッファ（図６では符号化用バッファとして示す）１.１に格納される。ピクチャを格納する２つの主要な理由が存在する。第１の理由は、符号化対象ピクチャの後に着信する１つのピクチャをビットレート制御アルゴリズムで分析することによってピクチャ品質の著しい変動が生じなくなることである。第２の理由は、ピクチャの符号化順序（ならびに復号化順序）がピクチャの取得順序とは異なることである。圧縮効率という点から見て（例えば、２つの別のＢフレーム間に在るＢフレームが、他方の２つのＢフレーム用の参照用フレームとなるＰＢＢＢＰフレームシーケンス）、および／または誤り復元力（ピクチャ内延期）という点から見て、この種の配置構成を効果的なものにすることができる。

符号化処理は、必ずしも第１のピクチャがエンコーダへ入力された直後に開始されるとは限らず、ある一定量のピクチャが符号化用バッファ１.１で利用可能になった後に開始されることもある。次いで、エンコーダ１は、参照用フレームとして利用できる適切な候補をピクチャから発見しようと試みる。次いで、エンコーダ１は、符号化済みピクチャを形成するために符号化を実行する。例えば、符号化済みピクチャは、予測ピクチャ（Ｐ）、双予測ピクチャ（Ｂ）および／またはイントラ符号化ピクチャ（Ｉ）となる可能性がある。他のいずれのピクチャも用いることなく、イントラ符号化ピクチャの復号化を行うことも可能ではあるが、別のタイプのピクチャでは、それらのピクチャの復号化が可能になる前に少なくとも１つの参照用ピクチャが必要となる。前述のピクチャタイプのうちのいずれかのピクチャを参照用ピクチャとして使用することが可能である。

エンコーダは、好適には、２つのタイムスタンプ、すなわち復号化用タイムスタンプ（ＤＴＳ）と出力用タイムスタンプ（ＯＴＳ）とをピクチャに付加することが望ましい。デコーダは、これらのタイムスタンプを利用して、ピクチャの正しい復号化タイムおよび出力（表示）タイムを決定することができる。しかしながら、これらのタイムスタンプは必ずしもデコーダへ送信されるとは限らず、また、デコーダがこれらのタイムスタンプを利用しない場合もある。

エンコーダ１は、冗長符号化済みピクチャまたはピクチャの冗長な符号化済みデータ・パーティションを形成してエラー復元力を高めるようにすることができる。本発明によれば、エンコーダは、ピクチャを復号化するための全ての必要な情報を含むというわけではなく、その情報のいくつかの部分のみを含む冗長なピクチャを形成することが可能である。エンコーダ１は、同じピクチャ用として２以上の異なる冗長な符号化済みデータ・パーティションを形成することも可能である。この場合、異なる冗長な符号化済みデータ・パーティションには、ピクチャの少なくとも部分的に異なる領域から得られた情報が含まれる。最小の冗長符号化済みピクチャは、好適には１つのスライスからなることが望ましい。このスライスには、１または２以上のマクロブロックが含まれる。

好適には、どのようなピクチャの中に冗長に符号化すべき領域が含まれるかをエンコーダ１が決定することが望ましい。この選択を行うための判断基準は、異なる実施形態において、および、異なる状況において変更することも可能である。例えば、エンコーダ１は、生じる可能性のあるシーンの変化が連続するピクチャ間に存在するか否か、あるいは、何らかの別の理由のために、連続するピクチャ間に多くの変更が存在するか否かのチェックを行うようにしてもよい。それぞれ個別に、エンコーダ１は、いくつかのピクチャの一部の変更が存在するか否かをチェックして、ピクチャのどの部分を冗長に符号化すべきであるかの決定を行うことが可能である。このような決定を行うために、エンコーダ１は、例えば、動きベクトルをチェックして、重要な領域、および／または特に送信エラー／復号化エラーに敏感に反応する領域を見つけ出して、このような領域の冗長な符号化済みデータ・パーティションを形成することが可能である。

ストリームの中に冗長なスライスが存在するか否かを示す何らかの指示が、送信ストリームの中に存在することが望ましい。各々のスライスのスライスヘッダおよび／またはピクチャ用パラメータのセットの中に、上記の指示を好適に挿入することが望ましい。このような指示を示す１つの好適な実施形態では、冗長なスライス用の２つのシンタックス要素が用いられる。第１のシンタックス要素として、ピクチャ用パラメータのセット内に常駐する「redundant_slice_flag」があり、他方のシンタックス要素として、スライスヘッダ内に常駐する「redundant_pic_cnt」がある。「redundant_pic_cnt」はオプションであり、参照用ピクチャ用パラメータのセット内の「redundant_slice_flag」が１にセットされる場合にのみスライスヘッダの中に含まれる。

２つのシンタックス要素の意味論（semantics）は以下のようなものとなる。すなわち、redundant_slice_flagは、ピクチャ用パラメータのセットを参照する全てのスライスヘッダ内におけるredundant_pic_cntのパラメータの存在を示す。全てのパラメータがスライスに対して均等であれば、ピクチャ用パラメータのセットは、２以上のスライスに共通のものとすることができる。Redundant_slice_flagの値が真であれば、このパラメータのセットを参照する当該スライスのスライスヘッダは、第２のシンタックス要素（redundant_pic_cnt）を含むことになる。

ピクチャコンテンツの一次表示に属する符号化済みスライとデータ・パーティションとに対するredundant_pic_cntの値は０である。ピクチャコンテンツの冗長な符号化表示を含む符号化済みスライスとデータ・パーティションとに対するredundant_pic_cntは、０よりも大きい。復号化された一次ピクチャの共置（co-located）領域と、任意の復号化された冗長なスライスとの間に顕著な差異が存在しないことが望ましい。Redundant_pic_cntの同じ値を有する冗長なスライスとデータ・パーティションは、同じ冗長ピクチャに属する。同じredundant_pic_cntを有する復号化済みスライスはオーバーラップしない。０よりも大きいredundant_pic_cntを有する復号化済みスライスは、ピクチャ領域全体をカバーしない可能性がある。ピクチャは、nal_storage_idcと呼ばれるパラメータを有するものであってもよい。一次ピクチャ内のnal_storage_idcの値が０であれば、対応する冗長なピクチャ内のnal_storage_idcの値は０になるものとする。一次ピクチャ内のnal_storage_idcの値が０以外の値であれば、対応する冗長なピクチャ内のnal_storage_idcの値は、０以外の値になるものとする。

データ・パーティションが冗長なスライスに対して適用されない場合、上記記載のシンタックス設計は良好に動作する。しかしながら、データ・パーティションが適用される場合、すなわち、各々の冗長なスライスがＤＰＡ、ＤＰＢおよびＤＰＣの３つのデータ・パーティションを有する場合、どの冗長なスライスが該当するスライスであるかをデコーダに知らせるために、さらに別のメカニズムが必要となる。これを達成するために、ＤＰＡ内のスライスヘッダだけでなく、ＤＰＢとＤＰＣの双方のスライスヘッダ内にもredundant_pic_cntが含まれることになる。スライスデータ・パーティションが使用中の場合、スライスデータ・パーティションＢとＣとをそれぞれのスライスデータ・パーティションと関連づけて、スライスの復号化を可能にするように図らなければならない。スライスデータ・パーティションＡにはslice_idのシンタックス要素が含まれ、このslice_idの値によって、符号化済みピクチャ内のスライスが一意に特定される。スライスデータ・パーティションＡ内のスライスヘッダの中にredundant_pic_cntのシンタックス要素が存在する場合、スライスデータ・パーティションＢおよびＣには、redundant_pic_cntのシンタックス要素が含まれる（参照用のピクチャ用パラメータのセット内の「redundant_slice_flag」の値に条件づけられる）。Redundant_pic_cntのシンタックス要素の値を利用して、スライスデータ・パーティションＢおよびＣは、特定の一次冗長ピクチャまたは冗長符号化済みピクチャと関連づけられる。Redundant_pic_cntに加えて、スライスデータ・パーティションＢおよびＣにはslice_idのシンタックス要素が含まれ、このslice_idのシンタックス要素を利用して、データ・パーティションは、同じ符号化済みピクチャのそれぞれのデータ・パーティションＡと関連づけられる。

送信
第１の符号化済みピクチャの準備が完了した直後に、符号化済みピクチャの送信および／または格納（オプションのバーチャルな復号化）を開始することが可能である。このピクチャは、必ずしもデコーダ出力順の第１のピクチャであるとは限らない。というのは、復号化順序および出力順序が同じではない場合もあるからである。

ビデオストリームの第１のピクチャが符号化されると、符号化済み送信の開始が可能になる。符号化済みピクチャは、オプションとして符号化済みピクチャバッファ５.２へ格納される。例えば、ビデオストリームのある部分が符号化された後、後半の段階で送信を開始することも可能である。

いくつかの送信システムでは、送信される冗長なピクチャの数は、特に、トラフィック量や、無線リンク内のビットエラー比等のようなネットワーク状態に左右されることがある。換言すれば、全ての冗長なピクチャが必ずしも送信されるとは限らない。

復号化
次に、受信装置８の動作について説明する。受信装置８は、ピクチャに属する全てのパケットを収集し、これらのパケットを合理的な順序に変更する。順序の厳密さは、採用されるプロファイルに依存する。受信パケットは、受信用バッファ９.１（プレデコーディング用バッファ）内へ好適に格納される。受信装置８は、使用不可のパケットを全て破棄し、残りをデコーダ２へ渡す。

ピクチャの一次表示またはピクチャの一部が紛失したり、復号化エラーが存在したりする場合、デコーダは、冗長符号化スライスのうちのいくつかを利用してピクチャの復号化を図ることが可能である。デコーダ２は、スライスｉｄや、問題のピクチャを特定する何らかの別の情報をエンコーダ１へ送信することができる。デコーダ２は、利用可能な全ての必要なスライスを有するときに、ピクチャの復号化を開始することができる。冗長な符号化済みデータ・パーティションの利用にもかかわらず、いくつかのスライスがデコーダ２側で利用できなくなる可能性がある。この場合、デコーダ２は、例えば画質に対するエラーの影響を低減させるためのいくつかのエラー回復方法を試みることが可能である。あるいは、デコーダ２は、エラーを含むピクチャを破棄し、その代わりに何らかの前回のピクチャを利用することが可能である。

本発明は、多くの種類のシステムおよび装置に対して適用することが可能である。エンコーダ１、および、オプションとしてＨＲＤ５を備えた送信装置６は、好適には、符号化済みピクチャを送信チャネル４へ送信する送信機７も備えることが望ましい。受信装置８は、符号化済みピクチャを受け取る受信機９と、デコーダ２と、復号化済みピクチャを表示することが可能な表示装置１０とを備える。送信チャネルは、例えば陸線通信チャネルおよび／または無線通信チャネルであってもよい。送信装置と受信装置とは、本発明に基づくビデオストリームの符号化／復号化処理の制御に必要なステップを実行することが可能な１または２以上のプロセッサ１.２、２.２も備える。したがって、本発明による方法は、主としてマシーンにより実行可能なプロセッサのステップとして実現可能である。ピクチャのバッファリング処理は、装置のメモリ１.３、２.３で実現することが可能である。エンコーダのプログラムコード１.４は、メモリ１.３内へ格納することが可能である。それぞれ個別に、デコーダのプログラムコード２.４をメモリ２.３（ＲＯＭ）内へ格納することが可能である。

再帰時間階層符号化方式の１例を示す図である。 一連のピクチャがインタリービングされた態様で独立に符号化されるような、２または３以上のスレッドに分けられたビデオ冗長符号化と呼ばれる方式を示す図である。 圧縮効率の改善を潜在的に図る予測構造の１例を示す図である。 エラー復元力の改善を図るために利用可能なイントラピクチャ延期法の１例を示す図である。 本発明によるシステムの好適な実施形態を示すブロック図である。 本発明によるエンコーダの好適な実施形態を示すブロック図である。 本発明によるデコーダの好適な実施形態を示すブロック図である。 一般的なビデオ通信システムの構成を示すブロック図である。

Claims (23)

1. ピクチャを符号化する方法であって、
   符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャが形成され、各々の前記符号化済み一次ピクチャは、それぞれの前記冗長符号化済みピクチャと実質的に同じピクチャ情報を有しており、
   前記冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの前記符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有することを特徴とする方法。
2. 少なくとも１つの前記符号化済み一次ピクチャをデコーダへ送信する送信ステップをさらに有する請求項１に記載の方法。
3. 符号化の対象となるピクチャがスライスを具備し、前記冗長符号化済みピクチャが、前記符号化済み一次ピクチャのスライスの一部を含む請求項１に記載の方法。
4. 前記冗長符号化済みピクチャが、冗長符号化データ部として、それぞれの前記符号化済み一次ピクチャの一部のみを含む請求項１に記載の方法。
5. 符号化の対象となるピクチャ用として少なくとも１つのパラメータのセットが形成され、各々のスライス用としてスライスヘッダが形成され、送信ストリームが、冗長な符号化済みデータ・パーティションのスライスを含むか否かの指示が、前記パラメータのセット内へ挿入され、さらに、前記冗長な符号化済みデータ・パーティションの各々のスライスヘッダ内へredundant_pic_cntのパラメータが挿入される請求項４に記載の方法。
6. ビットストリームからピクチャを復号化する方法であって、
   符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャが前記ビットストリーム内に含まれ、それぞれの前記冗長符号化済みピクチャの形成に利用されるピクチャ情報と実質的に同じピクチャ情報を利用して、前記符号化済み一次ピクチャが形成され、
   さらに、前記冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの前記符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有しており、前記方法は、
   前記符号化済みピクチャのピクチャ情報が冗長符号化済みピクチャに属することを示すパラメータを前記ビットストリームの中で検出するステップと、
   冗長符号化済みピクチャに属する前記符号化済みピクチャのピクチャ情報の復号化を、前記パラメータを利用して制御するステップとを有しており、
   前記冗長符号化済みピクチャのピクチャ情報が、それぞれの前記符号化済み一次ピクチャの形成に利用される前記ピクチャ情報の一部のみに対応するようになっていることを特徴とする方法。
7. 少なくとも前記符号化済み一次ピクチャを受信する受信ステップをさらに有する請求項６に記載の方法。
8. 前記冗長符号化済みピクチャを受信するステップをさらに有する請求項７に記載の方法。
9. 前記方法が、符号化済み一次ピクチャが復号化できない領域を含むか否かを判定するステップをさらに有し、
   さらにまた、前記方法は、前記冗長符号化済みピクチャが、復号化できない前記符号化済み一次ピクチャの領域に関して復号化可能な情報を含むか否かをチェックするステップと、前記チェックするステップに基づいて発見された冗長符号化済みピクチャを復号化するステップとを有する請求項８に記載の方法。
10. 符号化の対象となるピクチャ用として少なくとも１つのパラメータのセットが形成され、各々のスライス用としてスライスヘッダが形成され、送信ストリームが、冗長な符号化済みデータ・パーティションのスライスを含むか否かの指示が、前記パラメータのセット内へ挿入され、さらに、前記冗長な符号化済みデータ・パーティションの各々のスライスヘッダ内へredundant_pic_cntのパラメータが挿入され、ここで、前記指示と前記redundant_pic_cntのパラメータとを利用して、符号化済み一次ピクチャと冗長符号化済みピクチャとを区別するようになっている請求項９に記載の方法。
11. ピクチャを符号化するエンコーダであって、
    符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャを形成する符号化手段を具備し、各々の前記符号化済み一次ピクチャは、それぞれの前記冗長符号化済みピクチャと実質的に同じピクチャ情報を有しており、
    前記冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの前記符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有することを特徴とするエンコーダ。
12. ビットストリームからピクチャを復号化するデコーダであって、前記ビットストリームは、
    符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャであって、それぞれの前記冗長符号化済みピクチャの形成に利用されるピクチャ情報と実質的に同じピクチャ情報を利用して形成される前記符号化済み一次ピクチャを有し、
    前記冗長符号化済みピクチャのうちの少なくとも１つは、前記それぞれの符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有しており、前記デコーダは、
    前記符号化済みピクチャのピクチャ情報が冗長符号化済みピクチャに属することを示すパラメータを前記ビットストリームの中で検出する検出手段と、
    冗長符号化済みピクチャに属する前記符号化済みピクチャのピクチャ情報の復号化を、前記パラメータを利用して制御する制御手段とを備えており、
    前記冗長符号化済みピクチャのピクチャ情報が、それぞれの前記符号化済み一次ピクチャの形成に利用される前記ピクチャ情報の一部のみに対応するようになっていることを特徴とするデコーダ。
13. ピクチャを符号化するエンコーダを備える送信装置であって、前記エンコーダは、
    符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャを形成する符号化手段を具備し、
    各々の前記符号化済み一次ピクチャは、それぞれの前記冗長符号化済みピクチャと実質的に同じピクチャ情報を有しており、
    前記冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの前記符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有するように構成されることを特徴とする送信装置。
14. 少なくとも前記符号化済み一次ピクチャをデコーダへ送信する送信機をさらに備える請求項１３に記載の送信装置。
15. 符号化の対象となるピクチャがスライスを具備し、前記冗長符号化済みピクチャが、前記符号化済み一次ピクチャのスライスの一部を含む請求項１３に記載の送信装置。
16. 符号化の対象となるピクチャ用として少なくとも１つのパラメータのセットを形成し、各々のスライス用としてスライスヘッダを形成する手段と、送信ストリームが、冗長な符号化済みデータ・パーティションのスライスを含むか否かの指示を、前記パラメータのセット内へ挿入し、さらに、前記冗長な符号化済みデータ・パーティションの各々のスライスヘッダ内へredundant_pic_cntパラメータを挿入する手段とをさらに備える請求項１３に記載の送信装置。
17. ビットストリームからピクチャを復号化するデコーダを備える受信装置であって、前記ビットストリームは、
    符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャであって、それぞれの前記冗長符号化済みピクチャの形成に利用されるピクチャ情報と実質的に同じピクチャ情報を利用して形成される前記符号化済み一次ピクチャを具備し、
    さらに、前記冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの前記符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有しており、前記デコーダは、
    前記符号化済みピクチャのピクチャ情報が冗長符号化済みピクチャに属することを示すパラメータを前記ビットストリームの中で検出する検出手段と、
    冗長符号化済みピクチャに属する前記符号化済みピクチャのピクチャ情報の復号化を、前記パラメータを利用して制御する制御手段とを具備しており、前記冗長符号化済みピクチャのピクチャ情報が、それぞれの前記符号化済み一次ピクチャの形成に利用される前記ピクチャ情報の一部のみに対応するように構成されることを特徴とする受信装置。
18. ピクチャを符号化するエンコーダであって、符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャを形成する符号化手段を具備し、各々の前記符号化済み一次ピクチャは、それぞれの前記冗長符号化済みピクチャと実質的に同じピクチャ情報を有し、前記冗長符号化済みピクチャのうちの少なくとも１つは、前記それぞれの符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有するように構成されるエンコーダと、
    少なくとも前記符号化済み一次ピクチャをデコーダへ送信する送信機とを備えるシステムにおいて、
    前記デコーダは、
    前記符号化済みピクチャのピクチャ情報が冗長符号化済みピクチャに属することを示すパラメータを前記ビットストリームの中で検出する検出手段と、
    冗長符号化済みピクチャに属する前記符号化済みピクチャのピクチャ情報の復号化を、前記パラメータを利用して制御する制御手段とを具備しており、前記冗長符号化済みピクチャのピクチャ情報が、それぞれの前記符号化済み一次ピクチャの形成に利用される前記ピクチャ情報の一部のみに対応するように構成されることを特徴とするシステム。
19. ピクチャを符号化するマシーンにより実行可能なステップを具備するソフトウェアプログラムであって、
    符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャであって、各々の前記符号化済み一次ピクチャが、それぞれの前記冗長符号化済みピクチャと実質的に同じピクチャ情報を有する符号化済み一次ピクチャを形成するためのマシーンにより実行可能なステップを有しており、
    前記冗長符号化済みピクチャのうちの少なくとも１つが、それぞれの前記符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有するように構成されることを特徴とするソフトウェアプログラム。
20. ビットストリームからピクチャを復号化するマシーンにより実行可能なステップを有するソフトウェアプログラムであって、
    符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャが前記ビットストリーム内に含まれ、それぞれの前記冗長符号化済みピクチャの形成に利用されるピクチャ情報と実質的に同じピクチャ情報を利用して、前記符号化済み一次ピクチャが形成され、
    さらに、前記冗長符号化済みピクチャのうちの少なくとも１つが、それぞれの前記符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有するように構成され、
    前記ソフトウェアプログラムは、
    前記符号化済みピクチャのピクチャ情報が冗長符号化済みピクチャに属することを示すパラメータを前記ビットストリームの中で検出するためのマシーンにより実行可能なステップと、
    冗長符号化済みピクチャに属する前記符号化済みピクチャのピクチャ情報の復号化を、前記パラメータを利用して制御するステップとを有しており、
    前記冗長符号化済みピクチャのピクチャ情報が、それぞれの前記符号化済み一次ピクチャの形成に利用される前記ピクチャ情報の一部のみに対応するように構成されることを特徴とするソフトウェアプログラム。
21. ピクチャを符号化するマシーンにより実行可能なステップを具備するソフトウェアプログラムを格納する記憶媒体であって、前記ソフトウェアプログラムは、
    符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャであって、各々の前記符号化済み一次ピクチャが、それぞれの前記冗長符号化済みピクチャと実質的に同じピクチャ情報を有する符号化済み一次ピクチャを形成するためのマシーンにより実行可能なステップを有しており、前記冗長符号化済みピクチャのうちの少なくとも１つが、それぞれの前記符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有するように構成されることを特徴とする、ソフトウェアプログラムを格納する記憶媒体。
22. ビットストリームからピクチャを復号化するマシーンにより実行可能なステップを有するソフトウェアプログラムを格納する記憶媒体であって、
    符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャが前記ビットストリーム内に含まれ、それぞれの前記冗長符号化済みピクチャの形成に利用されるピクチャ情報と実質的に同じピクチャ情報を利用して、前記符号化済み一次ピクチャが形成され、
    さらに、前記冗長符号化済みピクチャのうちの少なくとも１つが、それぞれの前記符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有するように構成され、
    前記ソフトウェアプログラムは、
    前記符号化済みピクチャのピクチャ情報が冗長符号化済みピクチャに属することを示すパラメータを前記ビットストリームの中で検出するステップと、
    冗長符号化済みピクチャに属する前記符号化済みピクチャのピクチャ情報の復号化を、前記パラメータを利用して制御するステップとを有しており、前記冗長符号化済みピクチャのピクチャ情報が、それぞれの前記符号化済み一次ピクチャの形成に利用される前記ピクチャ情報の一部のみに対応するように構成されることを特徴とする、ソフトウェアプログラムを格納する記憶媒体。
23. 符号化済み一次ピクチャ、および符号化済み一次ピクチャの冗長符号化済みピクチャを含むビットストリームであって、各々の前記符号化済み一次ピクチャが、それぞれの前記前記冗長符号化済みピクチャと実質的に同じピクチャ情報を有しており、
    前記冗長符号化済みピクチャのうちの少なくとも１つは、それぞれの前記符号化済み一次ピクチャのピクチャ情報の一部のみに対応するピクチャ情報を有するように構成されることを特徴とするビットストリーム。

Images