JP2006506027A - 予測基準値用並びに表示用ピクチャのバッファ処理 - Google Patents

Abstract

本発明は符号化済みピクチャストリームを形成するエンコーダに関する。基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報をピクチャストリームからなるピクチャに対して定義する。上記エンコーダは、ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された、上記のような複数のピクチャの表示をビットストリームに対して形成するように構成される。本発明は、信号、仮想エンコーダ、デコーダ、仮想デコーダ、電子装置、システム、ソフトウェアプログラムおよび記憶媒体にも関する。

Description

本発明は、予測基準値用ピクチャ並びに表示用ピクチャのバッファ処理に関し、その方法は、符号化済みピクチャをエンコーダで形成するステップと、前記符号化済みピクチャをエンコーダで復号化するオプションの仮想復号化ステップと、前記符号化済みピクチャをデコーダへ伝送する伝送ステップと、上記符号化済みピクチャを復号化して、復号化済みピクチャを形成する復号化ステップと、上記復号化済みピクチャを表示順に配列する再構成ステップとから構成される。

公開されているビデオ符号化規格には、ＩＴＵ−Ｔ Ｈ．２６１、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ-１、ＩＳＯ／ＩＥＣ ＭＰＥＧ-２およびＩＳＯ／ＩＥＣ ＭＰＥＧ-４パート２が含まれている。本願明細書では、これらの規格を従来のビデオ符号化規格と呼ぶことにする。

ＩＴＵ−ＴとＩＳＯ／ＩＥＣのジョイントビデオチーム（ＪＶＴ）において標準化努力が続けられている。ＪＶＴの作業はＨ．２６１と呼ばれるＩＴＵ−Ｔにおける以前の標準化プロジェクトをベースとするものである。ＪＶＴ標準化の目標は、ＩＴ−ＵＴ勧告Ｈ．２６４およびＩＳＯ／ＩＥＣ国際規格１４４９６−１０（ＭＰＥＧ−４パート１０）と同じ規格テキストをリリースすることである。本文書ではこのドラフト規格をＪＶＴ符号化規格と呼び、上記ドラフト規格に準拠するコーデックをＪＶＤコーデックと呼ぶことにする。

Ｈ．２６３のオプションの基準ピクチャ選択モードとＭＰＥＧ−４パート２のＮＥＷＰＲＥＤ符号化ツールによって（Ｈ．２６３の各スライス当たりなどの）各ピクチャセグメント当たりの動き補償用基準フレームの選択が可能となる。さらに、Ｈ．２６３並びにＪＶＴ符号化規格のオプションの拡張型基準ピクチャ選択モードによって、個々のマクロブロックに対する基準フレームの選択が別個に可能となる。

基準ピクチャ選択によって多くのタイプの時間階層符号化方式が可能となる。図１は時間階層符号化方式の１例を示す図であり、この符号化方式は本願明細書で再帰時間階層符号化と呼ばれるものである。３つの固定フレームレートを用いてこの例示の方式の復号化を行うことが可能である。図２はビデオ冗長符号化と呼ばれている方式を描く図であり、この場合、一連のピクチャが２または３以上の独立に符号化されたスレッドにインタリーブされて分割される。上図並びにすべての後続図の矢印は動き補償の方向を示し、フレームの下に付された値はフレームの相対的取得時刻と表示時刻とに対応するものであることを示す。

従来のビデオ符号化規格では、ピクチャの復号化を行う順序はＢピクチャを除いて表示順序と同じである。従来のＢピクチャ内のブロックは２つの基準ピクチャから双方向の時間予測を行うことが可能であり、その場合、一方の基準ピクチャは時間的に先行し、他方の基準ピクチャは表示順に時間的に後続するようになっている。表示順序において、最新の基準ピクチャのみが復号化順にＢピクチャに後続することができる（例外：時間的に後続する基準フレームの双方のフィールドピクチャが復号化順にＢピクチャに先行することができるＨ．２６３でインターレースが行われる符号化の場合）。時間予測を行うために基準ピクチャとして従来のＢピクチャを使用することはできない。したがって、従来方式のＢピクチャは他のいずれのピクチャの復号化にも影響を与えることなく配置することが可能となる。

ＪＶＴ符号化規格には以前の規格と比べて以下の新規の技術的特徴が含まれている：
− ピクチャの復号化順が表示順から分離される。ピクチャ番号は復号化の順序を示し、ピクチャの順序カウントは表示順序を示す。
− Ｂピクチャ内のブロック用基準ピクチャは、表示順にＢピクチャの前または後のいずれに存在してもよい。したがって、Ｂピクチャは双方向のピクチャの代わりに双方向予測（bi-predictive）ピクチャを表すことになる。
− 基準ピクチャとして使用しないピクチャは明示的にマークされる。どのタイプのピクチャ（イントラ、インタ、Ｂ、など）が基準ピクチャあるいは非基準ピクチャのいずれであってもよい。（したがって、別のピクチャの時間予測を行うための基準ピクチャとしてＢピクチャの利用が可能となる。）
− ピクチャは、異なる符号化タイプを用いて符号化したスライスを含むものであってもよい。言い換えれば、符号化済みピクチャは、例えばイントラ符号化スライスとＢ符号化スライスとから構成されるものであってもよい。

圧縮効率とエラー回復力という見地から見て、復号化順から表示順を分離することは有益なものとなり得る。

圧縮効率の潜在的改善を図る予測構造の１例が図３に示されている。ボックスはピクチャを示し、ボックス内の大文字は符号化タイプを示し、ボックス内の数字はＪＶＴ符号化規格に準拠するピクチャ番号であり、矢印は予測依存状態を示す。ピクチャＢ１７はピクチャＢ１８用の基準ピクチャであることに留意されたい。圧縮効率は、従来方式の符号化と比べて潜在的に改善される。というのは、ＰＢＢＰあるいはＰＢＢＢＰ符号化済みピクチャパターンを用いる従来方式の符号化と比べてピクチャＢ１８用の基準ピクチャの方が、時間的に近くに存在するからである。圧縮効率は、従来方式のＰＢＰ符号化済みピクチャパターンと比べて潜在的に改善される。というのは、基準ピクチャの一部が双方向に予測されるからである。

図４は、エラー回復力の改善を図るために使用可能なイントラピクチャ延期法の１例を示す図である。従来の方式では、イントラピクチャは、例えば場面カットの直後かピクチャ内リフレッシュ期間の期限切れに対する応答として符号化される。イントラピクチャ延期法では、イントラピクチャの符号化を行う必要が生じた直後にイントラピクチャの符号化が行われることはなく、逆に、時間的に後続するピクチャがイントラピクチャとして選択される。符号化済みイントラピクチャとイントラピクチャの従来の所在位置との間の個々のピクチャは時間的に後続する次のピクチャから予測される。図４が示すように、イントラピクチャ延期法では２つの独立したインタピクチャ予測チェーンが生成されるのに対して、従来方式の符号化アルゴリズムでは、単一のインタピクチャチェーンが生みだされる。２チェーン・アプローチの方が、従来方式の１チェーンアプローチよりも消去エラーに対してロバストであることは直感的に明らかである。一方のチェーンがパケット紛失を被った場合でも、まだ、他方のチェーンを正しく受信できる可能性がある。従来方式の符号化では、パケット紛失は常に残りのインタピクチャ予測チェーンのエラーの拡散を引き起こす原因となっていた。

ＪＶＴ符号化規格では、以下の２つの理由のために復号化済みピクチャのバッファ処理を行う必要がある：第１に、後続する符号化済みピクチャの予測用基準ピクチャとして復号化済みピクチャを用いる。第２に、表示順からの復号化順の分離に起因して、表示順に復号化済みピクチャの再順序化を行う必要がある。

本発明により解決される個別のバッファ処理問題について以下の例を用いて説明する。

以下のピクチャシーケンスについて考えることにする。このピクチャシーケンスにおいて、Ｐは予測済みピクチャであり、ＢＳは基準双方向予測ピクチャであり、ＢＮは非基準双方向予測ピクチャであり、数字は表示順序に関するものとする。
表示順序 P1 BN2 BN3 BS4 BN5 BN6 P7...
復号化順序 P1 P7 BS4 BN2 BN3 BN5 BN6

基準ピクチャ用バッファ内の３つのピクチャメモリを用いて上記ピクチャシーケンスの復号化を行うことが可能であるが、ＢＮ５を復号化する場合、まだこのピクチャシーケンスを表示する時ではない。
復号化時刻 P1 P7 BS4 BN2 BN3 BN5 BN6
表示時刻 P1 BN2 BN3 BS4 BN5 BN6 P7...

したがってＢＮ５を格納して表示順にピクチャの再順序化を行う必要がある。

従来のビデオ符号化規格に関して問題は存在しない。というのは、すべての基準ピクチャに対する表示順序は該基準ピクチャの復号化順序と同じであり、さらに、Ｂピクチャを使用中の場合、最新の復号化済み基準ピクチャだけのバッファ処理を行って表示順にピクチャの再順序化を行う必要があるからである。基準ピクチャ選択をサポートする従来のビデオ符号化規格は、基準ピクチャ用バッファを備えてはいるが、表示再順序化用のピクチャ用バッファは備えていない。

ＪＶＴ符号化規格に対する以下の簡単な提案が行われた：表示再順序化用のピクチャ用バッファから分離した基準ピクチャ用のピクチャ用バッファを備えること。２つのバッファ用としてピクチャの最大数を個別に指定すること。

上述の例について今一度再考してみよう。基準ピクチャは、復号化されるとすぐに基準ピクチャ用バッファの中に入る。非基準ピクチャは基準ピクチャ用バッファの中には入らない。復号化済みピクチャは、基準用として必要でなくなるとすぐに基準ピクチャ用バッファから除去される。例えば、ピクチャＰ１は、ピクチャＢＮ３の復号化後、除去することができる。ピクチャは、復号化されるとすぐに表示再順序化用バッファの中に入る。復号化済みピクチャは、表示が可能になると表示再順序化用バッファから除去される。下図は、個々のピクチャの復号化直後のバッファ内容を示す図である。
復号化時刻 P1 P7 BS4 BN2 BN3 BN5 BN6
表示時刻 P1 BN2 BN3 BS4 BN5 BN6 P7
基準バッファ P1 P1 P1 P1 BS4 BS4 P7
P7 BS4 BS4 P7 P7
P7 P7
表示バッファ P1 P1 BS4 BS4 BS4 BN5 BN6 P7
P7 P7 P7 P7 P7 P7

基準ピクチャ用バッファと表示再順序化用バッファとに必要なサイズは、それぞれ３ピクチャと２ピクチャであることがわかる。

本発明では、基準ピクチャ用バッファと表示ピクチャ用バッファとが組み合され、その場合、基準ピクチャと再順序化対象ピクチャの双方が同じバッファに格納されて、２つの異なる場所に同じピクチャを格納する必要性が回避される。

本発明は、任意の種類のネットワーク装置および端末装置で使用する仮想デコーダ、信号、エンコーダ、デコーダ、方法、装置、システム並びにコンピュータプログラムを提供するものであり、その場合、同じバッファを用いて、基準ピクチャと、表示対象となるべく待機しているピクチャとの双方をデコーダ側で格納することができる。さらに、ピクチャをメモリに２度格納することはない。

本発明の１つの実施形態では、バッファ内での再順序化を待機するピクチャの数に対する属性を定義することにより単一化バッファ処理のユーザビリティはさらに上昇する。属性ｎｕｍ_ｒｅｏｒｄｅｒ_ｆｒａｍｅｓは、いつでもピクチャの出力順序を回復するのに必要な復号化順での連続フレームの数である。単一化バッファに格納された基準フレームの最大数と、基準ピクチャとして予め格納されている当該ピクチャを除く表示用の再順序化対象ピクチャの最大数との合計は、最新の単一化バッファの現在の容量以下となるようにセットされる。これは、バッファがオーバーフローできないこと、したがって該バッファの検査が不要であることを意味するものである。その代わりに、オプションの仮想基準デコーダ（ＨＲＤ）は、ピクチャがその出力タイムスタンプ前にバッファから除去されないようにチェックすることができる。

本発明の１つの態様によれば、符号化済みピクチャストリームを仮想的に復号化する仮想デコーダが提供され、上記ピクチャを基準ピクチャまたは非基準ピクチャとして定義し、ピクチャの復号化順と出力順とに関する情報がピクチャストリームからなるピクチャに対して定義される。上記仮想デコーダは、基準ピクチャと再順序化対象ピクチャとのバッファ処理を行うためのピクチャ用単一化バッファを具備し、さらに、上記仮想デコーダが、
上記バッファに対して新たな復号化済みピクチャを挿入する前に、以下の、
− 上記バッファから別のピクチャを除去せず上記新たな復号化済みピクチャを上記バッファに挿入できるかどうかをチェックするステップと、
− 前記チェックに基づいて、上記バッファから別のピクチャを除去せず上記新たな復号化済みピクチャを上記バッファに挿入できない場合、上記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、上記バッファから除去する対象ピクチャを選択するステップと、
− ピクチャを選択した場合、該選択したピクチャを上記バッファから除去し、ピクチャを選択しなかった場合、エラーを表示するステップと、を実行する処理ブロックを具備することを主たる特徴とする。

本発明の別の態様によれば、符号化済みピクチャストリームを含む信号であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義する信号が提供される。上記信号は、少なくとも第１の基準ピクチャと第２の基準ピクチャとを含み、上記第１の基準ピクチャの方が復号化の順序において、上記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順に上記信号のバッファ処理を行うように構成された複数のピクチャの表示を含むことを特徴とする。

本発明の第３の態様によれば、符号化済みピクチャストリームを形成するエンコーダであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義するエンコーダが提供される。上記信号は、上記ピクチャストリームに対して、少なくとも第１の基準ピクチャと第２の基準ピクチャとを含むように構成されたエンコーダにおいて、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された上記のような複数のピクチャの表示を上記ビットストリームに対して形成するように構成されることを主たる特徴とする。

本発明の第４の態様によれば、
符号化済みピクチャストリームを仮想的に復号化する仮想デコーダを具備するエンコーダであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義するように構成されたエンコーダが提供される。上記エンコーダは、基準ピクチャと、再順序化対象ピクチャとのバッファ処理を行うピクチャ用単一化バッファを具備すること、並びに、上記仮想デコーダが、上記バッファに対して新たな復号化済みピクチャを挿入する前に、以下の、
− 上記バッファから別のピクチャを除去せず上記新たな復号化済みピクチャを上記バッファに挿入できるかどうかをチェックするステップと、
− 前記チェックに基づいて、上記バッファから別のピクチャを除去せず上記新たな復号化済みピクチャを上記バッファに挿入できない場合、上記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、上記バッファから除去する対象ピクチャを選択するステップと、
− ピクチャを選択した場合、該選択したピクチャを上記バッファから除去し、ピクチャを選択しなかった場合、エラーを表示するステップと、を実行する処理ブロックを具備することを主たる特徴とする。

本発明の第５の態様によれば、符号化済みピクチャストリームを形成する方法であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義するステップと、上記ピクチャストリームからなるピクチャ用としてピクチャの復号化順と出力順とに関する情報を定義するステップと、を具備する方法が提供される。上記方法は、
− 上記ピクチャの出力順を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された上記のような複数のピクチャの表示を上記ピクチャストリームに対して定義するステップと、を備えることを主たる特徴とする。

本発明の第６の態様によれば、復号化済みピクチャのバッファ処理を行う方法であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、上記バッファ内の上記基準ピクチャ数を定義する方法が提供される。上記方法は、予測基準値と復号化済みピクチャの双方を表示順に配列するために、該予測基準値と復号化済みピクチャの双方のバッファ処理を行うピクチャ用単一化バッファを用いることを主たる特徴とする。

本発明の第７の態様によれば、復号化済みピクチャのバッファ処理を行う手段を備えたデコーダであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、さらに、上記バッファ内の上記基準ピクチャの数を定義するように構成されたデコーダが提供される。上記デコーダは、バッファ処理を行う上記手段が、予測基準値と復号化済みピクチャの双方を表示順に配列するために該予測基準値と復号化済みピクチャの双方のバッファ処理を行うピクチャ用単一化バッファを備えることを主たる特徴とする。

本発明の第８の態様によれば、符号化済みピクチャストリームを形成する、機械で実行可能なステップを具備するソフトウェアプログラムであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義するように構成されたソフトウェアプログラムが提供される。上記ソフトウェアプログラムは、上記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された上記のような複数のピクチャの表示をビットストリームに対して形成するように構成する機械で実行可能なステップを具備することを主たる特徴とする。

本発明の第９の態様によれば、符号化済みピクチャストリームを仮想的に復号化する機械で実行可能なステップを具備するソフトウェアプログラムであって、基準ピクチャまたは非基準ピクチャとして上記ピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義するソフトウェアプログラムが提供される。上記ソフトウェアプログラムは、基準ピクチャと再順序化対象ピクチャとのバッファ処理をピクチャ用単一化バッファ内で行う機械で実行可能なステップを具備することを特徴とし、上記バッファに対して新たな復号化済みピクチャを挿入する前に、以下の、
− 上記バッファから別のピクチャを除去せず上記新たな復号化済みピクチャを上記バッファに挿入できるかどうかをチェックするステップと、
− 上記チェックに基づいて、
上記バッファから別のピクチャを除去せず上記新たな復号化済みピクチャを上記バッファに挿入できない場合、上記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、上記バッファから除去する対象ピクチャを選択するステップと、
− ピクチャを選択した場合、上記バッファから上記選択済みピクチャを除去し、ピクチャを選択しなかった場合、エラーを表示する機械で実行可能なステップをさらに具備することを主たる特徴とする。

本発明の第１０の態様によれば、符号化済みピクチャストリームを形成するための、機械で実行可能なステップを具備するソフトウェアプログラムを格納する記憶媒体であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義するように構成された記憶媒体が提供される。上記記憶媒体は、上記ソフトウェアプログラムが、上記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された上記のような複数のピクチャの表示をビットストリームに対して形成するように構成する機械で実行可能なステップを具備することを主たる特徴とする。

本発明の第１１の態様によれば、復号化済みピクチャのバッファ処理を行う手段を備えたデコーダを具備する電子装置であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、さらに、上記バッファ内の上記基準ピクチャの数を定義するように構成される電子装置が提供される。上記電子装置は、バッファ処理を行う上記手段が、予測基準値と復号化済みピクチャの双方を表示順に配列するために上記予測基準値と復号化済みピクチャの双方のバッファ処理を行うピクチャ用単一化バッファを備えることを主たる特徴とする。

本発明の第１２の態様によれば、符号化済みピクチャストリームを含む信号を形成するエンコーダを具備するシステムであって、基準ピクチャまたは非基準ピクチャとしてピクチャが定義され、前記ピクチャストリームからなるピクチャに対してピクチャの復号化順と出力順とに関する情報が定義され、さらに、復号化済みピクチャをバッファする手段を備えたデコーダへ前記信号を伝送する伝送チャネルが定義されるシステムが提供される。上記システムは、符号化済みピクチャストリームを含む信号を形成するエンコーダを具備するシステムであって、基準ピクチャまたは非基準ピクチャとしてピクチャが定義され、上記ピクチャストリームからなるピクチャに対してピクチャの復号化順と出力順とに関する情報が定義され、復号化済みピクチャをバッファする手段を備えたデコーダへ前記信号を伝送する伝送チャネルが定義されることを主たる特徴とする。

本発明は、ＪＶＴ符号化規格における復号化済みピクチャ用のバッファの処理問題を解決するものであり、この問題は従来のビデオ符号化規格には存在しなかったものである。本発明により、ＪＶＴ符号化規格用として提案されているその他の解決方法と比べてメモリの節減が図られる。ピクチャのバッファ処理を行うために必要なメモリを最少化できるという利点は、移動端末装置のような小型のデバイスでは著しい利点となる。

単一化バッファによる解決方法では、復号化済みピクチャが基準ピクチャとして使用されなくなるまで、かつ、復号化済みピクチャの表示順序が来るまで、すべての復号化済みピクチャが単一化バッファ内にそのまま存在することになる。この単一化バッファは、基準ピクチャ用として、並びに、表示順の再順序化用として、個別のピクチャ用バッファと比べてメモリの節減を図るものとなる。

単一化バッファを使用中のケースを示す前回の例について今一度再考してみよう。
復号化時刻 P1 P7 BS4 BN2 BN3 BN5 BN6
表示時刻 P1 BN2 BN3 BS4 BN5 BN6 P7
単一化バッファ P1 P1 P1 P1 BS4 BS4 BN6 P7
P7 BS4 BS4 P7 BN5 P7
P7 P7 P7

しかし、単一化バッファによる解決方法において考慮すべきいくつかの問題が在る。バッファサイズは、依然として必要なすべてのピクチャ（すべての基準ピクチャと再順序化対象ピクチャ）を格納できる十分な大きさにしておくことが望ましい。メモリ容量には制限が設けられている場合が多いため、バッファサイズはある種の妥協の産物となる。デコーダが十分なピクチャを格納して、エラーを伴うことなくすべてのピクチャを復号化し、出力できるかどうかをエンコーダはチェックする必要がある。上記チェックは、符号化装置内のオプションの仮想基準デコーダ（ＨＲＤ）によって行うことができる。ＨＲＤは、符号化済みデータストリームを格納するための符号化済みピクチャ用バッファと、復号化済み基準ピクチャのための、並びに、復号化済みピクチャを表示順に再順序化するための復号化済みピクチャ用バッファとを具備する。同様に、ＨＲＤは復号化装置のデコーダへのデータの移動をバッファ間で行う。しかし、ＨＲＤは、符号化済みピクチャの復号化あるいは復号化済みピクチャの出力を行う必要は全くなく、与えられた制約条件の下でピクチャストリームの復号化を実行できるかどうかのチェックを行うものにすぎない。作動中、ＨＲＤは符号化済みデータストリームを受け取り、このデータストリームを符号化済みピクチャ用バッファへ格納する。さらに、ＨＲＤは符号化済みピクチャ用バッファから符号化済みピクチャを除去し、対応する仮想上復号化したピクチャのうちの少なくともいくつかを復号化済みピクチャ用バッファの中へ格納する。ＨＲＤは、符号化済みデータが符号化済みピクチャ用バッファの中へフローする入力レートと、符号化済みピクチャ用バッファからのピクチャの除去レートと、復号化済みピクチャ用バッファからのピクチャの出力レートとを認知している。ＨＲＤは、符号化済みまたは復号化済みピクチャ用バッファのオーバーフローに対するチェックを行い、現在の設定値を用いて復号化が可能でないかどうかを示す。次いで、ＨＲＤは、バッファ処理違反についてエンコーダに通知する。その場合、エンコーダは基準フレームの数を減らすことにより符号化用パラメータを変更して、バッファ処理違反を避けるようにすることができる。上記とは別に、或いは上記に追加して、エンコーダは新たなパラメータを用いてピクチャの符号化を開始し、符号化済みピクチャをＨＲＤへ送信する。ＨＲＤは再びピクチャの復号化を行い、必要なチェックを行う。さらに別の代替例として、エンコーダは最新の符号化フレームを破棄し、後でフレームを符号化して、バッファ処理違反が生じないようにすることも可能である。

スライスベースの処理
伝送パケット内にカプセル化を行う推奨最小単位はスライスすなわちデータ・パーティションである。最小の比較的独立に復号化可能な単位はスライスである。したがって、単一化バッファ処理モデルでは、スライス全体すなわちデータ・パーティション全体をある時刻に伝送することが想定されている。このモデルではまた、パケットベースのネットワークと伝送プロトコルとを用いて、スライス全体すなわちデータ・パーティション全体をある時刻に受け取ることも想定されている。

ある時刻に１つのスライスの復号化を行うことが想定されている。したがって、仮想入力バッファスライスからデータが１スライスずつ除去される。提案された複雑さモデルを利用して、スライスの仮想復号化に必要な時間が決定される。当該時間が時間切れになると、次のスライスを仮想的に復号化することができる。

本発明のバッファ処理モデルの概観
基準デコーダは本セクションに記載のバッファモデルをベースにしたものである。このモデルは、前置デコーダ用バッファ、復号化用バッファ、後置デコーダ用バッファの３つのバッファをベースにしている。前置デコーダ用バッファは圧縮データのバッファを行う。復号化用バッファの処理は実在のデコーダの処理動作を表し、処理上の複雑さという制約条件を設定する。後置デコーダ用バッファには、動き補償用基準ピクチャ用として用いるおよび／または仮想的に表示する正しい時点を待機している再構成済みのピクチャが含まれる。

デフォルトのバッファサイズがプロファイル定義およびレベル定義の形で与えられる。バッファサイズのネゴシエーションを行うことも可能である。復号化用バッファのサイズはスライスの最大サイズを示す。後置デコーダ用バッファのサイズは、例えば、バイトで示してもよいし、１６×１６ピクセルの単位で示してもよい。

２つのパラメータによって前置および後置デコーダ用バッファの処理動作を制御してもよい。初期前置デコーダ用バッファ処理時間と初期後置デコーダ用バッファ処理時間とは、いずれかのデータがバッファから除去される前に上記バッファの充填を行うのにかかる時間を規定するものである。この時間は各ビットストリームへ個々に信号で送られる。

データ単位（データ・パーティション、スライスあるいはピクチャ）に対して３つのタイムスタンプを関連づけることができる。各スライスとデータ・パーティションとは転送時間と関連づけられる。ファイルアクセスの場合、転送時間はファイルで示される。ファイルアクセスでない場合には実際の転送時間が用いられる。各スライスは復号化時刻と関連づけることができる。この復号化時刻を用いてスライスの復号化を遅らせ、後置デコーダ用バッファのオーバーフローを避けるようにすることが可能となる。各ピクチャは表示時刻と関連づけられる。

共通のタイムスケールでタイムパラメータが与えられる。このタイムパラメータは９０ｋＨｚや２７ＭＨｚクロックのクロックチック（tick）などである。

上記モデルは、ビットストリームの任意の連続した、符号化済みの、独立に決定可能な部分に適用することができる。ランダムな位置からビットストリームにアクセスするなどのような不連続部分の場合にはモデルのリセットが行われる。

バッファ処理モデルの動作
モデルは以下のように定義される：

１．バッファは初期状態では空である。

２．データ・パーティションの実際のヘッダを除いて、スライスすなわちデータ・パーティションがその転送時刻に前置デコーダ用バッファに追加される。（８バイトなどの）或る一定量の追加メモリが各スライスに対して予約され、各スライスのヘッダが格納される。（実際のスライスヘッダはドラフトのＲＴＰペイロードフォーマット（ＶＣＥＧ−Ｎ７２Ｒ１）におけるパラメータセットインジケータなどのような何らかのペイロードヘッダの固有データと密接にリンクさせるようにしてもよい。ＨＲＤの目的だけのためにスライスのヘッダ部分からこの種のデータを除去することは実際的でない。そのため、一定サイズのスライスヘッダが想定される。

３．初期前置デコーダ用バッファ処理時間と呼ばれる時間中、データは前置デコーダ用バッファから除去されない。第１のスライスまたはデータ・パーティションがバッファに追加されると、上記時間はスタートする。

４．初期前置デコーダ用バッファ処理時間が時間切れになって、かつ、復号化タイムスタンプが使用中であれば、ピクチャ用バッファ内のもっとも早いピクチャの復号化時刻から復号化タイマが起動される。上記条件が満たされなければ復号化タイマは不要である。

５．ピクチャが、ピクチャの識別子の昇順に前置デコーダ用バッファスライスから１スライス分だけ除去される（モジュロ演算が用いられる）。特定ピクチャのスライスがスライスの伝送順に除去される。データ・パーティションを含むスライスは、復号化用バッファが空になると、前置デコーダ用バッファから復号化用バッファへ一度に移動する。しかし、タイマがスライスの復号化時刻に達するまで、スライスは前置デコーダ用バッファから除去されない。

６．スライスは、スライスの計算済み復号化継続時間の間ずっと復号化用バッファ内にそのまま残っている。この継続時間は、２つの候補値、すなわちスライス／ｍａｘＭａｃｒｏｂｌｏｃｋＰｅｒＳｅｃ内の候補１＝マクロブロックの数、並びに、スライス／ｍａｘＢｉｔｓＰｅｒＳｅｃ内の候補２＝ビット数のうちの大きい方の値である。

７．対応する符号化済みピクチャの（復号化順の）最後のスライスを復号化用バッファから除去するとき、未圧縮のピクチャが後置デコーダ用バッファの中に入る。

８．初期後置デコーダ用バッファ処理時間と呼ばれる時間中、データは後置デコーダ用バッファから除去されない。後置デコーダ用バッファの中へ第１のピクチャを入れたときからこの時間はスタートする。

９．初期後置デコーダ用バッファ処理時間が時間切れになると、その時刻に後置デコーダ用バッファ内に存在するピクチャのもっとも早い表示時刻から再生タイマが起動される。

１０．再生タイマがピクチャのスケジュールされた表示時刻に達すると、ピクチャは仮想的に表示される。

１１．ピクチャは仮想的に表示され、基準ピクチャとして不要になると、後置デコーダ用バッファから除去される。

対応ビットストリーム要件
伝送または格納対象のビットストリームはいずれも以下の要件に従うものとする。
− 前置デコーダ用バッファの占有度はデフォルト値あるいは信号で送られたバッファサイズを超えないものとする。
− いずれのスライスも復号化用バッファのサイズより大きくないものとする。
− 後置デコーダ用バッファの占有度はデフォルト値あるいは信号で送られたバッファサイズを超えないものとする。
− ピクチャの表示時刻前にまたはピクチャの表示時刻に後置デコーダ用バッファの中へ個々のピクチャを挿入するものとする。

或る一定のプロファイルとレベルとに従うデフォルトのバッファサイズを使用する場合、ビットストリームは上記プロファイルとレベルとに準拠することになる。

対応デコーダ要件
デコーダとビットストリームの双方で同じバッファサイズが想定されている場合、デコーダは、対応ビットストリームの形ですべてのピクチャを受け取り、復号化する能力を備えたものとなる。さらに、仮想基準デコーダがピクチャを仮想的に表示することになっている場合、デコーダは、表示処理部へ個々のピクチャを同時に引き渡すものとする。

以下、図５のシステム、図６のエンコーダ１および仮想基準デコーダ（ＨＲＤ）５、図７のデコーダ２を参照しながら、本発明についてさらに詳細に説明する。符号化対象ピクチャは、例えば、カメラ、ビデオレコーダなどのビデオソース３から得られるビデオストリームからなるピクチャであってもよい。ビデオストリームからなるピクチャ（フレーム）はスライスなどのようなさらに小さな部分に分けることができる。このスライスはさらにブロックに分けることができる。エンコーダ１で、ビデオストリームが符号化され、伝送チャネルを介して記憶媒体（図示せず）へ伝送する情報が減少する。ビデオストリームのピクチャはエンコーダ１へ入力される。エンコーダは、符号化対象ピクチャうちのいくつかを一時的に格納するための符号化用バッファ１.１（図６）を備えている。エンコーダ１は、本発明に基づいて符号化タスクを適用できるメモリ１.３とプロセッサ１.２も備えている。メモリ１.３とプロセッサ１.２とは送信装置６と共通のものとしてもよいし、あるいは送信装置６は、送信装置６のその他の機能用の別のプロセッサおよび／またはメモリ（図示せず）を備えたものであってもよい。エンコーダ１は動き予測および／または他の何らかのタスクを行ってビデオストリームの圧縮を行う。動き予測時に、符号化対象ピクチャ（現在のピクチャ）と直前および／または直後のピクチャとの間の類似性が探索される。類似性が発見されれば、比較対象ピクチャあるいはその一部を符号化対象ピクチャの基準ピクチャとして利用することができる。ＪＶＴでは、ピクチャの表示順と復号化順とは必ずしも同じであるとはかぎらず、その場合、上記基準ピクチャは、基準ピクチャとして使用されている間はバッファ（符号化用バッファ１.１など）に格納しておく必要がある。エンコーダ１はまたピクチャの表示順序に関する情報を伝送ストリームの中へ挿入する。

上記符号化処理から、必要に応じて符号化済みピクチャがオプションの符号化済みピクチャ用バッファ１.５へ移される。符号化済みピクチャは、伝送チャネル４を介してエンコーダ１からデコーダ２へ伝送される。デコーダ２で、符号化済みピクチャが復号化され、可能なかぎり符号化済みピクチャに対応する未圧縮ピクチャが形成される。個々の復号化済みピクチャのバッファ処理は、上記復号化済みピクチャが復号化のほぼ直後に表示されず、基準ピクチャとして利用されなければ、デコーダ２のＤＰＢ２.１で行わることはない。本発明に準拠するシステムでは、基準ピクチャのバッファ処理と表示ピクチャのバッファ処理の双方が組み合わされ、これら双方の処理は同じ復号化済みピクチャ用バッファ２.１を利用するものとなる。このことによって、２つの異なる場所に同じピクチャを格納する必要性がなくなり、したがって、デコーダ２のメモリ要件が減ることになる。

デコーダ１はメモリ２.３並びにプロセッサ２.２も含み、本発明による復号化タスクの適用が可能となる。メモリ２.３とプロセッサ２.２とは、受信装置８と共通なものであってもよい。あるいは受信装置８は、受信装置８の別の機能用の別のプロセッサおよび／またはメモリ（図示せず）を備えたものであってもよい。

符号化／復号化処理についてさらに詳細に考えてみよう。ビデオソース３から得られるピクチャはエンコーダ１へ入力され、符号化用バッファ１.１に好適に格納される。符号化処理は、必ずしも第１のピクチャがエンコーダへ入力された直後に開始されるとはかぎらず、或る一定量のピクチャが符号化用バッファ１.１で利用可能となった後に開始される場合もある。次いで、エンコーダ１は基準フレームとして使用する対象ピクチャから適切な候補を発見しようとする。次いで、エンコーダ１は符号化を行って、符号化済みピクチャを形成する。例えば、符号化済みピクチャは予測済みピクチャ（Ｐ）、双方向予測ピクチャ（Ｂ）、あるいはイントラ符号化済みピクチャ（Ｉ）となることができる。イントラ符号化済みピクチャは他のいずれのピクチャも用いることなく復号化が可能であるが、別のタイプのピクチャは復号化が可能となる前に少なくとも１つの基準ピクチャを必要とする。上述のピクチャタイプのうちのいずれのピクチャも基準ピクチャとして利用することが可能である。

エンコーダは、復号化用タイムスタンプ（ＤＴＳ）と出力用タイムスタンプ（ＯＴＳ）の２つのタイムスタンプをピクチャに付ける。デコーダはこれらのタイムスタンプを利用して正しい復号化時刻とピクチャ出力（表示）時刻とを決定することができる。しかし、当該タイムスタンプは必ずしもデコーダへ送信されるとはかぎらず、あるいは、デコーダが必ずしも当該タイムスタンプを利用するとはかぎらない。

エンコーダがＨＲＤ５を備えている場合、エンコーダはＤＰＢ５.２（ＤＰＢサイズ）のサイズを規定する。初期サイズは、ビデオストリーム（例えば解像度、カラー／ＢＷなど）に関連するいくつかのパラメータに依存して決めることができる。ＤＰＢ５.２（ＤＰＢ容量）に対する最大サイズも規定することができる。初期サイズは必ずしも最大サイズと同じであるとはかぎらないが、最大サイズよりも小さなものとすることができる。またＤＰＢに格納された最大数の基準フレームも規定される。この値は、本説明ではｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓと呼ばれる。

デコーダでは、ＤＰＢ２.１は限定されたサイズ（ＤＰＢサイズ）を有するが、このサイズはアプリケーションによっては必要に応じて復号化処理中変動する場合もある。ＤＰＢ２.１の初期サイズはビデオストリーム（例えば解像度、カラー／ＢＷなどに関連する）いくつかのパラメータに依存して決めてもよい。ＤＰＢ５.２（ＤＰＢ容量）に対する最大サイズも規定することができる。初期サイズは必ずしも最大サイズと同じであるとはかぎらないが、最大サイズよりも小さなものとすることができる。またＤＰＢに格納された最大数の基準フレームも規定される。本説明ではこの値をｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓと呼ぶことにする。

符号化済みピクチャの伝送および／または格納（並びにオプションのバーチャルな復号化）は第１の符号化済みピクチャの準備ができた直後に開始することができる。このピクチャは必ずしもデコーダの出力順で第１のピクチャとなるとはかぎらない。というのは、復号化の順序と出力の順序とが同じではない場合もあるからである。しかし、デコーダ２のＤＰＢ２.１のサイズが限定されているため、ピクチャの復号化時刻とピクチャの表示時刻との間の遅延時間の可能な最大値（表示用の再順序化対象ピクチャの最大数）を定める必要がある。本説明ではこの値をｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓと呼ぶことにする。ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓは、ピクチャの出力順をいつでも回復するのに必要な復号化順の連続フレームの数である。ＤＰＢに格納された基準フレームの最大数と、表示用の再順序化対象ピクチャ（基準ピクチャとしてすでに格納済みのピクチャを除く）の最大数との合計はＤＰＢの現在の容量を越えてはならない。ＤＰＢサイズはどれだけの数のピクチャをＤＰＢ２.１に格納できるかを示すものである。このサイズは、（バイトでの）ＤＰＢのサイズを（バイトでの）ピクチャのサイズよって除することにより計算することができる。

ビデオストリームの第１のピクチャは符号化後伝送を開始することができる。符号化済みピクチャは、符号化済みピクチャ用バッファ１.５へ格納される。例えば、ビデオストリームの或る一定部分の符号化を行う後段において上記伝送を開始することができる。

デコーダ２、５は、例えばピクチャ順序カウントを用いることにより正しい順序で復号化済みピクチャを出力することが望ましい。したがって再順序化処理を明瞭かつ規範的に定義する必要がある。

次に、本発明の１つの実施形態に準拠するデコーダ２の処理動作について説明する。ＤＰＢ２.１には複数のピクチャを格納するためのメモリ用の場所が含まれる。これらの場所は本説明ではフレーム格納部とも呼ばれる。属性ＦｒａｍｅＳｔｏｒｅＵｓａｇｅは本例ではフレーム格納部の予約状態（使用中／非使用中）のインジケータとして用いられる。ＦｒａｍｅＳｔｏｒｅＵｓａｇｅの値は現在のフレーム格納部の使用状況を反映するものである。（０などの）第１の値はフレーム格納部が空であることを意味し、このフレーム格納部を安全にオーバーライトすることができる。（１などの）第２の値は、上記フレーム格納部が基準用として使用中のフレーム格納部である（但し再順序化用フレーム格納部ではない）ことを意味し、（２などの）第３の値は、上記フレーム格納部が再順序化用として使用するフレーム格納部（但し基準用フレーム格納部ではない）であることを意味する。（３などの）第４の値は、上記フレーム格納部が基準用および再順序化用の双方用として使用するフレーム格納部であることを意味する。ＦｒａｍｅＳｔｏｒｅＵｓａｇｅの初期値は第１の値とする。ピクチャの（仮想）表示を行うか行わないかを定義する別個の第２の属性を使用することも可能である。この第２の属性は“出力用として未使用”を示す値あるいは“出力用として使用”を示す値を持つことができる。“出力用として使用”とマークされたピクチャは、ピクチャがまだＤＰＢ内にあり、その出力の順番を待っていることを意味する。このピクチャは、出力の結果、“出力用として未使用”とマークするものとする。第２の属性を使用する場合、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅを用いて第１および第２の値のみを使用することになる。その場合、第１と第２の属性の組み合わせによって、４つの異なる代替値を持つＦｒａｍｅＳｔｏｒｅＵｓａｇｅと同じ情報が与えられる。ピクチャの有効性（有効／無効）を表す属性を定義することも可能である。隣接するｆｒａｍｅ＿ｎｕｍ間で検出した空隙を満たすためにピクチャを意図的に挿入した場合、ピクチャは“無効”とマークされる。そうでない場合には、ピクチャは“有効”とマークされ、エラー隠蔽手段によって正しい復号化あるいは再構成を行うことができる。バッファ処理済みピクチャの復号化の順序が必然的に含まれるフレーム格納部に一意的インデックスを設けることも可能である。

復号化処理手順の開始時に、すべてのフレーム格納部の状態は空すなわち未使用にセットされる。このセットは、すべてのフレーム格納部に対して、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅを第１の値にセットすることにより行われる。デコーダ２は以下の変数を（０などの）初期値にセットすることも可能である：基準用または出力用のいずれかの使用中フレーム格納部の数値を含むｎｕｍ＿ｆｒａｍｅｓ＿ｉｎ＿ｕｓｅ、あるいは、基準用として使用中のフレーム格納部の数値を含むｎｕｍ＿ｆｒａｍｅｓ＿ｕｓｅ＿ｒｅｆ、および、出力用として使用中のフレーム格納部の数値を含むｎｕｍ＿ｆｒａｍｅｓ＿ｕｓｅ＿ｏｕｔｐｕｔ。

追加フレーム格納部を利用して新たな復号化済みピクチャが節減される。ＤＰＢ＋追加フレーム格納部は拡張ＤＰＢ（ＥＤＰＢ）と呼ばれる。

ステップ１：復号化
デコーダ２は、最小の復号化用タイムスタンプを有するピクチャから始まる、符号化済みピクチャの復号化を開始する。該ピクチャは、復号化が行われると、追加フレーム格納部へ格納される。この復号化対象ピクチャはフレームまたはフィールドのいずれかであってもよい。復号化対象ピクチャは、基準ピクチャであればＦｒａｍｅＳｔｏｒｅＵｓａｇｅが第４の値にセットされ、基準ピクチャでなければ第３の値にセットされる。この復号化対象ピクチャには、“再順序化用として使用”というラベルが最初につけられる。というのは、ＤＰＢに関する情報がないこのステップでは、新たな復号化済みピクチャの再順序化が必要かどうかを判定することができないからである。

ステップ２：再順序化
以下のステップ前にデコーダ２は、復号化対象の少なくとも１つのさらに多くのピクチャ、並びに、復号化対象の次のピクチャのスライスヘッダから得られる何らかの情報が存在するどうかを知っている必要がある。

ステップ２.１：復号化対象の少なくとも１つのさらに多くのピクチャが存在し、かつ、ＤＰＢ内の再順序化対象フレームの数がｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ未満であれば、デコーダ２はピクチャを出力しない。基準用として新たな復号化済みピクチャを使用する場合にはステップ３を実行し、上記ピクチャを使用しない場合にはステップ４を実行する。

ステップ２.２：ＤＰＢ内で復号化の対象とする少なくとも１つのさらに多くのピクチャが存在し、さらに、再順序化の対象とするフレームの数がｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓに等しければ以下の条件がチェックを受けることになる。
− 上記新たな復号化済みピクチャがフレームである。
− 上記追加フレーム格納部が２つのフィールドを含む。
− 単一のフィールドが追加のフレーム格納部内に存在する場合、復号化対象の次のピクチャが同じフレームのその逆パリティではない。

上記条件のいずれも真でなければ、ステップ１へ進んで、同じフレームの逆パリティフィールドの復号化を行う。

次いで、上記条件のうちの少なくとも一つが真であれば、ＤＰＢ内のフレーム格納部と追加フレーム格納部とを詳しく点検して、どのピクチャを出力する必要があるかを発見することになる。ＤＰＢと追加フレーム格納部における再順序化対象ピクチャ間での出力順では第１のピクチャであるピクチャが出力される。出力順に第１のピクチャを決定する方法については後程説明する。出力済みピクチャがフィールドであり、かつ、同じフレームの逆パリティフィールドが存在する場合、双方のフィールドが出力される。出力済みピクチャは“再順序化用として未使用”とマークすることが望ましい。

新たな復号化済みピクチャを出力し、基準用として利用しなければステップ１へ進んで、次のピクチャを復号化し、新たな復号化済みピクチャを基準用として利用する（ただし再順序化用としては利用しない）場合、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅは第２の値（１）にセットされ、ステップ３が後続することになる。新たな復号化済みピクチャを再順序化用として利用する（ただし基準用としては利用しない）場合、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅを第３の値（２）にセットし、次いで、ステップ４へ進んで、再順序化用としてピクチャを格納する。基準用および再順序化用双方として新たな復号化済みピクチャを利用する場合、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅを第４の値（３）にセットし、次いで、ステップ３へ進む。

ステップ２.３：復号化対象ピクチャが存在しなくなった場合、“再順序化用として使用”とまだマークされているすべてのピクチャを出力順に出力するものとする。次いで、デコーダはさらに多くの復号化対象ピクチャが生じるまで作動を停止する。

ステップ３：ピクチャに“基準用として未使用”とマーク付けを行う。
新たな復号化済みピクチャが基準用ピクチャであれば、“基準用として使用”とマークされたピクチャから成るセット済みのフレーム格納部に対して“スライディングウィンドウ”または“適応型メモリ制御”メカニズムを適用する。

ステップ４：格納
新たな復号化済みピクチャがフレームであれば、ステップ４.１を実行し、そうでなければステップ４.２を実行する。

ステップ４.１：新規に復号化されたフレームを格納する前に、ＤＰＢ２.１の中に少なくとも１つの空のフレーム格納部が存在することが望ましい。ＦｒａｍｅＳｔｏｒｅＵｓａｇｅは追加フレーム格納部のＦｒａｍｅＳｔｏｒｅＵｓａｇｅに等しくセットされる。ステップ１へ進み、次のピクチャの復号化を行う。

ステップ４.２
新規に復号化されたフィールドの場合、同じフレームのその逆パリティフィールドがＤＰＢ２.１内に存在しなければ、宛先フレーム格納部が空のフレーム格納部になる。この場合、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅは追加フレーム格納部のＦｒａｍｅＳｔｏｒｅＵｓａｇｅに等しくセットされる。逆パリティフィールドがＤＰＢ２．１内に存在すれば、その逆パリティフィールドと同じフレーム格納部の中へ新たな復号化済みピクチャを格納することが望ましく、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅは変化しない。ステップ４.３へ進み、次のピクチャの復号化を行う。

ステップ４.３：新たな復号化済みピクチャをＤＰＢの中へ格納した後、最新の復号化済みピクチャをフレーム格納部に格納することが想定される。このフレーム格納部のフレームは０である。第２の最新の復号化済みピクチャはフレーム格納部に格納される。このフレーム格納部のＦｒａｍｅＳｔｏｒｅＩｎｄｅｘは１である。等々。最後に、ステップ１を実行して、次のピクチャの復号化を行う。

“基準用として未使用”とピクチャにマーク付けを行うこと、および、“再順序化用として未使用”というピクチャへのマーク付けが分離されることを指摘しておく。

如上のステップでの処理動作の理解に役立てるために、再順序化処理を行うための２つの例を示す。ピクチャラベルの後（またはピクチャラベルより下の）イタリック体の数字はｆｒａｍｅ＿ｎｕｍを示す。基準ピクチャはピクチャラベルの文字にアンダーラインを付すことにより表示する。‘ｘ’は次のピクチャの復号化前にはピクチャが再順序化されないことを意味する。

例１．ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ＝１；１０フレームの符号化を行う場合。

例２：ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ＝２；１３フレームの符号化を行う場合。

デコーダ２が、符号化済みピクチャを復号化できないことに気づいた場合、ＤＰＢ２.１のサイズは極端に小さなものにしてもよい。アプリケーションによっては、例えば符号化用パラメータを変更して、基準ピクチャを使用したり、さらに大きなＤＰＢサイズを使用したりする旨の通知をデコーダ２がエンコーダに対して行うことができるものもある。エラー状態では、デコーダ２は当該復号化済みピクチャをそのまま出力してもよい。上記復号化済みピクチャはデコーダ２が管理して、いくつかのデフォルトピクチャ（空のフレームなど）の復号化および／または出力を行ったものである。

再順序化用スライディングウィンドウ操作：ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓを利用して、再順序化目的のためのスライディングウィンドウの操作を定義する。再順序化対象ピクチャを出力順に配列し、ウィンドウの範囲の中から第１にジャンプすべきピクチャを発見する。再順序化対象ピクチャの数がｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓに達するとすぐに、１つのスライディングウィンドウ操作の結果として第１のピクチャが確実にウィンドウの中から出力順に落ちることになる。このサブセクションは、“再順序化用として使用”とマークされているピクチャ間で出力順がもっとも早いピクチャを発見する方法を指定するものである。

ステップ１：初期化
復号化順に最も古いピクチャが候補ピクチャとなるようにＤＰＢ１をセットする。

ステップ２：
（復号化順に）第２の最も古いピクチャから最新のピクチャへのループを行い、ループカウンタとしてｉを用いる。ループ本体はステップ２.１とステップ２.２とによって構成される。

ステップ２.１：ピクチャｉがＩＤＲピクチャであれば、候補ピクチャはループを発見したり、中断したりするピクチャである。

ステップ２.２：ピクチャｉのＰＯＣが候補ピクチャのＰＯＣ未満であれば、候補ピクチャとしてピクチャｉをセットする。

ステップ３：終了
候補ピクチャは出力順に最も古いピクチャである。ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓおよびｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓは、例えば、シーケンスパラメータセットによって何らかの方法でデコーダ２へ信号で送られる。異なるシーケンスパラメータセットが有効になる度に、ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓまたはｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓが変化する可能性がある。したがって、ＤＰＢに対して特別の注意を払うべきである。

１.５.１：ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓの変化
ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓが増加する場合、特別のアクションを行う必要はない。ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓが減少する場合、ＤＰＢに対する単純な処理操作すなわちｄｉｆｆ＿ｒｅｆ＿ｆｒａｍｅｓ＝新たなｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓ−古いｎｕｍ＿ｒｅｆｆｒａｍｅｓにするという提案が行われている。復号化順で最も古いものから得られるすべてのｄｉｆｆ＿ｒｅｆ＿ｆｒａｍｅｓ基準フレームには“基準用として未使用”とマークをつけるものとする。

１．５．２ ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓの変更
ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓが増加する場合、１復号化済みピクチャ当たり０ピクチャが（新規のｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）−（古いｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）個のピクチャの形で（古いｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）ピクチャの後に出力される。というのは、復号化済みピクチャは新たなシーケンスパラメータセットを使用するからである。例えば、ビットストリームの２つの部分のｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓはそれぞれ１および２である。Ｐ３が復号化される場合、ピクチャは出力されない。

ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓが減少する場合、新たなシーケンスパラメータセットを用いて２以上のピクチャが復号化済みピクチャの形で出力される。例えば、ビットストリームの２つの部分のｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓはそれぞれ２および１である。Ｉ０が復号化される場合、２つのピクチャＢ５とＰ６とが同時に出力される。

基準ピクチャと呼ばれる予測用として格納されたピクチャは、“基準用として使用”とマークされ、短期基準ピクチャとラベルをつけられる。その場合、上記短期ピクチャは、該ピクチャのｆｒａｍｅ＿ｎｕｍｂｅｒとパリティとによって特定される。短期ピクチャには長期基準フレームインデックスを割り当ててもよい。その場合、上記短期ピクチャは該短期ピクチャの長期インデックスにより特定される。予測用として格納されないピクチャは“予測用として未使用”とラベルをつけられる。基準ピクチャ用バッファは、ＤＰＢにおいて“基準用として使用”とマークされたピクチャによって構成されるピクチャセットである。基準ピクチャ用バッファからピクチャを除去する処理は“基準用として未使用”とピクチャにマークを付けることを意味する。基準ピクチャ用バッファをリセットする処理は、基準ピクチャ用バッファ内のすべてのピクチャに“基準用として未使用”とマークを付けることを意味する。短期の基準ピクチャは、有限の継続時間の間、ＭａｘＦｒａｍｅＮｕｍによって示される基準用としてマークがつけられた状態のままにしていてもよい。長期基準ピクチャは、次のＩＤＲピクチャまで“基準用として使用”とマークされた状態のままにしていてもよい。ｍｅｍｏｒｙ＿ｍａｎａｇｅｍｅｎｔ＿ｃｏｎｔｒｏｌ＿ｏｐｅｒａｔｉｏｎコマンドを用いて、基準ピクチャ用バッファの内容修正を行うことが可能である。

本発明の別の実施形態では、ＨＲＤ５を利用して、デコーダ２が行う以外の符号化済みピクチャの仮想的復号化がエンコーダ１を用いて同様に行われる。プレデコーディング用バッファとして符号化済みピクチャバッファ１．５をＨＲＤ５に対して使用することが可能である。ＨＲＤ５におけるバーチャルな復号化の１つの狙いとして、非平衡符号化／復号化タスクに起因して生じるエラーの復号化を行うためにリスクを取り除くという狙いがある。ＨＲＤ５は、ＨＲＤ５が復号化したピクチャを一時的に格納するための復号化済みピクチャ用バッファ５．２（ＤＰＢ）を備える。また、ＨＲＤ５において、基準ピクチャ用バッファ処理と表示ピクチャ用バッファ処理の双方の処理が組み合わされ、これら双方の処理では同じ復号化済みピクチャ用バッファ５．２が使用されるため、エンコーダ１のメモリ要件が小さくなる。すべての復号化済みピクチャは、基準ピクチャとしてもはや使用されなくなるまで、かつ、ピクチャの（バーチャルな）表示時刻に達するまで単一化バッファ内にそのまま存在する。バーチャルという用語は、この好適な実施形態で復号化を実行するエンコーダ１のＨＲＤ５において、復号化済みピクチャが表示されないという事実を意味するものであるが、ＨＲＤ５は、例えば極端に小さなバッファサイズのため、デコーダ２の復号化処理時にエラーが生じる可能性があるかどうかのチェックを行うものにすぎない。エラーが発生すれば、ＨＲＤ５はいくつかの符号化用パラメータを変更する旨をエンコーダに通知することが可能であり、例えば、（ＤＰＢの最大サイズがすでに使用中でなければ）、ある実施構成においてＳＥＩ（補足改善情報）メッセージをデコーダ１へ送信することにより、デコーダ１のＤＰＢ２．１のサイズを増やすことができる。

符号化と同時に復号化処理を行ってもよい。あるいはエンコーダはまずビットストリームを作成し、次いで、ビットストリームの準備ができたとき、該エンコーダがＨＲＤ５への入力を行って、ビットストリームがＨＲＤ５要件と処理レベル要件とを満たすかどうかのチェックを行うことになる。ＨＲＤは、符号化済みストリームの特徴に対応して符号化済みピクチャ用バッファにおける初期バッファの処理遅延などのいくつかのＨＲＤパラメータを作成し、修正することも可能である。

上記目的を実現するために、再順序化処理はＨＲＤ関連のいずれの時間情報にも左右されることはない。というのは、このような情報はデコーダ内には存在しない場合があるからである。同時に、デコーダがＨＲＤのＤＴＳとＯＴＳとに正確に従わないことが許容されることが望ましい。例えば、ストリーミング用レコーダのようなアプリケーションは、可能な限り高速にビットストリームを受け取り、これらのビットストリームを復号化し、復号化済みシーケンスを格納したり、伝送チャネル容量に起因して低速に作動したりするものになる。このケースでは、ＨＲＤのＤＴＳとＯＴＳとに従うことはできない。

本発明は、多くの種類のシステムおよび装置で適用可能である。エンコーダ１およびオプションとしてＨＲＤ５を備えた送信装置６は、好適には、符号化済みピクチャを伝送チャネル４へ伝送する送信機７を備えることが望ましい。受信装置８は、デコーダ２、符号化済みピクチャを受信する受信機９および復号化済みピクチャの表示が可能な表示装置１０を備える。伝送チャネルは、例えば陸線通信チャネルおよび／または無線通信チャネルであってもよい。上記送信装置と受信装置とは、１または２以上のプロセッサ１.２、２.２も備え、これらのプロセッサは、本発明に基づいて、ビデオストリームの符号化／復号化処理を制御する必要なステップを実行することができる。したがって、本発明に準拠する方法は、主として、プロセッサの機械で実行可能なステップとして実行することができる。装置のメモリ１.３、２.３においてピクチャのバッファ処理を実行することも可能である。エンコーダのプログラムコード１.４をメモリ１.３の中へ格納することも可能である。それぞれ、デコーダのプログラムコード２.４をメモリ２.３の中へ格納することが可能である。

再帰時間階層符号化方式の１例を示す。 インタリーブされた形で２または３以上の独立に符号化されたスレッドに一連のピクチャを分割するビデオ冗長符号化と呼ばれている方式を描く。 圧縮効率の改善を潜在的に図る１例を提示する。 エラー回復力の向上を図る利用可能なイントラピクチャ延期法の１例を提示する。 本発明に準拠するシステムの好適な実施形態を描く。 本発明に基づくエンコーダの好適な実施形態を描く。 本発明に基づくデコーダの好適な実施形態を描く。

Claims (34)

1. 符号化済みピクチャストリームを仮想的に復号化する仮想デコーダであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を前記ピクチャストリームからなるピクチャに対して定義するように構成された仮想デコーダにおいて、基準ピクチャと、再順序化対象ピクチャとのバッファ処理を行うピクチャ用単一化バッファを具備し、さらに、
   前記バッファに対して新たな復号化済みピクチャを挿入する前に、以下の、
   − 前記バッファから別のピクチャを除去せずに前記新たな復号化済みピクチャを前記バッファに挿入できるかどうかをチェックするステップと、
   − 前記チェックに基づいて、前記バッファから別のピクチャを除去せずに前記新たな復号化済みピクチャを前記バッファに挿入できない場合、前記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、前記バッファから除去する対象ピクチャを選択するステップと、
   − ピクチャを選択した場合、該選択したピクチャを前記バッファから除去し、ピクチャを選択しなかった場合、エラーを表示するステップと、
   を実行する処理ブロックを具備することを特徴とする仮想デコーダ。
2. 請求項１に記載の仮想デコーダであって、
   − 前記バッファにおいて前記基準ピクチャ数を定義する第１の属性と、
   − 前記バッファにおいて前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数を定義する第２の属性と、
   を具備することを特徴とする仮想デコーダ。
3. 符号化済みピクチャストリームを含む信号であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を前記ピクチャストリームからなるピクチャに対して定義する信号において、
   前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された上記のような複数のピクチャの表示を含むことを特徴とする信号。
4. 請求項３に記載の信号であって、
   請求項１に記載の仮想デコーダが前記信号を処理する場合、前記仮想デコーダがエラーを示さないことを特徴とする信号。
5. 符号化済みピクチャストリームを形成するエンコーダであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化の順序と出力の順序とに関する情報を前記ピクチャストリームからなるピクチャに対して定義するように構成するエンコーダにおいて、
   前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された上記のような複数のピクチャの表示を前記ビットストリームに対して形成するように構成されることを特徴とするエンコーダ。
6. 請求項５に記載のエンコーダであって、
   請求項１に記載の仮想デコーダが信号を処理する場合であっても、前記仮想デコーダがエラーを示さないように前記信号を形成するように構成されることを特徴とするエンコーダ。
7. 前記除去対象ピクチャがまだ表示されていなければ、該ピクチャを除去しないようにすることを特徴とする請求項５または６に記載のエンコーダ。
8. 前記バッファのサイズを定義し、基準ピクチャとして使用するピクチャ数を定義することを特徴とする請求項５、６または７に記載のエンコーダ。
9. 任意の特定時点において、前記基準ピクチャとして使用するピクチャ数と、基準ピクチャとして使用しない、復号化順にバッファ処理を行うピクチャ数との合計が前記バッファのサイズ以下となるように、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数を定義することを特徴とする請求項８に記載のエンコーダ。
10. 基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、前記バッファにおいて前記基準ピクチャ数を定義し、前記バッファにおいて前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数を定義し、再順序化対象ピクチャ数を定義して、基準ピクチャとして使用する前記ピクチャ数と、基準ピクチャとして使用しない、復号化順にバッファ処理を行うように構成された前記ピクチャの数との合計が前記バッファのサイズ以下となるようにすることを特徴とする請求項５乃至９のいずれかに記載のエンコーダ。
11. 基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、前記バッファ内の基準ピクチャの数を定義し、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数を定義し、その場合、前記バッファサイズを定義して、基準ピクチャとして使用するピクチャ数と、基準ピクチャとして使用しない、復号化順にバッファ処理を行うように構成されたピクチャ数との合計が前記バッファサイズ以下となるようにすることを特徴とする請求項５乃至１０のいずれかに記載のエンコーダ。
12. 符号化済みピクチャストリームを仮想的に復号化する仮想デコーダを具備するエンコーダであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を前記ピクチャストリームからなるピクチャに対して定義するように構成されたエンコーダにおいて、基準ピクチャと、再順序化対象ピクチャとのバッファ処理を行うピクチャ用単一化バッファを具備すること、並びに、前記仮想デコーダが、前記バッファに対して新たな復号化済みピクチャを挿入する前に、以下の、
    − 前記バッファから別のピクチャを除去せずに前記新たな復号化済みピクチャを前記バッファに挿入できるかどうかをチェックするステップと、
    − 前記チェックに基づいて、前記バッファから別のピクチャを除去せずに前記新たな復号化済みピクチャを前記バッファに挿入できない場合、前記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、前記バッファから除去する対象ピクチャを選択するステップと、
    − ピクチャを選択した場合、該選択したピクチャを前記バッファから除去し、ピクチャを選択しなかった場合、エラーを表示するステップと、
    を実行する処理ブロックを具備することを特徴とするエンコーダ。
13. 請求項１２に記載のエンコーダであって、
    − 前記バッファにおいて前記基準ピクチャ数を定義する第１の属性と、
    − 前記バッファにおいて前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数を定義する第２の属性と、
    を具備することを特徴とするエンコーダ。
14. 符号化済みピクチャストリームを形成する方法であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義するステップと、前記ピクチャストリームからなるピクチャ用としてピクチャの復号化順と出力順とに関する情報を定義するステップと、
    を具備する方法であって、
    − 前記ピクチャの出力順を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された上記のような複数のピクチャの表示を前記ビットストリームに対して定義するステップと、を備えることを特徴とする方法。
15. 請求項１に記載の仮想デコーダが信号を処理する場合であっても、前記仮想デコーダがエラーを示さないように前記信号を形成することを特徴とする請求項１４に記載の方法。
16. 復号化済みピクチャのバッファ処理を行う方法であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、前記バッファ内の前記基準ピクチャ数を定義する方法において、予測基準値と復号化済みピクチャの双方を出力順に配列するために、該予測基準値と復号化済みピクチャの双方のバッファ処理を行うピクチャ用単一化バッファを用いることを特徴とする方法。
17. 前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行う複数の対象ピクチャを定義することを特徴とする請求項１６に記載の方法。
18. 請求項１７に記載の方法であって、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数に関する情報を利用してピクチャを出力するように前記デコーダを構成する方法において、
    前記バッファに対して新たな復号化済みピクチャを挿入する前に、以下の、
    − 前記バッファから別のピクチャを除去せずに前記新たな復号化済みピクチャを前記バッファに挿入できるかどうかをチェックするステップと、
    − 前記チェックに基づいて、前記バッファから別のピクチャを除去せずに前記新たな復号化済みピクチャを前記バッファに挿入できない場合、前記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、前記バッファから除去する対象ピクチャを選択するステップと、
    − ピクチャを選択した場合、該選択したピクチャを前記バッファから除去するステップと、
    を実行する処理ブロックを具備することを特徴とする方法。
19. 復号化済みピクチャのバッファ処理を行う手段を備えたデコーダであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、さらに、前記バッファ内の前記基準ピクチャの数を定義するように構成されたデコーダにおいて、バッファ処理を行う前記手段が、予測基準値と復号化済みピクチャの双方を出力順に配列するために該予測基準値と復号化済みピクチャの双方のバッファ処理を行うピクチャ用単一化バッファを備えたことを特徴するデコーダ。
20. 前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された複数のピクチャを定義することを特徴とする請求項１９に記載のデコーダ。
21. 請求項２０に記載のデコーダであって、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数に関する情報を利用して、ピクチャを出力するように構成されることを特徴とし、さらに、
    前記バッファに対して新たな復号化済みピクチャを挿入する前に、以下の、
    − 前記バッファから別のピクチャを除去せずに前記新たな復号化済みピクチャを前記バッファに挿入できるかどうかをチェックするステップと、
    − 前記チェックに基づいて、前記バッファから別のピクチャを除去せず前記新たな復号化済みピクチャを前記バッファに挿入できない場合、前記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、前記バッファから除去する対象ピクチャを選択するステップと、
    − ピクチャを選択した場合、該選択したピクチャを前記バッファから除去するステップと、
    を実行する処理ブロックを具備することを特徴とするデコーダ。
22. 前記除去対象ピクチャがまだ表示されていなければ、該ピクチャを除去しないことを特徴とする請求項２１に記載のデコーダ。
23. 前記バッファのサイズを定義し、基準ピクチャとして使用するピクチャの数を定義することを特徴とする請求項１９乃至２２のいずれかに記載のデコーダ。
24. 任意の特定時点において、前記基準ピクチャとして使用するピクチャ数と、基準ピクチャとして使用しない、復号化順にバッファ処理を行うピクチャ数との合計が前記バッファのサイズ以下となるように、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数を定義することを特徴とする請求項２３に記載のデコーダ。
25. 基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、前記バッファにおいて前記基準ピクチャ数を定義し、前記バッファにおいて出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数を定義するデコーダであって、その場合、前記バッファに対して新たな復号化済みピクチャを挿入する前に、前記バッファから１つのピクチャを除去し、基準ピクチャとして使用しない前記バッファ内の当該ピクチャであって、前記バッファからすでに出力されている当該ピクチャから前記除去対象ピクチャを選択することを特徴とする請求項１９乃至２４のいずれかに記載のデコーダ。
26. 基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、前記バッファ内の基準ピクチャの数を定義し、前記バッファの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数が定義されるデコーダであって、その場合、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数を定義して、基準ピクチャとして使用するピクチャの数と、基準ピクチャとして使用しないピクチャの数であって、前記ピクチャの出力順序を回復できるほど十分な数の、復号化順にバッファ処理を行うように構成された該ピクチャの数との合計が前記バッファのサイズ以下となるようにすることを特徴とする請求項１９乃至２５のいずれかに記載のデコーダ。
27. 基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、前記バッファ内の基準ピクチャの数を定義し、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された前記ピクチャの数を定義し、前記バッファサイズを定義して、基準ピクチャとして使用するピクチャの数と、基準ピクチャとして使用しない、復号化順のバッファ処理を行うように構成されたピクチャの数との合計が前記バッファサイズ以下となるようにすることを特徴とする請求項１９乃至２６のいずれかに記載のデコーダ。
28. 符号化済みピクチャストリームを形成する、機械で実行可能なステップを具備するソフトウェアプログラムであって、
    基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を前記ピクチャストリームからなるピクチャに対して定義するように構成されたソフトウェアプログラムにおいて、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された上記のような複数のピクチャの表示をビットストリームに対して形成するように構成する機械で実行可能なステップを具備することを特徴とするソフトウェアプログラム。
29. 符号化済みピクチャストリームを仮想的に復号化する機械で実行可能なステップを具備するソフトウェアプログラムであって、基準ピクチャまたは非基準ピクチャとして前記ピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を前記ピクチャストリームからなるピクチャに対して定義するソフトウェアプログラムにおいて、基準ピクチャと再順序化対象ピクチャとのバッファ処理をピクチャ用単一化バッファ内で行う機械で実行可能なステップを具備することを特徴とし、前記バッファに対して新たな復号化済みピクチャを挿入する前に、以下の、
    − 前記バッファから別のピクチャを除去せずに前記新たな復号化済みピクチャを前記バッファに挿入できるかどうかをチェックするステップと、
    − 前記チェックに基づいて、
    前記バッファから別のピクチャを除去せず前記新たな復号化済みピクチャを前記バッファに挿入できない場合、前記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、前記バッファから除去する対象ピクチャを選択するステップと、
    − ピクチャを選択した場合、前記バッファから前記選択済みピクチャを除去し、ピクチャを選択しなかった場合、エラーを表示する機械で実行可能なステップと、
    をさらに具備することを特徴とするソフトウェアプログラム。
30. 復号化済みピクチャのバッファ処理を行う、機械で実行可能なステップを具備するソフトウェアプログラムであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、さらに、前記バッファ内の前記基準ピクチャの数を定義するように構成されるソフトウェアプログラムにおいて、予測基準値と復号化済みピクチャとの双方のバッファ処理を行って、前記予測基準値と復号化済みピクチャとをピクチャ用単一化バッファにおいて表示順序で配列するように為す機械で実行可能なステップを具備することを特徴とするソフトウェアプログラム。
31. 符号化済みピクチャストリームを形成するための、機械で実行可能なステップを具備するソフトウェアプログラムを格納する記憶媒体であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を前記ピクチャストリームからなるピクチャに対して定義するように構成された記憶媒体において、
    前記ソフトウェアプログラムが、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された上記のような複数のピクチャの表示をビットストリームに対して形成するように構成する機械で実行可能なステップを具備することを特徴とする記憶媒体。
32. 符号化済みピクチャストリームを形成するエンコーダを具備する電子装置であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号化順と出力順とに関する情報を前記ピクチャストリームからなるピクチャに対して定義するように構成された電子装置において、
    前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された上記のような複数のピクチャの表示を前記ビットストリームに対して形成するように構成されたことを特徴とする電子装置。
33. 復号化済みピクチャのバッファ処理を行う手段を備えたデコーダを具備する電子装置であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、さらに、前記バッファ内の前記基準ピクチャの数を定義するように構成された電子装置において、バッファ処理を行う前記手段が、予測基準値と復号化済みピクチャの双方を表示順に配列するために前記予測基準値と復号化済みピクチャの双方のバッファ処理を行うピクチャ用単一化バッファを備えたことを特徴する電子装置。
34. 符号化済みピクチャストリームを含む信号を形成するエンコーダを具備するシステムであって、基準ピクチャまたは非基準ピクチャとして前記ピクチャが定義され、前記ピクチャストリームからなるピクチャに対してピクチャの復号化順と出力順とに関する情報が定義され、さらに、復号化済みピクチャをバッファする手段を備えたデコーダへ前記信号を伝送する伝送チャネルが定義されるシステムにおいて、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号化順にバッファ処理を行うように構成された上記のような複数のピクチャの表示を前記ビットトリームに対して形成するように構成されたことを特徴とするシステム。

Images