JP2015501098A5 - - Google Patents

Download PDF

Info

Publication number
JP2015501098A5
JP2015501098A5 JP2014540201A JP2014540201A JP2015501098A5 JP 2015501098 A5 JP2015501098 A5 JP 2015501098A5 JP 2014540201 A JP2014540201 A JP 2014540201A JP 2014540201 A JP2014540201 A JP 2014540201A JP 2015501098 A5 JP2015501098 A5 JP 2015501098A5
Authority
JP
Japan
Prior art keywords
picture
ltrp
value
video
poc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014540201A
Other languages
English (en)
Other versions
JP2015501098A (ja
JP6087940B2 (ja
Filing date
Publication date
Priority claimed from US13/669,380 external-priority patent/US10003817B2/en
Application filed filed Critical
Publication of JP2015501098A publication Critical patent/JP2015501098A/ja
Publication of JP2015501098A5 publication Critical patent/JP2015501098A5/ja
Application granted granted Critical
Publication of JP6087940B2 publication Critical patent/JP6087940B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

復号化ピクチャ・バッファおよび参照ピクチャ・リストのための状態情報のシグナリング
技術者達は、圧縮（情報源のコード化（ｓｏｕｒｃｅ ｃｏｄｉｎｇ）または情報源の符号化（ｓｏｕｒｃｅ ｅｎｃｏｄｉｎｇ）とも呼ばれる）を使用して、デジタル・ビデオのビットレートを削減する。圧縮により、低ビットレートの形に情報を変換することによって、ビデオ情報の記憶および送信のコストを減少させる。逆圧縮処理（復号化処理とも呼ばれる）により、圧縮された形から元の情報の一バージョンが再構築される。「コーデック」は、エンコーダ／デコーダ・システムである。
ここ２０年の間に、Ｈ．２６１、Ｈ．２６２（ＭＰＥＧ−２またはＩＳＯ／ＩＥＣ１３８１８−２）、Ｈ．２６３およびＨ．２６４（ＡＶＣまたはＩＳＯ／ＩＥＣ１４４９６−１０）標準、ならびにＭＰＥＧ−１（ＩＳＯ／ＩＥＣ１１１７２−２）、ＭＰＥＧ−４Ｖｉｓｕａｌ（ＩＳＯ／ＩＥＣ１４４９６−２）、およびＳＭＰＴＥ４２１Ｍ標準を含む、様々なビデオ・コーデック標準規格が採用されてきた。近年は、ＨＥＶＣ標準が開発中である。ビデオ・コーデック標準規格は、一般的に、特有の機能が符号化および復号化に使用される場合のビット・ストリーム中のパラメータを詳述するために、符号化されたビデオのビット・ストリームのシンタックスについてのオプションを規定する。多くの場合、ビデオ・コーデック標準規格はまた、デコーダが復号化処理において正しい結果を達成するために実行すべき、復号化操作についての詳細も提供する。
圧縮処理の基本的な目的は、良好なレート歪み性能を提供することである。したがって、特定のビットレートの場合は、エンコーダは、最高品質のビデオを提供しようとする。または、元のビデオに対して特定レベルの品質／忠実度を提供しようとする場合には、エンコーダは、最も低いビットレートで符号化されたビデオを提供しようとする。実際には、ビデオ圧縮処理が使用される具体的なシナリオに応じて、符号化時間、符号化の複雑さ、符号化リソース、復号化時間、復号化処理の複雑さ、復号化リソース、全体的な遅延量、情報損失からの復旧能力、および／または再生時のビデオ映像の滑らかさなどの考慮事項もまた、符号化処理および復号化処理の間になされる判断に影響する。
一般的に、ビデオ・エンコーダまたはビデオ・デコーダは、以前に復号化されることにより再構築されたピクチャをバッファリングし、当該ピクチャは、ビデオ・エンコーダまたはビデオ・デコーダが他のピクチャを符号化または復号化する際に使用することができる。上記のように再構築されバッファリングされたピクチャは、参照ピクチャと呼ばれることが多い。あるビデオ・コーデック標準規格は、どの参照ピクチャがバッファリングされるか、およびどの参照ピクチャがもはや参照のために使用されないか否かを管理し更新するための精巧な規則を記載している。このことは、どの参照ピクチャが使用されるについて良好な判断を行うことによりエンコーダに圧縮効率を改善する余地を持たし得るが、参照ピクチャを管理し更新する処理過程は、エンコーダおよびデコーダの構造を複雑化することになる。さらに、デコーダは、その参照ピクチャ・バッファの状態および参照ピクチャのリストを追跡し更新するために、符号化されたビデオ・データのビット・ストリーム中の様々な情報を使用する。（例えば、パケットの損失または破損による）ビット・ストリームからの情報の損失は、その参照ピクチャ・バッファおよび／または参照ピクチャのリストについてのデコーダの内部状態が予想された状態から逸脱し、それ以降、デコーダが適切な参照ピクチャを使用しないようになる場合、かなりの時間にわたって復号化処理にとって有害な影響を及ぼし得る。
「Ａｂｓｏｌｕｔｅ Ｓｉｇｎａｌｉｎｇ ｏｆ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅｓ」という名称の文書ＪＣＴＶＣ−Ｆ４９３ 「ＷＤ４： Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ４ ｏｆ Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」という名称の文書ＪＣＴＶＣ−Ｆ８０３＿ｄｌ＿Ｂｕｆｆｅｒ＿Ｄｅｓｃｒｉｐｔｉｏｎ＿ｒ０ 「ＷＤ４： Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ４ ｏｆ Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」という名称の文書ＪＣＴＶＣ−Ｆ８０３＿ｄｌ＿Ｂｕｆｆｅｒ＿Ｄｅｓｃｒｉｐｔｉｏｎｓ＿ｄｉｓｐｌａｙ＿ｐｒｏｃｅｓｓ＿ｓｕｇｇｅｓｔｉｏｎ＿ｒ１
要約すれば、本明細書の詳細な説明は、復号化ピクチャ・バッファ（「ＤＰＢ」）および参照ピクチャ・リストの状態をシグナリングするための革新的な技術を提供している。本革新的な技術は、ＤＰＢおよび参照ピクチャ・リスト（「ＲＰＬ」）管理のための状態情報のシグナリングに関連したビットレートを削減し、様々な他の点でＤＰＢ管理および／またはＲＰＬ管理を改善することができて、しかも状態に影響を与える情報の損失に対する頑健性を提供する。
本発明においては、ＤＰＢおよびＲＰＬを管理し更新するためにデコーダの内部状態に依存するのではなく、ＤＰＢおよびＲＰＬについての状態情報が、明示的にシグナリングされる。このことは、参照先のピクチャとして、どのピクチャが現在利用可能であるかを特定するシグナリングされた状態情報から、ＤＰＢ内で参照先としてどのピクチャが利用可能であると予想されているかをデコーダが決定することを可能とする。このような状態情報は、バッファ記述リスト（「ＢＤＬ」）情報と呼ばれ得るもので、一般的にＤＰＢおよび／またはＲＰＬを明確に示す任意の形式の情報を指す。
本明細書に記載された革新的な技術は、以下のものを含むが、これらに限定されない。
・ＢＤＬ情報中の参照ピクチャ毎の未来参照フラグ（ｆｕｔｕｒｅ ｒｅｆｅｒｅｎｃｅ ｆｌａｇ）を使用すること。ここで、当該未来参照フラグは、参照ピクチャが（ＢＤＬ情報に関連した）現在のピクチャの復号化のためのみに使用される、またはその代わりに、符号化が実行された順序において少なくとも１つの後続のピクチャの復号化に使用されるか否かを示す。本フラグの使用は、ＤＰＢ内にさらなる参照ピクチャの記憶を可能とすることができる。
・未来参照フラグ使用のためにオン／オフ判定フラグを使用すること。例えば、オン／オフ判定フラグは、シーケンス・パラメータ・セット（「ＳＰＳ」）の一部としてシグナリングされ、ＢＤＬ情報中の未来参照フラグの有／無を示すことができる。このことは、ＢＤＬ情報中の未来参照フラグを使用するかしないかをエンコーダが決定可能とする。
・高位時間レイヤ（ｈｉｇｈｅｒ ｔｅｍｐｏｒａｌ ｌａｙｅｒ）と関連したピクチャに対するＢＤＬ情報において、参照のために使用されないように、低位時間レイヤ内の１つまたは複数のピクチャにマーク付けするために参照ピクチャに情報をマーク付けすることを可能とすること。このような所作は、実際には珍しいであろうが、ある種のシナリオにおいては、高位時間レイヤ内のピクチャに対する参照ピクチャ管理のためにこのような選択肢を可能とすることは有用であり得る。しかも、後続のＢＤＬ情報が、高位時間レイヤにおけるピクチャに対するＢＤＬ情報を持つ以前に取り除かれた参照ピクチャに対する状態情報を欠いている場合、デコーダは、このような参照ピクチャが除去された可能性を推測することができる。
・ＢＤＬ情報中の高位時間レイヤのピクチャ毎に高位レイヤ・ピクチャ指定フラグを使用すること。ここで、高位レイヤ・ピクチャ指定フラグは、ＢＤＬ情報のために高位時間レイヤに関係しているものとしてピクチャを指定する。多くのシナリオでは、高位時間レイヤのピクチャは、参照ピクチャとしてはわずかであるか、または全く使用されていないし、ＤＰＢの管理および更新の処理過程は、このようなピクチャに対して簡単化され得る。ＢＤＬ情報が、高位時間レイヤのピクチャに対して少しでも使用される場合、ＢＤＬ情報中のピクチャ毎の簡単なフラグが、高位時間レイヤに関連しているものとしてピクチャを指定するのに十分であり得る。ここで、ＤＰＢを管理し更新する動作は、推測される。
・ＢＤＬ情報中の高位時間レイヤのピクチャについての状態情報を含めるためのオン／オフ判定フラグを使用すること。例えば、オン／オフ判定フラグは、ＳＰＳの一部としてシグナリングされ、ＢＤＬ情報中の高位時間レイヤのピクチャについての状態情報の有／無を示すことができる。
・ＢＤＬ情報は、適応スライス・パラメータ・セット（「ＡＰＳ」）レベルにおいてシグナリングされ得る。単一のＢＤＬ情報のセットは、ＡＰＳと関連している。
・ＢＤＬ情報中の長期参照ピクチャ（「ＬＴＲＰ」）に関する状態情報のシグナリングを簡単化すること。ＬＴＲＰは、ビデオ符号化およびビデオ復号化にとって有用な設計要素を提供するが、ＢＤＬ情報中のＬＴＲＰの管理および更新のための計算は、克服すべき課題を提起する。特に、長時間にわたってＤＰＢ内に留まるＬＴＲＰについて、ＬＴＲＰに関する情報を特定することのシグナリングは、多数のビットを消費し、ビット・ストリームの解析および復号化において処理するための特殊な状況を生み出し得る。ＢＤＬ情報中のＬＴＲＰに対する様々な形の簡単化されたシンタックスが、本明細書で提案され、これらは、ＬＴＲＰの状態情報に関するビットレートを削減し、ＤＰＢ管理を簡単化する。例えば、ＢＤＬ情報中のピクチャに対するＬＴＲＰフラグは、ＤＰＢ管理のためのＬＴＲＰであるものとしてピクチャにマーク付けする。
・ＢＤＬ情報中のＬＴＲＰについての状態情報を含めることに対するオン／オフ判定フラグを使用すること。例えば、オン／オフ判定フラグは、ＳＰＳの一部としてシグナリングされ、ＢＤＬ情報中のＬＴＲＰについての状態情報の有／無を示すことができ、このフラグは、エンコーダがＬＴＲＰを使用しないと決定した場合に、ＢＤＬ情報のシグナリングを簡単化する。
・ＢＤＬ情報中のＬＴＲＰを特定するために使用されるビット数を削減すること。多くの使用シナリオでは、参照ピクチャ（およびＬＴＲＰ）の数は少なく、ＬＴＲＰを特定するためには少数のビットで十分である。エンコーダは、他の使用シナリオについてＬＴＲＰを特定するために使用されるビット数を増加させることができる。
・ＲＰＬの構築のために使用された順序でＢＤＬ情報を編成すること。このことは、ＲＰＬ構築のためのシンタックスを簡単化する。
・ピクチャ・オーダ・カウント（「ＰＯＣ」）値におけるギャップが許容されるか否かをシグナリングすること。例えば、ＳＰＳ中のフラグは、ＰＯＣ値におけるギャップが許容されるか否かを示す。ギャップが許容されない場合、デコーダは、ＰＯＣ値が失われていると決定する際にピクチャの損失を認識することができ、デコーダは、ＰＯＣ値に基づく出力の準備ができているピクチャについて決定を行うことができる。
・ＢＤＬ情報中のシンタックス要素は、符号なし指数ゴロム符号化の代わりに短縮された指数ゴロム符号化（すなわち、ｔｅ（ｖ））を使用して符号化され得る。このことは、とりうる値の数が少ないシンタックス要素にとってより効率的である。
本明細書に記載の革新的な技術のある態様によれば、計算機システムは、参照ピクチャとして使用するためにどのピクチャが利用可能であるかを特定する状態情報を決定する。計算機システムは、状態情報を表すシンタックス要素を設定する。特に、設定を行う場合、計算機システムは、ＬＴＲＰのための識別情報を設定する。ここで、識別情報とは、ＬＴＲＢに対するＰＯＣ最下位ビット（「ＰＯＣ ＬＳＢ」）の値である。次いで、計算機システムは、ビット・ストリームの一部としてシンタックス要素を出力する。
本明細書に記載の革新的な技術の別の態様によれば、計算機システムは、ビット・ストリームの少なくとも一部を受信する。このビット・ストリームから、計算機システムは、参照ピクチャとして使用するためにどのピクチャが利用可能であるかを特定する状態情報を表すシンタックス要素を解析する。特に、シンタックス要素は、ＬＴＲＰに対する識別情報を含む。ここで、識別情報とは、ＬＴＲＢに対するＰＯＣ ＬＳＢ値である。計算機システムは、復号化処理中にこの識別情報を使用する。
本発明の前述のおよび他の目標、機能および利点は、添付の図面を参照して進められる、後述の詳細な説明からより明らかになろう。
本明細書に記載されたある実施形態が実装され得る例示的計算機システムの図である。 本明細書に記載されたある実施形態が実装され得る例示的ネットワーク環境の図である。 本明細書に記載されたある実施形態が実装され得る例示的ネットワーク環境の図である。 本明細書に記載されたある実施形態が実装され得る例示的エンコーダ・システムの図である。 本明細書に記載されたシンタックス要素を出力するための一般化された手法の流れ図である。 ビット・ストリーム中のＬＴＲＰに対する識別情報をシグナリングするための例示的手法の流れ図である。 本明細書に記載されたある実施形態が実装され得る例示的デコーダ・システムの図である。 本明細書に記載のシンタックス要素を解析するための一般化された手法の流れ図である。 ビット・ストリームからＬＴＲＰに関する識別情報を解析するための例示的手法の流れ図である。 変数ＰｉｃＯｒｄｅｒＣｎｔＭｓｂを導出するための擬似コードリストである。 変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌを導出するための擬似コードリストである。
本明細書の詳細な説明では、ＤＰＢおよびＲＰＬの状態をシグナリングするための革新的な技術を説明する。この革新的な技術は、ＢＤＬ情報に関連したビットレートを削減し、および／またはＤＰＢ管理またはＲＰＬ構築の処理過程を簡単化し、しかも情報損失からの回復を助ける。
本明細書に記載の革新的な技術のいくつかは、Ｈ．２６４および／またはＨＥＶＣ標準に特有なシンタックス要素および動作を参照して例示される。このような革新的な技術はまた、他の標準規格または符号化形式にも実装され得る。
より一般的には、本明細書に記載の実施例に対する様々な代替方法が実施可能である。流れ図を参照して説明されたある手法は、流れ図に示された段階の順序を変更することにより、ある段階を分岐させる、繰り返させる、または省略すること、などにより、改変され得る。ＤＰＢおよびＲＰＬの状態をシグナリングするための様々な実施態様は、互いに組み合わせてまたは別々に使用され得る。異なる実施形態は、本明細書に記載された革新的な技術の１つまたは複数を使用する。本明細書に記載の革新的な技術のいくつかは、背景技術の中で特筆した課題の１つまたは複数に対処するものである。一般に、所与の手法／ツールは、そのような課題の全てを解決するものではない。
Ｉ．例示的計算機システム
図１は、本明細書に記載された革新的技術のいくつかが実装され得る、適切な計算機システム（１００）の一般化された例を例示する。計算機システム（１００）は、使用の範囲または機能に対して何らかの限定を示唆することを意図しておらず、その結果、本革新的技術は、多種多様な汎用または特定用途向けの計算機システム中において実装され得る。
図１を参照すると、計算機システム（１００）は、１つまたは複数の処理装置（１１０、１１５）およびメモリ（１２０、１２５）を含む。図１においてこの最も基本的な構成（１３０）は、破線内に含まれている。処理装置（１１０、１１５）は、コンピュータ実行可能命令を実行する。処理装置は、汎用的な中央演算処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）内のプロセッサ、または他の任意の形式のプロセッサとすることが可能である。マルチプロセッサ・システムにおいては、マルチプロセッサ装置は、処理能力を高めるためにコンピュータ実行可能命令を実行する。例えば、図１は、中央演算処理装置（１１０）ならびにグラフィック処理装置または補助処理装置（１１５）を示す。物理的なメモリ（１２０、１２５）は、処理装置（複数個存在することが可能）によりアクセス可能な、揮発性メモリ（例えば、レジスタ、キャッシュ、ＲＡＭ）、不揮発性メモリ（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなど）、または両者のある組合せとすることが可能である。メモリ（１２０、１２５）は、処理装置（複数個存在することが可能）による実行に適したコンピュータ実行可能命令の形で、ＢＤＬ情報をシグナリングするための１つまたは複数の革新的技術を実装したソフトウェア（１８０）を記憶する。
計算機システムは、付加的な機能部を有し得る。例えば、計算機システム（１００）は、記憶装置（１４０）、１つまたは複数の入力装置（１５０）、１つまたは複数の出力装置（１６０）、および１つまたは複数の通信接続（１７０）を含む。バス、制御装置、またはネットワークなどの相互接続機構（図示されない）は、計算機システム（１００）の構成要素を相互に接続する。一般に、オペレーティング・システム・ソフトウェア（図示されない）は、計算機システム（１００）内で実行される他のソフトウェアに対して動作環境を提供し、計算機システム（１００）の構成要素の活動を調整する。
物理的な記憶装置（１４０）は、着脱可能なタイプまたは交換不可能なタイプの記憶装置とすることが可能であり、磁気ディスク、磁気テープまたはカセット、ＣＤ−ＲＯＭ、ＤＶＤ、あるいは計算機システム（１００）内でアクセスされる可能性がある情報を記憶するために使用され得る任意の他の記憶媒体を含む。記憶装置（１４０）は、ＢＤＬ情報をシグナリングするための１つまたは複数の革新的技術を実装するソフトウェア（１８０）に関する命令を記憶する。
入力装置（複数可）（１５０）は、キーボード、マウス、ペン、またはトラック・ボールなどのタッチ入力装置、音声入力装置、スキャン装置、あるいは計算機システム（１００）への入力を提供する別の装置であり得る。ビデオ符号化のために、入力装置（複数可）（１５０）は、カメラ、ビデオ・カード、ＴＶチューナ・カード、ならびにアナログまたはデジタル形式のビデオ入力を受け入れる同様の装置などのビデオ・キャプチャ構成要素、ビデオとしてコンピュータが生成するスクリーンの画像をキャプチャするスクリーン・キャプチャ・モジュール、またはコンピュータが生成する画像コンテンツをキャプチャする同様の構成要素などのビデオ・キャプチャ構成要素、あるいは計算機システム（１００）にビデオ・サンプルを読み込むＣＤ−ＲＯＭまたはＣＤ−ＲＷとすることが可能である。出力装置（複数個存在することが可能）（１６０）は、ディスプレイ装置、プリンタ装置、スピーカ、ＣＤライタ、または計算機システム（１００）からの出力を提供する別の装置であり得る。
通信接続（複数個存在することが可能）（１７０）は、通信媒体を介して別のコンピューティング・エンティティとの間の通信を可能とする。通信媒体は、コンピュータ実行可能命令、音声またはビデオの入力または出力、あるいは変調されたデータ信号中の他のデータなどの情報を運ぶ。変調されたデータ信号は、その特性群に属する１つまたは複数の特性を有する信号、あるいは信号中の情報を符号化するような態様で変更される。発明の技術的範囲を限定するものではなく単なる具体例として、通信媒体は、電気的、光、ＲＦ、または他の搬送波を使用することができる。
本明細書記載の革新的技術は、コンピュータ読取り可能媒体の一般的文脈の中で説明され得る。コンピュータ読取り可能媒体は、コンピューティング環境内でアクセスされ得る任意の利用可能な物理的な媒体である。発明の技術的範囲を限定するものではなく単なる具体例として、計算機システム（１００）にとって、コンピュータ読取り可能媒体は、メモリ（１２０、１２５）、記憶装置（１４０）、および前記の任意の組合せを含む。
本明細書記載の革新的技術は、実装ターゲットとなる実プロセッサまたは仮想プロセッサを具備する計算機システム中で実行され、プログラム・モジュール中に含まれるコンピュータ実行可能命令の一般的文脈の中で説明され得る。一般に、プログラム・モジュールとは、特定のジョブを実行するまたは特定の抽象データ形式を実装するルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造などを含む。プログラム・モジュールの機能は、様々な実施形態において望まれるように複数のプログラム・モジュール同士の間で組み合わせられまたは分岐され得る。プログラム・モジュールに関するコンピュータ実行可能命令は、ローカルなまたは分散された計算機システム内で実行され得る。
本明細書においては、用語「システム（ｓｙｓｔｅｍ）」および「装置（ｄｅｖｉｃｅ）」は互換的に使用される。文脈中で明確に示されない限り、これらの用語はいずれも計算機システムまたは計算機装置の形式に関して何ら限定することも意味しない。一般に、計算機システムまたは計算機装置は、ローカルな計算装置または分散された計算装置とすることが可能であり、本明細書に記載の機能を実装したソフトウェアを具備した特定目的のハードウェアおよび／または汎用ハードウェアの任意の組合せを含むことが可能である。
説明の便宜上、本明細書の詳細な説明では、計算機システムにおけるコンピュータ動作を説明するために「決定する（ｄｅｔｅｒｍｉｎｅ）」および「使用する（ｕｓｅ）」といった用語を使用する。これらの用語は、コンピュータにより実行される動作に対する高水準の抽象概念であり、人間により実行される動作と混同されるべきではない。これらの用語に対応した実際のコンピュータの動作は、実装形態に応じて変化する。
ＩＩ．例示的ネットワーク環境
図２ａおよび図２ｂは、ビデオ・エンコーダ（２２０）およびビデオ・デコーダ（２７０）を含む例示的ネットワーク環境（２０１、２０２）を示す。エンコーダ（２２０）およびデコーダ（２７０）は、適切な通信プロトコルを使用してネットワーク（２５０）を介して接続される。ネットワーク（２５０）は、インターネットまたはその他のコンピュータ・ネットワークを含むことができる。
図２ａに示されるネットワーク環境（２０１）では、実時間通信（「ＲＴＣ」）ツール（２１０）の各々は、双方向通信のためのエンコーダ（２２０）とデコーダ（２７０）の両者を含む。所与のエンコーダ（２２０）は、ＳＭＰＴＥ４２１Ｍ標準、ＩＳＯ／ＩＥＣ１４４９６−１０標準（Ｈ．２６４またはＡＶＣとしても知られる）、ＨＥＶＣ標準、上記以外の他の標準規格、または専用のフォーマットに準拠した出力を、対応するデコーダ（２７０）に対して提供することができ、当該デコーダ（２７０）は、エンコーダ（２２０）から符号化されたデータを受け入れることが可能である。双方向通信は、ビデオ会議、ビデオ電話、またはその他の２者間通信のシナリオの一部であり得る。図２ａにおけるネットワーク環境（２０１）は、２つの実時間通信ツール（２１０）を含むが、ネットワーク環境（２０１）は、それ以外にも、複数パーティの通信に参加する３個またはそれより多い実時間通信ツール（２１０）を含むことができる。
実時間通信ツール（２１０）は、エンコーダ（２２０）による符号化を管理する。図３は、実時間通信ツール（２１０）内に含まれ得る例示的なエンコーダ・システム（３００）を示す。あるいは、実時間通信ツール（２１０）は、上記とは別のエンコーダ・システムを使用する。実時間通信ツール（２１０）はまた、デコーダ（２７０）による復号化を管理する。図５は、実時間通信ツール（２１０）内に含まれ得る例示的なデコーダ・システム（５００）を示す。あるいは、実時間通信ツール（２１０）は、上記とは別のデコーダ・システムを使用する。
図２ｂに示されるネットワーク環境（２０２）において、符号化ツール（２１２）は、エンコーダ（２２０）を含み、当該エンコーダ（２２０）は、デコーダ（２７０）を含む複数の再生ツール（２１４）への配信のためにビデオを符号化することが可能である。一方向通信は、ビデオ監視システム、Ｗｅｂカメラ監視システム、遠隔デスクトップ会議プレゼンテーション、またはビデオが符号化され、ある場所から１つまたは複数の場所へ送信される他のシナリオ用に提供され得る。図２ｂのネットワーク環境（２０２）は、２つの再生ツール（２１４）を含んでいるが、ネットワーク環境（２０２）は、より多くの個数のまたはより少ない個数の再生ツール（２１４）を含むこともできる。一般に、再生ツール（２１４）が受信するビデオのストリームを決定するために、再生ツール（２１４）は、符号化ツール（２１２）と通信する。再生ツール（２１４）は、ストリームを受信し、受信した符号化されたデータを適切な期間バッファリングし、復号化処理およびビデオの再生を開始する。
図３は、符号化ツール（２１２）に含まれ得る例示的なエンコーダ・システム（３００）を示す。あるいは、符号化ツール（２１２）は、上記以外の別のエンコーダ・システムを使用する。符号化ツール（２１２）はまた、１つまたは複数の再生ツール（２１４）および／またはネットワーク・ビデオ送信ツールとの接続を管理するためにサーバ側に実装された制御ロジックを含む。図５は、再生ツール（２１４）に含まれ得る例示的なデコーダ・システム（５００）を示す。あるいは、再生ツール（２１４）は、上記とは別のデコーダ・システムを使用する。再生ツール（２１４）はまた、符号化ツール（２１２）との接続を管理するためにクライアント側に実装された制御ロジックを含む。
ＩＩＩ．例示的エンコーダ・システム
図３は、本明細書中に記載され、実装され得るいくつかの実施形態に関連した例示的エンコーダ・システム（３００）のブロック図を示す。エンコーダ・システム（３００）は、任意の複数の符号化モードにおいて動作する能力がある汎用符号化ツールとすることが可能であり、これらの複数の符号化モードには、実時間通信用の低遅延符号化モード、トランス・コーディング・モード、およびファイルまたはストリームからのメディア再生用の通常符号化モードなどが含まれる。また、エンコーダ・システム（３００）は、ある種のこのような符号化モードに適応する特定目的の符号化ツールとすることも可能である。エンコーダ・システム（３００）は、オペレーティング・システム・モジュールとして、アプリケーション・ライブラリの一部として、または独立したアプリケーションとして実装され得る。全体として、エンコーダ・システム（３００）は、ビデオ供給源（３１０）から一連のソース・ビデオ・フレーム（３１１）を受信し、符号化されたデータをチャネル（３９０）への出力として作り出す。チャネルへの符号化されたデータ出力は、本明細書の第Ｖ節において後述する１つまたは複数のシンタックス要素を含み得る。
ビデオ供給源（３１０）は、カメラ、チューナ・カード、記憶媒体、または他のデジタル・ビデオ供給源であり得る。ビデオ供給源（３１０）は、例えば、毎秒３０フレームのフレーム・レートで一連のビデオ・フレームを作り出す。本明細書において使用される場合、用語「フレーム（ｆｒａｍｅ）」は、一般に、ビデオ供給源から供給され、符号化された画像データまたは再構築された画像データを指す。プログレッシブ・ビデオの場合、フレームは、プログレッシブ・ビデオ・フレームである。インタレース・ビデオの場合、例示的実施形態においては、インタレース・ビデオ・フレームは、符号化に先立って非インタレース化される。あるいは、２つの相補的にインタレース化されたビデオ・フィールドは、インタレース化されたビデオ・フレームまたは独立したフィールドとして符号化される。プログレッシブ・ビデオ・フレームを示すこととは別に、用語「フレーム（ｆｒａｍｅ）」は、ペアとなっていない単一のビデオ・フィールド、ビデオ・フィールドの相補的なペア、所与の時点でのビデオ・オブジェクトを表すビデオ・オブジェクト・プレーン、すなわち大きな画像中の注目領域を示すことができる。ビデオ・オブジェクト・プレーンまたは領域は、あるシーンの複数のオブジェクトまたは領域を含む大きな画像の一部であり得る。
到着ソース・フレーム（３１１）は、複数のフレーム・バッファ記憶領域（３２１、３２２、・・・３２ｎ）を含むソース・フレーム一時メモリ記憶領域（３２０）中に記憶される。フレーム・バッファ（３２１、３２２など）は、ソース・フレーム記憶領域（３２０）中において１つのソース・フレームを保持する。ソース・フレーム（３１１）の１つまたは複数がフレーム・バッファ（３２１、３２２など）内に記憶された後、フレーム・セレクタ（３３０）は、周期的にソース・フレーム記憶領域（３２０）から個々のソース・フレームを選択する。フレームが、エンコーダ（３４０）への入力のためにフレーム・セレクタ（３３０）により選択される順序は、一時的な後方予測を容易にするために、フレームがビデオ供給源（３１０）により作り出される順序と異なることが可能であり、例えば、フレームが選択される順序は、進行方向順やそれとは異なる順序とすることが可能である。エンコーダ・システム（３００）は、選択されたフレーム（３３１）の事前処理（例えば、フィルタリング）を、符号化処理に先立って実行するプリプロセッサ（示されない）をエンコーダ（３４０）の前段において含むことが可能である。
エンコーダ（３４０）は、選択されたフレーム（３３１）を符号化して符号化されたフレーム（３４１）を作り出し、またメモリ管理制御信号（３４２）を作り出す。現在のフレームが符号化されている最初のフレームではない場合、符号化の処理過程を実行する際に、エンコーダ（３４０）は、復号化されたフレームの一時メモリ記憶領域（３６０）中に記憶された１つまたは複数の以前に符号化し／復号化したフレーム（３６９）を使用することができる。このような記憶されている復号化されたフレーム（３６９）は、現在のソース・フレーム（３３１）のコンテンツについてのフレーム間予測のための参照フレームとして使用される。一般的に、エンコーダ（３４０）は、動き推定および動き補償、周波数変換、量子化、ならびにエントロピー符号化などの符号化に関するジョブを実行する、複数の符号化モジュールを含む。エンコーダ（３４０）により実行される厳密な動作は、圧縮形式に依存して変化し得る。出力符号化データの形式は、ウィンドウズ(登録商標)・メディア・ビデオ形式、ＶＣ−１形式、ＭＰＥＧ−ｘ形式（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、またはＭＰＥＧ−４）、Ｈ．２６ｘ形式（例えば、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、Ｈ．２６４）、ＨＥＶＣ形式、またはその他の形式であり得る。
符号化されたフレーム（３４１）およびＢＤＬ情報（３４２）は、復号化プロセス・エミュレータ（３５０）により処理される。復号化プロセス・エミュレータ（３５０）は、デコーダの機能のいくつか、例えば、動き推定および動き補償においてエンコーダ（３４０）により使用される参照フレームを再構築するための復号化処理動作を実装する。復号化プロセス・エミュレータ（３５０）は、所与の符号化されたフレーム（３４１）が再構築され、符号化される後続のフレームのフレーム間予測において参照フレームとして使用するために記憶される必要があるか否かを決定するためにＢＤＬ情報（３４２）を使用する。ＢＤＬ情報（３４２）が符号化されたフレーム（３４１）が記憶される必要があることを示す場合、復号化プロセス・エミュレータ（３５０）は、デコーダにより行われることになる復号化の処理過程を模倣（エミュレート）し、当該復号化の処理過程は、符号化されたフレーム（３４１）を受信し、対応する復号化されたフレーム（３５１）を作り出すための一連の処理動作を含む。このようにして、エンコーダ（３４０）が復号化されたフレームの記憶領域（３６０）に記憶されている復号化されたフレーム（複数個存在することが可能）（３６９）を使用する場合、復号化プロセス・エミュレータ（３５０）はまた、復号化の処理過程の一部として記憶領域（３６０）から復号化されたフレーム（複数個存在することが可能）（３６９）を使用する。
復号化されたフレームの一時メモリ記憶領域（３６０）は、複数のフレーム・バッファ記憶領域（３６１、３６２、・・・、３６ｎ）を含む。復号化プロセス・エミュレータ（３５０）は、記憶領域（３６０）のコンテンツを管理するためＢＤＬ情報（３４２）を使用して、エンコーダ（３４０）がもはや参照フレームとして使用するために必要としないフレームを持つ任意のフレーム・バッファ（３６１、３６２など）を特定する。復号化の処理過程を模倣（エミュレート）した後、復号化プロセス・エミュレータ（３５０）は、この方法で特定されたフレーム・バッファ（３６１、３６２など）内に新しく復号化されたフレーム（３５１）を記憶する。
符号化されたフレーム（３４１）およびＢＤＬ情報（３４２）はまた、一時的符号化データ領域（３７０）内にバッファリングされる。符号化データ領域（３７０）に集約された符号化されたデータは、基本的な符号化ビデオ・ビット・ストリームに関するシンタックスの一部として、本明細書の第Ｖ節において後述される１つまたは複数のシンタックス要素を含むことができる。あるいは、符号化データ領域（３７０）に集約された符号化されたデータは、符号化ビデオ・データに関連したメディア・メタデータの一部として（例えば、１つまたは複数のＳＥＩ（補助的な拡張情報（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ））メッセージまたはＶＵＩ（ビデオ・ユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ））メッセージ中の１つまたは複数のパラメータとして）本明細書の第Ｖ節において後述するものなどのシンタックス要素（複数可）を含むことができる。
一時的符号化データ領域（３７０）からの集約データ（３７１）は、チャネル・エンコーダ（３８０）により処理される。チャネル・エンコーダ（３８０）は、メディア・ストリームとして送信するために集約データをパケット化することができ、この場合、チャネル・エンコーダ（３８０）は、場合によっては、メディア送信ストリームのシンタックスの一部として、本明細書の第Ｖ節において後述されるものなどのシンタックス要素（複数個存在することが可能）を加えることができる。あるいは、チャネル・エンコーダ（３８０）は、集約データをファイルとして記憶するために編成することができ、この場合、チャネル・エンコーダ（３８０）は、場合によっては、メディア記憶ファイルのシンタックスの一部として、本明細書の第Ｖ節において後述するものなどのシンタックス要素（複数個存在することが可能）を加えることができる。あるいは、より一般的には、チャネル・エンコーダ（３８０）は、１つまたは複数のメディア・システム多重化プロトコルまたは転送プロトコルを実装することができ、この場合、チャネル・エンコーダ（３８０）は、場合によっては、プロトコル（複数個存在することが可能）のシンタックスの一部として、本明細書の第Ｖ節において後述されるものなどのシンタックス要素（複数個存在することが可能）を加えることができる。チャネル・エンコーダ（３８０）は、記憶装置、通信接続、または別の出力用チャネルに相当する、チャネル（３９０）への出力を提供する。
図４ａは本明細書の第Ｖ節において後述される１つまたは複数のシンタックス要素を設定し出力するための例示的手法（４００）を示す。例えば、図２ａおよび図２ｂを参照して説明された実時間通信ツールまたは符号化ツールは、手法（４００）を実行する。あるいは、上記以外の別のツールが、手法（４００）を実行する。はじめに、ツールは本明細書の第Ｖ節において後述される１つまたは複数のシンタックス要素を設定する（４１０）。次いで、ツールは、１つまたは複数のシンタックス要素を出力する（４２０）。
図４ｂは、長期参照ピクチャ（「ＬＴＲＰ」）に関する識別情報のシグナリングに着目した、手法（４００）の具体的な実施例（４０１）を示す。例えば、図２ａおよび図２ｂを参照して説明した実時間通信ツールまたは符号化ツールは、手法（４０１）を実行する。あるいは、上記以外の別のツールが、手法（４０１）を実行する。
はじめに、ツールは、参照ピクチャとして使用するためにどのピクチャが利用可能であるか否か（すなわち、どのピクチャが参照ピクチャとして使用するためにビデオ・エンコーダにより現在利用可能であり、復号化処理のこの時点において参照ピクチャとして使用するために、どのピクチャがビデオ・デコーダにより利用可能であると予測されるか）を特定する状態情報を決定する（４０５）。次いで、ツールは、状態情報を表すシンタックス要素を設定する（４１１）。特に、ツールは、ＬＴＲＰに対する識別情報を設定する。ＬＴＲＰに対する識別情報は、ＬＴＲＢに対するＰＯＣ（ピクチャ・オーダ・カウント）値の最下位ビット（「ＰＯＣ ＬＳＢ」）の値である。参照ピクチャとして使用するために利用可能なピクチャはまた、短期参照ピクチャ（「ＳＴＲＰ」）を含むことができる。この場合、ツールは、ＬＴＲＢに対するＰＯＣ ＬＳＢの値をＳＴＲＢに関するＰＯＣ ＬＳＢの値として再利用することができるが、ＬＴＲＰとＳＴＲＰを区別するために長期間にわたる参照用に使用されるＬＴＲＢにマーク付けする。
ビット・ストリーム中でシグナリングされるシンタックス要素は、その他のおよび／または付加的なシンタックス要素を含むことができる。例えば、ツールは、シーケンスのピクチャに関するビット・ストリーム中のＬＴＲＰについての状態情報を含むか否かを決定し、シーケンス・パラメータ群の一部として、ＬＴＲＰについての状態情報がシーケンスのピクチャに関してビット・ストリーム中に存在するか否かを示すフラグを出力する。あるいは、ツールは、ＬＴＲＢに対するＰＯＣ ＬＳＢの値に使用するためにＰＯＣ ＬＳＢ用のビット数を設定し、次いで、ＰＯＣ ＬＳＢ用のビット数を示すシンタックス要素（例えば、ｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｍｉｎｕｓ４シンタックス要素などの、定数値に関連したＰＯＣ ＬＳＢ用のラッピング・ポイントの２進対数を表すシンタックス要素）を出力する。あるいは、ツールは、本明細書の第Ｖ節において後述されるその他のシンタックス要素を使用しシグナリングする。
次いで、ツールは、ビット・ストリームの一部としてシンタックス要素を出力する（４２１）。例えば、ツールは、現在のピクチャについての基本的な符号化ビデオ・ビット・ストリーム中でシンタックス要素をシグナリングする。あるいは、シンタックス要素は、それ以外の特定レベルのビット・ストリーム・シンタックスによりシグナリングされる。
ＩＶ．例示的なデコーダ・システム
図５は、本明細書中に記載され、実装可能ないくつかの実施形態に関連した例示的デコーダ・システム（５００）のブロック図である。デコーダ・システム（５００）は、複数の復号化モードのいずれかで動作する能力がある汎用復号化ツールとすることが可能であり、当該複数の復号化モードは、実時間通信用の低遅延復号化モードおよびファイルまたはストリームからのメディア再生用の通常の復号化モードなどを含むことが可能であり、このような復号化モードの何れか一つ以上に適応される特定目的の復号化ツールとすることも可能である。デコーダ・システム（５００）は、オペレーティング・システム・モジュールとして、アプリケーション・ライブラリの一部として、または独立したアプリケーションとして実装され得る。全体として、デコーダ・システム（５００）は、符号化されたデータをチャネル（５１０）から受信し、出力先（５９０）に対する出力として再構築されたフレームを作り出す。符号化されたデータは、本明細書の第Ｖ節において後述される１つまたは複数のシンタックス要素を含むことが可能である。
デコーダ・システム（５００）は、記憶装置、通信接続を表すことができるチャネル（５１０）を含み、または入力としての符号化されたデータに関するさらに別のチャネルを含むことが可能である。チャネル（５１０）は、チャネル符号化された符号化されたデータを作り出す。チャネル・デコーダ（５２０）は、符号化されたデータを処理することができる。例えば、チャネル・デコーダ（５２０）は、メディア・ストリームとして転送のために集約されているデータを逆パケット化処理し、この場合、チャネル・デコーダ（５２０）は、メディア転送ストリームのシンタックスの一部として、本明細書の第Ｖ節において後述されたものなどのシンタックス要素（複数可）を解析することができる。あるいは、チャネル・デコーダ（５２０）は、ファイルとして記憶するために集約された符号化されたビデオ・データを分離し、この場合、チャネル・デコーダ（５２０）は、メディア記憶ファイルのシンタックスの一部として、本明細書の第Ｖ節において後述されるものなどのシンタックス要素（複数個存在することが可能）を解析することができる。あるいは、より一般的には、チャネル・デコーダ（５２０）は、１つまたは複数のメディア・システム逆多重化プロトコルまたは転送プロトコルを実装することができ、この場合には、チャネル・デコーダ（５２０）は、プロトコル（複数個存在することが可能）のシンタックスの一部として、本明細書の第Ｖ節において後述されるものなどのシンタックス要素（複数個存在することが可能）を解析することができる。
チャネル・デコーダ（５２０）からの出力である符号化されたデータ（５２１）は、このようなデータが充分な量だけ受信されるまで、一時的符号化データ領域（５３０）に記憶される。符号化されたデータ（５２１）は、符号化されたフレーム（５３１）およびＢＤＬ情報（５３２）を含む。符号化データ領域（５３０）内の符号化されたデータ（５２１）は、基本的な符号化ビデオ・ビット・ストリームのシンタックスの一部として、本明細書の第Ｖ節において後述されるものなどの１つまたは複数のシンタックス要素を含むことができる。あるいは、符号化データ領域（５３０）内の符号化されたデータ（５２１）は、符号化されたビデオ・データに関連したメディア・メタデータの一部として（例えば、１つまたは複数のＳＥＩメッセージまたはＶＵＩメッセージ中の１つまたは複数のパラメータとして）本明細書の第Ｖ節において後述されるものなどのシンタックス要素（複数個存在することが可能）を含むことができる。一般的に、符号化データ領域（５３０）は、このような符号化されたデータ（５２１）がデコーダ（５５０）により使用されるまで、符号化されたデータ（５２１）を一時的に記憶する。その時点で、符号化されたフレーム（５３１）およびＢＤＬ情報（５３２）に対する符号化されたデータは、符号化データ領域（５３０）からデコーダ（５５０）へ転送される。復号化処理の実行が継続する場合、新しい符号化されたデータは、符号化データ領域（５３０）に追加され、符号化データ領域（５３０）に残っている最も古い符号化されたデータがデコーダ（５５０）に転送される。
デコーダ（５５０）は、対応する復号化されたフレーム（５５１）を作り出すために符号化されたフレーム（５３１）を周期的に復号化する。適切な方法で、復号化の処理過程を実行する場合、デコーダ（５５０）は、フレーム間予測のための参照フレームとして１つまたは複数の以前に復号化されたフレーム（５６９）を使用することができる。デコーダ（５５０）は、このような以前に復号化されたフレーム（５６９）を復号化されたフレームの一時メモリ記憶領域（５６０）から読み出す。一般に、デコーダ（５５０）は、エントロピー復号化、逆量子化、逆周波数変換および動き補償などの一連の復号化処理動作を実行する複数の復号化モジュールを含む。デコーダ（５５０）により実行される厳密な処理動作は、圧縮形式に応じて変化し得る。
復号化されたフレームの一時メモリ記憶領域（５６０）は、複数のフレーム・バッファ記憶領域（５６１、５６２、・・・、５６ｎ）を含む。復号化されたフレームの一時メモリ記憶領域（５６０）は、ＤＰＢの一例である。デコーダ（５５０）は、復号化されたフレーム（５５１）を記憶することができるフレーム・バッファ（５６１、５６２など）を特定するためにＢＤＬ情報を使用する。デコーダ（５５０）は、そのフレーム・バッファに復号化されたフレーム（５５１）を記憶する。
出力シーケンサ（５８０）は、復号化されたフレームの一時メモリ記憶領域（５６０）内において、出力順に従って作り出されるべき次のフレームが利用可能となる時点を特定するためにＢＤＬ情報（５３２）を使用する。出力順に従って作り出されるべき次のフレーム（５８１）が復号化されたフレームの一時メモリ記憶領域（５６０）内において利用可能である場合、このフレームは、出力シーケンサ（５８０）に読み込まれ、出力先（５９０）（例えば、ディスプレイ）に出力される。一般的に、フレームが復号化されたフレームの一時メモリ記憶領域（５６０）から出力シーケンサ（５８０）により出力される順序は、フレームがデコーダ（５５０）により復号化された順序とは異なる可能性がある。
図６ａは、本明細書の第Ｖ節において後述されるシンタックス要素を受信し解析するための例示的手法（６００）を示す。例えば、図２ａおよび図２ｂを参照して説明した実時間通信ツールまたは再生ツールは、手法（６００）を実行する。あるいは、別のツールが、手法（６００）を実行する。はじめに、ツールは、本明細書の第Ｖ節において後述される１つまたは複数のシンタックス要素を受信する（６１０）。次いで、ツールは、当該１つまたは複数のシンタックス要素を解析する。次いで、ツールは、本明細書の第Ｖ節において後述されるシンタックス要素を使用することができる。
図６ｂは、ＬＴＲＰに対する識別情報の解析に注目した、手法（６００）の具体的な実施例（６０１）を示す。例えば、図２ａおよび図２ｂを参照して説明した実時間通信ツールまたは再生ツールは、手法（６０１）を実行する。あるいは、上記以外の別のツールが、手法（６０１）を実行する。
はじめに、ツールは、ビット・ストリームの少なくとも一部を受信する（６１１）。例えば、ビット・ストリームは、基本的な符号化ビデオ・ビット・ストリームである。ツールは、ビット・ストリームからシンタックス要素を解析する。シンタックス要素は、参照ピクチャとして使用するためにどのピクチャが利用可能であるか否か（すなわち、どのピクチャが参照ピクチャとして使用するためにビデオ・エンコーダにより現在利用可能であるか；復号化処理のこの時点において参照ピクチャとして使用するために、どのピクチャがビデオ・デコーダにより利用可能であると予想されるか）を特定する状態情報を表す。例えば、状態情報を表すシンタックス要素は、現在のピクチャに関するビット・ストリーム中でシグナリングされる。あるいは、シンタックス要素は、ビット・ストリーム・シンタックスのその他の特定レベルでシグナリングされる。
特に、シンタックス要素は、ＬＴＲＰに対する識別情報を含む。ＬＴＲＰに対する識別情報は、ＬＴＲＢに対するＰＯＣ ＬＳＢの値である。さらに、参照ピクチャとして使用するために利用可能なピクチャは、ＳＴＲＰを含むことができる。この場合、ツールは、ＳＴＲＢに対するＰＯＣ ＬＳＢの値としてＬＴＲＢに対するＰＯＣ ＬＳＢの値を再利用することができるが、ＬＴＲＰとＳＴＲＰとを区別するために長期間にわたる参照に使用されるＬＴＲＢにマーク付けする。
ビット・ストリーム中でシグナリングされるシンタックス要素は、上記以外のおよび／または付加的なシンタックス要素を含むことができる。例えば、ツールは、シーケンス・パラメータ群から、ＬＴＲＰについての状態情報がシーケンスのピクチャに関するビット・ストリーム中に存在するか否かを示すフラグを解析する。あるいは、ツールは、ＬＴＲＢに対するＰＯＣ ＬＳＢの値として使用するためにＰＯＣ ＬＳＢのビット数を示すシンタックス要素を解析して、ＬＴＲＰに対する識別情報を解析する時点でＰＯＣ ＬＳＢのビット数を使用する。
ツールは、復号化処理の実行中に識別情報を使用する（６３１）。例えば、ツールは、復号化処理の一部としてビデオ・デコーダの復号化ピクチャ記憶領域を管理するために状態情報を使用する。
Ｖ．ＤＢＰおよびＲＰＬの状態のシグナリングにおける革新的技術
ＨＥＶＣ標準に関連して、ＢＤＬ情報の使用方法についての様々な手法を説明してきた。ある手法は、「Ａｂｓｏｌｕｔｅ Ｓｉｇｎａｌｉｎｇ ｏｆ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅｓ」という名称で「Ｐｒｏｐｏｓｅｄ Ｃｈａｎｇｅｓ ｔｏ ｔｈｅ ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ」を含む、文書ＪＣＴＶＣ−Ｆ４９３に記載されている。他の手法は、「ＷＤ４： Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ４ ｏｆ Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」という名称のＪＣＴＶＣ−Ｆ８０３＿ｄｌ＿Ｂｕｆｆｅｒ＿Ｄｅｓｃｒｉｐｔｉｏｎｓ＿ｒ０および「ＷＤ４：Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ４ ｏｆ Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」という同じ名称のＪＣＴＶＣ−Ｆ８０３＿ｄｌ＿Ｂｕｆｆｅｒ＿Ｄｅｓｃｒｉｐｔｉｏｎｓ＿ｄｉｓｐｌａｙ＿ｐｒｏｃｅｓｓ＿ｓｕｇｇｅｓｔｉｏｎ＿ｒ１中に記載されている。本節は、ＪＣＴＶＣ−Ｆ８０３＿ｄｌに対する文書中に示された手法に関連した具体的な変更を説明する。これらの変更は、ＪＣＴＶＣ−Ｆ４９３において提案された概念のいくつかを拡張する。本節内で説明される異なる革新技術は、組み合わせてまたは別個に使用され得る。
Ａ．未来参照フラグ
本明細書に記載されたある革新技術によれば、エンコーダおよびデコーダは、ＢＤＬ情報の参照ピクチャ毎の未来参照フラグを使用する。ここで、未来参照フラグは、参照ピクチャが現在のピクチャを復号化するためにのみ使用されるか、または符号化された順序において少なくとも１つの未来ピクチャを復号化するために使用されるか否かを示す。したがって、未来参照フラグは、現在のピクチャが復号化された後の時点においても参照ピクチャが保持されるか否かを示す。例示的実装形態では、未来参照フラグは、ＢＤＬ中の各ピクチャに追加されるｍａｒｋ＿ｕｎｕｓｅｄ＿ａｆｔｅｒ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇと呼ばれる新しいシンタックス要素である。このシンタックス要素は、ＢＤＬ情報に関連した全ＤＢＰ長の利用を可能とする。
参照ピクチャに対してマーク付け操作がされる位置が、復号化の処理過程における早い段階に移動される場合、バッファ中に記憶され得る参照ピクチャの個数を削減することができる。ＤＰＢ容量がＮピクチャであり、現在のピクチャが参照ピクチャである場合、ＢＤＬの合計サイズがＮ−１ピクチャを超過しない限りバッファに現在のピクチャを記憶するための場所が確保できないことになる。ＡＶＣシンタックスにおいては、（１）第一にバッファ中にあるピクチャが復号化処理過程のために参照されていて、（２）次いで、もはや必要ではない任意のピクチャが廃棄され（すなわち、新しいピクチャのためにバッファ中に空き地を作り、この空き地においては「参照に使用されない」とマーク付けされている）、（３）次いで、現在のピクチャが後続のピクチャの復号化処理過程における使用の可能性に備えてバッファ中に記憶されることから、すなわち、ＡＶＣシンタックスを使用する可能性があるものより１ピクチャだけ少ない。マーク付けの処理過程を、ピクチャの参照としての使用よりも前に移動することにより、ピクチャ個数で表された所与の総バッファ容量は、１ピクチャ分だけ削減されてしまう。総バッファ容量が減少することは、極めて望ましくない。
未来参照フラグは、ＤＰＢ容量の使用上のこの制限を扱うために使用され得る。例示的実施形態では、ｍａｒｋ＿ｕｎｕｓｅｄ＿ａｆｔｅｒ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇと呼ばれる１ビットのフラグが、リスト化されたピクチャの各々に関するＢＤＬの中でシグナリングされる。ｍａｒｋ＿ｕｎｕｓｅｄ＿ａｆｔｅｒ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇは、参照ピクチャが現在のピクチャ（ＢＤＬ情報に関連した）の復号化処理についてのみ使用されるのか、または少なくとも符号化された順序において後続する特定ピクチャの復号化処理のためにも使用されるのかを示す。参照ピクチャが現在のピクチャの復号化のためにのみ使用される場合、参照ピクチャは、復号化された現在のピクチャにより上書きされることが可能である。「参照に使用されない」旨を表す「１」の値に等しいｍａｒｋ＿ｕｎｕｓｅｄ＿ａｆｔｅｒ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇを持つピクチャのマーク付けは、現在のピクチャの復号化処理過程の実行後であって、かつＤＰＢ中の現在のピクチャが記憶される前の時点において実行される。例えば、ＤＰＢが高々５枚の参照ピクチャを記憶していることにより、満杯となっている場合、５枚の参照ピクチャの１つが将来ピクチャの復号化処理に使用されない（ｍａｒｋ＿ｕｎｕｓｅｄ＿ａｆｔｅｒ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇで示されるように）ならば、当該参照ピクチャは、復号化された現在のピクチャにより上書きされ得る。このようにして、ＤＰＢの総バッファ容量が使用され−エンコーダおよびデコーダは、復号化された現在のピクチャのためにＤＰＢ内に空きの場所を予約する必要がない。
Ｂ．未来参照フラグのためのオン／オフ判定フラグ
本明細書に記載されたさらに別の革新的技術によれば、オン／オフ判定フラグは、未来参照フラグに関してシグナリングされる。エンコーダは、未来参照フラグを使用することを望まない可能性がある。不要なビットを送信することを避けるために、エンコーダは、未来参照フラグに関するオン／オフ判定フラグを使用することができる。オン／オフ判定フラグが「オン」である場合、未来参照フラグが使用される。そうではなく、オン／オフ判定フラグが「オフ」である場合、未来参照フラグは使用されない。
例えば、例示的実装形態では、あるエンコーダは、ｍａｒｋ＿ｕｎｕｓｅｄ＿ａｆｔｅｒ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇを使用することを望まない可能性がある。そのようなエンコーダが不要なビットを送信することを避けるために、ｎｏ＿ｆｉｎａｌ＿ｒｅｆｅｒｅｎｃｉｎｇ＿ｆｌａｇと呼ばれるフラグがＳＰＳレベルで追加される。１に等しいｎｏ＿ｆｉｎａｌ＿ｒｅｆｅｒｅｎｃｉｎｇ＿ｆｌａｇがない場合、ｍａｒｋ＿ｕｎｕｓｅｄ＿ａｆｔｅｒ＿ｄｅｃｏｄｉｎｇ＿Ｆｌａｇシンタックス要素は、ビット・ストリームから除去される。この場合、デコーダは、ｍａｒｋ＿ｕｎｕｓｅｄ＿ａｆｔｅｒ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇシンタックス要素を受信したり、解析したり、使用したりなどしない。そうでない場合、デコーダは、ｍａｒｋ＿ｕｎｕｓｅｄ＿ａｆｔｅｒ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇシンタックス要素を受信し、解析し、使用などする。
Ｃ．低位時間レイヤのピクチャへのマーク付け
本明細書に記載されたさらに別の革新的技術によれば、高位時間レイヤに関連したピクチャに関するＢＤＬ情報においては、参照ピクチャに関するマーク付け情報は、低位時間レイヤ内の１つまたは複数のピクチャに対して、参照のために使用されない旨をマーク付けすることができる。あるシナリオでは、高位時間レイヤ内のピクチャに関する参照ピクチャ管理のためにこのような選択肢を可能とすることは有用であり得る。さらに、高位時間レイヤにおけるピクチャに関してＢＤＬ情報が以前に除去されている参照ピクチャについての状態情報が後続のＢＤＬ情報において欠落している場合、デコーダは、そのような参照ピクチャの除去を推測することができる。
ＤＰＢの状態をシグナリングするためのある手法では、高位時間レイヤ内のピクチャは、低位時間レイヤ内のピクチャに対して、「参照のために使用されない」旨をマーク付けすることを禁止される。しかしながら、本明細書に記載されたＢＤＬタイプ・シンタックスを使用する場合、そのような禁止は意味をなさない。一度、ピクチャがＢＤＬから除去されると、ピクチャは後続のいずれのＢＤＬにも現れないので、「参照のために使用されない」旨をピクチャに対してマーク付けするための通知をデコーダが見失うことの危険性はない。
Ｄ．高位レイヤ・ピクチャ指定フラグ
本明細書に記載されたさらに別の革新的技術によれば、エンコーダおよびデコーダは、ＢＤＬ情報中の高位時間レイヤのピクチャ毎に高位レイヤ・ピクチャ指定フラグを使用する。ここで、高位レイヤ・ピクチャ指定フラグは、ＢＤＬ情報について高位時間レイヤに関連しているピクチャを指定する。多くのシナリオにおいては、高位時間レイヤのピクチャは、参照ピクチャとして使用されない。ＤＰＢを管理し更新する処理過程は、そのようなピクチャに関して簡単化され得る。ＢＤＬ情報が高位時間レイヤのピクチャにおいて少しでも使用される場合、高位時間レイヤと関連しているとしてピクチャを指定するために、ＢＤＬ情報中においてピクチャ毎の簡単なフラグを設ければ充分である場合が多く、この場合、ＤＰＢの管理および更新の動作は推測されることが可能である。
例示的実装形態では、簡単なｈｉｇｈｅｒ＿ｌａｙｅｒ＿ｐｉｃｔｕｒｅ＿ｆｌａｇは、ピクチャが高位時間レイヤ内にあるか否かを示すためにＢＤＬ中の各ピクチャに対して送信され得る。あるシナリオでは、いくつかのそのようなピクチャに対して「参照のために使用されない」旨がマーク付けされるべきことを明示的に示すことができるように、ＢＤＬ情報中の高位時間レイヤ内のピクチャに関する情報を含ませることが望ましい可能性がある。しかしながら、これらのピクチャが、ＤＢＬ情報中にリスト化されているとしても、実際のレイヤ番号などの詳細を送信することは必要ではない。代わりに、簡単なｈｉｇｈｅｒ＿ｌａｙｅｒ＿ｐｉｃｔｕｒｅ＿ｆｌａｇが、ピクチャが高位時間レイヤ内にあるか否かを示すためにＢＤＬ中の各ピクチャに対して送信される。ｈｉｇｈｅｒ＿ｌａｙｅｒｓ＿ｎｏｔ＿ｌｉｓｔｅｄ＿ｆｌａｇが１に等しい場合、高位時間レイヤ内のいずれのピクチャも、現在のピクチャの復号化処理過程による影響を受けないままにしておく−単純にそれらのマーク付けの状態をあるがままにしておくことが提案される。
Ｅ．高位レイヤ・ピクチャ指定フラグに関するオン／オフ判定フラグ
本明細書に記載されたさらに別の革新的技術によれば、エンコーダおよびデコーダは、高位時間レイヤのピクチャについての状態情報をＢＤＬ情報中に含めるか否かを指定するためにオン／オフ判定フラグを使用する。例えば、オン／オフ判定フラグは、ＳＰＳの一部としてシグナリングされ、高位時間レイヤのピクチャについての状態情報のＢＤＬ情報中における有／無を示すことができる。
例示的実装形態では、ｈｉｇｈｅｒ＿ｌａｙｅｒｓ＿ｎｏｔ＿ｌｉｓｔｅｄ＿ｆｌａｇと呼ばれるフラグが、ＳＰＳレベルで追加される。フラグが１に等しい場合、高位時間レイヤのピクチャは、ＣＶＳのＢＤＬ中に含まれない。以前に述べた提案内容においては、高位時間レイヤのピクチャは、ＢＤＬ中に含まれていた。このようなピクチャは、現在のピクチャの復号化の処理過程において実際に参照されることはなく、このことをデコーダは知っている。これらのピクチャは現在のピクチャならびに現在の時間レイヤおよび任意の低位時間レイヤ内の後続の任意のピクチャの復号化処理にとって重要ではないので、多くの使用状況においては、ＢＤＬ中にそれらを含ませる価値があるかどうかは疑わしく、それ故、復号化されるレイヤの復号化処理過程にとって無意味であるこの余分なデータをシンタックスに負担させることは、回避することが望ましい。
Ｆ．ＡＰＳレベルにおけるＢＤＬ情報
本明細書に記載された別の革新技術によれば、ＢＤＬ情報は、ＡＰＳ（適応スライス・パラメータ・セット（Ａｄａｐｔｉｖｅ Ｓｌｉｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ））レベルにおいてシグナリングされる。単一のＢＤＬ情報のセットは、ＡＰＳと関連している。
パラメータ群の中に複数のバッファ・リストを有するという考えは、すっきりしておらず、必要でもない。選択されたＢＤＬを特定するための索引を持つ複数リストの概念は、不必要に複雑化されているように思えるシンタックスの新しい混成レベルのものであり、不必要に思える方法であらかじめそのＢＤＬ構造を事前準備するエンコーダ設計を期待している。また、ＡＰＳ中にＢＤＬをおくようにするならば、スライス・ヘッダ・レベル内のＡＰＳレベルのＢＤＬを無効にする機能を設ける必要性がなくなる可能性がある。したがって、適切な判断なしに、ＢＤＬ情報が、ＡＰＳレベルまたはそれより高位においてのみシグナリングされる。
Ｇ．ＢＤＬ情報中のＬＴＲＰについての簡単化されたシンタックス
本明細書に記載されたさらに別の革新的技術によれば、エンコーダおよびデコーダは、ＢＤＬ情報中のＬＴＲＰに関する状態情報を使用する。ＬＴＲＰは、ビデオ符号化およびビデオ復号化のために有用な設計要素を提供する。しかしながら、ＢＤＬ情報中のＬＴＲＰを管理し更新することは、克服すべき課題をもたらす。ＬＴＲＰに関する状態情報についてビットレートを削減し、ＤＰＢ管理を簡単化するために、ＢＤＬ情報中のＬＴＲＰに関する様々な種類の簡単化されたシンタックスが、本明細書で提案される。
ＬＴＲＰは、実際にいくつかの製品で、特に頑健な実時間通信用に使用されている有用な設計要素である。ＡＶＣ中に見られるようなＬＴＲＰの態様は、長時間ＤＰＢ中のピクチャを保持する能力のみならず、動きベクトルのスケーリング処理および重み付け予測計算のために異なる処理を使用することを含む。
例示的実装形態では、ＬＴＲＰの機能はそのまま維持され、ＤＢＬ情報は、ＬＴＲＰを管理する役割を果たす。ＢＤＬ情報中のＬＴＲＰに関する状態情報をシグナリングするためのいくつかの既存の手法は、過度に手が込んでおり、その中では、それらは、完全に分離されたＬＴＲＰのリスト化および全ＰＯＣの差分値のシグナリングを必要とし、これらは適切ではない。例えば、ＬＴＲＰは、その全ＰＯＣの差分値により特定される。非常に長い時間にわたってＤＰＢ中に残存しているＬＴＲＰに関して、そのＰＯＣの差分値を送信するために必要なコードワードの長さは、極端に大きくなり−ビットレートを浪費し、デコーダに問題を解析させ、究極的にはＬＴＲＰがシンタックスを使用する場合に保持されることが可能な期間を制限する。
その一方で、例示的実装形態では、エンコーダおよびデコーダは、ＬＴＲＰに関する状態情報について簡単化されたシンタックスを持つＢＤＬ情報を使用し、その中で、複数のＰＯＣ値の最下位ビット（「ＬＳＢ」）同士の間の差分を、最上位ビット（「ＭＳＢ」）のラッピング・ポイントで除算した剰余値だけがＬＴＲＰを特定するために送信され、複数のＰＯＣ値同士の間における差分の全体を送信する必要は無い。ＰＯＣ値のＭＳＢ値を追跡する真の必要性はなく−相対的な順序のみが、達成されるために真に必要であり、ＭＳＢ追跡の指定を無効にすることは、ランダム・アクセス復号化を行うことを意図した機能に関する解釈を容易にすることができる。また、差分値をＭＳＢで表現することを無効にすることにより、ＬＴＲＰを特定するために送信されるＰＯＣの差分値を、時間の経過とともに次第に大きくする必要がなくなることになる。適切な設計の選択により、エンコーダは、既存のＬＴＲＰにより使用されている同一のＰＯＣ ＬＳＢを再利用する新しいピクチャを送信する場合について考慮する必要さえない。
以下のものは、この趣旨に含まれる２つの可能性のある手法である。両者は、ＢＤＬ情報中の各ピクチャのために、ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇシンタックス要素を送信することを必要とする。第２の手法（以下、方式Ｂ）は、幾分簡潔である。第１の手法（以下、方式Ａ）は、エンコーダをより柔軟にすることを可能とする。
方式Ａによれば、ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇシンタックス要素の値がＰＯＣ ＬＳＢの所与の値について０から１に変化する場合、これは、ＡＶＣにおけるのと同様に「長期間にわたる参照のために使用される」ピクチャとしてマーク付けする。同一のＰＯＣ ＬＳＢ値は、混乱なく後で短期参照ピクチャに対して再度使用され得る。同一のＰＯＣ ＬＳＢに対して、１に等しいｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇを持つピクチャは、０に等しいｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇを持つピクチャと比較して明確に特定され続ける。ＬＴＲＰに対して「参照のために使用されない」旨をマーク付けした後にのみ、エンコーダ（またはデコーダ）は同一のＰＯＣ ＬＳＢ値を持つ別のＬＴＲＰとこれを置き換えることができることになる。
方式Ａでは、ＬＴＲＰおよび短期参照ピクチャ（ＳＴＲＰ）を必要とする異常かつ過渡的な場合は、以下のように扱われる。
・新しいピクチャを復号化することに先立って、バッファが、ＰＯＣ ＬＳＢのある値に関するＳＴＲＰのみを含む場合、その値に対するＬＴＲＰのみを含むＢＤＬ情報が受信され、ＳＴＲＰは、現在のピクチャを復号化するのに先立って「長期間にわたる参照のために使用される」旨をマーク付けされる。
・新しいピクチャを復号化するに先立って、ＰＯＣ ＬＳＢの特定の値に関するＬＴＲＰのみをバッファが含んでおり、その値に関するＳＴＲＰのみを含むＢＤＬ情報が受信される場合、ビット・ストリームは不正である。
・新しいピクチャを復号化することに先立って、同一のＰＯＣ ＬＳＢ値に関するＬＴＲＰとＳＴＲＰの両者をバッファが含み、その値に関するＳＴＲＰのみを含むＢＤＬ情報が受信された場合、ＬＴＲＰは、「参照のために使用されない」旨をマーク付けされる。
・新しいピクチャを復号化することに先立って、同一のＰＯＣ ＬＳＢの値に関するＬＴＲＰとＳＴＲＰの両者をバッファが含み、その値に関するＬＴＲＰのみを含むＢＤＬ情報が受信される場合、ＳＴＲＰは「参照のために使用されない」旨をマーク付けされる。
方式Ｂによれば、ピクチャは、復号化されるときに送信されるフラグ（例えば、ｕｓｅｄ＿ｆｏｒ＿ｌｏｎｇ＿ｔｅｒｍ＿ｆｌａｇと呼ばれるフラグ）を設定することによってのみ「長期間にわたる参照のために使用される」旨をマーク付けされる。ＢＤＬ情報中においてそのピクチャに後続する全ての内包物は、１に等しいｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇを有し、ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇの値は、ＬＴＲＰと、同一のＰＯＣ ＬＳＢ値を有する任意の仮想短期参照ピクチャとを区別するために使用されることになる。
Ｈ．ＬＴＲＰフラグについてのオン／オフ判定フラグ
本明細書に記載されたさらに別の革新的技術によれば、エンコーダおよびデコーダは、ＢＤＬ情報中にＬＴＲＰについての状態情報を含めるか否かを指定するためのフラグに関してオン／オフ判定フラグを使用する。例えば、オン／オフ判定フラグは、ＳＰＳの一部としてシグナリングされ、ＢＤＬ情報中におけるＬＴＲＰについての状態情報の有／無を示す。
あるエンコーダは、ＬＴＲＰの使用を行うことを望まない可能性があることから、例示的実装形態では、ｎｏ＿ｌｏｎｇ＿ｔｅｒｍ＿ｐｉｃｔｕｒｅｓ＿ｆｌａｇと呼ばれるフラグが、ＳＰＳレベルにおいて送信される。このフラグの値が０である場合、ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇの値（および、上記の方式Ｂの場合には、ｕｓｅｄ＿ｆｏｒ＿ｌｏｎｇ＿ｔｅｒｍ＿ｆｌａｇ）は、シンタックス中に存在しない。
Ｉ．ＬＴＲＰ識別情報のために使用されるビットの削減
本明細書に記載されたさらに別の革新的技術によれば、ＢＤＬ情報中においてＬＴＲＰを特定するために使用されるビット数が、削減される。多くの使用のシナリオでは、ＬＴＲＰの個数は少なく、ＬＴＲＰを特定するのに少数のビットがあれば充分である。エンコーダは、他の使用のシナリオに関しては、ＬＴＲＰを特定するために使用されるビット数を増加させる可能性がある。
例示的実装形態では、方式Ａまたは方式Ｂに対して、シンタックスは、送信されるＰＯＣ ＬＳＢの個数が少ない場合にはより一層効率的になり得る。例えば、送信されるべきＰＯＣ ＬＳＢの個数が、８などのあるより大きな数ではなく、４である（ＡＶＣ ＰＯＣタイプ０中のｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４のような）場合、ＢＤＬ情報中のＬＴＲＢ識別情報に関連したビットレートは、削減され得る。４より多いビット数を使用することは、多くの使用のシナリオにおいて不必要な負担となり得る。しかしながら、より大きなビット数が適切であるシナリオでは、エンコーダは、単純により大きなｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４の値（またはそれに等価なもの）を使用することができる。
Ｊ．ＢＤＬ情報の効率的な編成
本明細書に記載されたさらに別の革新的技術によれば、ＢＤＬ情報は、ＲＰＬの構築に使用された順序に従って編成され送信される。このことは、ＲＰＬ構築のためのシンタックスを簡単化する。
例示的実装形態では、ＢＤＬ情報それ自身が、ピクチャのリストであることから、送信されたリストの最初に列挙されたピクチャからリスト０の直接的構築に必要な順序に従って送信され得る可能性がある。ピクチャがリスト０の順序に従ってリスト化されている場合、リスト０についての参照ピクチャ・リスト修正シンタックスは実際には必要性がない。
Ｋ．ギャップがＰＯＣ値に許容されるか否かをシグナリングすること
本明細書に記載されたさらに別の革新的技術によれば、エンコーダは、ＰＯＣ値におけるギャップが許容されているか否かをシグナリングする。ギャップが許容されていない場合、デコーダは、ＰＯＣ値が失われていることを決定した時点でピクチャ損失を認識することができ、デコーダは、ピクチャがＰＯＣ値に基づき出力の準備ができていることを決定することが可能である。
例示的実装形態では、ｐｏｃ＿ｇａｐｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇと呼ばれるフラグが、ＳＰＳレベルで送信される。このフラグの値が０に等しい場合は、出力順序における全ての連続したピクチャは、ギャップを持たない連続したＰＯＣ ＬＳＢ値を有する。したがって、デコーダは、ＰＯＣ値を失っていることを認識することによりピクチャ損失を認識することができる。また、エンコーダによるｐｏｃ＿ｇａｐｓ＿ａｌｌｏｗｅｄ＿ｆｌａｇシンタックス要素の使用は、デコーダがピクチャを出力する順序と同じ順序に従って出力を行う準備ができている一連のピクチャ系列をデコーダが認識することを可能とすることになる。あるＰＯＣ値Ｋを持つピクチャがすでに出力され、ＰＯＣ値Ｋ＋１を持つピクチャがＤＰＢ内に存在する場合、デコーダは、ＰＯＣ ＬＳＢ値Ｋ＋１を持つこのピクチャが次に出力されるべきピクチャであることを検出することができることになる。また、ＰＯＣ ＬＳＢ値Ｋ＋１を持つそのようなピクチャがＤＰＢ内に存在しない場合、デコーダは、何か不都合なことが発生していない限り、ある後続のピクチャがこのＰＯＣ ＬＳＢ値を持って到着することを知ることになる。
Ｌ．ＢＤＬ情報に対するシンタックス要素のエントロピー符号化およびエントロピー復号化
本明細書に記載されたさらに別の革新的技術によれば、ＢＤＬ情報中のシンタックス要素は、符号なし指数ゴロム符号化の代わりに短縮された指数ゴロム符号化（すなわち、ｔｅ（ｖ））を使用して符号化され得る。ＢＤＬ情報に関する様々なシンタックス要素が、ｕｅ（ｖ）符号化を使用して符号化された値として送信されることが提案されている。多くの場合、これらのシンタックス要素に対する利用可能な選択肢の数は少ない。したがって、そのようなシンタックス要素をｔｅ（ｖ）値として符号化することは、効率を改善することができる。デコーダは、対応するエントロピー復号化を実行する。
ＶＩ．ＤＢＰおよびＲＰＬの状態のシグナリングにおけるさらなる革新的技術
ある実装形態では、ビデオ・エンコーダおよびビデオ・デコーダは、ＰＯＣ計算の頑健性を簡単化し改善するために付加的な制約に従う処理を実行することができる。様々な使用のシナリオにおいて、ビデオ・エンコーダおよびビデオ・デコーダは、このような制約を持ってまたは持たずに、参照ピクチャとして使用するためにどのピクチャが利用可能であるかを特定するシグナリングされた状態情報を使用することができる。
Ａ．ＰＯＣ計算の頑健性を改善するための第１の手法
第１の例示的手法のセットでは、参照として使用されるまたは出力待ちである全てのピクチャが、現在のピクチャのＰＯＣに関連して曖昧さの無い形で計算され得る相対的なＰＯＣの位置を有するという制約が導入される。このことは、ＰＯＣのＭＳＢ値を追跡する方法における可能性のある頑健性の問題を処理する。
例えば、ＰＯＣラップ値が１６である（しかも、ＤＰＢサイズが遅延されるべきピクチャ出力に対して充分に大きく、全てのピクチャが参照ピクチャである）ことを仮定する。復号化順序において連続したピクチャについてのＰＯＣ ＬＳＢ値が、５、１１、２である場合、ＰＯＣ ＬＳＢ値２を持つピクチャが復号化されるとき、ＰＯＣ ＬＳＢ値５を持つピクチャの位置は、ＰＯＣ ＬＳＢ値２を持つ現在のピクチャに比べて曖昧である。ＰＯＣ ＬＳＢ値１１を持つピクチャが失われた場合、他の２つのピクチャは、誤った相対順序で出力されることになる。（同様に、動きベクトルの時間スケーリングは正しくないことになり、参照ピクチャのリスト構築は、間違ったものとなり、時間的に重み付けされた予測は、誤ったものとなろう。）
制約を課し現在のピクチャについてのＰＯＣ値に関する全ての相対的なＰＯＣ値を参照することにより、バッファ中のピクチャについての実際のＰＯＣ ＭＳＢを追跡する必要性はなくなる。この手法では、相対的なＰＯＣ位置は、ピクチャがバッファ内に留まっている限り正しく保たれる。このことは、ＰＯＣについて少数のＬＳＢを使用する場合に発生し得る問題についての幾つかの重要な問題を緩和するが、より大きなＰＯＣ ＬＳＢの最小の数を指示することによる方法以上に完全な方法で問題を解決する。
Ｂ．ＰＯＣ計算の頑健性を改善するための第２の手法
デコーダが、復号化されたピクチャの各々と関連したＰＯＣについてのＭＳＢ値を推測する場合、いくつかの問題があり得る。ＭＳＢ値は、符号化されたビデオ・シーケンス全体を通じて、ピクチャ間にわたって実行される復号化処理過程の履歴から推測され、ビット・ストリームから１つまたは複数のピクチャが除去されるとＭＳＢ値の破損を引き起こし得る。このことは、残りのピクチャの再生が乱れ、不正な参照ピクチャ・リストが構築され、および不正な時間的な重み付け予測が行われる事態を次々に引き起こし得る。ビット・ストリームに対してランダム・アクセスを行うデコーダは、符号化されたビデオ・シーケンス内の予測されたピクチャにはアクセスしていないことから、推測によってＭＳＢ値を特定する処理動作態様もまた、ランダム・アクセスの困難さをもたらす。
第２の例示的手法のセットでは、第１の例示的手法のセットと同様に、相対的なＰＯＣ計算上の制約が、ビット・ストリーム中のピクチャのＰＯＣ ＬＳＢの値に導入される（ここで、ＰＯＣ ＬＳＢ値は、ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂシンタックス要素により表される）。この制約に従えば、符号化効率への影響を無視でき、相対的なＰＯＣ順序を達成するための復号化処理過程を簡単化し、ＰＯＣ ＭＳＢ値の推定の必要がなく、ピクチャ損失に対する頑健性を改善することができる。したがって、頑健性の問題を処理し、実際のＰＯＣ ＭＳＢ値を追跡する必要性を除去するために、参照に使用されるまたは出力を待っている全てのピクチャが、曖昧さの無い形で現在のピクチャのＰＯＣに関連して計算され得る相対的なＰＯＣの位置を有するという制約が導入される。
例えば、送信されるＰＯＣ ＬＳＢの個数が４個であり、それ故、ＰＯＣラップ値が１６個である（さらにＤＰＢサイズが遅延しているピクチャ出力に対して充分に大きく、全てのピクチャが参照ピクチャである）ことを仮定する。復号化順序において連続したピクチャについてのＰＯＣ ＬＳＢ値が、それぞれ５、１１、２である場合、ＰＯＣ ＬＳＢ値２を持つピクチャが復号化されるとき、ＰＯＣ ＬＳＢ値５を持つピクチャの位置は、ＰＯＣ ＬＳＢ値２を持つ現在のピクチャに比べて曖昧である。ＰＯＣ ＬＳＢ値１１を持つピクチャが失われた場合、他の２つのピクチャは、誤った相対的順序で出力されることになり、動きベクトルの時間スケーリングは正しくないことになり、参照ピクチャのリスト構築は、間違ったものとなり、時間的に重み付けされた予測は、誤ったものとなろう。
制約を課し現在のピクチャについてのＰＯＣ ＬＳＢ値に関する全ての相対的なＰＯＣ値を参照することにより、バッファ中のピクチャについての実際のＰＯＣ ＭＳＢを追跡する必要性はなくなる。この手法では、相対的なＰＯＣ位置は、短期間にわたる参照または出力の順序付けのためにピクチャがバッファ内に留まっている限り正しく保たれる。このことは、ＰＯＣに関する少数のＬＳＢを使用する場合に発生し得る問題についての幾つかの重要な問題を緩和するが、より大きなＰＯＣ ＬＳＢの最小の数を指示することによる方法以上に完全な方法で問題を解決する。
相対的なＰＯＣ計算のためのこの制約と組み合わせて、またはＰＯＣ値を計算するためのさらに別の手法と組み合わせて、エンコーダは、ＰＯＣ値の範囲に制約を適用することができる。例えば、エンコーダは、符号化処理を行っている間に、ＰＯＣ値の範囲（所与のピクチャおよびその参照ピクチャについての、最大値と最小値との間の差分）が、ＰＯＣ ＬＳＢに関して、可能性のある最大値に依存する閾値により制限されるように、ＰＯＣ値を設定する。この制約の実施例は、以下に説明される。
図２ａおよび図２ｂを参照して説明された実時間通信ツールまたは符号化ツールは、ＰＯＣ値におけるこれらの制約の一方または両者を前提として符号化を実行する。あるいは、上記以外の別のツールが、本手法を実行する。はじめに、ツールは、制約を前提としてピクチャについてのＰＯＣ値を設定する。例えば、制約は、以下に説明されるように、現在のピクチャおよびその参照ピクチャについてのＰＯＣ ＬＳＢ値の範囲を制限する。次いで、ツールは、ピクチャについてのビデオを符号化し、標準規格に準拠したビット・ストリームを作り出す。本ビット・ストリームにおいては、ツールは、適用される制約と調和するＰＯＣ値を（例えば、ＰＯＣ ＬＳＢを示すシンタックス要素を使用して）シグナリングすることができる。
１．相対的なＰＯＣ計算を実行しない場合の例示的手法
相対的なＰＯＣ計算を実行しない例示的手法では、ＰＯＣ値は、以下のように復号化される。この処理過程の出力は、現在のピクチャのＰＯＣ、ＰｉｃＯｒｄｅｒＣｎｔＶａｌである。ＰＯＣは、時間または空間ダイレクトモードにおける動きパラメータを導出するために使用され、ピクチャを特定するために使用され、動きベクトル導出およびＢスライスにおける暗黙的モードの重み付け予測のために使用され、さらにデコーダ適合性検査のためにフレーム間のピクチャ順序の相違を表すために使用される。符号化されたピクチャの各々は、ＰｉｃＯｒｄｅｒＣｎｔＶａｌと呼ばれる特定のＰＯＣと関連付けられ、これは、復号化順序において先行するＩＤＲピクチャに関連した対応するピクチャのピクチャ順序を示す。
変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＬｓｂおよびｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＭｓｂは、以下のように導出される。現在のピクチャがＩＤＲピクチャである場合、ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＬｓｂとｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＭｓｂの両者は、０に設定される。そうではない（現在のピクチャがＩＤＲピクチャではない）場合、（ａ）ｐｒｅｖＲｅｆＰｉｃを０に等しいｔｅｍｐｏｒａｌ＿ｉｄを有する復号化順序において以前の参照ピクチャとする（ｂ）変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＬｓｂがｐｒｅｖＲｅｆＰｉｃのｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂに等しく設定され、変数ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＭｓｂは、ｐｒｅｖＲｅｆＰｉｃのＰｉｃＯｒｄｅｒＣｎｔＭｓｂに等しく設定される。
現在のピクチャのＰｉｃＯｒｄｅｒＣｎｔＭｓｂは、図７ａに示される擬似コードリスト（７００）により明示されるように導出される。あるいは、現在のピクチャのＰｉｃＯｒｄｅｒＣｎｔＭｓｂを決定するために、等価的な処理ロジックが使用され得る。次いで、ＰｉｃＯｒｄｅｒＣｎｔＶａｌの値は、 ＰｉｃＯｒｄｅｒＣｎｔＶａｌ＝ＰｉｃＯｒｄｅｒＣｎｔＭｓｂ＋ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂとして導出される。
例示的手法では、ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂの値がＩＤＲピクチャについて０であると暗示されていて、ｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＬｓｂとｐｒｅｖＰｉｃＯｒｄｅｒＣｎｔＭｓｂの両者が０に等しく設定されているので、ＩＤＲピクチャは、０に等しいＰｉｃＯｒｄｅｒＣｎｔＶａｌを有する。所与の符号化されたビデオ・シーケンスにおいては、任意の２つの符号化されたピクチャについてのＰｉｃＯｒｄｅｒＣｎｔＬｓｂ値は、異なるものとする。
例示的手法と組み合わせて、エンコーダは、ＰＯＣ値の範囲に制約を適用することができる。例えば、エンコーダは、ＰＯＣ値の範囲（所与のピクチャおよびその参照ピクチャについての、最大値と最小値との間の差分）がＰＯＣ ＬＳＢに関して、可能性のある最大値に依存する閾値により制限されるように、符号化中にＰＯＣ値を設定する。
２．相対的なＰＯＣ計算を伴う例示的手法
さらに別の例示的手法では、ＰＯＣ値は、以下のように復号化される。この手法に係る処理過程の出力は、現在のピクチャに関するＰｉｃＯｒｄｅｒＣｎｔＶａｌの値、およびＤＰＢ内において「短期間にわたる参照に使用される」または「出力が必要」である旨がマーク付けされている各ピクチャについてのＰｉｃＯｒｄｅｒＣｎｔＶａｌの値である。ＰＯＣは、時間または空間ダイレクトモードにおける動きパラメータを導出するために使用され、ピクチャを特定するために使用され、動きベクトル導出およびＢスライスにおける暗黙モードの重み付け予測のために使用され、さらにデコーダ適合性検査のためにフレーム間のピクチャ順序の相違を表すために使用される。
変数ｃｕｒｒＰｉｃＯｒｄｅｒＣｎｔＬｓｂの値は、現在のピクチャに関連したｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂシンタックス要素の値に設定される。現在のピクチャについて、およびＤＰＢ内において「短期間にわたる参照に使用される」または「出力が必要」である旨が現在マーク付けされている各ピクチャについて、関連した変数ｔｈａｔＰｉｃＯｒｄｅｒＣｎｔＬｓｂの値は、当該ピクチャに関連したｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂシンタックス要素の値に設定され、関連した変数ＰｉｃＯｒｄｅｒＣｎｔＶａｌの値は、図７ｂに示された擬似コードリスト（７０１）内に示されるように設定される。
変数ｍａｘＰｉｃＯｒｄｅｒＣｎｔは、現在のピクチャおよびＤＰＢ内において「短期間にわたる参照に使用される」または「出力が必要」である旨が現在マーク付けされている全てのピクチャに対して関連付けられた値のうち、ＰｉｃＯｒｄｅｒＣｎｔＶａｌの最大値と等しい値に設定される。変数ｍｉｎＰｉｃＯｒｄｅｒＣｎｔは、現在のピクチャおよびＤＰＢ内において「短期間にわたる参照に使用される」または「出力が必要」である旨が現在マーク付けされている全てのピクチャに対して関連付けられた値のうち、ＰｉｃＯｒｄｅｒＣｎｔＶａｌの最小値と等しい値に設定される。この手法における制約は、変数ｍａｘＰｉｃＯｒｄｅｒＣｎｔおよびｍｉｎＰｉｃＯｒｄｅｒＣｎｔに依存し、ＰＯＣ ＬＳＢに関して可能性のある最大値を考慮する。例えば、ｍａｘＰｉｃＯｒｄｅｒＣｎｔ−ｍｉｎＰｉｃＯｒｄｅｒＣｎｔの値が、ＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂ／２より少なくなければならないことが、ビット・ストリーム適合性の要求条件である。あるいは、制約は、ＰＯＣ値の範囲（最大値と最小値との間の差分）がＰＯＣ ＬＳＢに関して可能性のある最大値に依存する閾値により制限されるようなある他の形式で実装される。
関数ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＸ）は、ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＸ）＝ピクチャｐｉｃＸのＰｉｃＯｒｄｅｒＣｎｔＶａｌとして指定される。関数ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ，ｐｉｃＢ）は、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ，ｐｉｃＢ）＝ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ）−ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＢ）として指定される。例えば、ｐｉｃＸを現在のピクチャとし、ｐｉｃＹおよびｐｉｃＺを同一のシーケンス内の２つの他のピクチャとすると、ｐｉｃＹおよびｐｉｃＺは、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＸ，ｐｉｃＹ）およびＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＸ，ｐｉｃＺ）が両者ともに正であるか両者とも負である場合、ｐｉｃＸに関連した同一の出力順序指示内にあるものと考えられる。多くのエンコーダは、復号化の処理過程の実行中において使用されるＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ，ｐｉｃＢ）の値が関連したピクチャｐｉｃＡおよびｐｉｃＢのサンプリング時刻同士の間の時間差に（正確にまたは概ね）比例するように、ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂシンタックス要素値を割り当てる。
この例示的手法では、ＰｉｃＯｒｄｅｒＣｎｔＶａｌの値は、現在のピクチャのｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂおよびＰｉｃＯｒｄｅｒＣｎｔＶａｌ変数と関連したそれぞれのピクチャのｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ以外に、シンタックスまたはＳＰＳレベルより下位のビット・ストリーム中の任意のデータの復号化処理過程への依存性はない。また、本質的に制限された範囲（ｍａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂから２＊ｍａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂの範囲内）を有しているので、ＰｉｃＯｒｄｅｒＣｎｔＶａｌの範囲について制約を課す必要はない。
Ｃ．使用シナリオ
様々な使用のシナリオにおいて、ビデオ・エンコーダおよびビデオ・デコーダは、参照ピクチャとして使用するためにどのピクチャが利用可能であるかを特定するシグナリングされた状態情報を使用することができる。一方向通信に関しては、図２ｂを参照して一般的に説明されたように、ビデオ・エンコーダは、ビデオ監視システム、Ｗｅｂカメラ監視システム、遠隔デスクトップ会議プレゼンテーションまたは他のシナリオにおいて符号化されたビデオを提供することができる。双方向通信に関しては、図２ａを参照して一般的に説明されたように、ビデオ・エンコーダは、ビデオ会議、ビデオ電話、または他の２者通信のシナリオのために符号化されたビデオを提供することができる。
ビデオ・エンコーダは、ビデオ・シーケンス中で繰り返されるシーンの要素を描写する１つまたは複数のＬＴＲＰを選択することができる。例えば、ビデオ監視システムまたはＷｅｂカメラ監視システムに関して、ビデオ・エンコーダは、シーンの背景要素を描写する１つまたは複数のＬＴＲＰを選択し、当該選択されたＬＴＲＰは、シーケンスを通じて定常的に出現する。または、遠隔デスクトップ会議プレゼンテーションに関して、ビデオ・エンコーダは、デスクトップ上のユーザ・インターフェースまたはアプリケーション・ソフトウェアの要素を描画する１つまたは複数のＬＴＲＰを選択する。あるいは、ビデオ会議またはビデオ電話に関して、ビデオ・エンコーダは、シーンの背景要素または参加者の相対的に静的な要素（例えば、着席している人物の特徴）を描画する１つまたは複数のＬＴＲＰを選択する。符号化している間に、ビデオ・エンコーダは、ＬＴＲＰが動き補償のために使用される頻度に基づいて、どのＬＴＲＰを利用可能な参照ピクチャとして保持するか、どのＬＴＲＰがビデオ・デコーダおよび／または他の要因により成功裏に再構築されたか、を判定することができる。
ビデオ・エンコーダは、クライアント計算機装置がストリームを切り替える場合（例えば、別のストリームにチャネルを変更した後に、または異なるビットレート／品質での同一のシーケンスのストリームへと切り替えた後に）、再生を容易にするために周期的にＬＴＲＰを再設定することができる。さらに、ビデオ・デコーダは、正しい復号化処理を行うために必要な条件として参照ピクチャを有することを想定しているが、パケット損失または破損は、ビデオ・デコーダが、参照ピクチャを有することを妨げる原因となる恐れがある。しかし、ＬＴＲＰを上記のように周期的に再設定することにより、上記のようなパケット損失または破損からクライアント計算機装置が回復することを助けることができる。ＬＴＲＰを再設定する場合、ビデオ・エンコーダは、Ｉピクチャを使用することができ、これはランダム・アクセスを提供し機能を回復させることを助けることができるが、また動き補償ピクチャより高いビットレートを要する傾向がある。
実時間ビデオ通信のシナリオ（例えば、ビデオ会議、ビデオ電話、遠隔デスクトップ会議プレゼンテーション）においては、ビデオ・エンコーダおよびビデオ・デコーダは、より迅速な回復および改善された符号化効率による誤り回復および誤り補正を容易にするために対話することができる。例えば、サーバ計算機装置において、ビデオ・エンコーダは、ビデオ・エンコーダにおいて参照ピクチャとして使用するためにどのピクチャが利用可能であるかを特定する状態情報を決定する。（このようなピクチャはまた、パケット損失または破損が任意の参照ピクチャに関する再構築処理に対して不利に影響しないことを想定して、復号化処理がこの時点に到達したときに、ビデオ・デコーダにより参照ピクチャとして使用可能であると予想されている。）次いで、サーバ計算機装置は、状態情報を表すシンタックス要素を設定し、シンタックス要素を出力する。
クライアント計算機装置において、ビデオ・デコーダは、ビデオ・エンコーダにおいて参照ピクチャとして使用するためにどのピクチャが利用可能であるか（または、復号化処理がこの時点に到達したときに、ビデオ・デコーダにより参照ピクチャとしての使用が可能であると予想されているか）を特定する状態情報を表すシンタックス要素を受信し解析する。デコーダは、参照ピクチャ・セットを決定するために復号化処理の実行中において状態情報を使用することができる。または、デコーダは、誤り回復または補正動作を始動させるために状態情報を使用することができる。パケット損失または破損は、ビデオ・デコーダにより示された参照ピクチャの１つまたは複数を正しく再構築することを妨げてしまう恐れがある。ビデオ・デコーダは、ビデオ・デコーダにより参照ピクチャとして使用するためにどのピクチャが実際に利用可能であるかを特定する（新しい状態情報、デコーダ状態情報、などと命名され得る）状態情報を決定する。ビデオ・デコーダは、デコーダ状態情報を表す情報をフィードバックするためのシンタックス要素を設定する。ビデオ・デコーダは、連続した符号化処理の実行中において使用するためにビデオ・エンコーダに対してフィードバック情報を送信する。このことは、以前にシグナリングされた状態情報ならびにビデオ・デコーダからのフィードバック情報を使用して、ビデオ・デコーダにおいて参照するためにどのピクチャが実際に利用可能であるかをビデオ・エンコーダが決定することを可能とする。
サーバ計算機装置において、ビデオ・エンコーダは、デコーダ状態情報を表すフィードバック情報を受信し、符号化処理の実行中においてフィードバック情報を使用する。例えば、ビデオ・エンコーダは、ビデオ・デコーダが正しく再構築しなかった１つまたは複数のＬＴＲＰを除去するためにフィードバック情報を使用する。さもなければ、ビデオ・エンコーダは、フィードバック情報がビデオ・デコーダにおいて利用可能であると確認されているＬＴＲＰに関連した１つまたは複数の次のピクチャを符号化する方法を決定する際に、フィードバック情報を使用する。ビデオ・エンコーダは、フィードバック情報と調和した状態情報を決定し、状態情報を表すシンタックス要素を設定し、ビット・ストリーム中にこれらのシンタックス要素を出力する。このようにして、ビデオ・エンコーダは、ＬＴＲＰを使用することによる高い符号化効率を備え、基本的な符号化機能および復号化機能に準拠した方法で、ビデオ・デコーダがパケット損失または破損からより迅速に回復することを助けることができる。
ビデオ・デコーダは、ビデオ・エンコーダに周期的に（例えば、各ピクチャに対して、ｘピクチャの各グループに対して）フィードバック情報を提供することができる。または、ビデオ・デコーダは、オンデマンドで（例えば、ビデオ・デコーダが、受信した状態情報とビデオ・デコーダにとって実際に利用可能である参照ピクチャとの間の矛盾を特定したとき）フィードバック情報を提供することができる。ビデオ・デコーダは、別個のフィードバック・チャネル内に、または双方向通信に関しては、出力媒体ストリーム中において符号化されたビデオ・データに多重化する形で、フィードバック情報を提供することができる。
本明細書中で開示した発明の原理が適用され得る、多くの可能性のある実施形態を考慮するならば、例示された実施形態が単に本発明の好ましい実施例にすぎないことが認識されるべきであり、本発明の技術的範囲を限定するものと解釈されるべきではない。むしろ、本発明の技術的範囲は、本明細書に添付した特許請求の範囲により定められるものである。したがって、これらの特許請求の範囲の範囲および技術思想に含まれる全てのものを出願人の発明として特許請求するものである。

Claims (10)

  1. ビデオ・エンコーダを実装する計算機システムであって、
    参照ピクチャとして使用するためにどのピクチャが利用可能であるかを特定する状態情報を決定するステップと、
    前記状態情報を表すシンタックス要素を設定するステップであって、長期参照ピクチャ（ＬＴＲＰ）についての識別情報を設定するステップを含み、前記ＬＴＲＰについての前記識別情報がＬＴＲＢについてのピクチャ・オーダ・カウントの最下位ビット（ＰＯＣ ＬＳＢ）の値である、ステップと、
    ビット・ストリームの一部として前記シンタックス要素を出力するステップと、
    を含む方法を実行するように構成された計算機システム。
  2. 前記方法が、
    ＬＴＲＰについての状態情報をシーケンスのピクチャに関する前記ビット・ストリーム中に含めるか否かを決定するステップと、
    シーケンス・パラメータ・セットの一部として、ＬＴＲＰについての前記状態情報が前記シーケンスの前記ピクチャに関する前記ビット・ストリーム中に存在するか否かを示すフラグを出力するステップと、
    をさらに含む、請求項１に記載の計算機システム。
  3. 参照ピクチャとして使用するために利用可能である前記ピクチャが、短期参照ピクチャ（ＳＴＲＰ）を含み、前記方法が、
    ＳＴＲＢについてのＰＯＣ ＬＳＢの値として前記ＬＴＲＢについてのＰＯＣ ＬＳＢの前記値を再利用するステップと、
    前記ＬＴＲＰと前記ＳＴＲＰとを区別するために長期間にわたる参照のために使用される前記ＬＴＲＢに対してマーク付けするステップと、
    をさらに含む、請求項１に記載の計算機システム。
  4. 前記方法が、
    ＬＴＲＢについてのＰＯＣ ＬＳＢの値に関して使用するためにＰＯＣ ＬＳＢについてのビット数を設定するステップと、
    ＰＯＣ ＬＳＢについての前記ビット数を示すシンタックス要素を出力するステップと、
    をさらに含む、請求項１に記載の計算機システム。
  5. ビデオ・デコーダを実装する計算機システムにおける方法であって、
    ビット・ストリームの少なくとも一部を受信するステップと、
    前記ビット・ストリームからシンタックス要素を解析するステップであって、前記シンタックス要素が、参照ピクチャとして使用するためにどのピクチャが利用可能であるかを特定する状態情報を表し、前記シンタックス要素が長期参照ピクチャ（ＬＴＲＰ）についての識別情報を含み、前記ＬＴＲＰについての前記識別情報が、ＬＴＲＢについてのピクチャ・オーダ・カウントの最下位ビット（ＰＯＣ ＬＳＢ）の値である、ステップと、
    復号化処理の実行中において前記識別情報を使用するステップと、
    を含む方法。
  6. シーケンス・パラメータ・セットから、シーケンスのピクチャについての前記ビット・ストリーム中にＬＴＲＰについての状態情報が存在するか否かを示すフラグを解析するステップ
    をさらに含む、請求項５に記載の方法。
  7. 参照ピクチャとして使用するために利用可能である前記ピクチャが、短期参照ピクチャ（ＳＴＲＰ）を含み、前記方法が、
    ＳＴＲＢについてのＰＯＣ ＬＳＢの値として前記ＬＴＲＢについてのＰＯＣ ＬＳＢの前記値を再利用するステップと、
    前記ＬＴＲＰと前記ＳＴＲＰとを区別するために長期間にわたる参照のために使用される前記ＬＴＲＢに対してマーク付けするステップと、
    をさらに含む、請求項５に記載の方法。
  8. ＬＴＲＢについてのＰＯＣ ＬＳＢの値に関して使用するためにＰＯＣ ＬＳＢについてのビット数を示すシンタックス要素を解析するステップと、
    前記ＬＴＲＰについての前記識別情報を解析する際に、ＰＯＣ ＬＳＢについての前記ビット数を使用するステップと、
    をさらに含む、請求項５に記載の方法。
  9. 計算機システムに、
    ビット・ストリームの少なくとも一部を受信するステップと、
    前記ビット・ストリームからシンタックス要素を解析するステップであって、前記シンタックス要素が、参照ピクチャとして使用するためにどのピクチャが利用可能であるかを特定する状態情報を表し、前記シンタックス要素が長期参照ピクチャ（ＬＴＲＰ）についての識別情報を含み、前記ＬＴＲＰについての前記識別情報が、ＬＴＲＢについてのピクチャ・オーダ・カウントの最下位ビット（ＰＯＣ ＬＳＢ）の値である、ステップと、
    復号化処理の実行中において、前記識別情報を使用するステップと、
    を含む方法を実行させるプログラム。
  10. ビデオ・エンコーダ、ビデオ・デコーダ、音声入力装置、スピーカ、ビデオ・キャプチャ構成要素、ディスプレイ、および通信接続を備える実時間通信ツールであって、
    前記実時間通信ツールが、ビット・ストリーム中の状態情報を表すシンタックス要素を処理するように構成されており、前記状態情報が、参照ピクチャとして使用するためにどのピクチャが利用可能であるかを特定し、前記シンタックス要素が長期参照ピクチャ（ＬＴＲＰ）についての識別情報を含み、前記ＬＴＲＰについての前記識別情報が、ＬＴＲＢについてのピクチャ・オーダ・カウントの最下位ビット（ＰＯＣ ＬＳＢ）の値である、実時間通信ツール。
JP2014540201A 2011-11-07 2012-11-06 復号化ピクチャ・バッファおよび参照ピクチャ・リストのための状態情報のシグナリング Active JP6087940B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161556813P 2011-11-07 2011-11-07
US61/556,813 2011-11-07
US13/669,380 US10003817B2 (en) 2011-11-07 2012-11-05 Signaling of state information for a decoded picture buffer and reference picture lists
US13/669,380 2012-11-05
PCT/US2012/063748 WO2013070630A1 (en) 2011-11-07 2012-11-06 Signaling of state information for a decoded picture buffer and reference picture lists

Publications (3)

Publication Number Publication Date
JP2015501098A JP2015501098A (ja) 2015-01-08
JP2015501098A5 true JP2015501098A5 (ja) 2015-12-10
JP6087940B2 JP6087940B2 (ja) 2017-03-01

Family

ID=48223702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014540201A Active JP6087940B2 (ja) 2011-11-07 2012-11-06 復号化ピクチャ・バッファおよび参照ピクチャ・リストのための状態情報のシグナリング

Country Status (12)

Country Link
US (6) US10003817B2 (ja)
EP (1) EP2777251B1 (ja)
JP (1) JP6087940B2 (ja)
KR (1) KR102058759B1 (ja)
CN (1) CN103918268B (ja)
AU (1) AU2012336043B2 (ja)
BR (3) BR112014010947B1 (ja)
CA (1) CA2854331C (ja)
IN (1) IN2014CN03320A (ja)
MX (1) MX353889B (ja)
RU (1) RU2613738C2 (ja)
WO (1) WO2013070630A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
WO2013070028A1 (ko) * 2011-11-11 2013-05-16 엘지전자 주식회사 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
US9584832B2 (en) * 2011-12-16 2017-02-28 Apple Inc. High quality seamless playback for video decoder clients
US9609341B1 (en) * 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9319679B2 (en) * 2012-06-07 2016-04-19 Qualcomm Incorporated Signaling data for long term reference pictures for video coding
MX358773B (es) * 2012-07-02 2018-09-04 Samsung Electronics Co Ltd Metodo y aparato para predecir un vector de movimiento para la codificacion de video o decodificacion de video.
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
WO2014112354A1 (en) 2013-01-15 2014-07-24 Sharp Kabushiki Kaisha Video decoder with signaling
ES2687768T3 (es) * 2013-01-16 2018-10-29 Telefonaktiebolaget Lm Ericsson (Publ) Descodificador y codificador para codificar una secuencia de vídeo
EP2804374A1 (en) * 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
EP2804375A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
CN104243988B (zh) * 2013-06-14 2019-11-12 浙江大学 视频编解码方法及装置、传输视频码流的方法
US9794579B2 (en) * 2013-07-15 2017-10-17 Qualcomm Incorporated Decoded picture buffer operations for video coding
KR20150009468A (ko) * 2013-07-15 2015-01-26 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015053596A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
US9979971B2 (en) * 2013-10-14 2018-05-22 Qualcomm Incorporated Device and method for scalable coding of video information
WO2015102271A1 (ko) * 2014-01-02 2015-07-09 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
KR102294092B1 (ko) 2014-01-02 2021-08-27 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
US9788007B2 (en) * 2014-06-20 2017-10-10 Qualcomm Incorporated Profile, tier, level for the 0-th output layer set in video coding
US9866851B2 (en) 2014-06-20 2018-01-09 Qualcomm Incorporated Full picture order count reset for multi-layer codecs
US10091532B2 (en) * 2014-06-26 2018-10-02 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
US9549188B2 (en) * 2014-07-30 2017-01-17 Intel Corporation Golden frame selection in video coding
CN104159118A (zh) * 2014-07-30 2014-11-19 天津大学 一种基于伪随机序列和lsb算法的图像字节异或算法
KR101610725B1 (ko) * 2014-09-23 2016-04-08 삼성전자주식회사 참조 빈도에 따라 참조 영상 데이터를 제어하는 비디오 부복호화 방법 및 장치
CA3186389A1 (en) * 2014-09-30 2016-04-07 Microsoft Technology Licensing, Llc Hash-based encoder decisions for video coding
KR20160071569A (ko) 2014-12-11 2016-06-22 삼성전자주식회사 비디오 장치에서의 영상 처리 방법 및 그에 따른 비디오 장치
US10531111B2 (en) 2015-11-06 2020-01-07 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
US10555002B2 (en) * 2016-01-21 2020-02-04 Intel Corporation Long term reference picture coding
GB2547053B (en) * 2016-02-08 2020-07-08 Canon Kk Methods, devices, and computer programs for combining the use of intra-layer prediction and inter-layer prediction with scalability & screen content features
WO2019124191A1 (ja) * 2017-12-18 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2020037277A1 (en) * 2018-08-17 2020-02-20 Futurewei Technologies, Inc. Reference picture management in video coding
CN117544779A (zh) * 2018-09-12 2024-02-09 华为技术有限公司 参考图像列表结构的候选指示
CN113170203A (zh) * 2018-12-10 2021-07-23 夏普株式会社 用于在视频编码中发送信号通知参考图片的系统和方法
BR112021013071B1 (pt) * 2019-01-02 2022-05-10 Lg Electronics Inc Métodos e aparelho para decodificar e codificar um sinal de vídeo por um dispositivo e meio legível por computador não transitório
CN111416981B (zh) * 2019-01-07 2023-06-02 浙江大学 视频图像解码、编码方法及装置
KR20210118155A (ko) * 2019-01-28 2021-09-29 오피 솔루션즈, 엘엘씨 연장된 장기 참조 픽처 보유의 명시적 시그널링
EP4107944A4 (en) 2020-03-20 2023-06-14 ByteDance Inc. ORDER RELATIONSHIPS BETWEEN SUB-PICTURES
EP4122195A4 (en) 2020-04-20 2023-06-21 ByteDance Inc. CONSTRAINTS ON REFERENCE IMAGE LISTS
KR20230017819A (ko) * 2020-05-22 2023-02-06 엘지전자 주식회사 영상 코딩 방법 및 그 장치
CN115917978A (zh) 2020-06-08 2023-04-04 字节跳动有限公司 对解码图片缓冲器的约束
CN114760476B (zh) * 2021-01-08 2023-07-21 脸萌有限公司 视频解码器初始化信息信令

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956545B2 (en) * 2001-10-08 2005-10-18 Imagearray, Ltd. Digital playback device
US7369709B2 (en) 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US20060083298A1 (en) 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
KR101299390B1 (ko) 2005-07-21 2013-08-22 톰슨 라이센싱 스케일러블 비디오 코딩용 가중 예측을 위한 방법 및 장치
EP1806930A1 (en) 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
JP5055355B2 (ja) 2006-03-30 2012-10-24 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
KR101350591B1 (ko) * 2006-07-06 2014-01-14 톰슨 라이센싱 멀티뷰 비디오 인코딩 및 디코딩을 위해 프레임 넘버 및/또는 픽쳐 오더 카운트를 분리시키는 방법 및 장치
WO2008023967A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
US20100002762A1 (en) 2006-10-13 2010-01-07 Purvin Bibhas Pandit Method for reference picture management involving multiview video coding
BRPI0716957A2 (pt) * 2006-10-13 2013-10-29 Thomson Licensing Sintaxe de gerenciamento de lista de imagens de referência para codificação de vídeo de múltiplas vistas
KR101120648B1 (ko) 2006-10-16 2012-03-23 노키아 코포레이션 멀티뷰 비디오 코딩에서 효율적인 디코딩된 버퍼 관리를 구현하기 위한 시스템 및 방법
US20090100482A1 (en) 2007-10-16 2009-04-16 Rodriguez Arturo A Conveyance of Concatenation Properties and Picture Orderness in a Video Stream
JP5156088B2 (ja) 2007-03-23 2013-03-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
CN101785317B (zh) 2007-08-15 2013-10-16 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
BRPI0818444A2 (pt) 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
WO2009130561A1 (en) 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
WO2010086500A1 (en) * 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
US8189666B2 (en) * 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8693539B2 (en) 2009-03-26 2014-04-08 Panasonic Corporation Coding method, error detecting method, decoding method, coding apparatus, error detecting apparatus, and decoding apparatus
US20100246683A1 (en) 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
WO2010123198A2 (ko) 2009-04-21 2010-10-28 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
KR20110139304A (ko) 2009-04-22 2011-12-28 엘지전자 주식회사 다시점 영상의 참조 픽쳐 리스트 변경 방법
KR101621907B1 (ko) 2010-02-02 2016-05-17 삼성전자주식회사 디스플레이 장치, 3ｄ 영상 제공 방법 및 3ｄ 영상 제공 시스템
US20110222837A1 (en) 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
EP2614592B1 (en) 2010-09-09 2018-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Entropy encoding and decoding scheme
EP2630799A4 (en) 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
US9008176B2 (en) 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
US20120195364A1 (en) 2011-01-31 2012-08-02 Apple Inc. Dynamic mode search order control for a video encoder
US20120294366A1 (en) * 2011-05-17 2012-11-22 Avi Eliyahu Video pre-encoding analyzing method for multiple bit rate encoding system
HUE028853T2 (en) * 2011-06-30 2017-01-30 ERICSSON TELEFON AB L M (publ) Indication of reference image
MX2013015397A (es) * 2011-06-30 2014-03-31 Ericsson Telefon Ab L M Señalizacion de imagenes de referencia.
US20130003823A1 (en) * 2011-07-01 2013-01-03 Kiran Misra System for initializing an arithmetic coder
CN107659821B (zh) 2011-09-22 2020-03-10 Lg 电子株式会社 用信号发送图像信息的方法和装置，以及使用其的解码方法和装置
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US8768079B2 (en) * 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US20130094774A1 (en) 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8855433B2 (en) * 2011-10-13 2014-10-07 Sharp Kabushiki Kaisha Tracking a reference picture based on a designated picture on an electronic device
CN103907351B (zh) 2011-10-24 2017-06-13 瑞典爱立信有限公司 参考画面标记
SG10201801332XA (en) 2011-10-28 2018-04-27 Samsung Electronics Co Ltd Method for inter prediction and device therefor, and method for motion compensation and device therefor
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
CN104396240B (zh) 2012-01-31 2018-02-02 Vid拓展公司 用于可缩放的高效视频编码(hevc)的参考图片集(rps)信令
US9369710B2 (en) 2012-02-06 2016-06-14 Qualcomm Incorporated Reference picture list modification for video coding
CN104541510B (zh) 2012-04-15 2018-08-24 三星电子株式会社 参考画面列表能够被改变的帧间预测方法及其设备
US20130343465A1 (en) 2012-06-26 2013-12-26 Qualcomm Incorporated Header parameter sets for video coding
US9167248B2 (en) 2012-07-13 2015-10-20 Qualcomm Incorporated Reference picture list modification for video coding
US9398284B2 (en) 2012-08-16 2016-07-19 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3DV video coding
US9438898B2 (en) 2012-09-07 2016-09-06 Vid Scale, Inc. Reference picture lists modification
CN108540813B (zh) 2012-09-28 2021-03-16 杜比国际公司 图像解码装置
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information

Similar Documents

Publication Publication Date Title
JP6087940B2 (ja) 復号化ピクチャ・バッファおよび参照ピクチャ・リストのための状態情報のシグナリング
JP2015501098A5 (ja)
US10560706B2 (en) High layer syntax for temporal scalability
TWI603609B (zh) 簡化視訊隨機存取之限制及單元類型
US9473790B2 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
US9113172B2 (en) Techniques for describing temporal coding structure
US20150103895A1 (en) Electronic devices for signaling multiple initial buffering parameters
US9451285B2 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
JP2013110549A (ja) 動画像符号化装置および動画像符号化方法