JP2016511952A - 復号器及び符号器、並びに映像シーケンスを符号化する方法 - Google Patents

Abstract

映像シーケンスを符号化する符号器（８０）、復号器（５０）及び方法。符号器（８０）は、先行参照ピクチャに対する指示を算出する（３０１）。先行参照ピクチャは、時間識別子が０である。符号器（８０）は、先行参照ピクチャ、先行参照ピクチャの第１の参照ピクチャセットに含まれた全ての参照ピクチャ及び復号化順序で先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第１の集合を作成する（３０２）。長期参照ピクチャが、第１の集合において示された２つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有するピクチャ順序カウントの最下位ビットを有する場合、符号器（８０）は、ピクチャ順序カウントサイクルに対するフラグを設定する（３０３）。復号器（５０）は、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットを取得する（３０５）。復号器（５０）はフラグを取得する（３０６）。ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、最下位ビットが２つ以上の参照ピクチャと一致する場合、復号器（５０）は、不適合のビットストリームであると判断する（３０７）。対応するコンピュータプログラムコンピュータプログラム製品が更に開示される。

Description

本発明の実施形態は、映像符号化に関する。特に、復号器及び映像シーケンスを取得するためにビットストリームを復号化する復号器における方法、並びに符号器及び映像シーケンスを符号化する符号器における方法が開示される。更に、対応するコンピュータプログラム及びコンピュータプログラム製品が開示される。

映像符号化技術を用いて、映像シーケンスを符号化映像シーケンスに圧縮することが多くの場合望ましい。映像シーケンスは、例えばビデオカメラにより撮影されていてもよい。映像シーケンスを圧縮する目的は、映像シーケンスを例えばビット単位で縮小することである。このように、符号化映像シーケンスは、格納される場合により少ないメモリを必要とし、且つ／あるいは例えばビデオカメラから送信される場合により狭い帯域幅を必要とするだろう。多くの場合、いわゆる符号器は、映像シーケンスの圧縮、即ち符号化を実行するために使用される。従って、ビデオカメラは符号器を備えてもよい。符号化映像シーケンスは、ビデオカメラから例えばテレビジョンセット（ＴＶ）等の表示装置に送信されてもよい。ＴＶは、符号化映像シーケンスを伸張、即ち復号化できるように、いわゆる復号器を備えてもよい。これは、復号器が受信した符号化映像シーケンスを復号化するために使用されることを意味する。他の例において、符号器は、セルラ通信システムの無線基地局に備えられてもよく、復号器は、例えば携帯電話等の無線デバイスに備えられてもよく、またその逆でもよい。

既知の映像符号化技術は、高効率映像符号化（ＨＥＶＣ）と呼ばれる。ＨＥＶＣは、映像符号化共同研究部会（ＪＣＴ−ＶＣ）により現在開発されている新しいビデオ符号化基準である。ＪＣＴ−ＶＣは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）と国際電気通信連合−電気通信標準化部門（ＩＴＵ−Ｔ）との共同プロジェクトである。

ＨＥＶＣは、インター予測のために多数の参照ピクチャを使用するハイブリッドコーデックである。ＨＥＶＣは、参照ピクチャが「短期参照のために使用される」、「長期参照のために使用される」及び「参照のために使用されない」ものとしてマーク付けされうるピクチャマーク付け処理を含む。ピクチャが「参照のために使用されない」とマーク付けされた場合、ピクチャをこれ以上インター予測のために使用することはできない。ＨＥＶＣにおけるマーク付け処理は、参照ピクチャセット（ＲＰＳ）により制御される。ＲＰＳは、参照ピクチャを識別するピクチャ識別子の集合である。集合は各スライスにおいて送出される。参照ピクチャは、ＲＰＳにある場合には復号化ピクチャバッファ（ＤＰＢ）に保持される。スライスは、同一のフレームにおいて他のあらゆる領域から個別に符号化されるフレームの空間的に別個の領域である。スライスセグメントヘッダ構文のＲＰＳ部分を表１に示す。

ＨＥＶＣにおけるピクチャは、最大ピクチャ順序カウント（ＰＯＣ）値としても知られているＰＯＣ値により識別される。各スライスは、ピクチャにおける全てのスライスに対して同一のものとするコードワードｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂを含む。ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂは、固定長コードワードであるため最大ＰＯＣの最下位ビット（ｌｓｂ）としても知られている。最大ＰＯＣの最下位ビットのみが信号を伝送される。最大ＰＯＣ値が符号化／復号化される各ピクチャに割り当てられうるように、符号器及び復号器の双方は、ＰＯＣラップアラウンドを追跡する。

短期ピクチャは、一対の番号、即ち参照ピクチャのＰＯＣ及びフラグｕｓｅｄ＿ｂｙ＿ｃｕｒｒ＿ｐｉｃ＿ｌｘ＿ｆｌａｇによりＲＰＳにおいて示される。復号器は、ＤＰＢにおける参照ピクチャのＰＯＣを認識し、これらをＲＰＳにおいて受信したＰＯＣ値と適合させうる。フラグｕｓｅｄ＿ｂｙ＿ｃｕｒｒ＿ｐｉｃ＿ｌｘ＿ｆｌａｇは、参照ピクチャが現在のピクチャに対して参照のために使用されるか否かを示す。

一般に長期ピクチャは、参照ピクチャのＰＯＣ値の最下位ビット（ｌｓｂ）部分によりＲＰＳにおいて示される。しかし、ＨＥＶＣ基準は、長期ピクチャを参照する別の方法を提供するオプションのコードワードｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｌｔ＿ｍｉｎｕｓ１を有する。ＨＥＶＣスライスヘッダ構文の長期ピクチャ部分を表１の末尾に示す。

表１−ＲＰＳスライスヘッダ構文

ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０である場合、長期ピクチャは、そのＰＯＣのみのｌｓｂ部分により示される。ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１である場合、長期ピクチャは、最大ＰＯＣ、即ちＰＯＣのｌｓｂ部分及びＰＯＣのｍｓｂ部分を算出するために使用されたＰＯＣ ｍｓｂサイクルにより示される。１であるｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇにより、２つの長期ピクチャは同一のＰＯＣ ｌｓｂを共有できる。ＨＥＶＣ基準は、現在、同一のＰＯＣ ｌｓｂを含むＤＰＢにおいて少なくとも２つの参照ピクチャがある場合は常にｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１であるものとすると命令している。これは、草案ＨＥＶＣ仕様書における以下の文により制限される。草案ＨＥＶＣ仕様書において、ＤｅｌｔａＰｏｃＬｔは、ＲＰＳにおいて長期ピクチャの全てのＰＯＣ ｌｓｂを保持するリストである。

ＰｏｃＬｓｂＬｔ［ｉ］であるピクチャ順序カウントモジュロＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂを含む復号化ピクチャバッファにおいて２つ以上の参照ピクチャがある場合、ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌｇ［ｉ］は１であるものとする。

この制限によれば、長期ピクチャがＲＰＳにより示されており、且つその長期ピクチャと同一のＰＯＣ ｌｓｂを含む復号化ピクチャバッファにおいて２つ以上の参照ピクチャがある場合、長期ピクチャ指示がＰＯＣ ｍｓｂサイクルの信号伝送を含むものとする、即ちｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがＲＰＳにおけるその長期ピクチャ指示に対して１であるものとする。

ＨＥＶＣビットストリームは、１つ以上のＣＶＳ（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ）から構成される。符号化映像シーケンスは、復号化順序で、ＣＶＳにおけるピクチャが参照のために別のＣＶＳにおけるピクチャを使用しないようにＤＰＢにおいて存在する全てのピクチャが「参照のために使用されない」とマーク付けされる予測のために他のあらゆるピクチャを使用しないピクチャの種類を有する第１のピクチャから開始する。ＣＶＳは、ＮＡＬユニットストリームにおいて連続した一連のアクセスユニットから構成され（以下を参照）、１つのシーケンスパラメータセット（ＳＰＳ）のみを使用する。ＳＰＳは、ＳＰＳ＿ＮＵＴ等の特殊な種類のＮＡＬユニットとして規定される。ＳＰＳは、符号化映像シーケンス全体に対して有効な情報、例えばピクチャが復号器から出力される場合にそれらに適用されるクロッピングウィンドウパラメータ又はピクチャサイズを含む。

ＨＥＶＣは時間サブレイヤを規定する。ピクチャ毎に、構文要素ｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１から算出されたＮＡＬユニットヘッダにおける可変ＴｅｍｐｏｒａｌＩｄは、ピクチャがどの時間サブレイヤに属するかを示す。下位時間サブレイヤは上位時間サブレイヤに依存できない。サブビットストリーム抽出処理は、最上位時間サブレイヤの１つ以上がビットストリームから除去される場合に残りのビットストリームが適合するビットストリームとなるものとすることを要求する。一例として、下位時間サブレイヤは、上位時間サブレイヤに対応する表示レート又はビットレートより低い表示レート又はビットレートと関連付けられてもよい。時間サブレイヤは、ＮＡＬユニットヘッダを見るだけでサブビットストリームを抽出できるようにし、ビットストリームの他の部分を復号化する必要がないことが理解されるものとする。

ＨＥＶＣにおいて、符号化ピクチャは、アクセスユニットの部分を形成する１つ以上のネットワーク抽象化層（ＮＡＬ）ユニットにおいてカプセル化される。ＮＡＬユニットは、符号化ピクチャサンプルを含むか又は他の関連付けられたデータを含むかのそれぞれに従って、上述のＳＰＳ等のビデオ符号化層（ＶＣＬ）ユニット又は非ＶＣＬ ＮＡＬユニットとして分類される。ＨＥＶＣ基準において、同一のピクチャの全てのＶＣＬ ＮＡＬユニットは、符号化ピクチャに関する特性を示し且つ復号化処理に影響を及ぼす可能性のある同一のＮＡＬユニットの種類を有する必要がある。ＮＡＬユニットの種類、即ちＴＲＡＩＬ＿Ｎ、ＴＳＡ＿Ｎ、ＳＴＳＡ＿Ｎ、ＲＡＳＬ＿Ｎ及びＲＡＤＬ＿Ｎは、このピクチャが同一の時間サブレイヤのあらゆるピクチャにより参照のために使用されないことを示すために使用される。このテキストにおいて、これらのピクチャをＮＲＴＳＬ（Ｎｏｎ−Ｒｅｆｅｒｅｎｃｅ Ｔｅｍｐｏｒａｌ Ｓｕｂ−Ｌａｙｅｒ）ピクチャと呼ぶ。ＮＡＬユニットの種類ＲＳＶ＿ＶＣＬ＿Ｎ１０、ＲＳＶ＿ＶＣＬ＿Ｎ１２又はＲＳＶ＿ＶＣＬ＿Ｎ１４は、ＨＥＶＣ仕様書の将来のバージョンに備えて未使用である。しかし、それらは、ここで既にＮＲＴＳＬピクチャの特性を有している必要があるため、適合するビットストリームにおいてこれらのＮＡＬユニットの種類を使用することがまだ許可されていなくても、ＮＲＴＳＬピクチャであると考えられてもよい。このテキストにおいて、他の全てのピクチャの種類をＲＴＳＬ（Ｒｅｆｅｒｅｎｃｅ Ｔｅｍｐｏｒａｌ Ｓｕｂ−Ｌａｙｅｒ）ピクチャと呼ぶ。

ＮＲＴＳＬピクチャＸに対して、Ｘが属する時間サブレイヤが復号化される最上位時間サブレイヤである場合、残りのストリームの復号化可能性に影響を及ぼすことなく、Ｘ、即ちピクチャＸを搬送する全てのＮＡＬユニットをビットストリームから除去することが可能になる。しかし、Ｘが復号化又は破棄されたかに依存して復号化順序でＸに後続するピクチャＹが復号化される場合、ＤＰＢは種々のピクチャを含んでもよい。ピクチャＸが除去される場合、Ｙが復号化される際に同一のＰＯＣ ｌｓｂを含むＤＰＢにおいて２つの長期参照ピクチャが含まれるかもしれない。しかし、これは、Ｘが受信されていなければ当てはまらないだろう。従って、符号器は、Ｘがビットストリームにおいて存在する場合は問題ないが、Ｘが除去されていた場合に上述の制約に違反する場合に対して、０であるｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを使用していてもよい。この場合の復号化処理は規定されない。従って、この場合、残りのストリームの復号化可能性に影響を及ぼすことなくビットストリームからＸを除去するのは不可能である。

上位時間サブレイヤから個々のピクチャを除去する際、同一の状況が起こりうる。

以下の例を考える。
ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂに対して８ビットが使用される。これは、ＰＯＣ ｌｓｂ値が０以上２５５以下であることを意味する。ピクチャＸのＰＯＣは２５７である。ＰＯＣ０及び２５６を含むピクチャは、双方とも「長期参照のために使用される」ものとしてマーク付けされたＤＰＢにおいて存在する長期ピクチャである。これらの長期参照ピクチャの双方は、０であるＰＯＣ ｌｓｂを有する。ＰＯＣ０を含むピクチャのみがピクチャＸのＲＰＳにおいて存在する、即ちＰＯＣ２５６を含むピクチャがＤＰＢから除去されるものと仮定する。ＨＥＶＣは制限を含む。

ＰｏｃＬｓｂＬｔ［ｉ］であるピクチャ順序カウントモジュロＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂを含む復号化ピクチャバッファにおいて２つ以上の参照ピクチャがある場合、ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は１であるものとする。

従って、ピクチャＸは、ＰＯＣ０を含むピクチャに対して１であるｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを信号送信する必要がある。

ピクチャＸのＲＰＳが復号化されていた場合、０であるＰＯＣ ｌｓｂを含むＤＰＢにおいて１つのピクチャしかないだろう。

ピクチャＹが復号化順序でＸに後続し、ＰＯＣ２５８を有し、且つ０であるＰＯＣを含む長期ピクチャがＤＰＢにおいて参照ピクチャとして保持されるものとすることをＲＰＳにおいて示すと仮定する。Ｙが復号化される場合、０であるＰＯＣ ｌｓｂを含むＤＰＢにおいて１つのピクチャしかないだろう。従って、ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ピクチャＹのＲＰＳにおけるそのピクチャに対して１である必要はない。

ＸがＹと同一の時間サブレイヤにおいてＮＲＴＳＬピクチャであった場合又はＸがＹより上位の時間サブレイヤにおいて符号化された場合には、Ｙの復号化可能性に影響を及ぼすことなくＸを除去できるべきである。しかし、ピクチャＸが除去される場合、０であるＰＯＣ ｌｓｂを含むＤＰＢにおいて２つの長期参照ピクチャがあるだろう。ＹのＲＰＳにおいて０であるＰＯＣ ｌｓｂを含む長期参照ピクチャに対してｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０であるため、これらのピクチャのうちのどの１つをＤＰＢにおいて参照ピクチャとして保持すべきかは復号化処理において規定されない。従って、残りのビットストリームは復号化不可能であり、ＮＲＴＳＬピクチャの種類及び時間階層化の意図は絶たれる。

目的は、ＨＥＶＣ対応のビットストリームの符号化を向上させる方法であってもよい。

第１の態様によると、目的は、符号器が実行する映像シーケンスを符号化するための方法により達成される。映像シーケンスの現在のピクチャを符号化する場合、符号器は以下を実行する。符号器は、先行参照ピクチャに対する指示を算出する。先行参照ピクチャは、復号化順序で現在のピクチャの前に位置する。先行参照ピクチャは、現在のピクチャに対して復号化順序で最近接する時間識別子が０の先行参照ピクチャである。符号器は、先行参照ピクチャに対する指標の第１の集合を作成する。第１の集合は、先行参照ピクチャに対する指示と、先行参照ピクチャの第１の参照ピクチャセット（ＲＰＳ）に含まれた全ての参照ピクチャに対する指標の第２の集合と、復号化順序で先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第３の集合とを含む。現在のピクチャの第２のＲＰＳにおける長期参照ピクチャが、ピクチャ順序カウントの前記最下位ビットを有し、かつ、第１の集合において示された２つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合、符号器は、長期参照ピクチャに対するフラグを設定する。フラグは、第２のＲＰＳにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。

第２の態様によると、目的は、映像シーケンスを符号化するように構成された符号器により達成される。符号器は、映像シーケンスの現在のピクチャを符号化するように以下のように構成される。従って、符号器は、先行参照ピクチャに対する指示を算出するように構成される。先行参照ピクチャは、復号化順序で現在のピクチャの前に位置する。先行参照ピクチャは、現在のピクチャに対して復号化順序で最近接する時間識別子が０の先行参照ピクチャである。また、符号器は、先行ピクチャに対する指標の第１の集合を作成するように構成される。第１の集合は、先行参照ピクチャに対する指示と、先行参照ピクチャの第１のＲＰＳに含まれた全ての参照ピクチャに対する指標の第２の集合と、復号化順序で先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第３の集合とを含む。更に、現在のピクチャの第２のＲＰＳにおける長期参照ピクチャが、ピクチャ順序カウントの前記最下位ビットを有し、かつ、第１の集合において示された２つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合、符号器は、長期参照ピクチャに対するフラグを設定するように構成される。フラグは、第２のＲＰＳにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。

第３の態様によると、目的は、復号器が実行する、映像シーケンスを取得するためにビットストリームを復号化するための方法により達成される。ビットストリームから現在のピクチャを復号化する際、復号器は以下を実行する。復号器は、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットをビットストリームから取得する。復号器は、前記長期参照ピクチャに対するフラグを取得する。フラグは、ピクチャ順序カウントサイクルを使用するか否かを示す。ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、最下位ビットが復号器の復号化ピクチャバッファにおける２つ以上の参照ピクチャと一致する場合、復号器は、ビットストリームが不適合のビットストリームであると判断する。

第４の態様によると、目的は、映像シーケンスを取得するためにビットストリームを復号化するように構成された復号器により達成される。復号器は、ビットストリームから現在のピクチャを復号化するように以下のように構成される。従って、復号器は、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットをビットストリームから取得するように構成される。また、復号器は、前記長期参照ピクチャに対するフラグを取得するように構成される。フラグは、ピクチャ順序カウントサイクルを使用するか否かを示す。更に、ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、最下位ビットが復号器の復号化ピクチャバッファにおける２つ以上の参照ピクチャと一致する場合、復号器は、ビットストリームが不適合のビットストリームであると判断するように構成される。

第５の態様によると、目的は、符号器が実行する、映像シーケンスを符号化するための方法により達成される。映像シーケンスの現在のピクチャを符号化する場合に、現在のピクチャのＲＰＳにおける長期参照ピクチャ毎に、符号器は以下を実行する。符号器は、前記長期参照ピクチャのそれぞれに対する各ピクチャ順序カウントをピクチャ順序カウントのリストに格納する。リストが各ピクチャ順序カウントとは異なるピクチャ順序カウントを含み、かつ、当該ピクチャ順序カウントが各ピクチャ順序カウントの最下位ビットに等しい最下位ビットを有する場合に、符号器は、前記各長期参照ピクチャに対するフラグを設定する。フラグは、現在のピクチャのＲＰＳにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。

第６の態様によると、目的は、映像シーケンスを符号化するように構成された符号器により達成される。符号器は、映像シーケンスの現在のピクチャのＲＰＳにおける長期参照ピクチャ毎の現在のピクチャを符号化するように以下のように構成される。従って、符号器は、前記長期参照ピクチャのそれぞれに対する各ピクチャ順序カウントをピクチャ順序カウントのリストに格納するように構成される。また、リストが各ピクチャ順序カウントとは異なるピクチャ順序カウントを含み、かつ、当該ピクチャ順序カウントが各ピクチャ順序カウントの最下位ビットに等しい最下位ビットを有する場合に、符号器は、前記各長期参照ピクチャに対するフラグを設定するように構成される。フラグは、現在のピクチャのＲＰＳにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。

第７の態様によると、目的は、符号器で実行される場合に本明細書において説明する方法を符号器に実行させるコンピュータ可読コードユニットを備えるコンピュータプログラムにより達成される。

第８の態様によると、目的は、コンピュータ可読媒体と、コンピュータ可読媒体上に格納された先ほど上述したようなコンピュータプログラムとを備えるコンピュータプログラム製品により達成される。

第９の態様によると、目的は、復号器で実行される場合に本明細書において説明する方法を復号器に実行させるコンピュータ可読コードユニットを備えるコンピュータプログラムにより達成される。

第１０の態様によると、目的は、コンピュータ可読媒体と、コンピュータ可読媒体上に格納された先ほど上述したようなコンピュータプログラムとを備えるコンピュータプログラム製品により達成される。

それによって、符号器はフラグを設定する時を慎重に確認し、時間層が除去されている場合のＨＥＶＣにおける長期ピクチャ指示に関する曖昧さは回避される。従って、除去されるべきであるようにピクチャが種類を有するかあるいは時間サブレイヤに属する場合、本発明の実施形態のうち少なくとも１つは、ストリームの復号化可能性に影響を及ぼすことなくビットストリームからピクチャを除去する機能を提供する。

特定の特徴及び利点を含む本明細書において開示される実施形態の種々の態様は、以下の詳細な説明及び添付の図面から容易に理解されるだろう。
図１は、本発明の実施形態が実現されてもよい例示的なシステムを示す概略図である。 図２は、ピクチャ順序カウントと、復号化順序と、参照ピクチャセットとの関係を示すブロック図である。 図３は、信号方式と、図１に係るシステムにおいて実行される場合の方法の実施形態を示すフローチャートとを組み合わせた概略図である。 図４は、符号器における方法の実施形態を示すフローチャートである。 図５は、符号器における方法の実施形態を示す更なるフローチャートである。 図６は、符号器の実施形態を示すブロック図である。 図７は、符号器の実施形態を示す別のブロック図である。 図８は、符号器の実施形態を示す更なるブロック図である。 図９は、復号器における方法の実施形態を示すフローチャートである。 図１０は、復号器の実施形態を示すブロック図である。 図１１は、復号器の実施形態を示す別のブロック図である。 図１２は、復号器の実施形態を示す更なるブロック図である。

以下の説明において、同様の要素、ユニット、モジュール、回路、ノード、部分、項目又は特徴を示すために、同一の図中符号が適宜使用されている。図中、いくつかの実施形態において現れる特徴は、破線により示されてもよい。

図１は、本発明の実施形態が例示的なシステム１００において実現される例を示す。システムは、復号器５０と、符号器８０とを備える。

復号器５０及び／又は符号器８０は、例えばテレビセットトップボックス、ビデオカメラ等のビデオプレーヤ／レコーダ、Ｂｌｕ−ｒａｙプレーヤ、デジタル汎用ディスク（ＤＶＤ）−プレーヤ、メディアセンター及びメディアプレーヤに備えられてもよい。

図２は、ピクチャ順序カウント（ＰＯＣ）と、復号化順序と、参照ピクチャセット（ＲＰＳ）との関係を示す。ピクチャを復号化するために、ある特定のいわゆる参照ピクチャ２０１〜２０７が参照ピクチャとして使用される。一例として、ＰＯＣ＝１であるピクチャを復号化するために、ピクチャＰＯＣ＝０ ２０１及びＰＯＣ＝２ ２０２が参照ピクチャとして使用される。参照ピクチャセット（ＲＰＳ）は、これらの参照ピクチャのＰＯＣ値を含み、例えばＲＰＳ＝［０，２］である。尚、ＲＰＳは、ピクチャＰＯＣ＝１に対してここで示されたもの以外のピクチャを含んでもよい。

ＰＯＣ値は、符号化映像シーケンスのピクチャが、例えばユーザ、人及び検出者等の閲覧者に対して示される場合に出力、即ち表示される順序を示す。ＰＯＣ値は、現在のピクチャのスライスヘッダにおいて示される。

復号化順序は、符号化映像シーケンスのピクチャが復号化される順序を示す。図２において、ピクチャ「ｂ」は、ピクチャ「ｂ」が復号化されうる前にピクチャ「Ｂ」が復号化されることを要求する。

図２を参照すると、１＜２であるため、ＰＯＣ＝１であるピクチャは、ＰＯＣ又は出力順序に関してＰＯＣ＝２であるピクチャに先行するピクチャである。しかし、ＰＯＣ＝２であるピクチャ「Ｂ」は、上述の復号化順序に関してＰＯＣ＝１であるピクチャ「ｂ」に先行するピクチャである。

参照ピクチャセット（ＲＰＳ）は、どのピクチャを参照ピクチャとして保持すべきかを示す。これは、現在のピクチャについては、その復号化にＤＰＢにおける全ての参照ピクチャを使用する必要がないこと、例えば、いくつかのピクチャが将来使用するために参照ピクチャとしてマーク付けされてもよいことを意味する。従って、ＰＯＣ＝１であるピクチャに対して、ＰＯＣ＝１であるピクチャが復号化されうる前にＰＯＣ＝０及びＰＯＣ＝２であるピクチャが復号化される必要があることを図２の矢印が示すため、ＲＰＳは［０，２］である。実際には、ＰＯＣ＝１であるピクチャのＲＰＳは、そのピクチャがＰＯＣ＝３であるピクチャを復号化する際に使用されるために、ＰＯＣ＝４を更に含まなければならない。

更に、時間識別子が０の第１の時間層ｔ０を示す。更に上位の時間層ｔ１、ｔ２を更に示す。時間層の目的は、下位層に属するピクチャの復号化可能性に影響を及ぼすことなく上位時間層がビットストリーム等から除去されてもよいように、ピクチャを層に区分することである。その結果、下位時間層は、参照ピクチャとして上位時間層におけるピクチャを使用できないことが規定される。

図３は、図１に示される復号器５０及び符号器８０における例示的な方法を示す。従って、符号器８０は、映像シーケンスを符号化する方法を実行し、復号器５０は、映像シーケンスを取得するためにビットストリーム３１０を復号化する方法を実行する。映像シーケンスは、例えば符号化映像シーケンスの形式のビットストリーム３１０に含まれてもよい。ビットストリームは、ＨＥＶＣ対応のビットストリームであってもよい。

動作３０１〜３０４は、映像シーケンスの現在のピクチャを符号化する際に実行されてもよい。動作３０５〜３０７は、ビットストリームから現在のピクチャを復号化する際に実行されてもよい。

動作３０１
場合によっては動作３０２における指示を使用できるように、符号器８０は、先行参照ピクチャに対する指示を算出する。先行参照ピクチャは、復号化順序で現在のピクチャより前に配置される。現在のピクチャと比較して、先行参照ピクチャは、復号化順序で最近接する時間識別子が０の先行参照ピクチャである。
いくつかの例において、先行参照ピクチャに対する指示は先行参照ピクチャ自体であってもよく、これは、ｐｒｅｖＴｉｄ０Ｐｉｃで示されることがある。従って、指示は、ＴｅｍｐｏｒａｌＩｄが０の、復号化順序において先行するピクチャであってもよく、ＲＡＳＬピクチャ、ＲＡＤＬピクチャ又はサブレイヤ非参照ピクチャではない。
先行参照ピクチャの時間識別子は、先行参照ピクチャの先行ＮＡＬユニットにおいて示されてもよい。

動作３０２
どのＰＯＣ値が使用されたかを追跡するために、符号器８０は、先行ピクチャに対する指標の第１の集合を作成する。第１の集合は、
先行参照ピクチャに対する指示と、
先行参照ピクチャの第１のＲＰＳに含まれた全ての参照ピクチャに対する指標の第２の集合と、
復号化順序で指示により示された先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第３の集合とを含む。
「〜に対する指標」という表現は、指標があるピクチャを指し示すことを意味してもよいことが理解されるものとする。
第１の参照ピクチャセットは、先行参照ピクチャの先行スライスヘッダに含まれてもよい。

動作３０３
現在のピクチャの第２のＲＰＳにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、第１の集合において示された２つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合、動作３０３を実行する。従って、この動作が実行される場合、符号器８０は、長期参照ピクチャに対するフラグを設定する。これは、例えば符号器８０がフラグに１の値を割り当てることを意味する。フラグは、第２のＲＰＳにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。第２のＲＰＳは、長期参照ピクチャ又はそれらに対するポインタを含んでもよい。従って、長期参照ピクチャは、いくつかの例において長期参照ピクチャ指示であってもよい。

フラグをｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇと呼ぶことがあってもよい。更に、ピクチャ順序カウントをｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｃｙｃｌｅ＿ｌｔと呼んでもよい。

ピクチャ順序カウントは、映像シーケンスのピクチャが例えばＴＶ等の表示装置に出力される順序を示してもよい。

現在のピクチャの第２のＲＰＳにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、第１の集合において示されたゼロ又は１つのピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合、符号器８０は、ゼロの値をフラグに割り当てる等、フラグをクリアする。

動作３０４
ピクチャ順序カウントサイクルに関して復号器５０に通知するために、符号器８０は、ピクチャ順序カウントサイクルを現在のピクチャの現在のＮＡＬユニットを符号化してもよい。従って、ビットストリーム３１０は、ピクチャ順序カウントサイクルを含んでもよい。

動作３０５
動作３０７を実行できるように、復号器５０は、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットをビットストリームから取得する。動作３０５に関連して、ＲＰＳにおけるピクチャ順序カウントは、どのピクチャをＤＰＢにおいて参照ピクチャとして保持するかを示すために使用される。ピクチャ順序カウントは、映像シーケンスのピクチャが出力される順序を示す。
最下位ビットは、現在のＮＡＬユニットから取得されてもよい。

動作３０６
また、動作３０７を実行できるように、復号器５０は、前記長期参照ピクチャに対するフラグを取得する。フラグは、ピクチャ順序カウントサイクルを使用するか否かを示す。フラグは、符号器８０によりビットストリームに符号化されていてもよい。
ビットストリームの各ピクチャは、少なくとも１つのＮＡＬユニットを含んでもよい。各ピクチャは、前記少なくとも１つのＮＡＬユニットに含まれたスライスから復号化されてもよい。スライスはスライスヘッダを含んでもよい。スライスヘッダはフラグを含んでもよい。映像シーケンスの現在のピクチャは、現在のスライスヘッダを有する現在のスライスから復号化されてもよい。現在のスライスは、現在のＮＡＬユニットから復号化されてもよい。いくつかの例において、前記各ピクチャは複数のＮＡＬユニットを含む。従って、前記各ピクチャに対する複数のスライスがあってもよい。

動作３０７
ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、動作３０５で取得された最下位ビットが復号器５０の復号化ピクチャバッファにおける２つ以上の参照ピクチャと一致する場合、復号器５０は、ビットストリームが不適合のビットストリーム、例えばＨＥＶＣに準拠しないと判断する。復号化ピクチャバッファは、復号化順序で現在のピクチャの前に復号化されたピクチャを含んでもよい。

いくつかの第１の実施形態によると、０であるＴｅｍｐｏｒａｌＩｄを有する復号化順序で先行ＲＴＳＬピクチャ、即ち最下位時間サブレイヤをｐｒｅｖＴｉｄ０Ｐｉｃとする。一例として、ｐｒｅｖＴｉｄ０Ｐｉｃは、０であるＴｅｍｐｏｒａｌＩｄを有する復号化順序で先行ピクチャであってもよく、ＲＡＳＬピクチャ、ＲＡＤＬピクチャ又はサブレイヤ非参照ピクチャではない。

これらの第１の実施形態において、ビットストリームに制限が課される。ｐｒｅｖＴｉｄ０Ｐｉｃと、ｐｒｅｖＴｉｄ０ＰｉｃのＲＰＳにおけるピクチャと、復号化順序でｐｒｅｖＴｉｄ０Ｐｉｃに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャとから構成されるピクチャの集合において同一のＰＯＣ ｌｓｂを含む少なくとも２つのピクチャがある場合、制限を適用する。更に、制限を適用する場合、最大ＰＯＣ値を算出するために使用されたＰＯＣ ｍｓｂサイクル等の構文要素が、現在のピクチャのＲＰＳに含まれるその同一のＰＯＣ ｌｓｂを含む長期ピクチャに対して信号送信する必要がある。

制限を表現する別の方法は、ｐｒｅｖＴｉｄ０Ｐｉｃと、ｐｒｅｖＴｉｄ０ＰｉｃのＲＰＳにおけるピクチャと、復号化順序でｐｒｅｖＴｉｄ０Ｐｉｃに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャとから構成されるピクチャの集合においてＺのＰＯＣ ｌｓｂであるＰＯＣ ｌｓｂを含む少なくとも２つのピクチャがある場合、長期参照ピクチャＺが１であるｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇと共に信号送信する必要があるという方法である。

制限を定型化する１つの方法は、以下の通りである。
ＴＲＡＩＬ＿Ｎ、ＴＳＡ＿Ｎ、ＳＴＳＡ＿Ｎ、ＲＡＤＬ＿Ｎ及びＲＡＳＬ＿Ｎではないｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、且つ０であるＴｅｍｐｏｒａｌＩｄを有する復号化順序で先行ピクチャをｐｒｅｖＴｉｄ０Ｐｉｃとする。
以下のものから構成される集合をｓｅｔＯｆＰｒｅｖｉｏｕｓＰｉｃｔｕｒｅｓとする。
−ｐｒｅｖＴｉｄ０Ｐｉｃ
−ｐｒｅｖＴｉｄ０ＰｉｃのＲＰＳにおける全てのピクチャ
−復号化順序でｐｒｅｖＴｉｄ０Ｐｉｃに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャ
ＰｏｃＬｓｂＬｔ［ｉ］であるピクチャ順序カウントモジュロＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂを含むｓｅｔＯｆＰｒｅｖｉｏｕｓＰｉｃｔｕｒｅｓにおいて２つ以上のピクチャがある場合、ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は１であるものとする。

別のｐｒｅｖＴｉｄ０Ｐｉｃは、以下の通り推論される。
０であるＴｅｍｐｏｒａｌＩｄを有する復号化順序で先行参照ピクチャをｐｒｅｖＴｉｄ０Ｐｉｃとする。
別のＰｒｅｖＴｉｄＰｉｃは、例えば以下の通り全体的に規定される。
ＰｒｅｖＴｉｄ０Ｐｉｃは、ＴＲＡＩＬ＿Ｎ、ＴＳＡ＿Ｎ、ＳＴＳＡ＿Ｎ、ＲＡＤＬ＿Ｎ、ＲＡＳＬ＿Ｎ、ＲＳＶ＿ＶＣＬ＿Ｎ１０、ＲＳＶ＿ＶＣＬ＿Ｎ１２又はＲＳＶ＿ＶＣＬ＿Ｎ１４ではないｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、且つ０であるＴｅｍｐｏｒａｌＩｄを有する復号化順序で先行ピクチャに等しく設定される。

その後、制限は以下の通り定型化される。
以下のものから構成される集合をｓｅｔＯｆＰｒｅｖｉｏｕｓＰｉｃｔｕｒｅｓとする。
−ｐｒｅｖＴｉｄ０Ｐｉｃ
−ｐｒｅｖＴｉｄ０ＰｉｃのＲＰＳにおける全てのピクチャ
−復号化順序でｐｒｅｖＴｉｄ０Ｐｉｃに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャ
ＰｏｃＬｓｂＬｔ［ｉ］であるピクチャ順序カウントモジュロＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂを含むｓｅｔＯｆＰｒｅｖｉｏｕｓＰｉｃｔｕｒｅｓにおいて２つ以上の参照ピクチャがある場合、ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は１であるものとする。

符号器は、以下のステップに係る実施形態を使用するように構成されてもよい。
１．符号器は、どのピクチャがＰｒｅｖＴｉｄ０Ｐｉｃ、即ちＴＲＡＩＬ＿Ｎ、ＴＳＡ＿Ｎ、ＳＴＳＡ＿Ｎ、ＲＡＤＬ＿Ｎ、ＲＡＳＬ＿Ｎ、ＲＳＶ＿ＶＣＬ＿Ｎ１０、ＲＳＶ＿ＶＣＬ＿Ｎ１２又はＲＳＶ＿ＶＣＬ＿Ｎ１４ではないｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、且つ０であるＴｅｍｐｏｒａｌＩｄを有する復号化順序で先行ピクチャであるかに関する情報を格納（又は算出）する。
２．ｐｒｅｖＴｉｄ０Ｐｉｃと、ｐｒｅｖＴｉｄ０ＰｉｃのＲＰＳにおける全てのピクチャと、復号化順序でｐｒｅｖＴｉｄ０Ｐｉｃに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャとから構成される集合ｓｅｔＯｆＰｒｅｖｉｏｕｓＰｉｃｔｕｒｅｓが作成される。
３．同一のＰＯＣ ｌｓｂを含むｓｅｔＯｆＰｒｅｖｉｏｕｓＰｉｃｔｕｒｅｓにおいて２つ以上のピクチャがあるＰＯＣ ｌｓｂを有するＲＰＳにおける長期参照ピクチャを符号器が信号送信したい場合は常に、ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｍｔ＿ｆｌａｇは、そのピクチャに対して１に等しく信号送信される。即ち、ＰＯＣ ｍｓｂサイクルはそのピクチャに対して信号送信される。

別の方法で表現すると、符号器は、以下のステップに係る実施形態を使用するように構成されてもよい。
１．符号器は、どのピクチャがＰｒｅｖＴｉｄ０Ｐｉｃ、即ちその時間サブレイヤにおける非参照ピクチャではなく、且つ０であるＴｅｍｐｏｒａｌＩｄを有する復号化順序で先行ピクチャであるかに関する情報を格納（又は算出）する。
２．ｐｒｅｖＴｉｄ０Ｐｉｃと、ｐｒｅｖＴｉｄ０ＰｉｃのＲＰＳにおける全てのピクチャと、復号化順序でｐｒｅｖＴｉｄ０Ｐｉｃに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャとから構成される集合ｓｅｔＯｆＰｒｅｖｉｏｕｓＰｉｃｔｕｒｅｓが作成される。
３．同一のＰＯＣ ｌｓｂを含むｓｅｔＯｆＰｒｅｖｉｏｕｓＰｉｃｔｕｒｅｓにおいて２つ以上のピクチャがあるＰＯＣ ｌｓｂを有するＲＰＳにおける長期参照ピクチャを符号器が信号送信したい場合は常に、ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｍｔ＿ｆｌａｇは、そのピクチャに対して１に等しく信号送信される。即ち、ＰＯＣ ｍｓｂサイクルはそのピクチャに対して信号送信される。

あるいは、ＰｒｅｖＴｉｄ０Ｐｉｃは以下の通り規定される。
ＰｒｅｖＴｉｄ０Ｐｉｃは、０であるＴｅｍｐｏｒａｌＩｄを有する復号化順序で先行時間サブレイヤ参照ピクチャに等しく設定される。

その後、ＲＴＳＬ（Ｒｅｆｅｒｅｎｃｅ Ｔｅｍｐｏｒａｌ Ｓｕｂ−Ｌａｙｅｒ）ピクチャは、ＴＲＡＩＬ＿Ｎ、ＴＳＡ＿Ｎ、ＳＴＳＡ＿Ｎ、ＲＡＤＬ＿Ｎ、ＲＡＳＬ＿Ｎ、ＲＳＶ＿ＶＣＬ＿Ｎ１０、ＲＳＶ＿ＶＣＬ＿Ｎ１２又はＲＳＶ＿ＶＣＬ＿Ｎ１４ではないｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するピクチャとして規定される。

復号器は、以下のステップに係る実施形態を使用してもよい。
１．復号器は、スライスを受信し、ＲＰＳに関連した構文要素を含むスライスセグメントヘッダにおける構文要素を構文解析する。
２．ＤＰＢにおいて同一のＰＯＣ ｌｓｂを含む２つの参照ピクチャ、例えば１つの短期参照ピクチャ及び１つの長期参照ピクチャ又は２つの長期参照ピクチャ等があり、且つ現在のＲＰＳがそのＰＯＣ ｌｓｂに等しいＰｏｃＬｓｂＬｔ［ｉ］及び０である。ｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含むエントリを含む場合、復号器は、ビットストリームがＨＥＶＣ基準と準拠しないと判断し、それをビットエラー、データの損失又は不適合のビットストリーム、あるいは符号器として解釈してよい。復号器は、エラーを報告するか、誤り補正を実行するか、あるいはビットが対応していないという認識に基づいて他の措置を取ってもよい。復号器は、上位時間層から１つ以上の個々のピクチャを除去すること又は現在のピクチャと同一の時間層からＮＲＴＳＬピクチャを除去することにより、ビットストリームがＨＥＶＣ対応のビットストリームから作成されなかったと更に判断する。
いくつかの第２の実施形態において、符号器は、以下のステップを実行するように構成される。

１．符号化される現在のピクチャ毎に、以下のステップが実行される。
ａ．長期参照ピクチャとして使用される全てのピクチャＡに対して、以下のステップが実行される。
i．ＡのＰＯＣ値は、符号器によりリストｕｓｅｄＬｏｎｇＴｅｒｍＰｏｃＶａｌｕｅｓに格納される。
ii．ＡのＰＯＣ値とは異なるが、ＡのＰＯＣ ｌｓｂに等しいＰＯＣ ｌｓｂを含むｕｓｅｄＬｏｎｇＴｅｒｍＰｏｃＶａｌｕｅｓにＰＯＣ値がある場合、Ａは、ＰＯＣ ｍｓｂサイクルで信号送信されると判定される。
ｂ．現在のピクチャのＲＰＳは、ステップａ．iiで判定されたことに従って設定されたｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇと共に信号送信される。

この方法を以下の図５に更に示す。実施形態の１つのバージョンにおいて、符号器が新しいＣＶＳを符号化し始める際、即ち新しいピクチャ毎ではなく、リストｕｓｅｄＬｏｎｇＴｅｒｍＰｏｃＶａｌｕｅｓはリセットされる（空にされる）。

実施形態の別のバージョンにおいて、同一の符号化映像シーケンスにおいて同一のＰＯＣ ｌｓｂを含む２つの異なるピクチャが長期参照ピクチャとして使用される場合に、ＰＯＣ ｍｓｂサイクルがこれらのピクチャに対して信号送信する必要があることを要求するビットストリームの制限がある。

現在のＨＥＶＣの設計において、同一のＰＯＣ ｌｓｂを含むＤＰＢにおいて２つの長期ピクチャがあり、現在のＲＰＳがそれらのうちの１つに対する参照しか含まず、且つｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがこの参照に対して０である場合にどちらの長期ピクチャを「参照のために使用されない」ものとしてマーク付けするかが規定されないため、上位時間サブレイヤからのピクチャの除去又は同一の時間サブレイヤからの個々のＮＲＴＳＬ（Ｎｏｎ−Ｒｅｆｅｒｅｎｃｅ Ｔｅｍｐｏｒａｌ Ｓｕｂ−Ｌａｙｅｒ）ピクチャの除去により、復号化可能でないビットストリームを作成できる。

実施形態の基本概念は、時間サブレイヤの非参照ピクチャであるピクチャの除去が残りのストリームの復号化可能性に影響を及ぼさないように制限を実施することである。これは、以下に説明する実施形態に従って実現される。

第１の態様によると、符号器は、時間サブレイヤの非参照ピクチャであるピクチャの除去が残りのストリームの復号化可能性に影響を及ぼさないように制限を実現するように構成される。「復号化可能性」は、復号化する可能性を意味すると理解される。

符号器を備える受信機が更に提供される。

第２の態様によると、時間サブレイヤの非参照ピクチャであるピクチャの除去が残りのストリームの復号化可能性に影響を及ぼさないように制限を実現する符号器における方法。

符号器及び／又は復号器は、ビデオカメラ又はレンダリングデバイス等のデバイスにおいて実現されうる。

また、実施形態の更なる関連する態様は、ピクチャを符号化するためのコンピュータプログラムを規定する。コンピュータプログラムは、プロセッサにより実行される場合にプロセッサに１つ以上の本発明の実施形態を実行させるコード手段、例えばコンピュータプログラムテキスト又はバイナリファイルを含む。

実施形態の別の更なる態様は、コンピュータ可読媒体と、コンピュータ可読媒体上に格納されたコンピュータプログラムとを備えるコンピュータプログラム製品に関する。

更なる態様によると、復号器が提供される。復号器は、制限に関する情報を受信し且つピクチャを復号化する際の制限を使用するように構成される。

実施形態は、復号器、符号器及びビットストリーム上で動作するあらゆる要素、例えばネットワークノード又はメディアアウェアネットワーク要素（ＭＡＮＥ）に適用される。

実施形態は、ＨＥＶＣに限定されず、スケーラブル拡張又はマルチビュー拡張等のＨＥＶＣのあらゆる拡張、あるいは異なるビデオ符号化基準に適用されてもよい。

図４において、符号器８０における方法の例示的且つ概略的なフローチャートを示す。上述したように、符号器８０は、映像シーケンスを符号化する方法を実行する。

上述したように、映像シーケンスは、ＨＥＶＣ対応のビットストリームであってもよいビットストリームに符号化されてもよい。

ビットストリームの各ピクチャは、少なくとも１つのＮＡＬユニットを含んでもよい。各ピクチャは、前記少なくとも１つのＮＡＬユニットに含まれた少なくとも１つのスライスに符号化されてもよい。少なくとも１つのスライスは、スライスヘッダを含んでもよい。スライスヘッダはフラグを含んでもよい。映像シーケンスの現在のピクチャは、少なくとも１つの現在のスライスに符号化されてもよい。少なくとも１つの現在のスライスは、現在のＮＡＬユニットに符号化される。

映像シーケンスの現在のピクチャを符号化する際、以下の動作は、あらゆる適切な順序で実行されてもよい。

動作４０１
符号器８０は、先行参照ピクチャに対する指示を算出する。上述したように、先行参照ピクチャは、復号化順序で現在のピクチャの前に配置される。現在のピクチャと比較して、先行参照ピクチャは、復号化順序で最近接する時間識別子が０の先行参照ピクチャである。この動作は動作３０１に類似する。

動作４０２
符号器８０は、先行ピクチャに対する指標の第１の集合を作成する。第１の集合は、
先行参照ピクチャに対する指示と、
先行参照ピクチャの第１の参照ピクチャセット「ＲＰＳ」に含まれた全ての参照ピクチャに対する指標の第２の集合と、
復号化順序で先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第３の集合とを含む。
第１の参照ピクチャは、先行参照ピクチャの先行スライスヘッダに含まれてもよい。この動作は動作３０２に類似する。

動作４０３
符号器８０は、長期参照ピクチャに対するフラグを設定する。フラグは、第２のＲＰＳにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。現在のピクチャの第２のＲＰＳにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、第１の集合において示された２つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合、動作４０３を実行する。ピクチャ順序カウントは、映像シーケンスのピクチャが出力される順序を示してもよい。この動作は動作３０３に類似する。

動作４０４
符号器８０は、ピクチャ順序カウントサイクルを現在のピクチャの現在のＮＡＬユニットに符号化してもよい。この動作は動作３０４に類似する。

図５において、符号器８０における第２の実施形態に係る方法の例示的且つ概略的なフローチャートを示す。上述したように、符号器８０は、映像シーケンスを符号化する方法を実行する。
以下の動作は、あらゆる適切な順序で実行されてもよい。

動作５０１
現在のピクチャがＣＶＳ等の映像シーケンスの第１のピクチャであってもよい場合、符号器８０はリストをリセットしてもよい。
映像シーケンスの現在のピクチャを符号化する際、現在のピクチャの参照ピクチャセット「ＲＰＳ」における長期参照ピクチャ毎に、以下の動作が実行されてもよい。

動作５０２
符号器８０は、前記各長期参照ピクチャのそれぞれのピクチャ順序カウントをピクチャ順序カウントに対するリストに格納する。この動作は、上記のステップ１．ａ．iに類似する。

動作５０３
リストがそれぞれのピクチャ順序カウントとは異なるピクチャ順序カウントを含む場合及び例えばリストにおけるピクチャ順序カウントがそれぞれのピクチャ順序カウントの最下位ビットに等しい最下位ビットを有する場合、符号器８０は、前記各長期参照ピクチャに対するフラグを設定する。フラグは、現在のピクチャのＲＰＳにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。この動作は、上記のステップ１．ａ．iiに類似する。

図６は、一実施形態に係るピクチャを符号化するように構成された符号器６０１を示す概略ブロック図である。符号器は、本発明の実施形態のうちのいずれかに係る制限を適用するように構成された制限ユニット６０２を備える。更に符号器は、ビットストリームを生成及び出力するように構成された出力ユニット６０３を備える。

次に、図７を参照して、映像シーケンスを符号化するように構成された符号器８０を更に詳細に示す。符号器８０は、映像シーケンスの現在のピクチャを符号化する際に先行参照ピクチャに対する指示を算出するように構成される。先行参照ピクチャは、復号化順序で現在のピクチャの前に配置される。現在のピクチャと比較して、先行参照ピクチャは、復号化順序で最近接する時間識別子が０の先行参照ピクチャである。

更に符号器８０は、映像シーケンスの現在のピクチャを符号化する際に先行ピクチャに対する指標の第１の集合を作成するように構成される。第１の集合は、
先行参照ピクチャに対する指示と、
先行参照ピクチャの第１の参照ピクチャセット「ＲＰＳ」に含まれた全ての参照ピクチャに対する指標の第２の集合と、
復号化順序で先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第３の集合とを含む。

更に符号器８０は、映像シーケンスの現在のピクチャを符号化する際、現在のピクチャの第２のＲＰＳにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、第１の集合において示された２つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合に、長期参照ピクチャに対するフラグを設定するように構成される。フラグは、第２のＲＰＳにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。

符号器８０は、ピクチャ順序カウントサイクルを現在のピクチャの現在のＮＡＬユニットに符号化するように更に構成されてもよい。

ビットストリームの各ピクチャは、少なくとも１つのＮＡＬユニットを含んでもよい。各ピクチャは、前記少なくとも１つのＮＡＬユニットに含まれた少なくとも１つのスライスに符号化されてもよい。少なくとも１つのスライスは、スライスヘッダを含んでもよい。スライスヘッダはフラグを含んでもよい。映像シーケンスの現在のピクチャは、少なくとも１つの現在のスライスに符号化されてもよい。少なくとも１つの現在のスライスは、現在のＮＡＬユニットに符号化されてもよい。

先行参照ピクチャの時間識別子は、先行参照ピクチャの先行ＮＡＬユニットにおいて示されてもよい。

第１の参照ピクチャセットは、先行参照ピクチャの先行スライスヘッダに含まれてもよい。

ピクチャ順序カウントは、映像シーケンスのピクチャが出力される順序を示してもよい。

ビットストリームは、ＨＥＶＣ対応のビットストリームであってもよい。

また、第２の実施形態によると、符号器８０は、映像シーケンスを符号化するように構成される。

符号器８０は、映像シーケンスの及び現在のピクチャのＲＰＳにおける長期参照ピクチャ毎の現在のピクチャを符号化する際、前記各長期参照ピクチャのそれぞれのピクチャ順序カウントをピクチャ順序カウントに対するリストに格納するように構成される。

更に符号器８０は、映像シーケンスの及び現在のピクチャのＲＰＳにおける長期参照ピクチャ毎の現在のピクチャを符号化する際、リストがそれぞれのピクチャ順序カウントとは異なるピクチャ順序カウントを含む場合及びピクチャ順序カウントがそれぞれのピクチャ順序カウントの最下位ビットに等しい最下位ビットを有する場合、前記各長期参照ピクチャに対するフラグを設定するように構成される。フラグは、現在のピクチャのＲＰＳにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。

符号器８０は、現在のピクチャが映像シーケンスの第１のピクチャであってもよい場合にリストをリセットするように更に構成されてもよい。

従って、本明細書において説明する符号器８０は、例えばプロセッサ８２又は処理回路及び適切な記憶装置又はメモリ８４を含む適切なソフトウェア、プログラマブルロジックデバイス（ＰＬＤ）、あるいは図７に示されるような他の電子部品のうちの１つ以上により実現されうる。更に符号器８０は、映像ストリームのピクチャを受信するように構成された入力、即ち入力ユニット８１を備えることが好ましい。対応する出力、即ち出力ユニット８３は、スライスの符号化表現を好ましくはＮＡＬユニットの形式で出力するように構成される。

ユニットを含む図７の符号器は、ハードウェアで実現されうる。符号器のユニットの機能を実現するために使用及び組み合わせ可能な回路網要素の多くの変形例がある。そのような変形例は実施形態に含まれる。符号器のハードウェアの実現例の特定の例は、汎用電子回路網及び特定用途向け回路網の双方を含む集積回路技術、並びにデジタル信号プロセッサ（ＤＳＰ）における実現例である。

図７は、符号器８０で実行される場合に図３、図４又は図５に係る方法を符号器８０に実行させるコンピュータ可読コードユニットを備えるコンピュータプログラム８５を更に示す。

最後に、図７は、コンピュータ可読媒体８７と、コンピュータ可読媒体８７上に格納された先ほど上述したようなコンピュータプログラム８５とを備えるコンピュータプログラム製品８６を示す。

コンピュータ可読媒体は、メモリ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＤＶＤディスク、Ｂｌｕ−ｒａｙディスク、データストリームとして受信されるソフトウェアモジュール、フラッシュメモリ、ハードウェアドライブ等であってもよい。

次に、図８を参照すると、本発明の実施形態に係る符号器６２は、例えば移動デバイス等のビデオカメラにおける送信機６０に配置されてもよい。送信機６０は、符号化される映像ストリームのピクチャを受信するように構成された入力、即ち入力ユニット６１を備える。ピクチャは、本明細書において開示されるように符号器６２により符号化される。符号化ピクチャは、ＮＡＬユニット又はそのようなＮＡＬユニットを搬送するデータパケット等の符号化ビットストリーム形式で出力、即ち出力ユニット６３により送信機６０から出力される。

図９において、復号器５０により実行される映像シーケンスを取得するためにビットストリームを復号化する方法の例示的且つ概略的なフローチャートを示す。

ビットストリームから現在のピクチャを復号化する際、以下の動作は、あらゆる適切な順序で実行されてもよい。

動作９０１
復号器５０は、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットをビットストリームから取得する。最下位ビットは、ＮＡＬユニットから取得されてもよい。この動作は動作３０５に類似する。

動作９０２
復号器５０は、前記長期参照ピクチャに対するフラグを取得する。フラグは、ピクチャ順序カウントサイクルを使用するか否かを示す。この動作は動作３０６に類似する。
ビットストリームの各ピクチャは、少なくとも１つのＮＡＬユニットを含んでもよい。各ピクチャは、前記少なくとも１つのＮＡＬユニットに含まれたスライスから復号化されてもよい。スライスはスライスヘッダを含んでもよい。スライスヘッダはフラグを含んでもよい。映像シーケンスの現在のピクチャは、現在のスライスヘッダを有する現在のスライスから復号化されてもよい。現在のスライスは、現在のＮＡＬユニットから復号化されてもよい。

動作９０３
ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、最下位ビットが復号器５０の復号化ピクチャバッファにおける２つ以上の参照ピクチャと一致する場合、復号器５０は、ビットストリームが不適合のビットストリームであると判断する。復号化ピクチャバッファは、復号化順序で現在のピクチャの前に復号化されたピクチャを含んでもよい。判断することは、ＨＥＶＣに準拠しないと判断することを含む。この動作は動作３０７に類似する。

図１０は、実施形態に係る復号器１００１を示す簡略化された概略ブロック図である。復号器は、上述の実施形態のうちのいずれかに係る制限を有するビットストリームを受信するように構成された入力ユニット１００２を備える。復号器は、ピクチャを復号化する際にこの制限を使用するように構成される復号ユニット１００３を更に備える。

図１１は、映像シーケンスを取得するためにビットストリームを復号化するように構成された復号器５０を示すブロック図である。

復号器５０は、ビットストリームの現在のピクチャを復号化する際に、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットをビットストリームから取得するように構成される。

更に復号器５０は、ビットストリームから現在のピクチャを復号化する際に前記長期参照ピクチャに対するフラグを取得するように構成される。フラグは、ピクチャ順序カウントサイクルを使用するか否かを示す。

また、ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、最下位ビットが復号器５０の復号化ピクチャバッファにおける２つ以上の参照ピクチャと一致する場合、復号器５０は、ビットストリームから現在のピクチャを復号化する際にビットストリームが不適合のビットストリームであると判断するように構成される。

ピクチャ順序カウントは、映像シーケンスのピクチャが出力される順序を示す。

ビットストリームの各ピクチャは、少なくとも１つのＮＡＬユニットを含んでもよい。各ピクチャは、前記少なくとも１つのＮＡＬユニットに含まれたスライスから復号化されてもよい。スライスはスライスヘッダを含んでもよい。スライスヘッダはフラグを含んでもよい。映像シーケンスの現在のピクチャは、現在のスライスヘッダを有する現在のスライスから復号化されてもよい。現在のスライスは、現在のＮＡＬユニットから復号化されてもよい。

最下位ビットは、現在のＮＡＬユニットから取得されてもよい。

復号化ピクチャバッファは、復号化順序で現在のピクチャの前に復号化されたピクチャを含んでもよい。

復号器５０は、ＨＥＶＣに準拠しないと判断するように更に構成されてもよい。

ユニットを含む図１１の復号器は、ハードウェアで実現されうる。復号器のユニットの機能を実現するために使用及び組み合わせ可能な回路網要素の多くの変形例がある。そのような変形例は実施形態に含まれる。復号器のハードウェアの実現例の特定の例は、汎用電子回路網及び特定用途向け回路網の双方を含む集積回路技術、並びにデジタル信号プロセッサ（ＤＳＰ）における実現例である。

本明細書において説明する復号器５０は、例えばプロセッサ５２、処理回路及び適切な記憶装置又はメモリ５４を含む適切なソフトウェア、プログラマブルロジックデバイス（ＰＬＤ）、あるいは図１１に示されるような他の電子部品のうちの１つ以上により実現されうる。更に復号器５０は、例えばＮＡＬ（ネットワーク抽象化層）ユニットの形式のピクチャの符号化表現を受信するように構成された入力、即ち入力ユニット５１を備えることが好ましい。対応する出力、即ち出力ユニット５３は、復号化ピクチャを出力するように構成される。

一般に、参照ピクチャバッファは復号器５０の統合部分である。メモリ５４は、参照ピクチャバッファに加えて、復号化に必要なその他のものを含んでもよい。

図１１は、復号器５０で実行される場合に図３及び図９に示されたような方法を復号器５０に実行させるコンピュータ可読コードユニットを備えるコンピュータプログラム５５を更に示す。

最後に、図１１は、コンピュータ可読媒体５７と、コンピュータ可読媒体５７上に格納された先ほど上述したようなコンピュータプログラム５５とを備えるコンピュータプログラム製品５６を示す。

コンピュータ可読媒体は、メモリ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＤＶＤディスク、Ｂｌｕ−ｒａｙディスク、データストリームとして受信されるソフトウェアモジュール、フラッシュメモリ、ハードウェアドライブ等であってもよい。

次に、図１２を参照すると、本発明の実施形態に係る復号器３２は、例えば移動デバイス等のビデオカメラ、セットトップボックス又は表示装置における受信機３０に配置されてよい。受信機３０は、ＮＡＬユニットのデータパケット等の符号化ビットストリームを受信するように構成された入力、即ち入力ユニット３１を備える。ＮＡＬユニットの符号化表現は、本明細書において開示されるように復号器３２により復号化される。復号器３２は、映像ストリームにおける他のピクチャに対する参照ピクチャとして使用される既に復号化されたピクチャを一時的に格納する参照ピクチャバッファ３４を含むか又はそれに接続されることが好ましい。参照ピクチャセットにおけるピクチャは、参照ピクチャバッファに格納されてもよい。復号化ピクチャは、出力、即ち出力ユニット３３を利用して、受信機３０から、例えば参照ピクチャバッファ３４から出力される。これらの出力ピクチャは、受信機３０の画面又は表示装置、あるいは受信機３０に無線接続を含んで接続された画面又は表示装置上でユーザに対して表示されるように送出される。更に出力ピクチャは、表示されることなくディスク上に格納されてもよく、あるいはトランスコードされてもよい。

実施形態は、ＨＥＶＣに限定されず、スケーラブル拡張又はマルチビュー拡張等のＨＥＶＣのあらゆる拡張、あるいは異なるビデオコーデックに適用されてもよい。実施形態は、２Ｄ映像及び３Ｄ映像に対して適用可能である。

ユニット又はモジュールと対話する選択肢及びユニットの名称は、例示することのみを目的とし、開示された処理動作を実行できるように複数の別の方法で構成されてもよいことが理解されるべきである。

また、本明細書において説明されたユニット又はモジュールは、論理エンティティであると考えられるべきであり、別個の物理エンティティとしての必要性を有さない。本明細書において開示された技術の範囲は当業者に対して明らかとなるだろう他の実施形態を完全に含み、且つ本開示内容の範囲はそれに応じて制限されないことが理解されるだろう。

明示的な指定のない限り、単数形は「１つ及び１つのみ」ではなく、むしろ「１つ以上」を意味することを意図する。当業者には知られている上述の実施形態の要素に対する全ての構造的等価物及び機能的等価物は、参考として本明細書に明示的に取り入れられ、本明細書に含まれることを意図する。また、デバイス又は方法は、本明細書に含まれるように、本明細書において開示された技術により解決しようとする全ての問題に対処する必要はない。

先の説明において、限定する目的ではなく説明する目的で、特定のアーキテクチャ、インタフェース、技術等の具体的な詳細は、開示された技術を完全に理解するために上述された。しかし、開示された技術が、これらの具体的な詳細から逸脱する他の実施形態及び／又は実施形態の組み合わせにおいて実施されてもよいことは、当業者には明らかとなるだろう。即ち、当業者は、本明細書において明示的に説明又は図示されていないが開示された技術の原理を具体化する種々の構成を考案できるだろう。いくつかの例において、周知のデバイス、回路及び方法の詳細な説明は、不要な詳細で開示された技術の説明を不明瞭にしないように省略される。開示された技術の原理、態様及び実施形態を説明する本明細書における全ての言明、並びに具体的な例は、構造的等価物及び機能的等価物の双方を含むことを意図する。更に、そのような等価物は、現在知られている等価物、並びに将来開発される等価物、例えば構造に関係なく同一の機能を実行する開発されるあらゆる要素を含むことが意図される。

従って、例えば、本明細書におけるブロック図は、技術の原理を具体化する例示的な回路網又は他の機能ユニットの概略図を表せることが当業者には理解されるだろう。同様に、あらゆるフローチャート、状態遷移図及び擬似コード等は、コンピュータ可読媒体において実質的に表されてもよいために、そのようなコンピュータ又はプロセッサが明示的に示されているかいないかに関係なくコンピュータ又はプロセッサにより実行されてもよい種々の処理を示すことが理解されるだろう。

機能ブロックを含む種々の要素の機能は、回路ハードウェア等のハードウェア及び／又はコンピュータ可読媒体上に格納された符号化命令の形式でソフトウェアを実行できるハードウェアを使用して提供されてもよい。従って、そのような機能及び例示された機能ブロックは、ハードウェアで実現されるもの及び／又はコンピュータで実現されるもの、そのため機械で実現されるものとして理解されるべきである。

従って、例えば、本明細書におけるブロック図は、技術の原理を具体化する例示的な回路網又は他の機能ユニットの概略図を表せることが当業者には理解されるだろう。同様に、あらゆるフローチャート、状態遷移図及び擬似コード等は、コンピュータ可読媒体において実質的に表されてもよいために、そのようなコンピュータ又はプロセッサが明示的に示されているかいないかに関係なくコンピュータ又はプロセッサにより実行されてもよい種々の処理を示すことが理解されるだろう。

上述の実施形態は、本発明のいくつかの例示的な例として理解されるべきである。本発明の範囲から逸脱せずに、種々の変形、組み合わせ及び変更が本発明に対して行なわれてもよいことが当業者には理解されるだろう。特に、種々の実施形態における種々の部分の解決方法は、技術的に可能な場合には他の構成において組み合わされてもよい。

本明細書において使用されたように、例えばフラグと共に使用された場合の「設定」という用語は、１の値がフラグに割り当てられることを意味してもよい。

本明細書において使用されたように、例えばフラグと共に使用された場合の「クリア」という用語は、ゼロの値がフラグに割り当てられることを意味してもよい。

ＸがＹと同一の時間サブレイヤにおいてＮＲＴＳＬピクチャであった場合又はＸがＹより上位の時間サブレイヤにおいて符号化された場合には、Ｙの復号化可能性に影響を及ぼすことなくＸを除去できるべきである。しかし、ピクチャＸが除去される場合、０であるＰＯＣ ｌｓｂを含むＤＰＢにおいて２つの長期参照ピクチャがあるだろう。ＹのＲＰＳにおいて０であるＰＯＣ ｌｓｂを含む長期参照ピクチャに対してｄｅｌｔａ＿ｐｏｃ＿ｍｓｂ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０であるため、これらのピクチャのうちのどの１つをＤＰＢにおいて参照ピクチャとして保持すべきかは復号化処理において規定されない。従って、残りのビットストリームは復号化不可能であり、ＮＲＴＳＬピクチャの種類及び時間階層化の意図は絶たれる。（Rickard Sjoberg et. al.: “Overview of HEVC High-level syntax and reference picture management（HEVC ハイレベルシンタックス及び参照ピクチャ管理のオーバービュー）”, IEEEトランザクション 映像技術のための回路及びシステム, IEEE サービスセンタ, ピスキャタウェイ, NJ, US, vol. 22, no.12, 2012年12月1日, pages 1858-1870, ISSN:1051-8215, DOI: 10.1109/TCSVT.2012.2223052 は、ＲＰＳ（参照ピクチャセット）及びＤＰＢ（復号化ピクチャバッファ）の動作がどのように実行されるかを一般的に開示する。）

Claims (34)

1. 符号器（８０）が実行する、映像シーケンスを符号化するための方法であって、前記映像シーケンスの現在のピクチャを符号化する場合に、
   先行参照ピクチャに対する指示を算出するステップ（３０１）であって、前記先行参照ピクチャは復号化順序において前記現在のピクチャよりも前に位置し、かつ、前記現在のピクチャに対して復号化順序で最近接する時間識別子が０の先行参照ピクチャである、ステップ（３０１）と、
   先行ピクチャに対する指標の第１の集合を作成するステップ（３０２）であって、前記第１の集合は、
   前記先行参照ピクチャの前記指示と、
   前記先行参照ピクチャの第１の参照ピクチャセット（ＲＰＳ）に含まれた全ての参照ピクチャに対する指標の第２の集合と、
   復号化順序で前記先行参照ピクチャに後続し、且つ、復号化順序で前記現在のピクチャに先行する全てのピクチャに対する指標の第３の集合と
   を含むステップ（３０２）と、
   前記現在のピクチャの第２のＲＰＳにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、前記第１の集合において示された２つ以上のピクチャが前記長期参照ピクチャと同一の、ピクチャ順序カウントの前記最下位ビットの値を共有する場合に、前記長期参照ピクチャに対するフラグを設定するステップ（３０３）であって、前記フラグは、前記第２のＲＰＳにおける前記長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及び前記ピクチャ順序カウントの最下位ビットを使用することを示すステップ（３０３）と、
   を有することを特徴とする方法。
2. 前記ビットストリームの各ピクチャは少なくとも１つのＮＡＬユニットを含み、各ピクチャは前記少なくとも１つのＮＡＬユニットに含まれた少なくとも１つのスライスに符号化され、前記少なくとも１つのスライスはスライスヘッダを含み、前記スライスヘッダは前記フラグを含み、前記映像シーケンスの前記現在のピクチャは少なくとも１つの現在のスライスに符号化され、前記少なくとも１つの現在のスライスは現在のＮＡＬユニットに符号化されることを特徴とする請求項１記載の方法。
3. 前記方法は、
   前記ピクチャ順序カウントサイクルを前記現在のピクチャの前記現在のＮＡＬユニットに符号化するステップ（３０４）を更に有することを特徴とする請求項２記載の方法。
4. 前記先行参照ピクチャの前記時間識別子は、前記先行参照ピクチャの先行ＮＡＬユニットにおいて示されることを特徴とする請求項２または３に記載の方法。
5. 前記第１の参照ピクチャセットは、前記先行参照ピクチャの先行スライスヘッダに含まれることを特徴とする請求項２から４のいずれか１項に記載の方法。
6. 前記ピクチャ順序カウントは、前記映像シーケンスのピクチャが出力される順序を示すことを特徴とする請求項１から５のいずれか１項に記載の方法。
7. 前記ビットストリームは、高効率映像符号化（ＨＥＶＣ）対応のビットストリームであることを特徴とする請求項１から６のいずれか１項に記載の方法。
8. 復号器（５０）が実行する、映像シーケンスを取得するためにビットストリームを復号化するための方法であって、前記ビットストリームから現在のピクチャを復号化する場合に、
   前記現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットを前記ビットストリームから取得するステップ（３０５）と、
   ピクチャ順序カウントサイクルを使用するか否かを示す前記長期参照ピクチャに対するフラグを取得するステップ（３０６）と、
   前記ピクチャ順序カウントサイクルが使用されないことを前記フラグが示し、かつ、前記最下位ビットが前記復号器（５０）の復号化ピクチャバッファにおける２つ以上の参照ピクチャと一致する場合、前記ビットストリームが不適合ビットストリームであると判断するステップ（３０７）と、
   を有することを特徴とする方法。
9. 前記ピクチャ順序カウントは、前記映像シーケンスのピクチャが出力される順序を示すことを特徴とする請求項８記載の方法。
10. 前記ビットストリームの各ピクチャは少なくとも１つのＮＡＬユニットを含み、各ピクチャは、前記少なくとも１つのＮＡＬユニットに含まれたスライスから復号化され、前記スライスはスライスヘッダを含み、前記スライスヘッダは前記フラグを含み、前記映像シーケンスの前記現在のピクチャは、現在のスライスヘッダを有する現在のスライスから復号化され、前記現在のスライスは現在のＮＡＬユニットから復号化されることを特徴とする請求項８または９に記載の方法。
11. 前記最下位ビットは、前記現在のＮＡＬユニットから取得されることを特徴とする請求項１０記載の方法。
12. 前記復号化ピクチャバッファは、復号化順序で前記現在のピクチャの前に復号化されたピクチャを含むことを特徴とする請求項８から１１のいずれか１項に記載の方法。
13. 前記判断するステップは、高効率映像符号化（ＨＥＶＣ）に準拠していないと判断するステップを含むことを特徴とする請求項８から１２のいずれか１項に記載の方法。
14. 符号器（８０）が実行する、映像シーケンスを符号化するための方法であって、前記映像シーケンスの現在のピクチャを符号化する場合に、前記現在のピクチャの参照ピクチャセット（ＲＰＳ）における長期参照ピクチャ毎に、
    前記長期参照ピクチャのそれぞれに対する各ピクチャ順序カウントをピクチャ順序カウントに対するリストに格納するステップ（５０２）と、
    前記リストが前記各ピクチャ順序カウントとは異なるピクチャ順序カウントを含み、かつ、当該ピクチャ順序カウントが前記各ピクチャ順序カウントの最下位ビットに等しい最下位ビットを有する場合に、前記長期参照ピクチャのそれぞれに対するフラグを１に設定するステップ（５０３）であって、前記フラグは、前記現在のピクチャの前記ＲＰＳにおける前記長期参照ピクチャを示すためにピクチャ順序カウントサイクル及び前記ピクチャ順序カウントの最下位ビットを使用することを示すステップ（５０３）と、
    を有することを特徴とする方法。
15. 前記方法は、
    前記現在のピクチャが前記映像シーケンスの第１のピクチャである場合に前記リストをリセットするステップ（５０１）を有することを特徴とする請求項１４記載の方法。
16. 映像シーケンスを符号化するように構成された符号器（８０）であって、前記映像シーケンスの現在のピクチャを符号化する場合に、
    復号化順序において前記現在のピクチャよりも前に位置し、かつ、前記現在のピクチャに対して復号化順序で最近接する時間識別子が０の先行参照ピクチャである先行参照ピクチャに対する指示を算出し、
    先行ピクチャに対する指標の第１の集合であって、
    前記先行参照ピクチャの前記指示と、
    前記先行参照ピクチャの第１の参照ピクチャセット（ＲＰＳ）に含まれた全ての参照ピクチャに対する指標の第２の集合と、
    復号化順序で前記先行参照ピクチャに後続し、且つ、復号化順序で前記現在のピクチャに先行する全てのピクチャに対する指標の第３の集合と
    を含む第１の集合を作成し、
    前記現在のピクチャの第２のＲＰＳにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、前記第１の集合において示された２つ以上のピクチャが前記長期参照ピクチャと同一の、ピクチャ順序カウントの前記最下位ビットの値を共有する場合に、前記第２のＲＰＳにおける前記長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及び前記ピクチャ順序カウントの最下位ビットを使用することを示す前記長期参照ピクチャに対するフラグを設定する
    ように構成されたことを特徴とする符号器（８０）。
17. 前記ビットストリームの各ピクチャは少なくとも１つのＮＡＬユニットを含み、各ピクチャは前記少なくとも１つのＮＡＬユニットに含まれた少なくとも１つのスライスに符号化され、前記少なくとも１つのスライスはスライスヘッダを含み、前記スライスヘッダは前記フラグを含み、前記映像シーケンスの前記現在のピクチャは少なくとも１つの現在のスライスに符号化され、前記少なくとも１つの現在のスライスは現在のＮＡＬユニットに符号化されることを特徴とする請求項１６記載の符号器（８０）。
18. 符号器（８０）は、前記ピクチャ順序カウントサイクルを前記現在のピクチャの前記現在のＮＡＬユニットに符号化するように更に構成されたことを特徴とする請求項１７記載の符号器（８０）。
19. 前記先行参照ピクチャの前記時間識別子は、前記先行参照ピクチャの先行ＮＡＬユニットにおいて示されることを特徴とする請求項１７または１８に記載の符号器（８０）。
20. 前記第１の参照ピクチャセットは、前記先行参照ピクチャの先行スライスヘッダに含まれることを特徴とする請求項１７から１９のいずれか１項に記載の符号器（８０）。
21. 前記ピクチャ順序カウントは、前記映像シーケンスのピクチャが出力される順序を示すことを特徴とする請求項１６から２０のいずれか１項に記載の符号器（８０）。
22. 前記ビットストリームは、高効率映像符号化（ＨＥＶＣ）対応のビットストリームであることを特徴とする請求項１６から２１のいずれか１項に記載の符号器（８０）。
23. 映像シーケンスを取得するためにビットストリームを復号化するように構成された復号器（５０）であって、前記ビットストリームから現在のピクチャを復号化する場合に、
    前記現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットを前記ビットストリームから取得し、
    ピクチャ順序カウントサイクルを使用するか否かを示す前記長期参照ピクチャに対するフラグを取得し、
    前記ピクチャ順序カウントサイクルが使用されないことを前記フラグが示し、かつ、前記最下位ビットが前記復号器（５０）の復号化ピクチャバッファにおける２つ以上の参照ピクチャと一致する場合、前記ビットストリームが不適合のビットストリームであると判断するように構成されたことを特徴とする復号器（５０）。
24. 前記ピクチャ順序カウントは、前記映像シーケンスのピクチャが出力される順序を示すことを特徴とする請求項２３記載の復号器（５０）。
25. 前記ビットストリームの各ピクチャは少なくとも１つのＮＡＬユニットを含み、各ピクチャは、前記少なくとも１つのＮＡＬユニットに含まれたスライスから復号化され、前記スライスはスライスヘッダを含み、前記スライスヘッダは前記フラグを含み、前記映像シーケンスの前記現在のピクチャは、現在のスライスヘッダを有する現在のスライスから復号化され、前記現在のスライスは現在のＮＡＬユニットから復号化されることを特徴とする請求項２３または２４に記載の復号器（５０）。
26. 前記最下位ビットは、前記現在のＮＡＬユニットから取得されることを特徴とする請求項２５記載の復号器（５０）。
27. 前記復号化ピクチャバッファは、復号化順序で前記現在のピクチャの前に復号化されたピクチャを含むことを特徴とする請求項２３から２６のいずれか１項に記載の復号器（５０）。
28. 前記復号器（５０）は、高効率映像符号化（ＨＥＶＣ）に準拠していないと判断するように更に構成されることを特徴とする請求項２３から２７のいずれか１項に記載の復号器（５０）。
29. 映像シーケンスを符号化するように構成された符号器（８０）であって、前記映像シーケンスの現在のピクチャを符号化する場合に、前記現在のピクチャの参照ピクチャセット（ＲＰＳ）における長期参照ピクチャ毎に、
    前記長期参照ピクチャのそれぞれに対する各ピクチャ順序カウントをピクチャ順序カウントに対するリストに格納し、
    前記リストが前記各ピクチャ順序カウントとは異なるピクチャ順序カウントを含み、かつ、当該ピクチャ順序カウントが前記各ピクチャ順序カウントの最下位ビットに等しい最下位ビットを有する場合に、前記現在のピクチャの前記ＲＰＳにおける前記長期参照ピクチャを示すためにピクチャ順序カウントサイクル及び前記ピクチャ順序カウントの最下位ビットを使用することを示す前記長期参照ピクチャのそれぞれに対するフラグを１に設定する
    ように構成されたことを特徴とする符号器（８０）。
30. 前記符号器（８０）は、前記現在のピクチャが前記映像シーケンスの第１のピクチャである場合に前記リストをリセットするように更に構成されたことを特徴とする請求項２９記載の符号器（８０）。
31. 符号器（８０）で実行される場合に請求項１から７のいずれか１項、あるいは請求項１４及び１５のいずれか１項に記載の方法を符号器（８０）に実行させるコンピュータ可読コードユニットを含むことを特徴とするコンピュータプログラム（８５）。
32. コンピュータ可読媒体（８７）と、前記コンピュータ可読媒体（８７）上に格納された請求項３１記載のコンピュータプログラム（８５）とを含むことを特徴とするコンピュータプログラム製品（８６）。
33. 復号器（５０）で実行される場合に請求項８から１３のいずれか１項に記載の方法を復号器（５０）に実行させるコンピュータ可読コードユニットを含むことを特徴とするコンピュータプログラム（５５）。
34. コンピュータ可読媒体（５７）と、前記コンピュータ可読媒体（５７）上に格納された請求項３３記載のコンピュータプログラム（５５）とを含むことを特徴とするコンピュータプログラム製品（５６）。

Images