JP2022539865A - ビデオ・コーディングにおける混合ｎａｌユニット・ピクチャ制約 - Google Patents

ビデオ・コーディングにおける混合ｎａｌユニット・ピクチャ制約 Download PDF

Info

Publication number
JP2022539865A
JP2022539865A JP2022500875A JP2022500875A JP2022539865A JP 2022539865 A JP2022539865 A JP 2022539865A JP 2022500875 A JP2022500875 A JP 2022500875A JP 2022500875 A JP2022500875 A JP 2022500875A JP 2022539865 A JP2022539865 A JP 2022539865A
Authority
JP
Japan
Prior art keywords
picture
irap
pictures
nal unit
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022500875A
Other languages
English (en)
Other versions
JP7453329B2 (ja
Inventor
ワーン，イエ－クイ
ヘンドリー，フヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022539865A publication Critical patent/JP2022539865A/ja
Priority to JP2024035012A priority Critical patent/JP2024073509A/ja
Application granted granted Critical
Publication of JP7453329B2 publication Critical patent/JP7453329B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

ビデオ・コーディング・メカニズムが開示される。本メカニズムは、同じＮＡＬユニット・タイプを有さない複数のビデオ・コーディング・レイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含む現在のピクチャを含むビットストリームを受信することを含む。参照ピクチャ・リストのアクティブ・エントリは、復号順序において、現在のピクチャの後続のピクチャにおけるサブピクチャＡ（ｓｕｂｐｉｃＡ）に位置付けられたスライスに対して取得される。アクティブ・エントリは、現在のピクチャでの前記ｓｕｂｐｉｃＡがイントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ＮＡＬユニット・タイプに関連するときに、復号順序において、現在のピクチャに先行するいかなる参照ピクチャも参照しない。後続のピクチャは、参照ピクチャ・リスト・アクティブ・エントリに基づいて復号される。後続のピクチャは、復号されたビデオ・シーケンスの一部として表示するために転送される。

Description

この特許出願は、Ｙｅ－Ｋｕｉ Ｗａｎｇにより２０１９年７月８日に出願され、参照により本明細書に組み込まれている「Ｃｏｎｓｔｒａｉｎｔｓ ｆｏｒ Ｍｉｘｅｄ ＮＡＬ Ｕｎｉｔ Ｔｙｐｅｓ ｗｉｔｈｉｎ Ｏｎｅ Ｐｉｃｔｕｒｅ ｉｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」と題された米国仮特許出願第６２／８７１，５２４号の利益を主張する。
本開示は、一般に、ビデオ・コーディングに関係し、特に、ビデオ・コーディングにおけるピクチャのサブピクチャのコーディングに関係する。
比較的短いビデオでさえ描写するために必要とされるビデオ・データの量は、相当なものであり、これは、データがストリーム化されるか、又は他の方法で限定された帯域幅容量を有する通信ネットワークを介して通信されるときに、困難になることがある。したがって、ビデオ・データは、一般に、現代の電気通信ネットワークを介して通信される前に圧縮される。また、メモリ・リソースが制限されることがあるため、ビデオが記憶デバイスに記憶される場合に、ビデオのサイズも問題となる可能性がある。ビデオ圧縮デバイスは、しばしば、伝送又は記憶の前にビデオ・データをコーディングするためにソースにおいてソフトウェア及び／又はハードウェアを使用し、それによってデジタル・ビデオピクチャを表すのに必要なデータ量を減少させる。次いで、圧縮されたデータは、ビデオ・データを復号するビデオ解凍デバイスによって宛先で受信される。ネットワーク・リソースが限られており、より高いビデオ品質の要求が絶えず増加しているため、ピクチャ品質にほとんど犠牲を払わずに圧縮比を改善する改善された圧縮及び解凍技術が望ましい。
一実施形態では、本開示は、復号器において実装される方法であって、復号器の受信機によって、同じネットワーク抽象化レイヤ（ＮＡＬ）ユニット・タイプを有さない複数のビデオ・コーディング・レイヤ（ＶＣＬ）ＮＡＬユニットを含む現在のピクチャを含むビットストリームを受信することと、復号器のプロセッサによって、復号順序において、現在のピクチャの後の後続のピクチャにおけるサブピクチャＡ（ｓｕｂｐｉｃＡ）に位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを取得することであって、アクティブ・エントリは、現在のピクチャでのｓｕｂｐｉｃＡがイントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ＮＡＬユニット・タイプに関連するときに、復号順序において、現在のピクチャに先行するいかなる参照ピクチャへの参照も含まない、取得することと、プロセッサによって、参照ピクチャ・リスト・アクティブ・エントリに基づいて後続のピクチャを復号することと、プロセッサによって、復号されたビデオ・シーケンスの一部として表示するために後続のピクチャを転送することと、を含む、方法を含む。
ビデオ・コーディング・システムは、ＩＲＡＰピクチャ及び非ＩＲＡＰピクチャを使用することによってビデオを符号化してもよい。ＩＲＡＰピクチャは、ビデオ・シーケンスのランダム・アクセス・ポイントとして機能するイントラ予測に従ってコーディングされたピクチャである。ＩＲＡＰピクチャは、最初に任意の他のピクチャを復号することなく復号することができる。したがって、復号器は、任意のＩＲＡＰピクチャでビデオ・シーケンスの復号を始めることができる。対照的に、復号器は、一般に、非ＩＲＡＰピクチャでビデオ・シーケンスの復号を始めることができない。ＩＲＡＰピクチャは、ＤＰＢをリフレッシュすることもある。これは、ＩＲＡＰピクチャがコーディングされたビデオ・シーケンス（ＣＶＳ）の開始点として作用し、ＣＶＳ内のピクチャが以前のＣＶＳ内のピクチャを参照しないためである。このように、ＩＲＡＰピクチャはまた、インター予測チェーンを壊し／停止し、インター予測関係のコーディング・エラーを停止することができる。これは、このようなエラーがＩＲＡＰピクチャを介して伝播することができないためである。
いくつかのケースでは、ビデオ・コーディング・システムを使用して、仮想現実（ＶＲ）ビデオをコーディングしてもよい。ＶＲビデオは、ユーザが球の中心にいるかのように表示されたビデオ・コンテンツの球を含み得る。ビューポートと呼ばれる球体の一部分のみがユーザに表示される。ピクチャの残りの部分はレンダリングされずに破棄される。ピクチャ全体は、一般に、ユーザのヘッドの動きに応答して、異なるビューポートが動的に選択され、表示することができるように送信される。このアプローチは、非常に大きいビデオ・ファイル・サイズをもたらすことがある。コーディング効率を改善するために、いくつかのシステムは、ピクチャをサブピクチャに分割する。ビデオは、２つ以上の解像度で符号化することができる。各解像度は、サブピクチャに対応するサブビットストリームの異なるセットに符号化される。ユーザがＶＲビデオをストリーミングするときに、コーディング・システムは、サブビットストリームを、ユーザによって使用されている現在のビューポートに基づく伝送のためのビットストリームにマージすることができる。具体的には、現在のビューポートは高解像度サブビットストリームから取得され、表示されていないビューポートは低解像度ビットストリームから取得される。このようにして、最高画質のビデオがユーザに表示され、低画質のビデオが破棄される。ユーザが新しいビューポートを選択する場合には、低解像度のビデオがユーザに提示される。復号器は、新しいビューポートがより高解像度のビデオを受信するように要求することができる。次いで、符号化器は、それに応じてマージ・プロセスを変更することができる。ＩＲＡＰピクチャに到達すると、復号器は、新しいビューポートでのより高い解像度のビデオ・シーケンスの復号を始めることができる。このアプローチは、ユーザの視認体験に悪影響を与えることなく、ビデオ圧縮を有意に向上させる。
上記のアプローチの１つの関心事は、解像度を変更するのに必要な時間の長さが、ＩＲＡＰピクチャに到達するまでの時間の長さに基づいていることである。これは、復号器が、上述のように、非ＩＲＡＰピクチャで異なるビデオ・シーケンスの復号を開始することができないためである。このようなレイテンシを低減する１つのアプローチは、より多くのＩＲＡＰピクチャを含めることである。しかし、その結果、ファイルサイズの増加をもたらす。機能性とコーディング効率とのバランスをとるために、異なるビューポート／サブピクチャは、異なる頻度でＩＲＡＰピクチャを含み得る。例えば、視認される可能性の高いビューポートは、他のビューポートよりも多くのＩＲＡＰピクチャを持つことがある。このアプローチは、他の問題につながる。具体的には、ＩＲＡＰピクチャの後のピクチャは、ＩＲＡＰピクチャに先行するピクチャを参照しないように制約される。しかし、この制約はピクチャ・レベルで行われる。ＩＲＡＰ及び非ＩＲＡＰサブピクチャの両方を含む混合ＮＡＬユニットを含むピクチャは、ピクチャ・レベルではＩＲＡＰピクチャと見なされないことがある。したがって、このようなピクチャ・レベルの制約を適用しなくてもよい。これは、ＩＲＡＰサブピクチャの後のピクチャの一部分が、ＩＲＡＰピクチャに先行するピクチャを不適切に参照することにつながる可能性がある。このケースでは、ＩＲＡＰサブピクチャは、参照ピクチャ／サブピクチャが利用できない可能性があるため、アクセス・ポイントとして適切に機能せず、ＩＲＡＰサブピクチャの後のサブピクチャが復号可能であることを妨げる。さらに、ＩＲＡＰサブピクチャは、非ＩＲＡＰサブピクチャを、混合ＮＡＬユニットを有する目的（例えば、異なる長さのインター・コーディングされるシーケンスは、サブピクチャ位置に依存する）を無効にするような参照から妨げるべきではない。
本例は、ピクチャがＩＲＡＰ ＮＡＬユニットと非ＩＲＡＰ ＮＡＬユニットの両方を含むときに、コーディング・エラーを軽減するメカニズムを含む。具体的には、現在のピクチャのサブピクチャはＩＲＡＰ ＮＡＬユニットを含み得る。これが発生するときに、サブピクチャにも含まれる現在のピクチャの後のピクチャでのスライスは、現在のピクチャに先行する参照ピクチャを参照することが制限される。これは、ＩＲＡＰ ＮＡＬユニットがサブピクチャ・レベルでのインター予測伝播を停止することを確実にする。したがって、復号器は、ＩＲＡＰサブピクチャで復号を始めることができる。後のピクチャにおけるサブピクチャに関連するスライスは常に復号することができる。これは、このようなスライスが（復号されていない）ＩＲＡＰサブピクチャに先行する任意のデータを参照しないためである。このような制約は非ＩＲＡＰ ＮＡＬユニットには適用されない。したがって、非ＩＲＡＰデータを含むサブピクチャに対して、インター予測は壊されない。このように、開示されたメカニズムは、追加の機能性の実装を可能にする。例えば、開示されたメカニズムは、サブピクチャ・ビットストリームを使用するときに、サブピクチャ・レベルでの動的解像度の変化をサポートする。それゆえ、開示されたメカニズムは、ユーザ体験を有意に損なうことなく、ＶＲビデオをストリーミングするときに、より低い解像度のサブピクチャ・ビットストリームが送信されることを可能にする。したがって、開示されたメカニズムは、コーディング効率を増加させ、それゆえ、符号化器及び復号器でのネットワーク・リソース、メモリ・リソース、及び／又は処理リソースの使用量を低減する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、ＩＲＡＰ ＮＡＬユニット・タイプがクリーン・ランダム・アクセス（ＣＲＡ）ＮＡＬユニット・タイプであることを提供する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、ＩＲＡＰ ＮＡＬユニット・タイプが瞬間復号器リフレッシュ（ＩＤＲ）ＮＡＬユニット・タイプであることを提供する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、プロセッサによって、ｓｕｂｐｉｃＡに位置付けられた現在のピクチャのすべてのスライスが、同じＮＡＬユニット・タイプに関連することを判定することをさらに含むことを提供する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、プロセッサによって、フラグに基づいて、現在のピクチャのＶＣＬ ＮＡＬユニットに対する第１のＮＡＬユニット・タイプ値が、現在のピクチャのＶＣＬ ＮＡＬユニットに対する第２のＮＡＬユニット・タイプ値とは異なると判定することをさらに含むことを提供する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、ビットストリームは、ピクチャ・パラメータ・セット（ＰＰＳ）を含み、フラグは、ＰＰＳから取得されることを提供する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、フラグは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇであり、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ＰＰＳを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを有し、ＶＣＬ ＮＡＬユニットが同じ値のＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有しないことを指定するときに１と等しいことを提供する。
一実施形態では、本開示は、符号化器に実装される方法であって、符号化器のプロセッサによって、現在のピクチャが同じＮＡＬユニット・タイプを有さない複数のＶＣＬ ＮＡＬユニットを含むと判定することと、プロセッサによって、現在のピクチャでのｓｕｂｐｉｃＡがＩＲＡＰ ＮＡＬユニット・タイプに関連すると判定することと、プロセッサによって、復号順序において、現在のピクチャの後の後続のピクチャにおけるｓｕｂｐｉｃＡに位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを生成することであって、アクティブ・エントリは、現在のピクチャでのｓｕｂｐｉｃＡがＩＲＡＰ ＮＡＬユニット・タイプに関連するときに、復号順序において、現在のピクチャに先行するいかなる参照ピクチャへの参照も含まない、生成することと、プロセッサによって、参照ピクチャ・リストに基づいて、後続のピクチャをビットストリームに符号化することと、プロセッサに結合されたメモリによって、復号器に向かって通信するためにビットストリームを記憶することと、を含む、方法を含む。
ビデオ・コーディング・システムは、ＩＲＡＰピクチャ及び非ＩＲＡＰピクチャを使用することによってビデオを符号化してもよい。ＩＲＡＰピクチャは、ビデオ・シーケンスのランダム・アクセス・ポイントとして機能するイントラ予測に従ってコーディングされたピクチャである。ＩＲＡＰピクチャは、最初に任意の他のピクチャを復号することなく復号することができる。したがって、復号器は、任意のＩＲＡＰピクチャでビデオ・シーケンスの復号を始めることができる。対照的に、復号器は、一般に、非ＩＲＡＰピクチャでビデオ・シーケンスの復号を始めることができない。ＩＲＡＰピクチャは、ＤＰＢをリフレッシュすることもある。これは、ＩＲＡＰピクチャがコーディングされたビデオ・シーケンス（ＣＶＳ）の開始点として作用し、ＣＶＳ内のピクチャが以前のＣＶＳ内のピクチャを参照しないためである。このように、ＩＲＡＰピクチャはまた、インター予測チェーンを壊し、インター予測関係のコーディング・エラーを停止することができる。これは、このようなエラーがＩＲＡＰピクチャを介して伝播することができないためである。
いくつかのケースでは、ビデオ・コーディング・システムを使用して、仮想現実（ＶＲ）ビデオをコーディングしてもよい。ＶＲビデオは、ユーザが球の中心にいるかのように表示されたビデオ・コンテンツの球を含み得る。ビューポートと呼ばれる球体の一部分のみがユーザに表示される。ピクチャの残りの部分はレンダリングされずに破棄される。ピクチャ全体は、一般に、ユーザのヘッドの動きに応答して、異なるビューポートが動的に選択され、表示することができるように送信される。このアプローチは、非常に大きいビデオ・ファイル・サイズをもたらすことがある。コーディング効率を改善するために、いくつかのシステムは、ピクチャをサブピクチャに分割する。ビデオは、２つ以上の解像度で符号化することができる。各解像度は、サブピクチャに対応するサブビットストリームの異なるセットに符号化される。ユーザがＶＲビデオをストリーミングするときに、コーディング・システムは、サブビットストリームを、ユーザによって使用されている現在のビューポートに基づく伝送のためのビットストリームにマージすることができる。具体的には、現在のビューポートは高解像度サブビットストリームから取得され、表示されていないビューポートは低解像度ビットストリームから取得される。このようにして、最高画質のビデオがユーザに表示され、低画質のビデオが破棄される。ユーザが新しいビューポートを選択する場合には、低解像度のビデオがユーザに提示される。復号器は、新しいビューポートがより高解像度のビデオを受信するように要求することができる。次いで、符号化器は、それに応じてマージ・プロセスを変更することができる。ＩＲＡＰピクチャに到達すると、復号器は、新しいビューポートでのより高い解像度のビデオ・シーケンスの復号を始めることができる。このアプローチは、ユーザの視認体験に悪影響を与えることなく、ビデオ圧縮を有意に向上させる。
上記のアプローチの１つの関心事は、解像度を変更するのに必要な時間の長さが、ＩＲＡＰピクチャに到達するまでの時間の長さに基づいていることである。これは、復号器が、上述のように、非ＩＲＡＰピクチャで異なるビデオ・シーケンスの復号を開始することができないためである。このようなレイテンシを低減する１つのアプローチは、より多くのＩＲＡＰピクチャを含めることである。しかし、その結果、ファイルサイズの増加をもたらす。機能性とコーディング効率とのバランスをとるために、異なるビューポート／サブピクチャは、異なる頻度でＩＲＡＰピクチャを含み得る。例えば、視認される可能性が高いビューポートは、他のビューポートよりも多くのＩＲＡＰピクチャを有してもよい。このアプローチは、他の問題につながる。具体的には、ＩＲＡＰピクチャの後のピクチャは、ＩＲＡＰピクチャに先行するピクチャを参照しないように制約される。しかし、この制約はピクチャ・レベルで行われる。ＩＲＡＰ及び非ＩＲＡＰサブピクチャの両方を含む混合ＮＡＬユニットを含むピクチャは、ピクチャ・レベルではＩＲＡＰピクチャと見なされないことがある。したがって、このようなピクチャ・レベルの制約を適用しなくてもよい。これは、ＩＲＡＰサブピクチャの後のピクチャの一部分が、ＩＲＡＰピクチャに先行するピクチャを不適切に参照することにつながる可能性がある。このケースでは、ＩＲＡＰサブピクチャは、参照ピクチャ／サブピクチャが利用できない可能性があるため、アクセス・ポイントとして適切に機能せず、ＩＲＡＰサブピクチャの後のサブピクチャが復号可能であることを妨げる。さらに、ＩＲＡＰサブピクチャは、非ＩＲＡＰサブピクチャを、混合ＮＡＬユニットを有する目的（例えば、異なる長さのインター・コーディングされるシーケンスは、サブピクチャ位置に依存する）を無効にするような参照から妨げるべきではない。
本例は、ピクチャがＩＲＡＰ ＮＡＬユニットと非ＩＲＡＰ ＮＡＬユニットの両方を含むときに、コーディング・エラーを軽減するメカニズムを含む。具体的には、現在のピクチャのサブピクチャはＩＲＡＰ ＮＡＬユニットを含み得る。これが発生するときに、サブピクチャにも含まれる現在のピクチャの後のピクチャでのスライスは、現在のピクチャに先行する参照ピクチャを参照することが制限される。これは、ＩＲＡＰ ＮＡＬユニットがサブピクチャ・レベルでのインター予測伝播を停止することを確実にする。したがって、復号器は、ＩＲＡＰサブピクチャで復号を始めることができる。後のピクチャにおけるサブピクチャに関連するスライスは常に復号することができる。これは、このようなスライスが（復号されていない）ＩＲＡＰサブピクチャに先行する任意のデータを参照しないためである。このような制約は非ＩＲＡＰ ＮＡＬユニットには適用されない。したがって、非ＩＲＡＰデータを含むサブピクチャに対して、インター予測は壊されない。このように、開示されたメカニズムは、追加の機能性の実装を可能にする。例えば、開示されたメカニズムは、サブピクチャ・ビットストリームを使用するときに、サブピクチャ・レベルでの動的解像度の変化をサポートする。それゆえ、開示されたメカニズムは、ユーザ体験を有意に損なうことなく、ＶＲビデオをストリーミングするときに、より低い解像度のサブピクチャ・ビットストリームが送信されることを可能にする。したがって、開示されたメカニズムは、コーディング効率を増加させ、それゆえ、符号化器及び復号器でのネットワーク・リソース、メモリ・リソース、及び／又は処理リソースの使用量を低減する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、ＩＲＡＰ ＮＡＬユニット・タイプがＣＲＡ ＮＡＬユニット・タイプであることを提供する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、ＩＲＡＰ ＮＡＬユニット・タイプがＩＤＲ ＮＡＬユニット・タイプであることを提供する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、プロセッサによって、ｓｕｂｐｉｃＡに位置付けられた現在のピクチャのすべてのスライスが同じＮＡＬユニット・タイプに関連することを確実にすることによって、現在のピクチャをビットストリームに符号化することをさらに含むことを提供する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、プロセッサによって、現在のピクチャのＶＣＬ ＮＡＬユニットに対する第１のＮＡＬユニット・タイプ値が、現在のピクチャのＶＣＬ ＮＡＬユニットに対する第２のＮＡＬユニット・タイプ値とは異なることを示すフラグをビットストリームに符号化することをさらに含むことを提供する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、フラグは、ビットストリームにおいてＰＰＳに符号化されることを提供する。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、フラグは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇであり、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ＰＰＳを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを有し、ＶＣＬ ＮＡＬユニットが同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しないことを指定するときに１と等しくセットされることを提供する。
一実施形態では、本開示は、プロセッサと、プロセッサに結合された受信機と、プロセッサに結合されたメモリと、プロセッサに結合された送信機と、含み、プロセッサ、受信機、メモリ、及び送信機は、先行する態様のいずれかの方法を実行するように構成されているビデオ・コーディング・デバイスを含む。
一実施形態では、本開示は、ビデオ・コーディング・デバイスによる使用のためのコンピュータ・プログラム製品を含む非一時的コンピュータ可読媒体であって、コンピュータ・プログラム製品は、プロセッサによって実行されるときに、ビデオ・コーディング・デバイスが先行する態様のいずれかの方法を実行するように、非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含む、非一時的コンピュータ可読媒体を含む。
一実施形態では、本開示は、復号器であって、同じＮＡＬユニット・タイプを有さない複数のＶＣＬ ＮＡＬユニットを含む現在のピクチャを含むビットストリームを受信するための受信手段と、復号順序において、現在のピクチャの後の後続のピクチャにおけるｓｕｂｐｉｃＡに位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを取得するための取得手段と、アクティブ・エントリは、現在のピクチャでのｓｕｂｐｉｃＡがＩＲＡＰ ＮＡＬユニット・タイプに関連するときに、復号順序において、現在のピクチャに先行するいかなる参照ピクチャへの参照も含まないことを判定するための判定手段と、参照ピクチャ・リストアクティブ・エントリに基づいて前記後続のピクチャを復号するための復号手段と、復号されたビデオ・シーケンスの一部として表示のために前記後続のピクチャを転送するための転送手段と、を含む、復号器を含む。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、復号器が、先行する態様のいずれかの方法を実行するようにさらに構成されていることを提供する。
一実施形態では、本開示は、符号化器であって、現在のピクチャが同じＮＡＬユニット・タイプを有さない複数のＶＣＬ ＮＡＬユニットを含むと判定することと、現在のピクチャでのｓｕｂｐｉｃＡがＩＲＡＰ ＮＡＬユニット・タイプに関連すると判定することと、を行うための判定手段と、復号順序において、現在のピクチャの後の後続のピクチャにおけるｓｕｂｐｉｃＡに位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを生成することであって、アクティブ・エントリは、現在のピクチャでのｓｕｂｐｉｃＡがＩＲＡＰ ＮＡＬユニット・タイプに関連するときに、復号順序において、現在のピクチャに先行するいかなる参照ピクチャへの参照も含まない、生成することを行うための生成手段と、参照ピクチャ・リストに基づいて、後続のピクチャをビットストリームに符号化することを行うための符号化手段と、復号器に向かって通信するためにビットストリームを記憶することを行うための記憶手段と、を含む、符号化器を含む。
オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、符号化器が、先行する態様のいずれかの方法を実行するようにさらに構成されていることを提供する。
明確にするために、前述の実施形態のいずれか１つを、他の前述の実施形態のいずれか１つ以上と組み合わせて、本開示の範囲内の新たな実施形態を作成してもよい。
これら及び他の特徴は、添付の図面及び特許請求の範囲と併せて取得される以下の詳細な説明から、より明確に理解されるであろう。
本開示をより完全に理解するために、添付の図面及び詳細な説明に関連して取得される、以下の簡単な説明を参照し、同様の参照番号は同様の部分を表す。
ビデオ信号をコーディングする例示的な方法のフローチャートである。
ビデオ・コーディングのための例示的なコーディング及び復号（コーデック）システムの概略図である。
例示的なビデオ符号化器を示す概略図である。
例示的なビデオ復号器を示す概略図である。
仮想現実（ＶＲ）ピクチャ・ビデオ・ストリームから分裂された複数のサブピクチャ・ビデオ・ストリームを示す概略図である。
現在のピクチャが混合ネットワーク抽象化レイヤ（ＮＡＬ）ユニット・タイプを含むときに使用される制約を示す概略図である。
参照ピクチャ・リストを含む例示的な参照ピクチャ・リスト構造を示す概略図である。
混合ＮＡＬユニット・タイプを有するピクチャを含む例示的なビットストリームを示す概略図である。
例示的なビデオ・コーディング・デバイスの概略図である。
混合ＮＡＬユニット・タイプを有するピクチャを含むビデオ・シーケンスをビットストリームに符号化する例示的な方法のフローチャートである。
ビットストリームから混合ＮＡＬユニット・タイプを有するピクチャを含むビデオ・シーケンスを復号する例示的な方法のフローチャートである。
混合ＮＡＬユニット・タイプを有するピクチャを含むビデオ・シーケンスをビットストリームにコーディングするための例示的なシステムの概略図である。
最初に、１つ以上の実施形態の例示的な実装態様が以下に提供されるが、開示されたシステム及び／又は方法は、現在公知であるか存在するかを問わず、任意の数の技術を使用して実施され得ることが理解されるべきである。本開示は、本明細書に示され説明された例示的な設計及び実装態様を含む、以下に示された例示的な実装態様、図面、及び技術には決して限定されないが、添付の特許請求の範囲の範囲内で、それらの均等物の全範囲と共に修正されてもよい。
以下の用語は、本明細書において反対のコンテキストで使用されない限り、以下のように定義される。具体的には、以下の定義は、本開示にさらなる明確性を提供することが意図されている。しかし、異なるコンテキストにおいては、用語は異なって説明されてもよい。したがって、以下の定義は、補足とみなされるべきであり、本明細書においてそのような用語に対して提供されている説明の任意の他の定義を制限するものとみなされるべきではない。
ビットストリームは、符号化器と復号器との間の伝送のために圧縮されるビデオ・データを含むビットのシーケンスである。符号化器は、ビデオ・データをビットストリームに圧縮するための符号化プロセスを使用するように構成されているデバイスである。復号器は、表示するためにビットストリームからビデオ・データを再構成するために復号プロセスを使用するように構成されているデバイスである。ピクチャは、フレーム又はそのフィールドを生成するルマ・サンプルのアレイ及び／又はクロマ・サンプルのアレイである。符号化又は復号されているピクチャは、議論を明確にするために現在のピクチャと呼ぶことができ、現在のピクチャに続く任意のピクチャは、後続のピクチャと呼ぶことができる。サブピクチャは、ピクチャのシーケンス内の１つ以上のスライスの矩形領域である。正方形はあるタイプの矩形のであり、したがって、サブピクチャは正方形領域を含むことができることに留意されたい。スライスは、単一のネットワーク抽象化レイヤ（ＮＡＬ）ユニットに排他的に含まれる整数個の完全タイル又はピクチャのタイル内の整数個の連続する完全コーディング・ツリー・ユニット（ＣＴＵ）行である。ＮＡＬユニットはバイトのデータとそこに含まれるデータのタイプの表示を含む構文構造である。ＮＡＬユニットは、ビデオ・データを含むビデオ・コーディング・レイヤ（ＶＣＬ）ＮＡＬユニットと、サポートする構文データを含む非ＶＣＬ ＮＡＬユニットとを含む。ＮＡＬユニット・タイプは、ＮＡＬユニットに含まれるデータ構造のタイプである。イントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ＮＡＬユニット・タイプは、ＩＲＡＰピクチャ又はサブピクチャからのデータを含むデータ構造である。ＩＲＡＰピクチャ／サブピクチャは、イントラ予測に従って符号化されるピクチャ／サブピクチャであり、これは、復号器が、ＩＲＡＰピクチャ／サブピクチャに先行するピクチャを参照することなく、対応するピクチャ／サブピクチャにおいてビデオ・シーケンスの復号を開始することができることを示す。クリーン・ランダム・アクセス（ＣＲＡ）ＮＡＬユニット・タイプは、ＣＲＡピクチャ又はサブピクチャからのデータを含むデータ構造である。ＣＲＡピクチャ／サブピクチャは、復号されたピクチャ・バッファ（ＤＰＢ）をリフレッシュしないＩＲＡＰピクチャ／サブピクチャである。瞬間復号リフレッシュ（ＩＤＲ）ＮＡＬユニット・タイプは、ＩＤＲピクチャ又はサブピクチャからのデータを含むデータ構造である。ＩＤＲピクチャ／サブピクチャは、ＤＰＢをリフレッシュするＩＲＡＰピクチャ／サブピクチャである。参照ピクチャとは、イントラ予測に従って参照によって他のピクチャをコーディングするときに使用することができる参照サンプルを含むピクチャである。参照ピクチャ・リストは、イントラ予測及び／又はインターレイヤ予測のために使用される参照ピクチャのリストである。いくつかのビデオ・コーディング・システムは、参照ピクチャ・リスト１及び参照ピクチャ・リスト０として示すことができる、２つのピクチャ・リストを参照する。参照ピクチャ・リスト構造は、複数の参照ピクチャ・リストを含むアドレス指定可能な構文構造である。アクティブ・エントリは、インター予測を実行するときに現在のピクチャで使用可能な参照ピクチャを参照する参照ピクチャ・リスト内のエントリである。フラグは、対応するデータを示すためにセットすることができるビットのシーケンスを含むデータ構造である。ピクチャ・パラメータ・セット（ＰＰＳ）は、１つ以上のピクチャに関係するピクチャ・レベル・データを含むパラメータ・セットである。復号順序は、構文要素が復号プロセスによって処理される順序である。復号されたビデオ・シーケンスは、ユーザへの表示の準備のために復号器によって再構成されたピクチャのシーケンスである。
以下、コーディングされたビデオ・シーケンス（ＣＶＳ）、復号されたピクチャ・バッファ（ＤＰＢ）、瞬時復号リフレッシュ（ＩＤＲ）、イントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）、最下位ビット（ＬＳＢ）、最上位ビット（ＭＳＢ）、ネットワーク抽象化レイヤ（ＮＡＬ）、ピクチャ・オーダ・カウント（ＰＯＣ）、生のバイト・シーケンス・ペイロード（ＲＢＳＰ）、シーケンス・パラメータ・セット（ＳＰＳ）、及び作業ドラフト（ＷＤ）の頭字語が本明細書において使用される。
多くのビデオ圧縮技術が、最小限のデータ損失でビデオ・ファイルのサイズを低減するために使用され得る。例えば、ビデオ圧縮技術は、ビデオ・シーケンスにおけるデータ冗長性を低減又は除去するために、空間的（例えば、イントラ・ピクチャ）予測及び／又は時間的（例えば、インター・ピクチャ）予測を実行することを含むことができる。ブロック・ベースのビデオ・コーディングの場合、ビデオ・スライス（例えば、ビデオ・ピクチャ又はビデオ・ピクチャの一部分）は、ビデオ・ブロックにパーティショニングされてもよく、これは、ツリー・ブロック（ＣＴＢ）、コーディング・ツリー・ユニット（ＣＴＵ）、コーディング・ユニット（ＣＵ）、及び／又はコーディング・ノードと呼ばれることがある。ピクチャのイントラ・コーディングされた（Ｉ）スライス内のビデオ・ブロックは、同じピクチャ内の隣接ブロック内の参照サンプルに対して空間的予測を用いてコーディングされる。ピクチャのインター・コーディングされた一方向予測（Ｐ）又は双方向予測（Ｂ）スライス内のビデオ・ブロックは、同じピクチャ内の隣接ブロック内の参照サンプルに対する空間的予測、又は他の参照ピクチャ内の参照サンプルに対する時間的予測を使用することによってコーディングされてもよい。ピクチャは、フレーム及び／又は画像と呼ばれることがあり、参照ピクチャは、参照フレーム及び／又は参照画像と呼ばれることがある。空間的又は時間的予測は、画像ブロックを表す予測ブロックをもたらす。残差データは、オリジナルの画像ブロックと予測ブロックとの間の画素差を表す。したがって、インター・コーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指すモーション・ベクトルにしたがって符号化され、残差データは、コーディングされたブロックと予測ブロックとの間の差を示す。イントラ・コーディングされたブロックは、イントラ・コーディング・モードと残差データにしたがって符号化される。さらなる圧縮のために、残差データは、画素ドメインから変換ドメインに変換されてもよい。これらは、残差変換係数をもたらし、これは、量子化されてもよい。量子化された変換係数は、初期的に二次元アレイに配置されてもよい。量子化された変換係数は、変換係数の一次元ベクトルを生成するために走査されてもよい。エントロピー・コーディングは、より多くの圧縮を達成するために適用されてもよい。このようなビデオ圧縮技術が、以下により詳細に論じられる。
符号化されたビデオが正確に復号されることを確実にするために、ビデオは、対応するビデオ・コーディング規格に従って符号化され、復号される。ビデオ・コーディング規格は、国際電気通信連合（ＩＴＵ）規格化部門（ＩＴＵ－Ｔ）Ｈ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）モーション・ピクチャ・エキスパート・グループ（ＭＰＥＧ）－１ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６２若しくはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６４若しくはＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ １０としても知られる高度ビデオ・コーディング（ＡＶＣ）、及びＩＴＵ－Ｔ Ｈ．２６５若しくはＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られる高効率ビデオ・コーディング（ＨＥＶＣ）を含む。ＡＶＣは、スケーラブル・ビデオ・コーディング（ＳＶＣ）、マルチビュー・ビデオ・コーディング（ＭＶＣ）及びマルチビュー・ビデオ・コーディング・プラス・デプス（ＭＶＣ＋Ｄ）、及び三次元（３Ｄ）ＡＶＣ（３Ｄ‐ＡＶＣ）などの拡張を含む。ＨＥＶＣは、スケーラブルＨＥＶＣ（ＳＨＶＣ）、マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）、３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張を含む。ＩＴＵ‐ＴとＩＳＯ／ＩＥＣの合同ビデオ・エキスパート・チーム（ＪＶＥＴ）は、多用途ビデオ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれるビデオ・コーディング規格の開発を始めた。ＶＶＣは、ＪＶＥＴ－Ｎ１００１－ｖ１０を含む作業ドラフト（ＷＤ）に含まれている。
ビデオ・コーディング・システムは、ＩＲＡＰピクチャ及び非ＩＲＡＰピクチャを使用することによってビデオを符号化してもよい。ＩＲＡＰピクチャは、ビデオ・シーケンスのランダム・アクセス・ポイントとして機能するイントラ予測に従ってコーディングされたピクチャである。イントラ予測では、ピクチャのブロックは、同じピクチャ内の他のブロックを参照することによってコーディングされる。これは、インター予測を使用する非ＩＲＡＰピクチャとは対照的である。インター予測では、現在のピクチャのブロックは、現在のピクチャとは異なる参照ピクチャ内の他のブロックを参照することによってコーディングされる。ＩＲＡＰピクチャは、他のピクチャを参照することなくコーディングされるため、ＩＲＡＰピクチャは、最初に任意の他のピクチャを復号することなく復号することができる。したがって、復号器は、任意のＩＲＡＰピクチャでビデオ・シーケンスの復号を始めることができる。対照的に、非ＩＲＡＰピクチャは、他のピクチャを参照して符号化されるため、復号器は、一般に、非ＩＲＡＰピクチャでビデオ・シーケンスの復号を始めることができない。ＩＲＡＰピクチャは、ＤＰＢをリフレッシュすることもある。これは、ＩＲＡＰピクチャがＣＶＳの開始点として作用し、ＣＶＳ内のピクチャが以前のＣＶＳ内のピクチャを参照しないためである。このように、ＩＲＡＰピクチャはまた、インター予測関係のコーディング・エラーを停止することもできる。これは、このような誤りがＩＲＡＰピクチャを介して伝播することができないためである。しかし、ＩＲＡＰピクチャは、データサイズの観点から非ＩＲＡＰピクチャより有意に大きい。このように、ビデオ・シーケンスは、一般に、コーディング効率と機能性とのバランスをとるために、少数の点在するＩＲＡＰピクチャと多くの非ＩＲＡＰピクチャを含む。例えば、６０フレームのＣＶＳは、１つのＩＲＡＰピクチャと５９の非ＩＲＡＰピクチャを含み得る。
いくつかのケースでは、ビデオ・コーディング・システムを使用して、仮想現実（ＶＲ）ビデオをコーディングしてもよく、このビデオは、３６０度ビデオとも呼ばれることがある。ＶＲビデオは、ユーザが球の中心にいるかのように表示されたビデオ・コンテンツの球を含み得る。ビューポートと呼ばれる球体の一部分のみがユーザに表示される。例えば、ユーザは、ユーザのヘッドの動きに基づいて球のビューポートを選択し表示するヘッド・マウント・ディスプレイ（ＨＭＤ）を使用してもよい。これは、ビデオによって示された仮想空間に物理的に存在するという印象を提供する。この結果を達成するために、ビデオ・シーケンスの各ピクチャは、対応する瞬間での球全体のビデオ・データを含む。しかし、ピクチャの小さな部分（例えば、単一のビューポート）だけがユーザに表示される。ピクチャの残りの部分はレンダリングされずに破棄される。ピクチャ全体は、一般に、ユーザのヘッドの動きに応答して、異なるビューポートが動的に選択され、表示することができるように送信される。このアプローチは、非常に大きいビデオ・ファイル・サイズをもたらすことがある。
コーディング効率を改善するために、いくつかのシステムは、ピクチャをサブピクチャに分割する。サブピクチャは、ピクチャの定義された空間領域である。各サブピクチャは、ピクチャの対応するビューポートを含む。ビデオは、２つ以上の解像度で符号化することができる。各解像度は異なるサブビットストリームに符号化される。ユーザがＶＲビデオをストリーミングするときに、コーディング・システムは、サブビットストリームを、ユーザによって使用されている現在のビューポートに基づく伝送のためのビットストリームにマージすることができる。具体的には、現在のビューポートは高解像度サブビットストリームから取得され、表示されていないビューポートは低解像度ビットストリームから取得される。このようにして、最高画質のビデオがユーザに表示され、低画質のビデオが破棄される。ユーザが新しいビューポートを選択する場合には、低解像度のビデオがユーザに提示される。復号器は、新しいビューポートがより高解像度のビデオを受信するように要求することができる。次いで、符号化器は、それに応じてマージ・プロセスを変更することができる。ＩＲＡＰピクチャに到達すると、復号器は、新しいビューポートでのより高い解像度のビデオ・シーケンスの復号を始めることができる。このアプローチは、ユーザの視認体験に悪影響を与えることなく、ビデオ圧縮を有意に向上させる。
上記のアプローチの１つの関心事は、解像度を変更するのに必要な時間の長さが、ＩＲＡＰピクチャに到達するまでの時間の長さに基づいていることである。これは、復号器が、上述のように、非ＩＲＡＰピクチャで異なるビデオ・シーケンスの復号を開始することができないためである。このようなレイテンシを低減する１つのアプローチは、より多くのＩＲＡＰピクチャを含めることである。しかし、その結果、ファイルサイズの増加をもたらす。機能性とコーディング効率とのバランスをとるために、異なるビューポート／サブピクチャは、異なる頻度でＩＲＡＰピクチャを含み得る。例えば、視認される可能性が高いビューポートは、他のビューポートよりも多くのＩＲＡＰピクチャを有してもよい。例えば、バスケットボールのコンテキストでは、バスケット及び／又は中央コートに関係するビューポートは、スタンド又は天井を視認するビューポートがユーザによって視認される可能性が低いため、そのようなビューポートよりも高い頻度でＩＲＡＰピクチャ含んでもよい。
このアプローチは、他の問題につながる。具体的には、ＩＲＡＰピクチャの後のピクチャは、ＩＲＡＰピクチャに先行するピクチャを参照しないように制約される。しかし、この制約はピクチャ・レベルで行われる。ＩＲＡＰ及び非ＩＲＡＰサブピクチャの両方を含む混合ＮＡＬユニットを含むピクチャは、ピクチャ・レベルではＩＲＡＰピクチャと見なされないことがある。したがって、このようなピクチャ・レベルの制約を適用しなくてもよい。これは、ＩＲＡＰサブピクチャの後のピクチャの一部分が、ＩＲＡＰピクチャに先行するピクチャを不適切に参照することにつながる可能性がある。このケースでは、ＩＲＡＰサブピクチャは、参照ピクチャ／サブピクチャが利用できない可能性があるため、アクセス・ポイントとして適切に機能せず、ＩＲＡＰサブピクチャの後のサブピクチャが復号可能であることを妨げる。さらに、ＩＲＡＰサブピクチャは、非ＩＲＡＰサブピクチャを、混合ＮＡＬユニットを有する目的（例えば、異なる長さのインター・コーディングされるシーケンスは、サブピクチャ位置に依存する）を無効にするような参照から妨げるべきではない。
本明細書では、ピクチャがＩＲＡＰ ＮＡＬユニットと非ＩＲＡＰ ＮＡＬユニットの両方を含むときに、コーディング・エラーを軽減するメカニズムが開示される。具体的には、現在のピクチャのサブピクチャはＩＲＡＰ ＮＡＬユニットを含み得る。これが発生するときに、サブピクチャにも含まれる現在のピクチャの後のピクチャでのスライスは、現在のピクチャに先行する参照ピクチャを参照することが制限される。これは、ＩＲＡＰ ＮＡＬユニットがサブピクチャ・レベルでのインター予測を壊す（例えば、インター予測参照チェーンを停止する）ことを確実にする。したがって、復号器は、ＩＲＡＰサブピクチャで復号を始めることができる。後のピクチャにおけるサブピクチャに関連するスライスは常に復号することができる。これは、このようなスライスが（復号されていない）ＩＲＡＰサブピクチャに先行する任意のデータを参照しないためである。このような制約は非ＩＲＡＰ ＮＡＬユニットには適用されない。したがって、非ＩＲＡＰデータを含むサブピクチャに対して、インター予測は壊されない。このように、開示されたメカニズムは、追加の機能性の実装を可能にする。例えば、開示されたメカニズムは、サブピクチャ・ビットストリームを使用するときに、サブピクチャ・レベルでの動的解像度の変化をサポートする。それゆえ、開示されたメカニズムは、ユーザ体験を有意に損なうことなく、ＶＲビデオをストリーミングするときに、より低い解像度のサブピクチャ・ビットストリームが送信されることを可能にする。したがって、開示されたメカニズムは、コーディング効率を増加させ、それゆえ、符号化器及び復号器でのネットワーク・リソース、メモリ・リソース、及び／又は処理リソースの使用量を低減する。
図１は、ビデオ信号をコーディングする例示的な方法１００のフローチャートである。具体的には、ビデオ信号は符号化器で符号化される。符号化プロセスは、様々なメカニズムを使用することによってビデオ信号を圧縮して、ビデオ・ファイル・サイズを低減する。より小さいファイルサイズは、圧縮されたビデオ・ファイルがユーザに送信されることを可能にする一方で、関連する帯域幅オーバヘッドを低減する。次いで、復号器は、圧縮されたビデオ・ファイルを復号して、エンド・ユーザに表示するために元のビデオ信号を再構成する。復号プロセスは、一般に、符号化プロセスをミラーリングし、復号器がビデオ信号を一貫して再構成することを可能にする。
ステップ１０１で、ビデオ信号が符号化器に入力される。例えば、ビデオ信号はメモリに記憶された圧縮されていないビデオ・ファイルであってもよい。別の例として、ビデオ・ファイルは、ビデオ・カメラなどのビデオ・キャプチャ・デバイスによってキャプチャされ、ビデオのライブ・ストリーミングをサポートするように符号化されてもよい。ビデオ・ファイルは、オーディオ・コンポーネントとビデオ・コンポーネントの両方を含み得る。ビデオ・コンポーネントは、シーケンスで視認されるときに視覚的なモーションの印象を与える一連の画像フレームを含む。フレームは、本明細書ではルマ・コンポーネント（又はルマ・サンプル）と呼ばれる光と、クロマ・コンポーネント（又は色サンプル）と呼ばれる色の観点で表現されるピクセルを含む。いくつかの例では、フレームは、三次元視認をサポートするための深度値も含み得る。
ステップ１０３で、ビデオがブロックにパーティションニングされる。パーティショニングは、圧縮のために、各フレーム内のピクセルを正方形及び／又は長方形のブロックにサブ分割することを含む。例えば、高効率ビデオ・コーディング（ＨＥＶＣ）（Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られている）において、フレームは、最初に、所定のサイズ（例えば、６４画素×６４画素）のブロックである、コーディング・ツリー・ユニット（ＣＴＵ）に分割することができる。ＣＴＵは、ルマ・サンプルとクロマ・サンプルの両方を含む。コーディング・ツリーを使用して、ＣＴＵをブロックに分割し、次いで、さらなる符号化をサポートする構成が達成されるまで、ブロックを再帰的にサブ分割してもよい。例えば、フレームのルマ・コンポーネントは、個々のブロックが比較的均一な光値を含むまで、サブ分割されてもよい。さらに、フレームのクロマ・コンポーネントは、個々のブロックが比較的均一な色値を含むまで、サブ分割されてもよい。したがって、パーティショニング・メカニズムはビデオ・フレームのコンテンツに依存して変化する。
ステップ１０５で、ステップ１０３でパーティショニングされた画像ブロックを圧縮するために、様々な圧縮メカニズムが採用される。例えば、インター予測及び／又はイントラ予測が使用されてもよい。インター予測は、共通のシーンにおけるオブジェクトが連続したフレームに現れる傾向があるという事実を利用するように設計されている。したがって、参照フレームにおけるオブジェクトを示すブロックは、隣接するフレーム内に繰り返し記述される必要はない。具体的には、テーブルのようなオブジェクトは、複数のフレームにわたって一定の位置に留まることがある。それゆえ、テーブルは一回記述され、隣接するフレームは参照フレームに戻って参照することができる。パターン・マッチング・メカニズムを使用して、複数フレームにわたってオブジェクトをマッチングしてもよい。さらに、移動するオブジェクトは、例えば、オブジェクトの動き又はカメラの動きのために、複数のフレームにわたって表現されてもよい。特定の例として、ビデオは、複数のフレームにわたって画面を横切って移動する自動車を示してもよい。モーション・ベクトルを使用して、このような動きを記述することができる。モーション・ベクトルは、フレームにおけるオブジェクトの座標から参照フレームにおけるオブジェクトの座標へのオフセットを提供する二次元ベクトルである。このように、インター予測は、参照フレームにおける対応するブロックからのオフセットを示すモーション・ベクトルのセットとして、現在のフレームにおいて画像ブロックを符号化することができる。
イントラ予測は、共通フレームにおけるブロックを符号化する。イントラ予測は、ルマ・コンポーネントとクロマ・コンポーネントがフレームにおいてクラスターとなる傾向があるという事実を利用する。たとえば、樹木の一部分における緑色のパッチは、同様の緑色のパッチに隣接して位置付けられる傾向がある。イントラ予測は、マルチ方向予測モード（例えば、ＨＥＶＣにおいては３３）、プラナー・モード、及びダイレクト・カレント（ＤＣ）モードを使用する。方向モードは、現在のブロックが、対応する方向における隣接ブロックのサンプルと同様／同じであることを示す。プラナー・モードは、行／列に沿った一連のブロック（例えば、平面）が、行の端における近隣のブロックに基づいて補間され得ることを示す。プラナー・モードは、事実上、値を変化させる際に比較的一定の傾きを使用することによって、行／列にわたる光／色の滑らかな遷移を示す。ＤＣモードは境界平滑化のために使用され、ブロックが方向予測モードの角度方向に関連するすべての近隣のブロックのサンプルに関連する平均値と同様／同じであることを示す。したがって、イントラ予測ブロックは、実際の値の代わりに、様々な関係予測モード値としてピクチャ・ブロックを表現することができる。さらに、インター予測ブロックは、実際の値の代わりに、モ＾ション・ベクトル値として画像ブロックを表現することができる。いずれのケースでも、予測ブロックは、いくつかのケースでは、画像ブロックを正確に表現しないことがある。差分は、すべて残差ブロックに記憶される。変換は、残差ブロックに適用されて、ファイルをさらに圧縮してもよい。
ステップ１０７で、様々なフィルタリング技術が適用されてもよい。ＨＥＶＣにおいて、フィルタは、ループ内フィルタリング・スキームに従って適用される。上記に論じたブロック・ベースの予測は、復号器でブロック状画像の生成をもたらすことがある。さらに、ブロック・ベースの予測スキームは、ブロックを符号化し、次いで、後で参照ブロックとして使用するために、符号化されたブロックを再構成してもよい。ループ内フィルタリング・スキームは、ノイズ抑制フィルタ、ブロック解除フィルタ、適応ループ・フィルタ、及びサンプル適応オフセット（ＳＡＯ）フィルタをブロック／フレームに逐次適用する。これらのフィルタは、符号化されたファイルを正確に再構成することができるように、そのようなブロッキング・アーチファクトを軽減する。さらに、これらのフィルタは、再構成された参照ブロックにおけるアーチファクトを軽減し、アーチファクトは、再構成された参照ブロックに基づいて符号化される後続ブロックにおける追加のアーチファクトを生成する可能性が低くなるようにする。
いったんビデオ信号がパーティショニングされ、圧縮され、フィルタリングされると、得られたデータはステップ１０９でビットストリームに符号化される。ビットストリームは、復号器での適切なビデオ信号再構成をサポートするのに望ましい任意の信号データと同様に、上記に論じたデータを含む。例えば、このようなデータは、パーティション・データ、予測データ、残差ブロック、及び復号器にコーディング命令を提供する様々なフラグを含み得る。ビットストリームは、要求により復号器に向かって送信するためにメモリに記憶されてもよい。ビットストリームはまた、複数の復号器に向かってブロードキャスト及び／又はマルチキャストされてもよい。ビットストリームの生成は反復プロセスである。したがって、ステップ１０１、１０３、１０５、１０７、及び１０９は、多くのフレーム及びブロックにわたって連続的に及び／又は同時に発生してもよい。図１に示された順序は、議論の明確さと容易さのために提示されており、ビデオ・コーディング・プロセスを特定の順序に限定することを意図したものではない。
復号器は、ビットストリームを受信し、ステップ１１１で復号処理を始める。具体的には、復号器は、エントロピー復号スキームを使用して、ビットストリームを対応する構文データ及びビデオ・データに変換する。復号器は、ビットストリームからの構文データを使用して、ステップ１１１でフレームのパーティションを判定する。パーティショニングは、ステップ１０３でのブロック・パーティショニングの結果とマッチする。ステップ１１１で使用されるエントロピー・符号化／復号が、ここで説明される。符号化器は、入力画像内の値の空間的位置付けに基づいていくつかの考えられる選択からブロック・パーティショニング・スキームを選択するなど、圧縮プロセス中に多くの選択を行う。厳密な選択をシグナリングすることは、多数のビンを使用してもよい。本明細書で使用される場合、ビンは、変数として扱われるバイナリ値（例えば、コンテキストに応じて変化し得るビット値）である。エントロピー・コーディングは、符号化器が、許容可能なオプションのセットを残して、特定のケースに明らかに実行不可能な任意のオプションを破棄することを可能にする。各許容可能なオプションは、コード・ワードが割り当てられる。コード・ワードの長さは、許容可能なオプションの数（例えば、２つのオプションに対して１つのビン、３つから４つのオプションに対して２つのビンなど）に基づく。符号化器は、次いで、選択されたオプションに対してコード・ワードを符号化する。このスキームは、コード・ワードが、すべての考えられるオプションの考えられる大きなセットからの選択を一意に示すこととは対称的に、許容可能なオプションの小さなサブセットからの選択を一意に示すことが望ましい程度に大きいため、コード・ワードのサイズを低減する。次いで、復号器は、符号化器と同様の方法で許容可能なオプションのセットを判定することによって、選択を復号する。許容可能なオプションのセットを判定することによって、復号器は、コード・ワードを読み取り、符号化器によって行われた選択を判定することができる。
ステップ１１３で、復号器はブロック復号を実行する。具体的には、復号器は、残差ブロックを生成するために逆変換を使用する。次いで、復号器は、残差ブロック及び対応する予測ブロックを使用して、パーティショニングに従って画像ブロックを再構成する。予測ブロックは、ステップ１０５において符号化器で生成されるように、イントラ予測ブロックとインター予測ブロックの両方を含んでもよい。次いで、再構成された画像ブロックは、ステップ１１１で判定されたパーティショニング・データに従って、再構成されたビデオ信号のフレーム内に位置決めされる。ステップ１１３のための構文はまた、上記に論じたのようにエントロピー符号化によってビットストリームにシグナリングされてもよい。
ステップ１１５で、符号化器におけるステップ１０７と同様の方式で、再構成されたビデオ信号のフレームに対してフィルタリングが実行される。例えば、ノイズ抑制フィルタ、ブロック解除フィルタ、適応ループ・フィルタ、及びＳＡＯフィルタがフレームに適用されて、ブロッキング・アーチファクトを除去してもよい。フレームがフィルタリングされると、ビデオ信号は、ステップ１１７で、エンド・ユーザによって視認するために、ディスプレイに出力され得る。
図２は、ビデオ・コーディングのための例示的なコーディングおよび復号（コーデック）システム２００の概略図である。具体的には、コーデック・システム２００は、動作方法１００の実装をサポートするための機能性を提供する。コーデック・システム２００は、符号化器及び復号器の両方で使用されるコンポーネントを示すために一般化されている。コーデック・システム２００は、動作方法１００におけるステップ１０１及び１０３に関して論じたように、ビデオ信号を受信及びパーティショニングし、これは、パーティショニングされたビデオ信号２０１をもたらす。次いで、コーデック・システム２００は、方法１００におけるステップ１０５、１０７、及び１０９に関して論じたように、符号化器として作用するときに、パーティショニングされたビデオ信号２０１をコーディングされたビットストリームに圧縮する。復号器として作用する場合、コーデック・システム２００は、動作方法１００におけるステップ１１１、１１３、１１５、及び１１７に関して説明したように、ビットストリームからの出力ビデオ信号を生成する。コーデック・システム２００は、汎用コーダ制御コンポーネント２１１、変換スケーリング及び量子化コンポーネント２１３、イントラ・ピクチャ推定コンポーネント２１５、イントラ・ピクチャ予測コンポーネント２１７、モーション補償コンポーネント２１９、モーション推定コンポーネント２２１、スケーリング及び逆変換コンポーネント２２９、フィルタ制御分析コンポーネント２２７、ループ内フィルタ・コンポーネント２２５、復号されたピクチャ・バッファ・コンポーネント２２３、並びにヘッダ・フォーマッティング及びコンテキスト適応二進算術コーディング（ＣＡＢＡＣ）コンポーネント２３１を含む。そのようなコンポーネントは、示されるように結合される。図２において、黒線は符号化／復号されるデータの移動を示し、破線は他のコンポーネントの動作を制御する制御データの移動を示す。コーデック・システム２００のコンポーネントはすべて、符号化器内に存在してもよい。復号器は、コーデック・システム２００のコンポーネントのサブセットを含み得る。例えば、復号器は、イントラ・ピクチャ予測コンポーネント２１７、モーション補償コンポーネント２１９、スケーリング及び逆変換コンポーネント２２９、ループ内フィルタ・コンポーネント２２５、及び復号されたピクチャ・バッファ・コンポーネント２２３を含み得る。ここでは、これらのコンポーネントについて説明する。
パーティショニングされたビデオ信号２０１は、コーディング・ツリーによって画素のブロックに分割されているキャプチャされたビデオ・シーケンスである。コーディング・ツリーは、画素のブロックをより小さな画素のブロックにサブ分割するために、様々な分割モードを使用する。次いで、これらのブロックは、さらに、より小さなブロックにサブ分割され得る。ブロックは、コーディング・ツリー上のノードと呼ばれることがある。より大きな親ノードは、より小さな子ノードに分裂される。ノードがサブ分割される回数は、ノード／コーディング・ツリーの深さと呼ばれる。いくつかのケースでは、分割されたブロックは、コーディング・ユニット（ＣＵ）に含められ得る。例えば、ＣＵは、ＣＵのための対応する構文命令と一緒に、ルマ・ブロック、赤色差クロマ（Ｃｒ）ブロック、及び青色差クロマ（Ｃｂ）ブロックを含むＣＴＵのサブ部分とすることができる。分裂モードは、ノードを、使用される分裂モードに依存して、変化する形状のそれぞれ２つ、３つ、又は４つの子ノードにパーティショニングするために使用されるバイナリ・ツリー（ＢＴ）、トリプル・ツリー（ＴＴ）、及びクワッド・ツリー（ＱＴ）を含み得る。パーティショニングされたビデオ信号２０１は、圧縮のために、汎用コーダ制御コンポーネント２１１、変換スケーリング及び量子化コンポーネント２１３、イントラ・ピクチャ推定コンポーネント２１５、フィルタ制御分析コンポーネント２２７、並びにモーション推定コンポーネント２２１に転送される。
汎用コーダ制御コンポーネント２１１は、アプリケーションの制約に従って、ビデオ・シーケンスの画像をビットストリームにコーディングすることに関係する決定を行うように構成されている。例えば、汎用コーダ制御コンポーネント２１１は、ビットレート／ビットストリーム・サイズ対再構成品質の最適化を管理する。そのような決定は、記憶空間／帯域幅の可用性及び画像解像度要求に基づいて行われてもよい。汎用コーダ制御コンポーネント２１１はまた、バッファのアンダーラン及びオーバランの問題を軽減するために、伝送速度に照らしてバッファの利用を管理する。これらの問題を管理するために、汎用コーダ制御コンポーネント２１１は、他のコンポーネントによるパーティショニング、予測、及びフィルタリングを管理する。例えば、汎用コーダ制御コンポーネント２１１は、解像度を増加させ、帯域幅の使用を増加させるために圧縮の複雑性を動的に増加させることができ、又は、解像度及び帯域幅の使用を減少させるために圧縮の複雑性を減少させることができる。それゆえ、汎用コーダ制御コンポーネント２１１は、ビットレートの懸念とビデオ信号再構成品質とのバランスを取るために、コーデック・システム２００の他のコンポーネントを制御する。汎用コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを作成する。制御データはまた、復号器で復号するための信号パラメータにビットストリームにおいて符号化されるようにヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１に転送される。
パーティショニングされたビデオ信号２０１はまた、インター予測のために、モーション推定コンポーネント２２１及びモーション補償コンポーネント２１９に送信される。パーティショニングされたビデオ信号２０１のフレーム又はスライスは、複数のビデオ・ブロックに分割されてもよい。モーション推定コンポーネント２２１及びモーション補償コンポーネント２１９は、時間的予測を提供するために、１つ以上の参照フレーム内の１つ以上のブロックに対して受信されたビデオ・ブロックのインター予測コーディングを実行する。コーデック・システム２００は、例えばビデオ・データの各ブロックに対して適切なコーディング・モードを選択するために、複数のコーディング・パスを実行してもよい。
モーション推定コンポーネント２２１及びモーション補償コンポーネント２１９は、高度に一体化されてもよいが、概念的な目的のために別々に示されている。モーション推定コンポーネント２２１によって実行されるモーション推定は、モーション・ベクトルを生成するプロセスであり、モーション・ベクトルは、ビデオ・ブロックのモーションを推定する。モーション・ベクトルは、例えば、予測ブロックに対するコーディングされたオブジェクトの変位を示してもよい。予測ブロックは、ピクセル差に関して、コーディングされるブロックに密接にマッチすることが見出されるブロックである。予測ブロックは、参照ブロックとも呼ばれることがある。このような画素差は、絶対差の和（ＳＡＤ）、二乗差の和（ＳＳＤ）、又は他の差分メトリックによって判定されてもよい。ＨＥＶＣは、ＣＴＵ、コーディング・ツリー・ブロック（ＣＴＢ）、及びＣＵを含むいくつかのコーディングされたオブジェクトを使用する。例えば、ＣＴＵをＣＴＢに分割することができ、次いで、ＣＴＢは、ＣＵに含めるためにＣＢに分割される。ＣＵは、予測データを含む予測ユニット（ＰＵ）及び／又はＣＵの変換残差データを含む変換ユニット（ＴＵ）として符号化できる。モーション推定コンポーネント２２１は、レート歪み最適化プロセスの一部としてレート歪み分析を使用することによって、モーション・ベクトル、ＰＵ、及びＴＵを生成する。例えば、モーション推定コンポーネント２２１は、現在のブロック／フレームに対する複数の参照ブロック、複数のモーション・ベクトルなどを判定し、最良のレート歪み特性を有する参照ブロック、モーション・ベクトルなどを選択してもよい。最良のレート歪み特性は、ビデオ再構成の品質（例えば、圧縮によるデータ損失量）とコーディング効率（例えば、最終符号化のサイズ）の両方のバランスをとる。
いくつかの例では、コーデック・システム２００は、復号されたピクチャ・バッファ・コンポーネント２２３に記憶された参照ピクチャのサブ整数画素位置の値を計算してもよい。例えば、ビデオ・コーデック・システム２００は、参照画像の１／４画素位置、１／８画素位置、または他の分数画素位置の値を補間してもよい。したがって、モーション推定コンポーネント２２１は、全ピクセル位置及び分数ピクセル位置に対するモーション探索を実行し、分数ピクセル精度のモーション・ベクトルを出力してもよい。モーション推定コンポーネント２２１は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することにより、インター・コーディングされたスライス内のビデオ・ブロックのＰＵのモーション・ベクトルを計算する。モーション推定コンポーネント２２１は、計算された動きベクトルを、符号化のためのヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１へのモーション・データとモーション補償コンポーネント２１９へのモーションとして計算されたモーション・ベクトルを出力する。
モーション補償コンポーネント２１９によって実行されるモーション補償は、モーション推定コンポーネント２２１によって判定されたモーション・ベクトルに基づいて予測ブロックをフェッチまたは生成することを伴ってもよい。繰り返しになるが、いくつかの例では、モーション推定コンポーネント２２１およびモーション補償コンポーネント２１９が機能的に一体化されてもよい。現在のビデオ・ブロックのＰＵに対するモーション・ベクトルを受信すると、モーション補償コンポーネント２１９は、モーション・ベクトルが指し示す予測ブロックの位置を特定してもよい。次いで、コーディングされている現在のビデオ・ブロックの画素値から予測ブロックの画素値を減算し、ピクセル差値を形成することによって、残差ビデオ・ブロックが形成される。一般に、モーション推定コンポーネント２２１は、ルマ・コンポーネントに対するモーション推定を実行し、モーション補償コンポーネント２１９は、クロマ・コンポーネントとルマ・コンポーネントの両方に対するルマ・コンポーネントに基づいて計算されたモーション・ベクトルを使用する。予測ブロック及び残差ブロックは、変換のためにスケーリング及び量子化コンポーネント２１３に転送される。
パーティショニングされたビデオ信号２０１はまた、イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７に送信される。モーション推定コンポーネント２２１及びモーション補償コンポーネント２１９と同じように、イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７は、高度に一体化されてもよいが、概念的な目的のために別々に示されている。イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７は、上述のように、フレーム間のモーション推定コンポーネント２２１及びモーション補償コンポーネント２１９によって実行されるインター予測の代替として、現在のフレーム内のブロックに対する現在のブロックをイントラ予測する。特に、イントラ・ピクチャ推定コンポーネント２１５は、現在のブロックを符号化するために使用するイントラ予測モードを判定する。いくつかの例では、イントラ・ピクチャ推定コンポーネント２１５は、複数のテストされたイントラ・ピクチャ予測モードから現在のブロックを符号化するために、適切なイントラ予測モードを選択する。次いで、選択されたイントラ予測モードが、符号化のためにヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１に転送される。
例えば、イントラ・ピクチャ推定コンポーネント２１５は、様々なテストされたイントラ・ピクチャ予測モードに対してレート歪み分析を使用して、レート歪み値を計算し、テストされたモードのうち最良のレート歪み特性を有するイントラ予測モードを選択する。レート歪み分析は、一般に、符号化されたブロックと、符号化されたブロックを生成するために符号化されるオリジナルの符号化されていないブロックとの間の歪み（またはエラー）の量、および符号化されたブロックを生成するために使用されるビットレート（例えば、ビットの数）を判定する。イントラ・ピクチャ推定コンポーネント２１５は、様々な符号化ブロックに対する歪み及びレートから比を計算し、ブロックに対してどのイントラ予測モードが最良のレート歪み値を示すかを判定してもよい。追加的に、イントラ・ピクチャ推定コンポーネント２１５は、レート歪み最適化（ＲＤＯ）に基づく深度モデリング・モード（ＤＭＭ）を使用して深度マップの深度ブロックをコーディングするように構成されてもよい。
イントラ・ピクチャ予測コンポーネント２１７は、符号化器に実装されたときにはイントラ・ピクチャ推定コンポーネント２１５によって判定された選択されたイントラ・ピクチャ予測モードに基づいて予測ブロックから残余ブロックを生成するか、または復号器に実装されたときにはビットストリームから残余ブロックを読み取ってもよい。残差ブロックは、行列として表される予測ブロックとオリジナルのブロックとの間の値の差を含む。次いで、残差ブロックは、変換スケーリング及び量子化コンポーネント２１３に転送される。イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７は、ルマ・コンポーネント及びクロマ・コンポーネントの両方に対して動作してもよい。
変換スケーリング及び量子化コンポーネント２１３は、残差ブロックをさらに圧縮するように構成されている。変換スケーリング及び量子化コンポーネント２１３は、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、又は概念的に類似した変換などの変換を残差ブロックに適用して、残差変換係数値を含むビデオ・ブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換も使用され得る。変換は、残差情報をピクセル値ドメインから変換ドメイン、例えば周波数ドメインに変換してもよい。変換スケーリング及び量子化コンポーネント２１３はまた、変換された残差情報を、例えば周波数に基づいてスケーリングするように構成されている。そのようなスケーリングは、異なる周波数情報が異なる粒度で量子化されるように、残差情報にスケールファクタを適用することを伴い、これは、再構成されたビデオの最終的な視覚品質に影響を及ぼす可能性がある。変換スケーリング及び量子化コンポーネント２１３はまた、ビットレートをさらに低下させるために変換係数を量子化するように構成されている。量子化プロセスは、係数の一部又はすべてに関連するビット深度を低減してもよい。量子化の程度は、量子化パラメータを調整することによって修正されてもよい。いくつかの例では、変換スケーリング及び量子化コンポーネント２１３は、次いで、量子化された変換係数を含む行列の走査を実行してもよい。量子化された変換係数は、ビットストリームで符号化されるようにヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１に転送される。
スケーリング及び逆変換コンポーネント２２９は、モーション推定をサポートするために変換スケーリング及び量子化コンポーネント２１３の逆動作を適用する。スケーリング及び逆変換コンポーネント２２９は、例えば、後で別の現在のブロックの予測ブロックとなり得る参照ブロックとして使用するために、逆スケーリング、変換、及び／又は量子化を適用して、画素領域における残留ブロックを再構成する。モーション推定コンポーネント２２１及び／又はモーション補償コンポーネント２１９は、後のブロック／フレームのモーション推定に使用するために、残差ブロックを対応する予測ブロックに加算することによって参照ブロックを計算してもよい。フィルタは、スケーリング、量子化、及び変換の間に生成されるアーチファクトを軽減するために、再構成された参照ブロックに適用される。そうでなければ、このようなアーチファクトは、後続のブロックが予測されたときに不正確な予測を引き起こす（かつ追加のアーチファクトを作成する）可能性がある。
フィルタ制御分析コンポーネント２２７及びループ内フィルタ・コンポーネント２２５は、残差ブロック及び／又は再構成された画像ブロックにフィルタを適用する。例えば、スケーリング及び逆変換コンポーネント２２９からの変換された残留ブロックを、イントラ・ピクチャ予測コンポーネント２１７及び／又はモーション補償コンポーネント２１９からの対応する予測ブロックと組み合わせて、オリジナルの画像ブロックを再構成してもよい。次いで、フィルタは、再構成された画像ブロックに適用されてもよい。いくつかの例において、フィルタは、代わりに、残差ブロックに適用されてもよい。図２の他のコンポーネントと同じように、フィルタ制御分析コンポーネント２２７及びループ内フィルタ・コンポーネント２２５は、高度に一体化されており、一緒に実装されてもよいが、概念的な目的のために別々に示されている。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、そのようなフィルタが適用される方法を調整するために複数のパラメータを含む。フィルタ制御分析コンポーネント２２７は、再構成された参照ブロックを分析して、そのようなフィルタを適用すべき場所を判定し、対応するパラメータをセットする。このようなデータは、符号化のためのフィルタ制御データとしてヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１に転送される。ループ内フィルタ・コンポーネント２２５は、フィルタ制御データに基づいてそのようなフィルタを適用する。フィルタは、ブロック解除フィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、及び適応ループ・フィルタを含み得る。そのようなフィルタは、例に応じて、空間／画素ドメイン（例えば、再構成された画素ブロック）又は周波数ドメインにおいて適用され得る。
符号化器として動作する場合、フィルタリングされた再構成されたピクチャ・ブロック、残差ブロック、及び／又は予測ブロックは、上記で論じたように動作推定に後で使用するために、復号されたピクチャ・バッファ・コンポーネント２２３に記憶される。復号器として動作するとき、復号されたピクチャ・バッファ・コンポーネント２２３は、再構成されフィルタリングされたブロックを記憶し、出力ビデオ信号の一部として、ディスプレイに向かって転送する。復号されたピクチャ・バッファ・コンポーネント２２３は、予測ブロック、残差ブロック、及び／又は再構成された画像ブロックを記憶することができる任意のメモリ・デバイスであってもよい。
ヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１は、コーデック・システム２００の様々なコンポーネントからデータを受信し、復号器に向かって伝送するために、そのようなデータをコーディングされたビットストリームに符号化する。具体的には、ヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１は、汎用制御データ及びフィルタ制御データなどの制御データを符号化するための様々なヘッダを生成する。さらに、イントラ予測及びモーション・データを含む予測データ、ならびに量子化変換係数データの形式の残差データは、すべてビットストリームにおいて符号化される。最終的なビットストリームは、オリジナルのパーティショニングされたビデオ信号２０１を再構成するために復号器によって望まれるすべての情報を含む。そのような情報は、また、イントラ予測モード・インデックス・テーブル（コード・ワード・マッピング・テーブルとも呼ばれる）、様々なブロックに対する符号化コンテキストの定義、最も可能性の高いイントラ予測モードの表示、パーティション情報の表示などを含み得る。このようなデータは、エントロピー符号化を使用して符号化されてもよい。例えば、コンテキスト適応可変長コーディング（ＣＡＶＬＣ）、ＣＡＢＡＣ、構文ベースのコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ）、確率間隔パーティショニング・エントロピー（ＰＩＰＥ）コーディング、又は別のエントロピー符号化技術を使用して、情報が符号化されてもよい。エントロピー符号化の後、コーディングされたビットストリームは、別のデバイス（例えば、ビデオ復号器）に送信されるか、又は後の送信又は検索のためにアーカイブされてもよい。
図３は、例示的なビデオ符号化器３００を示すブロック図である。ビデオ符号化器３００は、コーデック・システム２００の符号化機能を実装するため、及び／又は動作方法１００のステップ１０１、１０３、１０５、１０７、及び／又は１０９を実装するために使用されてもよい。符号化器３００は、入力ビデオ信号をパーティショニングし、パーティショニングされたビデオ信号２０１と実質的に同様であるパーティショニングされたビデオ信号３０１をもたらす。次いで、パーティショニングされたビデオ信号３０１は、符号化器３００のコンポーネントによって圧縮され、ビットストリームに符号化される。
具体的には、パーティショニングされたビデオ信号３０１は、イントラ予測のために、イントラ・ピクチャ予測コンポーネント３１７に転送される。イントラ・ピクチャ予測コンポーネント３１７は、イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７と実質的に同様であり得る。また、パーティショニングされたビデオ信号３０１は、復号されたピクチャ・バッファ・コンポーネント３２３における参照ブロックに基づくインター予測のために、モーション補償コンポーネント３２１に転送される。モーション補償コンポーネント３２１は、モーション推定コンポーネント２２１及びモーション補償コンポーネント２１９と実質的に同様であり得る。イントラ・ピクチャ予測コンポーネント３１７及びモーション補償コンポーネント３２１からの予測ブロック及び残差ブロックは、残差ブロックの変換及び量子化のために変換及び量子化コンポーネント３１３に転送される。変換及び量子化コンポーネント３１３は、変換スケーリング及び量子化コンポーネント２１３と実質的に同様であり得る。変換され量子化された残差ブロック及び対応する予測ブロック（関連する制御データと一緒に）は、ビットストリームへのコーディングのためにエントロピー・コーディング・コンポーネント３３１に転送される。エントロピー・コーディング・コンポーネント３３１は、ヘッダ・フォーマッティング及びＣＡＢＡＣコンポーネント２３１と実質的に同様であり得る。
変換され量子化された残差ブロック及び／又は対応する予測ブロックも、モーション補償コンポーネント３２１によって使用するための参照ブロックへの再構成のために、変換及び量子化コンポーネント３１３から逆変換及び量子化コンポーネント３２９に転送される。逆変換及び量子化コンポーネント３２９は、スケーリング及び逆変換コンポーネント２２９と実質的に同様であり得る。ループ内フィルタ・コンポーネント３２５内のループ内フィルタはまた、例に応じて、残差ブロック及び／又は再構成された参照ブロックにも適用される。ループ内フィルタ・コンポーネント３２５は、実質的に、フィルタ制御分析コンポーネント２２７及びループ内フィルタ・コンポーネント２２５と同様であり得る。ループ内フィルタ・コンポーネント３２５は、ループ内フィルタ・コンポーネント２２５に関して論じられたように、複数のフィルタを含み得る。次いで、フィルタリングされたブロックは、モーション補償コンポーネント３２１によって参照ブロックとして使用するために、復号されたピクチャ・バッファ・コンポーネント３２３に記憶される。復号されたピクチャ・バッファ・コンポーネント３２３は、復号されたピクチャ・バッファ・コンポーネント２２３と実質的に同様であってもよい。
図４は、例示的なビデオ復号器４００を示すブロック図である。ビデオ復号器４００は、コーデック・システム２００の復号機能を実装するため、及び／又は動作方法１００のステップ１１１、１１３、１１５、及び／又は１１７を実装するために使用されてもよい。復号器４００は、例えば符号化器３００からビットストリームを受信し、エンド・ユーザに表示するためにビットストリームに基づいて再構成された出力ビデオ信号を生成する。
ビットストリームはエントロピー復号コンポーネント４３３によって受信される。エントロピー復号コンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディング、又は他のエントロピー・コーディング技術などのエントロピー復号スキームを実装するように構成されている。例えば、エントロピー復号コンポーネント４３３は、ビットストリームにおいてコード・ワードとして符号化された追加データを解釈するためのコンテキストを提供するために、ヘッダ情報を使用することができる。復号された情報は、汎用制御データ、フィルタ制御データ、パーティション情報、モーション・データ、予測データ、及び残差ブロックからの量子化変換係数のなど、ビデオ信号を復号するための任意の所望の情報を含む。量子化された変換係数は、残差ブロックに再構成するために、逆変換及び量子化コンポーネント４２９に転送される。逆変換及び量子化コンポーネント４２９は、逆変換及び量子化コンポーネント３２９と同様であり得る。
再構成された残差ブロック及び／又は予測ブロックは、内部予測動作に基づいて画像ブロックに再構成するために、イントラ・ピクチャ予測コンポーネント４１７に転送される。イントラ・ピクチャ予測コンポーネント４１７は、イントラ・ピクチャ推定コンポーネント２１５及びイントラ・ピクチャ予測コンポーネント２１７と実質的に同様であり得る。具体的には、イントラ・ピクチャ予測コンポーネント４１７は、フレーム内の参照ブロックを位置特定するために予測モードを使用し、残差ブロックを結果に適用して、イントラ予測された画像ブロックを再構成する。再構成されたイントラ予測された画像ブロック及び／又は残差ブロック及び対応するインター予測されたデータは、復号されたピクチャ・バッファ・コンポーネント４２３に、ループ内フィルタ・コンポーネント４２５を介して転送され、このコンポーネントは、復号されたピクチャ・バッファ・コンポーネント２２３及びループ内フィルタ・コンポーネント２２５にそれぞれ実質的に類似であり得る。ループ内フィルタ・コンポーネント４２５は、再構成された画像ブロック、残差ブロック及び／又は予測ブロックをフィルタリングし、そのような情報は復号されたピクチャ・バッファ・コンポーネント４２３に記憶される。復号されたピクチャ・バッファ・コンポーネント４２３からの再構成されたピクチャ・ブロックは、インター予測のためにモーション補償コンポーネント４２１に転送される。モーション補償コンポーネント４２１は、モーション推定コンポーネント２２１及び／又はモーション補償コンポーネント２１９と実質的に同様であり得る。具体的には、モーション補償コンポーネント４２１は、参照ブロックからのモーション・ベクトルを使用して予測ブロックを生成し、残留ブロックを結果に適用して画像ブロックを再構成する。得られた再構成されたブロックは、ループ内フィルタ・コンポーネント４２５を介して復号されたピクチャ・バッファ・コンポーネント４２３に転送されてもよい。復号されたピクチャ・バッファ・コンポーネント４２３は、追加の再構成された画像ブロックを記憶し続け、これらは、パーティション情報を介してフレームに再構成され得る。このようなフレームは、シーケンスに位置付けられてもよい。そのシーケンスは、再構成された出力ビデオ信号としてディスプレイ向かって出力される。
図５は、ＶＲピクチャ・ビデオ・ストリーム５００から分裂された複数のサブピクチャ・ビデオ・ストリーム５０１、５０２、及び５０３を示す概略図である。例えば、サブピクチャ・ビデオ・ストリーム５０１～５０３及び／又はＶＲピクチャ・ビデオ・ストリーム５００は、方法１００に従って、コーデック・システム２００及び／又は符号化器３００などの符号化器によって符号化されてもよい。さらに、サブピクチャ・ビデオ・ストリーム５０１～５０３及び／又はＶＲピクチャ・ビデオ・ストリーム５００は、コーデック・システム２００及び／又は復号器４００などの復号器によって復号されてもよい。
ＶＲピクチャ・ビデオ・ストリーム５００は、経時的に提示される複数のピクチャを含む。具体的には、ＶＲは、ユーザが球の中心にいるかのように表示することができるビデオ・コンテンツの球をコーディングすることによって動作する。各ピクチャは、球全体を含む。一方、ビューポートとして知られるピクチャの一部分のみがユーザに表示される。例えば、ユーザは、ユーザのヘッドの動きに基づいて球のビューポートを選択し表示するヘッド・マウント・ディスプレイ（ＨＭＤ）を使用してもよい。これは、ビデオによって示された仮想空間に物理的に存在するという印象を提供する。この結果を達成するために、ビデオ・シーケンスの各ピクチャは、対応する瞬間での球全体のビデオ・データを含む。しかし、ピクチャの小さな部分（例えば、単一のビューポート）だけがユーザに表示される。ピクチャの残りの部分はレンダリングされずに破棄される。ピクチャ全体は、一般に、ユーザのヘッドの動きに応答して、異なるビューポートが動的に選択され、表示することができるように送信される。
図示の例では、ＶＲピクチャ・ビデオ・ストリーム５００のピクチャは、各々、利用可能なビューポートに基づいてサブピクチャにサブ分割することができる。したがって、各ピクチャ及び対応するサブピクチャは、提示の一部としてピクチャ・オーダ・カウントを含む。サブピクチャ・ビデオ・ストリーム５０１～５０３は、サブ分割が経時的に一貫して適用されるときに作成される。このような一貫性のあるサブ分割は、サブピクチャ・ビデオ・ストリーム５０１～５０３を作成し、各ストリームは、ＶＲピクチャ・ビデオ・ストリーム５００における対応するピクチャに対する所定のサイズ、形状、及び空間位置のサブピクチャのセットを含む。さらに、サブピクチャ・ビデオ・ストリーム５０１～５０３におけるサブピクチャは、提示時間にわたってピクチャ・オーダ・カウントが変化する。このように、サブピクチャ・ビデオ・ストリーム５０１～５０３のサブピクチャは、提示時間に対するピクチャ順序に基づいて整列させることができる。次いで、各ピクチャ・オーダ・カウント値でのサブピクチャ・ビデオ・ストリーム５０１～５０３からのサブピクチャを、表示のためにＶＲピクチャ・ビデオ・ストリーム５００を再構成するために、事前定義された空間位置に基づいて空間領域においてマージすることができる。具体的には、サブピクチャ・ビデオ・ストリーム５０１～５０３は、各々、別々のサブビットストリームに符号化することができる。そのようなサブビットストリームが一緒にマージされるとき、それらは提示時間にわたってピクチャのセット全体を含むビットストリームをもたらす。得られたビットストリームは、現在選択されているユーザのビューポートに基づいて復号及び表示するために復号器に向かって送信することができる。
ＶＲビデオの問題の一つは、サブピクチャ・ビデオ・ストリーム５０１～５０３のすべてが高品質（例えば、高解像度）でユーザに送信され得ることである。これにより、復号器は、ユーザの現在のビューポートを動的に選択し、対応するサブピクチャ・ビデオ・ストリーム５０１～５０３からのサブピクチャをリアルタイムで表示することが可能となる。しかしながら、ユーザは、例えば、サブピクチャ・ビデオ・ストリーム５０１からの単一のビューポートのみを視認してもよく、一方で、サブピクチャ・ビデオ・ストリーム５０２～５０３は破棄される。このように、サブピクチャ・ビデオ・ストリーム５０２～５０３を高品質で送信することは、有意の量の帯域幅を無駄にすることがある。コーディング効率を改善するために、ＶＲビデオは、各ビデオ・ストリーム５００が異なる品質／解像度で符号化される複数のビデオ・ストリーム５００に符号化されてもよい。このようにして、復号器は、現在のサブピクチャ・ビデオ・ストリーム５０１に対する要求を送信することができる。これに応答して、符号化器（又は中間スライサ若しくは他のコンテンツサーバ）は、より高い品質のビデオ・ストリーム５００からより高い品質のサブピクチャ・ビデオ・ストリーム５０１を選択し、より低い品質のビデオ・ストリーム５００からより低い品質のサブピクチャ・ビデオ・ストリーム５０２～５０３を選択することができる。次いで、符号化器は、復号器に送信するために、このようなサブビットストリームを一緒に完全に符号化されたビットストリームにマージすることができる。このようにして、復号器は、現在のビューポートがより高い品質であり、他のビューポートがより低い低い品質である一連のピクチャを受信する。さらに、最高品質のサブピクチャは、一般に、（頭の動きのない）ユーザに表示され、より低い品質のサブピクチャは、一般に、破棄され、これは、機能性とコーディング効率とのバランスを取る。
ユーザがサブピクチャ・ビデオ・ストリーム５０１からサブピクチャ・ビデオ・ストリーム５０２に視認するように向きを変えるケースでは、復号器は、新しいサブピクチャ・ビデオ・ストリーム５０２が高品質で送信されることを要求する。次いで、符号化器は、それに応じてマージ・メカニズムを変更することができる。復号器は、ＩＲＡＰピクチャでのみ新しいＣＶＳの復号を始めることができる。これは、ＩＲＡＰピクチャが、別のピクチャを参照しないイントラ予測に従ってコーディングされるためである。それゆえ、ＩＲＡＰピクチャに先行するピクチャが利用できなくても、ＩＲＡＰピクチャを復号することができる。非ＩＲＡＰピクチャは、インター予測に従って符号化される。このように、非ＩＲＡＰピクチャは、参照ピクチャ・リストに基づいて対応する参照ピクチャのセットを最初に復号することなしには復号することができない。したがって、復号器は、一般に、非ＩＲＡＰピクチャでビデオ・シーケンスの復号を始めることができない。これらの制約のために、サブピクチャ・ビデオ・ストリーム５０２は、ＩＲＡＰピクチャ／サブピクチャに到達するまで、より低い品質で表示される。次いで、ＩＲＡＰピクチャは、より高い品質で復号され、高い品質のバージョンのサブピクチャ・ビデオ・ストリーム５０２の復号を始めることができる。このアプローチは、ユーザの視認体験に悪影響を与えることなく、ビデオ圧縮を有意に向上させる。
上記のアプローチの１つの関心事は、解像度を変更するのに必要な時間の長さが、ビデオ・ストリームにおいてＩＲＡＰピクチャに到達するまでの時間の長さに基づいていることである。これは、復号器が、非ＩＲＡＰピクチャで異なるバーションのサブピクチャ・ビデオ・ストリーム５０２の復号を始めることができないためである。このようなレイテンシを低減する１つのアプローチは、より多くのＩＲＡＰピクチャを含めることである。しかし、その結果、ファイルサイズの増加をもたらす。機能性とコーディング効率とのバランスをとるために、異なるビューポート／サブピクチャ・ビデオ・ストリーム５０１～５０３は、異なる頻度でＩＲＡＰピクチャを含み得る。例えば、視認される可能性の高いビューポート／サブピクチャ・ビデオ・ストリーム５０１～５０３は、他のビューポート／サブピクチャ・ビデオ・ストリーム５０１～５０３よりも多くのＩＲＡＰピクチャを有してもよい。例えば、バスケットボールのコンテキストでは、バスケット及び／又は中央コートに関係するビューポート／サブピクチャ・ビデオ・ストリーム５０１～５０３は、スタンド又は天井がユーザによって視認される可能性が低いため、そのようなビューポート／サブピクチャ・ビデオ・ストリーム５０１～５０３よりも高い頻度でＩＲＡＰピクチャ含んでもよい。
このアプローチは、追加的な問題につながる。具体的には、ＰＯＣを共有するサブピクチャ・ビデオ・ストリーム５０１～５０３からのサブピクチャは、単一ピクチャの一部である。上記のように、ピクチャからのスライスは、ピクチャ・タイプに基づいてＮＡＬユニットに含まれる。いくつかのビデオ・コーディング・システムでは、単一ピクチャに関係するすべてのＮＡＬユニットは、同じＮＡＬユニット・タイプを含むように制約される。異なるサブピクチャ・ビデオ・ストリーム５０１～５０３が異なる頻度でＩＲＡＰピクチャを有するときに、ピクチャのうちのいくつかは、ＩＲＡＰサブピクチャと非ＩＲＡＰサブピクチャの両方を含む。これは、各単一ピクチャが同じタイプのＮＡＬユニットのみを使用するべきであるという制約に違反する。
この問題は、ピクチャにおけるスライスに対するすべてのＮＡＬユニットが同じＮＡＬユニット・タイプを使用するという制約を取り除くことによって対処することができる。例えば、ピクチャはアクセス・ユニットに含まれる。この制約を取り除くことによって、アクセス・ユニットは、ＩＲＡＰ ＮＡＬユニット・タイプと非ＩＲＡＰ ＮＡＬユニット・タイプの両方を含み得る。さらに、ピクチャ／アクセス・ユニットがＩＲＡＰ ＮＡＬユニット・タイプと非ＩＲＡＰ ＮＡＬユニット・タイプの混合を含むときを示すために、フラグを符号化することができる。いくつかの例では、フラグはピクチャにおける混合ＮＡＬユニット・タイプ・フラグ（ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）である。追加的に、単一の混合ピクチャ／アクセス・ユニットが１つのタイプのＩＲＡＰ ＮＡＬユニットと１つのタイプの非ＩＲＡＰ ＮＡＬユニットのみを含み得ることを要求するために、制約が適用されてもよい。これにより、意図しないＮＡＬユニットのタイプの混合が発生することを防止する。このような混合が許容される場合、復号器は、このような混合を管理するように設計されなければならない。これは、コーディング・プロセスに追加的な利点を提供することなく、必要とされるハードウェアの複雑さを不必要に増加させるだろう。例えば、混合ピクチャは、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、又はＣＲＡ＿ＮＵＴから選択された１つのタイプのＩＲＡＰ＿ＮＡＬユニットを含み得る。さらに、混合ピクチャは、ＴＲＡＩＬ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ、及びＲＡＳＬ＿ＮＵＴから選択された１つのタイプの非ＩＲＡＰ ＮＡＬユニットを含み得る。
図６は、現在のピクチャが混合ＮＡＬユニット・タイプを含む場合に使用される制約６００を示す概略図である。制約６００は、ＶＲピクチャ・ビデオ・ストリーム５００をコーディングするときに適用され得る。このように、制約６００は、方法１００を適用するコーデック・システム２００及び／又は符号化器３００などの符号化器によって使用されてもよい。さらに、制約６００は、方法１００を適用するコーデック・システム２００及び／又は復号器４００などの復号器によって採用されてもよい。制約６００は、ビデオ・データに課される、サポート・パラメータに課される、及び／又はビデオ・データのコーディング及び／又は復号に関係するプロセスに課される要件である。
具体的には、図６は、サブピクチャに分割された一連のピクチャを示す。サブピクチャは、サブピクチャＡ（ｓｕｂｐｉｃＡ）６０１及びサブピクチャＢ（ｓｕｂｐｉｃＢ）６０３として示される。サブピクチャ、以後ｓｕｂｐｉｃＡ６０１及びｓｕｂｐｉｃＢ６０３は、ピクチャのシーケンス内の１つ以上のスライスの矩形及び／又は正方形領域である。ｓｕｂｐｉｃＡ６０１及びｓｕｂｐｉｃＢ６０３は、図５のサブピクチャ・ビデオ・ストリーム５０１～５０３のいずれかなどのサブピクチャ・ビデオ・ストリームに含まれてもよい。説明を明瞭にするために、２つのサブピクチャのみが示されているが、任意の数のサブピクチャが使用されてもよい。
ピクチャは、フレーム又はそのフィールドを生成するルマ・サンプルのアレイ及び／又はクロマ・サンプルのアレイである。ピクチャは、復号順序６５０において符号化及び／又は復号される。復号順序は、構文要素が復号プロセスによって処理される順序である。復号順序が進行するにつれて、復号処理はピクチャを介して進行する。説明を明瞭にするために、特定の瞬間で現在符号化／復号されているピクチャを、現在のピクチャ６２０と呼ぶ。既に符号化／復号されたピクチャは、先行するピクチャ６１０である。まだ復号されていないピクチャは、後続のピクチャ６３０及び／又は６４０である。図６に示すように、ピクチャは一貫してｓｕｂｐｉｃＡ６０１とｓｕｂｐｉｃＢ６０３にパーティショニングされる。それゆえ、先行するピクチャ６１０、現在のピクチャ６２０、及び後続のピクチャ６３０及び６４０の各々は、ｓｕｂｐｉｃＡ６０１及びｓｕｂｐｉｃＢ６０３にパーティショニングされる、及び／又はそれらを含む。
上述のように、いくつかの例では、ＩＲＡＰサブピクチャは、異なる頻度で適用されてもよい。図示の例では、現在のピクチャ６２０は、同じＮＡＬユニット・タイプを有さない複数のＶＣＬ ＮＡＬユニットを含む。具体的には、現在のピクチャ６２０におけるｓｕｂｐｉｃＡは、ＩＲＡＰ ＮＡＬユニット６２１を含み、一方で、現在のピクチャ６２０におけるｓｕｂｐｉｃＢ６０３は、非ＩＲＡＰ ＮＡＬユニット６２３を含む。ＩＲＡＰ ＮＡＬユニット６２１は、ＩＲＡＰピクチャ又はサブピクチャからのデータを含むデータ構造である。ＩＲＡＰピクチャ／サブピクチャは、イントラ予測に従って符号化されるピクチャ／サブピクチャであり、これは、復号器が、ＩＲＡＰピクチャ／サブピクチャに先行するピクチャを参照することなく、対応するピクチャ／サブピクチャにおいてビデオ・シーケンスの復号を開始することができることを示す。ＩＲＡＰ ＮＡＬユニット６２１は、ＣＲＡ ＮＡＬユニット及び／又はＩＤＲ ＮＡＬユニットを含み得る。ＣＲＡピクチャ／サブピクチャは、ＤＰＢをリフレッシュしないＩＲＡＰピクチャ／サブピクチャであり、ＩＤＲピクチャ／サブピクチャは、ＤＰＢをリフレッシュするＩＲＡＰピクチャ／サブピクチャである。非ＩＲＡＰ ＮＡＬユニット６２３は、ＩＲＡＰピクチャ／サブピクチャを含まない任意のＶＣＬ ＮＡＬユニットである。例えば、非ＩＲＡＰ ＮＡＬユニット６２３は、先導ピクチャ、例えば、ランダム・アクセス・スキップ・リーディング（ＲＡＳＬ）ピクチャ、ランダム・アクセス復号可能リーディング（ＲＡＤＬ）ピクチャ、又はトレーリング・ピクチャを含み得る。リーディング・ピクチャは、提示順序において、ＩＲＡＰピクチャを先行し、復号順序６５０において、ＩＲＡＰピクチャの後に発生する。トレーリング・ピクチャは、提示順序及び復号順序の両方において、ＩＲＡＰピクチャの後に発生する。非ＩＲＡＰ ＮＡＬユニット６２３は、インター予測に従ってコーディングされてもよい。このように、現在のピクチャ６２０は、ｓｕｂｐｉｃＢ６０３におけるインター・ピクチャ予測及びｓｕｂｐｉｃＡ６０１におけるイントラ予測の両方に従ってコーディングされる。
先行するピクチャ６１０は、非ＩＲＡＰ ＮＡＬユニット６１１及び非ＩＲＡＰ ＮＡＬユニット６１３を含み、後続のピクチャ６３０は、非ＩＲＡＰ ＮＡＬユニット６３１及び非ＩＲＡＰ ＮＡＬユニット６３３を含み、後続のピクチャ６４０は、非ＩＲＡＰ ＮＡＬユニット６４１及び非ＩＲＡＰ ＮＡＬユニット６４３を含む。非ＩＲＡＰ ＮＡＬユニット６１１、６１３、６３１、６３３、６４１、及び６４３は、非ＩＲＡＰ ＮＡＬユニット６２３と同様であってもよい（例えば、インター予測に従って符号化されてもよい）が、異なるビデオ・データを含み得る。
現在のピクチャ６２０は、同じＮＡＬユニット・タイプを持たないＶＣＬ ＮＡＬユニットを含むため、現在のピクチャ６２０は、混合ＮＡＬユニット・ピクチャである。混合ＮＡＬユニット・ピクチャの存在は、ビットストリームにおけるパラメータ・セットにおけるフラグによってシグナリングすることができる。制約６００は、現在のピクチャ６２０などの混合ＮＡＬユニット・ピクチャに遭遇したときに適用される。
符号化中、符号化器は、現在のピクチャ６２０でのｓｕｂｐｉｃＡ６０１がＩＲＡＰ ＮＡＬユニット・タイプに関連し、それゆえ、ＩＲＡＰ ＮＡＬユニット６２１を含むと判定することができる。これは、現在のピクチャ６２０でのｓｕｂｐｉｃＡ６０１が境界として作用すべきであり、ｓｕｂｐｉｃＡ６０１でのインター予測が現在のピクチャ６２０を横切って参照することを防止することを示す。それゆえ、非ＩＲＡＰ ＮＡＬユニット６３１は、非ＩＲＡＰ ＮＡＬユニット６１１又はＩＲＡＰ ＮＡＬユニット６２１に先行する任意の他のＮＡＬユニットを参照することができない。符号化器は、ｓｕｂｐｉｃＡ６０１に位置付けられた現在のピクチャのすべてのスライスが、同じＮＡＬユニット・タイプに関連することを確実にすることによって、現在のピクチャ６２０を符号化することができる。例えば、ｓｕｂｐｉｃＡが少なくとも１つのＣＲＡスライス（又はＩＤＲスライス）を含むときに、ｓｕｂｐｉｃＡ６０１内のすべてのスライスもＣＲＡ（又はＩＤＲ）でなければならない。次いで、現在のピクチャ６２０（ＩＲＡＰ ＮＡＬユニット６２１及び非ＩＲＡＰ ＮＡＬユニット６２３を含む）のスライスは、ＮＡＬユニット・タイプ（例えば、それぞれ、イントラ予測及びインター予測）に基づいて符号化される。復号順序６５０で現在のピクチャ６２０に続く後続のピクチャ６３０及び６４０も符号化される。ＩＲＡＰ ＮＡＬユニット６２１がインター予測伝播を防止することを確実にするために、非ＩＲＡＰ ＮＡＬユニット６３１及び６４１は、先行するピクチャ６１０を参照すること（６３２）が防止される。参照すること６３２は、参照ピクチャ・リストによって制御され、参照ピクチャ・リストのアクティブ・エントリは、現在コーディングされているピクチャに対して利用可能な参照ピクチャを示す。このように、制約６００は、後続のピクチャ６３０及び６４０（例えば、非ＩＲＡＰ ＮＡＬユニット６３１及び６４１）におけるｓｕｂｐｉｃＡに位置付けられたスライスに関連するアクティブ・エントリが、現在のピクチャ６２０におけるｓｕｂｐｉｃＡ６０１がＩＲＡＰ ＮＡＬユニット・タイプを有するＩＲＰ ＮＡＬユニット６２１に関連するときに、復号順序６５０において、現在のピクチャ６２０に先行する任意の参照ピクチャを参照しないこと／参照すること６３２をしないことを確実にする。非ＩＲＡＰ ＮＡＬユニット６３１は、現在のピクチャ６２０及び／又は後続のピクチャ６４０を依然として参照することが可能である。さらに、非ＩＲＡＰ ＮＡＬユニット６４１は、現在のピクチャ６２０及び／又は後続のピクチャ６３０を依然として参照することが可能である。これは、非ＩＲＡＰ ＮＡＬユニット６３１及び６４１がｓｕｂｐｉｃＡにおけるＩＲＡＰ ＮＡＬユニット６２１に従うため、非ＩＲＡＰ ＮＡＬユニット６３１及び６４１に対するインター予測伝播を停止する。次いで、後続のピクチャ６３０及び／又は６４０は、ＮＡＬユニット・タイプに基づいて、及び制約６００に従って符号化することができる。
このような制約６００は、非ＩＲＡＰ ＮＡＬユニット６３３及び６４３には適用されない。これは、それらがｓｕｂｐｉｃＢ６０３に位置しており、それゆえｓｕｂｐｉｃＢ６０３におけるＩＲＡＰ ＮＡＬユニットに従わない。したがって、非ＩＲＡＰ ＮＡＬユニット６３３及び６４３は、先行するピクチャ６１０を参照すること６３４をしてもよい。したがって、非ＩＲＡＰ ＮＡＬユニット６３３及び６４３に関連する参照ピクチャ・リストのアクティブ・エントリは、それぞれ、先行するピクチャ６１０、現在のピクチャ６２０、及び／又は後続のピクチャ６４０又は６３０を参照してもよい。このようにして、インター予測は、ＩＲＡＰ ＮＡＬユニット６２１によって、ｓｕｂｐｉｃＡに対しては壊されるが、ＩＲＡＰ ＮＡＬユニット６２１は、ｓｕｂｐｉｃＢ６０３に対するインター予測伝播を停止しない。それゆえ、制約６００を採用することによって、サブピクチャごとのベースでインター予測チェーンを停止する（又は停止しない）ことができる。上記のように、２つのサブピクチャのみが示されている。しかしながら、制約６００は、サブピクチャごとのベースでインター相互参照チェーンの伝播を停止するために、任意の数のサブピクチャに適用することができる。
図７は、参照ピクチャ・リストを含む例示的な参照ピクチャ・リスト（ＲＰＬ）構造７００を示す概略図である。ＲＰＬ構造７００は、一方向インター予測及び／又は双方向インター予測において使用される参照ピクチャの表示を記憶するために使用することができる。それゆえ、ＲＰＬ構造７００は、方法１００を実行するときに、コーデック・システム２００、符号化器３００、及び／又は復号器４００によって使用することができる。さらに、ＲＰＬ構造７００は、ＶＲピクチャ・ビデオ・ストリーム５００をコーディングするときに使用されてもよく、そのケースでは、ＲＰＬ構造７００は、制約６００に従って符号化されてもよい。
ＲＰＬ構造７００は、ＲＰＬ０ ７１１及びＲＰＬ１ ７１２などの複数の参照ピクチャ・リストを含むアドレス可能な構文構造である。ＲＰＬ構造７００は、対応するスライスをコーディングするときの使用のためにコーディング及び／又は導出されてもよい。ＲＰＬ構造７００は、例に応じて、ビットストリームのＳＰＳ及び／又はスライス・ヘッダに記憶されてもよい。ＲＰＬ０ ７１１及びＲＰＬ１ ７１２などの参照ピクチャ・リストは、インター予測に使用される参照ピクチャを示すリストである。ＲＰＬ０ ７１１及びＲＰＬ１ ７１２は各々、複数のエントリ７１５を含み得る。ＲＰＬ構造エントリ７１５は、ＲＰＬ０ ７１１及び／又はＲＰＬ１ ７１２などの参照ピクチャ・リストに関連する参照ピクチャを示すＲＰＬ構造７００においてアドレス指定可能な位置である。各エントリ７１５は、インター予測に使用されるピクチャを参照するピクチャ・オーダ・カウント（ＰＯＣ）値（又は他のポインタ値）を含み得る。具体的には、一方向インター予測によって使用されるピクチャへの参照はＲＰＬ０ ７１１に記憶され、双方向インター予測によって使用されるピクチャへの参照はＲＰＬ０ ７１１とＲＰＬ１ ７１２の両方に記憶される。例えば、双方向インター予測は、ＲＰＬ０ ７１１によって示される１つの基準ピクチャ及びＲＰＬ１ ７１２によって示される１つの基準ピクチャを使用してもよい。
特定の例では、ＲＰＬ構造７００は、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔ（ｌｉｓｔＩｄｘ， ｒｐｌｓＩｄｘ）として示すことができ、リスト・インデックス（ｌｉｓｔＩｄｘ）７２１は、参照ピクチャ・リストＲＰＬ０ ７１１及び／又はＲＰＬ１ ７１２を識別し、参照ピクチャ・リスト構造インデックス（ｒｐｌｓＩｄｘ）７２５は、参照ピクチャ・リストにおけるエントリ７１５を識別する。したがって、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｓｔｒｕｃｔは、ｌｉｓｔＩｄｘ７２１及びｒｐｌｓＩｄｘ７２５に基づいてエントリ７１５を返す構文構造である。符号化器は、ビデオ・シーケンスにおける各非イントラ・コーディングされたスライスに対してＲＰＬ構造７００の一部分を符号化することができる。次いで、復号器は、コーディングされたビデオ・シーケンスにおいて各非イントラ・コーディングされたスライスを復号する前に、ＲＰＬ構造７００の対応する部分を解決することができる。インター予測に従って現在のピクチャをコーディングするときに使用に利用可能である参照ピクチャを示すエントリ７１５は、アクティブ・エントリと呼ばれる。現在のピクチャに使用できないエントリ７１５は、非アクティブ・エントリと呼ばれる。
図８は、混合ＮＡＬユニット・タイプを有するピクチャを含む例示的なビットストリーム８００を示す概略図である。例えば、ビットストリーム８００は、方法１００に従って、コーデック・システム２００及び／又は復号器４００による復号のためにコーデック・システム２００及び／又は符号化器３００によって生成することができる。さらに、ビットストリーム８００は、複数のビデオ解像度で複数のサブピクチャ・ビデオ・ストリーム５０１～５０３からマージされたＶＲピクチャ・ビデオ・ストリーム５００を含み得る。さらに、ビットストリーム８００は、制約６００に従ってコーディングされたＲＰＬ構造７００を含み得る。
ビットストリーム８００は、シーケンス・パラメータ・セット（ＳＰＳ）８１０、複数のピクチャ・パラメータ・セット（ＰＰＳ）８１１、複数のスライス・ヘッダ８１５、及び画像データ８２０を含む。ＳＰＳ８１０は、ビットストリーム８００に含まれるビデオ・シーケンスにおけるすべてのピクチャに共通のシーケンス・データを含む。このようなデータは、ピクチャ・サイズ、ビット深度、コーディング・ツール・パラメータ、ビット速度制限などを含むことができる。ＰＰＳ８１１は、ピクチャ全体に適用されるパラメータを含む。それゆえ、ビデオ・シーケンスにおける各ピクチャは、ＰＰＳ８１１を参照し得る。各ピクチャはＰＰＳ８１１を参照する一方で、単一のＰＰＳ８１１は、いくつかの例において複数のピクチャのためのデータを含むことができることに留意されたい。例えば、複数の類似のピクチャは、類似のパラメータに従ってコーディングされてもよい。このようなケースでは、単一のＰＰＳ８１１は、このような類似のピクチャのためのデータを含み得る。ＰＰＳ８１１は、対応するピクチャ、量子化パラメータ、オフセットなどにおけるスライスに利用可能なコーディング・ツールを示すことができる。スライス・ヘッダ８１５は、ピクチャにおける各スライスに特有のパラメータを含む。それゆえ、ビデオ・シーケンスにおいて、スライス当たり１つのスライス・ヘッダ８１５があってもよい。スライス・ヘッダ８１５は、スライス・タイプ情報、ピクチャ・オーダ・カウント（ＰＯＣ）、参照ピクチャ・リスト、予測重み、タイル・エントリ・ポイント、ブロック解除パラメータなどを含み得る。スライス・ヘッダ８１５は、いくつかのコンテキストにおいて、タイル・グループ・ヘッダとも呼ばれることがあることに留意されたい。
画像データ８２０は、インター予測及び／又はイントラ予測に従って符号化されたビデオ・データ、ならびに対応する変換及び量子化された残差データを含む。例えば、ビデオ・シーケンスは、画像データ８２０としてコーディングされた複数のピクチャ８２１を含む。ピクチャ８２１は、ビデオ・シーケンスの単一フレームであり、それゆえ、ビデオ・シーケンスを表示するときには、一般に単一ユニットとして表示される。しかしながら、サブピクチャ８２３は、仮想現実などの特定の技術を実装するために表示されてもよい。ピクチャ８２１は各々、ＰＰＳ８１１を参照する。ピクチャ８２１は、サブピクチャ８２３、タイル、及び／又はスライスに分割されてもよい。サブピクチャ８２３は、コーディングされたビデオ・シーケンスにわたって一貫して適用されるピクチャ８２１の空間領域である。したがって、サブピクチャ８２３は、ＶＲコンテキストにおいてＨＭＤによって表示されてもよい。さらに、サブピクチャ・ビデオ・ストリーム５０１～５０３から、対応する解像度で、指定されたＰＯＣを有するサブピクチャ８２３が取得されてもよい。サブピクチャ８２３は、ＳＰＳ８１０を参照してもよい。いくつかのシステムでは、スライス８２５はタイルを含むタイル・グループと呼ばれる。スライス８２５及び／又はタイルのタイル・グループは、スライス・ヘッダ８１５を参照する。スライス８２５は、単一のＮＡＬユニットに排他的に含まれる整数個の完全タイル又はピクチャ８２１のタイル内の整数個の連続する完全コーディング・ツリー・ユニット（ＣＴＵ）行として定義されてもよい。それゆえ、スライス８２５は、さらにＣＴＵ及び／又はコーディング・ツリー・ブロック（ＣＴＢ）に分割される。ＣＴＵ／ＣＴＢはさらにコードツリーに基づいてコーディング・ブロックに分割される。次いで、コーディング・ブロックは、予測メカニズムに従って符号化／復号されてもよい。
パラメータ・セット及び／又はスライス８２５はＮＡＬユニットにおいてコーディングされる。ＮＡＬユニットは、従うべきデータのタイプの表示と、必要に応じてエミュレーション防止バイトが散在するＲＢＳＰの形式のそのデータを含むバイトを含む構文構造として定義されてもよい。より具体的には、ＮＡＬユニットは、ピクチャ８２１のパラメータ・セット又はスライス８２５及び対応するスライス・ヘッダ８１５を含む記憶ユニットである。具体的には、ＶＣＬ ＮＡＬユニット８４０は、ピクチャ８２１のスライス８２５及び対応するスライス・ヘッダ８１５を含むＮＡＬユニットである。さらに、非ＶＣＬ ＮＡＬユニット８３０は、ＳＰＳ８１０及びＰＰＳ８１１などのパラメータ・セットを含む。いくつかのタイプのＮＡＬユニットが使用され得る。例えば、ＳＰＳ８１０及びＰＰＳ８１１は、それぞれ、ＳＰＳ ＮＡＬユニット・タイプ（ＳＰＳ＿ＮＵＴ）８３１及びＰＰＳ ＮＡＬユニット・タイプ（ＰＰＳ＿ＮＵＴ）８３２に含まれてもよく、これらは両方とも非ＶＣＬ ＮＡＬユニット８３０である。このように、復号器はビットストリーム８００からＳＰＳ＿ＮＵＴ８３１を読み取って、符号化器によってコーディングされたＳＰＳ８１０を取得することができる。同様に、復号器はビットストリーム８００からＰＰＳ＿ＮＵＴ８３２を読み取って、符号化器によってコーディングされたＰＰＳ８１１を取得することができる。
ＩＲＡＰピクチャ／サブピクチャのスライス８２５は、ＩＲＡＰ ＮＡＬユニット８４５に含まれ得る。非ＩＲＡＰピクチャ／サブピクチャのスライス８２５、例えば、リーディング・ピクチャ及びトレーリング・ピクチャは、非ＩＲＡＰ ＮＡＬユニット８４９に含まれ得る例えば、スライス８２５は、単一のＶＣＬ ＮＡＬユニット８４０に含まれ得る。次いで、ＶＣＬ ＮＡＬユニット８４０には、スライス８２５を含むピクチャ８２１及び／又はサブピクチャ８２３のタイプに基づくタイプ識別子が割り当てられ得る。例えば、ＣＲＡサブピクチャであるサブピクチャ８２３から取られたスライス８２５は、ＣＲＡ＿ＮＵＴ８４３に含まれる。ビットストリーム８００は、いくつかのタイプのＩＲＡＰ ＮＡＬユニット８４５を含み、それゆえ、リーディング・ピクチャのないＩＤＲ、ランダム・アクセス復号可能リーディング（ＲＡＤＬ）ピクチャを有するＩＤＲ、及びＣＲＡピクチャを含むピクチャ／サブピクチャ・タイプを含む。ビットストリーム８００はまた、いくつかのタイプの非ＩＲＡＰ ＮＡＬユニット８４９を含み、それゆえ、ランダム・アクセス・スキップ・リーディング（ＲＡＳＬ）ピクチャ、ＲＡＤＬピクチャ、及びトレーリング・ピクチャを含むピクチャ／サブピクチャ・タイプを含む。
リーディング・ピクチャは、復号順序において、ＩＲＡＰピクチャの後にコーディングされ、提示順序において、そのピクチャの前にコーディングされるピクチャである。ＩＲＡＰ ＮＡＬユニット８４５は、ＩＲＡＰピクチャ又はサブピクチャから取得されたスライス８２５を含む任意のＮＡＬユニットである。非ＩＲＡＰ ＮＡＬユニット８４９は、ＩＲＡＰピクチャ又はサブピクチャ（例えば、リーディング・ピクチャ又はトレーリング・ピクチャ）ではない任意のピクチャから撮影されたスライス８２５を含む任意のＮＡＬユニットである。ＩＲＡＰ ＮＡＬユニット８４５及び非ＩＲＡＰ ＮＡＬユニット８４９は、両方ともスライスデータを含むため、両方ともＶＣＬ ＮＡＬユニット８４０である。例示的な実施形態では、ＩＲＡＰ ＮＡＬユニット８４５は、ＩＤＲ＿Ｎ＿ＬＰ ＮＡＬユニット８４１又はＩＤＲ＿ｗ＿ＲＡＤＬ ＮＡＬユニット８４２にそれぞれ、リーディング・ピクチャなしのＩＤＲピクチャ又はＲＡＤＬピクチャに関連するＩＤＲからのスライス８２５を含み得る。さらに、ＩＲＡＰ ＮＡＬユニット８４５は、ＣＲＡ＿ＮＵＴ ８４３におけるＣＲＡピクチャからのスライス８２５を含み得る。例示的な実施形態では、非ＩＲＡＰ ＮＡＬユニット８４９は、ＲＡＳＬ＿ＮＵＴ ８４６、ＲＡＤＬ＿ＮＵＴ ８４７、又はＴＲＡＩＬ＿ＮＵＴ ８４８にそれぞれ、ＲＡＳＬピクチャ、ＲＡＤＬピクチャ、又はトレーリング・ピクチャからのスライス８２５を含み得る。例示的な実施形態では、考えられるＮＡＬユニットの完全なリストが、ＮＡＬユニットのタイプによってソートされたものとして以下に示される。
Figure 2022539865000002
Figure 2022539865000003
上記のように、ＶＲビデオ・ストリームは、異なる頻度でＩＲＡＰピクチャを有するサブピクチャ８２３を含み得る。これにより、ユーザが見る可能性の低い空間領域に対してより少ないＩＲＡＰピクチャが使用され、ユーザがよく視認する可能性の高い空間領域に対してより多くのＩＲＡＰピクチャが使用されることが可能となる。このようにして、ユーザが定期的に切り替えて戻ってくる可能性が高い空間領域を、より高い解像度に迅速に調整することができる。このアプローチが、ＩＲＡＰ ＮＡＬユニット８４５及び非ＩＲＡＰ ＮＡＬユニット８４９の両方を含むピクチャ８２１をもたらすときに、ピクチャ８２１は、混合ピクチャと呼ばれる。この状態は、ピクチャ・フラグ（ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）８２７における混合ＮＡＬユニット・タイプによってシグナリングすることができる。ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ８２７は、ＰＰＳ８１１においてセットされてもよい。さらに、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ８２７は、ＰＰＳ８１１を参照する各ピクチャ８２１が複数のＶＣＬ ＮＡＬユニット８４０を有し、ＶＣＬ ＮＡＬユニット８４０が同じ値のＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有しないことを指定するときに１に等しくセットされてもよい。さらに、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ８２７は、ＰＰＳ８１１を参照する各ピクチャ８２１が複数のＶＣＬ ＮＡＬユニット８４０を有し、各ピクチャ８２１のＶＣＬ ＮＡＬユニット８４０がすべて同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するときに０に等しくセットされてもよい。
さらに、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ８２７がセットされたときに、ピクチャ８２１のサブピクチャ８２３のうちの１つ以上のＶＣＬ ＮＡＬユニット８４０がすべてＮＡＬユニット・タイプの第１の特定の値を有し、ピクチャ８２１における他のＶＣＬ ＮＡＬユニット８４０がすべて、ＮＡＬユニット・タイプの異なる第２の特定の値を有するように、様々な制約が使用されてもよい。例えば、制約は、混合ピクチャ８２１が単一タイプのＩＲＡＰ ＮＡＬユニット８４５及び単一タイプの非ＩＲＡＰ ＮＡＬユニット８４９を含むことを要求してもよい。例えば、ピクチャ８２１は、１つ以上のＩＤＲ＿Ｎ＿ＬＰ ＮＡＬユニット８４１、１つ以上のＩＤＲ＿ｗ＿ＲＡＤＬ ＮＡＬユニット８４２、又は１つ以上のＣＲＡ＿ＮＵＴ８４３を含むことができるが、そのようなＩＲＡＰ ＮＡＬユニット８４５の任意の組み合わせは含むことができない。さらに、ピクチャ８２１は、１つ以上のＲＡＳＬ＿ＮＵＴ８４６、１つ以上のＲＡＤＬ＿ＮＵＴ８４７、又は１つ以上のＴＲＡＩＬ＿ＮＵＴ８４８を含むことができるが、そのようなＩＲＡＰ ＮＡＬユニット８４５の任意の組み合わせは含むことができない。追加的に、サブピクチャ８２３は、１つのタイプのみのＶＣＬ ＮＡＬユニット８４０に制約されてもよい。さらに、制約６００は、ビットストリーム８００において使用されるＶＣＬ ＮＡＬユニット８４０のタイプに基づいて、サブピクチャ８２３に適用されてもよい。
先行する情報は、本明細書において、以下でより詳細に説明される。ビデオ・コーデック仕様では、復号プロセスを定義するために、ピクチャ・タイプが識別されてもよい。これには、ピクチャ識別（例えば、ＰＯＣ）の導出のため、（ＤＰＢ）における参照ピクチャ状態のマーキングのため、ＤＰＢからのピクチャの出力のためなどを含み得る。
ＡＶＣとＨＥＶＣでは、コーディングされたピクチャを含むＮＡＬユニット・タイプからピクチャ・タイプを識別できる。ＡＶＣのピクチャ・タイプは、ＩＤＲピクチャ及び非ＩＤＲピクチャを含む。ＨＥＶＣにおけるピクチャ・タイプは、トレーリング・ピクチャ、時間的サブレイヤ・アクセス・ピクチャ（ＴＳＡ）、段階的時間的サブレイヤ・アクセス・ピクチャ（ＳＴＳＡ）、ランダム・アクセス復号可能リーディング・ピクチャ（ＲＡＤＬ）、ランダム・アクセス・スキップ・リーディング・ピクチャ（ＲＡＳＬ）、ブロークン・リンク・アクセス・ピクチャ（ＢＬＡ）、ＩＤＲ、及びＣＲＡを含む。ＨＥＶＣにおけるこれらのピクチャ・タイプの各々は、サブレイヤ参照ピクチャ又はサブレイヤ非参照ピクチャとしてさらに区別することができる。ＢＬＡピクチャは、リーディング・ピクチャを有するＢＬＡ、ＲＡＤＬピクチャを有するＢＬＡピクチャ、リーディング・ピクチャなしのＢＬＡピクチャを含む。ＩＤＲピクチャは、ＲＡＤＬピクチャを有するＩＤＲと、リーディング・ピクチャなしのＩＤＲを含むことができる。
ＨＥＶＣでは、ＩＤＲ、ＢＬＡ及びＣＲＡピクチャがＩＲＡＰピクチャである。ＶＶＣは、ＩＲＡＰピクチャとしてＩＤＲピクチャとＣＲＡピクチャを使用する。ＩＲＡＰピクチャは、以下の機能／利点を提供する。ＩＲＡＰピクチャの存在は、復号プロセスがそのピクチャから開始できることを示す。この機能性は、ＩＲＡＰピクチャがある位置に存在する限り、復号プロセスをビットストリームにおけるその位置で開始することを可能にするランダム・アクセス機能をサポートする。位置はビットストリームの始まりにおけるものではないかもしれない。ＩＲＡＰピクチャ４０２の存在は、ＲＡＳＬピクチャを除くＩＲＡＰピクチャの後のコーディングされるピクチャが、先行するＩＲＡＰピクチャへのいかなる参照なしにコーディングされるように、復号プロセスをリフレッシュする。それゆえ、ＩＲＡＰピクチャは、復号順序において、ＩＲＡＰピクチャの前に発生するエラーが、ＩＲＡＰピクチャの後のピクチャに伝播することを防止する。
ＩＲＡＰピクチャは、上述の機能を提供するが、圧縮効率に対するペナルティをもたらす。ＩＲＡＰピクチャの存在は、ビットレートにおけるサージも引き起こす。圧縮効率に対するこのペナルティは、２つの原因を有する。第１に、ＩＲＡＰピクチャはイントラ予測ピクチャであり、それゆえ、ＩＲＡＰピクチャはインター予測ピクチャよりも多くのビットで表現される。第２に、ＩＲＡＰピクチャの存在は、参照ピクチャがＤＰＢから除去されるときに、復号プロセスをリフレッシュすることによって時間的予測を壊すことがある。これは、インター予測のために利用可能な参照ピクチャが少なくなるにつれて、ＩＲＡＰピクチャの後のピクチャのコーディングの効率性が低下することをもたらすことがある。
ＨＥＶＣにおけるＩＤＲピクチャは、他のピクチャ・タイプとは異なって導出され、シグナリングされてもよい。相違点のいくつかは以下のようである。ＩＤＲピクチャのＰＯＣ値をシグナリング及び導出するときに、ＰＯＣの最上位ビット（ＭＳＢ）は、前のキー・ピクチャから導出されるのではなく、０に等しくセットされてもよい。さらに、ＩＤＲピクチャのスライス・ヘッダは、参照ピクチャ管理を補助するための情報を含んでいないことがある。ＣＲＡ及びトレーリングなどの他のピクチャ・タイプに対して、参照ピクチャ・セット（ＲＰＳ）又は参照ピクチャ・リストが参照ピクチャ・マーキング・プロセスのために使用されてもよい。このプロセスは、ＤＰＢにおける参照ピクチャのステータスを、参照のために使用されるか、参照のために使用されないかを判定するために使用される。ＩＤＲピクチャでは、ＩＤＲの存在は、復号プロセスがＤＰＢにおけるすべての参照ピクチャを参照のために使用されていないものとしてマークすべきであることを示すため、そのような情報は、シグナリングされなくてもよい。
ピクチャ・タイプに追加して、ピクチャ識別も複数の目的のために使用される。これは、インター予測における基準ピクチャのピクチャ識別、ＤＰＢからの出力のためのピクチャの識別、モーション・ベクトルのスケーリングのためのピクチャの識別、重み付き予測のためのピクチャの識別などを含む。ＡＶＣとＨＥＶＣにおいて、ピクチャはＰＯＣによって識別することができる。ＡＶＣ及びＨＥＶＣにおいて、ＤＰＢにおける写真は、短期参照に使用されるもの、長期参照に使用されるもの、又は参照に使用されないものとしてマークすることができる。ピクチャが参照のために使用されないとマークされると、もはや予測のためにそのピクチャを使用することができない。ピクチャがもはや出力に不要になったときに、ＤＰＢからそのピクチャを削除することができる。ＡＶＣは、短期及び長期の参照ピクチャを使用する。参照ピクチャは、そのピクチャが予測参照のためにもはや必要とされないときに、参照に使用されないものとしてマークされてもよい。参照のために短期、長期、及び使用されないことの間の変換は、復号された参照ピクチャ・マーキング・プロセスによって制御される。暗示的なスライディング・ウィンドウ・プロセス及び明示的なメモリ管理制御動作（ＭＭＣＯ）プロセスを、復号された参照ピクチャ・マーキング・メカニズムとして使用することができる。スライディング・ウィンドウ・プロセスは、参照フレームの数がＳＰＳにおいて指定された最大数に等しいときに、参照に使用されないものとして短期参照ピクチャをマークする。短期参照ピクチャは、最新の復号された短期ピクチャがＤＰＢに保持されるように、先入れ先出し方式で記憶される。明示的なＭＭＣＯプロセスは、複数のＭＭＣＯコマンドを含むことができる。ＭＭＣＯコマンドは、参照に使用されないものとして１つ以上の短期又は長期の参照ピクチャをマークするか、又は参照に使用されないものとしてすべてのピクチャをマークしてもよい。また、ＭＭＣＯコマンドは、現在の参照ピクチャ又は既存の短期参照ピクチャを長期としてマークし、その長期参照ピクチャに長期ピクチャインデックスを割り当ててもよい。ＡＶＣにおいて、参照ピクチャ・マーキング動作、ならびにＤＰＢからのピクチャの出力及び除去のプロセスは、ピクチャが復号された後に実行される。
ＨＥＶＣは、参照ピクチャ管理のためにＲＰＳを使用する。ＲＰＳは、各スライスに対して、現在のピクチャ又は任意の後続のピクチャによって使用される参照ピクチャの完全なセットを含み得る。したがって、ＲＰＳは、現在又は後続のピクチャによって使用するためにＤＰＢに保持されるべきすべてのピクチャの完全なセットをシグナリングする。これは、ＤＰＢに対する相対的な変化のみがシグナリングされるＡＶＣスキームとは異なる。ＲＰＳは、ＤＰＢ内の参照ピクチャの正確な状態を維持するために、復号において以前のピクチャからの情報を維持しないことがある。ＨＥＶＣにおけるピクチャ復号の順序とＤＰＢ動作は、ＲＰＳの利点を利用し、誤り耐性を改善する。ＡＶＣでは、ピクチャ・マーキング及びバッファ動作は、現在のピクチャが復号された後に適用されてもよい。ＨＥＶＣでは、ＲＰＳは、最初に現在のピクチャのスライス・ヘッダから復号される。次いで、現在のピクチャを復号する前に、ピクチャ・マーキングとバッファ動作が適用される。
ＶＶＣは、参照ピクチャ・リスト０及び参照ピクチャ・リスト１を直接シグナリング及び導出してもよい。参照ピクチャ・リストは、ＨＥＶＣ及びＡＶＣのように、ＲＰＳ、スライディング・ウィンドウ、又はＭＭＣＯプロセスに基づかない。参照ピクチャ・マーキングは、参照ピクチャ・リスト内のアクティブ及び非アクティブ・エントリの両方を利用することによって、参照ピクチャ・リスト０及び１に直接基づいて実行される。アクティブ・エントリのみが、現在のピクチャのＣＴＵのインター予測における参照インデックスとして使用されてもよい。２つの参照ピクチャ・リストの導出のための情報は、ＳＰＳ、ＰＰＳ、及びスライス・ヘッダ内の構文要素及び構文構造によってシグナリングされる。事前定義されたＲＰＬ構造は、スライス・ヘッダにおける参照によって使用するために、ＳＰＳでシグナリングされる。２つの参照ピクチャ・リストは、双方向インター予測（Ｂ）、一方向インター予測（Ｐ）、及びイントラ予測（Ｉ）スライスを含むすべてのタイプのスライスに対して生成される。２つの参照ピクチャ・リストは、参照ピクチャ・リスト初期化プロセス又は参照ピクチャ・リスト修正プロセスを使用せずに構成される。長期参照ピクチャ（ＬＴＲＰ）はＰＯＣ ＬＳＢによって識別される。デルタＰＯＣ ＭＳＢサイクルは、ピクチャごとのベースで望まれるように、ＬＴＲＰに対してシグナリングされてもよい。
ＨＥＶＣは、パーティショニング・スキームとして、レギュラー・スライス、従属スライス、タイル、及びウェーブ・フロント並列処理（ＷＰＰ）を使用することができる。これらのパーティショニング・スキームは、最大転送ユニット（ＭＴＵ）サイズのマッチング、並列処理、及びエンド・ツー・エンド遅延の低減に適用されてもよい。各レギュラー・スライスは、別々のＮＡＬユニットにカプセル化されてもよい。エントロピー・コーディング依存性と、イントラ・サンプル予測、モーション情報予測、及びコーディング・モード予測を含むピクチャ内予測は、スライス境界を超えては無効にされてもよい。したがって、同じピクチャ内で他のレギュラー・スライスから独立して、レギュラー・スライスを再構成することができる。しかしながら、スライスは、ループ・フィルタリング操作により、依然としていくつかの相互依存性を有してもよい。
レギュラー・スライスベースの並列化は、重要なプロセッサ間通信又はコア間通信を必要としないことがある。１つの例外は、プロセッサ間及び／又はコア間データ共有が、予測的にコーディングされたピクチャを復号するときに、モーション補償のために重要であり得ることである。このようなプロセスは、ピクチャ内予測により、プロセッサ間又はコア間データ共有よりも多くの処理リソースを伴うことがある。しかしながら、同じ理由のために、レギュラー・スライスの使用は、スライス・ヘッダのビット・コストにより、及びスライス境界を超えた予測の欠如により、実質的なコーディング・オーバヘッドを負う可能性がある。さらに、レギュラー・スライスは、レギュラー・スライスのピクチャ内独立性により、及び各レギュラー・スライスが別々のＮＡＬユニットにカプセル化されるという事実により、ＭＴＵサイズ要件にマッチするビットストリーム・パーティショニングのためのメカニズムとして機能する。多くの場合、並列化の目標とＭＴＵサイズ・マッチングの目標は、ピクチャにおけるスライス・レイアウトに対する矛盾した要求を提起する。
従属スライスは短いスライス・ヘッダを有し、ピクチャ内予測を壊すことなく、ツリー・ブロック境界でビットストリームのパーティショニングを可能にする。従属スライスは、レギュラー・スライスの複数のＮＡＬユニットへの断片化を提供する。これは、レギュラー・スライス全体の符号化が終了する前に、レギュラー・スライスの一部を送信することを可能にすることにより、エンド・ツー・エンド遅延を低減する。
ＷＰＰにおいて、ピクチャはＣＴＢの単一行にパーティショニングされる。エントロピー復号と予測は、他のパーティションにおけるＣＴＢからのデータを使用するしてもよい。ＣＴＢ行の並列復号を介して並列処理が可能である。ＣＴＢ行の復号の開始は、例に応じて、１つ又は２つのＣＴＢによって遅延してもよく、これは、対称のＣＴＢが復号される前に、対象のＣＴＢの上方及び右方に関係するデータが利用可能であることを確実にする。このずらした配置の開始は、波面の外見を作成する。このプロセスは、ピクチャにＣＴＢ行を含むのと同じくらい多くのプロセッサ／コアまでの並列化をサポートする。ピクチャ内の近隣のツリー・ブロック行間のピクチャ内予測が許容されるため、ピクチャ内予測を可能にするためのプロセッサ間／コア間通信は実質的とすることができる。ＷＰＰパーティショニングは、追加のＮＡＬユニットの生成をもたらさない。したがって、ＷＰＰはＭＴＵサイズ・マッチングのために使用されなくてもよい。ただし、ＭＴＵサイズのマッチングが必要な場合、特定のコーディング・オーバヘッドを有するＷＰＰでレギュラー・スライスが使用され得る。
タイルは、ピクチャをタイルの列と行にパーティショニングする水平および垂直の境界を定義する。ＣＴＢの走査順序は、タイルのＣＴＢラスタ差往査の順序で、タイル内でローカルであってもよい。したがって、タイルは、ピクチャのタイル・ラスタ走査の順序において、次のタイルの左上のＣＴＢを復号する前に完全に復号されてもよい。レギュラー・スライスと同様に、タイルは、エントロピー復号依存性だけでなく、ピクチャ内予測依存性も壊す。しかしながら、タイルは個々のＮＡＬユニットには含まれなくてもよい。したがって、タイルはＭＴＵサイズ・マッチングのために使用されなくてもよい。各タイルは、１つのプロセッサ／コアによって処理され得る。近隣のタイルを復号する処理ユニット間のピクチャ内予測のために使用されるプロセッサ間／コア間通信は、スライスが複数のタイル及び再構成されたサンプル及びメタデータのループ・フィルタリング関係の共有を含むときに、共有されたスライス・ヘッダを搬送することに制限され得る。複数のタイル又はＷＰＰセグメントがスライスに含まれるときに、スライスにおける最初のタイル又はＷＰＰセグメント以外の各タイル又はＷＰＰセグメントに対するエントリ・ポイント・バイト・オフセットが、スライス・ヘッダにおいてシグナリングされてもよい。
簡単のために、ＨＥＶＣは、４つの異なるピクチャ・パーティショニング・スキームの適用に特定の制限を使用する。コーディングされたビデオ・シーケンスは、ＨＥＶＣで指定されるプロファイルのほとんどに対してタイルと波面の両方を含まないことがある。さらに、スライス及び／又はタイルごとに、以下の条件のいずれか又は両方が満たれなくてはならない。スライス内のすべてのコーディングされたツリー・ブロックは、同じタイルに含まれる。さらに、タイル内のすべてのコーディングされたツリー・ブロックは、同じタイルに含まれる。追加的に、波面セグメントは正確に１つのＣＴＢ行を含む。ＷＰＰを使用しているときに、ＣＴＢ行内で開始するスライスは、同じＣＴＢ行で終了するべきである。
ＨＥＶＣは、時間的モーション制約タイル・セット（ＭＣＴＳ）補足強化情報（ＳＥＩ）メッセージ、ＭＣＴＳ抽出情報セットＳＥＩメッセージ、及びＭＣＴＳ抽出情報ネスティングＳＥＩメッセージを含み得る。時間的ＭＣＴＳ ＳＥＩメッセージは、ビットストリームにおいてＭＣＴＳの存在を示し、ＭＣＴＳをシグナリングする。ＭＣＴＳごとに、モーション・ベクトルは、ＭＣＴＳ内の完全サンプル位置、及び補間のためのＭＣＴＳ内の完全サンプル位置のみを使用する分数サンプル位置を指し示すように制限される。ＭＣＴＳ外のブロックから導出された時間的モーション・ベクトル予測のためのモーション・ベクトル候補の使用は、許容されない。このように、各ＭＣＴＳは、ＭＣＴＳに含まれないタイルの存在なしに独立して復号され得る。ＭＣＴＳ抽出情報セットＳＥＩメッセージは、ＭＣＴＳサブビットストリーム抽出で使用され、ＭＣＴＳセットの準拠するビットストリームを生成することができる補足情報を提供する。情報は、ＭＣＴＳサブビットストリーム抽出プロセス中に使用されるべき置換ビデオ・パラメータ・セット（ＶＰＳ）、ＳＰＳ、及びＰＰＳのＲＢＳＰバイトを含む、ある数のＭＣＴＳセットを各々定義するある数の抽出情報セットを含む。ＭＣＴＳサブビットストリーム抽出プロセスに従ってサブビットストリームを抽出するときに、ＶＰＳ、ＳＰＳ、及びＰＰＳなどのパラメータ・セットは、書き換え又は置き換えられてもよい。１つ以上のスライスアドレス関係の構文要素がサブビットストリーム抽出の後に異なる値をことがあるため、スライス・ヘッダも更新されてもよい。
ＶＶＣは、以下に説明されるようにピクチャをパーティショニングしてもよい。ピクチャは、タイル・グループとタイルに分割されてもよい。タイルは、ピクチャの矩形領域をカバーするＣＴＵのシーケンスであってもよい。タイル・グループは、スライスとしても知られ、ピクチャのある数のタイルを含んでもよい。スライス／タイル・グループは、ラスタ走査モード及び矩形モードに従って構成されてもよい。ラスタ走査モードでは、タイル・グループ／スライスは、ピクチャ境界に対するラスタ走査順序におけるタイルのシーケンスを含む。矩形モードでは、タイル・グループ／スライスは、ピクチャの矩形領域を集合的に形成するある数のタイルを含む。矩形タイル・グループ内のタイルは、タイル・グループ／スライスに対するラスタ走査順序に含まれる。
３６０度のビデオ・アプリケーション（例えば、ＶＲ）は、コンテンツの球の一部のみを表示してもよく、結果として、ピクチャ全体のサブセットのみを表示してもよい。ビューポートに依存する３６０度配信は、ＤＡＳＨ上のＶＲビデオ配信におけるビットレートを低減するために採用され得る。ビューポートに依存するコーディングは、球全体／投影されるピクチャ（例えば、キューブマップ投影を使用して）を複数のＭＣＴＳに分割してもよい。次いで、２つ以上のビットストリームは、異なる空間解像度又は品質で符号化されてもよい。より高い解像度／品質のビットストリームからのＭＣＴＳは、表示されるビューポート（例えば、フロント・ビューポート）のために復号器に送信される。残りのビューポートは、より低い解像度／品質のビットストリームからのＭＣＴＳを使用する。これらのＭＣＴＳは、特定の方式でパックされ、次いで、復号されるために受信機に送信される。ユーザが一般的に見られるビューポートは、高解像度／品質のＭＣＴＳで表され、良好な視認体験を提供する。利用者が別のビューポート（例えば、左又は右のビューポート）を見るように向きを変えるときに、表示されるコンテンツは、低い解像度／品質のビューポートに由来する。これは、システムがそのビューポートのための高解像度／品質のＭＣＴＳをフェッチするまで、短期間継続する。
ユーザが向きをかえるときの時間とビューポートのより高い解像度／品質の表現が表示されるときの時間との間に遅延が発生する。この遅延は、システムがそのビューポートのための高解像度／品質のＭＣＴＳをどれだけ速くフェッチできるかに基づく。これは、２つのＩＲＡＰの発生間隔であるＩＲＡＰ期間に依存する。これは、新しいビューポートのＭＣＴＳは、ＩＲＡＰピクチャから開始してのみ復号可能であるからである。ＩＲＡＰ期間が１秒ごとにコーディングされる場合、以下が適用される。遅延の最良のシナリオは、システムが新しいセグメント／ＩＲＡＰ期間のフェッチを開始する直前に、ユーザが新しいビューポートを見るために向きを変えるときのネットワーク・ラウンドトリップ遅延と同じである。このシナリオにおいて、システムは、新しいビューポートのために高い解像度／品質のＭＣＴＳをすぐに要求し得る。したがって、唯一の遅延は、ネットワーク・ラウンドトリップ遅延であり、これは、フェッチ要求の遅延に、要求されたＭＣＴＳの送信時間を加算したものを含む。これは、最小バッファ遅延がゼロ又は他の無視できる値にセットできることを想定する。ネットワーク・ラウンドトリップ遅延は、例えば、約２００ミリ秒であり得る。遅延の最悪のシナリオは、ＩＲＡＰ期間に、システムが次のセグメントの要求を行った後すぐにユーザが新しいビューポートを見るために向きを変えるときのネットワーク・ラウンドトリップ遅延を加算したものである。上記の最悪のシナリオを改善するために、ＩＲＡＰ期間が短くなるように、より頻繁なＩＲＡＰピクチャでビットストリームを符号化することができる。これは、全体的な遅延を減少させる。しかしながら、より多くのＩＲＡＰピクチャは帯域幅を増加させ、それゆえ、圧縮効率を低下させる。
混合ＮＡＬユニット・タイプは、ピクチャのすべてのＶＣＬ ＮＡＬユニットが同じＮＡＬユニット・タイプを有するかどうかを指定するＰＰＳフラグを追加することによって、ピクチャ内で使用されてもよい。特定のピクチャに対して、すべてのＶＣＬ ＮＡＬユニットが同じＮＡＬユニット・タイプであるか、又はいくつかのＶＣＬ ＮＡＬユニットが特定のＩＲＡＰ ＮＡＬユニット・タイプを有し、残りが特定の非ＩＲＡＰ ＶＣＬ ＮＡＬユニット・タイプを有することを要求するために、制約が追加されてもよい。メカニズムの例示的な説明は以下のようである。
ＩＲＡＰピクチャは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇがゼロに等しく、各ＶＣＬ ＮＡＬユニットがＩＤＲ＿Ｗ＿ＲＡＤＬ～ＣＲＡ＿ＮＵＴの範囲（両端を含む）にあるＮａｌＵｎｉｔＴｙｐｅを有するコーディングされたピクチャである。
例示的なＰＰＳ ＲＢＳＰの構文は以下のようである。
Figure 2022539865000004
例示的なＮＡＬユニット・ヘッダの意味は以下のようである。ＩＤＲ＿Ｎ＿ＬＰと等しいＮａｌＵｎｉｔＴｙｐｅを有するＩＤＲピクチャは、ビットストリームにおいて関連するリーディング・ピクチャを有さない。ＩＤＲ＿Ｗ＿ＲＡＤＬと等しいＮａｌＵｎｉｔＴｙｐｅを有するＩＤＲピクチャは、ビットストリームに存在する関連するＲＡＳＬピクチャを有さず、ビットストリームにおいて関連するＲＡＤＬピクチャを有してもよい。任意の特定のピクチャのＶＣＬ ＮＡＬユニットについては、以下が適用される。ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇがゼロに等しい場合、すべてのＶＣＬ ＮＡＬユニットは同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するべきである。そうでなければ、ＶＣＬ ＮＡＬユニットのいくつかは、特定のＩＲＡＰ ＮＡＬユニット・タイプ値（例えば、ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＣＲＡ＿ＮＵＴの範囲のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値（両端を含む））を有するべきであるが、他のすべてのＶＣＬ ＮＡＬユニットは、特定の非ＩＲＡＰ ＶＣＬ ＮＡＬユニット・タイプ（例えば、ＴＲＡＩＬ＿ＮＵＴ～ＲＳＶ＿ＶＣＬ＿１５の範囲のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値（両端を含む）か、またはＧＲＡ＿ＮＵＴと等しい値）を有するべきである。
例示的なＰＰＳ ＲＢＳＰの意味は以下のようである。ｐｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、アクティブＳＰＳのためのｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を指定する。ｐｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０～５の範囲（両端を含む）にあるべきである。ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ＰＰＳを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを有し、これらのＮＡＬユニットが同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有さないことを指定するために１に等しくセットされてもよい。ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ＰＰＳを参照する各ピクチャのＶＣＬ ＮＡＬユニットが同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有することを指定するために０に等しくセットされてもよい。ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいときに、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値は０に等しくあるべきである。
ピクチャは、サブピクチャに分割されてもよい。サブピクチャの存在の表示は、副ピクチャの他のシーケンス・レベル情報と一緒に、ＳＰＳにおいて示されてもよい。サブピクチャの境界が復号プロセス（ループ内フィルタリング動作を除く）においてピクチャ境界として扱われるかどうかは、ビットストリームによって制御され得る。サブピクチャ境界を超えたループ内フィルタリングが無効であるかどうかは、各サブピクチャに対するビットストリームによって制御され得る。ブロック解除フィルタ（ＤＢＦ）、ＳＡＯ、及び適応ループ・フィルタ（ＡＬＦ）プロセスは、サブピクチャ境界を超えたループ内フィルタリング動作を制御するために更新される。サブピクチャ幅、高さ、水平オフセット、垂直オフセットは、ＳＰＳにおけるルマ・サンプルの単位でシグナリングされてもよい。サブピクチャ境界は、スライス境界であるように制約されてもよい。（ループ内フィルタリング処理を除く）復号処理においてサブピクチャをピクチャとして扱うことは、ｃｏｄｉｎｇ＿ｔｒｅｅ＿ｕｎｉｔ（）構文、高度な時間的ルマ・モーション・ベクトル予測のための導出プロセス、ルマ・サンプル双線形補間プロセス、ルマ・サンプル８タップ補間フィルタリング・プロセス、及びクロマ・サンプル補間プロセスを更新することによって指定される。サブピクチャ識別子（ＩＤ）は、ＶＣＬ ＮＡＬユニットを変更する必要なくサブピクチャ・シーケンスの抽出を可能にするために、ＳＰＳで明示的に指定され、タイル・グループ・ヘッダに含まれる。出力サブピクチャ・セット（ＯＳＰＳ）は、サブピクチャ及びそれらのセットのための規範的抽出及び適合点を指定してもよい。
先行するシステムは、特定の問題を有する。ビットストリームは、ＩＲＡＰスライスと非ＩＲＡＰスライスの両方を持つピクチャを含み得る。復号順序において、このようなピクチャの後であって、ピクチャ内のＩＲＡＰスライスの同じピクチャ領域をカバーするピクチャ内のスライスが、インター予測のために、そのピクチャよりも早いピクチャを参照する場合、エラーが発生する。
本開示は、ビデオ・コーディングにおいて、サブピクチャ又はＭＣＴＳベースのランダム・アクセスをサポートするための改善された技術を含む。より具体的には、本開示は、ＩＲＡＰスライスと非ＩＲＡＰスライスの両方を有するピクチャ内のＩＲＡＰスライスに対して何らかの制約を課す方法を開示する。技術ＶＶＣの説明しかし、本技術は、他のビデオ／メディア・コーデック仕様にも適用されてもよい。
例えば、（１）復号順序において、混合ＮＡＬユニット・ピクチャの後にあり、（２）ピクチャ内のＩＲＡＰスライスの同じピクチャ領域をカバーするピクチャのスライスは、インター予測のために、復号順序において、混合ＮＡＬユニット・ピクチャよりも早い参照ピクチャを参照しないことを保証するために、制約が追加される。例示的な実装は以下のようである。
ＩＲＡＰピクチャは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇがゼロに等しく、各ＶＣＬ ＮＡＬユニットがＩＤＲ＿Ｗ＿ＲＡＤＬ～ＣＲＡ＿ＮＵＴの範囲（両端を含む）にあるＮａｌＵｎｉｔＴｙｐｅを有するコーディングされたピクチャとして定義されてもよい。
例示的なＰＰＳ ＲＢＳＰの構文は以下のようである。
Figure 2022539865000005
例示的なＮＡＬユニット・ヘッダの意味は以下のようである。ＩＤＲ＿Ｎ＿ＬＰと等しいＮａｌＵｎｉｔＴｙｐｅを有するＩＤＲピクチャは、ビットストリームにおいて関連するリーディング・ピクチャを有さない。ＩＤＲ＿Ｗ＿ＲＡＤＬと等しいＮａｌＵｎｉｔＴｙｐｅを有するＩＤＲピクチャは、ビットストリームに存在する関連するＲＡＳＬピクチャを有さず、ビットストリームにおいて関連するＲＡＤＬピクチャを有してもよい。任意の特定のピクチャのＶＣＬ ＮＡＬユニットについては、以下が適用される。ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇがゼロに等しい場合、すべてのＶＣＬ ＮＡＬユニットは同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するものとする。そうでなければ、ＶＣＬ ＮＡＬユニットのいくつかは、特定のＩＲＡＰ ＮＡＬユニット・タイプ値（例えば、ＩＤＲ＿Ｗ＿ＲＡＤＬ～ＣＲＡ＿ＮＵＴの範囲のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値（両端を含む））を有する一方で、他のすべてのＶＣＬ ＮＡＬユニットは、特定の非ＩＲＡＰ ＶＣＬ ＮＡＬユニット・タイプ（例えば、ＴＲＡＩＬ＿ＮＵＴ～ＲＳＶ＿ＶＣＬ＿１５の範囲のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値（両端を含む）か、またはＧＲＡ＿ＮＵＴと等しい値）を有するものとする。
例示的なＰＰＳ ＲＢＳＰの意味は以下のようである。ｐｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、アクティブＳＰＳのためのｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を指定する。ｐｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０～１５（両端を含む）の範囲とする。ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ＰＰＳを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを有し、これらのＮＡＬユニットが同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有さないことを指定するために１に等しくセットされてもよい。ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ＰＰＳを参照する各ピクチャのＶＣＬ ＮＡＬユニットが同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有することを指定するために、０に等しくセットされてもよい。ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいときに、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値は０に等しくあるべきである。少なくとも１つの非ＩＲＡＰスライスも有するピクチャｐｉｃＡにおける各ＩＲＡＰスライスに対しては、以下を適用する。ＩＲＡＰスライスは、サブピクチャｓｕｂｐｉｃＡに属するものとし、サブピクチャの境界は、復号プロセス（ループ内フィルタリング動作を除く）においてピクチャ境界として扱われる。例えば、ｓｕｂｐｉｃＡに対するｓｕｂ＿ｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］の値は１に等しくあるべきである。ＩＲＡＰスライスは、１つ以上の非ＩＲＡＰスライスを含む同じピクチャにおけるサブピクチャに属さないものとする。復号順序において、以下のすべてのレイヤ・アクセス・ユニット（ＡＵ）に対して、ｓｕｂｐｉｃＡにおけるスライスのＲｅｆＰｉｃＬｉｓｔ［０］もＲｅｆＰｉｃＬｉｓｔ［１］も、アクティブ・エントリにおいて、復号順序においてｐｉｃＡに先行するいかなるピクチャを含まないものとする。
図９は、例示的なビデオ・コーディング・デバイス９００の概略図である。ビデオ・コーディング・デバイス９００は、本明細書で説明される開示される例／実施形態を実装するのに好適である。ビデオ・コーディング・デバイス９００は、下流ポート９２０、上流ポート９５０、及び／又は、ネットワークを介して上流及び／又は下流でデータを通信するための送信機及び／又は受信機を含むトランシーバ・ユニット９１０を含む。また、ビデオ・コーディング・デバイス９００は、データを処理する論理ユニット及び／又は中央処理ユニット（ＣＰＵ）を含むプロセッサ９３０と、データを記憶するためのメモリ９３２と、を含む。また、ビデオ・コーディング・デバイス９００は、電気的コンポーネント、光から電気への（ＯＥ）コンポーネント、電気から光学への（ＥＯ）コンポーネント、及び／又は上流ポート９５０及び／又は下流ポート９２０に結合され、電気的、光学的、又は無線通信ネットワークを介したデータの通信のための無線通信コンポーネントを含み得る。また、ビデオ・コーディング・デバイス９００は、ユーザへのデータ及びユーザからのデータを通信するための入力及び／又は出力（Ｉ／Ｏ）デバイス９６０を含み得る。Ｉ／Ｏデバイス９６０は、ビデオ・データを表示するためのディスプレイ、オーディオ・データを出力するためのスピーカなどの出力デバイスを含み得る。Ｉ／Ｏデバイス９６０はまた、キーボード、マウス、トラックボールなどの入力デバイス、および／またはそのような出力デバイスと対話するための対応するインターフェースを含み得る。
プロセッサ９３０は、ハードウェアおよびソフトウェアによって実装される。プロセッサ９３０は、１つ以上のＣＰＵチップ、コア（例えば、マルチコアプロセッサ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、およびデジタル信号プロセッサ（ＤＳＰ）として実装されてもよい。プロセッサ９３０は、下流ポート９２０、Ｔｘ／Ｒｘ９１０、上流ポート９５０、及びメモリ９３２と通信している。プロセッサ９３０は、コーディング・モジュール９１４を含む。コーディング・モジュール９１４は、ＶＲピクチャ・ビデオ・ストリーム５００、ビットストリーム８００、及び／又は制約６００に従ってコーディングされたＲＰＬ構造７００を使用することができる方法１００、１０００、及び１１００など、本明細書で説明された開示された実施形態を実装する。コーディング・モジュール９１４はまた、本明細書で説明される任意の他の方法／メカニズムを実装してもよい。さらに、コーディング・モジュール９１４は、コーデック・システム２００、符号化器３００、及び／又は復号器４００を実装してもよい。例えば、コーディング・モジュール９１４は、ＩＲＡＰ ＮＡＬユニットと非ＩＲＡＰ ＮＡＬユニットの両方を有する現在のピクチャを含むＶＲビデオをコーディングすることができる。例えば、ＩＲＡＰ ＮＡＬユニットは、サブピクチャに含まれてもよい。これが発生するときに、コーディング・モジュール９１４は、サブピクチャにも含まれる現在のピクチャの後のピクチャでのスライスを制約することができる。このようなスライスは、現在のピクチャに先行する参照ピクチャを参照することを防止し得る。それゆえ、コーディング・モジュール９１４は、ビデオ・データをコーディングするときに、ビデオ・コーディング・デバイス９００に追加的な機能性及び／又はコーディング効率を提供させる。このようにして、コーディング・モジュール９１４は、ビデオ・コーディング・デバイス９００の機能性を改善すると共に、ビデオ・コーディング技術に固有の問題に対処する。さらに、コーディング・モジュール９１４は、ビデオ・コーディング・デバイス９００の変換を異なる状態にすることを果たす。代替的には、コーディング・モジュール９１４は、メモリ９３２に記憶され、かつプロセッサ９３０によって実行される命令として（例えば、非一時的媒体に記憶されたコンピュータ・プログラム製品として）実装することができる。
メモリ９３２は、ディスク、テープ・ドライブ、ソリッド・ステート・ドライブ、リード・オンリー・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、フラッシュ・メモリ、三値コンテンツアドレス指定可能メモリ（ＴＣＡＭ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）などの１つ以上のメモリタイプを含む。メモリ９３２はオーバ・フロー・データ記憶デバイスとして使用され、そのようなプログラムが実行のために選択されたときにプログラムを記憶し、プログラム実行中に読み出された命令およびデータを記憶する。
図１０は、ＲＰＬ構造７００を有するＶＲピクチャ・ビデオ・ストリーム５００を含むビットストリーム８００など、混合ＮＡＬユニット・タイプを有するピクチャを含むビデオ・シーケンスをビットストリームに符号化する例示的な方法１０００のフローチャートである。方法１０００は、制約６００に従って、そのようなビットストリームを符号化することができる。方法１０００は、方法１００を実行するときに、コーデック・システム２００、符号化器３００、及び／又はビデオ・コーディング・デバイス９００などの符号化器によって使用されてもよい。
方法１０００は、符号化器が、ＶＲピクチャなどの複数のピクチャを含むビデオ・シーケンスを受信し、例えばユーザ入力に基づいて、そのビデオ・シーケンスをビットストリームに符号化すると判定したときに始まってもよい。ビットストリームは、ＶＲビデオ・データを含み得る。ＶＲビデオ・データは、各々がビデオ・シーケンスにおける対応する瞬間でのコンテンツの球体を表すピクチャを含み得る。ピクチャは、サブピクチャのセットにパーティショニングされてもよい。例えば、各サブピクチャはＶＲビデオのビューポートに対応するビデオ・データを含み得る。さらに、様々なサブピクチャは、変化する頻度でＩＲＡＰ ＮＡＬユニット及び非ＩＲＡＰ ＮＡＬユニットを含み得る。ステップ１００１で、符号化器は、現在のピクチャが、同じＮＡＬユニット・タイプを有さない複数のＶＣＬ ＮＡＬユニットを含むと判定する。例えば、ＶＣＬ ＮＡＬユニットは、ＩＲＡＰ ＮＡＬユニット・タイプを有するＩＲＡＰ ＮＡＬユニットと、非ＩＲＡＰ ＮＡＬユニット・タイプを有する非ＩＲＡＰ ＮＡＬユニットと、を含み得る。例えば、ＩＲＡＰ ＮＡＬユニット・タイプは、ＩＤＲ ＮＡＬユニット・タイプ又はＣＲＡ ＮＡＬユニット・タイプを含み得る。さらに、非ＩＲＡＰ ＮＡＬユニット・タイプは、末尾のＮＡＬユニット・タイプ、ＲＡＳＬ ＮＡＬユニット・タイプ、及び／又はＲＡＤＬ ＮＡＬユニット・タイプを含み得る。
ステップ１００３で、符号化器は、フラグをビットストリームに符号化する。フラグは、現在のピクチャのＶＣＬ ＮＡＬユニットに対する第１のＮＡＬユニット・タイプ値が、現在のピクチャのＶＣＬ ＮＡＬユニットに対する第２のＮＡＬユニット・タイプ値とは異なることを示す。一例では、フラグは、ビットストリームにおいてＰＰＳに符号化することができる。特定の例として、フラグは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ８２７であってもよい。ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ＰＰＳを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを持ち、ＶＣＬ ＮＡＬユニットが同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ有しないことを指定するときに１に等しくセットすることができる。
ステップ１００５で、符号化器は、現在のピクチャでのｓｕｂｐｉｃＡが、ＩＲＡＰ ＮＡＬユニット・タイプに関連すると判定する。ステップ１００７で、符号化器は、現在のピクチャをビットストリームに符号化する。例えば、符号化器は、ｓｕｂｐｉｃＡに位置付けられた現在のピクチャのすべてのスライスが同じＮＡＬユニット・タイプ（例えば、ＩＲＡＰ ＮＡＬユニット・タイプ）に関連することを確実にする。符号化器は、イントラ予測に従ってｓｕｂｐｉｃＡを符号化することができる。符号化器はまた、サブピクチャＢ（ｓｕｂｐｉｃＢ）が非ＩＲＡＰ ＮＡＬユニット・タイプのスライスを含むと判定することができる。それゆえ、符号化器は、インター予測に従って現在のｓｕｂｐｉｃＢを符号化することができる。
ステップ１００９で、符号化器は、復号順序において、現在のピクチャの後の後続のピクチャを符号化する準備をすることができる。例えば、符号化器は、後続のピクチャにおけるサブピクチャに位置付けられたスライスのための参照ピクチャ・リストのアクティブ・エントリを生成することができる。指定された後続ピクチャのためのアクティブ・エントリは、指定された後続ピクチャに対してインター予測符号化処理を実行するときに、参照ピクチャとして使用され得るピクチャを示す。具体的には、後続のピクチャにおけるｓｕｂｐｉｃＡのためのアクティブなエントリは、そのようなアクティブ・エントリが、復号順序において現在のピクチャに先行するいかなる参照ピクチャも参照しないように制約される。この制約は、現在のピクチャでのｓｕｂｐｉｃＡがＩＲＡＰ ＮＡＬユニット・タイプに関連するときに場合に使用される。この制約は、ＩＲＡＰサブピクチャの後のサブピクチャにおけるスライスが、ＩＲＡＰサブピクチャの前のピクチャを参照しないことを確実にし、そうでなければ、ＩＲＡＰサブピクチャがランダム・アクセス・ポイントとして使用された場合、コーディング・エラーを引き起こすことになる。ＩＲＡＰサブピクチャに従わない後続のピクチャのスライス（例えば、ｓｕｂｐｉｃＢに位置付けられ、非ＩＲＡＰ ＮＡＬユニットに従うもの）は、現在のピクチャに先行するピクチャを引き続き参照してもよい。
ステップ１０１１で、符号化器は、参照ピクチャ・リストに基づいて、後続のピクチャをビットストリームに符号化する。例えば、符号化器は、対応するサブピクチャにおけるスライスに関連するＮＡＬタイプに応じて、インター予測及び／又はイントラ予測に基づいて、後続のピクチャを符号化することができる。インター予測プロセスは、参照ピクチャ・リストを使用する。参照ピクチャ・リストは、参照ピクチャ・リスト０及び参照ピクチャ・リスト１を含み得る。さらに、参照ピクチャ・リストは、参照ピクチャ・リスト構造においてコーディングされてもよい。参照ピクチャ・リスト構造は、ビットストリームに符号化されてもよい。符号化器はまた、復号器に向かって通信するためにビットストリームを記憶することができる。
図１１は、ＲＰＬ構造７００を有するＶＲピクチャ・ビデオ・ストリーム５００を含むビットストリーム８００など、混合ＮＡＬユニット・タイプを有するピクチャを含むビデオ・シーケンスをビットストリームから復号する例示的な方法１１００のフローチャートである。方法１１００は、制約６００に従って、そのようなビットストリームを復号してもよい。方法１１００は、方法１００を実行するときに、コーデック・システム２００、復号器４００、及び／又はビデオ・コーディング・デバイス９００などの復号器によって使用されてもよい。
方法１１００は、復号器が、例えば、方法１０００の結果として、ビデオ・シーケンスを表すコーディングされたデータのビットストリームの受信を始めるときに始まることができる。ビットストリームは、ＶＲピクチャなどの複数のピクチャを含むＶＲビデオ・シーケンスを含み得る。ビットストリームはＶＲビデオ・データを含み得る。ＶＲビデオ・データは、各々がビデオ・シーケンスにおける対応する瞬間でのコンテンツの球体を表すピクチャを含み得る。ピクチャは、サブピクチャのセットにパーティショニングされてもよい。例えば、各サブピクチャはＶＲビデオのビューポートに対応するビデオ・データを含み得る。さらに、様々なサブピクチャは、変化する頻度でＩＲＡＰ ＮＡＬユニット及び非ＩＲＡＰ ＮＡＬユニットを含み得る。ステップ１１０１で、復号器はビットストリームを受信する。ビットストリームは、同じＮＡＬユニット・タイプを有さない複数のＶＣＬ ＮＡＬユニットを含む現在のピクチャを含む。例えば、ＶＣＬ ＮＡＬユニットは、ＩＲＡＰ ＮＡＬユニット・タイプを有するＩＲＡＰ ＮＡＬユニットと、非ＩＲＡＰ ＮＡＬユニット・タイプを有する非ＩＲＡＰ ＮＡＬユニットと、を含み得る。例えば、ＩＲＡＰ ＮＡＬユニット・タイプは、ＩＤＲ ＮＡＬユニット・タイプ又はＣＲＡ ＮＡＬユニット・タイプを含み得る。さらに、非ＩＲＡＰ ＮＡＬユニット・タイプは、末尾のＮＡＬユニット・タイプ、ＲＡＳＬ ＮＡＬユニット・タイプ、及び／又はＲＡＤＬ ＮＡＬユニット・タイプを含み得る。
ステップ１１０３で、復号器は、フラグに基づいて、現在のピクチャのＶＣＬ ＮＡＬユニットに対する第１のＮＡＬユニット・タイプ値が、現在のピクチャのＶＣＬ ＮＡＬユニットに対する第２のＮＡＬユニット・タイプ値とは異なると判定する。一例では、ビットストリームは、現在のピクチャに関連するＰＰＳを含み得る。フラグはＰＰＳから取得できる。特定の例として、フラグは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ８２７であってもよい。ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ＰＰＳを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを持ち、ＶＣＬ ＮＡＬユニットが同じ値のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ有しないことを指定するときに１に等しくセットすることができる。
ステップ１１０５で、復号器は、ｓｕｂｐｉｃＡに位置付けられた現在のピクチャのすべてのスライスが、同じＮＡＬユニット・タイプに関連すると判定することができる。復号器はまた、スライスのＮＡＬユニット・タイプに基づいて、ｓｕｂｐｉｃＡ及び／又は現在のピクチャを復号することができる。例えば、現在のピクチャでのｓｕｂｐｉｃＡはＩＲＡＰ ＮＡＬユニットを含み得る。このようなケースでは、ｓｕｂｐｉｃＡは、イントラ予測に従って復号することができる。復号器はまた、ｓｕｂｐｉｃＢが非ＩＲＡＰ ＮＡＬユニット・タイプのスライスを含むと判定することができる。それゆえ、復号器は、インター予測に従って現在のｓｕｂｐｉｃＢを復号することができる。
ステップ１１０７で、復号器は、復号順序において、現在のピクチャの後の後続のピクチャにおけるｓｕｂｐｉｃＡに位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを取得することができる。指定された後続ピクチャのためのアクティブ・エントリは、指定された後続ピクチャに対してインター予測復号処理を実行するときに、参照ピクチャとして使用され得るピクチャを示す。
ステップ１１０９で、復号器は、アクティブ・エントリは、現在のピクチャでのｓｕｂｐｉｃＡがイントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ＮＡＬユニット・タイプに関連するときに、復号順序において、現在のピクチャに先行するいかなる参照ピクチャも参照しないと判定することができる。この制約は、ＩＲＡＰサブピクチャの後のサブピクチャにおけるスライスが、ＩＲＡＰサブピクチャの前のピクチャを参照しないことを確実にし、そうでなければ、ＩＲＡＰサブピクチャがランダム・アクセス・ポイントとして使用されたときに、コーディング・エラーを引き起こすことになる。ＩＲＡＰサブピクチャに従わない後続のピクチャのスライス（例えば、ｓｕｂｐｉｃＢに位置付けられ、非ＩＲＡＰ ＮＡＬユニットに従うもの）は、現在のピクチャに先行するピクチャを引き続き参照してもよい。
ステップ１１１１で、復号器は、参照ピクチャ・リスト・アクティブ・エントリに基づいて、後続のピクチャを復号することができる。例えば、復号器は、対応するサブピクチャにおけるスライスに関連するＮＡＬタイプに応じて、インター予測及び／又はイントラ予測に基づいて、後続のピクチャを復号することができる。インター予測プロセスは、参照ピクチャ・リストを使用する。参照ピクチャ・リストは、参照ピクチャ・リスト０及び参照ピクチャ・リスト１を含み得る。さらに、参照ピクチャ・リストは、ビットストリームにコーディングされた参照ピクチャ・リスト構造から取得されてもよい。復号器は、復号されたビデオ・シーケンスの一部として表示するために現在のピクチャ、後続のピクチャ、及び／又はそれらのサブピクチャ（例えば、ｓｕｂｐｉｃＡ又はｓｕｂｐｉｃＢ）を転送することができる。
図１２は、ＲＰＬ構造７００を有し、制約６００に従ってコーディングされたＶＲピクチャ・ビデオ・ストリーム５００を含むビットストリーム８００など、混合ＮＡＬユニット・タイプを有するピクチャを含むビデオ・シーケンスをビットストリームにコーディングするための例示的なシステム１２００の概略図である。システム１２００は、コーデック・システム２００、符号化器３００、復号器４００、及び／又はビデオ・コーディング・デバイス９００などの符号化器及び復号器によって実装されてもよい。さらに、システム１２００は、方法１００、１０００、及び／又は１１００を実装するときに使用されてもよい。
システム１２００は、ビデオ符号化器１２０２を含む。ビデオ符号化器１２０２は、現在のピクチャが同じＮＡＬユニット・タイプを有さない複数のＶＣＬ ＮＡＬユニットを含むと判定するための判定モジュール１２０１を含む。判定モジュール１２０１は、さらに、現在のピクチャでのｓｕｂｐｉｃＡがＩＲＡＰ ＮＡＬユニット・タイプに関連すると判定するためのものである。ビデオ符号化器１２０２は、さらに、現在のピクチャの後の後続のピクチャにおけるｓｕｂｐｉｃＡに位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを生成することであって、アクティブ・エントリは、現在のピクチャでのｓｕｂｐｉｃＡがＩＲＡＰ ＮＡＬユニット・タイプに関連するときに、復号順序において、現在のピクチャに先行するいかなる参照ピクチャも参照しない、生成することを行うための生成モジュール１２０３を含む。ビデオ符号化器１２０２は、さらに、参照ピクチャ・リストに基づいて後続のピクチャをビットストリームに符号化するための符号化モジュール１２０５を含む。ビデオ符号化器１２０２は、さらに、復号器に向かって通信するためにビットストリームを記憶するための記憶モジュール１２０７を含む。ビデオ符号化器１２０２は、さらに、ビットストリームをビデオ復号器１２１０に向かって送信するための送信モジュール１２０９を含む。ビデオ符号化器１２０２は、さらに、方法１０００のステップのいずれかを実行するように構成されてもよい。
システム１２００はまた、ビデオ復号器１２１０を含む。ビデオ復号器１２１０は、同じＮＡＬユニット・タイプを有さない複数のＶＣＬ ＮＡＬユニットを含む現在のピクチャを含むビットストリームを受信するための受信モジュール１２１１を含む。ビデオ復号器１２１０は、さらに、現在のピクチャの後の後続のピクチャにおけるｓｕｂｐｉｃＡに位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを取得するための取得モジュール１２１３を含む。ビデオ復号器１２１０は、さらに、アクティブ・エントリは、現在のピクチャでのｓｕｂｐｉｃＡがＩＲＡＰ ＮＡＬユニット・タイプに関連するときに、復号順序において、現在のピクチャに先行するいかなる参照ピクチャも参照しないと判定するための判定モジュール１２１５を含む。ビデオ復号器１２１０は、さらに、参照ピクチャ・リストアクティブ・エントリに基づいて後続のピクチャを復号するための復号モジュール１２１７を含む。ビデオ復号器１２１０は、さらに、復号されたビデオ・シーケンスの一部として表示するために後続のピクチャを転送するための転送モジュール１２１９を含む。ビデオ復号器１２１０は、さらに、方法１１００のステップのいずれかを実行するように構成されてもよい。
第１のコンポーネントは、第１のコンポーネントと第２のコンポーネントとの間にあるライン、トレース、又は別の媒体を除き、介在するコンポーネントがないときに、第２のコンポーネントに直接結合される。第１のコンポーネントは、第１のコンポーネントと第２のコンポーネントとの間にあるライン、トレース、又は別の媒体以外に、介在するコンポーネントがあるときに、第２のコンポーネントに間接結合される。用語「結合された」及びその変形は、直接結合された、及び間接結合されたの両方を含む。用語「約」の使用は、特に断らない限り、後続の数字の±１０％を含む範囲を意味する。
また、本明細書に記載された例示的な方法のステップは、必ずしも説明された順序で実行される必要はないと理解されるべきであり、そのような方法のステップの順序は、単に例示的なものにすぎないと理解されるべきである。同様に、追加のステップが、そのような方法に含まれてもよいし、特定のステップが、本開示の種々の実施形態と一致する方法において省略されるか、又は組み合わされてもよい。
本開示において複数の実施形態が提供されているが、開示されたシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の具体的な形式で具現化されるかもしれないと理解されよう。本例は、例示的なものであり、限定的なものではないと考えられ、その意図は、本明細書に与えられた詳細に限定されない。例えば、種々の要素又はコンポーネントが別のシステムに組み合わせられたり、一体化されたりしてもよいし、特定の特徴が省略されたり、実装されなくてもよい。
追加的に、種々の実施形態において個別又は別個に説明及び図示された技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、コンポーネント、技術、又は方法と組み合わせられるか、又は一体化されてもよい。変更、置換、及び改変の他の例は、当業者によって確認可能であり、本明細書に開示された精神及び範囲から逸脱することなく行われてもよい。
ステップ１００５で、符号化器は、現在のピクチャでのｓｕｂｐｉｃＡが、ＩＲＡＰ ＮＡＬユニット・タイプに関連すると判定する。ステップ１００７で、符号化器は、現在のピクチャをビットストリームに符号化する。例えば、符号化器は、ｓｕｂｐｉｃＡに位置付けられた現在のピクチャのすべてのスライスが同じＮＡＬユニット・タイプ（例えば、ＩＲＡＰ ＮＡＬユニット・タイプ）に関連することを確実にする。符号化器は、イントラ予測に従ってｓｕｂｐｉｃＡを符号化することができる。符号化器はまた、サブピクチャＢ（ｓｕｂｐｉｃＢ）が非ＩＲＡＰ ＮＡＬユニット・タイプのスライスを含むと判定することができる。それゆえ、符号化器は、インター予測に従って現在のピクチャのｓｕｂｐｉｃＢを符号化することができる。
ステップ１１０５で、復号器は、ｓｕｂｐｉｃＡに位置付けられた現在のピクチャのすべてのスライスが、同じＮＡＬユニット・タイプに関連すると判定することができる。復号器はまた、スライスのＮＡＬユニット・タイプに基づいて、ｓｕｂｐｉｃＡ及び／又は現在のピクチャを復号することができる。例えば、現在のピクチャでのｓｕｂｐｉｃＡはＩＲＡＰ ＮＡＬユニットを含み得る。このようなケースでは、ｓｕｂｐｉｃＡは、イントラ予測に従って復号することができる。復号器はまた、ｓｕｂｐｉｃＢが非ＩＲＡＰ ＮＡＬユニット・タイプのスライスを含むと判定することができる。それゆえ、復号器は、インター予測に従って現在のピクチャのｓｕｂｐｉｃＢを復号することができる。

Claims (20)

  1. 復号器において実装される方法であって、
    前記復号器の受信機によって、同じネットワーク抽象化レイヤ（ＮＡＬ）ユニット・タイプを有さない複数のビデオ・コーディング・レイヤ（ＶＣＬ）ＮＡＬユニットを含む現在のピクチャを含むビットストリームを受信することと、
    前記復号器のプロセッサによって、復号順序において、前記現在のピクチャの後の後続のピクチャにおけるサブピクチャＡ（ｓｕｂｐｉｃＡ）に位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを取得することであって、前記アクティブ・エントリは、前記現在のピクチャでの前記ｓｕｂｐｉｃＡがイントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ＮＡＬユニット・タイプに関連するときに、復号順序において、前記現在のピクチャに先行するいかなる参照ピクチャへの参照も含まない、取得することと、
    前記プロセッサによって、前記参照ピクチャ・リスト・アクティブ・エントリに基づいて前記後続のピクチャを復号することと、を含む、方法。
  2. 前記ＩＲＡＰ ＮＡＬユニット・タイプは、クリーン・ランダム・アクセス（ＣＲＡ）ＮＡＬユニット・タイプである、請求項１に記載の方法。
  3. 前記ＩＲＡＰ ＮＡＬユニット・タイプは、瞬間復号器リフレッシュ（ＩＤＲ）ＮＡＬユニット・タイプである、請求項１に記載の方法。
  4. 前記プロセッサによって、ｓｕｂｐｉｃＡに位置付けられた前記現在のピクチャのすべてのスライスが、同じＮＡＬユニット・タイプに関連することを判定することをさらに含む、請求項１～３のいずれか一項に記載の方法。
  5. 前記プロセッサによって、フラグに基づいて、前記現在のピクチャの前記ＶＣＬ ＮＡＬユニットに対する第１のＮＡＬユニット・タイプ値が、前記現在のピクチャのＶＣＬ ＮＡＬユニットに対する第２のＮＡＬユニット・タイプ値とは異なると判定することをさらに含む、請求項１～４のいずれか一項に記載の方法。
  6. 前記ビットストリームは、ピクチャ・パラメータ・セット（ＰＰＳ）を含み、前記フラグは、前記ＰＰＳから取得される、請求項１～５のいずれか一項に記載の方法。
  7. 前記フラグは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇであり、前記ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、前記ＰＰＳを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを有し、前記ＶＣＬ ＮＡＬユニットが同じ値のＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有しないことを指定するときに１と等しい、請求項１～６のいずれか一項に記載の方法。
  8. 符号化器に実装される方法であって、
    前記符号化器のプロセッサによって、現在のピクチャが同じネットワーク抽象化レイヤ（ＮＡＬ）ユニット・タイプを有さない複数のビデオ・コーディング・レイヤ（ＶＣＬ）ＮＡＬユニットを含むと判定することと、
    前記プロセッサによって、前記現在のピクチャでのサブピクチャＡ（ｓｕｂｐｉｃＡ）がイントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ＮＡＬユニット・タイプに関連すると判定することと、
    前記プロセッサによって、復号順序において、前記現在のピクチャの後の後続のピクチャにおける前記ｓｕｂｐｉｃＡに位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを生成することであって、前記アクティブ・エントリは、前記現在のピクチャでの前記ｓｕｂｐｉｃＡが前記ＩＲＡＰ ＮＡＬユニット・タイプに関連するときに、復号順序において、前記現在のピクチャに先行するいかなる参照ピクチャへの参照も含まない、生成することと、
    前記プロセッサによって、前記参照ピクチャ・リストに基づいて、前記後続のピクチャをビットストリームに符号化することと、を含む、方法。
  9. 前記ＩＲＡＰ ＮＡＬユニット・タイプは、クリーン・ランダム・アクセス（ＣＲＡ）ＮＡＬユニット・タイプである、請求項８に記載の方法。
  10. 前記ＩＲＡＰ ＮＡＬユニット・タイプは、瞬間復号器リフレッシュ（ＩＤＲ）ＮＡＬユニット・タイプである、請求項８に記載の方法。
  11. 前記プロセッサによって、ｓｕｂｐｉｃＡに位置付けられた前記現在のピクチャのすべてのスライスが同じＮＡＬユニット・タイプに関連することを確実にすることによって、前記現在のピクチャをビットストリームに符号化することをさらに含む、請求項８～１０のいずれか一項に記載の方法。
  12. 前記プロセッサによって、前記現在のピクチャの前記ＶＣＬ ＮＡＬユニットに対する第１のＮＡＬユニット・タイプ値が、前記現在のピクチャのＶＣＬ ＮＡＬユニットに対する第２のＮＡＬユニット・タイプ値とは異なることを示すフラグを前記ビットストリームに符号化することをさらに含む、請求項８～１１のいずれか一項に記載の方法。
  13. 前記フラグは、前記ビットストリームにおいてピクチャ・パラメータ・セット（ＰＰＳ）に符号化される、請求項８～１２のいずれか一項に記載の方法。
  14. 前記フラグは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇであり、前記ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、前記ＰＰＳを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを有し、前記ＶＣＬ ＮＡＬユニットが同じ値のＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有しないことを指定するときに１に等しくセットされる、請求項８～１３のいずれか一項に記載の方法。
  15. ビデオ・コーディング・デバイスであって、
    プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機と、含み、前記プロセッサ、前記受信機、前記メモリ、及び前記送信機は、請求項１～１４のいずれか一項に記載の方法を実行するように構成されている、ビデオ・コーディング・デバイス。
  16. ビデオ・コーディング・デバイスによる使用のためのコンピュータ・プログラム製品を含む非一時的コンピュータ可読媒体であって、前記コンピュータ・プログラム製品は、プロセッサによって実行されるときに、前記ビデオ・コーディング・デバイスが請求項１～１４のいずれか一項の方法を実行するように、非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含む、非一時的コンピュータ可読媒体。
  17. 復号器であって、
    同じネットワーク抽象化レイヤ（ＮＡＬ）ユニット・タイプを有さない複数のビデオ・コーディング・レイヤ（ＶＣＬ）ＮＡＬユニットを含む現在のピクチャを含むビットストリームを受信するための受信手段と、
    復号順序において、前記現在のピクチャの後の後続のピクチャにおけるサブピクチャＡ（ｓｕｂｐｉｃＡ）に位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを取得するための取得手段と、
    前記アクティブ・エントリは、前記現在のピクチャでの前記ｓｕｂｐｉｃＡがイントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ＮＡＬユニット・タイプに関連するときに、復号順序において、前記現在のピクチャに先行するいかなる参照ピクチャへの参照も含まないことを判定するための判定手段と、
    前記参照ピクチャ・リストアクティブ・エントリに基づいて前記後続のピクチャを復号するための復号手段と、
    復号されたビデオ・シーケンスの一部として表示のために前記後続のピクチャを転送するための転送手段と、を含む、復号器。
  18. 前記復号器は、請求項１～７のいずれか一項に記載の方法を実行するようにさらに構成されている、請求項１７に記載の復号器。
  19. 符号化器であって、
    現在のピクチャが同じネットワーク抽象化レイヤ（ＮＡＬ）ユニット・タイプを有さない複数のビデオ・コーディング・レイヤ（ＶＣＬ）ＮＡＬユニットを含むと判定することと、
    前記現在のピクチャでのサブピクチャＡ（ｓｕｂｐｉｃＡ）がイントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ＮＡＬユニット・タイプに関連すると判定することと、を行うための判定手段と、
    復号順序において、前記現在のピクチャの後の後続のピクチャにおける前記ｓｕｂｐｉｃＡに位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを生成することであって、前記アクティブ・エントリは、前記現在のピクチャでの前記ｓｕｂｐｉｃＡが前記ＩＲＡＰ ＮＡＬユニット・タイプに関連するときに、復号順序において、前記現在のピクチャに先行するいかなる参照ピクチャへの参照も含まない、生成することを行うための生成手段と、
    前記参照ピクチャ・リストに基づいて、前記後続のピクチャをビットストリームに符号化することを行うための符号化手段と、
    復号器に向かって通信するためにビットストリームを記憶することを行うための記憶手段と、を含む、符号化器。
  20. 前記符号化器は、請求項８～１４のいずれか一項に記載の方法を実行するようにさらに構成されている、請求項１９に記載の符号化器。
JP2022500875A 2019-07-08 2020-07-07 ビデオ・コーディングにおける混合ｎａｌユニット・ピクチャ制約 Active JP7453329B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024035012A JP2024073509A (ja) 2019-07-08 2024-03-07 ビデオ・コーディングにおける混合ｎａｌユニット・ピクチャ制約

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962871524P 2019-07-08 2019-07-08
US62/871,524 2019-07-08
PCT/US2020/041035 WO2021007225A1 (en) 2019-07-08 2020-07-07 Mixed nal unit picture constraints in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024035012A Division JP2024073509A (ja) 2019-07-08 2024-03-07 ビデオ・コーディングにおける混合ｎａｌユニット・ピクチャ制約

Publications (2)

Publication Number Publication Date
JP2022539865A true JP2022539865A (ja) 2022-09-13
JP7453329B2 JP7453329B2 (ja) 2024-03-19

Family

ID=74114239

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022500875A Active JP7453329B2 (ja) 2019-07-08 2020-07-07 ビデオ・コーディングにおける混合ｎａｌユニット・ピクチャ制約
JP2024035012A Pending JP2024073509A (ja) 2019-07-08 2024-03-07 ビデオ・コーディングにおける混合ｎａｌユニット・ピクチャ制約

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024035012A Pending JP2024073509A (ja) 2019-07-08 2024-03-07 ビデオ・コーディングにおける混合ｎａｌユニット・ピクチャ制約

Country Status (9)

Country Link
EP (1) EP3987771A4 (ja)
JP (2) JP7453329B2 (ja)
KR (1) KR20220027207A (ja)
CN (4) CN114073073B (ja)
AU (1) AU2020311890A1 (ja)
BR (1) BR112022000158A2 (ja)
CA (1) CA3146555A1 (ja)
MX (1) MX2022000292A (ja)
WO (1) WO2021007225A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023512748A (ja) * 2019-12-10 2023-03-29 ゼットティーイー（ユーケー）リミテッド ビデオコーディングにおけるサブピクチャ信号伝達
JP2023512749A (ja) * 2019-12-10 2023-03-29 ゼットティーイー（ユーケー）リミテッド ビデオコーディングにおけるサブピクチャ信号伝達

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615549B (zh) * 2022-05-11 2022-09-20 北京搜狐新动力信息技术有限公司 流媒体seek方法、客户端、存储介质和移动设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3349461B1 (en) * 2002-11-25 2020-02-19 Godo Kaisha IP Bridge 1 Method for coding and decoding b pictures in direct mode
US9924184B2 (en) * 2008-06-30 2018-03-20 Microsoft Technology Licensing, Llc Error detection, protection and recovery for video decoding
KR20110115087A (ko) * 2010-04-14 2011-10-20 삼성전자주식회사 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
FR2974966A1 (fr) * 2011-05-05 2012-11-09 France Telecom Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9596486B2 (en) * 2013-04-05 2017-03-14 Qualcomm Incorporated IRAP access units and bitstream switching and splicing
US20140301477A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US9525883B2 (en) * 2013-07-15 2016-12-20 Qualcomm Incorporated Cross-layer alignment of intra random access point pictures
US9948950B2 (en) * 2014-01-03 2018-04-17 Qualcomm Incorporated Disparity vector and/or advanced residual prediction for video coding
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US10645404B2 (en) * 2014-03-24 2020-05-05 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US10542288B2 (en) * 2014-06-18 2020-01-21 Telefonaktiebolaget Lm Ericsson (Publ) Random access in a video bitstream
CN111147846B (zh) * 2014-07-07 2022-03-11 寰发股份有限公司 利用帧内区块复制模式编码的视频编码方法
US20170105004A1 (en) * 2015-10-07 2017-04-13 Qualcomm Incorporated Methods and systems of coding a predictive random access picture using a background picture
KR102433227B1 (ko) * 2016-02-09 2022-08-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
US11062482B2 (en) * 2016-10-12 2021-07-13 Arris Enterprises Llc Coding schemes for virtual reality (VR) sequences
US11062738B2 (en) * 2017-03-23 2021-07-13 Qualcomm Incorporated Signalling of video content including sub-picture bitstreams for video coding
MX2021016004A (es) * 2019-06-20 2022-06-16 Nokia Technologies Oy Aparato, método y programa informático para codificación y decodificación de vídeo.
US11375232B2 (en) 2019-12-10 2022-06-28 Zte (Uk) Limited Sub picture signaling in video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving", ITU-T H.265, JPN6023017637, 13 February 2018 (2018-02-13), pages 1 - 7, ISSN: 0005054752 *
MISKA M. HANNUKSELA: "AHG12/AHG17: Merging IRAP and non-IRAP VCL NAL units into the same coded picture [online]", JVET-N JVET-N0047, JPN6023017635, 22 March 2019 (2019-03-22), pages 1 - 5, ISSN: 0005054750 *
YE-KUI WANG, HENDRY (HUAWEI) SACHIN DESHPANDE (SHARP) MISKA. M. HANNUKSELA (NOKIA) GAHYUN RYU, WOONG: "On reference picture management for VVC [online]", JVET-M JVET-M0128-V1, JPN6023017636, 2 January 2019 (2019-01-02), pages 1 - 4, ISSN: 0005054751 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023512748A (ja) * 2019-12-10 2023-03-29 ゼットティーイー（ユーケー）リミテッド ビデオコーディングにおけるサブピクチャ信号伝達
JP2023512749A (ja) * 2019-12-10 2023-03-29 ゼットティーイー（ユーケー）リミテッド ビデオコーディングにおけるサブピクチャ信号伝達
JP7472285B2 (ja) 2019-12-10 2024-04-22 ゼットティーイー（ユーケー）リミテッド ビデオコーディングにおけるサブピクチャ信号伝達

Also Published As

Publication number Publication date
AU2020311890A1 (en) 2022-02-03
JP7453329B2 (ja) 2024-03-19
JP2024073509A (ja) 2024-05-29
CN116723326A (zh) 2023-09-08
CN116708795A (zh) 2023-09-05
CA3146555A1 (en) 2021-01-14
EP3987771A1 (en) 2022-04-27
EP3987771A4 (en) 2022-08-24
WO2021007225A1 (en) 2021-01-14
BR112022000158A2 (pt) 2022-02-22
MX2022000292A (es) 2022-02-03
CN114073073A (zh) 2022-02-18
US20220132148A1 (en) 2022-04-28
CN114827600B (zh) 2023-09-01
KR20220027207A (ko) 2022-03-07
CN114827600A (zh) 2022-07-29
CN114073073B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
JP7322170B2 (ja) 混合されたｎａｌユニットタイプを有するピクチャ
JP7453329B2 (ja) ビデオ・コーディングにおける混合ｎａｌユニット・ピクチャ制約
JP2022540397A (ja) 識別子シグナリングを用いたビデオコーディングビットストリーム抽出
US12041249B2 (en) Mixed NAL unit picture constraints in video coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240307

R150 Certificate of patent or registration of utility model

Ref document number: 7453329

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150