JP2015517277A - ストリーム適応およびスプライシングに対するサポートが強化されたビデオコーディング - Google Patents

ストリーム適応およびスプライシングに対するサポートが強化されたビデオコーディング Download PDF

Info

Publication number
JP2015517277A
JP2015517277A JP2015507047A JP2015507047A JP2015517277A JP 2015517277 A JP2015517277 A JP 2015517277A JP 2015507047 A JP2015507047 A JP 2015507047A JP 2015507047 A JP2015507047 A JP 2015507047A JP 2015517277 A JP2015517277 A JP 2015517277A
Authority
JP
Japan
Prior art keywords
picture
nal unit
broken link
video
nal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015507047A
Other languages
English (en)
Other versions
JP2015517277A5 (ja
JP6284924B2 (ja
Inventor
ワン、イェ−クイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015517277A publication Critical patent/JP2015517277A/ja
Publication of JP2015517277A5 publication Critical patent/JP2015517277A5/ja
Application granted granted Critical
Publication of JP6284924B2 publication Critical patent/JP6284924B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

クリーンランダムアクセス(CRA)ピクチャに基づくストリーム適応およびスプライシングの強化されたサポートのための様々な技法が説明される。ブロークンリンクピクチャが存在することを示すスライスヘッダ内のフラグを使用する代わりに、別個のネットワーク抽象レイヤ(NAL)ユニットタイプがブロークンリンクピクチャの存在を示すのに使用され得る。一部の実施態様では、第1の別個のNALユニットタイプが、先行ピクチャのあるブロークンリンクピクチャの存在を示すのに使用され得、一方で第2の別個のNALユニットタイプが、先行ピクチャのないブロークンリンクピクチャの存在を示す。一部の実施態様では、第3の別個のNALユニットタイプが、復号可能な先行ピクチャのあるブロークンリンクピクチャの存在を示すのに使用され得る。

Description

優先権の主張
本出願は、各々の内容全体が参照により本明細書に組み込まれる、
2012年4月20日に出願された米国仮特許出願第61/636,566号、
2012年5月4日に出願された米国仮特許出願第61/643,100号、および
2012年7月2日に出願された米国仮特許出願第61/667,371号
の利益を主張する。
本開示は、ビデオコーディングに関し、より詳細には、コード化ビデオデータにランダムアクセスすることに関係付けられる技法に関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイス、トランスコーダ、ルータまたは他のネットワークデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4、Part 10、Advanced Video Coding(AVC)、現在開発中のHigh Efficiency Video Coding(HEVC)規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法のような、ビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的(イントラピクチャ)予測および/または時間的(インターピクチャ)予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス(すなわち、ビデオフレームまたはビデオフレームの一部)はビデオブロックに区分化されてもよく、これらのビデオブロックは、ツリーブロック、コーディングツリーユニット(CTU)、コーディングユニット(CU)および/またはコーディングノードと呼ばれる場合もある。ピクチャのイントラコーディングされた(I)スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他のピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれる場合があり、参照ピクチャは参照フレームと呼ばれる場合がある。ビデオシーケンスはビットストリームと呼ばれる場合もある。
[0005]空間的予測または時間的予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数は、次いで量子化され得る。最初に2次元アレイで構成されている量子化変換係数は、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。
[0006]本開示は、ストリーム適応、および、クリーンランダムアクセス(CRA:clean random access)ピクチャに基づくスプライシングの強化されたサポートのための様々な技法を記載する。本開示は、ブロークンリンク(broken link)ピクチャが存在することを示すスライスヘッダ内のフラグを使用する代わりに、別個の(distinct)ネットワーク抽象レイヤ(NAL)ユニットタイプがブロークンリンクピクチャの存在を示すのに使用され得ることを提案する。本開示の技法の一部の実施態様では、第1の別個のNALユニットタイプが、先行ピクチャ(leading picture)のあるブロークンリンクピクチャの存在を示すのに使用され得、一方で第2の別個のNALユニットタイプが、先行ピクチャのないブロークンリンクピクチャの存在を示す。加えて、一部の実施態様では、第3の別個のNALユニットタイプが、復号可能な先行ピクチャのあるブロークンリンクピクチャの存在を示すのに使用され得る。
[0007]一例では、ビデオデータを処理するための方法は、ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信することと、第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出することとを含む。
[0008]別の例では、ビデオデータを処理するための方法は、ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信することと、NALユニットがブロークンリンクピクチャを備えると決定することと、当該NALユニットのNALユニットタイプを、NALユニットがブロークンリンクピクチャを備えることを示すNALユニットタイプに設定することとを含む。
[0009]別の例では、ビデオデータを処理するためのデバイスは、ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信することと、第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出することとを行うように構成されている1つまたは複数のプロセッサを含む。
[0010]別の例では、ビデオデータを処理するためのデバイスは、ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信することと、NALユニットがブロークンリンクピクチャを備えると決定することと、当該NALユニットのNALユニットタイプを、NALユニットがブロークンリンクピクチャを備えることを示すNALユニットタイプに設定することと、を行うように構成されている1つまたは複数のプロセッサを含む。
[0011]別の例では、ビデオデータを処理するためのデバイスは、ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信する手段と、第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出する手段とを含む。
[0012]別の例では、ビデオデータを処理するためのデバイスは、ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信する手段と、NALユニットがブロークンリンクピクチャを備えると決定する手段と、そのNALユニットのNALユニットタイプを、NALユニットがブロークンリンクピクチャを備えることを示すNALユニットタイプに設定する手段とを含む。
[0013]別の例では、1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに、ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信することと、第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出することと、を行わせる命令を記憶しているコンピュータ可読記憶媒体。
[0014]別の例では、1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに、ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信することと、NALユニットがブロークンリンクピクチャを備えると決定することと、当該NALユニットのNALユニットタイプを、NALユニットがブロークンリンクピクチャを備えることを示すNALユニットタイプに設定することと、を行わせる命令を記憶しているコンピュータ可読記憶媒体。
[0015]1つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。
本開示で説明される技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 クリーンランダムアクセスピクチャの概念を示す概念図。 クリーンランダムアクセスピクチャの概念を示す概念図。 本開示で説明される技法を実装し得る例示的なビデオエンコーダを示すブロック図。 本開示で説明される技法を実装し得る例示的なビデオデコーダを示すブロック図。 ビデオデータの通信のためのネットワークの一部を形成するデバイスの例示的なセットを示すブロック図。 本開示で説明される技法による、RAPピクチャを含む例示的なビデオシーケンスを示す図。 本開示で説明される1つまたは複数の例による、RAPピクチャをコーディングするための例示的な方法を示す流れ図。 本開示で説明される1つまたは複数の例による、RAPピクチャをコーディングするための例示的な方法を示す流れ図。 本開示で説明される1つまたは複数の例による、RAPピクチャをコーディングするための例示的な方法を示す流れ図。 本開示で説明される1つまたは複数の例による、スライスを復号するための例示的な方法を示す流れ図。 本開示で説明される1つまたは複数の例による、スライスを符号化するための例示的な方法を示す流れ図。 本開示の例示的なビデオ処理技法を示す流れ図。
[0028]本開示は、クリーンランダムアクセス(CRA)ピクチャに基づくストリーム適応およびスプライシングの強化されたサポートのための様々な技法を記載する。ランダムアクセスは、一般に、ビットストリーム中の最初のコード化ピクチャではないコード化ピクチャから始まる、ビデオビットストリームの復号を指す。ビットストリームへのランダムアクセスは、ブロードキャストおよびストリーミングのような多くのビデオアプリケーションにとって望ましいものであり得る。たとえば、ランダムアクセスは、ユーザが、異なるチャネルの間で切り替えること、ビデオの特定の部分にジャンプすること、または、ストリーム適応(たとえば、ビットレート、フレームレート、空間分解能などの適応)のために異なるビットストリームに切り替えることを可能にすることができる。ランダムアクセスは、ビデオビットストリーム内にランダムアクセスポイント(RAP:random access point)ピクチャとも呼ばれるランダムアクセスピクチャを規則的または不規則な(ただし、一般的には規則的な)間隔で挿入することによって可能にされ得る。
[0029]本開示の技法は、様々な異なるコーディング規格に従って実装されてもよいことが企図されている。説明のために、本開示の技法は、来たるHigh Efficiency Video Coding(HEVC)規格の技法に関して主に論じられる。「HEVC Working Draft 6」または「WD6」と呼ばれるHEVC規格の1つの中間的草稿は、2013年3月11日現在http://phenix.int−evry.fr/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC−H1003−v22.zipからダウンロード可能である、文書JCTVC−H1003、Brossら、「High efficiency video coding (HEVC) text specification draft 6」、ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのJoint Collaborative Team on Video Coding(JCT−VC)、第8回会合:米国カリフォルニア州サンノゼ、2012年2月に記載されている。HEVC規格は発展し続けおり、2013年3月11日現在http://phenix.it−sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC−L1003−v18.zipからダウンロード可能である文書JCTVC−L1003_v18、Brossら、「High Efficiency Video Coding (HEVC) Text Specification Draft 10」、ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのJoint Collaborative Team on Video Coding(JCT−VC)、第12回会合:スイス国ジュネーブ2013年1月14〜23日に記載されている「HEVC Working Draft 10」または「WD10」と呼ばれるHEVC規格のより新しいドラフト。WD6およびWD10の各々の内容全体は、参照により本明細書に組み込まれる。
[0030]瞬時復号リフレッシュ(IDR:instantaneous decoding refresh)ピクチャがランダムアクセスに使用され得る。しかしながら、IDRピクチャはコード化ビデオシーケンスの始まりにあり、常に復号ピクチャバッファ(DPB)をクリーンにするため、復号順序においてIDRの後にくるピクチャは、IDRピクチャより前に復号されたピクチャを参照ピクチャとして使用することができない。したがって、ランダムアクセスについてIDRピクチャに依存するビットストリームは非常に低いコーディング効率を有する可能性がある。コーディング効率を改善するために、CRAピクチャの概念が、復号順序においてはCRAピクチャの後にくるが出力順序においてはCRAピクチャの前にくるピクチャがCRAピクチャより前に復号されたピクチャを参照ピクチャとして使用することを可能にするために導入された(たとえば、インター予測のための参照ピクチャ)。
[0031]復号順序においてはCRAピクチャの後にくるが出力順序においてはCRAピクチャの前にくるピクチャは、CRAピクチャの先行ピクチャと呼ばれる。現在のCRAピクチャの前にあるIDRまたはCRAピクチャから復号が始まる場合、CRAピクチャの先行ピクチャは正確に復号され得る。しかしながら、CRAピクチャからのランダムアクセスが行われるとき、CRAピクチャの先行ピクチャを正確に復号することができない。したがって、これらの先行ピクチャは、ランダムアクセス復号中は一般的に破棄される(すなわち、ビットストリームから除去される)。復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、復号順序と出力順序の両方においてCRAピクチャの後にくるすべてのピクチャは、復号順序または出力順序のいずれかにおいて(先行ピクチャを含む)CRAピクチャの前にくるいかなるピクチャも参照ピクチャとして使用しない。
[0032]上記で説明されたものと同様のランダムアクセス機能が、補足エンハンスメント情報(SEI:supplemental enhancement information)メッセージ内で回復点を使用することによって、H.264/AVCにおいてサポートされている。H.264/AVCビデオデコーダ実施態様は、そのような機能をサポートしている場合もあるし、またはしていない場合もある。HEVCにおいて、CRAピクチャで始まるビットストリームはコンフォーミング(conforming)ビットストリームとして考慮される。ビットストリームがCRAピクチャで始まるとき、CRAピクチャの先行ピクチャは、利用不可能な参照ピクチャを参照し得、したがって、正確に復号されないことがある。しかしながら、HEVCは、開始CRAピクチャの先行ピクチャは出力されず、したがってその名称が「クリーンランダムアクセス」であると規定している。ビットストリームコンフォーマンスの確立のために、HEVCは、非出力先行ピクチャの復号のための利用不可能な参照ピクチャを生成するための復号プロセスを規定しているが、コンフォーミングデコーダ実装は、復号プロセスがコード化ビデオシーケンスの始めから実行される場合と比較してデコーダが同一の出力を生成することができる限り、その復号プロセスに従う必要はない。
[0033]来たるHEVC規格の一部のバージョンでは、コンフォーミングビットストリームはIDRピクチャをまったく含まなくてもよく、したがって、コード化ビデオシーケンスのサブセットまたは不完全なコード化ビデオシーケンスを含んでもよい。HEVCにおいて、コード化ビデオシーケンスは、復号順序において、IDRアクセスユニットと、次のIDRアクセスユニットまでの全てのアクセスユニットとを含むが当該次のアクセスは含まない0個以上の非IDRアクセスユニットと、から構成される一連のアクセスユニットとして定義されている。
[0034]「ブロークンリンクをもつCRAピクチャ」の概念は、様々なHEVCの提案において紹介されている。CRAの概念と比較して、ブロークンリンクをもつCRAピクチャは、付加的に、ビットストリームの始まりにないCRAピクチャが、ビットストリームを開始するCRAピクチャが持つことができるような復号可能でない先行ピクチャを有することを可能にすることを提案している。HEVC WD6では、ビットストリームを開始するCRAピクチャは、参照ピクチャが前にないために復号され得ない先行ピクチャを復号順序(ビットストリーム順序とも呼ばれる)において後に続けることが可能とされている。しかしながら、ビットストリームの中ほどにあるCRAピクチャは、そのような復号可能でない先行ピクチャを有することを可能とされていない。そのような復号可能でない先行ピクチャが存在する可能性を示す「ブロークンリンク」フラグを追加することによってこの制約が取り除かれることが提案されている。
[0035]「ブロークンリンク」フラグは、スライスヘッダ、または適応パラメータセット(APS:adaptation parameter set)のような、ピクチャレベル情報のための何らかの他の場所の中のCRAピクチャのピクチャレベル情報として提案されている。ブロークンリンクフラグが1に等しいとき、ビットストリームがビットストリーム順序において前にあるIDRピクチャまたはCRAピクチャから始まっているとしても、当該ビットストリームは、先行する参照ピクチャがないために復号可能でない、CRAピクチャの(複数の)先行ピクチャを含むことが可能となる。
[0036]1に等しい「ブロークンリンク」フラグをもつCRAピクチャについて、CRAピクチャは付加的に、上記で言及されたような復号可能でない先行ピクチャを有することを可能にされる。既存の「ブロークンリンクをもつCRAピクチャ」手法、および他の既存のビデオランダムアクセス手法は、様々な問題および欠点の可能性に関連付けられる。たとえば、スライスヘッダまたはAPSの中の「ブロークンリンク」フラグのシグナリングは、フラグを符号化するためにスライスヘッダおよび/またはAPSをエントロピー符号化すること、ならびに、パースすることを可能にするための、必要とされるときに通常のCRAピクチャをブロークンリンクCRA(BLC:broken-link CRA)ピクチャに変化させるエンティティ(たとえば、サーバ、メディアアウェアネットワーク要素(MANE:media-aware network element)、またはビデオエディタ/スプライサ)を必要とする。これはまた、フラグを見つけるために、スライスヘッダおよび/またはAPSをエントロピー復号すること、ならびに、パースすることを可能にするための、必要とされるときにBLCピクチャを識別するエンティティ(たとえば、サーバ、MANE、またはビデオエディタ)も必要とする。BLCピクチャは、たとえば、HEVC規格のより最近のバージョンにおいて、ブロークンリンクアクセス(BLA:broken link access)ピクチャと呼ばれることもある。本開示において、これらの用語は交換可能であると考えられ得る。
[0037]本開示は、上記で説明された欠点に対処することができる技法を説明する。本開示は、BLCピクチャが存在することを示すスライスヘッダ内のフラグを使用する代わりに、別個のネットワーク抽象レイヤ(NAL)ユニットタイプがリンクがBLCピクチャの存在を示すのに使用され得ることを提案する。本開示の技法の一部の実施態様では、第1の別個のNALユニットタイプが、先行ピクチャをもつBLC(BLAとしても知られている)ピクチャの存在を示すのに使用され得、一方で第2の別個のNALユニットタイプが、先行ピクチャを持たないBLCピクチャの存在を示す。加えて、一部の実施態様では、第3の別個のNALユニットタイプが、復号可能な先行ピクチャのあるブロークンリンクピクチャの存在を示すのに使用され得る。
[0038]コード化ビデオデータはNALユニットに編成され、その各々は、実効的に、整数バイトを含むパケットである。各NALユニットの最初のバイトは、NALユニット内のデータのタイプの指示を含むヘッダバイトであり、残りのバイトは、ヘッダによって示されるタイプのペイロードデータを含む。NALユニットは、一般的に、2つの主なカテゴリ、すなわち、ビデオコーディングレイヤデータを含むNALユニットと、ビデオコーディングレイヤデータを含まないNALユニットとに分けられる。NALユニットのこれらの2つのカテゴリは、一般的に、それぞれVCL NALユニットおよび非VCL NALユニットと呼ばれる。非VCL NALユニットは、たとえば、補足エンハンスメント情報のためのNALユニットタイプ、および、パラメータセット情報のためのNALユニットタイプを含む。
[0039]本開示の技法によれば、一例では、2に等しいNALユニットタイプ(HEVC WD6において確保されている)は、ブロークンリンクピクチャ、たとえば、別様にBLAピクチャと称されるBLCピクチャの存在を示すのに使用され得る。本開示において説明されているように、専用NALユニットタイプを使用することによって、エンティティ(たとえば、サーバ、MANE、またはビデオエディタ/スプライサ)が、通常のCRAピクチャであって、そのピクチャからビットストリームが始まらない場合、すべての関連付けられる先行ピクチャは復号可能でなければならない(すなわち、正確に復号され得る)通常のCRAピクチャを、必要とされるときにはスライスヘッダ構文、APS構文、または他のビットストリーム構文をエントロピー符号化または復号することなくBLCピクチャであるように変化させることができる。加えて、本開示の技法を実施することによって、エンティティ(たとえば、サーバ、MANE、またはビデオエディタ)が、必要とされるときにはスライスヘッダ構文、APS構文、または他のビットストリーム構文をエントロピー復号することなくBLCピクチャを識別することができる。
[0040]ブロークンリンクピクチャの存在を示すために1つまたは複数の別個のNALユニットタイプを使用することが、本開示において紹介されている1つの技法である。追加の技法も下記に紹介されることになる。これらの追加の技法は、すでに紹介された専用NALユニットに代えて、または、それらとともに使用されてもよい。
[0041]図1は、本開示で説明される技法を利用し得る例示的なビデオ符号化および復号システム10を示すブロック図である。図1に示されているように、システム10は、宛先デバイス14が後に復号し得る符号化ビデオデータを生成するソースデバイス12を含む。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス12および宛先デバイス14は、ワイヤレス通信に対応し得る。
[0042]場合によっては、ビデオエンコーダ20は、時間レイヤ替え点(temporal layer switching point)のような、ランダムアクセス点またはストリーム適応点の後にくる1つまたは複数のピクチャを符号化し得る。たとえば、これは、ビットレート、フレームレートまたは空間分解能の適応のための切替え点であり得る。これらのピクチャのうちの1つまたは複数は、ビデオシーケンス内のCRAピクチャの先行ピクチャであり得る。デコーダは、ビデオシーケンスの復号が、ビデオシーケンス内で現在のCRAピクチャの前のRAPピクチャから始まる場合には、CRAピクチャの先行ピクチャを正確に復号し得る。しかしながら、CRAピクチャからのランダムアクセスが行われるとき、CRAピクチャの先行ピクチャは正確に復号され得ない。たとえば、先行ピクチャは、利用不可能である予測参照に関するブロックを指し得る。したがって、先行ピクチャは、ビデオデコーダ30において復号可能でない場合がある。したがって、宛先デバイス14は、一般的に、ランダムアクセス復号中はこれらの先行ピクチャを破棄し得る。
[0043]別の例では、BLA、すなわち、BLC、ピクチャについて、エンコーダ20は、フラグ、たとえば、no_output_of_prior_pics_flag(より正確にシンタックス要素と呼ばれる場合がある)を符号化し得、それによって、DPBにおいて前にあるピクチャのいずれも出力されない。一部の例では、このフラグ、またはシンタックス要素は、エントロピー復号の前はスライスヘッダ内の初めにあってもよく、それによって、より容易に復号され得、この情報はコーディングプロセスのより早期に利用可能である。MANEのような、それほど洗練されていないデバイスがエントロピーデコーダを必要とすることなく情報にアクセスすることができるために、たとえばno_output_of_prior_pics_flagがエントロピー復号される必要がない。例示として、no_output_of_prior_picsフラグは、たとえば、可変長ue(v)要素のようなエントロピーコード化シンタックス要素の代わりに、たとえば、固定長u(1)要素のような非エントロピーコード化シンタックス要素として提示され得る。no_output_of_prior_picsフラグは、たとえば、first_slice_segment_in_picフラグの直後で、任意のエントロピーコード化シンタックス要素の前に提示され得る。
[0044]一例では、ビデオデコーダ30は、参照ピクチャバッファ内に記憶されているピクチャを、たとえば、これらのピクチャを使用する結果として不正確に復号されたピクチャがもたらされ得るときに、参照のために使用されないものとしてマーキングし得る。たとえば、復号順序または出力順序においてBLAまたはBLCピクチャの前にくる参照ピクチャは、復号順序においてBLAまたはBLCピクチャの後にくる先行ピクチャに対する参照のためには使用不可能であり得る。したがって、ビデオデコーダ30によって、復号順序または出力順序においてBLAまたはBLCピクチャの前にくる参照ピクチャは、復号順序においてBLAまたはBLCピクチャの後にくる先行ピクチャに対する参照のためには使用不可能であり得るを受信することに応答して、参照のためには使用されないものとしてマーキングされ得る。
[0045]一例では、ビデオエンコーダ20は、BLAまたはBLCピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたNALユニットタイプを含むように構成され得る。たとえば、1つの規格では、NALユニットタイプ16、BLA_W_LP(先行ピクチャを有するBLA);NALユニットタイプ17、BLA_W_DLP(復号可能な先行ピクチャを有するBLA);およびNALユニットタイプ18、BLA_N_LP(先行ピクチャを有しないBLA)が含まれる。BLA_W_LPに等しいNALユニットタイプを有するBLAピクチャは、ビットストリーム内に存在する、関連付けられる復号可能なまたは復号可能でない先行ピクチャを有し得る。BLA_W_DLPに等しいNALユニットタイプを有するBLAピクチャは、ビットストリーム内に存在する、関連付けられる復号可能でない先行ピクチャを有しないが、ビットストリーム内の関連付けられる復号可能な先行ピクチャを有し得る。BLA_N_LPに等しいNALユニットタイプを有するBLAピクチャは、ビットストリーム内に存在する、関連付けられる先行ピクチャ(復号可能なまたは復号可能でない、のいずれか)を有し得ない。
[0046]一例では、ビデオエンコーダ20は、BLAピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたNALユニットタイプを処理し得る。たとえば、ビデオエンコーダ20は、複数の異なるネットワーク抽象レイヤ(NAL)ユニットタイプのうちの1つに従って、ピクチャを符号化することができる。複数のNALユニットタイプは、(1)ブロークンリンクアクセス(BLA)ピクチャのコード化スライス、ここでBLAピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有するBLAピクチャである、(2)BLAピクチャのコード化スライス、ここでBLAピクチャは、ビットストリーム内の関連付けられる復号可能な先行ピクチャを有するBLAピクチャである、(3)BLAピクチャのコード化スライス、ここでBLAピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有しないBLAピクチャである、のうちの1つまたは複数を含む。
[0047]宛先デバイス14は、符号化ビデオデータを受信し得る。宛先デバイスは、リンク16を介して受信されたデータを復号し得る。リンク16は、ソースデバイス12から宛先デバイス14に符号化されたビデオデータを動かすことが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク16は、ソースデバイス12が、符号化ビデオデータをリアルタイムで宛先デバイス14に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、高周波(RF)スペクトルまたは1つもしくは複数の物理伝送線路のような、任意のワイヤレスまたは有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークのような、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス12から宛先デバイス14への通信を支援するために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
[0048]代替的に、符号化データは、出力インターフェース22からストレージデバイス34に出力されてもよい。同様に、符号化データは、入力インターフェースによってストレージデバイス34からアクセスされてもよい。ストレージデバイス34は、ハードドライブ、ブルーレイ(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、様々な分散したまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス34は、ソースデバイス12によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して、ストレージデバイス34から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス14に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブを含む。宛先デバイス14は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、有線接続(たとえば、DSL、ケーブルモデムなど)、または両方の組合せを含み得る。ストレージデバイス34からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
[0049]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例のような、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。一部の例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
[0050]図1の例では、ソースデバイス12は、ビデオソース18、ビデオエンコーダ20、および出力インターフェース22を含む。場合によっては、出力インターフェース22は、変調器/復調器(モデム)および/または送信機を含み得る。ソースデバイス12において、ビデオソース18は、たとえばビデオカメラのようなビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/もしくはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムのようなソース、またはそのようなソースの組合せを含み得る。一例として、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラ付き携帯電話またはビデオ電話を形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。
[0051]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化ビデオデータは、ソースデバイス12の出力インターフェース22を介して宛先デバイス14に直接送信され得る。符号化ビデオデータは、さらに(または代替的に)、宛先デバイス14または復号および/もしくは再生のための他のデバイスによる後のアクセスのためにストレージデバイス34上に記憶され得る。
[0052]宛先デバイス14は、入力インターフェース28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。場合によっては、入力インターフェース28は、受信機および/またはモデムを含み得る。宛先デバイス14の入力インターフェース28は、リンク16を介して符号化ビデオデータを受信する。リンク16を介して通信され、またはストレージデバイス34上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ30のようなビデオデコーダが使用するためのビデオエンコーダ20によって生成される様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信される、記憶媒体上に記憶される、またはファイルサーバ上に記憶される、符号化されたビデオデータとともに含まれ得る。
[0053]一部の例では、宛先デバイス14のビデオデコーダ30は、時間レイヤ切替え点のような、ランダムアクセス点またはストリーム適応点の後にくる1つまたは複数のピクチャを復号し得る。たとえば、これは、ビットレート、フレームレートまたは空間分解能の適応のための切替え点(すなわち、時間レイヤ切替え点)であり得る。これらのピクチャのうちの1つまたは複数は先行ピクチャであり得る。ブロークンリンク(すなわち、BLAまたはBLC)ピクチャからのランダムアクセスが行われるとき、先行ピクチャは正確に復号され得ない。
[0054]一例では、復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、ビデオデコーダ30は、復号順序または出力順序のいずれかにおいてブロークンリンクピクチャの前にくるいかなるピクチャ(先行ピクチャを含む)も参照ピクチャとして使用し得ない。
[0055]様々な例では、ビデオデコーダ30は、DPB内のすべての参照ピクチャを、BLAまたはBLCピクチャを復号するとき、BLAピクチャを復号する前に参照するためには使用されないとしてマーキングし得る。たとえば、ビデオデコーダ30は、復号ピクチャバッファ(DPB)内の参照ピクチャを参照のためには使用されないとしてマーキングし得る。
[0056]別の例では、BLAピクチャが復号されるために、エンコーダ20は、フラグまたは他のシンタックス要素、たとえば、no_output_of_prior_pics_flagをビットストリーム内に含み得、デコーダ30はそれを受信し得る。フラグは、1に等しいとき、DPB内で前にあるピクチャのいずれも表示のために出力されないことを示す。特に、no_output_of_prior_pics_flagが1に等しいとき、デコーダ30は、復号ピクチャバッファ内のすべてのピクチャ記憶バッファを、それらが含むピクチャを出力することなく空にする。いくつかの例では、このフラグ、またはシンタックス要素は、エントロピー復号の前はスライスヘッダ内のごく初めに提示され得、それによって、エントロピーコーディングを必要とすることなく、より容易に復号され得、この情報はコーディングプロセスのより早期に利用可能である。たとえば、たとえばno_output_of_prior_pics_flagがエントロピー復号される必要がないために、MANEのような、それほど洗練されていないデバイスがデコーダを必要とすることなく情報にアクセスすることができる。
[0057]別の例では、ビデオデコーダ30は、BLAまたはBLCピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたNALユニットタイプを処理し得る。ここでも、上記で言及されたように、用語は異なっているが、BLAおよびBLCピクチャが、ブロークンリンクCRAピクチャを表すという点において、BLAピクチャはBLCピクチャと概念的には同じである。一例では、ビデオデコーダ30は、複数の異なるネットワーク抽象レイヤ(NAL)ユニットタイプのうちの1つに従って、ピクチャを復号し得る。複数のNALユニットタイプは、(1)ブロークンリンクアクセス(BLA)ピクチャのコード化スライス、ここでBLAピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有するBLAピクチャである、(2)BLAピクチャのコード化スライス、ここでBLAピクチャは、ビットストリーム内の関連付けられる復号可能な先行ピクチャを有するBLAピクチャである、(3)BLAピクチャのコード化スライス、ここでBLAピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有しないBLAピクチャである、のうちの1つまたは複数を含む。BLAピクチャの検出に応答して、ビデオデコーダ30は、1つまたは複数の新たなパラメータセットをアクティブにし得る。パラメータセットは、本開示において後により詳細に説明されることになる。
[0058]一部の例では、ビデオデコーダ30は、BLA NALユニットタイプを検出した場合、すべての参照ピクチャを参照のためには使用されないとしてマーキングするように構成されている。BLA NALユニットタイプがデコーダ30によって検出された場合、参照ピクチャは、BLAピクチャ、または、復号もしくは出力順序においてBLAピクチャの後にくる任意のピクチャの復号には有効ではない。
[0059]ディスプレイデバイス32は、宛先デバイス14に一体化されても、または外付けされてもよい。一部の例では、宛先デバイス14は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス14はディスプレイデバイスであってもよい。一般に、ディスプレイデバイス32は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスのような、種々のディスプレイデバイスのいずれかを備え得る。
[0060]ビデオエンコーダ20およびビデオデコーダ30は、現在開発中のHigh Efficiency Video Coding(HEVC)規格のようなビデオ圧縮規格に従って動作することができ、HEVC Test Model(HM)に準拠し得る。代替的に、ビデオエンコーダ20およびビデオデコーダ30は、代替的にMPEG−4、Part 10、アドバンストビデオコーディング(AVC)と呼ばれるITU−T H.264規格のような、他のプロプライエタリもしくは業界標準、またはそのような規格の拡張に従って動作することができる。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例には、MPEG−2およびITU−T H.263がある。HMは、たとえば、ITU−T H.264/AVCによる既存のデバイスと比較して、ビデオコーディングデバイスにいくつかの機能が追加されていると推定する。たとえば、H.264が9つのイントラ予測符号化モードを提供するのに対して、HMは33ものイントラ予測符号化モードを提供することができる。
[0061]図1には示されていないが、一部の態様では、ビデオエンコーダ20およびビデオデコーダ30は、各々オーディオエンコーダおよびデコーダと統合されてよく、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含んでもよい。妥当な場合は、一部の例では、MUX−DEMUXユニットは、ITU H.223多重化プロトコル(multiplexer protocol)、またはユーザデータグラムプロトコル(UDP)など他のプロトコルに準拠することができる。
[0062]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアのような、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアにおいて実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、1つまたは複数のプロセッサを使用してその命令をハードウェアにおいて実行して、本開示の技法を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
[0063]一般的に、HMのワーキングモデルは、ビデオフレームまたはピクチャは、輝度と彩度の両方のサンプルを含むツリーブロック(treeblock)または最大コーディングユニット(LCU)のシーケンスに分割され得ると説明している。ツリーブロックは、H.264規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序において連続するいくつかのツリーブロックを含む。ビデオフレームまたはピクチャは、1つまたは複数のスライスに区分化され得る。各ツリーブロックは、4分木に従ってコーディングユニット(CU)に分割され得る。たとえば、4分木のルートノードとしてのツリーブロックは、4つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の4つの子ノードに分割され得る。4分木のリーフノードとしての、最終的な、分割されない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連付けられるシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。
[0064]CUは、コーディングノードと、コーディングノードに関連付けられる予測ユニット(PU:prediction unit)および変換ユニット(TU:transform unit)とを含む。CUのサイズは、コーディングノードのサイズに対応し、形状は正方形である必要がある。CUのサイズは、8×8ピクセルから最大64×64以上のピクセルを有するツリーブロックのサイズまでに及ぶ場合がある。各CUは、1つまたは複数のPUと、1つまたは複数のTUとを含み得る。CUに関連付けられるシンタックスデータは、たとえば、CUを1つまたは複数のPUに区分化することを記述し得る。区分化モードは、CUがスキップモードもしくはダイレクトモードで符号化されているか、イントラ予測モードで符号化されているか、またはインター予測モードで符号化されているかの間で異なり得る。PUは、形状が非正方形になるように区分化され得る。CUに関連付けられるシンタックスデータは、たとえば、4分木に従って、CUを1つまたは複数のTUに区分化することも記述し得る。TUは、形状が正方形または非正方形であり得る。
[0065]HEVC規格は、CUごとに異なり得るTUに従った変換を可能にする。TUは、一般的には、区分化されたLCUに対して規定された所与のCU内のPUのサイズに基づいてサイズを決定されるが、これが必ずしも当てはまるとは限らない場合がある。TUは、一般的には、PUと同じサイズであるか、またはPUよりも小さい。一部の例では、CUに対応する残差サンプルは、「残差4分木」(RQT:residual quad tree)として知られる4分木構造を使用して、より小さいユニットに再分割され得る。RQTのリーフノードは、変換ユニット(TU)と呼ばれる場合がある。TUに関連付けられるピクセル差分値は、量子化され得る変換係数を生成するために変換され得る。
[0066]一般に、PUは、予測プロセスに関係付けられるデータを含む。たとえば、PUがイントラモード符号化されるとき、PUは、PUについてのイントラ予測モードを記述するデータを含む場合がある。別の例として、PUがインターモード符号化されるとき、PUは、PUのための動きベクトルを定義するデータを含む場合がある。PUのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルについての分解能(たとえば、1/4ピクセル精度もしくは1/8ピクセル精度)、動きベクトルが指す参照ピクチャ、および/または動きベクトル用の参照ピクチャリスト(たとえば、リスト0、リスト1、もしくはリストC)を記述することができる。
[0067]概して、TUは、変換プロセスと量子化プロセスとのために使用される。1つまたは複数のPUを有する所与のCUは、1つまたは複数の変換ユニット(TU)を含む場合もある。予測に続いて、ビデオエンコーダ20は、PUに対応する残余の値を計算することができる。残差値は、エントロピーコーディングのためのシリアル化変換係数(serialized transform coefficient)を生成するために、TUを使用して変換係数に変換され、量子化され、走査され得るピクセル差分値を備える。本開示では通常、CUのコーディングノードを指すために「ビデオブロック」という用語を使用する。一部の特定の場合には、本開示は、コーディングノードならびにPUおよびTUを含む、ツリーブロック、すなわちLCUまたはCUを示すために「ビデオブロック」という用語を使用する場合もある。
[0068]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャのグループ(GOP)は、一般的に、ビデオピクチャの1つまたは複数の連続を備える。GOPは、GOP中に含まれるいくつかのピクチャを記述するシンタックスデータを、GOPのヘッダ中、ピクチャのうちの1つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、CU内のコーディングノードに対応する場合がある。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定のコーディング規格に応じてサイズが異なり得る。
[0069]一例として、HMは、様々なPUサイズでの予測をサポートする。特定のCUのサイズが2N×2Nであると想定すると、HMは、PUサイズが2N×2NまたはN×Nのイントラ予測、および対称なPUサイズが2N×2N、2N×N、N×2N、またはN×Nのインター予測をサポートする。HMはまた、2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズでのインター予測のための非対称区分化をサポートする。非対称区分化では、CUの一方向は区分化されないが、他の方向は25%と75%とに区分化される。25%の区分に対応するCUの部分は、「n」とその後ろに付く「Up」、「Down」、「Left」、または「Right」という指示によって示される。したがって、たとえば、「2N×nU」は、上部の2N×0.5NのPUおよび下部の2N×1.5NのPUで水平方向に区分化された2N×2NのCUを指す。
[0070]本開示では、たとえば16×16ピクセルまたは16かける16ピクセルなど、「N×N」および「NかけるN(N by N)」は、垂直および水平の寸法に関して、ビデオブロックのピクセル範囲を示すために区別なく使用され得る。一般的に、16×16ブロックは、垂直方向に16個のピクセルを有し(y=16)、水平方向に16個のピクセルを有する(x=16)。同様に、N×Nブロックは、一般的に、垂直方向にN個のピクセルを有し、水平方向にN個のピクセルを有し、ここでNは負でない整数値を表している。ブロック中のピクセルは行と列で構成され得る。さらに、ブロックは、必ずしも垂直方向と水平方向に同じピクセル数を持つ必要はない。たとえば、ブロックはN×Mピクセルを備えることができ、ここでMはNと必ずしも等しいとは限らない。
[0071]CUのPUを使用したイントラ予測コーディングまたはインター予測コーディングの後、ビデオエンコーダ20は、CUのTUのための残差データを計算し得る。PUは、(ピクセル領域とも呼ばれる)空間領域においてピクセルデータを備えてよく、TUは、たとえば、残差ビデオデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に同様の変換などの変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、PUに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ20は、CUのための残差データを含むTUを形成し、次いで、TUを変換して、CUのための変換係数を生成し得る。
[0072]変換係数を生成するための任意の変換に続き、ビデオエンコーダ20は、変換係数の量子化を実行し得る。量子化は、一般的に、変換係数が、場合によっては、係数を表すために使用されるデータの量を減らすために量子化されるプロセスを指し、さらなる圧縮を可能にする。量子化プロセスは、係数の一部または全部に関連付けられるビット深度を低減し得る。たとえば、量子化中にnビット値をmビット値に切り捨てることができ、ここで、nはmよりも大きい。
[0073]一部の例では、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ20は適応走査を実行し得る。量子化変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ20は、たとえば、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディング、または別のエントロピー符号化方法に従って、1次元ベクトルをエントロピー符号化する場合がある。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30が使用するための、符号化ビデオデータに関連付けられるシンタックス要素をエントロピー符号化し得る。
[0074]CABACを実行するために、ビデオエンコーダ20は、送信される記号にコンテキストモデル内のコンテキストを割り当てることができる。コンテキストは、たとえば、シンボルの隣接値が0ではないか否かに関係し得る。CAVLCを実行するために、ビデオエンコーダ20は、送信される記号の可変長コードを選択することができる。比較的より短いコードはより可能性の高い記号に対応し、より長いコードはより可能性の低い記号に対応するように、VLCのコードワードを構成することができる。このようにして、VLCを使用することで、たとえば、送信される各記号に対して等しい長さのコードワードを使用することによって、ビットの節約を達成することができる。確率の決定は、記号に割り当てられたコンテキストに基づいてもよい。
[0075]ビデオエンコーダ20は、ビデオデータを階層的にコーディングするように構成され得る。たとえば、ビデオエンコーダ20は、ビデオデータを、複数のレイヤと、所与のレイヤ内のピクチャのシーケンスと、シーケンス内のピクチャと、ピクチャ内のスライスと、スライス内のブロック(たとえば、マクロブロックまたはコーディングツリーユニット)とを含むものとして階層的に分類し得る。ビデオパラメータセット(VPS:video parameter set)は、複数のシーケンスに関する、まれに変化するパラメータを、それぞれのレイヤにわたってシグナリングし得る。シーケンスパラメータセット(SPS)は、ピクチャのシーケンスのまれに変化するパラメータをシグナリングするために使用され得、ピクチャパラメータセット(PPS)は、個々のピクチャのまれに変化するパラメータをシグナリングするために使用され得る。
[0076]上記で紹介されたように、本開示は、CRAピクチャに基づくストリーム適応およびスプライシングの強化されたサポートのための技法を記載する。CRAピクチャは、CRAピクチャの復号が他のピクチャからの情報に依存しないように、イントラコーディング技法を使用してコーディングされるピクチャである。
[0077]ランダムアクセスは、一般に、ビットストリーム中の最初のコード化ピクチャではないコード化ピクチャから始まる、ビデオビットストリームの復号を開始するための機能を指す。コード化ビデオデータのビットストリームへのランダムアクセスは、ブロードキャストおよびストリーミングのような多くのビデオアプリケーションにとって望ましいものであり得る。ネットワークを介したビデオデータのストリーミングは、たとえば、Dynamic Adaptive Streaming over HTTP(DASH)を使用して実行され得る。たとえば、ビデオデータの閲覧者は、異なるチャネルの間で切り替えること、ビデオの特定の部分にジャンプすること、早送りもしくは逆戻しのような、いわゆる「トリックモード(trick mode)」を実行すること、または、ストリーム適応(たとえば、ビットレート(変動するネットワーク帯域幅に対応するなどのために)、フレームレート、空間分解能などの適応)のために異なるビットストリーム(たとえば、DASHにおける異なる表現)に切り替えることを望む場合がある。
[0078]ランダムアクセス機能は、規則的な間隔で多数回、ランダムアクセスピクチャまたはランダムアクセス点をビデオデータのビットストリームに挿入することによって有効にされ得る。IDRユニットがランダムアクセスに使用され得る。しかしながら、IDRユニットは一般的に、コード化ビデオシーケンスの始まりにあり、DPBをクリーンにするため、復号順序においてIDRユニットの後にくるピクチャは、IDRユニットより前に復号されたピクチャを参照として使用することができない。したがって、ランダムアクセスについてIDRユニットに依存するビットストリームは、非常に低いコーディング効率を有する。IDRユニットに関連付けられるコーディング効率を改善するために、復号順序においてCRAピクチャの後にくるが、出力順序においてCRAピクチャの前にくるピクチャがCRAピクチャの前に復号されたピクチャを参照として使用することができるように、CRAピクチャの概念がHEVCに導入されている。
[0079]図2Aおよび図2Bは、CRAピクチャの概念を示す概念図である。図2Aは、ピクチャのシーケンス202を示し、ここで左から右への順序が、ピクチャが復号される順序を示す。各ピクチャはまた、そのピクチャの表示順序を表すピクチャ順序カウント(POC:picture order count)値を有する。POC値はCRAピクチャ204と比較して示されており、それによって、負の値はCRAピクチャ204より前に表示されるピクチャを示し、正の値はCRAピクチャ204より後に表示されるピクチャを示す。ピクチャのシーケンス202はCRAピクチャ204を含む。ピクチャのシーケンス202は、一連の遅行ピクチャ(lagging picture)206と、一連の先行ピクチャ208と、一連の通常ピクチャ210とをさらに含む。遅行ピクチャ206は復号順序においてCRAピクチャ204より前にあるが、表示順序においてはCRAピクチャの後にくる(すなわち、遅行ピクチャ206のPOCはCRAピクチャ204のPOCよりも高い)。先行ピクチャ208は復号順序においてCRAピクチャ204の後にくるが、出力順序においてはCRAピクチャ204の前にくる。通常ピクチャ210は、復号順序と出力順序の両方においてCRAピクチャ204の後にくる。
[0080]図2Bは、ピクチャのシーケンス203を示す。ピクチャのシーケンス203はピクチャのシーケンス202と同じピクチャを備えるが、ピクチャのシーケンス203はピクチャを表示順序において示しており、それによって、ピクチャの左から右への順序付けが、ピクチャが出力されることになる順序に対応する。復号順序においてはCRAピクチャの後にくるが出力順序においてはCRAピクチャの前にくるピクチャは、CRAピクチャの先行ピクチャと呼ばれる(たとえば、先行ピクチャ208)。現在のCRAピクチャの前にあるIDRユニットまたはCRAピクチャから復号が始まる場合、CRAピクチャの先行ピクチャは正確に復号され得る。しかしながら、CRAピクチャからのランダムアクセスが行われるとき、CRAピクチャの先行ピクチャは正確に復号され得ない。したがって、これらの先行ピクチャは、ランダムアクセス復号中は一般的に破棄される。復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、復号順序と出力順序の両方においてCRAピクチャの後にくるすべてのピクチャは、復号順序または出力順序のいずれかにおいて(先行ピクチャを含む)CRAピクチャの前にくるいかなるピクチャも参照として使用すべきでない。
[0081]同様のランダムアクセス機能は、H.264/AVCにおいて、リカバリーポイント補足エンハンスメント情報(SEI)メッセージによってサポートされている。H.264/AVCデコーダ実施態様は、その機能をサポートしている場合もあるし、またはしていない場合もある。HEVCにおいて、CRAピクチャで始まるビットストリームが、コンフォーミングビットストリームとして考慮される。ビットストリームがCRAピクチャで始まるとき、CRAピクチャの先行ピクチャは、利用不可能な参照ピクチャを参照し得、したがって、正確に復号され得ない。しかしながら、HEVCは、開始CRAピクチャの先行ピクチャは出力されず、したがってその名称が「クリーンランダムアクセス」であると規定している。ビットストリームコンフォーマンスの要件を確立するために、HEVCは、非出力先行ピクチャの復号用の利用不可能な参照ピクチャを生成するための復号プロセスを規定している。しかしながら、復号プロセスがコード化ビデオシーケンスの先頭から実施されるときと比較してデコーダがそれらが同一の出力を生成することができる限り、デコーダ実装形態を適合させるのに、その復号プロセスに従う必要はない。
[0082]HEVCでは、コンフォーミングビットストリームはIDRユニットをまったく含まなくてもよく、したがって、コード化ビデオシーケンスのサブセットまたは不完全なコード化ビデオシーケンスを含んでもよいことは注目に値する。HEVCにおいて、コード化ビデオシーケンスは、復号順序において、後続のIDRアクセスユニットは含まないが当該後続のIDRアクセスユニットまでの全ての後続のアクセスユニットを含む0個以上の非IDRアクセスユニットが後に続くIDRアクセスユニットから構成されている、一連のアクセスユニットとして定義されている。
[0083]「ブロークンリンクCRAピクチャ」の概念は、JCTVC−I0404(http://phenix.int−evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC−I0404−v1.zipから利用可能)において紹介されている。HEVC WD6に含まれるCRAの概念と比較して、ビットストリームの始まりにあるCRAピクチャが有することができるのと同様に、ビットストリームの先頭にないCRAピクチャが復号可能でない先行ピクチャを有することを追加として可能にすることがJCTVC−I0404で提案されている。HEVC WD6では、ビットストリームの始まりにあるCRAピクチャは、参照ピクチャが前にないために復号され得ない先行ピクチャを(復号順序とも呼ばれるビットストリーム順序において)後に続けることが可能とされている。しかしながら、ビットストリームの中ほど、またはビットストリームの始まり以外のいずこかにあるCRAピクチャは、そのような復号可能でない先行ピクチャを有することを可能とされていない。そのような復号可能でない先行ピクチャが存在する可能性を示す「リンクが壊れている」フラグを追加することによってこの制約を取り除くことがJCTVC−I0404で提案されている。
[0084]「ブロークンンリンク」フラグはJCTVC−I0404において、スライスヘッダ、または適応パラメータセット(APS)のような、ピクチャレベル情報のための何らかの他の場所の中のCRAピクチャのピクチャレベル情報として提案されている。フラグが1に等しいとき、ビットストリームがビットストリーム順序において前にあるIDRピクチャまたはCRAピクチャから始まっても、ビットストリームは、先行する参照ピクチャがないために復号可能でないCRAピクチャの先行ピクチャを含むことが可能にされる。
[0085]「ブロークンリンク」フラグが1に等しいCRAピクチャについて、上記で言及されたように復号可能でない先行ピクチャを有することを可能にされるのに加えて、ピクチャ順序カウント(POC)最上位ビット(MSB)が0に設定され得、これは、IDRピクチャに対してと同じように作用するno_output_of_prior_pics_flagと、IDRピクチャのidr_pic_idと同じように作用するrandom_access_pic_idとを含む。また、(HEVC WD6の場合の)現在のidr_pic_idはrandom_access_pic_idに改称され、その制約はIDRピクチャのみにだけではなく、CRAピクチャとIDRピクチャの両方に適用されることになる。IDRピクチャと同様に、1に等しいbroken_link_flagを有するCRAピクチャは、異なるシーケンスパラメータセット(SPS)をアクティブにする、ピクチャサイズを変更する、といったことが可能になる。
[0086]JCTVC−I0404における「ブロークンリンクCRAピクチャ」手法および他の既存のビデオランダムアクセス手法は、場合によっては、いくつかの問題または欠点に関連付けられ得る。たとえば、スライスヘッダまたはAPSの中の「ブロークンリンク」フラグのシグナリングは、エンティティ(たとえば、サーバ、MANE、またはビデオエディタ/スプライサ)が、フラグを符号化するためにスライスヘッダおよび/またはAPSをエントロピーコーディングすること、ならびに、パースすることを可能にするため、必要とされるときに通常のCRAピクチャをBLCピクチャになるように変化させることを必要とする。これはまた、エンティティが、フラグを見つけるために、スライスヘッダおよび/またはAPSをエントロピー復号すること、ならびに、パースすることを可能にするため、必要とされるときにBLCピクチャを識別することも必要とする。
[0087]別の例として、ブロークンリンクCRA(BLC)ピクチャは、パラメータセットIDがアクティブなSPS、ピクチャパラメータセット(PPS)またはAPSと同じである場合、(ピクチャによって参照されたときに)SPS、PPSまたはAPSをアクティブにすることができないようにされている。しかしながら、BLCピクチャは通常、復号順序において前にあるピクチャとは異なるビットストリームから生じているため、BLCピクチャは一般に、異なるSPS生ビットシーケンスペイロード(RBSP:raw bit sequence payload)、PPS RBSP、およびAPS RBSPを使用し、BLCピクチャと復号順序において前にあるピクチャの両方が(直接的または間接的に)同じ値のSPSまたはPPS IDを参照する可能性が高い。それらが同じ値のAPS IDを参照する可能性もある。復号において前にあるピクチャにアクティブなSPS、PPS、またはAPSを使用すると、場合によっては、BLCピクチャと(先行ピクチャだけではない)後に続くピクチャの復号が不正確になる場合がある。
[0088]別の例として、通常CRAピクチャ内にrandom_access_pic_idおよびno_output_of_prior_pics_flagを含まないようにするには、シンタックス要素を符号化するためにスライスヘッダおよび/またはAPSをエントロピー符号化すること、ならびに、パースすることを可能にするための、必要とされるときに通常のCRAピクチャをBLCピクチャになるように変化させるエンティティが必要である。また別の例として、BLCピクチャは通常、復号順序において前にあるピクチャとは異なるビットストリームから生じるため、no_output_of_prior_pics_flagが0に等しい場合、復号ピクチャバッファがオーバーフローする場合があり、したがって、復号順序について後にくるすべてのピクチャが不正確に復号される場合があるか、またはデコーダがクラッシュする場合さえある。
[0089]別の例として、第1のビットストリームの一部および第2のビットストリームの一部(ここで、第2のビットストリームの一部はCRAピクチャpicAから始まる)がスプライシングまたは連結されるとき、復号が前にあるCRAピクチャまたはIDRピクチャもしくはBLCピクチャから始まるときに、CRAピクチャpicAの先行ピクチャの復号品質は、完璧ではないにしても許容可能であるケースにおいて(たとえば、先行ピクチャの1つまたは複数のチェックサムが、HVEC WD6におけるような復号ピクチャハッシュSEIメッセージにおいてシグナリングされるチェックサムと一致しない場合)、CRAピクチャをBLCピクチャに変化させるのではなく、picAをCRAピクチャとして保持することが可能である。しかしながら、ビットストリーム中で上記の情報を示すための機構が欠けている。
[0090]本開示は、上記で説明された欠点の一部を、場合によっては、改善し得る技法を記載する。本明細書において説明される様々な技法は、個々に、または他の説明されている技法と組み合わせてのいずれかで実施されてもよい。以下の技法は、JCTVC−I0404に記載されているような、ブロークンリンクCRAピクチャの概念に基づく。
[0091]一技法によれば、ブロークンリンクをもつCRAピクチャ(すなわち、BLCピクチャ)を示すためにスライスヘッダ内のフラグを使用する代わりに、別個のネットワーク抽象レイヤ(NAL)ユニットタイプ(たとえば、HEVC WD6において予約されている2に等しいNALユニットタイプ)が、BLCまたはBLAピクチャと呼ばれる場合がある、ブロークンリンクピクチャに属するNALユニットを示すために使用され得る。1つのBLCピクチャは、2つ以上のNALユニットを備え得る。そのような技法は、エンティティが、必要とされるときに通常CRAピクチャを(たとえば、NALユニットタイプを変更することによって)BLCピクチャであるように変化させるためのエントロピー符号化または復号を必要としなくてもよいため、ネットワークエンティティについてさほど複雑でなくてもよい。加えて、この技法は、エンティティが、必要とされるときにBLCピクチャを識別するためのエントロピーコーディングを必要とし得ない。ビットストリームの始まりにない通常CRAピクチャについて、すべての関連付けられる先行ピクチャが復号可能である(すなわち、正確に復号され得る)必要があり得る。
[0092]別の技法によれば、BLCピクチャが異なるSPSをアクティブにすることを可能にする代わりに、BLCピクチャは、たとえBLCピクチャによって(HEVC WD6におけるようなPPSもしくは何らかの他の手段を通じて間接的に、たとえば、JCTVC−I0338において記載されているようなグループパラメータセットを通じて間接的に、または、たとえば、SPS IDがスライスヘッダ内に直接含まれているときは直接的に、または、バッファリング期間SEIメッセージを通じて間接的に)参照されるSPS IDが、復号順序において前にあるピクチャのアクティブSPSのSPS IDと同じであったとしても、SPSをアクティブにすることが必要とされる。これは、BLCピクチャが一般的に、復号順序において前にあるピクチャとは異なるビットストリームからのものであり、一般的に、同一のまたは異なるSPS IDに異なるSPS RBSPが適用されるためである。
[0093]BLCピクチャは、BLCピクチャによって(JCTVC−I0338において記載されているようなグループパラメータセットを通じて間接的に、または、たとえば、PPS IDがHEVC WD6におけるようにスライスヘッダ内に直接含まれているときは直接的に)参照されるPPS IDが、復号順序において前にあるピクチャのアクティブPPSのPPS IDと同じであったとしても、PPSをアクティブにすることも必要とされる。これは、ここでも、BLCピクチャが一般的に、復号順序において前にあるピクチャとは異なるビットストリームからのものであり、一般的に、同一のまたは異なるPPS IDに異なるPPS RBSPが適用されるためである。
[0094]BLCピクチャはまた、APSを参照する場合、BLCピクチャによって参照されるAPS IDが復号順序において前にあるピクチャに対するアクティブPPSのAPS IDと同じであっても、APSをアクティブにすることを必要とされる。これは、ここでも、BLCピクチャが一般的に、復号順序において前にあるピクチャとは異なるビットストリームからのものであり、一般的に、同一のまたは異なるAPS IDに異なるAPS RBSPが適用されるためである。
[0095]本開示において使用される場合、BLCピクチャは、NALユニットタイプがBLCピクチャ用のNALユニットタイプ(たとえば、HVEC WD6において確保されている、2に等しいNALユニットタイプ)であるコード化ピクチャとして定義され得る。BLCピクチャは、特殊なタイプのCRAピクチャであると考えられ得る。非BLC CRAピクチャがビットストリームを開始するときの非BLC CRAピクチャおよび関連付けられる先行ピクチャについての同じ復号プロセスは、BLCピクチャがビットストリーム中で最初のピクチャではない場合でも、BLCピクチャおよび関連付けられる先行ピクチャを復号するために適用される。代替的に、BLCピクチャはCRAピクチャから除外され得る、すなわち、BLCピクチャはCRAピクチャではないと見なされ得る。その場合、CRAピクチャがビットストリームを開始するときのCRAピクチャおよび関連付けられる先行ピクチャについての同じ復号プロセスは、BLCピクチャがビットストリーム中で最初のピクチャではない場合でも、BLCピクチャと関連付けられる先行ピクチャとを復号するために適用される。本開示の以下の説明では、この代替策が適用されると仮定される。BLCアクセスユニットは、コード化ピクチャがBLCピクチャであるアクセスユニットとして定義され得る。コード化ビデオシーケンスの定義は、一連のアクセスユニットとなるように変更され得、この一連のアクセスユニットは、復号順序において、後続のIDRまたはBLCアクセスユニットを含まないが、後続のIDRまたはBLCアクセスユニットまでの全ての後続のアクセスユニットを含む0個以上の非IDRおよび非BLCアクセスユニットが後に続くIDRアクセスユニットまたはBLCアクセスユニットを含む。
[0096]別の技法によれば、JCTVC−I0404におけるようにIDRピクチャおよびBLCピクチャのみに対してrandom_access_pic_idおよびno_output_of_prior_pics_flagのいずれかまたは両方を有する代わりに、これら2つのフィールドのいずれかまたは両方が常に、すべてのIDRピクチャ、BLCピクチャ、およびすべてCRAピクチャに対して存在し得る。各CRAピクチャについて、no_output_of_prior_pics_flagが0に等しい必要があり得る。そのような技法は、場合によっては、ネットワークエンティティが、必要とされるときにCRAピクチャをBLCピクチャに変化させるのをより容易にし得る。代替的に、BLCピクチャについて、no_output_of_prior_pics_flagが1に等しいことが必要であり得る。代替的に、各BLCピクチャはシグナリングされたno_output_of_prior_pics_flagを有しなくてもよいが、ピクチャ出力挙動は、各BLCピクチャが1に等しいno_output_of_prior_pics_flagを有する場合と同じであってもよい。代替的に、各BLCピクチャはシグナリングされたno_output_of_prior_pics_flagを有してもよいが、ピクチャ出力挙動は、シグナリングされたno_output_of_prior_pics_flagの値にかかわらず、各BLCピクチャが1に等しいno_output_of_prior_pics_flagを有する場合と同じであってもよい。
[0097]別の技法によれば、BLCピクチャのPOC MSB値は、たとえば、スライスヘッダ中でシグナリングされ得る。シグナリングされる場合、値にかかわらず、この値は依然として、復号プロセスにおいて0に等しいと考えられることになる。代替的に、シグナリングされたPOC MSB値は復号プロセスで使用されるが、次いで、スプライサは値を確認し、場合によっては、復号順序における前のピクチャのPOC値に一致するように値を変更する必要がある。
[0098]別の技法によれば、第1のビットストリームの一部および第2のビットストリームの一部(ここで、第2のビットストリームの一部はCRAピクチャpicAから始まる)がスプライシングまたは連結される場合、復号が前のCRAピクチャまたはIDRピクチャもしくはBLCピクチャから始まるときに、CRAピクチャpicAの先行ピクチャの復号品質は、完璧ではないにしても許容可能である(たとえば、先行ピクチャの1つまたは複数のチェックサムが、HVEC WD6におけるような復号ピクチャハッシュSEIメッセージにおいてシグナリングされるチェックサムと一致しない場合)ケースにおいて、スプライサは、picAをCRAピクチャとして保持することができる。上記の情報の指示は、ビットストリーム中でシグナリングされ得る。この情報は、picAに関連付けられる指示を介して、たとえば、NALユニットヘッダもしくはスライスヘッダもしくは参照されるAPS中のフラグ、またはpicAに関連付けられるSEIメッセージとしてシグナリングされ得る。このフラグはexact_match_flagと名付けられ得、その値1は、picAに関連付けられる各先行ピクチャのチェックサムが、存在する場合には復号ピクチャハッシュSEIメッセージ中でシグナリングされるチェックサムと一致することを示し、その値0は、picAに関連付けられる各先行ピクチャのチェックサムが、存在する場合には復号ピクチャハッシュSEIメッセージ中でシグナリングされるチェックサムと一致する場合もあるし、または一致しない場合もあることを示す。
[0099]図3は、本開示で説明される技法を実装し得る例示的なビデオエンコーダ20を示すブロック図である。ビデオエンコーダ20は、ビデオを後処理エンティティ27に出力するように構成され得る。後処理エンティティ27は、MANEまたはスプライシング/編集デバイスのような、ビデオエンコーダ20からの符号化ビデオデータを処理し得るビデオエンティティの一例を表すように意図されている。場合によっては、後処理エンティティはネットワークエンティティの一例であってもよい。一部のビデオ符号化システムにおいて、後処理エンティティ27およびビデオエンコーダ20は別個のデバイスの部分であってもよく、他の事例では、後処理エンティティ27に関連して説明される機能は、ビデオエンコーダ20を備える同じデバイスによって実行されてもよい。
[0100]ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、空間的予測を利用して、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去する。インターコーディングは、時間的予測を利用して、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去する。イントラモード(Iモード)は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。
[0101]図3の例では、ビデオエンコーダ20は、区分ユニット35と、予測処理ユニット41と、フィルタユニット63と、ピクチャメモリ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。予測処理ユニット41は、動き推定ユニット42と、動き補償ユニット44と、イントラ予測処理ユニット46とを含む。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換処理ユニット60と、加算器62とを含む。フィルタユニット63は、デブロッキングフィルタ、適応ループフィルタ(ALF)、およびサンプル適応オフセット(SAO:sample adaptive offset)フィルタのような、1つまたは複数のループフィルタを表すように意図されている。フィルタユニット63はループフィルタであるものとして図3において示されているが、他の構成においては、フィルタユニット63はポストループフィルタ(post loop filter)として実装されてもよい。
[0102]図3に示されているように、ビデオエンコーダ20は、ビデオデータを受信し、区分化ユニット35は、ビデオブロックへとデータを区分化する。この区分化は、たとえば、LCUおよびCUの4分木構造に応じて、スライス、タイル、または他のより大きいユニットへの区分化、ならびにビデオブロック区分化をも含み得る。ビデオエンコーダ20は、一般に、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに(および、場合によっては、タイルと呼ばれるビデオブロックのセットに)分割され得る。予測処理ユニット41は、誤差結果(たとえばコーディングレートおよびひずみのレベル)に基づいて現在のビデオブロックについて、複数のイントラコーディングモードの1つ、または複数のインターコーディングモードの1つなど、複数の可能なコーディングモードの1つを選択し得る。予測処理ユニット41は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器50に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器62に与え得る。
[0103]上記で説明されたように、場合によっては、ビデオエンコーダ20は、BLAまたはBLCピクチャのように、時間レイヤ切替え点のようなランダムアクセス点またはストリーム適応点を符号化し得る。たとえば、符号化は、エントロピー符号化と非エントロピー符号化の両方を実行し得るエントロピー符号化ユニット56内で行われ得る。これらのピクチャのうちの1つまたは複数は、CRAピクチャの先行ピクチャであり得る。現在のCRAピクチャの前にあるRAPピクチャから復号が始まる場合、CRAピクチャの先行ピクチャは正確に復号され得る。しかしながら、CRAピクチャからのランダムアクセスが行われるとき、CRAピクチャの先行ピクチャは正確に復号され得ない。たとえば、先行ピクチャは、利用不可能である予測参照に関するブロックを指し得る。したがって、先行ピクチャは、ビデオデコーダ30において復号可能でない場合がある。したがって、これらの先行ピクチャは、ランダムアクセス復号中は一般的に破棄される。
[0104]一例では、ビデオエンコーダ20は、スライスヘッダ内にフラグ、たとえば、no_output_of_prior_pics_flagまたはシンタックス要素を与え得、それによって、DPBブロック内の前にあるピクチャ、すなわち、BLAまたはBLCピクチャの前にあるピクチャのいずれも出力されない。一部の例では、このフラグ(またはシンタックス要素)は、エントロピー符号化の前はスライスヘッダ内の初めにあってもよく、それによって、たとえば、デコーダ30においてより容易に復号され得、この情報はコーディングプロセスのより早期に利用可能であり得る。シンタックス要素またはフラグは、たとえば、エントロピー符号化ユニット56(非エントロピー符号化を実行し得る)によってBLAまたはBLCピクチャのスライスヘッダ内に符号化され得る。これは、たとえば、MANEのような中間デバイスにとって有用であり得、それによって、シンタックス要素またはフラグによって与えられる情報は、エントロピー復号せずに中間デバイスにとって利用可能であり得、ただし、これは、エントロピー復号の前にそのような情報にアクセスすることができるデコーダにも役立ち得る。
[0105]たとえば、ビデオエンコーダ20(たとえば、エントロピー符号化ユニット56)は、ピクチャ記憶バッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空にされることを示すシンタックス要素を含み得る。このシンタックス要素は、設定されると、復号順序において現在のピクチャより前にあり、現在のピクチャの復号時点においてピクチャ記憶バッファ内に存在するピクチャが、出力されることなくピクチャ記憶バッファから捨てられる(emptied)ようにし得る。一部の例では、シンタックス要素は、複数のシンタックス要素のうちの1つであってもよい。加えて、複数のシンタックス要素は、エントロピーコード化スライスヘッダシンタックス要素および非エントロピーコード化スライスヘッダシンタックス要素を含み得る。一例では、ピクチャ記憶バッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空にされることを示すシンタックス要素が、任意のエントロピーコード化スライスヘッダシンタックス要素の前にスライスヘッダに含まれており、それによって、シンタックス要素自体はエントロピーコーディングされない。
[0106]一部の例では、シンタックス要素はno_output_of_prior_pics_flagであってもよく、no_output_of_prior_pics_flagは、スライスヘッダ内でfirst_slice_in_pic_flagの直後に含まれてもよい。first_slice_in_pic_flagは、復号順序において、あるスライスがピクチャの最初のスライスであるか否かを示すフラグであり得る。
[0107]一例では、ビデオエンコーダ20は、BLAまたはBLCピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたNALユニットタイプを含むように構成され得る。たとえば、1つの規格では、NALユニットタイプ16、BLA_W_LP(先行ピクチャを有するBLA);NALユニットタイプ17、BLA_W_DLP(復号可能な先行ピクチャを有するBLA);およびNALユニットタイプ18、BLA_N_LP(先行ピクチャを有しないBLA)が含まれる。これらのNALユニットタイプは、エントロピー符号化ユニット56(非エントロピー符号化を実行し得る)によって符号化されてもよい。加えて、NALユニットタイプに基づいて、デコーダは、BLAピクチャが先行ピクチャを有するとき、および、先行ピクチャが復号可能でないとき、たとえば、復号が前にあるRAPピクチャから始まるときを知ることができる。したがって、この情報は、先行するピクチャが参照のために使用されないものとしてマーキングされ得るときを決定するのに使用され得、これが、復号ピクチャバッファ内の参照ピクチャを参照のために使用されないものとしてマーキングするようにデコーダをトリガし得る。
[0108]予測処理ユニット41内のイントラ予測処理ユニット46は、空間圧縮を行うために、コーディングされるべき現在ブロックと同じフレームまたはスライス中の1つまたは複数の隣接ブロックに対する現在のビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット41内の動き推定ユニット42および動き補償ユニット44は、時間的な圧縮を提供するために1つまたは複数の参照ピクチャ内の予測参照のための1つまたは複数のブロックに関して現在のビデオブロックのインター予測コーディングを実行する。
[0109]動き推定ユニット42は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、Pスライス、Bスライス、またはGPBスライスとしてシーケンスにおいてビデオスライスを指定することができる。動き推定ユニット42と動き補償ユニット44とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのPUの変位を示し得る。
[0110]予測ブロックは、絶対値差分和(SAD)、差分2乗和(SSD)、または他の差分尺度によって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのPUに厳密に一致することがわかるブロックである。一部の例では、ビデオエンコーダ20は、ピクチャメモリ64に記憶された参照ピクチャの下位整数ピクセル位置(sub−integer pixel position)に対する値を計算することができる。たとえば、ビデオエンコーダ20は、参照ピクチャの1/4ピクセル位置、1/8ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット42は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
[0111]動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスのビデオブロックのPUの動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択され得、その各々はピクチャメモリ64に記憶された1つまたは複数の参照ピクチャを識別する。動き推定ユニット42は、エントロピー符号化ユニット56と動き補償ユニット44とに計算された動きベクトルを送る。
[0112]動き補償ユニット44によって実行された動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックを取り込むか、または生成することを含み、場合によってはサブピクセル精度への補間を実行することができる。現在のビデオブロックのPUの動きベクトルを受信すると、動き補償ユニット44は、参照ピクチャリストの1つで動きベクトルが指し示す予測ブロックを見つけることができる。ビデオエンコーダ20は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、輝度差分成分と彩度差分成分の両方を含み得る。加算器50は、この減算演算を実行する1つまたは複数の構成要素を表す。動き補償ユニット44はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30が使用するための、ビデオブロックとビデオスライスとに関連付けられるシンタックス要素を生成し得る。
[0113]イントラ予測ユニット46は、上記で説明したように、動き推定ユニット42と動き補償ユニット44とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測ユニット46は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。一部の例では、イントラ予測ユニット46は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測ユニット46(または、一部の例では、モード選択ユニット40)は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。たとえば、イントラ予測ユニット46は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ(または誤差)の量、ならびに符号化ブロックを生成するために使用されるビットレート(すなわち、ビット数)を求める。イントラ予測ユニット46は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを判定するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。
[0114]いずれの場合も、ブロックのイントラ予測モードを選択した後に、イントラ予測ユニット46は、ブロックについての選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット56に提供し得る。エントロピー符号化ユニット56は、本開示の技法に従って選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、送信されたビットストリーム構成データを含んでもよい。ビットストリームは、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)と、様々なブロックの符号化コンテキストの定義と、最も可能性の高いイントラ予測モード、イントラ予測モードインデックステーブル、およびコンテキストの各々に使用する変更されたイントラ予測モードインデックステーブルの指示とを含むことができる。
[0115]予測処理ユニット41が、インター予測またはイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後、ビデオエンコーダ20は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロックにおける残差ビデオデータは、1つまたは複数のTUに含まれ得、変換処理ユニット52に適用され得る。変換処理ユニット52は、変換、たとえば離散コサイン変換(DCT)または概念的に同様の変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット52は、ピクセル領域からの残差ビデオデータを周波数領域などの変換領域に変換し得る。
[0116]変換処理ユニット52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連付けられるビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって、修正することができる。一部の例では、量子化ユニット54は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット56が走査を実行してもよい。
[0117]量子化の後、エントロピー符号化ユニット56は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディングまたは別のエントロピー符号化方法または技法を実行し得る。エントロピー符号化ユニット56によるエントロピー符号化の後に、符号化ビットストリームは、ビデオデコーダ30に送信されるか、またはビデオデコーダ30が後で送信するかもしくは取り出すためにアーカイブされ得る。エントロピー符号化ユニット56はまた、コーディングされている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
[0118]逆量子化ユニット58および逆変換処理ユニット60は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き補償ユニット44は、残差ブロックを参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、再構成された残差ブロックに1つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器62は、再構成された残差ブロックを動き補償ユニット44によって生成された動き補償予測ブロックに加算して、ピクチャメモリ64に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット42および動き補償ユニット44によって参照ブロックとして使用され得る。
[0119]図4は、上記で説明したブロークンリンクRAPピクチャに基づくストリーム適応およびスプライシングの強化されたサポートについて説明された技法を実施し得る例示的なビデオデコーダ30を示すブロック図である。図4の例では、ビデオデコーダ30は、エントロピー復号ユニット80と、予測処理ユニット81と、逆量子化ユニット86と、逆変換ユニット88と、加算器90と、フィルタユニット91と、ピクチャメモリ92とを含む。予測処理ユニット81は、動き補償ユニット82と、イントラ予測処理ユニット84とを含む。ビデオデコーダ30は、一部の例では、図3のビデオエンコーダ20に関して説明された符号化パスとは概して逆の復号パスを実行し得る。
[0120]復号プロセス中に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化ビデオスライスのビデオブロックと、関連付けられるシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ30は、ネットワークエンティティ29から符号化ビデオビットストリームを受信することができる。ネットワークエンティティ29は、たとえば、サーバ、MANE、ビデオエディタ/スプライサ、または上記で説明した技法のうちの1つもしくは複数を実装するように構成されている他のそのようなデバイスであってもよい。ネットワークエンティティ29はビデオエンコーダ20を含み、または含まなくてもよい。上記で説明されたように、本開示において説明されている技法の一部は、ネットワーク29が符号化ビデオビットストリームをビデオデコーダ30に送信する前に、ネットワークエンティティ29によって実施されてもよい。一部のビデオ復号システムにおいて、ネットワークエンティティ29およびビデオデコーダ30は別個のデバイスの部分であってもよく、他の事例では、ネットワークエンティティ29に関連して説明される機能は、ビデオデコーダ30を備える同じデバイスによって実行されてもよい。
[0121]ネットワークエンティティ29は、ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信し、第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出するように構成されているビデオ処理デバイスの一例を表す。ネットワークエンティティ29は、ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信することと、NALユニットがブロークンリンクピクチャを備えることを決定することと、そのNALユニットのNALユニットタイプを、NALユニットがブロークンリンクピクチャを備えることを示すNALユニットタイプに設定することとを行うように構成されているビデオ処理デバイスの一例をも表すことができる。
[0122]上記で説明されたように、一部の例では、ビデオデコーダ30は、BLAピクチャのようなブロークンリンクRAPピクチャ、または、先行ピクチャのような、時間レイヤ切替え点のようなランダムアクセス点もしくはストリーム適応点の後にあるピクチャを復号し得る。ブロークンリンクRAPピクチャからのランダムアクセスが行われるとき、先行ピクチャは正確に復号され得ない。
[0123]一例では、復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、ビデオデコーダ30は、復号順序または出力順序のいずれかにおいてブロークンリンクRAPピクチャの前にくるいかなるピクチャ(先行ピクチャを含む)も参照ピクチャとして使用し得ない。たとえば、予測処理ユニット81は、復号順序または出力順序のいずれかにおいてブロークンリンクRAPピクチャの前にくる、ピクチャメモリ92に記憶されているいかなるピクチャ(先行ピクチャを含む)も参照ピクチャとして使用し得ない。
[0124]様々な例では、ビデオデコーダ30は、DPB内のすべての参照ピクチャを、BLAピクチャを参照するためには使用されないとして復号する前に参照するためには使用されないとしてマーキングし得る。たとえば、エントロピー復号および非エントロピー復号を実行し得るエントロピー復号ユニット80は、復号ピクチャバッファ(DPB)と呼ばれることがあるピクチャメモリ92内の参照ピクチャを参照のために使用されないものとしてマーキングし得る。ビデオデコーダ30(たとえば、エントロピー復号ユニット80)は、現在のピクチャがBLAまたはBLCピクチャであると決定し、ピクチャ記憶バッファ内の参照ピクチャを、BLAまたはBLCピクチャを復号する前の参照のために使用されないものとしてマーキングし得る。現在のピクチャがBLAまたはBLCピクチャであると決定することは、現在のピクチャがCRAピクチャであると決定すること、および、現在のピクチャがRAPピクチャであると決定することを含み得る。現在のピクチャがCRAピクチャとRAPピクチャの両方である場合、現在のCRAピクチャはBLAピクチャである。一部の例では、デコーダ30によるこの決定は、BLA NALユニットタイプを有するピクチャに基づいて行われてもよい。
[0125]別の例では、BLAピクチャを復号するとき、デコーダ30は、符号化ビットストリーム内のフラグまたはシンタックス要素、たとえば、no_output_of_prior_pics_flagを受信し得、それによって、DPB内で前にあるピクチャのいずれも出力されない。一部の例では、このフラグは、エントロピー復号の前はBLAピクチャのスライスのスライスヘッダ内の初めに提示され得、それによって、より容易に復号され得、この情報はコーディングプロセスのより早期に利用可能である。フラグまたはシンタックス要素は、エントロピー符号化と非エントロピー符号化の両方を実行し得るエントロピー符号化ユニット80内で復号され得る。エントロピー符号化の前にフラグまたは他のシンタックス要素をスライスヘッダの初めに置くことによって、たとえば、この例ではno_output_of_prior_pics_flagがエントロピー復号される必要がないため、MANEのようなそれほど洗練されていないデバイスがエントロピーデコーダを必要とせずに情報にアクセスすることができるようになり得る。
[0126]一例では、ビデオデコーダ30は、シンタックス要素、たとえば、no_output_of_prior_pics_flagを、デコーダが受信するためにビットストリーム内に置き得る。シンタックス要素は、ピクチャ記憶バッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空にされていることを示し得る。このシンタックス要素は、設定されると、復号順序において現在のピクチャより前にあり、現在のピクチャの復号時点においてピクチャ記憶バッファ内に存在するピクチャが、出力されることなくピクチャ記憶バッファから捨てられるようにし得る。一部の例では、シンタックス要素は、複数のシンタックス要素のうちの1つであってもよい。加えて、複数のシンタックス要素は、1つまたは複数のエントロピーコード化スライスヘッダシンタックス要素および1つまたは複数の非エントロピーコード化スライスヘッダシンタックス要素を含んでもよい。一例では、ピクチャ記憶バッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空にされていることを示すシンタックス要素が、任意のエントロピーコード化スライスヘッダシンタックス要素の前に、たとえば、任意のue(v)要素の前に、たとえば、u(1)要素)としてスライスヘッダに含まれている。一部の例では、シンタックス要素はno_output_of_prior_pics_flagであってもよく、no_output_of_prior_pics_flagは、スライスヘッダ内でfirst_slice_in_pic_flagの直後で任意のエントロピーコード化要素の前に含まれてもよい。first_slice_in_pic_flagは、復号順序において、あるスライスがピクチャの最初のスライスであるか否かを示すフラグであり得る。
[0127]別の例では、ビデオデコーダ30は、BLAピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたNALユニットタイプを処理することができる。ビデオデコーダ30は、BLAピクチャがいつ先行ピクチャを有し、先行ピクチャを有さないかを示すために割り当てられたNALユニットタイプを含むように構成され得る。たとえば、エントロピー復号および非エントロピー復号を実行し得るエントロピー復号ユニット80は、NALユニットタイプを処理し得る。
[0128]一例では、ビデオデコーダ30(たとえば、エントロピー復号ユニット80)は、複数の異なるネットワーク抽象レイヤ(NAL)ユニットタイプのうちの1つに従って、ピクチャを復号し得る。複数のNALユニットタイプは、(1)ブロークンリンクピクチャ(たとえば、BLAまたはBLCと呼ばれる)のコード化スライス、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる先行ピクチャ(復号可能なまたは復号可能でない、のいずれか)を有するブロークンリンクピクチャである、(2)ブロークンリンクピクチャのコード化スライス、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる復号可能な先行ピクチャを有するBLAピクチャである、(3)ブロークンリンクピクチャのコード化スライス、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有しないブロークンリンクピクチャである、のうちの1つまたは複数を含む。一例では、先行ピクチャは、表示順序においてランダムアクセスピクチャ(RAP)の前にくるが、復号順序においてはランダムアクセスピクチャの後にくるピクチャを備える。
[0129]ビデオデコーダ30のエントロピー復号ユニット80は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット80は、予測処理ユニット81に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
[0130]ビデオスライスがイントラコード化(I)スライスとしてコーディングされたとき、予測処理ユニット81のイントラ予測処理ユニット84は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化(すなわち、B、PまたはGPB)スライスとしてコーディングされるとき、予測処理ユニット81の動き補償ユニット82は、エントロピー復号ユニット80から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックに対する予測参照のためのブロックを生成する。予測参照のためのブロックは、参照ピクチャリストの1つ内の参照ピクチャの1つから作成され得る。ビデオデコーダ30は、ピクチャメモリ92に記憶された参照ピクチャに基づいて、デフォルト構造技術を使用して、参照フレームリスト、リスト0およびリスト1を構成し得る。
[0131]動き補償ユニット82は、動きベクトルと他のシンタックス要素とをパースすることによって現在のビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックに対する予測参照のためのブロックを生成する。たとえば、動き補償ユニット82は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえばイントラまたはインター予測)と、インター予測のスライスタイプ(たとえばBスライス、Pスライス、またはGPBスライス)と、スライスの参照ピクチャリストの1つまたは複数の構築情報と、スライスの各インター符号化されたビデオブロックの動きベクトルと、スライスの各インターコーディングされたビデオブロックのインター予測ステータスと、現在のビデオスライスのビデオブロックを復号するための他の情報とを決定するために受信されたシンタックス要素の一部を使用する。DPB内のピクチャが参照のために使用されないものとしてマーキングされるとき、利用可能な参照ピクチャはない。したがって、ビデオデコーダ30は、インター予測のために前にある参照ピクチャを参照する先行ピクチャを復号することが可能でないことになる。
[0132]動き補償ユニット82はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット82は、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動き補償ユニット82は、受信されたシンタックス要素からのビデオエンコーダ20によって使用される補間フィルタを決定し、予測参照のためのブロックを作成するために補間フィルタを使用することができる。
[0133]逆量子化ユニット86は、ビットストリーム中で与えられエントロピー復号ユニット80によって復号された、量子化変換係数を逆量子化(inverse quantize)、すなわち、逆量子化(de-quantize)する。逆量子化プロセスは、ビデオスライス中の各ビデオブロックについてビデオエンコーダ20によって計算される量子化パラメータを使用して量子化の程度を判定し、同様に、適用すべき逆量子化の程度を判定することを含み得る。逆変換処理ユニット88は、ピクセル領域において残差ブロックを作成するために、たとえば、逆DCT、逆整数変換、または概念的に同様の逆変換プロセスなどの逆変換を変換係数に適用する。
[0134]動き補償ユニット82が、動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ30は、逆変換処理ユニット88からの残差ブロックを動き補償ユニット82によって生成された予測参照のための対応するブロックと加算することによって、復号ビデオブロックを形成する。加算器90は、この加算演算を実行する1つまたは複数のコンポーネントを表す。所望される場合、ループフィルタ(コーディングループで、またはコーディングループの後のいずれか)も、ピクセル移行を平滑化するか、または他の場合にはビデオ品質を向上させるために使用され得る。フィルタユニット91は、デブロッキングフィルタ、適応ループフィルタ(ALF)、およびサンプル適応オフセット(SAO)フィルタのような、1つまたは複数のループフィルタを表すように意図されている。フィルタユニット91はループフィルタにあるものとして図4において示されているが、他の構成においては、フィルタユニット91はポストループフィルタとして実装されてもよい。次いで、所与のフレームまたはピクチャの復号されたビデオブロックは、続く動き補償に使用される参照ピクチャを記憶する、ピクチャメモリ92に記憶される。ピクチャメモリ92はまた、図1のディスプレイデバイス32のようなディスプレイデバイス上での後の表示のために、復号されたビデオを記憶する。
[0135]このように、図4のビデオデコーダ30は、ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信し、第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出するように構成されているビデオデコーダの一例を表す。
[0136]図5は、ネットワーク100の一部を形成するデバイスの例示的なセットを示すブロック図である。この例では、ネットワーク10は、ルーティングデバイス104A、104B(ルーティングデバイス104)とトランスコーディングデバイス106とを含む。ルーティングデバイス104およびトランスコーディングデバイス106は、ネットワーク100の一部を形成し得る少数のデバイスを表すように意図されている。スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、および他のそのようなデバイスなどの他のネットワークデバイスも、ネットワーク100内に含まれてもよい。その上、サーバデバイス102とクライアントデバイス108との間のネットワーク経路に沿って追加のネットワークデバイスが提供されてもよい。一部の例では、サーバデバイス102はソースデバイス12(図1)に対応し得、一方でクライアントデバイス108は宛先デバイス14(図1)に対応し得る。
[0137]概して、ルーティングデバイス104は、ネットワーク100を介してネットワークデータを交換するための1つまたは複数のルーティングプロトコルを実装する。一部の例では、ルーティングデバイス104は、プロキシまたはキャッシュ動作を実行するように構成され得る。したがって、一部の例では、ルーティングデバイス104はプロキシデバイスと呼ばれ得る。概して、ルーティングデバイス104は、ネットワーク100を介したルートを発見するためにルーティングプロトコルを実行する。そのようなルーティングプロトコルを実行することによって、ルーティングデバイス104Bは、それ自体からルーティングデバイス104Aを介してサーバデバイス102へ至るネットワークルートを発見することができる。
[0138]本開示の技法は、ネットワークデバイスそのようなルーティングデバイス104およびトランスコーディングデバイス106によって実装されてもよいが、クライアントデバイス108によっても実装されてもよい。このように、ルーティングデバイス104、トランスコーディングデバイス106、およびクライアントデバイス108は、本開示の技法を実行するように構成されているデバイスの例を表す。その上、図1のデバイス、ならびに図3に示されているエンコーダおよび図4に示されているデコーダも、本開示の技法を実行するように構成され得る例示的なデバイスである。
[0139]たとえば、サーバデバイス102は、時間レイヤ切替え点のような、ランダムアクセス点もしくはストリーム適応点、または他のストリーム適応点の後にくる1つまたは複数のピクチャを符号化するためのエンコーダを含み得る。たとえば、この点は、ビットレート、フレームレート、または空間分解能の適応のための切替え点(すなわち、時間レイヤ切替え点)であり得る。同様に、クライアントデバイス108は、時間レイヤ切替え点のような、ランダムアクセス点またはストリーム適応点の後にくる1つまたは複数のピクチャを復号し得る。ここでも、これは、ビットレート、フレームレート、または空間分解能の適応のための切替え点(すなわち、時間レイヤ切替え点)であり得る。これらのピクチャのうちの1つまたは複数は先行ピクチャであってもよい。先行ピクチャは、BLAピクチャからのランダムアクセスが行われるとき、クライアントデバイス108において正確に復号され得ない。
[0140]一例では、復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、クライアントデバイス108は、復号順序または出力順序のいずれかにおいてBLAピクチャの前にくる、復号ピクチャバッファ(DPB)に記憶されているピクチャ(先行ピクチャを含む)を参照ピクチャとして適用し得ない。
[0141]様々な例では、クライアントデバイス108は、DPB内のすべての参照ピクチャを、BLAピクチャを復号する前に参照するためには使用されないとしてマーキングし得る。たとえば、クライアントデバイス108は、復号ピクチャバッファ(DPB)内の参照ピクチャを参照のためには使用されないとしてマーキングし得る。
[0142]別の例では、サーバデバイス102、クライアントデバイス108、またはその両方は、スライスヘッダ内にシンタックス要素またはフラグを含み、ビットストリーム内へとフラグ、たとえば、no_output_of_prior_pics_flagを符号化し得、それによって、ビデオデコーダ30によって先行ピクチャを復号するために処理されるDPB内の前にくるピクチャのいずれも、たとえば、表示モニタ上での提示のためにDPBから出力されない。一部の例では、このフラグは、エントロピー復号の前はスライスヘッダ内の初めにあってもよく、それによって、より容易に復号され得、この情報はコーディングプロセスのより早期に利用可能である。一例では、これらのネットワーク要素デバイスの1つは、たとえば、スプライシングまたはチャネル切替えもしくは時間レイヤ切替えのようなストリーム適応が必要とされるとき、CRAをブロークンリンクピクチャに変換し得る。エントロピーコーディングすることなくこのフラグをアクセス可能であり得るようにすることによって、エントロピー復号する機能を有しないネットワーク要素が、このフラグにアクセスすることができるようになる。
[0143]複数のNALユニットタイプは、(1)ブロークンリンクピクチャのコード化スライスであって、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる先行ピクチャ(復号可能なまたは復号可能でない、のいずれか)を有するブロークンリンクピクチャである、(2)ブロークンリンクピクチャのコード化スライスであって、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる復号可能な先行ピクチャを有するブロークンリンクピクチャである、(3)ブロークンリンクピクチャのコード化スライスであって、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有しないブロークンリンクピクチャである、のうちの1つまたは複数を含む。一例では、先行ピクチャは、表示順序においてランダムアクセスピクチャ(RAP)の前にくるが、復号順序においてはランダムアクセスピクチャの後にくるピクチャを備える。
[0144]様々な例では、ネットワーク100を構成するルーティングデバイス104A、104Bおよびトランスコーディングデバイス106はまた、時間レイヤ切替え点のような、ランダムアクセス点またはストリーム適応点の後にくる1つまたは複数のピクチャに対する何らかの処理を実行し得る。たとえば、これは、ビットレート、フレームレートの適応のための切替え点(すなわち、時間レイヤ切替え点)または空間分解能であり得る。上記で説明されたように、これらのピクチャのうちの1つまたは複数は、正確に復号され得ない先行ピクチャであり得る。
[0145]一例では、ルーティングデバイス104A、104B、およびトランスコーディングデバイス106のうちの1つまたは複数は、復号順序または出力順序のいずれかにおいてCRAピクチャの前にくる任意のピクチャ(先行ピクチャを含む)を参照ピクチャとして使用し得ない。別の例では、ルーティングデバイス104A、104B、およびトランスコーディングデバイス106のうちの1つまたは複数は、DPB内のすべての参照ピクチャを、BLAピクチャを復号する前に参照するためには使用されないとしてマーキングし得る。たとえば、ルーティングデバイス104A、104B、およびトランスコーディングデバイス106のうちの1つまたは複数は、復号ピクチャバッファ(DPB)内の参照ピクチャを、参照するためには使用されないとしてマーキングし得る。別の例では、ルーティングデバイス104A、104B、およびトランスコーディングデバイス106のうちの1つもしくは複数またはストリーミングサーバは、フラグ、たとえば、no_output_of_prior_pics_flagを使用してもよく、それによって、DPB内の前にくるピクチャのいずれも出力されない。加えて、ルーティングデバイス104A、104B、およびトランスコーディングデバイス106は、BLAピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたNALユニットタイプを処理することができる。
[0146]図6は、本開示において説明される技法による一例を示す図である。図6は、先行ピクチャが復号可能である場合および復号可能でない場合の例を示す。先行ピクチャの復号可能性は、予測ブロックの位置に基づき得る。加えて、先行ピクチャの復号可能性は、現在のCRAピクチャが、BLAピクチャではないCRAピクチャであるか、または、現在のCRAピクチャが、BLAピクチャでもあるCRAピクチャであるかに基づき得る。(BLAピクチャはCRAピクチャのサブセットである。)
[0147]図6の部分200は、復号順序における一連のピクチャを示す。最初、たとえば、ビデオデコーダ30(図1および図4)またはクライアントデバイス108(図5)は、位置202にあるRAPピクチャを、ビデオシーケンス内の最初のピクチャとして復号し得る。ビデオデコーダ30またはクライアントデバイス108は、次いで、位置204において参照ピクチャとして機能し得るピクチャまたはピクチャの一部を復号し得る。図6に示されているように、位置204は、復号順序における参照ピクチャの可能性のある位置である。参照ピクチャが位置204に位置しており、位置206にあるピクチャが、BLAピクチャではないCRAピクチャである場合、位置208にある先行ピクチャは復号可能であることになる。逆に参照ピクチャが位置204に位置しており、位置206にあるピクチャがブロークンリンクピクチャでもあるCRAピクチャである場合、位置208にある先行ピクチャは復号可能でないことになる。(BLAまたはBLCピクチャと呼ばれるブロークンリンクピクチャは、CRAピクチャのサブセットである。)
[0148]位置202にあるRAPピクチャが、復号が始まるRAPピクチャであり、位置206にある現在のCRAピクチャがブロークンリンクピクチャでない場合、上記で説明されたように、位置208にある先行ピクチャは復号可能である。逆に、位置206にある現在のCRAピクチャがRAPである場合、位置206にある現在のCRAピクチャがブロークンリンクピクチャでもあり、位置208にある先行ピクチャは復号可能でない。これは、位置204にある予測ブロックが、位置206にある現在のCRAピクチャであるブロークンリンクピクチャにとって利用可能でないためである。したがって、位置204にある予測ブロックは(1)参照のために使用されないものとしてマーキングされ得、(2)no_output_of_prior_pics_flagは、位置208にある先行ピクチャまでの、その先行ピクチャを含む、前にあるピクチャが出力されるべきでないことを示し得る。
[0149]図6に示されているように、位置210は、復号順序における参照ピクチャの可能性のあるもう1つの位置である。参照ピクチャが位置210に位置する場合、位置208にある先行ピクチャは復号可能であることになる。
[0150]図6の部分212は、出力順序における一連のピクチャを示す。最初に、ビデオデコーダ(図1および図4)またはクライアントデバイス108(図5)RAPピクチャ202。ビデオデコーダ30またはクライアントデバイス108は、次いで、位置204において予測ブロックとして機能し得るピクチャまたはピクチャの一部を復号し得る。図6に示されているように、位置204は、出力順序における予測ブロックの可能性のある位置である。
[0151]出力順序において、図6に示されているように、先行ピクチャ208は位置206にある現在のCRAピクチャより前に出力され得る。図6に示されているように、位置210は、出力順序における予測ブロックの可能性のあるもう1つの位置である。
[0152]図7は、本開示で説明される1つまたは複数の例による、RAPピクチャをコーディングするための例示的な方法を示す流れ図である。図7に示されているように、一部の例では、ビデオコーダ、たとえば、ビデオエンコーダ20またはビデオデコーダ30が、ビデオシーケンス内の時間レイヤ切替え点のようなランダムアクセス点またはストリーム適応点についてBLAピクチャをコーディングし得る。たとえば、これは、ビットレート、フレームレートまたは空間分解能の適応のための切替え点であり得る。BLAピクチャは、1つまたは複数の先行ピクチャを含み得る。先行ピクチャは、BLAピクチャからのランダムアクセスが行われるとき、(たとえば、デコーダ30、MANE、または他の復号デバイスによって)正確に復号され得ない。
[0153]一例では、復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、ビデオコーダは、復号順序または出力順序のいずれかにおいてBLAピクチャの前にくるいかなるピクチャ(先行ピクチャを含む)も参照ピクチャとして使用し得ない。
[0154]たとえば、ビデオデコーダ30は、ピクチャ記憶バッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空にされることを示すシンタックス要素を受信および復号し得る(700)。シンタックス要素は、エンコーダ20または中間ネットワーク要素によって符号化ビデオビットストリーム内に含まれてもよい。ビデオデコーダ30は、前にくるピクチャの出力が行われるべきではないことをシンタックス要素が示すか否かを決定し得、たとえば、ビデオデコーダ30は、シンタックス要素が設定されているか否か、すなわち、1に等しいか否かを決定するために、シンタックス要素をチェックし得る(702)。ビデオデコーダ30が設定されているシンタックス要素を受信すると、ビデオデコーダ30は、復号順序において現在のピクチャより前にあり、現在のピクチャの復号時点においてピクチャ記憶バッファ内に存在するピクチャが、出力されることなくピクチャ記憶バッファから捨てられる(emptied)ようにし得る(704)。
[0155]いくつかの例では、シンタックス要素は、複数のシンタックス要素のうちの1つであってもよい。加えて、複数のシンタックス要素は、エントロピーコード化スライスヘッダシンタックス要素および非エントロピーコード化スライスヘッダシンタックス要素を含んでもよい。一例では、シンタックス要素は、復号ピクチャバッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空になっていることを示し得、任意のエントロピーコード化スライスヘッダシンタックス要素の前にスライスヘッダに含まれている。別の例では、シンタックス要素は、ピクチャ記憶バッファ内のデータが、ピクチャ記憶バッファからいかなるピクチャも出力されることなく無視および/または上書きされるべきでないことを示し得、任意のエントロピーコード化スライスヘッダシンタックス要素の前にスライスヘッダに含まれている。いくつかの例では、シンタックス要素はno_output_of_prior_pics_flagであってもよく、no_output_of_prior_pics_flagは、スライスヘッダ内でfirst_slice_in_pic_flagの直後に含まれてもよい。first_slice_in_pic_flagは、復号順序において、あるスライスがピクチャの最初のスライスであるか否かを示すフラグであり得る。
[0156]図8は、本開示において説明される1つまたは複数の例による例示的な方法を示す流れ図である。示されている例では、ビデオコーダは、現在のピクチャがCRAピクチャであると決定し得る(800)。ビデオコーダは、現在のピクチャがRAPピクチャであるとも決定し得る(802)。ビデオコーダは、現在のピクチャがCRAピクチャとRAPピクチャの両方である場合、現在のピクチャはBLAピクチャであると決定し得る(804)。一部の例では、ビデオコーダは、現在のピクチャがBLAピクチャであるか否かを決定するためにNALユニットタイプを使用し得る。ビデオコーダは、参照ピクチャを参照のために使用されないものとしてマーキングし得る(806)。
[0157]様々な例では、ビデオコーダは、DPB内のすべての参照ピクチャを、BLAピクチャを復号する前に参照のために使用されないものとしてマーキングし得る。たとえば、ビデオデコーダ30が、復号ピクチャバッファ(DPB)と呼ばれることがあるピクチャメモリ92内の参照ピクチャを参照のために使用されないものとしてマーキングし得る。したがって、ピクチャはインターコード化のために使用されないことになり、これは、可能性のある誤りを回避し、一部の例では、空間的適応による問題に対処し得る。加えて、一般にこれらのピクチャは、たとえば、それらが見られ得るモニタまたは画面に出力されないことになる。
[0158]ビデオデコーダ30は、現在のピクチャがブロークンリンクピクチャであると決定し、ピクチャ記憶バッファ内の参照ピクチャを、BLAピクチャを復号する前の参照のために使用されないものとしてマーキングし得る。一例では、ピクチャ記憶バッファ内の参照ピクチャのマーキングは、ブロークンリンクピクチャが復号可能でないブロークンリンクピクチャを備えるときに行われ得、これは、一部の例では、NALユニットタイプに基づいて決定され得る。一部の例では、(1)DPB内のピクチャを参照のために使用されないものとしてマーキングすること、(2)no_output_of_prior_pics_flagのようなシンタックス要素を使用すること、および(3)ブロークンリンクピクチャのタイプを示すNALユニットタイプを使用することのうちの1つまたは複数が、独立してまたは任意の組合せで使用されてもよい。
[0159]図9は、本開示において説明される1つまたは複数の例による例示的な方法を示す流れ図である。図9の技法は、ビデオデコーダ30、ネットワークエンティティ29、ルーティングデバイス104、トランスコーディングデバイス106または何らかの他のそのようなビデオ処理デバイスのような、ビデオ処理デバイスによって実行され得る。ビデオ処理デバイスはNALユニットを処理することができ、NALユニットのNALユニットタイプは、BLAピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられる。場合によっては、ビデオ処理デバイスは、たとえば、ピクチャがCRAピクチャであることを検出し、CRAピクチャが先行ピクチャのないBLAピクチャ、復号可能な先行ピクチャのあるBLAピクチャ、または復号可能でない先行ピクチャのあるBLAピクチャであるかを決定し得る。この決定に基づいて、ビデオ処理デバイスは、NALユニットが先行ピクチャのないBLAピクチャ、復号可能な先行ピクチャのあるBLAピクチャ、または復号可能でない先行ピクチャのあるBLAピクチャを含むことを示すように、ビデオデータのためのNALユニットタイプを設定し得る。
[0160]一例では、ビデオ処理デバイスは、以下の1つまたは複数を含む複数の異なるネットワーク抽象レイヤ(NAL)ユニットタイプのうちの1つに従って、ピクチャをコーディングし得る。ビデオ処理デバイスは、BLAピクチャが関連付けられる先行ピクチャを有しないと決定し(900)、NALユニットを、NALユニットが関連付けられる先行ピクチャのないBLAピクチャを備えることを示すNALユニットタイプに設定し得る(902)。ビデオ処理デバイスは、たとえば、BLAピクチャがビットストリーム内で関連付けられる先行ピクチャのないBLAピクチャであることを示すNALユニットタイプを使用して、BLAピクチャのコード化スライスまたはBLAピクチャ全体をコード化し得る。ビデオ処理デバイスは、BLAピクチャが復号可能な先行ピクチャを関連付けられていると決定し(904)、NALユニットを、NALユニットが関連付けられる復号可能な先行ピクチャのあるBLAピクチャを備えることを示すNALユニットタイプに設定し得る(906)。ビデオ処理デバイスは、たとえば、BLAピクチャがビットストリーム内で関連付けられる復号可能な先行ピクチャのあるBLAピクチャであることを示すNALユニットタイプを使用して、コード化スライスまたはBLAピクチャ全体をコード化し得る。ビデオ処理デバイスは、BLAピクチャが先行ピクチャを関連付けられていると決定し(908)、NALユニットを、NALユニットが関連付けられる先行ピクチャのあるBLAピクチャを備えることを示すNALユニットタイプに設定し得る(910)。ビデオ処理デバイスは、たとえば、BLAピクチャがビットストリーム内で関連付けられる先行ピクチャのあるBLAピクチャであることを示すNALユニットタイプを使用して、BLAピクチャのコード化スライスまたはBLAピクチャ全体をコード化し得る。一例では、ビデオデコーダ30がBLA NALユニットタイプを検出した場合、ビデオデコーダ30は、たとえば、DPB内のピクチャを参照のために使用されないものとしてマーキングし得る。
[0161]いくつかの例では、(1)DPB内のピクチャを参照のために使用されないものとしてマーキングすること、(2)no_output_of_prior_pics_flagのようなシンタックス要素を使用すること、および(3)BLAピクチャを示すNALユニットタイプを使用することのうちの1つまたは複数が、独立してまたは任意の組合せで使用され得る。たとえば、場合によっては、これらの3つすべてが使用されてもよい。他の例では、例示的なNALユニットタイプが、DPB内のピクチャの参照のために使用されないものとしてのマーキングとともに使用され得る。別の例では、先行ピクチャの非出力シンタックス要素(no output of prior pictures syntax element)と、ピクチャの参照のために使用されないものとしてのマーキングとが使用され得る。別の例では、先行ピクチャの非出力シンタックス要素と、NALユニットタイプとが使用され得る。
[0162]本明細書において使用される場合、BLCとは、ブロークンリンククリーンランダムアクセスを指し、BLCLとは、ビットストリーム内で関連付けられる先行ピクチャのあるBLCピクチャを指し、BLCNLは、ビットストリーム内で関連付けられる先行ピクチャのないBLCピクチャを指す。本明細書において説明されているように、BLCピクチャは概して、BLAピクチャと同じである。CRAとは、クリーンランダムアクセスを指し、CRALとは、ビットストリーム内で関連付けられる先行ピクチャのあるCRAピクチャを指し、CRANLは、ビットストリーム内で関連付けられる先行ピクチャのないCRAピクチャを指す。IDRとは、瞬時復号リフレッシュを指し、LPRとは、ランダムアクセス点ピクチャに関連付けられる先行ピクチャを指し、NSPとは、ナッシングスペシャルプレーン(Nothing Special Plain)を指し、RAPとは、ランダムアクセス点を指し、RPSとは、参照ピクチャセットを指す。本明細書において使用される場合、TLAは時間レイヤアクセス(Temporal Layer Access)を指し、TLALは、LRPピクチャでもあるTLAピクチャを指し、TLANLは、LRPピクチャではないTLAピクチャを指す。
[0163]BLCアクセスユニットは、コード化ピクチャがBLAピクチャであるアクセスユニットを指す。BLCピクチャは、コード化スライスのスライスヘッダがRPSシンタックスを含み、一方RPSがRPSシンタックスを使用することなく空であるとして導出されるRAPピクチャである。BLCLアクセスユニットは、コード化ピクチャがBLCLピクチャであるアクセスユニットである。BLCLピクチャは、関連付けられるLPRピクチャがビットストリーム内に存在するBLAピクチャである。一部の例では、BLCLアクセスユニットは、BLA_W_DLPとBLA_W_LPとの組合せと等価であり得る。BLCNLアクセスユニットは、コード化ピクチャがBLCNLピクチャであるアクセスユニットである。一部の例では、BLCNLアクセスユニットは、BLA_N_LPと等価であり得る。BLCNLピクチャは、関連付けられるLPRピクチャがビットストリーム内に存在しないBLAピクチャである。
[0164]一例では、CRAアクセスユニットは、コード化ピクチャがCRAピクチャであるアクセスユニットである。CRAピクチャは、コード化スライスのスライスヘッダがRPSシンタックスを含み、RPSシンタックスがRPSの導出に使用されるRAPピクチャである。CRALアクセスユニットは、コード化ピクチャがCRALピクチャであるアクセスユニットである。CRALピクチャは、関連付けられるLPRピクチャがビットストリーム内に存在するCRAピクチャである。CRANLアクセスユニットは、コード化ピクチャがCRANLピクチャであるアクセスユニットである。CRANLピクチャは、関連付けられるLPRピクチャがビットストリーム内に存在しないCRAピクチャである。
[0165]一例では、IDRアクセスユニットは、コード化ピクチャがIDRピクチャであるアクセスユニットである。IDRピクチャは、コード化スライスのスライスヘッダがRPSシンタックスを含まず、RPSが空であるとして導出されるRAPピクチャである。
[0166]一例では、復号順序においてすべての前にくるアクセスユニットが存在するとは限らない場合、コード化ピクチャによって参照される各パラメータセットおよび復号順序におけるすべての後続のコード化ピクチャがそのアクティブ化の前に存在するという条件で、IDRピクチャおよび復号順序におけるすべての後続のコード化ピクチャは正確に復号され得る。代替的に、別の例では、IDRピクチャは、HEVCにおいて定義されているものに、上記が加わったものであってもよい。
[0167]他の例では、IDRピクチャは、Iスライスのみを含むコード化ピクチャであってもよい。加えて、例示的なIDRピクチャについて、復号順序におけるIDRピクチャの後続のすべてのコード化ピクチャは、復号順序においてIDRピクチャの前にくる任意のピクチャからのインター予測を使用しない。一例では、復号順序においてIDRピクチャの前にくる任意のピクチャは、出力順序においてもIDRピクチャの前にくる。
[0168]先行ピクチャは、RAPピクチャではなく、かつ、復号順序において何らかの他の特定のピクチャに続き、出力順序において特定のピクチャの前にくるコード化ピクチャである。LPRピクチャは、RAPピクチャに関連付けられる先行ピクチャまたはRAPピクチャの先行ピクチャである。
[0169]ピクチャ順序カウントは、各コード化ピクチャに関連付けられる変数であり得、復号順序において前にくるRAPピクチャに対して出力順序におけるピクチャ位置が増大するとともに増大する値を有する。
[0170]一例では、RAPアクセスユニットは、コード化ピクチャがRAPピクチャであるアクセスユニットである。RAPピクチャは、Iスライスのみを含むコード化ピクチャであってもよい。RAPピクチャについて、復号順序と出力順序の両方におけるRAPピクチャの後続のすべてのコード化ピクチャは、復号順序または出力順序のいずれかにおいてRAPピクチャの前にくる任意のピクチャからのインター予測を使用しない。復号順序においてRAPピクチャの前にくる任意のピクチャの出力は、RAPピクチャの出力に先行すべきである。復号順序においてすべての前にくるアクセスユニットが存在するとは限らない場合、コード化ピクチャによって参照される各パラメータセットおよび復号順序におけるすべての後続のコード化ピクチャがそのアクティブ化の前に存在するという条件で、RAPピクチャおよび復号順序と出力順序の両方におけるすべての後続のコード化ピクチャは正確に復号され得る。
[0171]代替的に、RAPピクチャは、上記の論述と一致して次のように定義されてもよい。RAPピクチャは、Iスライスのみを含み、かつ、復号順序と出力順序の両方におけるRAPピクチャの後続のすべてのコード化ピクチャが、復号順序または出力順序のいずれかにおいてRAPピクチャの前にくる任意のピクチャからのインター予測を使用しないコード化ピクチャであってもよい。復号順序においてRAPピクチャの前にくる任意のピクチャは、出力順序においてもRAPピクチャの前にくる。
[0172]TLAアクセスユニットは、コード化ピクチャがTLAピクチャであるアクセスユニットである。TLAピクチャはコード化ピクチャであり、そのTLAピクチャ、および、TLAピクチャのtemporal_id以上のtemporal_idを有するすべてのコード化ピクチャ。復号順序においてTLAピクチャの後にくるTLAピクチャは、復号順序においてTLAピクチャの前にくるTLAピクチャのtemporal_id以上のtemporal_idを有するいかなるピクチャからのインター予測も使用すべきでない。TLALアクセスユニットは、コード化ピクチャがTLAピクチャであるアクセスユニットである。
[0173]いくつかの例では、次の別個のVCL NALユニットタイプが定義され得る。第1の例として、NALユニットタイプは、IDRピクチャのコード化スライスに提供されてもよい(たとえば、nal_unit_type=5)。このNALユニットタイプに対しては、HEVC W6におけるIDRピクチャ概念が適用される。他のタイプのVCL NALユニットと比較した、このVCL NALユニットタイプの固有の特徴は、スライスヘッダに含まれる参照ピクチャセット(RPS)シンタックスがないことである。
[0174]一部の例は、BLCNLピクチャのコード化スライスを含む(ビットストリーム内で関連付けられる先行ピクチャのないBLCピクチャ、たとえば、nal_unit_type=2)。IDRピクチャのコード化スライスと比較して、BLCNLピクチャのコード化スライスは、スライスヘッダ内にRPSシンタックスを含むが、RPSシンタックスはRPS導出に使用されず、むしろ、すべてのRPSサブセットが空であるとして導出される。
[0175]一部の例は、BLCLピクチャのコード化スライスを含む(ビットストリーム内で関連付けられる先行ピクチャのあるBLCピクチャ、たとえば、nal_unit_type=3)。BLCNLピクチャと比較して、ビットストリーム内でBLCLピクチャに関連付けられる先行ピクチャがある。
[0176]一部の例は、CRANLピクチャのコード化スライスを含む(ビットストリーム内で関連付けられる先行ピクチャのないCRA、たとえば、nal_unit_type=15)。BLCNLピクチャのコード化スライスと比較して、CRANLピクチャのコード化スライスは、スライスヘッダ内にRPSシンタックスを含み、RPSシンタックスはRPS導出に使用される。
[0177]一部の例は、CRALピクチャのコード化スライスを含む(ビットストリーム内で関連付けられる先行ピクチャのあるCRAピクチャ、たとえば、nal_unit_type=4)。CRANLピクチャと比較して、ビットストリーム内でCRALピクチャに関連付けられる先行ピクチャがある。
[0178]一部の例は、TLANLピクチャのコード化スライスを含む(LFRピクチャではないTLAピクチャ、たとえば、nal_unit_type=16)。一部の例は、TLALピクチャのコード化スライスを含む(LPRピクチャでもあるTLAピクチャ、たとえば、nal_unit_type=17)。一部の例は、NSPピクチャのコード化スライスを含む(上記のいずれでもない、ナッシングスペシャルプレーンピクチャ、nal_unit_type=1)。
[0179]各BLCピクチャ(BLCLまたはBLCNL)ピクチャのスライスデータを復号する前に、復号ピクチャバッファ(DPB)内のすべての参照ピクチャは、上記で説明されたように、デコーダ30によって「参照のために使用されない」としてマーキングされなければならない。これが実施されたときにのみ、ビットストリームの始まりにあるCRAピクチャの先行ピクチャに対する、HEVC WD6において現在規定されているものとしての現行の復号プロセスが、BLAピクチャが空間分解能を変化させるか否かにかかわらず、BLAピクチャの先行ピクチャのためにデコーダ30によって直接適用され得る。
[0180]上記がなく、BLAピクチャが空間分解能を変化させない場合、ビットストリームの始まりにあるCRAピクチャの先行ピクチャに対する、HEVC WD6において現在規定されているものとしての現行の復号プロセスが、BLAピクチャの先行ピクチャのためにデコーダ30によって直接適用され得る。しかしながら、BLAピクチャが空間分解能を変化させる場合、この状況は、現在のピクチャおよび現在のピクチャの参照ピクチャによって空間分解能が異なると考えられ得るため、ビットストリームの始まりにあるCRAピクチャの先行ピクチャに対する、HEVC WD6において現在規定されているものとしての現行の復号プロセスは、BLAピクチャの先行ピクチャのために直接適用され得ない。
[0181]各BLAピクチャのスライスデータを復号する前に、DPB内のすべての参照ピクチャが「参照のために使用されない」としてマーキングされることを保証するための1つの方法は、スライスヘッダ内のRPSシグナリングが空でないRPSを示すか否かにかかわらず、各BLAピクチャのRPSを空であるものとして導出することである。たとえば、ピクチャがBLAである場合、たとえRPSがある場合であっても、ビデオデコーダ30は、これをオーバライド(override)してRPSを空であるものとして導出または処理し得る。
[0182]実際、スライスヘッダにおけるRPSシグナリングが、BLAピクチャまたはCRA(CRALまたはCRANL)ピクチャについて空のRPSを示す場合、ピクチャはIDRピクチャとしてコーディングされているはずである。
[0183]いくつかの例では、RAPピクチャは、Iスライスのみを含むコード化ピクチャとして定義され得る。RAPピクチャについて、復号順序と出力順序の両方におけるRAPピクチャの後続のすべてのコード化ピクチャは、復号順序または出力順序のいずれかにおいてRAPピクチャの前にくる任意のピクチャからのインター予測を使用しない。加えて、復号順序においてRAPピクチャの前にくる任意のピクチャの出力は、RAPピクチャの出力に先行し得る。
[0184]復号順序においてRAPピクチャの前にくる任意のピクチャの出力がRAPピクチャの出力に先行すべきであることを保証するための1つの方法は、ビデオエンコーダ20が、上記で説明されたように、たとえば、ビデオデコーダ30に送信されるコード化ビットストリーム内で、1に等しいno_output_of_prior_pics_flagを設定することである。別の例では、ビデオデコーダ30が、BLAピクチャについてno_output_of_prior_pics_flagが(その値にかかわらず)1に等しいと推定してもよい。このように、スプライシングされるビットストリームにおいてBLAピクチャのより前にあるピクチャのPOC値がBLAピクチャのPOC値よりも大きい、BLAピクチャにおけるスプライシング動作が可能にされる。特に、BLAピクチャのPOC値がそのPOC LSBに等しいものとして導出される(0に等しいPOC MSBを仮定することによって)場合、上記は容易に起こり得る。これを保証するための別の方法は、復号順序においてBLAピクチャの前にくるピクチャの出力時点が、BLAピクチャの出力時点よりも早いことを確実にすることである。
[0185]一部の例は、ビデオエンコーダ20および/またはビットストリームスプライサが、本明細書に説明されているいずれの方法を使用するかを決定することを可能にする。したがって、たとえば、ビデオエンコーダ20は、一部の例ではBLAピクチャのスライスヘッダ内にno_output_of_prior_pics_flagを含み得る。他の例では、ビデオエンコーダ20は、ビデオデコーダ30にあるバッファに記憶されているピクチャが参照に使用され得るか否かを示すNALユニットタイプを含んでもよい。したがって、ビデオデコーダ30は、たとえば、そのようなピクチャを復号に使用する結果としてピクチャが不正確に復号されることになるとき、ピクチャを参照のために使用されないものとしてマーキングし得る。
[0186]ネットワーク要素によってCRAをBLAピクチャに単純に書き換えることを可能にするために、CRAピクチャのスライスヘッダ内にno_output_of_prior_pics_flagを置くことに加えて、no_output_of_prior_pics_flagはまた、スライスヘッダ内に可能な限り早期に含まれ得る。これは、上記で説明されたように、任意のエントロピーコード化スライスヘッダパラメータの前、たとえば、一部の例におけるfirst_slice_in_pic_flagの直後であり得る。
[0187]一例では、2つの連続するBLAピクチャは同じPOC LSBを有し、それらは、random_access_pic_id(またはrap_pic_idに改称されている)によってしか区別することが可能でない。したがって、rap_pic_idに固定長コーディングを使用し、スライスヘッダ内で相対的に早期に、好ましくは任意のエントロピーコード化スライシングヘッダパラメータの後でなく、たとえば、たとえばCRAピクチャとBLAピクチャの両方のfirst_slice_in_pic_flagおよびno_output_of_prior_pics_flagの直後に、rap_pic_idを置くことが好ましい場合がある。ピクチャ境界検出に使用され得る他のスライスヘッダシンタックス要素、たとえば、pic_parameter_set_id、およびPOC LSB(すなわち、pic_order_cnt_lsb)は同様であり得る。
[0188]特定のタイプ(たとえば、SPS)またはすべてのタイプのすべてのパラメータセットが、ビットストリームの始まりに存在し得る、すなわち、ビットストリーム内の最初のアクセスユニットに含まれ得る。そうである場合、特定のタイプのすべてのパラメータセットをフェッチして、これらを帯域外で送ることが簡便である。たとえば、コーダは、セッションネゴシエーション中に使用されるセッション記述プロトコル(SDP)パラメータ内に含み得る。それゆえ、エンコーダが、特定のタイプまたはすべてのタイプのすべてのパラメータセットがビットストリームの始まりに存在するという指示をビットストリーム内に含むことが有益であり得る。この指示は、SEIメッセージ、アクセスユニットデリミタ、またはパラメータセットに含まれてもよい。たとえば、すべてのSPS(またはPPSもしくはAPS)がビットストリームの始まりに存在することを示すために、SPS、ピクチャパラメータセット(PPS)、または適応パラメータセット(APS)に明確なNALユニットタイプが使用され得る。
[0189]シンタックス要素slice_typeは、スライスを含むピクチャがIDRピクチャ、CRAピクチャ、またはBLAピクチャであることをNALユニットタイプが示すか否かに基づいて、条件付きでスライスヘッダ内に存在し得る。たとえば、スライスを含むピクチャがIDRピクチャ、CRAピクチャ、またはBLAピクチャであることをNALユニットタイプが示す場合、slice_typeはスライスヘッダ内に存在しない。そうでない場合、エンコーダはslice_typeをスライスヘッダに挿入する。存在しないとき、slice_typeの値は、スライスがIスライスであることを示す。
[0190]図10は、本開示で説明される1つまたは複数の例による、スライスを復号するための例示的な方法を示す流れ図である。一例では、ビデオデコーダ30は、ビデオデータを復号し得、これは、ビデオデータのシーケンスの、復号されるべき現在のピクチャのスライスを受信することを含む(1000)。ビデオデコーダ30は、スライスのスライスヘッダ内で、少なくとも1つのエントロピーコード化シンタックス要素、および、少なくとも1つの非エントロピーコード化シンタックス要素を受信し得る。非エントロピーコード化シンタックス要素は、スライスヘッダ内でエントロピーコード化シンタックス要素の前にあり得る。加えて、非エントロピーコード化シンタックス要素は、復号順序において現在のピクチャの前にくるピクチャが、出力されることなくピクチャ記憶バッファから捨てられるべきであるか否かを示し得る(1002)。一例では、シンタックス要素はno_output_of_prior_pics_flagであってもよい。no_output_of_prior_pics_flagは、たとえば、復号順序において現在のピクチャの前にくるピクチャが、出力されることなくピクチャ記憶バッファから捨てられるべきである場合を示すために、「1」に設定され得る。ビデオデコーダ30は、非エントロピーコード化シンタックス要素に基づいてスライスを復号し得る(1004)。
[0191]図11は、本開示で説明される1つまたは複数の例による、スライスを符号化するための例示的な方法を示す流れ図である。エンコーダ20は、ビデオデータを符号化し得る。ビデオエンコーダ20は、ビデオデータのシーケンスの、現在のピクチャのスライスを符号化し得る(1100)。
[0192]ビデオエンコーダ20は、スライスのスライスヘッダ中で、少なくとも1つのエントロピー符号化シンタックス要素と少なくとも1つの非エントロピーコード化シンタックス要素とを符号化し、ここで、非エントロピー符号化シンタックス要素は、スライスヘッダ中でエントロピー符号化シンタックス要素の前にあり、復号順序において現在のピクチャより前のピクチャが出力されることなくピクチャ記憶バッファから捨てられるべきか否かを示す(1102)。一例では、シンタックス要素はno_output_of_prior_pics_flagであってもよい。no_output_of_prior_pics_flagは、たとえば、復号順序において現在のピクチャの前にくるピクチャが、出力されることなくピクチャ記憶バッファから出されるべきである場合を示すために、「1」に設定され得る。
[0193]図12は、本開示において説明されているように、ビデオデータを処理するための例示的な技法を示す流れ図である。図12の技法は、ビデオデコーダ30、ネットワークエンティティ29、ルーティングデバイス104、トランスコーディングデバイス106または何らかの他のそのようなビデオ処理デバイスのような、ビデオ処理デバイスによって実行され得る。ビデオ処理デバイスは、ビデオデータ中でNALユニットを受信し(1210)、第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出することができる(1220)。NALユニットタイプは、ブロークンリンクピクチャが先頭ピクチャのあるブロークンリンクピクチャを備えることを示すNALユニットタイプであり得、または、NALユニットタイプは、ブロークンリンクピクチャが先頭ピクチャのないブロークンリンクピクチャを備えることを示す異なるNALユニットタイプであり得る。ビデオ処理エンティティは、NALユニット内のビデオビットストリームデータのシンタックス要素のエントロピー復号を実行することなく、ブロークンリンクピクチャを検出することができる。
[0194]検出されたNALユニットのタイプに基づいて、ビデオ処理デバイスは、様々な動作のうちの1つまたは複数を実行し得る。たとえば、MANEは、NALユニットタイプに基づいてNALユニットに関する1つまたは複数のルーティング決定を行い得る。一例として、ビデオ処理デバイスがMANEである場合、ビデオ処理デバイスは、NALユニットが先行ピクチャのあるブロークンリンクピクチャを示すのに応答して、先行ピクチャを破棄して先行ピクチャのないNALユニットを送信し得る。NALユニットが先行ピクチャのないブロークンリンクピクチャを示す場合、ビデオ処理デバイスは、任意の先行ピクチャを破棄する必要なしにNALユニットを送信することができる。MANEは、たとえば、場合によっては1つまたは複数のルーティングデバイスを介して、ビデオデコーダにNALユニットを送信し得る。
[0195]たとえば、ビデオ処理デバイスがMANEとは対照的にビデオデコーダである場合、ビデオデコーダは、様々な異なる動作のうちの1つまたは複数を実行し得る。たとえば、ブロークンリンクピクチャの検出に応答して、ビデオデコーダは、ビデオデータの1つまたは複数の新たなパラメータセットをアクティブにし得る。
[0196]1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアにおいて実装される場合、機能は、1つもしくは複数の命令もしくはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、データ記憶媒体または通信媒体のような有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、全般に、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
[0197]さらに他の例では、本開示は、その上に記憶されたデータ構造を備えるコンピュータ可読媒体を企図し、データ構造は本開示に一致する符号化ビットストリームを含む。特に、データ構造は、本明細書において説明されているNALユニット設計を含み得る。
[0198]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMもしくは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。同様に、いかなる接続も適切にコンピュータ可読媒体と称される。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
[0199]命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)または他の等しい統合されているか個別の論理回路など1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される場合、「プロセッサ」という用語は、前述の構造、または本明細書で説明される技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、一部の態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のハードウェアおよび/もしくはソフトウェアモジュール内に与えられてよく、または複合コーデックに組み込まれてよい。また、本技法は、1つまたは複数の回路または論理要素中で完全に実装され得る。
[0200]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために、様々なコンポーネント、モジュール、またはユニットが説明されたが、それらのコンポーネント、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明されたように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上で説明された1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられてよく、または相互動作するハードウェアユニットの集合によって与えられてよい。
[0201]様々な例が説明された。これらおよび他の例は添付の特許請求の範囲内に入る。
[0201]様々な例が説明された。これらおよび他の例は添付の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]ビデオデータを処理するための方法であって、
前記ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信することと、
前記第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出することと、
を備える方法。
[2] 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのあるブロークンリンクピクチャを検出することを備える、[1]に記載の方法。
[3] 前記先行ピクチャを破棄することと、
前記第1のNALユニットをビデオ処理デバイスに送信することと、
をさらに備える、[2]に記載の方法。
[4] 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのないブロークンリンクピクチャを検出することを備える、[1]に記載の方法。
[5] 前記第1のNALユニットをビデオ処理デバイスに送信することと、
をさらに備える、[4]に記載の方法。
[6] 第2のNALユニットを受信することと、
前記第2のNALユニットについてNALユニットタイプを決定することと、
前記第2のNALユニットについての前記NALユニットタイプに基づいて、先行ピクチャのあるブロークンリンクピクチャを検出することと、ここで前記第2のNALユニットについての前記NALユニットタイプは前記第1のNALユニットタイプとは異なる、
をさらに備える、[4]に記載の方法。
[7] 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、復号可能な先行ピクチャのあるブロークンリンクピクチャを検出することを備える、[1]に記載の方法。
[8] 前記方法はビデオ処理エンティティによって実行され、前記ビデオ処理エンティティは、前記NALユニット内のビデオビットストリームデータのシンタックス要素のエントロピー復号を実行することなく前記ブロークンリンクピクチャを検出する、[1]に記載の方法。
[9] ブロークンリンクピクチャの検出に応答して、前記ビデオデータをコーディングするための1つまたは複数の新たなパラメータセットをアクティブにすることをさらに備える、[1]に記載の方法。
[10] 前記1つまたは複数の新たなパラメータセットは、適応パラメータセット(APS)、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)のうちの1つまたは複数を備える、[9]に記載の方法。
[11] 前記1つまたは複数のパラメータセットの1つに対する識別情報(ID)が、前に復号されたピクチャのアクティブなパラメータセットと同じである、[9]に記載の方法。
[12] 前記方法は、ビデオデコーダによって実行される、[1]に記載の方法。
[13] 前記方法は、メディアアウェアネットワーク要素(MANE)によって実行される、[1]に記載の方法。
[14] ビデオデータを処理するための方法であって、
前記ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信することと、
前記NALユニットがブロークンリンクピクチャを備えると決定することと、
前記NALユニットについてのNALユニットタイプを、前記NALユニットが前記ブロークンリンクピクチャを備えることを示すNALユニットタイプに設定することと、
を備える方法。
[15] 前記NALユニットが前記ブロークンリンクピクチャを備えると決定することは、前記NALユニットが先行ピクチャのあるブロークンリンクピクチャを備えると決定することを備え、前記NALユニットタイプは、前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えることを示す、[14]に記載の方法。
[16] 前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定することは、前記NALユニットが復号可能な先行ピクチャのあるブロークンリンクピクチャを備えると決定することを備え、前記第1のNALユニットタイプは、前記NALユニットが前記復号可能な先行ピクチャのあるブロークンリンクピクチャを備えることを示す、[15]に記載の方法。
[17] 前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定することは、前記NALユニットが復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えると決定することを備え、前記第1のNALユニットタイプは、前記NALユニットが前記復号可能なまたは復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えることを示す、[15]に記載の方法。
[18] 前記NALユニットが前記ブロークンリンクピクチャを備えると決定することは、前記NALユニットが先行ピクチャのないブロークンリンクピクチャを備えると決定することを備え、前記第1のNALユニットタイプは、前記NALユニットが前記先行ピクチャのないブロークンリンクピクチャを備えることを示す、[14]に記載の方法。
[19] ビデオデータを処理するためのデバイスであって、
前記ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信することと、
前記第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出することと、
を行うように構成されている1つまたは複数のプロセッサを備える、デバイス。
[20] 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのあるブロークンリンクピクチャを検出することを備える、[19]に記載のデバイス。
[21] 前記1つまたは複数のプロセッサは、
前記先行ピクチャを破棄することと、
前記第1のNALユニットをビデオ処理デバイスに送信することと、
を行うようにさらに構成されている、[20]に記載のデバイス。
[22] 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのないブロークンリンクピクチャを検出することを備える、[19]に記載のデバイス。
[23] 前記1つまたは複数のプロセッサは、
前記第1のNALユニットをビデオ処理デバイスに送信することを行うようにさらに構成されている、[22]に記載のデバイス。
[24] 前記1つまたは複数のプロセッサは、
第2のNALユニットを受信することと、
前記第2のNALユニットについてNALユニットタイプを決定することと、
前記第2のNALユニットについての前記NALユニットタイプに基づいて、先行ピクチャのあるブロークンリンクピクチャを検出することと、ここで前記第2のNALユニットの前記NALユニットタイプは前記第1のNALユニットタイプとは異なる、
を行うようにさらに構成されている、[22]に記載のデバイス。
[25] 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、復号可能な先行ピクチャのあるブロークンリンクピクチャを検出することを備える、[19]に記載のデバイス。
[26] 前記デバイスはビデオ処理エンティティを備え、前記ビデオ処理エンティティは、前記NALユニット内のビデオビットストリームデータのシンタックス要素のエントロピー復号を実行することなく前記ブロークンリンクピクチャを検出するように構成されている、[19]に記載のデバイス。
[27] 前記1つまたは複数のプロセッサは、
ブロークンリンクピクチャの検出に応答して、前記ビデオデータをコーディングするための1つまたは複数の新たなパラメータセットをアクティブにするようにさらに構成されている、[19]に記載のデバイス。
[28] 前記1つまたは複数の新たなパラメータセットは、適応パラメータセット(APS)、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)のうちの1つまたは複数を備える、[27]に記載のデバイス。
[29] 前記1つまたは複数のパラメータセットの1つに対する識別情報(ID)は、前に復号されたピクチャのアクティブなパラメータセットと同じである、[27]に記載のデバイス。
[30] 前記デバイスはビデオデコーダを備える、[19]に記載のデバイス。
[31] 前記デバイスは、メディアアウェアネットワーク要素(MANE)を備える、[19]に記載のデバイス。
[32] 前記デバイスは、
集積回路、
マイクロプロセッサ、および
ビデオデコーダを備えるワイヤレス通信デバイス
のうちの少なくとも1つを備える、[19]に記載のデバイス。
[33] ビデオデータを処理するためのデバイスであって、
前記ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信することと、
前記NALユニットがブロークンリンクピクチャを備えると決定することと、
前記NALユニットについてのNALユニットタイプを、前記NALユニットが前記ブロークンリンクピクチャを備えることを示すNALユニットタイプに設定することと、
を行うように構成されている1つまたは複数のプロセッサを備える、デバイス。
[34] 前記1つまたは複数のプロセッサは、前記NALユニットが先行ピクチャのあるブロークンリンクピクチャを備えると決定することによって、前記NALユニットが前記ブロークンリンクピクチャを備えると決定するように構成され、前記NALユニットタイプは、前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えることを示す、[33]に記載のデバイス。
[35] 前記1つまたは複数のプロセッサは、前記NALユニットが復号可能な先行ピクチャのあるブロークンリンクピクチャを備えると決定することによって、前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定するように構成され、前記第1のNALユニットタイプは、前記NALユニットが前記復号可能な先行ピクチャのあるブロークンリンクピクチャを備えることを示す、[34]に記載のデバイス。
[36] 前記1つまたは複数のプロセッサは、前記NALユニットが復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えると決定することによって、前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定するように構成され、前記第1のNALユニットタイプは、前記NALユニットが前記復号可能なまたは復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えることを示す、[34]に記載のデバイス。
[37] 前記1つまたは複数のプロセッサは、前記NALユニットが先行ピクチャのないブロークンリンクピクチャを備えると決定することによって、前記NALユニットが前記ブロークンリンクピクチャを備えると決定するように構成され、前記第1のNALユニットタイプは、前記NALユニットが前記先行ピクチャのないブロークンリンクピクチャを備えることを示す、[33]に記載のデバイス。
[38] ビデオデータを処理するためのデバイスであって、
前記ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信する手段と、
前記第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出する手段と、
を備えるデバイス。
[39] ビデオデータを処理するためのデバイスであって、
前記ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信する手段と、
前記NALユニットがブロークンリンクピクチャを備えると決定する手段と、
前記NALユニットについてのNALユニットタイプを、前記NALユニットが前記ブロークンリンクピクチャを備えることを示すNALユニットタイプに設定する手段と、
を備えるデバイス。
[40] 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
前記ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信することと、
前記第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出することと、
を行わせる命令を記憶するコンピュータ可読記憶媒体。
[41] 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
前記ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信することと、
前記NALユニットがブロークンリンクピクチャを備えると決定することと、
前記NALユニットについてのNALユニットタイプを、前記NALユニットが前記ブロークンリンクピクチャを備えることを示すNALユニットタイプに設定することと、
を行わせる命令を記憶するコンピュータ可読記憶媒体。

Claims (41)

  1. ビデオデータを処理するための方法であって、
    前記ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信することと、
    前記第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出することと、
    を備える方法。
  2. 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのあるブロークンリンクピクチャを検出することを備える、請求項1に記載の方法。
  3. 前記先行ピクチャを破棄することと、
    前記第1のNALユニットをビデオ処理デバイスに送信することと、
    をさらに備える、請求項2に記載の方法。
  4. 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのないブロークンリンクピクチャを検出することを備える、請求項1に記載の方法。
  5. 前記第1のNALユニットをビデオ処理デバイスに送信することと、
    をさらに備える、請求項4に記載の方法。
  6. 第2のNALユニットを受信することと、
    前記第2のNALユニットについてNALユニットタイプを決定することと、
    前記第2のNALユニットについての前記NALユニットタイプに基づいて、先行ピクチャのあるブロークンリンクピクチャを検出することと、ここで前記第2のNALユニットについての前記NALユニットタイプは前記第1のNALユニットタイプとは異なる、
    をさらに備える、請求項4に記載の方法。
  7. 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、復号可能な先行ピクチャのあるブロークンリンクピクチャを検出することを備える、請求項1に記載の方法。
  8. 前記方法はビデオ処理エンティティによって実行され、前記ビデオ処理エンティティは、前記NALユニット内のビデオビットストリームデータのシンタックス要素のエントロピー復号を実行することなく前記ブロークンリンクピクチャを検出する、請求項1に記載の方法。
  9. ブロークンリンクピクチャの検出に応答して、前記ビデオデータをコーディングするための1つまたは複数の新たなパラメータセットをアクティブにすることをさらに備える、請求項1に記載の方法。
  10. 前記1つまたは複数の新たなパラメータセットは、適応パラメータセット(APS)、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)のうちの1つまたは複数を備える、請求項9に記載の方法。
  11. 前記1つまたは複数のパラメータセットの1つに対する識別情報(ID)が、前に復号されたピクチャのアクティブなパラメータセットと同じである、請求項9に記載の方法。
  12. 前記方法は、ビデオデコーダによって実行される、請求項1に記載の方法。
  13. 前記方法は、メディアアウェアネットワーク要素(MANE)によって実行される、請求項1に記載の方法。
  14. ビデオデータを処理するための方法であって、
    前記ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信することと、
    前記NALユニットがブロークンリンクピクチャを備えると決定することと、
    前記NALユニットについてのNALユニットタイプを、前記NALユニットが前記ブロークンリンクピクチャを備えることを示すNALユニットタイプに設定することと、
    を備える方法。
  15. 前記NALユニットが前記ブロークンリンクピクチャを備えると決定することは、前記NALユニットが先行ピクチャのあるブロークンリンクピクチャを備えると決定することを備え、前記NALユニットタイプは、前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えることを示す、請求項14に記載の方法。
  16. 前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定することは、前記NALユニットが復号可能な先行ピクチャのあるブロークンリンクピクチャを備えると決定することを備え、前記第1のNALユニットタイプは、前記NALユニットが前記復号可能な先行ピクチャのあるブロークンリンクピクチャを備えることを示す、請求項15に記載の方法。
  17. 前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定することは、前記NALユニットが復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えると決定することを備え、前記第1のNALユニットタイプは、前記NALユニットが前記復号可能なまたは復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えることを示す、請求項15に記載の方法。
  18. 前記NALユニットが前記ブロークンリンクピクチャを備えると決定することは、前記NALユニットが先行ピクチャのないブロークンリンクピクチャを備えると決定することを備え、前記第1のNALユニットタイプは、前記NALユニットが前記先行ピクチャのないブロークンリンクピクチャを備えることを示す、請求項14に記載の方法。
  19. ビデオデータを処理するためのデバイスであって、
    前記ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信することと、
    前記第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出することと、
    を行うように構成されている1つまたは複数のプロセッサを備える、デバイス。
  20. 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのあるブロークンリンクピクチャを検出することを備える、請求項19に記載のデバイス。
  21. 前記1つまたは複数のプロセッサは、
    前記先行ピクチャを破棄することと、
    前記第1のNALユニットをビデオ処理デバイスに送信することと、
    を行うようにさらに構成されている、請求項20に記載のデバイス。
  22. 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのないブロークンリンクピクチャを検出することを備える、請求項19に記載のデバイス。
  23. 前記1つまたは複数のプロセッサは、
    前記第1のNALユニットをビデオ処理デバイスに送信することを行うようにさらに構成されている、請求項22に記載のデバイス。
  24. 前記1つまたは複数のプロセッサは、
    第2のNALユニットを受信することと、
    前記第2のNALユニットについてNALユニットタイプを決定することと、
    前記第2のNALユニットについての前記NALユニットタイプに基づいて、先行ピクチャのあるブロークンリンクピクチャを検出することと、ここで前記第2のNALユニットの前記NALユニットタイプは前記第1のNALユニットタイプとは異なる、
    を行うようにさらに構成されている、請求項22に記載のデバイス。
  25. 前記NALユニットタイプは第1のNALユニットタイプであり、前記ブロークンリンクピクチャを検出することは、復号可能な先行ピクチャのあるブロークンリンクピクチャを検出することを備える、請求項19に記載のデバイス。
  26. 前記デバイスはビデオ処理エンティティを備え、前記ビデオ処理エンティティは、前記NALユニット内のビデオビットストリームデータのシンタックス要素のエントロピー復号を実行することなく前記ブロークンリンクピクチャを検出するように構成されている、請求項19に記載のデバイス。
  27. 前記1つまたは複数のプロセッサは、
    ブロークンリンクピクチャの検出に応答して、前記ビデオデータをコーディングするための1つまたは複数の新たなパラメータセットをアクティブにするようにさらに構成されている、請求項19に記載のデバイス。
  28. 前記1つまたは複数の新たなパラメータセットは、適応パラメータセット(APS)、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)のうちの1つまたは複数を備える、請求項27に記載のデバイス。
  29. 前記1つまたは複数のパラメータセットの1つに対する識別情報(ID)は、前に復号されたピクチャのアクティブなパラメータセットと同じである、請求項27に記載のデバイス。
  30. 前記デバイスはビデオデコーダを備える、請求項19に記載のデバイス。
  31. 前記デバイスは、メディアアウェアネットワーク要素(MANE)を備える、請求項19に記載のデバイス。
  32. 前記デバイスは、
    集積回路、
    マイクロプロセッサ、および
    ビデオデコーダを備えるワイヤレス通信デバイス
    のうちの少なくとも1つを備える、請求項19に記載のデバイス。
  33. ビデオデータを処理するためのデバイスであって、
    前記ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信することと、
    前記NALユニットがブロークンリンクピクチャを備えると決定することと、
    前記NALユニットについてのNALユニットタイプを、前記NALユニットが前記ブロークンリンクピクチャを備えることを示すNALユニットタイプに設定することと、
    を行うように構成されている1つまたは複数のプロセッサを備える、デバイス。
  34. 前記1つまたは複数のプロセッサは、前記NALユニットが先行ピクチャのあるブロークンリンクピクチャを備えると決定することによって、前記NALユニットが前記ブロークンリンクピクチャを備えると決定するように構成され、前記NALユニットタイプは、前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えることを示す、請求項33に記載のデバイス。
  35. 前記1つまたは複数のプロセッサは、前記NALユニットが復号可能な先行ピクチャのあるブロークンリンクピクチャを備えると決定することによって、前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定するように構成され、前記第1のNALユニットタイプは、前記NALユニットが前記復号可能な先行ピクチャのあるブロークンリンクピクチャを備えることを示す、請求項34に記載のデバイス。
  36. 前記1つまたは複数のプロセッサは、前記NALユニットが復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えると決定することによって、前記NALユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定するように構成され、前記第1のNALユニットタイプは、前記NALユニットが前記復号可能なまたは復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えることを示す、請求項34に記載のデバイス。
  37. 前記1つまたは複数のプロセッサは、前記NALユニットが先行ピクチャのないブロークンリンクピクチャを備えると決定することによって、前記NALユニットが前記ブロークンリンクピクチャを備えると決定するように構成され、前記第1のNALユニットタイプは、前記NALユニットが前記先行ピクチャのないブロークンリンクピクチャを備えることを示す、請求項33に記載のデバイス。
  38. ビデオデータを処理するためのデバイスであって、
    前記ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信する手段と、
    前記第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出する手段と、
    を備えるデバイス。
  39. ビデオデータを処理するためのデバイスであって、
    前記ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信する手段と、
    前記NALユニットがブロークンリンクピクチャを備えると決定する手段と、
    前記NALユニットについてのNALユニットタイプを、前記NALユニットが前記ブロークンリンクピクチャを備えることを示すNALユニットタイプに設定する手段と、
    を備えるデバイス。
  40. 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
    前記ビデオデータの一部を備える第1のネットワーク抽象レイヤ(NAL)ユニットを受信することと、
    前記第1のNALユニットのNALユニットタイプに基づいて、ブロークンリンクピクチャを検出することと、
    を行わせる命令を記憶するコンピュータ可読記憶媒体。
  41. 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
    前記ビデオデータの一部を備えるネットワーク抽象レイヤ(NAL)ユニットを受信することと、
    前記NALユニットがブロークンリンクピクチャを備えると決定することと、
    前記NALユニットについてのNALユニットタイプを、前記NALユニットが前記ブロークンリンクピクチャを備えることを示すNALユニットタイプに設定することと、
    を行わせる命令を記憶するコンピュータ可読記憶媒体。
JP2015507047A 2012-04-20 2013-04-09 ストリーム適応およびスプライシングに対するサポートが強化されたビデオコーディング Active JP6284924B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261636566P 2012-04-20 2012-04-20
US61/636,566 2012-04-20
US201261643100P 2012-05-04 2012-05-04
US61/643,100 2012-05-04
US201261667371P 2012-07-02 2012-07-02
US61/667,371 2012-07-02
US13/797,458 US9979959B2 (en) 2012-04-20 2013-03-12 Video coding with enhanced support for stream adaptation and splicing
US13/797,458 2013-03-12
PCT/US2013/035809 WO2013158415A1 (en) 2012-04-20 2013-04-09 Video coding with enhanced support for stream adaptation and splicing

Publications (3)

Publication Number Publication Date
JP2015517277A true JP2015517277A (ja) 2015-06-18
JP2015517277A5 JP2015517277A5 (ja) 2016-05-12
JP6284924B2 JP6284924B2 (ja) 2018-02-28

Family

ID=49380095

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015507047A Active JP6284924B2 (ja) 2012-04-20 2013-04-09 ストリーム適応およびスプライシングに対するサポートが強化されたビデオコーディング
JP2015507060A Active JP6234997B2 (ja) 2012-04-20 2013-04-11 ビデオシーケンスにおけるランダムアクセスポイントピクチャのための復号ピクチャバッファ処理
JP2015507061A Active JP6664959B2 (ja) 2012-04-20 2013-04-11 リンク破損ピクチャを有するビデオシーケンス中の参照ピクチャのマーキング

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2015507060A Active JP6234997B2 (ja) 2012-04-20 2013-04-11 ビデオシーケンスにおけるランダムアクセスポイントピクチャのための復号ピクチャバッファ処理
JP2015507061A Active JP6664959B2 (ja) 2012-04-20 2013-04-11 リンク破損ピクチャを有するビデオシーケンス中の参照ピクチャのマーキング

Country Status (24)

Country Link
US (3) US9979959B2 (ja)
EP (3) EP2839642B1 (ja)
JP (3) JP6284924B2 (ja)
KR (3) KR102061378B1 (ja)
CN (3) CN104272745B (ja)
AU (2) AU2013249666B2 (ja)
BR (2) BR112014026026B1 (ja)
CA (2) CA2868521C (ja)
DK (3) DK2839642T3 (ja)
ES (3) ES2750175T3 (ja)
HK (2) HK1201113A1 (ja)
HU (3) HUE045842T2 (ja)
IL (2) IL234834B (ja)
MY (2) MY168214A (ja)
PH (2) PH12014502202B1 (ja)
PL (1) PL2839643T3 (ja)
PT (2) PT2839644T (ja)
RU (2) RU2630173C2 (ja)
SG (4) SG11201405987WA (ja)
SI (3) SI2839642T1 (ja)
TR (1) TR201815255T4 (ja)
UA (2) UA116775C2 (ja)
WO (3) WO2013158415A1 (ja)
ZA (1) ZA201408512B (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT3091744T (pt) 2011-06-30 2017-08-31 ERICSSON TELEFON AB L M (publ) Sinalização de imagem de referência
US9351016B2 (en) 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US20130272619A1 (en) * 2012-04-13 2013-10-17 Sharp Laboratories Of America, Inc. Devices for identifying a leading picture
US9979959B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
EP2842323A1 (en) * 2012-04-24 2015-03-04 Telefonaktiebolaget LM Ericsson (Publ) Identifying a parameter set for decoding a multi-layer video representation
PL2865177T3 (pl) 2012-06-25 2019-03-29 Huawei Technologies Co., Ltd. Sposób sygnalizowania obrazu stopniowego dostępu do warstwy czasowej
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Nttドコモ 動画像予測復号装置、方法及びプログラム
US9479776B2 (en) 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
KR102139660B1 (ko) 2012-07-03 2020-07-31 삼성전자주식회사 시간적 스케일러빌러티를 갖는 비디오 부호화 방법 및 장치, 시간적 스케일러빌러티를 갖는 비디오 복호화 방법 및 장치
CN107820089B (zh) 2012-07-10 2020-05-19 索尼公司 图像解码装置、图像编码装置及图像编码方法
JP2014039252A (ja) * 2012-08-10 2014-02-27 Panasonic Corp 画像復号方法および画像復号装置
US9992490B2 (en) * 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
KR20140043239A (ko) * 2012-09-27 2014-04-08 한국전자통신연구원 계층간 전환을 이용한 영상 부호화/복호화 방법 및 그 장치
JP6094126B2 (ja) * 2012-10-01 2017-03-15 富士通株式会社 動画像復号装置
US10419778B2 (en) 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
US10219006B2 (en) 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
CN105684441B (zh) 2013-10-25 2018-09-21 微软技术许可有限责任公司 视频和图像编码中的基于散列的块匹配
EP3061233B1 (en) 2013-10-25 2019-12-11 Microsoft Technology Licensing, LLC Representing blocks with hash values in video and image coding and decoding
KR102212211B1 (ko) 2014-01-03 2021-02-04 삼성전자주식회사 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
US10547834B2 (en) * 2014-01-08 2020-01-28 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
WO2015115644A1 (ja) * 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
KR102185245B1 (ko) * 2014-03-04 2020-12-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반 블록 매칭을 위한 해시 테이블 구성 및 이용가능성 검사
CN105706450B (zh) * 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
MX2017004210A (es) 2014-09-30 2017-11-15 Microsoft Technology Licensing Llc Decisiones de codificador basadas en hash para codificar video.
EP3198867A4 (en) * 2014-10-31 2018-04-04 MediaTek Inc. Method of improved directional intra prediction for video coding
KR102131142B1 (ko) 2015-01-29 2020-07-07 브이아이디 스케일, 인크. 인트라-블록 카피 검색
CN107409236B (zh) * 2015-02-05 2020-09-08 思科技术公司 一种用于处理视频流的方法、系统和存储介质
WO2016133440A1 (en) * 2015-02-19 2016-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Methods, encoder and decoder for coding of video sequences
CN104768011B (zh) * 2015-03-31 2018-03-06 浙江大学 图像编解码方法和相关装置
US10148983B2 (en) * 2015-09-25 2018-12-04 Qualcomm Incorporated Methods and systems of improved video stream switching and random access
US10063861B2 (en) * 2015-10-07 2018-08-28 Qualcomm Incorporated Methods and systems of performing predictive random access using a background picture
US20170105004A1 (en) * 2015-10-07 2017-04-13 Qualcomm Incorporated Methods and systems of coding a predictive random access picture using a background picture
US10097608B2 (en) * 2015-12-26 2018-10-09 Intel Corporation Technologies for wireless transmission of digital media
US10356800B2 (en) * 2016-05-09 2019-07-16 Qualcomm Incorporated Scalable numerology with symbol boundary alignment for uniform and non-uniform symbol duration in wireless communication
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
GB2594615B (en) * 2017-03-20 2022-11-30 Canon Kk Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
CN107194961B (zh) * 2017-05-19 2020-09-22 西安电子科技大学 群体图像编码中多参考图像的确定方法
CN117294837A (zh) 2018-04-02 2023-12-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
CN111972037A (zh) 2018-04-05 2020-11-20 瑞典爱立信有限公司 多级副链路控制信息
CN110401622B (zh) * 2018-04-25 2022-04-29 中国移动通信有限公司研究院 一种语音质量评估方法、装置、电子设备和存储介质
CN109739667B (zh) * 2019-01-10 2021-04-02 广州方硅信息技术有限公司 一种消息的消费方法、装置及设备
US11889118B2 (en) * 2019-02-24 2024-01-30 Sharp Kabushiki Kaisha Systems and methods for signaling types of pictures and associated information in video coding
CN114026863A (zh) * 2019-06-24 2022-02-08 交互数字Vc控股公司 使用高级语法元素发信号通知解码数据的方法和装置
CN110446047A (zh) * 2019-08-16 2019-11-12 苏州浪潮智能科技有限公司 视频码流的解码方法及装置
KR20220114557A (ko) 2019-12-26 2022-08-17 바이트댄스 아이엔씨 코딩된 픽처 내에서 디코딩 순서를 구현하기 위한 기술들
KR20220156831A (ko) 2020-03-20 2022-11-28 바이트댄스 아이엔씨 서브픽처의 레퍼런스 픽처 목록에 대한 제약
KR20230002395A (ko) * 2020-04-20 2023-01-05 바이트댄스 아이엔씨 레퍼런스 픽처 목록에 대한 제약
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
US11962936B2 (en) * 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams
WO2024030279A1 (en) * 2022-08-01 2024-02-08 Innopeak Technology, Inc. Encoding method, decoding method, encoder and decoder

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013153830A1 (en) * 2012-04-13 2013-10-17 Sharp Kabushiki Kaisha Devices for identifying a leading picture
WO2013158670A1 (en) * 2012-04-16 2013-10-24 Microsoft Corporation Constraints and unit types to simplify video random access

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US62009A (en) * 1867-02-12 Charles t
JP3358835B2 (ja) * 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
US5515107A (en) 1994-03-30 1996-05-07 Sigma Designs, Incorporated Method of encoding a stream of motion picture data
EP1439704A3 (en) 1997-03-17 2011-08-10 Panasonic Corporation Method and apparatus for processing, transmitting and receiving dynamic image data
WO1999018720A1 (en) 1997-10-03 1999-04-15 Sony Corporation Encoded stream splicing device and method, and an encoded stream generating device and method
JPH11177921A (ja) 1997-12-11 1999-07-02 Sony Corp ディジタルデータ編集方法、ディジタルデータ編集装置
JP3380763B2 (ja) 1998-01-23 2003-02-24 松下電器産業株式会社 画像処理方法
US7236526B1 (en) * 1999-02-09 2007-06-26 Sony Corporation Coding system and its method, coding device and its method, decoding device and its method, recording device and its method, and reproducing device and its method
EP1670260A3 (en) 2002-01-23 2010-03-03 Nokia Corporation Grouping of image frames in video coding
MXPA05000559A (es) 2002-07-15 2005-04-19 Nokia Corp Metodo para ocultamiento de errores en secuencias de video.
US7953194B2 (en) 2002-09-27 2011-05-31 Broadcom Corporation Handling video transition errors in video on demand streams
JP3513148B1 (ja) * 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
CN1739299A (zh) 2003-01-20 2006-02-22 松下电器产业株式会社 图像编码方法
US8194751B2 (en) 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
WO2004080083A1 (ja) 2003-03-03 2004-09-16 Matsushita Electric Industrial Co., Ltd. 画像符号化方法および画像復号化方法
US7724818B2 (en) 2003-04-30 2010-05-25 Nokia Corporation Method for coding sequences of pictures
EP1496707A1 (en) 2003-07-09 2005-01-12 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images with delayed reference picture refresh
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7609762B2 (en) 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7466984B2 (en) 2004-02-19 2008-12-16 Research In Motion Limited Apparatus, and associated method, for improvement in facilitating routing of data by a mobile node operable in a packet radio communication system
CA2542266C (en) 2004-04-28 2012-07-17 Matsushita Electric Industrial Co. Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
DE602005026277D1 (de) * 2004-06-02 2011-03-24 Panasonic Corp Bildcodierungsvorrichtung und bilddecodierungsvorrichtung
JP4617773B2 (ja) 2004-08-23 2011-01-26 ソニー株式会社 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム
US8050328B2 (en) 2005-01-17 2011-11-01 Panasonic Corporation Image decoding method
US20070030894A1 (en) 2005-08-03 2007-02-08 Nokia Corporation Method, device, and module for improved encoding mode control in video encoding
JP5275810B2 (ja) * 2005-12-07 2013-08-28 トムソン ライセンシング 基準フレームの選択ルールを使用したビデオエラー隠蔽の方法及び装置
GB0600141D0 (en) 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
JP2007214814A (ja) 2006-02-08 2007-08-23 Sony Corp 復号化方法、復号化プログラムおよび復号化装置
EP2005752A4 (en) 2006-03-30 2010-06-09 Lg Electronics Inc METHOD AND APPARATUS FOR DECODING / ENCODING A VIDEO SIGNAL
JP2008010110A (ja) 2006-06-30 2008-01-17 Sony Corp ファイル分割装置、ファイル分割方法及びファイル分割プログラム
US8559510B2 (en) 2006-08-10 2013-10-15 Canon Kabushiki Kaisha Image decoding apparatus
CA2858458C (en) 2006-10-16 2019-04-16 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
WO2008084443A1 (en) 2007-01-09 2008-07-17 Nokia Corporation System and method for implementing improved decoded picture buffer management for scalable video coding and multiview video coding
CN101257624B (zh) 2007-02-27 2011-08-24 华为技术有限公司 实现随机访问的方法及解码器
US8958486B2 (en) * 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
EP2048886A1 (en) 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US8107754B2 (en) 2007-12-07 2012-01-31 Mediatek Inc. Systems and methods for randomly accessing compressed images
US20110090921A1 (en) 2008-07-01 2011-04-21 Shemimon Manalikudy Anthru Network abstraction layer (nal)-aware multiplexer
JP2010041354A (ja) 2008-08-05 2010-02-18 Victor Co Of Japan Ltd 動画像符号化方法、符号化装置及び符号化プログラム
US20100098156A1 (en) 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
US8750632B2 (en) 2008-12-26 2014-06-10 JVC Kenwood Corporation Apparatus and method for encoding images from multiple viewpoints and associated depth information
JP5574345B2 (ja) 2009-03-26 2014-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法、エラー検出方法、復号方法、符号化装置、エラー検出装置及び復号装置
JP5227875B2 (ja) 2009-04-06 2013-07-03 株式会社日立製作所 動画像符号化装置
KR20120027194A (ko) 2009-04-21 2012-03-21 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
US20110222837A1 (en) 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
WO2012011860A1 (en) 2010-07-21 2012-01-26 Telefonaktiebolaget L M Ericsson (Publ) Picture coding and decoding
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
JP5341952B2 (ja) * 2011-05-30 2013-11-13 株式会社東芝 ビデオサーバ及びデータ収録再生方法
RU2581566C2 (ru) 2011-06-30 2016-04-20 Телефонактиеболагет Л М Эрикссон (Пабл) Сигнализация опорного изображения
PT3091744T (pt) 2011-06-30 2017-08-31 ERICSSON TELEFON AB L M (publ) Sinalização de imagem de referência
US20140169449A1 (en) 2011-07-05 2014-06-19 Telefonaktiebolaget L M Ericsson (Publ) Reference picture management for layered video
US9277228B2 (en) 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
KR20170005464A (ko) 2011-08-30 2017-01-13 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
CN103907347B (zh) * 2011-08-31 2018-01-30 诺基亚技术有限公司 多视图视频编码和解码
ES2625097T3 (es) 2011-09-07 2017-07-18 Sun Patent Trust Método de codificación de imágenes y aparato de codificación de imágenes
JP5932811B2 (ja) 2011-09-19 2016-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像復号方法、及び画像復号装置
MX346477B (es) 2011-10-28 2017-03-22 Samsung Electronics Co Ltd Método para inter-predicción y dispositivo para el mismo, y método para compensación de movimiento y dispositivo para el mismo.
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
US20130272619A1 (en) * 2012-04-13 2013-10-17 Sharp Laboratories Of America, Inc. Devices for identifying a leading picture
US9979959B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
US9319679B2 (en) 2012-06-07 2016-04-19 Qualcomm Incorporated Signaling data for long term reference pictures for video coding
US9332255B2 (en) 2012-06-28 2016-05-03 Qualcomm Incorporated Signaling long-term reference pictures for video coding
WO2014006854A1 (en) 2012-07-01 2014-01-09 Sharp Kabushiki Kaisha Device for signaling a long-term reference picture in a parameter set
US9479776B2 (en) 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
US20140301477A1 (en) 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013153830A1 (en) * 2012-04-13 2013-10-17 Sharp Kabushiki Kaisha Devices for identifying a leading picture
WO2013158670A1 (en) * 2012-04-16 2013-10-24 Microsoft Corporation Constraints and unit types to simplify video random access

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
GARY J. SULLIVAN: "CRA pictures with broken links", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-I0404, JPN6017002197, 17 April 2012 (2012-04-17), pages 1 - 2 *
GARY J. SULLIVAN: "CRA pictures with broken links", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-I0404_r1, JPN6016019354, April 2012 (2012-04-01), pages 1 - 3 *
HENDRY AND BYEONG MOON JEON: "AHG 9: On random access point NAL units", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-K0166_r1, JPN6017002194, October 2012 (2012-10-01), pages 1 - 8 *
HENDRY ET AL.: "Random Access Detection and Notification", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-G159_r1, JPN6017002202, November 2011 (2011-11-01), pages 1 - 6 *
SACHIN DESHPANDE AND ANDREW SEGALL: "On Leading Pictures", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-I0275, JPN6017002199, 17 April 2012 (2012-04-17), pages 1 - 3 *
SACHIN DESHPANDE AND LOUIS KEROFSKY: "Signaling of CRA Pictures", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-I0278, JPN6017002196, 17 April 2012 (2012-04-17), pages 1 - 4 *
SANDEEP KANUMURI AND GARY J. SULLIVAN: "Refinement of random access point support", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-J0344, JPN6016019346, July 2012 (2012-07-01), pages 1 - 3 *
YE-KUI WANG ET AL.: "AHG9: On RAP pictures", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-J0107, JPN6016019351, July 2012 (2012-07-01), pages 1 - 7 *
YE-KUI WANG ET AL.: "On bitstreams starting with CRA pictures", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-H0496r2, JPN6016002285, February 2012 (2012-02-01), pages 1 - 6 *

Also Published As

Publication number Publication date
HUE041322T2 (hu) 2019-05-28
RU2014146588A (ru) 2016-06-10
HK1201113A1 (en) 2015-08-21
PH12014502201A1 (en) 2014-12-10
US20130279564A1 (en) 2013-10-24
WO2013158415A1 (en) 2013-10-24
JP6234997B2 (ja) 2017-11-22
PT2839643T (pt) 2018-12-19
MY170383A (en) 2019-07-27
RU2630181C2 (ru) 2017-09-05
WO2013158461A1 (en) 2013-10-24
WO2013158462A1 (en) 2013-10-24
KR102115051B1 (ko) 2020-05-25
US10051264B2 (en) 2018-08-14
AU2013249619A1 (en) 2014-10-30
ZA201408512B (en) 2019-09-25
US20130279599A1 (en) 2013-10-24
PT2839644T (pt) 2018-12-04
JP2015517278A (ja) 2015-06-18
EP2839642A1 (en) 2015-02-25
UA116775C2 (uk) 2018-05-10
AU2013249619B2 (en) 2017-06-15
CN104272745B (zh) 2018-06-15
CA2868529A1 (en) 2013-10-24
ES2701786T3 (es) 2019-02-25
BR112014026135A2 (pt) 2017-06-27
HUE040542T2 (hu) 2019-03-28
SG10201608770QA (en) 2016-12-29
CN104247430A (zh) 2014-12-24
US20130279575A1 (en) 2013-10-24
EP2839644B1 (en) 2018-08-29
DK2839643T3 (da) 2019-01-02
KR102115050B1 (ko) 2020-05-25
US9979958B2 (en) 2018-05-22
EP2839644A1 (en) 2015-02-25
PH12014502202A1 (en) 2014-12-10
CN104272746A (zh) 2015-01-07
DK2839642T3 (da) 2019-10-14
EP2839642B1 (en) 2019-07-24
PL2839643T3 (pl) 2019-03-29
JP6664959B2 (ja) 2020-03-13
DK2839644T3 (en) 2018-12-10
SG11201405987WA (en) 2014-11-27
RU2630173C2 (ru) 2017-09-05
SI2839643T1 (sl) 2019-01-31
AU2013249666B2 (en) 2017-06-15
CA2868521A1 (en) 2013-10-24
UA115982C2 (uk) 2018-01-25
IL234836B (en) 2018-11-29
PH12014502202B1 (en) 2014-12-10
JP2015517279A (ja) 2015-06-18
KR102061378B1 (ko) 2019-12-31
EP2839643B1 (en) 2018-09-12
RU2014146625A (ru) 2016-06-10
KR20150008136A (ko) 2015-01-21
BR112014026026A8 (pt) 2021-06-22
IL234834A0 (en) 2014-12-31
SG11201406007VA (en) 2014-11-27
CN104272746B (zh) 2018-01-23
IL234834B (en) 2019-11-28
BR112014026135B1 (pt) 2023-03-14
BR112014026026A2 (pt) 2017-06-27
KR20150013547A (ko) 2015-02-05
SI2839642T1 (sl) 2019-09-30
ES2699656T3 (es) 2019-02-12
EP2839643A1 (en) 2015-02-25
AU2013249666A1 (en) 2014-10-30
MY168214A (en) 2018-10-15
PH12014502201B1 (en) 2014-12-10
BR112014026135A8 (pt) 2021-06-22
KR20150013546A (ko) 2015-02-05
HK1201663A1 (en) 2015-09-04
US9979959B2 (en) 2018-05-22
SI2839644T1 (sl) 2018-12-31
SG10201608666QA (en) 2016-12-29
HUE045842T2 (hu) 2020-01-28
JP6284924B2 (ja) 2018-02-28
BR112014026026B1 (pt) 2023-03-14
ES2750175T3 (es) 2020-03-25
CA2868521C (en) 2020-03-10
CA2868529C (en) 2019-05-07
TR201815255T4 (tr) 2018-11-21
CN104272745A (zh) 2015-01-07
CN104247430B (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
JP6284924B2 (ja) ストリーム適応およびスプライシングに対するサポートが強化されたビデオコーディング
US9479776B2 (en) Signaling of long-term reference pictures for video coding
JP2015517278A5 (ja)
US9525883B2 (en) Cross-layer alignment of intra random access point pictures
JP2015534773A (ja) 誤り耐性のある復号単位関連付け
US20140010277A1 (en) Supplemental enhancement information (sei) messages having a fixed-length coded video parameter set (vps) id
US9686542B2 (en) Network abstraction layer header design

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180131

R150 Certificate of patent or registration of utility model

Ref document number: 6284924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250