JP2016519853A - レイヤ間参照ピクチャセットの復号および参照ピクチャリスト構築 - Google Patents

レイヤ間参照ピクチャセットの復号および参照ピクチャリスト構築 Download PDF

Info

Publication number
JP2016519853A
JP2016519853A JP2015545211A JP2015545211A JP2016519853A JP 2016519853 A JP2016519853 A JP 2016519853A JP 2015545211 A JP2015545211 A JP 2015545211A JP 2015545211 A JP2015545211 A JP 2015545211A JP 2016519853 A JP2016519853 A JP 2016519853A
Authority
JP
Japan
Prior art keywords
layer
inter
picture
maximum number
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015545211A
Other languages
English (en)
Other versions
JP2016519853A5 (ja
Inventor
サーチン ジー. デシュパンダ
サーチン ジー. デシュパンダ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/857,990 external-priority patent/US9532067B2/en
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2016519853A publication Critical patent/JP2016519853A/ja
Publication of JP2016519853A5 publication Critical patent/JP2016519853A5/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Abstract

ビデオ符号化の方法を記載する。レイヤ間予測のためのサブレイヤの最大数のシグナリングが得られる。サブレイヤ非参照ピクチャも得られる。サブレイヤ非参照ピクチャの時間識別子の値が、レイヤ間予測のためのサブレイヤの最大数マイナス1より大きいかどうかが判断される。サブレイヤ非参照ピクチャの時間識別子の値が、レイヤ間予測のためのサブレイヤの最大数マイナス1より大きい場合、サブレイヤ非参照ピクチャは「参照に使用されない」ものとしてマークされる。一部のケースでは、サブレイヤ非参照ピクチャも得られる。サブレイヤ非参照ピクチャの時間識別子の値が、レイヤ間予測のためのサブレイヤの最大数より大きいかどうかが判断される。サブレイヤ非参照ピクチャの時間識別子の値がレイヤ間予測のためのサブレイヤの最大数より大きい場合、サブレイヤ非参照ピクチャは「参照に使用されない」ものとしてマークされる。

Description

関連出願の相互参照
なし。
技術分野
本開示は、一般に電子デバイスに関する。特に、本開示は、レイヤ間参照ピクチャセットの復号および参照ピクチャリスト構築のためのシステムおよび方法に関する。
電子デバイスは、消費者のニーズを満たし、携帯性および利便性を高めるために、より小型で強力になっている。消費者は、電子デバイスに依存するようになり、機能性の増大を期待するようになっている。電子デバイスの例には、デスクトップコンピュータ、ラップトップコンピュータ、携帯電話、スマートフォン、メディアプレーヤ、集積回路などが含まれる。
一部の電子デバイスは、デジタルメディアを処理および表示するために用いられる。例えば、携帯式電子デバイスは、現在では消費者がいるほぼどこからでもデジタルメディアを消費することを可能にする。さらに、一部の電子デバイスは、消費者にデジタルメディアコンテンツのダウンロードまたはストリーミングを利用および享受させることができる。
デジタルメディアの人気の高まりにより、いくつかの問題が生じている。例えば、高品質デジタルメディアを格納、伝送および再生のために効率的に表現するには、いくつかの課題がある。この議論から分かるように、デジタルメディアをより効率的に表現するシステムおよび方法が有益であろう。
本発明の以上およびその他の目的、特徴および利点は、本発明の以下の詳細な説明を添付の図面に関連して考慮すれば、より容易に理解されるであろう。
本発明の一実施形態は、ビデオ符号化の方法であって、レイヤ間予測のためのサブレイヤの最大数のシグナリングを得るステップと;レイヤ間参照ピクチャセット(RPS;reference picture set)の復号処理を開始するステップと;レイヤ間ピクチャの時間識別子の値を得るステップと;時間識別子の値がレイヤ間予測のためのサブレイヤの最大数マイナス1より大きいかどうかを判断するステップと;レイヤ間ピクチャの時間識別子の値がレイヤ間予測のためのサブレイヤの最大数マイナス1より大きくない場合、レイヤ間ピクチャをレイヤ間参照ピクチャセット(RPS)に追加するステップとを含む、方法を開示する。
本発明のもう一つの実施形態は、ビデオ符号化のために構成される電子デバイスであって、プロセッサと;プロセッサと電子通信するメモリであって、メモリに格納された命令は、レイヤ間予測のためのサブレイヤの最大数のシグナリングを得;レイヤ間参照ピクチャセット(RPS)の復号処理を開始し;レイヤ間ピクチャの時間識別子の値を得;時間識別子の値がレイヤ間予測のためのサブレイヤの最大数マイナス1より大きいかどうかを判断し;レイヤ間ピクチャの時間識別子の値がレイヤ間予測のためのサブレイヤの最大数マイナス1より大きくない場合、レイヤ間ピクチャをレイヤ間参照ピクチャセット(RPS)に追加するために実行可能であるメモリとを含む、電子デバイスを開示する。
複数の電子デバイス間のビデオ符号化を示したブロック図である。 本システムおよび方法に用いられるピクチャマーキングモジュールを示したブロック図である。 サブレイヤ非参照ピクチャをマークする方法を示したフロー図である。 本システムおよび方法を用いて「参照に使用されない」ものとしてマークされる追加のピクチャを示したブロック図である。 レイヤ間参照ピクチャセット(RPS)アップデートモジュールを示したブロック図である。 レイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)をアップデートする方法を示したフロー図である。 電子デバイス上のエンコーダの一構成を示したブロック図である。 電子デバイス上のデコーダの一構成を示したブロック図である。 伝送電子デバイスにおいて利用される様々な構成要素を示した図である。 受信電子デバイスにおいて利用される様々な構成要素を示したブロック図である。
ビデオ符号化の方法が開示される。レイヤ間予測のためのサブレイヤの最大数のシグナリングが得られる。レイヤ間参照ピクチャセット(RPS)の復号処理が開始される。レイヤ間ピクチャの時間識別子の値が得られる。時間識別子の値がレイヤ間予測のためのサブレイヤの最大数マイナス1より大きいかどうかが判断される。レイヤ間ピクチャの時間識別子の値がレイヤ間予測のためのサブレイヤの最大数マイナス1より大きくない場合、レイヤ間ピクチャはレイヤ間参照ピクチャセット(RPS)に追加される。
レイヤ間参照ピクチャセット(RPS)は、参照ピクチャリストの構築に使用される。レイヤ間ピクチャは、対象レイヤ(現在のレイヤ)のダイレクト参照レイヤであるレイヤに対応するレイヤ識別子値を含んでもよい。レイヤ間ピクチャは、対象ピクチャのピクチャオーダーカウントと等しいピクチャオーダーカウントを含んでもよい。レイヤ間予測のためのサブレイヤの最大数の値がゼロであり、レイヤ間ピクチャが非RAP(random access point,ランダムアクセスポイント)ピクチャである場合、レイヤ間ピクチャは、レイヤ間参照ピクチャセット(RPS)に追加されない。レイヤ間予測のためのサブレイヤの最大数の値がゼロであり、レイヤ間ピクチャがランダムアクセスポイント(RAP)ピクチャである場合、レイヤ間ピクチャは、レイヤ間参照ピクチャセット(RPS)に追加されてもよい。
レイヤ間予測のためのサブレイヤの最大数は、[LayderIdInVps[RefLayerId[LayerIdInVps[nuh_layer_id]][i]]]のインデックスを有してもよい。レイヤ間予測のためのサブレイヤの最大数は、代わりに[RefLayerId[LayerIdInVps[nuh_layer_id]][i]]のインデックスを有してもよい。レイヤ間予測のためのサブレイヤの最大数は、[layer_id_in_nuh[RefLayerId[LayerIdInVps[nuh_layer_id]][i]]]のインデックスも有してもよい。レイヤ間予測のためのサブレイヤの最大数は、[layer_id_in_nuh[i]]のインデックスをさらに有してもよい。
レイヤ間予測のためのサブレイヤの最大数は、[i]のインデックスを有してもよい。レイヤ間参照ピクチャのリストRefPicSetInterLayerは、[NumInterLayerRPSPics[LayerIdInVps[nuh_layer_id]]]のインデックスを有してもよい。NumInterLayerRPSPics[LayerIdInVps[nuh_layer_id]]は、NumDirectRefLayers[LayerIdInVps[nuh_layer_id]]と異なるものとして導出されてもよい。
ビデオ符号化のために構成された電子デバイスも開示される。電子デバイスは、プロセッサと、プロセッサと電子通信するメモリとを含む。メモリに格納された命令は、レイヤ間予測のためのサブレイヤの最大数のシグナリングを得るために実行可能である。メモリに格納された命令は、レイヤ間参照ピクチャセット(RPS)の復号処理を開始するためにも実行可能である。メモリに格納された命令は、レイヤ間ピクチャの時間識別子の値を得るためにさらに実行可能である。メモリに格納された命令は、時間識別子の値がレイヤ間予測のためのサブレイヤの最大数マイナス1より大きいかどうかを判断するためにも実行可能である。メモリに格納された命令は、レイヤ間ピクチャの時間識別子の値がレイヤ間予測のためのサブレイヤの最大数マイナス1より大きくない場合に、レイヤ間ピクチャをレイヤ間参照ピクチャセット(RPS)に追加するためにさらに実行可能である。
次に、図面を参照して様々な構成を記載するが、図面中、同様の参照番号は機能的に類似した要素を示す。本明細書において図面に一般的に記載され、説明されるシステムおよび方法は、多種多様に異なった構成に配置および設計されてもよい。したがって、図面に表現されるいくつかの構成の以下のさらに詳細な記載は、特許請求の範囲を限定するものではなく、システムおよび方法を単に代表するに過ぎない。
図1は、複数の電子デバイス102a‐b間のビデオ符号化を示したブロック図である。第一の電子デバイス102aおよび第二の電子デバイス102bが示されている。しかし、第一の電子デバイス102aおよび第二の電子デバイス102bに関して記載された特徴および機能の一つ以上が、一部の構成では一つの電子デバイス102に組み合わせられることに注意しなければならない。各電子デバイス102は、ビデオを符号化および/またはビデオを復号するために構成されてもよい。一構成では、各電子デバイスは、高効率ビデオ符号化(HEVC;High Efficiency Video Coding)規格に準拠してもよい。HEVC規格は、H.264/MPEG‐4AVC(Advanced Video Coding)の後継として機能し、ビデオ品質の改善およびデータ圧縮率の向上を提供するビデオ圧縮規格である。HEVC規格に準拠する電子デバイス102は、追加のピクチャマーキング能力、レイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120アップデート能力および参照ピクチャリスト構築能力を含んでもよい。本明細書において用いられるところのピクチャは、モノクロフォーマットの輝度サンプル配列、または4:2:0、4:2:2および4:4:4カラーフォーマットの輝度サンプル配列ならびに二つの対応する色差サンプル配列である。
第一の電子デバイス102aは、エンハンスメントレイヤエンコーダ106とベースレイヤエンコーダ109とを含むビデオエンコーダ182を含んでもよい。エンハンスメントレイヤエンコーダ106およびベースレイヤエンコーダ109は、図7に関連して以下でさらに詳述する。第一の電子デバイス102a内に含まれる各要素(すなわちエンハンスメントレイヤエンコーダ106およびベースレイヤエンコーダ109)は、ハードウェア、ソフトウェア、または両者の組み合わせにおいて実装されてもよい。第一の電子デバイス102aは、入力ピクチャ104を得ることができる。一部の構成では、入力ピクチャ104は、イメージセンサを用いて第一の電子デバイス102aに取り込まれ、メモリから読み出され、または別の電子デバイス102から受信されてもよい。一構成では、ビデオエンコーダ182は、スケーラブル高効率ビデオ(SHVC;scalable high efficiency video)規格またはマルチビュー高効率ビデオ符号化(MV‐HEVC;Multi‐View high efficiency video coding)規格に準拠してもよい。
エンハンスメントレイヤエンコーダ106は、入力ピクチャ104を符号化して、符号化データを生成することができる。例えば、エンハンスメントレイヤエンコーダ106は、一連の入力ピクチャ104(例えばビデオ)を符号化することができる。一構成では、エンハンスメントレイヤエンコーダ106は、高効率ビデオ符号化(HEVC)エンコーダであればよい。別の構成では、エンハンスメントレイヤエンコーダ106は、スケーラブル高効率ビデオ(SHVC)エンコーダまたはマルチビュー高効率ビデオ符号化(MV‐HEVC)エンコーダであってもよい。符号化データは、符号化エンハンスメントレイヤビデオビットストリーム110に含まれてもよい。エンハンスメントレイヤエンコーダ106は、入力ピクチャ104に基づいてオーバーヘッドシグナリングを発生させる。
ベースレイヤエンコーダ109は、入力ピクチャ104を符号化してもよい。一構成では、エンハンスメントレイヤエンコーダ106により使用される同じ入力ピクチャ104が、ベースレイヤエンコーダ109によって用いられてもよい。別の構成では、エンハンスメントレイヤエンコーダ106により使用される入力ピクチャ104とは異なる(が類似の)入力ピクチャが、ベースレイヤエンコーダ109により用いられてもよい。例えば、信号対雑音比(SNR)スケーラビリティ(品質スケーラビリティとも呼ばれる)のために、同じ入力ピクチャ104が、エンハンスメントレイヤエンコーダ106およびベースレイヤエンコーダ109により用いられてもよい。別の例としては、空間スケーラビリティのために、ダウンサンプリングされたピクチャが、ベースレイヤエンコーダ109により用いられてもよい。さらに別の例では、マルチビュースケーラビリティのために、ベースレイヤエンコーダ109により異なるビューのピクチャが用いられてもよい。ベースレイヤエンコーダ109は、符号化ベースレイヤビデオビットストリーム107に含まれる符号化データを生成することができる。ベースレイヤエンコーダ109は、スケーラブル高効率ビデオ(SHVC)エンコーダまたはマルチビュー高効率ビデオ符号化(MV‐HEVC)エンコーダであってもよい。
符号化エンハンスメントレイヤビデオビットストリーム110および符号化ベースレイヤビデオビットストリーム107はそれぞれ、入力ピクチャ104に基づく符号化データを含んでもよい。一例では、符号化エンハンスメントレイヤビデオビットストリーム110および符号化ベースレイヤビデオビットストリーム107は、符号化ピクチャーデータを含んでもよい。一部の構成では、符号化エンハンスメントレイヤビデオビットストリーム110および/または符号化ベースレイヤビデオビットストリーム107は、シーケンスパラメータセット(SPS)情報、ピクチャパラメータセット(PPS)情報、ビデオパラメータセット(VPS)情報、スライスヘッダ情報等のオーバーヘッドデータも含んでもよい。
第一の電子デバイス102aは、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)108を第二の基地局102bに供給してもよい。レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)108は、VPS拡張シンタクス構造において(すなわちJCTVC‐L1008のセクションF.7.4.3.1に定義されたビデオパラメータセットのローバイトシーケンスペイロード(RBSP;raw byte sequence payload)のセマンティクスを用いて)シグナリングされてもよい。
レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)108は、符号化ベースレイヤビデオビットストリーム107または符号化エンハンスメントレイヤビデオビットストリーム110でシグナリングされればよい。一構成では、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)108は、シーケンスパラメータセット(SPS)情報、ピクチャパラメータセット(PPS)情報、ビデオパラメータセット(VPS)情報、スライスヘッダ情報等のオーバーヘッドデータにおいて、第二の電子デバイス102bに供給されてもよい。別の構成では、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)108は、別個の「メタデータ」ビットストリームまたはファイルにおいて、第二の電子デバイス102bに供給されてもよい。
レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)108は、ピクチャを「参照に使用されない」ものとしてマークするかどうかを判断するために、第二の電子デバイス102bにより用いられてもよい。レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)108は、ピクチャをレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加するためにも、第二の電子デバイス102bにより用いられてもよい。RefPicSetInterLayerは、レイヤ間参照ピクチャのリストを示す。レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)108はさらに、参照ピクチャリスト(RefPicList0、RefPicList1)を構築するために、第二の電子デバイス102bにより用いられてもよい。
符号化エンハンスメントレイヤビデオビットストリーム110は、第二の電子デバイス102bに供給されてもよい。同様に、符号化ベースレイヤビデオビットストリーム107も、第二の電子デバイス102bに供給されてもよい。第二の電子デバイス102bは、ビデオデコーダ112とベースレイヤデコーダ113とを含んでもよい。ビデオデコーダ112は、エンハンスメントレイヤデコーダ115を含んでもよい。一構成では、符号化ベースレイヤビデオビットストリーム107は、ベースレイヤデコーダ113により復号される一方で、符号化エンハンスメントレイヤビデオビットストリーム110は、エンハンスメントレイヤデコーダ115により復号される。ベースレイヤデコーダ113およびエンハンスメントレイヤデコーダ115は、図8に関連して以下でさらに詳述する。一構成では、ビデオデコーダ112は、スケーラブル高効率ビデオ符号化(SHVC)規格に準拠してもよい。別の構成では、ビデオデコーダ112は、マルチビュー高効率ビデオ符号化(MV‐HEVC)規格に準拠してもよい。ベースレイヤデコーダ113およびエンハンスメントレイヤデコーダ115は、それぞれ高効率ビデオ符号化(HEVC)デコーダであってもよい。ベースレイヤデコーダ112およびエンハンスメントレイヤデコーダ115は、スケーラブル高効率ビデオ符号化(SHVC)デコーダまたはマルチビュー高効率ビデオ符号化(MV‐HEVC)デコーダであってもよい。
一例では、符号化エンハンスメントレイヤビデオビットストリーム110および符号化ベースレイヤビデオビットストリーム107は、ワイヤードまたはワイヤレスリンクを用いて第二の電子デバイス102bに伝送されてもよい。これは場合によっては、インターネット、ローカルエリアネットワーク(LAN)またはデバイス間で通信するためのその他のタイプのネットワーク等のネットワークを通じて行われてもよい。一部の構成では、エンコーダ(すなわちエンハンスメントレイヤエンコーダ106およびベースレイヤエンコーダ109)ならびにデコーダ112(例えばビデオデコーダ112、ベースレイヤデコーダ113およびエンハンスメントレイヤデコーダ115)が、同じ電子デバイス102に実装されてもよい(すなわち第一の電子デバイス102aおよび第二の電子デバイス102bは、一つの電子デバイス102の一部であってもよい)ことに注意しなければならない。エンコーダおよびデコーダが同じ電子デバイス102に実装される実施態様では、例えば、符号化エンハンスメントレイヤビデオビットストリーム110および符号化ベースレイヤビデオビットストリーム107は、様々な方法でビデオデコーダ112に利用可能にされる。例えば、符号化エンハンスメントレイヤビデオビットストリーム110および符号化ベースレイヤビデオビットストリーム107は、バスを通じてビデオデコーダ112に供給されてもよいし、またはビデオデコーダ112による読み出しのためにメモリに格納されてもよい。
ビデオデコーダ112(例えばベースレイヤデコーダ113およびエンハンスメントレイヤデコーダ115)は、ハードウェア、ソフトウェアまたは両者の組み合わせにおいて実装されてもよい。一構成では、ビデオデコーダ112は、HEVCデコーダでもよい。ビデオデコーダ112は、符号化エンハンスメントレイヤビデオビットストリーム110および符号化ベースレイヤビデオビットストリーム107を得る(例えば受信する)ことができる。それからビデオデコーダ112は、符号化エンハンスメントレイヤビデオビットストリーム110および符号化ベースレイヤビデオビットストリーム107に基づいて、一つ以上の復号ピクチャ116を発生させてもよい。復号ピクチャ116は、表示され、再生され、メモリに格納され、および/または別のデバイスに伝送等される。
ビデオデコーダ112は、ピクチャマーキングモジュール114を含んでもよい。ピクチャマーキングモジュール114は、いくつかのピクチャを「参照に使用されない」ものとしてマークしてもよい。「参照に使用されない」ものとしてマークされたピクチャは、インター予測またはレイヤ間予測のための参照ピクチャとして用いられない。追加のピクチャを「参照に使用されない」ものとしてマークする一つの利点は、復号ピクチャバッファ(DPB;decoded picture buffer)のサイズ/メモリが削減されることである。ピクチャマーキングモジュール114は、図2〜4に関連して以下でさらに詳述する。
ビデオデコーダ112は、レイヤ間参照ピクチャセット(RPS)アップデートモジュール118も含んでもよい。レイヤ間参照ピクチャセット(RPS)アップデートモジュール118は、レイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120をアップデートするために、ビデオデコーダ112により用いられてもよい。例えば、レイヤ間参照ピクチャセット(RPS)アップデートモジュール118は、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)108のシグナリングを利用して、レイヤ間ピクチャがレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されるかどうかを判断してもよい。レイヤ間参照ピクチャセット(RPS)アップデートモジュール118は、図5〜6に関連して以下でさらに詳述する。
一部の構成では、第二の電子デバイス102bは、復号ピクチャ116を出力してもよい。一例では、復号ピクチャ116は、別のデバイスに伝送され、または再び第一の電子デバイス102aへと伝送されてもよい。復号ピクチャ116は、第二の電子デバイス102bに格納または別途維持されてもよい。別の例では、第二の電子デバイス102bが、復号ピクチャ116を表示してもよい。他の構成では、復号ピクチャ116は、ビットストリーム110に対して行われる符号化および他の操作に基づいて異なった性質を有する、入力ピクチャ104の要素を含んでもよい。一部の構成では、復号ピクチャ116は、入力ピクチャ104とは異なる解像度、フォーマット、規格またはその他の属性を有するピクチャストリームに含まれてもよい。
ビットストリーム110は、介在デバイス(図示せず)により、第一の電子デバイス102aから第二の電子デバイス102bへ中継されてもよい。例えば、介在デバイスが第一の電子デバイス102aからビットストリーム110を受信し、ビットストリーム110を第二の電子デバイス102bに中継してもよい。
電子デバイス(単数または複数)102に含まれる要素またはその部分の一つ以上は、ハードウェアにおいて実装されることにも注意しなければならない。例えば、これらの要素またはその部分の一つ以上は、チップ、回路またはハードウェアコンポーネントなどとして実装されてもよい。本明細書に記載される機能または方法は、ハードウェアで実装され、および/またはハードウェアを用いて行われてもよい。例えば、本明細書に記載される方法の一つ以上は、チップセット、特定用途向け集積回路(ASIC;application specific integrated circuit)、大規模集積回路(LSI;large‐scale integrated circuit)または集積回路などで実装され、および/またはそれらを用いて実現されてもよい。
図2は、本発明のシステムおよび方法に用いられるピクチャマーキングモジュール214を示したブロック図である。図2のピクチャマーキングモジュール214は、図1のピクチャマーキングモジュール114の一構成であってもよい。ピクチャマーキングモジュール214は、電子デバイス102のビデオデコーダ112の一部とすることができる。
ピクチャマーキングモジュール214は、サブレイヤ非参照ピクチャ222を含んでもよい。本明細書において用いられるところの、スケーラブルレイヤの時間サブセットは、レイヤではなくサブレイヤまたは時間サブレイヤと呼ばれる。サブレイヤは、特定の時間識別子の値を有するビデオ符号化レイヤ(VCL;video coding layer)ネットワーク抽象化レイヤ(NAL;network abstraction layer)ユニットおよび関連する非VCL NALユニットを含む、時間スケーラブルビットストリームの時間スケーラブルレイヤである。サブレイヤ非参照ピクチャ222は、同じサブレイヤの復号順で後続するピクチャの復号処理におけるインター予測のために使用されることができないサンプルを含むピクチャである。サブレイヤ非参照ピクチャ222のサンプルは、上位のサブレイヤの復号順で後続するピクチャの復号処理におけるインター予測のために使用されてもよい。
サブレイヤ非参照ピクチャ222は、第一の電子デバイス102aからビットストリーム110を介して受信されてもよい。各サブレイヤ非参照ピクチャ222は、時間識別子(TemporalId)224を含んでもよい。ピクチャマーキングモジュール214は、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208も含んでもよい。場合によっては、レイヤ間予測のためのサブレイヤの最大数208は、max_sublayer_for_ilp_plus1に等しい代わりに、max_sublayer_for_ilp_plus1−1に等しくてもよい。また、様々なシンタクス要素およびそのセマンティクスは、(加算の)プラス1またはプラス2を含むことにより、または(減算の)マイナス1またはマイナス2を含むことにより、本明細書に記載されたシンタクスおよびセマンティクスと比較して変更されてもよい。各レイヤにつき、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208の1つの値が送信されてもよい。したがって、max_sublayer_for_ilp_plus1[i]は、0からvps_max_layers_minus1までとなる。JCTVC_L0449は、表1に示されるレイヤ間予測のためのサブレイヤと様々なレイヤのランダムアクセスポイント(RAP)ピクチャとの使用をシグナリングするためのシンタクスおよびセマンティクスを定義する:
本明細書で用いられるところの、ランダムアクセスは、ストリームの最初以外のポイントでビットストリームの復号処理を開始する動作である。そのような復号は、典型的にランダムアクセスポイント(RAP)ピクチャで開始されてもよい。非RAPピクチャとは、ランダムアクセスポイント(RAP)ピクチャではないピクチャである。場合によっては、RAPピクチャは、代わりにイントラランダムアクセスポイントピクチャ(IRAP;intra random access point picture)と呼ばれてもよい。その場合、非RAPピクチャも同様に非IRAPピクチャと呼ばれてもよい。0に等しいmax_sublayer_for_ilp_plus1[i]は、レイヤ識別子(nuh_layer_id)236がレイヤ識別子シンタクス要素値layer_id_in_nuh[i]226に等しい非RAPピクチャが、レイヤ間予測のための参照として使用されないことを示す。0より大きいmax_sublayer_for_ilp_plus1[i]は、レイヤ識別子(nuh_layer_id)236がレイヤ識別子シンタクス要素値(layer_id_in_nuh[i])226に等しく、時間識別子(TemporalId)224がmax_sublayer_for_ilp_plus1[i]−1より大きいピクチャが、レイヤ間予測のための参照として使用されないことを示す。レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)が存在しないとき、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1[i])208は不定である。
別の実施形態では、ループシグナリングmax_sublayer_for_ilp_plus1[i]は、以下のようにi<vps_max_layers_minus1のときに終了してもよい。
JCTVC‐L1008、JCTVC‐L0452およびJCTVC‐L0453には、サブレイヤ非参照ピクチャ222のマーキング処理が記載されている。しかしそのマーキング処理は、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208のシグナリングを利用していない。レイヤ間予測に用いられるピクチャをマークする新たな方法を用いることにより、利益が実現されてもよい。レイヤ間予測に用いられるピクチャをマークする新たな方法を用いる際には、レイヤ間予測のためのサブレイヤと様々なレイヤのRAPピクチャとのシーケンスレベルの使用に基づいて、対象レイヤのサブレイヤ非参照ピクチャ222が「参照に使用されない」ものとしてマークされてもよい。
JCTVC‐L1008において定義される復号処理が、セクションF.8として以下に示される。同様の処理は、JCTVC‐L0452およびJCTVC‐L0453においても規定された。
「F.8 復号処理」
「F.8.1 一般的復号処理」
サブクローズ8.1の規定が、以下を追加して適用される。
対象ピクチャが0より大きいnuh_layer_idを有するときには、以下が適用される。
‐separate_colour_plane_flagの値に応じて、以下のように復号処理が構成される:
‐separate_colour_plane_flagが0に等しい場合、以下の復号処理が1回呼び出され、対象ピクチャが出力される。
‐それ以外の(separate_colour_plane_flagが1に等しい)場合、以下の復号処理が3回呼び出される。復号処理に対する入力は全てcolour_plane_idの値が同一の、符号化ピクチャのNALユニットである。特定の値のcolour_plane_idのNALユニットの復号処理は、その特定の値のcolour_plane_idのモノクロカラーフォーマットのCVSだけがビットストリーム中に存在するかのように規定される。3つの復号処理のそれぞれの出力は、対象ピクチャの3つのサンプル配列のうちの1つに割り当てられ、colour_plane_idが0に等しいNALユニットは、Sに割り当てられ、colour_plane_idが0、1および2に等しいNALユニットは、S、SCbおよびSCrに割り当てられる。
注‐separate_colour_plane_flagが1に等しく、chroma_format_idcが3に等しいとき、変数ChromaArrayTypeは0として導出される。復号処理においては、この変数の値が評価され、モノクロピクチャ(chroma_format_idcが0に等しいとき)と同一の動作が生じる。
‐‐対象ピクチャCurrPicにつき、復号処理は以下のように動作する。
‐対象ピクチャの復号順で最初のスライスのスライスセグメントヘッダの復号のために、サブクローズF.8.1.1に規定されるnuh_layer_idが0より大きい符号化ピクチャの復号を開始するための復号処理が呼び出される。
‐ViewId[nuh_layer_id]が0より大きい場合、サブクローズG.8.1に規定されるnuh_layer_idが0より大きい符号化ピクチャの復号処理が呼び出される。
‐それ以外の場合には、DependencyId[nuh_layer_id]が0より大きいとき、サブクローズX.X.Xに規定されるnuh_layer_idが0より大きい符号化ピクチャの復号処理が呼び出される。
‐対象ピクチャの全てのスライスが復号された後、サブクローズF.8.1.2に規定されるnuh_layer_idが0より大きい符号化ピクチャの復号を終了するための復号処理が呼び出される。
「F.8.1.1 nuh_layer_idが0より大きい符号化ピクチャの復号を開始するための復号処理」
本サブクローズで言及される各ピクチャは、完全な符号化ピクチャである。
対象ピクチャCurrPicにつき、復号処理は以下のように動作する:
1.サブクローズ8.2にNALユニットの復号が規定される。
2.サブクローズ8.3の処理が、スライスセグメントレイヤ以上のシンタクス要素を用いた以下の復号処理を規定する:
‐サブクローズ8.3.1において、ピクチャオーダーカウントに関係する変数および関数が導出される。これが呼び出される必要があるのは、ピクチャの最初のスライスセグメントについてのみである。PicOrderCntValがアクセスユニット内で不変であることが、ビットストリームコンフォーマンスの要件である。
‐nuh_layer_idがCurrPicのものと等しいピクチャにつき、サブクローズ8.3.2のRPSの復号処理が呼び出され、参照ピクチャが「参照に使用されない」または「長期参照に使用される」ものとしてマークされてもよい。これが呼び出される必要があるのは、ピクチャの最初のスライスセグメントについてのみである。
‐CurrPicがBLAピクチャであるか、またはNoRaslOutputFlagが1に等しいCRAピクチャであるとき、サブクローズ8.3.3に規定される、利用できない参照ピクチャを発生させるための復号処理が呼び出されるが、これが呼び出される必要があるのは、ピクチャの最初のスライスセグメントについてのみである。
「F.8.1.2 nuh_layer_idが0より大きい符号化ピクチャの復号を終了するための復号処理」
PicOutputFlagは、以下のように設定される:
‐対象ピクチャがRASLピクチャであり、関連IRAPピクチャのNoRaslOutputFlagが1に等しい場合、PicOutputFlagは、0に等しく設定される。
‐それ以外の場合、PicOutputFlagは、pic_output_flagに等しく設定される。
以下が適用される:
‐復号ピクチャは、「短期参照に使用される」ものとしてマークされる。
‐TemporalIdがHighestTidに等しいとき、nuh_layer_idに等しいlatestDecLayerIdを入力とする、サブクローズF.8.1.2.1に規定されるレイヤ間予測に必要とされないサブレイヤ非参照ピクチャのマーキング処理が呼び出される。
「F.8.1.2.1 レイヤ間予測に必要とされないサブレイヤ非参照ピクチャのマーキング処理」
この処理の入力は:
‐nuh_layer_id値のlatestDecLayerId
この処理の出力は:
‐いくつかの復号ピクチャを「参照に使用されない」として、更新される可能性のあるマーキング
注‐この処理は、インター予測またはレイヤ間予測に必要とされないピクチャを「参照に使用されない」ものとしてマークする。TemporalIdがHighestTidより小さいとき、対象ピクチャはインター予測における参照に用いることができ、この処理は呼び出されない。
変数TargetDecLayerIdList、numTargetDecLayers、およびlatestDecIdxが、以下のように導出される:
復号されるNALユニットのnuh_layer_id値のリストをnuh_layer_id値の増加順に指定するレイヤ識別子リストTargetDecLayerIdListは、以下のように規定される:
‐TargetDecLayerIdListを設定するために何らかの外部手段が利用可能である場合、その外部手段によりTargetDecLayerIdListが設定される。
‐それ以外の場合には、ビットストリームコンフォーマンステストにおいて復号処理が呼び出される場合は、それに応じてTargetDecLayerIdListが設定される。
‐それ以外の場合には、TargetDecLayerIdListは、0に等しいnuh_layer_id値を1つだけ含む。
‐numTargetDecLayersは、TargetDecLayerIdListのエントリの数に等しく設定される。
‐latestDecIdxは、TargetDecLayerIdList[i]は、latestDecLayerIdに等しいiの値に等しく設定される。
上記で用いられるところの、separate_colour_plane_flagは、ピクチャを符号化するためにいくつの別個の色平面が用いられるかを指示するフラグである。colour_plane_idは、色成分の識別子である。ChromaArrayTypeは、色差配列のタイプである。S、SCbおよびSCrは、サンプル配列である。NALは、ネットワークアブストラクションレイヤ(NAL)である。PicOrderCntValは、対象ピクチャのピクチャオーダーカウントである。CurrPicは、対象ピクチャである。NoRaslOutputFlagは、ランダムアクセススキップリーディング(RASL;random access skipped leading)ピクチャが出力されるかどうかを(およびピクチャが適切に復号可能であるかどうか)示すために使用されるフラグである。pic_output_flagは、関連するスライスヘッダに存在するシンタクス要素である。TargetDecLayerIdListは、復号されるNALユニットのnuh_layer_id値のリストをnuh_layer_id値の増加順に指定するレイヤ識別子リストである。NumNegativePicsは、対象ピクチャのピクチャオーダーカウント値より大きいピクチャオーダーカウント値を有する、stRpsIdx番目の候補短期参照ピクチャセット(RPS)中のエントリの数である。
UsedByCurrPicS0という語は、対象ピクチャより小さいピクチャオーダーカウント値を有するstRpsIdx番目の候補短期RPSのi番目のエントリが、対象ピクチャにより参照のために用いられるかどうかを指定する。UsedByCurrPicS1という語は、対象ピクチャより大きいピクチャオーダーカウント値を有する対象候補短期RPSのi番目のエントリが、対象ピクチャにより参照のために用いられるかどうかを指定する。
num_long_term_spsという語は、アクティブSPSにおいて指定される候補長期参照ピクチャに基づいて導出される、対象ピクチャの長期RPSのエントリの数を指定する。num_long_term_picsという語は、スライスヘッダにおいて直接シグナリングされる、対象ピクチャの長期RPSのエントリの数を指定する。UsedByCurrPicLtという語は、対象ピクチャの長期RPSのi番目のエントリが対象ピクチャにより参照のために用いられるかどうかを指定する。
layer_id_in_nuh[i]は、i番目のレイヤのVCL NALユニットのnuh_layer_idシンタクス要素の値を指定する。存在しないとき、layer_id_in_nuh[i]の値は、iに等しいものと推定される。変数LayerIdInVps[layer_id_in_nuh[i]]は、iに等しく設定される。0に等しいdirect_dependency_flag[i][j]は、インデックスjのレイヤが、インデックスiのレイヤのダイレクト参照レイヤではないことを指定する。1に等しい変数direct_dependency_flag[i][j]は、インデックスjのレイヤが、インデックスiのレイヤのダイレクト参照レイヤとなることを指定する。direct_dependency_flag[i][j]が、0からvps_max_layers_minus1の範囲内のiおよびjにつき存在しないときには、0に等しいものと推定される。変数NumDirectRefLayers[i]およびRefLayerId[i][j]は、以下のように導出される:
1に等しいscalability_mask[i]は、表「ScalabiltyIdのスケーラビリティ次元へのマッピング」に示されるi番目のスケーラビリティ次元に対応するdimension_idシンタクス要素が存在することを指示する。0に等しい変数scalability_mask[i]は、i番目のスケーラビリティ次元に対応するdimension_idシンタクス要素が存在しないことを指示する。ScalabilityIdのスケーラビリティ次元へのマッピングが、下表F‐1に示される。
「表F‐1 ScalabiltyIdのスケーラビリティ次元へのマッピング」
dimension_id[i][j]は、i番目のレイヤのj番目の存在するスケーラビリティ次元タイプの識別子を指定する。存在しないときには、dimension_id[i][j]の値は0に等しいものと推定される。dimension_id[i][j]を表すために使用されるビットの数は、dimension_id_len_minus1[j]+1ビットである。splitting_flagが1に等しいとき、dimension_id[i][j]が((layer_id_in_nuh[i]&((1<<dimBitOffset[j+1])−1))>>dimBitOffset[j])に等しくなければならないことがビットストリームコンフォーマンスの要件である。
i番目のレイヤのsmIdx番目のスケーラビリティ次元タイプの識別子を指定する変数ScalabilityId[i][smIdx]、i番目のレイヤのビュー識別子を指定する変数ViewId[layer_id_in_nuh[i]]、およびi番目のレイヤの空間/SNRスケーラビリティの識別子を指定するDependencyId[layer_id_in_nuh[i]]は、以下のように導出される:
HighestTidは、ビットストリーム中に存在する最も高い時間識別子(TemporalId)である。PicOutputFlagは、ピクチャタイプ(例えばピクチャがランダムアクセススキップリーディングピクチャであるかどうか)に基づいて、およびシグナリングされるシンタクス要素pic_output_flagに基づいて設定される変数である。
一構成では、セクションF.8.1.2.1は、ピクチャ222を「参照に使用されない」ものとしてマークするために表2の言語を含んでもよい。
表2では、各サブレイヤ非参照ピクチャ222は、定義された時間識別子(TemporalId)224を有する。ピクチャ222の時間識別子(TemporalId)224が、指定されたレイヤ(すなわちLayerIdInVps[TargetDecLayerIdList[i]])のレイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208と比較される。したがって、max_sublayer_for_ilp_plus1のインデックスは、LayerIdInVps[TargetDecLayerIdList[i]]である。ピクチャ222の時間識別子(TemporalId)224が、指定されたレイヤのmax_sublayer_for_ilp_plus1 208から1を減算した値より大きい場合、そのピクチャ222は、「参照に使用されない」ものとしてマークされる。表2では、TargetDecLayerIdListは、対象レイヤ識別子リストである。したがって、マーキング段階では、このようなピクチャは、対象レイヤ識別子リスト中の任意のレイヤにより参照レイヤとして用いられるレイヤに帰属する場合でも「参照に使用されない」ものとしてマークされる。
別の構成では、セクションF.8.1.2.1は、ピクチャ222を「参照に使用されない」ものとしてマークするために表3の言語を含んでもよい。
表3では、表2のように各ピクチャ222が定義された時間識別子(TemporalId)224を有する。しかし表3では、ピクチャ222の時間識別子(TemporalId)224は、max_sublayer_for_ilp_plus1[i]と比較される。ピクチャ222の時間識別子(TemporalId)224が、max_sublayer_for_ilp_plus1[i]−1より大きい場合、そのピクチャ222は、「参照に使用されない」ものとしてマークされる。表3では、TargetDecLayerIdListは、対象レイヤ識別子リストである。したがって、マーキング段階では、このようなピクチャは、対象レイヤ識別子リスト中の任意のレイヤにより参照レイヤとして用いられるレイヤに帰属する場合でも「参照に使用されない」ものとしてマークされる。
さらに別の構成においては、セクションF.8.1.2.1は、ピクチャ222を「参照に使用されない」ものとしてマークするために表4の言語を含んでもよい。
表4の言語は、表2のものと同様であるが、表4は、マーキング言語に時間識別子(TemporalId)224についての特定の言語を含まない。この場合、ピクチャ222をマークする際、この段階でピクチャ222の時間識別子(TemporalId)224の値についての追加のチェックは行われない。
別の構成では、セクションF.8.1.2.1は、ピクチャ222を「参照に使用されない」ものとしてマークするために表5の言語を含んでもよい。
表5の言語は、表3のものと同様であるが、表5は、マーキング言語に時間識別子(TemporalId)224についての特定の言語を含まない。この場合、ピクチャ222をマークする際、この段階でピクチャ222の時間識別子(TemporalId)224の値についての追加のチェックは行われない。
図3は、サブレイヤ非参照ピクチャ222をマークする方法300を示したフロー図である。方法300は、電子デバイス102により行われてもよい。一構成では、方法300は、電子デバイス102のビデオデコーダ112により行われてもよい。電子デバイス102は、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208のシグナリングを得ればよい(ステップ302)。上述のように、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208は、ビットストリーム110を介して電子デバイス102に供給されればよい。
電子デバイス102は、サブレイヤ非参照ピクチャ222を得てもよい(ステップ304)。サブレイヤ非参照ピクチャ222は、ビットストリーム110を介して電子デバイス102に供給されてもよい。電子デバイス102は、サブレイヤ非参照ピクチャ222の時間識別子(TemporalId)224の値がレイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208から1を減算した値より大きいかどうかを判断してもよい(ステップ306)。一構成では、電子デバイス102は、上述の表2、表3、表4または表5のうちの一つの言語を用いて、サブレイヤ非参照ピクチャ222の時間識別子(TemporalId)224をレイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208と比較してもよい。
サブレイヤ非参照ピクチャ222の時間識別子(TemporalId)224の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208から1を減算した値より大きい場合、電子デバイス102は、サブレイヤ非参照ピクチャ222を、対象レイヤ識別子リストの任意のレイヤにより参照レイヤとして使用されるレイヤに帰属する場合であっても「参照に使用されない」ものとしてマークしてもよい(ステップ308)。したがって、そのサブレイヤ非参照ピクチャ222は、レイヤ間予測に用いられない。サブレイヤ非参照ピクチャ222の時間識別子(TemporalId)224の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208から1を減算した値より大きくない場合、方法300は終了してもよい。換言すれば、サブレイヤ非参照ピクチャ222の時間識別子(TemporalId)224の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208から1を減算した値以下である場合、サブレイヤ非参照ピクチャ222は「参照に使用されない」ものとしてマークされず、対象識別子リスト中の任意のレイヤにより参照レイヤとして用いられるレイヤに帰属していればレイヤ間予測に用いられてもよい。
別のシナリオ(図示せず)では、対象識別子リスト中のいずれのレイヤにも参照レイヤとして用いられないレイヤに帰属するサブレイヤ非参照ピクチャ222も、「参照に使用されない」ものとしてマークされる。一部のケースでは、図3に記載されたステップは、サブレイヤ非参照ピクチャ222の時間識別子(TemporalId)224がビットストリーム中に存在する最も高い時間識別子に等しいときにサブレイヤ非参照ピクチャ222をマークするためにのみ実行されてもよい。
図4は、本システムおよび方法を用いて「参照に使用されない」ものとしてマークされる追加のピクチャ432を示したブロック図である。図の例では、時間サブレイヤとともに3つのレイヤ(1つのベースレイヤおよび2つのエンハンスメントレイヤ)が用いられる。第二のエンハンスメントレイヤEL2においては、JCTVC‐L1008、JCTVC‐L0452およびJCTVC‐L0453に定義された規格により、複数のピクチャ430が「参照に使用されない」ものとしてマークされる。第一のエンハンスメントレイヤEL1においては、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)208に基づいて、追加のピクチャ432が「参照に使用されない」ものとしてマークされる。追加のピクチャ432を「参照に使用されない」ものとしてマークすることにより、復号ピクチャバッファ(DPB)サイズ/メモリが削減されてもよい。
図5は、レイヤ間参照ピクチャセット(RPS)アップデートモジュール518を示したブロック図である。図5のレイヤ間参照ピクチャセット(RPS)アップデートモジュール518は、図1のレイヤ間参照ピクチャセット(RPS)アップデートモジュール118の一構成であってもよい。レイヤ間参照ピクチャセット(RPS)アップデートモジュール518は、電子デバイス102のビデオデコーダ112の一部であってもよい。レイヤ間参照ピクチャセット(RPS)アップデートモジュール518は、レイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120をアップデートするために、ビデオデコーダ112により用いられてもよい。
レイヤ間参照ピクチャセット(RPS)アップデートモジュール518は、レイヤ間ピクチャ534を含んでもよい。一構成では、レイヤ間ピクチャ534は、非RAP(ランダムアクセスポイント)ピクチャまたはランダムアクセスポイント(RAP)ピクチャであってもよい。レイヤ間ピクチャ534は、ビットストリーム110および107を介して別の電子デバイス102から受信されるピクチャであってもよい。レイヤ間参照ピクチャセット(RPS)アップデートモジュール518は、レイヤ間ピクチャ534が参照ピクチャセット(RPS)120に追加されるかどうかを判断してもよい。
レイヤ間ピクチャ534は、レイヤ識別子(nuh_layer_id)536、時間識別子(TemporalId)538、およびピクチャオーダーカウント(POC;picture order count)553を含んでもよい。レイヤ間ピクチャ534のレイヤ識別子(nuh_layer_id)536が、対象レイヤのダイレクト参照レイヤであるレイヤに対応し、レイヤ間ピクチャ534のピクチャオーダーカウント(POC)553が、対象ピクチャ(nuh_layer_id)559のピクチャオーダーカウント(POC)561に等しい場合、(レイヤ間ピクチャ534が参照ピクチャセット(RPS)120に追加されるべきか否かを判断するために)追加チェックが行われる。
行われる追加チェックは、レイヤ間ピクチャ534の時間識別子(TemporalId)538を、シグナリングされたレイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508と比較する。レイヤ間ピクチャ534の時間識別子(TemporalId)538の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値より大きい場合、レイヤ間ピクチャ534はレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されない。同様に、レイヤ間ピクチャ534の時間識別子(TemporalId)538の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値以下である場合、レイヤ間ピクチャ534はレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加される。加えて、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508の値が0である場合、レイヤ間ピクチャ534がランダムアクセスポイント(RAP)ピクチャでない限り、レイヤ間ピクチャ534はレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されない。
JCTVC‐1008に定義されるセマンティクスは、以下のセクションG.7.4.7.2に示される(本システムおよび方法に関して加えられる変更には下線が付してある)。JCTVC‐L0452およびJCTVC‐L0453にも同様の処理が規定された。
「G.7.4.7.2 セマンティクス」
サブクローズF.7.4.7.2およびその全てのサブクローズの規定は、以下の修正を伴って適用される。
変数NumPocTotalCurrは、以下のように導出される。
上に提供されたサンプルコードにおいては、NumDirectRefLayersがNumInterLayerRPSPicsに置き換えられる。
JCTVC‐L1008に定義される変数NumPocTotalCurr120を決定するための代替的構成を、以下のセクションG.7.4.7.3に記載する(本システムおよび方法に関して加えられる変更には下線が付してある)。JCTVC‐L0452およびJCTVC‐L0453にも同様の処理が規定された。
「G.7.4.7.3 セマンティクス」
サブクローズF.7.4.7.2およびその全てのサブクローズの規定は、以下の修正を伴って適用される。
NumInterLayerRPSPicsは、以下のように導出する:

変数NumPocTotalCurrは、以下のように導出される。
上記で提供されたサンプルコードにおいては、NumInterLayerRPSPicsの導出が新しく、NumPocTotalCurrを計算する際、NumDirectRefLayersがNumInterLayerRPSPicsに置き換えられる。
JCTVC‐L1008に定義される復号処理は、以下のセクションG.2に示される(本システムおよび方法に関して加えられる変更には下線が付してある)。JCTVC‐L0452およびJCTVC‐L0453にも同様の処理が規定された。
「G.2 復号処理」
「G.2.1 nuh_layer_idが0より大きい符号化ピクチャの復号処理」
対象ピクチャCurrPicにつき、復号処理は以下のように動作する:
1.サブクローズ8.2にNALユニットの復号が規定される。
2.サブクローズG.8.1.1およびG.8.3.4の処理は、スライスセグメントレイヤ以上のシンタクス要素を用いた以下の復号処理を規定する:
‐対象ピクチャの第一のスライスを復号する前に、サブクローズG.8.1.1が呼び出される。
‐各PまたはBスライスの復号処理の始めに、サブクローズG.8.3.4に規定される参照ピクチャリスト構築のための復号処理は、参照ピクチャリスト0(RefPicList0)の導出のために、またBスライスの復号時には参照ピクチャリスト1(RefPicList1)の導出のために呼び出される。
3.サブクローズ8.4、8.5、8.6および8.7の処理は、全てのシンタクス構造レイヤのシンタクス要素を用いた復号処理を指定する。ピクチャのスライスへの分割、スライスのスライスセグメントへの分割、およびスライスセグメントの符号化ツリーユニットへの分割がそれぞれピクチャのパーティショニングを形成するように、ピクチャの符号化スライスは、ピクチャの全ての符号化ツリーユニットについてのスライスセグメントデータを含むことが、ビットストリームコンフォーマンスの要件である。
4.対象ピクチャの全てのスライスが復号されたあと、サブクローズG.8.1.2に規定されるnuh_layer_idが0より大きい符号化ピクチャの復号を終了するためのマーキング処理が呼び出される。
「G.2.1.1 レイヤ間参照ピクチャセットの復号処理」
この処理の出力は、アップデートされたレイヤ間ピクチャのリストRefPicSetInterLayerである。リストRefPicSetInterLayerは、まず空にされ、その後以下のように導出される。
セクションG.2.1.1の修正では、レイヤ間ピクチャ534をレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加するかどうかを判断する際に、時間識別子(TemporalId)538が考慮される。レイヤ間ピクチャ534の時間識別子(TemporalId)538の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値の値以下である場合、レイヤ間ピクチャ534はレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加され、レイヤ間予測に用いられる。また、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値の値がゼロである場合、レイヤ間ピクチャ534がRAPピクチャであれば、レイヤ間ピクチャ534はレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加される。
レイヤ間ピクチャ534の時間識別子(TemporalId)538の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値の値より大きい場合、レイヤ間ピクチャ534はレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されず、レイヤ間ピクチャ534はレイヤ間予測に用いられない。また、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値の値がゼロである場合、レイヤ間ピクチャ534がRAPピクチャでなければ、レイヤ間ピクチャ534はレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されない。レイヤ識別子(nuh_layer_id)536の値が対象ピクチャ(nuh_layer_id)559のダイレクト参照レイヤであるレイヤに対応し、レイヤ間ピクチャのピクチャオーダーカウント553が対象ピクチャ(nuh_layer_id)559のピクチャオーダーカウント(POC)561に等しいときにのみ、レイヤ間ピクチャ534の時間識別子(TemporalId)538の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508の値と比較されてもよい。
JCTVC‐L1008に定義されるレイヤ間ピクチャ534がレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されるかどうかを判断するための代替的構成は、以下のセクションG.2.1.2に示される(本システムおよび方法に関して加えられる変更には下線が付してある)。JCTVC‐L0452およびJCTVC‐L0453にも同様の処理が規定された。
「G.2.1.2 レイヤ間参照ピクチャセットの復号処理」
この処理の出力は、アップデートされたレイヤ間ピクチャのリストRefPicSetInterLayerである。
リストRefPicSetInterLayerは、まず空にされ、その後以下のように導出される。
G.2.1.1に記載されるレイヤ間参照ピクチャセット(RPS)120の復号処理と同様に、G.2.1.2に記載されるレイヤ間参照ピクチャセット(RPS)120の復号処理は、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508を用いて、レイヤ間ピクチャ534がレイヤ間参照ピクチャセット(RPS)(refPicSetInterLayer)120に追加されるかどうかを判断する。
JCTVC‐L1008に定義される、レイヤ間ピクチャ534がレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されるかどうかを判断するための別の構成は、以下のセクションG.2.1.3に示される(本システムおよび方法に関して加えられる変更には下線が付してある)。JCTVC‐L0452およびJCTVC‐L0453にも同様の処理が規定された。
「G.2.1.3 レイヤ間参照ピクチャセットの復号処理」
この処理の出力は、アップデートされたレイヤ間ピクチャのリストRefPicSetInterLayerである。
リストRefPicSetInterLayerは、まず空にされ、その後以下のように導出される。
G.2.1.1およびG.2.1.2に記載されるレイヤ間参照ピクチャセット(RPS)120の復号処理と同様に、G.2.1.3に記載されるレイヤ間参照ピクチャセット(RPS)120の復号処理は、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508を用いて、レイヤ間ピクチャ534がレイヤ間参照ピクチャセット(RPS)(refPicSetInterLayer)120に追加されるかどうかを判断する。
JCTVC‐L1008に定義される、レイヤ間ピクチャ534がレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されるかどうかを判断するためのさらにもう一つの構成は、以下のセクションG.2.1.4に示される(本システムおよび方法に関して加えられる変更には下線が付してある)。JCTVC‐L0452およびJCTVC‐L0453にも同様の処理が規定された。
「G.2.1.4 レイヤ間参照ピクチャセットの復号処理」
この処理の出力は、アップデートされたレイヤ間ピクチャのリストRefPicSetInterLayerである。
リストRefPicSetInterLayerは、まず空にされ、その後以下のように導出される。
G.2.1.1、G.2.1.2およびG.2.1.3に記載されるレイヤ間参照ピクチャセット(RPS)120の復号処理と同様に、G.2.1.4に記載されるレイヤ間参照ピクチャセット(RPS)120の復号処理は、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508を用いて、レイヤ間ピクチャ534がレイヤ間参照ピクチャセット(RPS)(refPicSetInterLayer)120に追加されるかどうかを判断する。
JCTVC‐L1008に定義される、レイヤ間ピクチャ534がレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されるかどうかを判断するための別の構成は、以下のセクションG.2.1.5に示される(本システムおよび方法に関して加えられる変更には下線が付してある)。JCTVC‐L0452およびJCTVC‐L0453にも同様の処理が規定された。
「G.2.1.5 レイヤ間参照ピクチャセットの復号処理」
この処理の出力は、アップデートされたレイヤ間ピクチャのリストRefPicSetInterLayerである。
リストRefPicSetInterLayerは、まず空にされ、その後以下のように導出される。
G.2.1.1、G.2.1.2、G.2.1.3およびG.2.1.4に記載されるレイヤ間参照ピクチャセット(RPS)120の復号処理と同様に、G.2.1.5に記載されるレイヤ間参照ピクチャセット(RPS)の復号処理は、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508を用いて、レイヤ間ピクチャ534がレイヤ間参照ピクチャセット(RPS)(refPicSetInterLayer)120に追加されるかどうかを判断する。
JCTVC‐L1008に定義される、レイヤ間ピクチャ534がレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されるかどうかを判断するための別の構成は、以下のセクションG.2.1.6に示される(本システムおよび方法に関して加えられる変更には下線が付してある)。JCTVC‐L0452およびJCTVC‐L0453にも同様の処理が規定された。
「G.2.1.6 レイヤ間参照ピクチャセットの復号処理」
この処理の出力は、アップデートされたレイヤ間ピクチャのリストRefPicSetInterLayerである。
リストRefPicSetInterLayerは、まず空にされ、その後以下のように導出される。
G.2.1.1、G.2.1.2、G.2.1.3、G.2.1.4およびG.2.1.5に記載されるレイヤ間参照ピクチャセット(RPS)120の復号処理と同様に、G.2.1.6に記載されるレイヤ間参照ピクチャセット(RPS)の復号処理は、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508を用いて、レイヤ間ピクチャ534がレイヤ間参照ピクチャセット(RPS)(refPicSetInterLayer)120に追加されるかどうかを判断する。
JCTVC‐L1008に定義される、符号化ピクチャの復号を終了するためのマーキング処理は、以下のセクションG.2.1.7に示される(本システムおよび方法に関して加えられる変更には下線が付してある)。
「G.2.1.7 nuh_layer_idが0より大きい符号化ピクチャの復号を終了するためのマーキング処理」
この処理の出力は:
‐いくつかの復号ピクチャについての、アップデートされた可能性のある「短期参照に使用される」ものとしてのマーキング。
以下が適用される。
各PおよびBスライスの復号処理の始めに、参照ピクチャリスト構築が行われる。JCTVC‐L1008に定義される参照ピクチャリスト構築のための復号処理は、以下のセクションG.2.1.8に示される(本システムおよび方法に関して加えられる変更には下線が付してある)。JCTVC‐L0452およびJCTVC‐L0453にも同様の処理が規定された。
「G.2.1.8 参照ピクチャリスト構築のための復号処理」
この処理は、各PまたはBスライスの復号処理の始めに呼び出される。
参照ピクチャは、サブクローズ8.5.3.2.1に規定される参照インデックスによりアドレス指定される。参照インデックスは、参照ピクチャリストのインデックスである。Pスライスの復号時には、1つの参照ピクチャリストRefPicList0がある。Bスライスの復号時には、RefPicList0に加えて、第二の独立した参照ピクチャリストRefPicList1がある。
各スライスの復号処理の始めに、参照ピクチャリストRefPicList0およびBスライスではRefPicList1は、以下のように導出される。
変数NumRpsCurrTempList0は、Max(num_ref_idx_10_active_minus1+1,NumPocTotalCurr)に等しく設定され、リストRefPicListTemp0は、以下のように構築される:

リストRefPicList0は、以下のように構築される:

スライスがBスライスであるときには、変数NumRpsCurrTempList1は、Max(num_ref_idx_11_active_minus1+1,NumPocTotalCurr)に等しく設定され、リストRefPicListTemp1は、以下のように構築される:

スライスがBスライスであるときには、リストRefPicList1は、以下のように構築される:
セクションG.2.1.8では、ダイレクト参照レイヤの数(NumDirectRefLayers)の代わりに、レイヤ間参照ピクチャセット(RPS)ピクチャの数(NumInterLayerRPSPics)が用いられる。
図6は、レイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120をアップデートする方法600を示したフロー図である。方法600は、電子デバイス102により行われてもよい。一構成では、方法600は、電子デバイス102のビデオデコーダ112により行われてもよい。電子デバイス102は、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508のシグナリングを得ればよい(ステップ602)。一構成では、電子デバイス102は、別の電子デバイス102からのビットストリーム110を介して、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508のシグナリングを得てもよい(ステップ602)。
電子デバイス102は、レイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120の復号処理を開始してもよい(ステップ604)。電子デバイス102は、対象レイヤのダイレクト参照レイヤであるレイヤに対応するレイヤ識別子(nuh_layer_id)536の値を有し、対象ピクチャ(nuh_layer_id)559のピクチャオーダーカウント(POC)561に等しいピクチャオーダーカウント(POC)553を有するレイヤ間ピクチャ534の時間識別子(TemporalId)538の値を得ることができる(ステップ606)。
電子デバイス102は、レイヤ間ピクチャ534の時間識別子(TemporalId)538の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値以下であるかどうかを判断してもよい(ステップ608)。レイヤ間ピクチャ534の時間識別子(TemporalId)538の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値以下である場合、電子デバイス102は、レイヤ間ピクチャ534をレイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加してもよい(ステップ610)。また、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値の値がゼロである場合、レイヤ間ピクチャ534がRAPピクチャであれば、レイヤ間ピクチャ534は、レイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加される。それから電子デバイス102は、(例えばセクションG.2.1.7で上述したように)レイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120を参照ピクチャリスト構築に用いることができる(ステップ612)。
レイヤ間ピクチャ534の時間識別子(TemporalId)538の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値で以下でない(例えばレイヤ間ピクチャ534の時間識別子(TemporalId)538の値が、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値より大きい)場合、レイヤ間ピクチャ534は、レイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されない。また、レイヤ間予測のためのサブレイヤの最大数(max_sublayer_for_ilp_plus1)508から1を減算した値の値がゼロである場合、レイヤ間ピクチャ534がRAPピクチャでなければ、レイヤ間ピクチャ534は、レイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120に追加されない。それから電子デバイス102は、(例えばセクションG.2.1.7で上述したように)レイヤ間参照ピクチャセット(RPS)(RefPicSetInterLayer)120を参照ピクチャリスト構築に用いることができる(ステップ612)。
図7は、電子デバイス702のビデオエンコーダ782の一構成を示したブロック図である。図7のビデオエンコーダ782は、図1のビデオエンコーダ182の一構成であってもよい。ビデオエンコーダ782は、エンハンスメントレイヤエンコーダ706、ベースレイヤエンコーダ709、解像度アップスケーリングブロック770および出力インタフェース780を含んでもよい。
エンハンスメントレイヤエンコーダ706は、入力ピクチャ704を受信するビデオ入力部781を含んでもよい。ビデオ入力部781の出力は、予測選択部750の出力を受信する加減算器783に供給されてもよい。加減算器783の出力は、変換および量子化ブロック752に供給されてもよい。変換および量子化ブロック752の出力は、エントロピー符号化748ブロックならびにスケーリングおよび逆変換ブロック772に供給されてもよい。エントロピー符号化748が行われた後、エントロピー符号化ブロック748の出力が、出力インタフェース780に供給されてもよい。出力インタフェース780は、符号化ベースレイヤビデオビットストリーム707および符号化エンハンスメントレイヤビデオビットストリーム710の両方を出力してもよい。
スケーリングおよび逆変換ブロック772の出力は、加算器779に供給される。加算器779は、予測選択部750の出力も受信してもよい。加算器779の出力は、デブロッキングブロック751に供給されてもよい。デブロッキングブロック751の出力は、参照バッファに供給されてもよい。参照バッファ794の出力は、動き補償ブロック754に供給されてもよい。動き補償ブロック754の出力は、予測選択部750に供給されてもよい。参照バッファ794の出力は、イントラ予測器756にも供給されてもよい。イントラ予測器756の出力は、予測選択部750に供給されてもよい。予測選択部750は、解像度アップスケーリングブロック770の出力も受信してもよい。
ベースレイヤエンコーダ709は、ダウンサンプリングされた入力ピクチャまたは別のビューの入力ピクチャまたは同じ入力ピクチャ703(すなわちエンハンスメントレイヤエンコーダ706により受信される入力ピクチャ704と同じ入力ピクチャ)を受信するビデオ入力部762を含んでもよい。ビデオ入力部762の出力は、符号化予測ループ764に供給されてもよい。符号化予測ループ764の出力に、エントロピー符号化766が提供される。符号化予測ループ764の出力は、参照バッファ768に供給されてもよい。参照バッファ768は、符号化予測ループ764にフィードバックを供給してもよい。参照バッファ768の出力は、解像度アップスケーリングブロック770に供給されてもよい。エントロピー符号化766が行われると、出力インタフェース780に出力が供給されてもよい。
図8は、電子デバイス802のビデオデコーダ812の一構成を示したブロック図である。図8のビデオデコーダ812は、図1のビデオデコーダ112の一構成である。ビデオデコーダ812は、エンハンスメントレイヤデコーダ815およびベースレイヤデコーダ813を含んでもよい。ビデオデコーダ812は、インタフェース889および解像度アップスケーリング部870を含んでもよい。
インタフェース889は、符号化ビデオストリーム885を受信してもよい。符号化ビデオストリーム885は、ベースレイヤ符号化ビデオストリームおよびエンハンスメントレイヤ符号化ビデオストリームを含んでもよい。ベースレイヤ符号化ビデオストリームおよびエンハンスメントレイヤ符号化ビデオストリームは、別々または一緒に送信されてもよい。インタフェース889は、符号化ビデオストリーム885の一部または全部を、ベースレイヤデコーダ813のエントロピー復号ブロック886に供給してもよい。エントロピー復号ブロック886の出力は、復号予測ループ887に供給されてもよい。復号予測ループ887の出力は、参照バッファ888に供給されてもよい。参照バッファは、復号予測ループ887にフィードバックを供給してもよい。参照バッファ888は、復号ベースレイヤビデオ884を出力してもよい。
インタフェース889は、符号化ビデオストリーム885の一部または全部を、エンハンスメントレイヤデコーダ815のエントロピー復号ブロック890に供給してもよい。エントロピー復号ブロック890の出力は、逆数量子化ブロック891に供給されてもよい。逆数量子化ブロック891の出力は、加算器892に供給されてもよい。加算器892は、逆数量子化ブロック891の出力と、予測選択ブロック895の出力とを加算してもよい。加算器892の出力は、デブロッキングブロック893に供給されてもよい。デブロッキングブロック893の出力は、参照バッファ894に供給されてもよい。参照バッファ894は、復号エンハンスメントレイヤビデオ882を出力してもよい。
参照バッファ894の出力は、イントラ予測器897に供給されてもよい。エンハンスメントレイヤデコーダ815は、動き補償部896を含んでもよい。動き補償部896は、解像度アップスケーリング部870の後に行われてもよい。予測選択ブロック895は、イントラ予測器897の出力および動き補償部896の出力を受信してもよい。
図9は、伝送電子デバイス902において利用されうる様々な構成要素を示す。本明細書に記載される電子デバイス102の一つ以上は、図9に示した伝送電子デバイス902にしたがって実装されてもよい。
伝送電子デバイス902は、伝送電子デバイス902の動作を制御するプロセッサ939を含む。プロセッサ939は、中央演算処理装置(CPU)とも呼ぶことができる。メモリ933は、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)の両方または情報を格納できる任意のタイプのデバイスを含むことができ、プロセッサ939に命令935a(例えば実行可能命令)およびデータ937aを供給する。メモリ933の一部は、不揮発性ランダムアクセスメモリ(NVRAM)も含んでもよい。メモリ933は、プロセッサ939と電子通信してもよい。
命令935bおよびデータ937bは、プロセッサ939内にあってもよい。プロセッサ939に搭載された命令935bおよび/またはデータ937bには、プロセッサ939による実行または処理のために搭載されたメモリ933からの命令935aおよび/またはデータ937aも含むことができる。本明細書に開示される方法の一つ以上を実施するために、プロセッサ939により命令935bが実行されてもよい。
伝送電子デバイス902は、他の電子デバイス(例えば受信電子デバイス)と通信するための、一つ以上の通信インタフェース941を含んでもよい。通信インタフェース941は、ワイヤード通信技術、ワイヤレス通信技術または両方に基づいてもよい。通信インタフェース941の例には、シリアルポート、パラレルポート、ユニバーサルシリアルバス(USB)、イーサネット(登録商標)アダプタ、IEEE1394バスインタフェース、小型コンピュータシステムインタフェース(SCSI)バスインタフェース、赤外線(IR)通信ポート、ブルートゥース(登録商標)ワイヤレス通信アダプタ、第3世代パートナーシッププロジェクト(3GPP)規格によるワイヤレストランシーバなどが含まれる。
伝送電子デバイス902は、一つ以上の出力デバイス945および一つ以上の入力デバイス943を含んでもよい。出力デバイス945の例には、スピーカ、プリンタなどが含まれる。伝送電子デバイス902に含まれる一つのタイプの出力デバイスは、ディスプレイデバイス947である。本明細書に開示される構成で用いられるディスプレイデバイス947は、陰極線管(CRT)、液晶ディスプレイ(LCD)、発光ダイオード(LED)、ガスプラズマ、電界発光などの任意の適切な画像投影技術を利用してもよい。メモリ933に格納されたデータを、ディスプレイ947に示されるテキスト、グラフィクス、および/または動画に(適宜)変換するために、ディスプレイコントローラ949が提供されてもよい。入力デバイス943の例には、キーボード、マウス、マイクロホン、遠隔制御デバイス、ボタン、ジョイスティック、トラックボール、タッチパッド、タッチスクリーン、ライトペンなどが含まれる。
伝送電子デバイス902の様々な構成要素は、データバスに加えてパワーバス、制御信号バスおよび状態信号バスを含むバスシステム951により結合される。しかし、明確にするため、図9では様々なバスがバスシステム951として示される。図9に示される伝送電子デバイス902は、具体的構成要素のリストではなく、機能ブロック図である。
図10は、受信電子デバイス1002において利用される様々な構成要素を示したブロック図である。電子デバイス102の一つ以上は、図10に示した受信電子デバイス1002にしたがって実装されてもよい。
受信電子デバイス1002は、受信電子デバイス1002の動作を制御するプロセッサ1039を含む。プロセッサ1039は、CPUとも呼ぶことができる。メモリ1033は、ROM、RAMの両方または情報を格納できる任意のタイプのデバイスを含むことができ、プロセッサ1039に命令1035a(例えば実行可能命令)およびデータ1037aを供給する。メモリ1033の一部は、NVRAMを含んでもよい。メモリ1033は、プロセッサ1039と電子通信してもよい。
命令1035bおよびデータ1037bは、プロセッサ1039内にあってもよい。プロセッサ1039に搭載された命令1035bおよび/またはデータ1037bには、プロセッサ1039による実行または処理のために搭載されたメモリ1033からの命令1035aおよび/またはデータ1037aを含むことができる。本明細書に開示される方法200、300、400、500の一つ以上を実施するために、プロセッサ1039により命令1035bが実行されてもよい。
受信電子デバイス1002は、他の電子デバイス(例えば伝送電子デバイス)と通信するための、一つ以上の通信インタフェース1041を含んでもよい。通信インタフェース1041は、ワイヤード通信技術、ワイヤレス通信技術または両方に基づいてもよい。通信インタフェース1041の例には、シリアルポート、パラレルポート、USB、イーサネット(登録商標)アダプタ、IEEE1394バスインタフェース、SCSIバスインタフェース、IR通信ポート、ブルートゥース(登録商標)ワイヤレス通信アダプタ、3GPP規格によるワイヤレストランシーバなどが含まれる。
受信電子デバイス1002は、一つ以上の出力デバイス1045および一つ以上の入力デバイス1043を含んでもよい。出力デバイス1045の例には、スピーカ、プリンタなどが含まれる。受信電子デバイス1002に含まれる一つのタイプの出力デバイスは、ディスプレイデバイス1047である。本明細書に開示される構成で用いられるディスプレイデバイス1047は、CRT、LCD、LED、ガスプラズマ、電界発光などの任意の適切な画像投影技術を利用してもよい。メモリ1033に格納されたデータを、ディスプレイ1047に示されるテキスト、グラフィクス、および/または動画に(適宜)変換するために、ディスプレイコントローラ1049が提供されてもよい。入力デバイス1043の例には、キーボード、マウス、マイクロホン、遠隔制御デバイス、ボタン、ジョイスティック、トラックボール、タッチパッド、タッチスクリーン、ライトペンなどが含まれる。
受信電子デバイス1002の様々な構成要素は、データバスに加えてパワーバス、制御信号バスおよび状態信号バスを含むバスシステム1051により結合される。しかし、明確にするため、図10では様々なバスがバスシステム1051として示される。図10に示される受信電子デバイス1002は、具体的構成要素のリストではなく、機能ブロック図である。
「コンピュータ可読媒体」という語は、コンピュータまたはプロセッサによりアクセスされる任意の利用可能な媒体をいう。本明細書で用いられるところの「コンピュータ可読媒体」という語は、非一時的で有形のコンピュータおよび/またはプロセッサ可読媒体を意味する。限定ではなく例として、コンピュータ可読またはプロセッサ可読媒体は、RAM、ROM、EEPROM、CD‐ROMもしくは他の光学ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または命令もしくはデータ構造の形で所望のプログラムコードを担持または格納するために使用でき、コンピュータまたはプロセッサによってアクセスされる任意の他の媒体を含んでもよい。本明細書で用いられるところのディスク(Disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスクおよびブルーレイ(登録商標)ディスクを含み、ディスク(disk)は通常磁気によりデータを再現し、ディスク(disc)はレーザで光学的にデータを再現する。
本明細書に記載される方法の一つ以上が、ハードウェアで実装されてもよく、および/またはハードウェアを用いて実行されてもよいことに注意しなければならない。例えば、本明細書に記載される方法またはアプローチの一つ以上は、チップセット、ASIC、LSIまたは集積回路などで実装されてもよく、および/またはそれらを用いて実現されてもよい。
本明細書に開示される方法のそれぞれは、記載された方法を達成するための一つ以上のステップまたは動作を含む。本方法のステップおよび/または動作は、特許請求の範囲から逸脱することなく、相互に交換されても、および/または一つのステップに組み合わされてもよい。言い換えれば、記載された方法の適切な操作のためにステップまたは動作の特定の順序が必要とされない限り、特定のステップおよび/または動作の順序および/または使用は、特許請求の範囲から逸脱することなく修正される。
当然のことながら、特許請求の範囲は、以上に示した正確な構成および構成要素に限定されない。特許請求の範囲から逸脱することなく、本明細書に記載されるシステム、方法、および装置の配置、操作、および詳細に様々な修正、変更および変形がなされてもよい。

Claims (21)

  1. ビデオ符号化の方法であって、
    レイヤ間予測のためのサブレイヤの最大数のシグナリングを得るステップと;
    レイヤ間参照ピクチャセット(RPS)の復号処理を開始するステップと;
    レイヤ間ピクチャの時間識別子の値を得るステップと;
    前記時間識別子の値が、前記レイヤ間予測のためのサブレイヤの最大数マイナス1より大きいかどうかを判断するステップと;
    前記レイヤ間ピクチャの前記時間識別子の前記値が前記レイヤ間予測のためのサブレイヤの最大数マイナス1より大きくない場合、前記レイヤ間ピクチャを前記レイヤ間参照ピクチャセット(RPS)に追加するステップと
    を含む、方法。
  2. 前記レイヤ間参照ピクチャセット(RPS)を参照ピクチャリスト構築のために用いるステップをさらに含む、請求項1に記載の方法。
  3. 前記レイヤ間ピクチャは、対象レイヤのダイレクト参照レイヤであるレイヤに対応するレイヤ識別子の値を含む、請求項1に記載の方法。
  4. 前記レイヤ間ピクチャは、対象ピクチャのピクチャオーダーカウントに等しいピクチャオーダーカウントを含む、請求項1に記載の方法。
  5. 前記レイヤ間予測のためのサブレイヤの最大数の値がゼロであり、前記レイヤ間ピクチャが非RAP(ランダムアクセスポイント)ピクチャである場合、前記レイヤ間ピクチャは、前記レイヤ間参照ピクチャセット(RPS)に追加されない、請求項1に記載の方法。
  6. 前記レイヤ間予測のためのサブレイヤの最大数の値がゼロであり、前記レイヤ間ピクチャがランダムアクセスポイント(RAP)ピクチャである場合、前記レイヤ間ピクチャは、前記レイヤ間参照ピクチャセット(RPS)に追加される、請求項1に記載の方法。
  7. 前記レイヤ間予測のためのサブレイヤの最大数は、[LayderIdInVps[RefLayerId[LayerIdInVps[nuh_layer_id]][i]]]のインデックスを有する、請求項1に記載の方法。
  8. 前記レイヤ間予測のためのサブレイヤの最大数は、[RefLayerId[LayerIdInVps[nuh_layer_id]][i]]のインデックスを有する、請求項1に記載の方法。
  9. 前記レイヤ間予測のためのサブレイヤの最大数は、[layer_id_in_nuh[RefLayerId[LayerIdInVps[nuh_layer_id]][i]]]のインデックスを有する、請求項1に記載の方法。
  10. 前記レイヤ間予測のためのサブレイヤの最大数は、[layer_id_in_nuh[i]]のインデックスを有する、請求項1に記載の方法。
  11. 前記レイヤ間予測のためのサブレイヤの最大数は、[i]のインデックスを有する、請求項1に記載の方法。
  12. レイヤ間参照ピクチャのリストRefPicSetInterLayerは、[NumInterLayerRPSPics[LayerIdInVps[nuh_layer_id]]]のインデックスを有する、請求項1に記載の方法。
  13. NumInterLayerRPSPics[LayerIdInVps[nuh_layer_id]]は、NumDirectRefLayers[LayerIdInVps[nuh_layer_id]]と異なるものとして導出される、請求項12に記載の方法。
  14. ビデオ符号化のために構成される電子デバイスであって、
    プロセッサと;
    前記プロセッサと電子通信するメモリであって、前記メモリに格納された命令は、
    レイヤ間予測のためのサブレイヤの最大数のシグナリングを得;
    レイヤ間参照ピクチャセット(RPS)の復号処理を開始し;
    レイヤ間ピクチャの時間識別子の値を得;
    前記時間識別子の値が、前記レイヤ間予測のためのサブレイヤの最大数マイナス1より大きいかどうかを判断し;
    前記レイヤ間ピクチャの前記時間識別子の前記値が、前記レイヤ間予測のためのサブレイヤの最大数マイナス1より大きくない場合、前記レイヤ間ピクチャを前記レイヤ間参照ピクチャセット(RPS)に追加する
    ために実行可能である、メモリと
    を含む、電子デバイス。
  15. 前記レイヤ間参照ピクチャセット(RPS)を参照ピクチャリスト構築のために用いるステップをさらに含む、請求項14に記載の電子デバイス。
  16. 前記レイヤ間ピクチャは、対象レイヤのダイレクト参照レイヤであるレイヤに対応するレイヤ識別子の値を含む、請求項14に記載の電子デバイス。
  17. 前記レイヤ間ピクチャは、対象ピクチャのピクチャオーダーカウントに等しいピクチャオーダーカウントを含む、請求項14に記載の電子デバイス。
  18. 前記レイヤ間予測のためのサブレイヤの最大数の値がゼロであり、前記レイヤ間ピクチャが非RAP(ランダムアクセスポイント)ピクチャである場合、前記レイヤ間ピクチャは、前記レイヤ間参照ピクチャセット(RPS)に追加されない、請求項14に記載の電子デバイス。
  19. 前記レイヤ間予測のためのサブレイヤの最大数の値がゼロであり、前記レイヤ間ピクチャがランダムアクセスポイント(RAP)ピクチャである場合、前記レイヤ間ピクチャは、前記レイヤ間参照ピクチャセット(RPS)に追加される、請求項14に記載の電子デバイス。
  20. 前記レイヤ間予測のためのサブレイヤの最大数は、[LayderIdInVps[RefLayerId[LayerIdInVps[nuh_layer_id]][i]]]のインデックスを有する、請求項14に記載の電子デバイス。
  21. 前記レイヤ間予測のためのサブレイヤの最大数は、[RefLayerId[LayerIdInVps[nuh_layer_id]][i]]のインデックスを有する、請求項14に記載の電子デバイス。
JP2015545211A 2013-04-05 2014-04-02 レイヤ間参照ピクチャセットの復号および参照ピクチャリスト構築 Pending JP2016519853A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/857,990 2013-04-05
US13/857,990 US9532067B2 (en) 2013-04-05 2013-04-05 Decoding of inter-layer reference picture set and reference picture list construction
US201361818804P 2013-05-02 2013-05-02
US61/818,804 2013-05-02
PCT/JP2014/001923 WO2014162739A1 (en) 2013-04-05 2014-04-02 Decoding of inter-layer reference picture set and reference picture list construction

Publications (2)

Publication Number Publication Date
JP2016519853A true JP2016519853A (ja) 2016-07-07
JP2016519853A5 JP2016519853A5 (ja) 2017-04-27

Family

ID=51658047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015545211A Pending JP2016519853A (ja) 2013-04-05 2014-04-02 レイヤ間参照ピクチャセットの復号および参照ピクチャリスト構築

Country Status (5)

Country Link
EP (1) EP2982123A4 (ja)
JP (1) JP2016519853A (ja)
CN (1) CN105122816A (ja)
HK (1) HK1215835A1 (ja)
WO (1) WO2014162739A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016528806A (ja) * 2013-07-15 2016-09-15 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 時間的サブレイヤー情報に基づいたインターレイヤー予測方法及び装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
JP6193365B2 (ja) * 2012-09-30 2017-09-06 華為技術有限公司Huawei Technologies Co.,Ltd. パラメータセットにおけるスケーラビリティ情報のシグナリング
US9325997B2 (en) 2012-11-16 2016-04-26 Huawei Technologies Co., Ltd Signaling scalability information in a parameter set
US9426468B2 (en) 2013-01-04 2016-08-23 Huawei Technologies Co., Ltd. Signaling layer dependency information in a parameter set
KR102609949B1 (ko) 2018-08-17 2023-12-04 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 참조 영상 관리
WO2020059687A1 (en) * 2018-09-21 2020-03-26 Sharp Kabushiki Kaisha Systems and methods for signaling reference pictures in video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
CN103024397B (zh) * 2013-01-07 2015-07-08 华为技术有限公司 确定时域运动矢量预测值的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN, JILL BOYCE, YAN YE, MISKA HANNUKSELA, SHVC DRAFT TEXT 1, JPN6018000921, 20 March 2013 (2013-03-20) *
MISKA HANNUKSELA, HENDRY, DO-KYOUNG KWON, DESIGN CONSIDERED FOR SIGNALLING INTER-LAYER PREDICTION INDICATION, JPN6018000920, 14 January 2013 (2013-01-14) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016528806A (ja) * 2013-07-15 2016-09-15 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 時間的サブレイヤー情報に基づいたインターレイヤー予測方法及び装置
US10397589B2 (en) 2013-07-15 2019-08-27 Electronics And Telecommunications Research Institute Method and apparatus for predicting inter-layer based on temporal sub-layer information
JP2020167733A (ja) * 2013-07-15 2020-10-08 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 時間的サブレイヤー情報に基づいたインターレイヤー予測方法及び装置
US10924752B2 (en) 2013-07-15 2021-02-16 Electronics And Telecommunications Research Institute Method and apparatus for predicting inter-layer based on temporal sub-layer information
JP7171654B2 (ja) 2013-07-15 2022-11-15 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 時間的サブレイヤー情報に基づいたインターレイヤー予測方法及び装置

Also Published As

Publication number Publication date
HK1215835A1 (zh) 2016-09-15
CN105122816A (zh) 2015-12-02
EP2982123A1 (en) 2016-02-10
WO2014162739A1 (en) 2014-10-09
EP2982123A4 (en) 2016-09-07

Similar Documents

Publication Publication Date Title
US10104390B2 (en) Marking pictures for inter-layer prediction
US9532067B2 (en) Decoding of inter-layer reference picture set and reference picture list construction
JP2016519853A (ja) レイヤ間参照ピクチャセットの復号および参照ピクチャリスト構築
US11032548B2 (en) Signaling for reference picture resampling
JP6472442B2 (ja) 復号方法
CN112106371B (zh) 视频解码的方法、装置、可读介质和设备
US11711511B2 (en) Picture prediction method and apparatus
JP6393317B2 (ja) 復号方法及び符号化方法
CN110719469A (zh) 视频编解码方法、设备和存储介质
CN110708541B (zh) 视频解码方法、视频解码器、设备和存储介质
JP2021517392A5 (ja)
WO2015102042A1 (en) Parameter set signaling
US20170150160A1 (en) Bitstream partitions operation
JP2022513791A (ja) アフィン履歴ベース動きベクトル予測子バッファにアクセスする方法及び装置並びにコンピュータプログラム
JP2015507853A (ja) 電子デバイス上での参照ピクチャセット信号オーバーヘッドの削減
JP6192734B2 (ja) 電子デバイスにおける参照ピクチャセットのシグナリングおよび制限
JP2016511591A (ja) ピクチャブロックの符号化及び復号方法、対応するデバイス及びデータストリーム
US20160255353A1 (en) Highest temporal sub-layer list
JP2023521609A (ja) ビデオコーディングのための方法、コンピュータプログラム及び装置
EP4026074A1 (en) Signaling timeout and complete data inputs in cloud workflows
US20230308658A1 (en) Methods of parameter set indication in video streaming
US20230396799A1 (en) Signaling method for scaling parameter in chroma from luma intra prediction mode
WO2023060023A1 (en) Method, apparatus and medium for video processing
WO2023056360A1 (en) Method, apparatus and medium for video processing
WO2015136945A1 (en) Systems and methods for constraining a bitstream

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180724