JP2022538551A - ビデオコーディングレイヤアップスイッチング指示 - Google Patents

ビデオコーディングレイヤアップスイッチング指示 Download PDF

Info

Publication number
JP2022538551A
JP2022538551A JP2021576024A JP2021576024A JP2022538551A JP 2022538551 A JP2022538551 A JP 2022538551A JP 2021576024 A JP2021576024 A JP 2021576024A JP 2021576024 A JP2021576024 A JP 2021576024A JP 2022538551 A JP2022538551 A JP 2022538551A
Authority
JP
Japan
Prior art keywords
picture
layer
indication
identifier value
layer identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021576024A
Other languages
English (en)
Other versions
JP7414856B2 (ja
Inventor
リキャルド ショバーリ,
ミトラ ダムガニアン,
マルティン ペッテション,
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2022538551A publication Critical patent/JP2022538551A/ja
Application granted granted Critical
Publication of JP7414856B2 publication Critical patent/JP7414856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビットストリームからのピクチャのセットを復号するための機構が提供される。本方法は、アクセスユニット中のレイヤアクセス(LA)ピクチャを識別するLA指示を取得することであって、i)LAピクチャが、レイヤを識別するレイヤ識別子値を有し、ii)LAピクチャが復号順序において他のピクチャに先行する、LA指示を取得することを含む。本方法は、LA指示に基づいてビットストリーム中のLA位置を決定することを含む。本方法は、LAピクチャと、復号順序においてLAピクチャに後続する他のピクチャとを復号することを含み、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、LAピクチャを復号するために使用されない。【選択図】図6

Description

本開示はビデオコーディングおよび復号に関する。
1.1 HEVCおよびVVC
高効率ビデオコーディング(HEVC)は、ITU-TおよびMPEGによって標準化されたブロックベースのビデオコーデックである。HEVCビデオコーデックは時間予測と空間予測の両方を利用する。空間予測は、現在ピクチャ内からのイントラ(I)予測を使用して達成される。時間予測は、前に復号された参照ピクチャからのブロックレベルの単方向(P)インター予測または双方向(B)インター予測を使用して達成される。エンコーダにおいて、残差(residual)と呼ばれる、元のピクセルデータと予測ピクセルデータとの間の差は、周波数領域に変換され、量子化され、次いで、同じくエントロピーコーディングされる、たとえば、予測モードおよび動きベクトルなど、必要な予測パラメータと一緒に送信される前に、エントロピーコーディングされる。デコーダは、残差を取得するために、エントロピー復号、逆量子化、および逆方向変換を実行し、次いで、ピクチャを再構成するために残差をイントラ予測またはインター予測に加算する。
MPEGおよびITU-Tは、ジョイントビデオエキスパートチーム(JVET)内でHEVCの後継に関する作業を行っている。開発中のこのビデオコーデックの名称は汎用ビデオコーディング(VVC)である。執筆時点における現行のVVCドラフトはJVETドキュメントJVET-N1001-V7中に見つけられる。
1.2 NALユニット
HEVCとVVCの両方がネットワークアブストラクションレイヤ(NAL)を定義する。HEVCおよびVVCにおけるすべてのデータ(すなわち、ビデオコーディングレイヤ(VCL)データまたは非VCLデータの両方)がNALユニット中にカプセル化される。VCL NALユニットは、サンプル値を表すデータを含んでいる。非VCL NALユニットは、パラメータセットおよび補助拡張情報(supplemental enhancement information)(SEI)メッセージなど、追加の関連付けられたデータを含んでいる。
HEVCにおけるNALユニットは、i)NALユニット中でどのタイプのデータが搬送されるかを識別する、NALユニットのNALユニットタイプと、ii)NALユニットが属するレイヤidと、iii)NALユニットが属する時間IDとを指定する、NALユニットヘッダ(または略して単に「ヘッダ」)から開始する。NALユニットタイプは、NALユニットヘッダ中のnal_unit_typeコードワード中に符号化され、NALユニットタイプは、NALユニットがどのようにパースされ、復号されるべきであるかを示し、定義する。NALユニットの残りのバイトは、NALユニットタイプによって示されるタイプのペイロードである。ビットストリームは一連のNALユニットからなる。HEVCのためのNALユニットヘッダのためのシンタックスは表1に示されている。
Figure 2022538551000002
HEVCにおける各NALユニットの第1のバイトはnal_unit_typeという(コードワードとしても知られる)シンタックス要素を含んでいる。デコーダまたはビットストリームパーサは、第1のバイトを参照し、nal_unit_typeコードワード中に符号化されたNALユニットタイプ値を決定した後に、NALユニットがどのように処理されるか、たとえば、パースされ、復号されるべきであるかを結論付けることができる。
VVCにおいて、NALユニットタイプは異なってシグナリングされるが、VVCにおけるNALユニットヘッダは、NALユニットのNALユニットタイプを導出するためのデコーダについての情報を含んでいる。VVCドラフトの現行バージョンであるJVET-N1001-v7のNALユニットタイプは以下の表2に示されている。
復号順序は、NALユニットが復号されるべき順序であり、それはビットストリーム内のNALユニットの順序と同じである。復号順序は、復号されたピクチャが、表示のためになど、デコーダによって出力されるべき順序である、出力順序とは異なり得る。
Figure 2022538551000003
1.3 時間レイヤ
HEVCにおいて、すべてのピクチャは、そのピクチャが属する時間レイヤを指定するTemporalId値に関連付けられる。TemporalId値は、NALユニットヘッダ中のnuh_temporal_id_plus1シンタックス要素から復号される。HEVCにおいて、エンコーダは、上位時間レイヤが廃棄されたときに、下位レイヤに属するピクチャが完全に復号可能であるように、TemporalId値を設定することが必要とされる。たとえば、エンコーダが、時間レイヤ0と、時間レイヤ1と、時間レイヤ2とを使用するビットストリームを出力したと仮定する。その場合、すべてのレイヤ2NALユニットを削除するか、またはすべてのレイヤ1NALユニットとレイヤ2NALユニットとを削除すると、いかなる問題もなしに復号され得るビットストリームが得られる。このことは、エンコーダがそれに準拠しなければならないHEVC仕様における制限によって保証される。たとえば、時間レイヤのピクチャが上位時間レイヤのピクチャを参照することは許容されない。
1.4 STSAピクチャ
HEVC(および現行のVVCドラフト)では、段階的時間サブレイヤアクセス(step-wise temporal sub-layer access)(STSA)ピクチャと呼ばれるピクチャタイプがある。HEVCでは、2つのタイプのSTSAピクチャ、すなわち、参照ピクチャでもあるSTSAピクチャであるSTSA_Rと、非参照ピクチャであるSTSAピクチャであるSTSA_Nとがある。現行のVVCドラフトでは、ただ1つのタイプのSTSAピクチャが指定されており、STSAピクチャが参照ピクチャであるのか非参照ピクチャであるのかに関する区別はなされない。
STSAピクチャは、時間レイヤを「アップスイッチ」する、すなわち、下位時間レイヤから上位時間レイヤに切り替えることが可能である、ビットストリーム中の位置を示すものである。たとえば、デコーダは、時間レイヤNを復号し得、そのことは、N以下のTemporalIdをもつすべてのNALユニットが復号され、Nよりも大きいTemporalIdをもつすべてのNALユニットは無視されることを意味する。N+1のTemporalIdを有するSTSAピクチャがある場合、デコーダは、そのSTSAピクチャと、N+1以下のTemporalIdを有する、復号順序においてそのSTSAピクチャに後続するすべてのNALユニットとを復号することが可能であることが保証される。
上記で説明した時間レイヤアップスイッチングの特徴は、表3中に列挙され、説明されている、STSAピクチャに関するHEVCにおける以下の3つの主要な制限によって可能にされる。
Figure 2022538551000004
1.5 TSAピクチャ
HEVCはまた、時間サブレイヤアクセス(TSA)ピクチャを指定する。STSAピクチャと同様に、HEVCでは、2つのタイプのTSAピクチャ、すなわち、参照ピクチャでもあるTSAピクチャであるTSA_Rと、非参照ピクチャであるTSAピクチャであるTSA_Nとがある。TSAピクチャは現行のVVCドラフトにおいて指定されていない。
STSAピクチャと同様に、TSAピクチャは、下位時間レイヤから上位時間レイヤにアップスイッチすることが可能である、ビットストリーム中の位置を示すものであるが、各STSAピクチャについて、ただ1つの即時のレイヤが追加され得るSTSAピクチャとは対照的に、TSAピクチャは、任意の上位レイヤにスイッチアップすることが可能であることを示す。
1.6 イントラランダムアクセスポイント(IRAP)ピクチャおよびコード化ビデオシーケンス(CVS)
HEVCにおける単一レイヤコーディングの場合、アクセスユニット(AU)は単一ピクチャのコード化表現である。AUは、いくつかのビデオコーディングレイヤ(VCL)NALユニット、ならびに非VCL NALユニットからなり得る。
HEVCにおけるイントラランダムアクセスポイント(IRAP)ピクチャは、それの復号プロセスにおける予測のために、それ自体以外にいかなるピクチャをも参照しないピクチャである。HEVCにおける復号順序におけるビットストリーム中の第1のピクチャはIRAPピクチャでなければならないが、ビットストリーム中に後でさらにまたIRAPピクチャが現れ得る。HEVCは、i)切断リンクアクセス(BLA)ピクチャ、ii)瞬時デコーダリフレッシュ(IDR)ピクチャ、およびiii)クリーンランダムアクセス(CRA)ピクチャという、3つのタイプのIRAPピクチャを指定する。
コード化ビデオシーケンス(CVS)は、IRAPアクセスユニットから開始し、復号順序における次のIRAPアクセスユニットまでの、ただし、次のIRAPアクセスユニットを含まない、一連のアクセスユニットである。VVCでは、イントラピクチャなしにCVSを開始し得るGRAピクチャもある。
IDRピクチャは常に新しいCVSを開始する。CRAピクチャは、関連付けられたRADLピクチャまたはRASLピクチャを有し得る。CRAピクチャは、参照ピクチャの空でないセットを指定するシンタックス要素を含んでいることがある。CRAは、CVSを開始することもあり、開始しないこともある。
1.7 パラメータセット
HEVCは、i)ピクチャパラメータセット(PPS)、ii)シーケンスパラメータセット(SPS)、およびiii)ビデオパラメータセット(VPS)という、3つのタイプのパラメータセットを指定する。PPSは、ピクチャ全体に共通であるデータを含んでおり、SPSは、コード化ビデオシーケンス(CVS)に共通であるデータを含んでおり、VPSは、複数のCVSに共通であるデータを含んでいる。
VPSおよびSPSのTemporalIdは、HEVCでは0に等しいものとする。PPSのTemporalIdは、そのPPSと同じアクセスユニット中のピクチャのTemporalId以上であるものとする。
VVCでは、適応パラメータセット(APS)および復号パラメータセット(DPS)もある。APSは、複数のスライスのために使用され得る情報を含んでいることがあり、同じピクチャの2つのスライスは異なるAPSを使用することができる。現行のVVCドラフトでは、APSはALFパラメータまたはリシェーパー(reshaper)パラメータを含んでいることがある。DPSは、デコーダがビットストリーム全体において遭遇する、プロファイルおよびレベルに関する「ワーストケース」を指定する情報からなる。
VVCは、PPSのTemporalIdがそのPPSと同じアクセスユニット中のピクチャのTemporalId以上であるものとするというルールを継承している。APSは、VVCでは、同じアクセスユニット中のピクチャのTemporalIdに等しいTemporalIdを有するものとする。
1.8 タイルおよびブリック
ドラフトVVCビデオコーディング規格は、ピクチャを矩形の空間的に独立した領域に分割する、タイルと呼ばれるツールを含む。ドラフトVVCコーディング規格におけるタイルは、HEVCにおいて使用されるタイルと同様であるが、2ステップ区分機構をもつ。タイルを使用すると、VVCにおけるピクチャは、タイルが行と列との交差部である、サンプルの行と列とに区分され得る。たとえば、ピクチャは、そのピクチャについて合計20個のタイルを生じる、4つのタイル行と5つのタイル列とに分割され得る。
タイル構造は、行の厚さと列の幅とを指定することによってPPS中でシグナリングされる。個々の行および列は異なるサイズを有することができるが、区分は、それぞれ左から右におよび上部から下部に、常にピクチャ全体にわたる。
同じピクチャのタイル間の復号依存性はない。このことは、イントラ予測と、エントロピーコーディングのためのコンテキスト選択と、動きベクトル予測とを含む。1つの例外は、インループ(in-loop)フィルタ処理依存性が一般にタイル間で許容されることである。
VVCにおける2ステップタイル区分は、HEVCにおける場合のように、ピクチャをタイルに区分することによって開始する。次いで、各タイルは随意に水平境界によってブリックに区分され得る。現行のVVC仕様ドラフトでは、ブリックにさらに区分されないタイルのためにもブリックという単語が使用される。
1.9 スライス
HEVCにおけるスライスの概念は、ピクチャを個別にコード化されたスライスに分割し、ピクチャ中の1つのスライスの復号は同じピクチャ中の他のスライスとは無関係である。異なるコーディングタイプが同じピクチャのスライスのために使用され得る、すなわち、スライスは、Iスライス、Pスライス、またはBスライスであり得る。スライスの主要な目的は、データ損失の場合に再同期を可能にすることである。
現行バージョンのVVCでは、スライスは、いくつかの完全なタイル、または1つのタイルの完全なブリックの連続シーケンスのみのいずれかからなる。
1.10 参照ピクチャ管理
HEVCにおけるピクチャは、フルPOC値としても知られる、それらのピクチャ順序カウント(POC)値によって識別される。各スライスはコードワードpic_order_cnt_lsbを含んでおり、pic_order_cnt_lsbはピクチャ中のすべてのスライスについて同じであるとする。pic_order_cnt_lsbは、それが固定長コードワードであるので、フルPOCの最下位ビット(lsb)としても知られており、フルPOCの最下位ビットのみがシグナリングされる。エンコーダとデコーダの両方が、POCを追跡し、符号化/復号される各ピクチャにPOC値を割り当てる。pic_order_cnt_lsbは4~16ビットによってシグナリングされ得る。最大pic_order_cnt_lsb値+1に設定される、HEVCにおいて使用される変数MaxPicOrderCntLsbがある。このことは、pic_order_cnt_lsbをシグナリングするために8ビットが使用される場合、最大値は255であり、MaxPicOrderCntLsbは2=256に設定されることを意味する。ピクチャのピクチャ順序カウント値は、HEVCではPicOrderCntValと呼ばれる。通常、現在ピクチャのためのPicOrderCntValは単にPicOrderCntValと呼ばれる。
HEVCにおける参照ピクチャ管理は、参照ピクチャセット(RPS)を使用して行われる。RPSは、スライスヘッダ中でシグナリングされる参照ピクチャのセットである。デコーダがピクチャを復号したとき、そのピクチャはそれのPOC値と一緒に復号ピクチャバッファ(DPB)中に置かれる。サブシーケンスピクチャを復号するとき、デコーダは、スライスヘッダからのRPSシンタックスをパースし、参照ピクチャPOC値のリストを構築する。これらのリストは、DPB中の記憶されたピクチャのPOC値と比較され、RPSは、DPB中のどのピクチャをDPB中に保持し、どのピクチャを削除するかを指定する。RPS中に含まれていないすべてのピクチャはDPBからの削除のためにマーキングされる。DPB中に保持されているピクチャは、復号されたRPS情報に従って、短期参照ピクチャまたは長期参照ピクチャのいずれかとしてマーキングされる。
HEVC参照ピクチャ管理システムの1つの主要な特性は、現在ピクチャが復号される前にそうあるべきであるようなDPBのステータスが、あらゆるスライスのためにシグナリングされることである。これにより、デコーダは、シグナリングされたステータスをDPBの実際のステータスと比較し、いずれかの参照ピクチャが消失したかどうかを決定することが可能になる。
ドラフトVVC仕様における参照ピクチャ管理はHEVCにおける参照ピクチャ管理とはわずかに異なる。HEVCでは、RPSがシグナリングされ、インター予測のために使用すべき参照ピクチャリストがRPSから導出される。ドラフトVVC仕様では、参照ピクチャリスト(RPL)がシグナリングされ、RPSが導出される。しかしながら、両方の仕様において、どのピクチャをDPB中に保持するか、どのピクチャが短期であるべきであり、どのピクチャが長期であるべきであるかのシグナリングが行われる。ピクチャ識別と、消失した参照ピクチャの決定とのためにPOCを使用することは、両方の仕様において同様に行われる。
1.11 HEVCスケーラブルおよびマルチビュー拡張
HEVCは、スケーラブルHEVC(SHVC)拡張およびマルチビューHEVC(MV-HEVC)拡張を含む、いくつかの拡張を指定する。
SHVCは、HEVCの第1バージョンによってすでに与えられている時間スケーラビリティに加えて、空間、SNR、および色域(color gamut)スケーラビリティのサポートを与える。SHVCは、ベースレイヤと、1つまたは複数のスケーラブル拡張レイヤとを定義する。レイヤidはNALユニットヘッダ中のlayer_idコードワードから復号される。ベースレイヤは、0に等しいレイヤidを常に有するが、スケーラブル拡張レイヤは、0よりも大きいレイヤidを有する。拡張レイヤを復号するために、参照されたレイヤ、すなわち、参照されたベースレイヤピクチャ、および潜在的に、他の参照された拡張レイヤピクチャが最初に復号されなければならない。空間スケーラビリティを用いると、より高い解像度をもつレイヤについて、より低い解像度をもつレイヤから予測することが可能である。SNRスケーラビリティにより、より高い品質をもつレイヤが、より低い品質をもつレイヤから予測することが可能になるが、色域スケーラビリティはスケーラブル拡張レイヤ中の拡張された色域を与える。
MV-HEVCは、レイヤ間予測を用いて複数のビューをコーディングするためのサポートを与える。MV-HEVCにおける各ビューは、NALユニットヘッダ中のlayer_idコードワードを用いて識別される。
いくつかの課題が存在する。たとえば、VVC仕様において指定されているSTSAピクチャおよび制限は、STSAピクチャ(および復号順序においてそのSTSAピクチャに後続するピクチャ)が、復号順序においてそのSTSAピクチャに先行し、そのSTSAピクチャと同じ時間レイヤを有するAPSを使用することを、VVCビットストリームが可能にすることを妨げるものがないので、アップスイッチングがすべての場合においてうまく働くことを保証しない。このことは、STSAピクチャがそれの中に位置するアクセスユニット中の第1のSTSA NALユニットに先行する、PPSと、プレフィックスSEIメッセージと、未だ定義されていないNALユニットとにも当てはまる。
別の例として、VVCでは、アップスイッチング指示はVCL NALユニットタイプとして設計され、アクセスユニット中のピクチャによって使用されるべきデータを含んでいる少なくとも1つのAPSを含んでいることがVVCアクセスユニットについて共通であることが予想され得る。APSがVCL NALユニットに先行しなければならず、アップスイッチング指示がVCL NALユニットとともに置かれる場合(そのことはVVCおよびHEVC STSAピクチャの場合に当てはまる)、VCL NALユニットにおいてアップスイッチを実行することは、APSが復号されないことにつながるであろうから、デコーダはVCL NALユニットにおいてアップスイッチを実行することができない。
本開示は、したがって、エンコーダが、レイヤNのアップスイッチしているピクチャ(またはアップスイッチしているピクチャに後続するピクチャ)に、復号順序においてアップスイッチしているピクチャを含んでいるアクセスユニットに先行する、レイヤNの任意のPPS、APSなどを使用させることが許容されないように、ビットストリームに関する制限が加えられた、一実施形態を提案する。すなわち、一実施形態では、アップスイッチングは、STSAピクチャのアクセスユニットに属するすべてのNALユニットが、アップスイッチが行われたときに復号されるように、アクセスユニットの粒度(granularity)において行われる。
本開示の第1の態様によれば、ビットストリームからのピクチャのセットを復号するための方が提供される。本方法は、アクセスユニット中のレイヤアクセス(LA)ピクチャを識別するLA指示を取得することであって、i)LAピクチャが、レイヤを識別するレイヤ識別子値を有し、ii)LAピクチャが復号順序において他のピクチャに先行する、LA指示を取得することを含む。本方法は、LA指示に基づいてビットストリーム中のLA位置を決定することをさらに含む。本方法は、LAピクチャと、復号順序においてLAピクチャに後続する他のピクチャとを復号することを含み、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、LAピクチャを復号するために使用されない。
本開示の第2の態様によれば、ビットストリームからのピクチャのセットを復号するための方法が提供される。本方法は、アクセスユニット中のレイヤアクセス(LA)ピクチャを識別するLA指示を取得することであって、i)LAピクチャが、レイヤを識別するレイヤ識別子値を有し、ii)LAピクチャが復号順序において少なくとも1つのピクチャに先行し、LAピクチャに後続する前記ピクチャが、LAピクチャのレイヤ識別子値以上のレイヤ識別子値を有する、LA指示を取得することを含む。本方法は、LA指示に基づいてビットストリーム中のLA位置を決定することを含む。本方法は、LAピクチャ、またはLAピクチャに後続する前記ピクチャが、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットを使用することを決定することをさらに含む。本方法は、LAピクチャ、または復号順序においてLAピクチャに後続する前記ピクチャが、前記パラメータセットを使用することを決定したことに応答して、エラー状態が存在することを決定することを含む。
本開示の第3の態様によれば、ピクチャを符号化するための方法が提供される。本方法は、レイヤアクセス(LA)ピクチャを符号化することであって、LAピクチャが、レイヤを識別するレイヤ識別子値を有する、LAピクチャを符号化することを含む。本方法は、LAピクチャがデコーダによってLA指示から識別され得るように、LAピクチャを示すLA指示を符号化することであって、ビットストリーム中のLA位置がLA指示に基づいて識別され得る、LAピクチャを示すLA指示を符号化することをさらに含み、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、LAピクチャを符号化するために使用されない。
本開示の第4の態様によれば、ビデオデコーダが提供される。本ビデオデコーダは、アクセスユニット中のレイヤアクセス(LA)ピクチャを識別するLA指示を取得することであって、i)LAピクチャが、レイヤを識別するレイヤ識別子値を有し、ii)LAピクチャが復号順序において他のピクチャに先行する、LA指示を取得することを行うように適応される。本ビデオデコーダは、LA指示に基づいてビットストリーム中のLA位置を決定するようにさらに適応される。本ビデオデコーダは、LAピクチャと、復号順序においてLAピクチャに後続する他のピクチャとを復号するように適応され、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、LAピクチャを復号するために使用されない。
本開示の第5の態様によれば、ビデオデコーダが提供される。本ビデオデコーダは、アクセスユニット中のレイヤアクセス(LA)ピクチャを識別するLA指示を取得することであって、i)LAピクチャが、レイヤを識別するレイヤ識別子値を有し、ii)LAピクチャが、復号順序において少なくとも1つのピクチャに先行し、LAピクチャに後続する前記ピクチャが、LAピクチャのレイヤ識別子値以上のレイヤ識別子値を有する、LA指示を取得することを行うように適応される。本ビデオデコーダは、LA指示に基づいてビットストリーム中のLA位置を決定するように適応される。本ビデオデコーダは、LAピクチャ、またはLAピクチャに後続する前記ピクチャが、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットを使用するかどうかを決定するようにさらに適応される。本ビデオデコーダは、LAピクチャ、または復号順序においてLAピクチャに後続する前記ピクチャが、前記パラメータセットを使用することを決定したことに応答して、エラー状態が存在することを決定するようにさらに適応される。
本開示の第6の態様によれば、ビデオエンコーダが提供される。本ビデオエンコーダは、レイヤアクセス(LA)ピクチャを符号化することであって、LAピクチャが、レイヤを識別するレイヤ識別子値を有する、LAピクチャを符号化することを行うように適応される。本ビデオエンコーダは、LAピクチャがデコーダによってLA指示から識別され得るように、LAピクチャを示すLA指示を符号化することであって、ビットストリーム中のLA位置がLA指示に基づいて識別され得る、LAピクチャを示すLA指示を符号化することを行うようにさらに適応され、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、LAピクチャを符号化するために使用されない。
本開示の第7の態様によれば、命令を含むコンピュータプログラムであって、処理回路によって実行されるとき、処理回路に第1または第2の態様による方法を実行させる、コンピュータプログラムが提供される。
本開示の第8の態様によれば、第5の態様によるコンピュータプログラムを含んでいるキャリアであって、本キャリアが、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体(942)のうちの1つである、キャリアが提供される。
有利には、提案されるアップスイッチング指示機構は、アップスイッチの後にピクチャを復号するために必要とされるすべての必要なデータがデコーダに与えられることを保証する。たとえば、提案される機構はまた、APSデータがSTSAピクチャと同じアクセスユニット中に入れられるという条件で、APSデータがSTSAピクチャと同じ時間レイヤに属するときでも、エンコーダが、STSAピクチャ(および復号順序においてSTSAピクチャに後続するピクチャ)を復号するときに、復号順序においてSTSA VCL NALユニットに先行するAPSデータを使用することを可能にする。
一実施形態によるビデオエンコーダの概略ブロック図である。 一実施形態によるビデオデコーダの概略ブロック図である。 ビットストリームを示す図である。 一実施形態による復号プロセスを示すフローチャートである。 一実施形態による復号プロセスを示すフローチャートである。 一実施形態による復号プロセスを示すフローチャートである。 一実施形態による復号プロセスを示すフローチャートである。 一実施形態による符号化プロセスを示すフローチャートである。 一実施形態による装置のブロック図である。 一実施形態によるビデオ復号装置のブロック図である。 一実施形態によるビデオ符号化装置のブロック図である。 一実施形態によるビデオ復号装置のブロック図である。
本明細書で説明する実施形態はビデオエンコーダまたはビデオデコーダ中で使用され得る。
以下の実施形態において、様々な方法について説明する。2つ以上の実施形態、または実施形態の一部が、本開示で説明する本発明によって依然としてカバーされる新しいソリューションを形成するために組み合わせられ得ることは、当業者によって理解されるべきである。以下の実施形態のうちのいくつかは、異なるレイヤとそれらの識別子とに言及する。説明されるソリューションにおけるレイヤは、たとえば、時間レイヤ、空間レイヤ、品質レイヤ、ビューレイヤ、任意の他のタイプのレイヤ、および異なるレイヤタイプの組合せであり得る。エンコーダまたはデコーダは、レイヤ識別子によって、コーディングされたデータを追跡する。一般に、ラベル識別子は、コーディングされたデータのチャンクのための1つまたは複数のシンタックス要素からなり、シンタックス要素は、レイヤ識別情報を表す整数を表す。以下の実施形態は、同じモノについて「レイヤid」と「レイヤ識別子」とを使用する。
この説明では、「復号するために使用される」または「符号化するために使用される」は、ビットストリーム中の前のデータが復号/符号化プロセス中に参照され、使用されることを意味する。たとえば、ピクチャを符号化するために使用されるパラメータセットは、ビットストリーム中のピクチャに先行するパラメータセットとして解釈され、ピクチャの復号プロセスは、そのパラメータセットからのデータを使用すると解釈され得、したがって、そのパラメータセットが、ピクチャの復号の前にデコーダによって利用可能でなく、復号されていない場合、ピクチャが、デコーダにとって復号することが可能でないことがある。
図1は、一実施形態によるビデオエンコーダ140の概略ブロック図である。ピクセルの現在ブロックは、同じフレーム中または前のフレーム中のピクセルのすでに与えられているブロックから動き推定器150を使用して動き推定を実行することによって予測される。動き推定の結果は、インター予測の場合、参照ブロックに関連付けられた動きベクトルまたは変位ベクトルである。動きベクトルは、ピクセルのブロックのインター予測を出力するために動き補償器150によって使用され得る。イントラ予測器149はピクセルの現在ブロックのイントラ予測を計算する。動き推定器/補償器150およびイントラ予測器149からの出力は、ピクセルの現在ブロックのためにイントラ予測またはインター予測のいずれかを選択するセレクタ151に入力される。セレクタ151からの出力は、同じくピクセルの現在ブロックのピクセル値を受信する、加算器141の形態の誤差計算器に入力される。加算器141は、ピクセルのブロックとそれの予測との間のピクセル値の差として残余誤差を計算し、出力する。誤差は、離散コサイン変換によってなど、変換器142において変換され、量子化器143によって量子化され、その後、エントロピーエンコーダによってなど、エンコーダ144においてコーディングされる。インターコーディングにおいても、ピクセルの現在ブロックのコード化表現を生成するために、推定された動きベクトルがエンコーダ144にもたらされる。ピクセルの現在ブロックについて変換され、量子化された残余誤差も、元の残余誤差を取り出すために逆量子化器145と逆方向変換器146とに与えられる。この誤差は、ピクセルの次のブロックの予測およびコーディングにおいて使用され得るピクセルの参照ブロックを作成するために、動き補償器150またはイントラ予測器149からのブロック予測出力に加算器147によって加算される。この新しい参照ブロックは最初にデブロッキングフィルタ100によって処理される。処理された新しい参照ブロックは、次いで、フレームバッファ148中に一時的に記憶され、そこでその新しい参照ブロックはイントラ予測器149および動き推定器/補償器150にとって利用可能になる。
図2は、いくつかの実施形態によるビデオデコーダ260のブロック図である。デコーダ260は、量子化され、変換された残余誤差のセットを得るためにピクセルのブロックの符号化された表現を復号するための、エントロピーデコーダなど、デコーダ261を含む。これらの残余誤差は、残余誤差のセットを与えるために、逆量子化器262によって逆量子化され、逆方向変換器263によって逆方向変換される。これらの残余誤差は、加算器264によってピクセルの参照ブロックのピクセル値に加算される。参照ブロックは、インター予測が実行されるのかイントラ予測が実行されるのかに応じて動き推定器/補償器267またはイントラ予測器266によって決定される。セレクタ268は、それにより、加算器264と動き推定器/補償器267とイントラ予測器266とに相互接続される。加算器264から出力されたピクセルの得られた復号されたブロックはデブロッキングフィルタ200に入力される。ピクセルのフィルタ処理されたブロックは、デコーダ260から出力され、さらに、復号されるべきピクセルの後続のブロックのためのピクセルの参照ブロックとして使用されるために、フレームバッファ265に一時的に与えられ得る。フレームバッファ265は、それにより、ピクセルの記憶されたブロックを動き推定器/補償器267にとって利用可能にするために動き推定器/補償器267に接続される。加算器264からの出力はまた、ピクセルのフィルタ処理されていない参照ブロックとして使用されるためにイントラ予測器266に入力され得る。
上記のように、VVC仕様において指定されている制限は、STSAピクチャ(および復号順序においてそのSTSAピクチャに後続するピクチャ)が、復号順序においてそのSTSAピクチャに先行し、そのSTSAピクチャと同じ時間レイヤを有するAPSを使用することを、VVCビットストリームが可能にすることを妨げるものがないので、アップスイッチングがすべての場合においてうまく働くことを保証しないことなど、いくつかの課題が存在する。このことは、STSAピクチャがそれの中に位置するアクセスユニット中の第1のSTSA NALユニットに先行する、PPSと、プレフィックスSEIメッセージと、未だ定義されていないNALユニットとにも当てはまる。
以下の図3および表4は、その問題を示す、STSAピクチャを使用するVVCビットストリーム300の一例を示す。その例では、3つのピクチャ(すなわち、ピクチャ301、302、および303)が、それぞれ、それら自体のアクセスユニット中にある。第1のピクチャ301は時間レイヤ0のIDRピクチャであり、2つの後続のピクチャ(すなわち、ピクチャ302および303)の両方が時間レイヤ1のSTSAピクチャである。アクセスユニット2を見ると、そこのSTSA Bピクチャは、ID=4をもつPPSと、ID=8をもつAPSとを使用する。しかしながら、STSA Bピクチャにおけるアップスイッチングは、アクセスユニット1のパラメータセットデータが復号されないこと、および、ID=4をもつPPSも、ID=8をもつAPSも復号されないので、STSA Bピクチャが正しく復号されることができないことを意味する。
Figure 2022538551000005
上記の別の問題は、VVCでは、アップスイッチング指示はVCL NALユニットタイプとして設計され、アクセスユニット中のピクチャによって使用されるべきデータを含んでいる少なくとも1つのAPSを含んでいることがVVCアクセスユニットについて共通であることが予想され得ることである。APSがVCL NALユニットに先行しなければならず、アップスイッチング指示がVCL NALユニットとともに置かれる場合(そのことはVVCおよびHEVC STSAピクチャの場合に当てはまる)、VCL NALユニットにおいてアップスイッチを実行することは、APSが復号されないことにつながるであろうから、デコーダはVCL NALユニットにおいてアップスイッチを実行することができない。図3および表4における例を見ると、STSA Aピクチャは、ビットストリーム中でSTSA Aピクチャに先行する、ID=4をもつPPSデータと、ID=8をもつAPSデータとを使用する。デコーダが、時間レイヤ0のみを復号しており、STSA Aピクチャの第1のVCL NALユニットとしてアップスイッチングポイントを見つけ、STSA Aピクチャから開始する時間レイヤ1 NALユニットを復号することを開始した場合、デコーダはアクセスユニット1のPPSもAPSも復号しないであろう。このことには、STSAピクチャがそれ自体のアクセスユニット中のパラメータセットを参照することができないという望ましくない影響がある。
1.0 LA指示、LAピクチャ、LA位置およびルール
一実施形態では、レイヤアップスイッチング指示がもたらされる。レイヤアップスイッチング指示を本明細書ではレイヤアクセス(LA)指示と呼ぶ。アップスイッチが段階的(step-wise)に実行されなければならないいくつかの実施形態では、LA指示は「段階的LA」(SLA)指示と呼ばれることがある。
HEVCでは、段階的時間サブレイヤアクセス(STSA)ピクチャと時間サブレイヤアクセス(TSA)ピクチャとがあるが、本明細書で説明する実施形態では、LA指示はピクチャである必要がない。また、HEVC STSAおよびTSAピクチャは時間レイヤアップスイッチングを示すが、LA指示は時間レイヤ以外のレイヤのために使用され得る。HEVCと本開示の実施形態との間の別の相違点は、HEVCは、それの2つのアップスイッチしているピクチャ、すなわちTSAおよびSTSAのいずれについてのパラメータセット利用可能性にも対処しないことである。
一実施形態では、LAピクチャはLA指示に関連付けられる。LAピクチャは、LA指示が指定する上位レイヤ中の第1のピクチャであり、アップスイッチ動作がビットストリーム上で実行された場合に復号され得る。一実施形態では、LAピクチャおよび対応するLA指示は、たとえばビットストリーム中の同じアクセスユニット中に一緒に配置される。このことが当てはまるとき、デコーダは、最初にLA指示を見つけることによってLAピクチャを識別し、次いで、LA指示と同じアクセスユニット中のピクチャとしてLAピクチャを導出することができる。すなわち、デコーダがアクセスユニット中のLA指示を見つけた場合、そのアクセスユニット中のピクチャがLAピクチャであることが決定される。アクセスユニット中に2つ以上のピクチャがあり得る実施形態では、各ピクチャがそれ自体のLA指示を有し得る。
一実施形態では、レイヤアクセス(LA)位置と呼ばれるビットストリーム中の位置が導入される。一実施形態では、LA位置はビットストリーム中のLA指示の位置または配置から導出される。別の実施形態では、LA位置は、ビットストリーム中のLA指示の位置または配置と、1つまたは複数のシンタックス要素との組合せから導出される。
一実施形態では、ソースレイヤとターゲットレイヤとが導出される。デコーダは、たとえば、レイヤ0、レイヤ1、およびレイヤ2を復号し得る。デコーダは、次いで、デコーダが、それによって、2に等しいソースレイヤidと、4に等しいターゲットレイヤidとを導出することができる、情報をデコーダに与える、ビットストリーム中のLA指示を見つけ得る。このことは、デコーダはレイヤ2を復号しているので、デコーダはレイヤ4へのアップスイッチを実行し得ることを意味する。デコーダは、代替的に、上位レイヤのデータが下位レイヤのいずれかのデータを復号するために使用されないので、レイヤ3へのアップスイッチを実行し得る。このことは、導出されるターゲットレイヤに等しいかまたは下位のレイヤへのアップスイッチが可能であることを意味する。しかしながら、その例におけるデコーダがLA指示に遭遇し、3に等しいソースレイヤidと、4に等しいターゲットレイヤidとを導出するであろう場合、デコーダがレイヤ3を復号していないので、アップスイッチは不可能である。
一実施形態では、ターゲットレイヤidは、LA指示のレイヤid値として、たとえば、LA指示を含んでいるNALユニットのレイヤid値として、またはLA指示を含んでいるアクセスユニットのレイヤid値として導出される。別の実施形態では、ターゲットレイヤidは、最も高い可能なレイヤid値として、たとえば、ビットストリームのプロファイルのために指定された最上位レイヤid値、または、ビットストリーム中、たとえば、SPS、VPS、またはDPS中のシンタックス要素によって示された最大レイヤid値のいずれかとして導出される。また別の実施形態では、ターゲットレイヤid値は、LA指示に関連付けられたシンタックス要素によってシグナリングされる。ターゲットレイヤid値はソースレイヤid値よりも大きくなるべきである。
一実施形態では、ソースレイヤidはターゲットレイヤid-1として、たとえば、LA指示のレイヤid値-1として導出される。別の実施形態では、ソースレイヤid値は、LA指示に関連付けられたシンタックス要素によってシグナリングされる。
別の実施形態では、i)LA位置に先行し、ii)ソースレイヤid値よりも大きく、ターゲットレイヤid値以下のレイヤid値を有する、データは、LAピクチャ、またはソースレイヤid値よりも大きく、ターゲットレイヤid値以下のレイヤid値を有する、復号順序においてLAピクチャに後続するピクチャを復号するときに使用されることが許容されないことを指定するルールが導入される。
したがって、一実施形態では、デコーダは、ビットストリームからのピクチャのセットを復号するために、以下のプロセス400(図4参照)のすべてのステップまたはステップのサブセットを実行し得る。プロセス400はステップs402から開始し得る。
ステップs402は、デコーダが、アクセスユニット中のLAピクチャを識別するLA指示を取得することを含み、LAピクチャは復号順序において他のピクチャに先行する。
ステップs404は、デコーダが、LA指示に基づいて(たとえば、LA指示のみに基づいて、またはLA指示に少なくとも部分的に基づいて)ビットストリーム中のLA位置を決定することを含む。たとえば、一実施形態では、LA位置はビットストリーム中のLA指示の位置のみに基づいて決定される。別の実施形態では、LA位置は、LA指示によって示された位置に基づいて決定される。
ステップs406は、デコーダが、LA指示に基づいてソースレイヤidとターゲットレイヤidとを決定することを含む。
ステップs408は、デコーダが、LAピクチャと、復号順序においてLAピクチャに後続するピクチャとを復号することを含み、i)LA位置に先行し、ii)ソースレイヤidよりも大きく、ターゲットレイヤid以下のレイヤ識別子値を有する、特定のタイプのパラメータセットは、LAピクチャ、および、ソースレイヤidよりも大きく、ターゲットレイヤid以下のレイヤ識別子値を有する、復号順序においてLAピクチャに後続するピクチャのいずれを復号するためにも使用されない。
いくつかの実施形態では、特定のタイプは、1つまたは複数の特定のタイプのセット中に含まれる任意のタイプであり、1つまたは複数の特定のタイプのセットは適応パラメータセット(APS)タイプを含む。
いくつかの実施形態では、特定のタイプは、1つまたは複数の特定のタイプのセット中に含まれる任意のタイプであり、1つまたは複数の特定のタイプのセットはピクチャパラメータセット(PPS)タイプを含む。
いくつかの実施形態では、特定のタイプは、1つまたは複数の特定のタイプのセット中に含まれる任意のタイプであり、1つまたは複数の特定のタイプのセットはSEIメッセージタイプを含む。
別の一実施形態では、デコーダは、以下のプロセス500(図5参照)のすべてのステップまたはステップのサブセットを実行し得る。プロセス500はステップs502から開始し得る。
ステップs502は、デコーダが、アクセスユニット中のLAピクチャを識別するLA指示を取得することを含み、LAピクチャは復号順序において他のピクチャに先行する。
ステップs404と同じであるステップs504は、デコーダが、LA指示に基づいてビットストリーム中のLA位置を決定することを含む。
ステップs506は、デコーダが、LA指示に基づいてソースレイヤidとターゲットレイヤidとを決定することを含む。
ステップs508は、デコーダが、LAピクチャ(またはソースレイヤidよりも大きく、ターゲットレイヤid以下のレイヤ識別子値をもつ、復号順序においてLAピクチャに後続するピクチャ)が、LA位置に先行し、ソースレイヤidよりも大きく、ターゲットレイヤid以下のレイヤ識別子値を有する、特定のタイプのパラメータセットを使用することを決定することを含む。
ステップs510は、デコーダが、決定に応答して、ビットストリームがコーデック仕様に準拠していないことを決定し、そのことを、ビットエラー、データの損失、または非準拠ビットストリームもしくは非準拠エンコーダとして解釈し得ることを含む。デコーダは、エラーを報告するか、エラー隠蔽を実行するか、または、ビットストリームが準拠していないという知識に基づいて他のアクションを取り得る。
1.1 ターゲットレイヤIDはLAピクチャのレイヤIDに等しい
一実施形態では、ターゲットレイヤidは、LAピクチャのレイヤid値に等しいとして導出され、ソースレイヤidはターゲットレイヤid値-1として導出される。そのような実施形態では、LAピクチャ、またはLAピクチャと同じレイヤに属する、復号順序においてLAピクチャに後続するピクチャのいずれかを復号するときに、LA位置に先行する、LAピクチャと同じレイヤのデータは使用されることが許容されないこととして、ルールが表され得る。このルールは、代替的に、以下の2つのルールを使用して表され得る。
ルール1:現在ピクチャが、復号順序においてLAピクチャに後続するピクチャであり、現在ピクチャとLAピクチャとが同じレイヤidを有するとき、現在ピクチャは、同じく同じレイヤidを有し、LAピクチャに対応するLA位置(たとえば、LAピクチャのアクセスユニットに属する、復号順序における第1のNALユニット)に先行する、パラメータセットを使用も参照もしないものとする。
ルール2:現在ピクチャがLAピクチャであるとき、現在ピクチャは、現在ピクチャのレイヤidに等しいレイヤidを有し、LAピクチャに関連付けられたLA位置(たとえば、LAピクチャのアクセスユニットに属する、復号順序における第1のNALユニット)に先行する、パラメータセットを使用も参照もしないものとする。
したがって、一実施形態では、デコーダは、ビットストリームからのピクチャのセットを復号するために、以下のプロセス600(図6参照)のすべてのステップまたはステップのサブセットを実行し得る。プロセス600はステップs602から開始し得る。
ステップs602は、デコーダが、アクセスユニット中のLAピクチャを識別するLA指示を取得することを含み、i)LAピクチャは、レイヤを識別するレイヤ識別子値を有し、ii)LAピクチャは復号順序において他のピクチャに先行する。
ステップs404と同じであるステップs604は、デコーダが、LA指示に基づいてビットストリーム中のLA位置を決定することを含む。
ステップs606は、デコーダが、LAピクチャと、復号順序においてLAピクチャに後続するピクチャとを復号することを含み、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、LAピクチャを復号するために使用されない。
いくつかの実施形態では、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、i)復号順序においてLAピクチャに後続し、ii)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有する、いかなる他のピクチャをも復号するために使用されない。
いくつかの実施形態では、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、i)復号順序においてLAピクチャに後続し、ii)LAピクチャのレイヤ識別子値よりも大きいレイヤ識別子値を有する、いかなる他のピクチャをも復号するために使用されない。
いくつかの実施形態では、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値よりも大きいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、LAピクチャ、またはLAピクチャのレイヤ識別子値以上のレイヤ識別子値を有する、復号順序においてLAピクチャに後続する他のピクチャのうちのいかなる1つをも復号するために使用されない。
別の一実施形態では、デコーダは、以下のプロセス700(図7参照)のすべてのステップまたはステップのサブセットを実行し得る。プロセス700はステップs702から開始し得る。
ステップs702は、デコーダが、アクセスユニット中のLAピクチャを識別するLA指示を取得することを含み、i)LAピクチャは、レイヤを識別するレイヤ識別子値を有し、ii)LAピクチャは、復号順序において少なくとも1つのピクチャに先行し、LAピクチャに後続する前記ピクチャは、LAピクチャのレイヤ識別子値以上のレイヤ識別子値を有する。
いくつかの実施形態では、LA指示を取得することは、VCL NALユニットタイプからLA指示を導出することを含む。
いくつかの実施形態では、LA指示を取得することは、非VCL NALユニットのNALユニットタイプからLA指示を導出することを含む。
いくつかの実施形態では、LA指示を取得することは、パラメータセット中の1つまたは複数のシンタックス要素からLA指示を導出することを含む。
いくつかの実施形態では、LA指示を取得することは、非VCL NALユニット中の1つまたは複数のシンタックス要素からLA指示を導出することを含む。
いくつかの実施形態では、LA指示を取得することは、アクセスユニット中のアクセスユニットデリミタNALユニット中の1つまたは複数のシンタックス要素からLA指示を導出することを含む。
いくつかの実施形態では、LA指示を取得することは、プレフィックスSEIメッセージ中の1つまたは複数のシンタックス要素からLA指示を導出することを含む。
いくつかの実施形態では、LA指示を取得することは、アクセスユニットがアクセスユニットデリミタNALユニットを含んでいるかどうかを決定することと、アクセスユニットがアクセスユニットデリミタNALユニットを含んでいることを決定したことの結果として、アクセスユニットデリミタNALユニットの1つまたは複数のシンタックス要素からLA指示を導出し、他の場合、VCL NALユニットからLA指示を導出することとを含む。そのような実施形態では、アクセスユニットがアクセスユニットデリミタNALユニットを含んでいる場合、LA位置は、アクセスユニットデリミタの位置に等しいとして導出され、他の場合、LA位置は、アクセスユニット中の第1のVCL NALユニットの位置に等しいとして導出される。
ステップs404と同じであるステップs704は、デコーダが、LA指示に基づいてビットストリーム中のLA位置を決定することを含む。いくつかの実施形態では、LA位置は、LA指示を含んでいるNALユニットの位置として導出される。
ステップs706は、デコーダが、LAピクチャ、またはLAピクチャに後続する前記ピクチャが、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットを使用することを決定することを含む。
ステップs708は、LAピクチャ、または復号順序においてLAピクチャに後続する前記ピクチャが前記パラメータセットを使用することを決定したことに応答して、エラー状態が存在することを決定することを含む。
いくつかの実施形態では、エラー状態が存在することを決定することは、デコーダが、i)ビットエラーが発生したこと、ii)データが失われたこと、iii)ビットストリームが非準拠ビットストリームであること、またはiv)ビットストリームを生成したエンコーダが非準拠エンコーダであることを決定することを含む。
いくつかの実施形態では、プロセス700は、デコーダが、エラー状態が存在することを決定したことの結果として、エラー状態を報告すること、および/またはエラー隠蔽動作を実行することをさらに含む。
いくつかの実施形態では、プロセス700は、デコーダが、LAピクチャ、またはLAピクチャに後続する前記ピクチャが、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値よりも大きいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットを使用することを決定することと、LAピクチャ、またはLAピクチャに後続する前記ピクチャが前記パラメータセットを使用することを決定したことに応答して、エラー状態が存在することを決定することとをさらに含む。
別の一実施形態では、エンコーダは、以下のプロセス800(図8参照)のすべてのステップまたはステップのサブセットを実行し得る。プロセス800はステップs802から開始し得る。
ステップs802は、エンコーダが、LAピクチャを符号化することを含み、LAピクチャは、レイヤを識別するレイヤ識別子値を有する。
ステップs804は、エンコーダが、LAピクチャがデコーダによってLA指示から識別され得るように、LAピクチャを示すLA指示を符号化することであって、ビットストリーム中のLA位置がLA指示に基づいて識別され得、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、LAピクチャを復号するために使用されない。
いくつかの実施形態では、プロセス800は、エンコーダが、復号順序においてLAピクチャに後続する他のピクチャを符号化する、ステップs806をさらに含む。
いくつかの実施形態では、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有する、復号順序においてLAピクチャに後続する他のピクチャのうちのいかなる1つをも符号化するために使用されない。
いくつかの実施形態では、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、LAピクチャのレイヤ識別子値よりも大きいレイヤ識別子値を有する、復号順序においてLAピクチャに後続する他のピクチャのうちのいかなる1つをも符号化するために使用されない。
いくつかの実施形態では、プロセス800は、エンコーダが、LAピクチャと、LAピクチャを識別するLA指示と、復号順序においてLAピクチャに後続する他のピクチャとを出力すること(たとえば、送信すること、または記憶すること)をさらに含む。
1.2 LA位置の導出
上記のように、LA位置はLA指示から導出される。たとえば、一実施形態では、LA位置は、ビットストリーム中のLA指示の位置に基づいて(たとえば、ビットストリーム中のLA指示の位置のみに基づいて、またはビットストリーム中のLA指示の位置に部分的に基づいて)決定される。別の実施形態では、LA位置は、ビットストリーム中のLA指示の位置と、1つまたは複数のシンタックス要素との組合せに基づいて決定される。
一実施形態では、LA位置は、LA指示を含んでいるピクチャのアクセスユニットに属する、復号順序において第1のNALユニットの位置であるように決定される。
別の実施形態では、LA位置は、LAピクチャの位置であるように決定される。
別の実施形態では、LA位置は、復号順序におけるLAピクチャの第1のVCL NALユニットの位置であるように決定される。
別の実施形態では、LA位置は、特定のNALユニットタイプに等しいNALユニットタイプを有する、アクセスユニット中の復号順序における第1のNALユニットの位置であるように決定される。特定のNALユニットタイプは、たとえば、LA、アクセスユニットデリミタ、SPS、PPS、APS、またはSEIメッセージのNALユニットタイプを有し得る。
別の実施形態では、LA位置は、NALユニットタイプの定義されたセットのNALユニットタイプに等しいNALユニットタイプを有する、アクセスユニット中の復号順序における第1のNALユニットの位置であるように決定され、NALユニットタイプの定義されたセットは、少なくとも2つのタイプからなる。たとえば、NALユニットタイプのセットは、PPS NALユニットタイプ、APS NALユニットタイプ、およびLA VCL NALユニットタイプのうちの少なくとも2つからなり得る。すべての3つのタイプがセット中に含まれており、アクセスユニットは、LA VCL NALユニットタイプを含んでいるが、セット中の他のNALユニットタイプのいずれをも含んでいない場合、LA位置は、LA VCL NALユニットの位置であるように導出される。しかしながら、アクセスユニットがすべての3つのタイプを含んでいる場合、LA位置は、アクセスユニット中の復号順序における最初の1つの位置であるように導出される。
いくつかの実施形態では、アクセスユニットは、NALユニットの順序付けされたシーケンスを含み、LA位置は、NALユニットの順序付けされたシーケンスにおける第1のNALユニットの位置であるように決定される。
1.3 パラメータセット詳細
上記のように、様々な実施形態において、a)特定のタイプを有し、b)LAピクチャのレイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)LA位置に先行する、パラメータセットは、LAピクチャ、または、LAピクチャと同じレイヤidを有する、LAピクチャに後続する他のピクチャのいずれかを復号するために使用されない。
一実施形態では、特定のタイプは、1つまたは複数の特定のタイプのセット中に含まれる任意のタイプである。
一実施形態では、1つまたは複数の特定のタイプのセットは適応パラメータセット(APS)タイプを含む。このことは、この実施形態では、LA位置に先行する、LAピクチャと同じレイヤのAPSは、LAピクチャ、およびLAピクチャと同じレイヤに属する、復号順序においてLAピクチャに後続するピクチャのいずれをも復号するときに使用されることが許容されないことを意味する。
一実施形態では、1つまたは複数の特定のタイプのセットはピクチャパラメータセット(PPS)を含む。このことは、LA位置に先行する、LAピクチャと同じレイヤid値を有する、PPSは、LAピクチャ、およびLAピクチャと同じレイヤid値を有する、復号順序においてLAピクチャに後続するピクチャのいずれをも復号するときに使用されることが許容されないことを意味する。
一実施形態では、1つまたは複数の特定のタイプのセットはSEIメッセージを含む。このことは、LAピクチャと同じレイヤ識別子値を有し、LA位置に先行する、SEI中の情報は、LAピクチャ、およびLAピクチャと同じレイヤ識別子値を有する、復号順序においてLAピクチャに後続するピクチャのいずれをも復号するときに使用されることが許容されないことを意味する。
一実施形態では、1つまたは複数の特定のタイプのセットは、少なくとも3つのタイプ、すなわち、SEIメッセージと、PPSと、APSとを含む。
1.4 ビットストリーム中のLA指示の位置
デコーダ(または他のネットワークノード)は、どこでアップスイッチが可能であるかを決定するために、LA指示を探索しながらビットストリームを監視し得る。LA指示の位置およびLA位置は、ビットストリーム中の同じ位置であることもあり、ないこともある。しかしながら、上記で説明したように、LA位置はLA指示に基づいて決定される。
一実施形態では、LA位置とLA指示の位置とは同じである。たとえば、一実施形態では、LA指示の位置は、LA指示を含んでいるNALユニットの位置であり、LA位置は、LA指示を含んでいるこのNALユニットの位置であるように決定される。したがって、たとえば、デコーダは、ビットストリーム中のLA指示を探索し、特定のNALユニット中のLA指示を見つけ(たとえば、特定のNALユニットタイプを識別するNALユニットタイプ値をもつNALユニットを見つけ)、次いで、LA位置を特定のNALユニットの位置に設定するであろう。このようにして、たとえば、LA位置はLA指示の位置のみに基づく。
一実施形態では、LA指示はVCL NALユニットタイプから導出される。一実施形態では、LA指示は非VCL NALユニットタイプから導出される。LA指示を導出するために、既存の非VCL NALユニットタイプが使用されるか、または表2に記載されていない新しいNALユニットタイプが使用される。
そのような新しいNALユニットタイプが導入され、VVCのために使用されるであろう場合、STSA NALユニットタイプが削除され得、新しい別個の非VCL NALユニットタイプが追加されることが可能である。表2中のRSV_NVCL5 NALユニットタイプが、たとえば使用され得、デコーダは、RSV_NVCL5をもつNALユニットとしての、RSV_NVCL5 NALユニットのNALユニットヘッダからのレイヤid値または時間id値に等しいレイヤid値を有する、LA指示を見つけ得る。一実施形態では、RSV_NVCL5 NALユニットのレイヤid値は、RSV_NVCL5 NALユニットと同じアクセスユニット中のピクチャのレイヤidと同等である。一実施形態では、アクセスユニット中のRSV_NVCL5 NALユニットの位置は、アクセスユニット中のいかなるAPS、PPS、SEIメッセージ、およびVCL NALユニットよりも前である。デコーダまたはネットワークノードは、RSV_NVCL5 NALユニットの位置としてのLA位置を導出し得る。
一実施形態では、LA指示は、LA指示のためのペイロードタイプを有するSEIメッセージから導出される。そのようなSEIペイロードタイプが導入され、VVCのために使用されるであろう場合、STSA NALユニットタイプは削除され得、新しいSEIメッセージが代わりに追加される。デコーダは、新しいペイロードタイプをもつSEIメッセージとしての、SEIメッセージNALユニットのNALユニットヘッダからのレイヤid値または時間id値に等しいレイヤid値を有する、LA指示を見つけ得る。一実施形態では、SEIメッセージのレイヤid値は、SEIメッセージと同じアクセスユニット中のピクチャのレイヤidと同等である。一実施形態では、アクセスユニット中のSEIメッセージの位置は、アクセスユニット中のいかなるAPS、PPS、他のSEIメッセージ、およびVCL NALユニットよりも前である。デコーダまたはネットワークノードは、LA指示のペイロードタイプをもつSEIメッセージの位置としてのLA位置を導出し得る。
一実施形態では、LA指示は、非VCL NALユニット中の1つまたは複数のシンタックス要素から導出される。LA指示が配置され得るいくつかのオプションがあり、それらのうちの3つについて以下で説明する。
(1)1つのオプションでは、LA指示は、アクセスユニットデリミタNALユニット中の1つまたは複数のシンタックス要素から導出される。アクセスユニットデリミタNALユニットは、本明細書では、アクセスユニットデリミタNALユニットが属するアクセスユニット中の第1のNALユニットであると仮定される。アクセスユニット中のピクチャは、LAピクチャであるように決定される。1つまたは複数のシンタックス要素は1ビットフラグであり得、フラグの一方の値(たとえば1)は、アクセスユニットデリミタがLA指示を搬送することを指定し、他方の値(たとえば0)は、アクセスユニットデリミタがLA指示を搬送しないことを指定する。デコーダは、アクセスユニットデリミタのシンタックス要素の1つの値としての、アクセスユニットデリミタのNALユニットヘッダからのレイヤid値または時間id値に等しいレイヤid値を有する、LA指示を見つけ得る。一実施形態では、アクセスユニットデリミタNALユニットのレイヤid値は、アクセスユニットデリミタと同じアクセスユニット中のピクチャのレイヤidと同等である。LA位置は、アクセスユニットデリミタの位置であるように導出され得る。
(2)第2のオプションでは、LA指示は、LA指示のためのペイロードタイプを有するSEIメッセージから導出される。そのようなSEIペイロードタイプが導入され、VVCのために使用されるであろう場合、STSA NALユニットタイプが削除され得、新しいSEIメッセージが代わりに追加される。デコーダは、新しい特定のペイロードタイプ値をもつSEIメッセージとしての、SEIメッセージNALユニットのNALユニットヘッダからのレイヤid値または時間id値に等しいレイヤid値を有する、LA指示を見つけ得る。一実施形態では、SEIメッセージのレイヤid値は、SEIメッセージと同じアクセスユニット中のピクチャのレイヤidと同等である。一実施形態では、アクセスユニット中のSEIメッセージの位置は、アクセスユニット中のいかなるAPS、PPS、他のSEIメッセージ、およびVCL NALユニットよりも前である。デコーダは、LA指示のペイロードタイプをもつSEIメッセージの位置としてLA位置を導出し得る。
(3)第3のオプションでは、LA指示は、パラメータセット中の1つまたは複数のシンタックス要素から導出される。シンタックス要素はパラメータセットのフラグまたはタイプとして実現され得る。たとえば、パラメータセットがLA指示を搬送するか否かを指定する、APS中のフラグがあり得る。同様に、パラメータセットがLA指示を搬送するか否かを指定する、PPS中のフラグがあり得る。パラメータセットがLA指示を搬送することをフラグが指定する場合、パラメータセットと同じアクセスユニット中のピクチャは、LAピクチャであるように決定される。デコーダまたはネットワークノードは、パラメータセットのシンタックス要素の1つの値としての、パラメータセットのNALユニットヘッダからのレイヤid値または時間id値に等しいレイヤid値を有する、LA指示を見つけ得る。一実施形態では、パラメータセットのレイヤid値は、パラメータセットと同じアクセスユニット中のピクチャのレイヤidと同等である。LA位置は、LA指示を含んでいるパラメータセットの位置であるように導出され得る。代替的に、一方のタイプがLA指示であり、他方のタイプがLA指示でない、2つのAPS NALユニットタイプまたは2つのPPS NALユニットタイプがあり得る。
一実施形態では、LA指示は、NALユニットヘッダ中のフラグとして導出される。フラグの存在は、NALユニットタイプが条件とされ得、たとえば、フラグは、NALユニットタイプがアクセスユニットデリミタを示すときに存在し得るか、または、フラグは、NALユニットタイプがトレーリングピクチャNALユニットを示すときに存在し得る。
一実施形態では、LA指示は、ピクチャヘッダ中の1つまたは複数のシンタックス要素から、たとえばフラグとして導出される。HEVCにおいても、現行のVVCドラフトにおいても、ピクチャヘッダはないが、ピクチャ中のすべてのスライスについて共通である情報を含んでいるであろう、VVCのためのピクチャヘッダを指定することが説明されている。
VVCドラフトの現行バージョンに上乗せされた一実装形態は以下のように見られ得、ここで、追加されたテキストは、斜体字を使用して示されている。
Figure 2022538551000006
1.5 組合せ
一実施形態では、LA指示は、アクセスユニットデリミタNALユニットの1つまたは複数のシンタックス要素から、またはVCL NALユニットの1つまたは複数のシンタックス要素から導出され得る。たとえば、ビットストリームが、LA指示をもつアクセスユニットを含んでいる場合、アクセスユニット中のすべてのVCL NALユニットはLA指示を搬送する。さらに、LA指示をもつアクセスユニットがアクセスユニットデリミタNALユニットを含んでいる場合、アクセスユニットデリミタNALユニットもLA指示を搬送する。
特定のアップスイッチング指示のためのビットストリームを探索または走査するネットワークノード(たとえば、デコーダ、または他のネットワークノード)は、一実施形態による、すべての以下のステップまたは以下のステップのサブセットを実行し得る。
1-ネットワークノードが現在復号しているレイヤid値+1としてターゲットレイヤid値を決定するか、またはネットワークノードが現在転送しているレイヤid値+1としてターゲットレイヤid値を決定する。
2-復号順序における各NALユニットについて、以下を行う。
2(a)-アップスイッチが行われた場合、NALユニットがターゲットレイヤid値以下のレイヤid値を有する場合にのみ、NALユニットを復号または転送する。
2(b)-アップスイッチが行われておらず、NALユニットがアクセスユニットデリミタである場合、以下を行う。
2(b)(i)アクセスユニットデリミタがLA指示を含んでいるかどうかを決定するために、アクセスユニットデリミタ中の1つまたは複数のシンタックス要素を検査する。
2(b)(ii)アクセスユニットデリミタがLA指示を含んでいる場合、アクセスユニットデリミタの1つまたは複数のシンタックス要素からアクセスユニットデリミタのレイヤidを決定し、レイヤid値がターゲットレイヤidに等しいかどうかを検査する。
2(b)(iii)レイヤid値がターゲットレイヤidに等しい場合、アクセスユニットNALユニットを復号および/または転送し、アップスイッチが行われたものとみなす。
2(c)他の場合、すなわち、アップスイッチが行われておらず、NALユニットがVCL NALユニットである場合、以下を行う。
2(c)(i)VCL NALユニットがLA指示を含んでいるかどうかを決定するために、VCL NALユニットの1つまたは複数のシンタックス要素を検査する。
2(c)(ii)VCL NALユニットがLA指示を含んでいる場合、VCL NALユニットの1つまたは複数のシンタックス要素からVCL NALユニットのレイヤidを決定し、レイヤid値がターゲットレイヤidに等しいかどうかを検査する。
2(c)(iii)レイヤid値がターゲットレイヤidに等しい場合、VCL NALユニットを復号および/または転送し、アップスイッチが行われたものとみなす。
言い換えれば、LA指示は、アクセスユニットがアクセスユニットデリミタNALユニットを含んでいるかどうかを決定することによって導出され、アクセスユニットがアクセスユニットデリミタNALユニットを含んでいる場合、LA指示は、アクセスユニットデリミタNALユニットの1つまたは複数のシンタックス要素から導出され、他の場合、LA指示はVCL NALユニットから導出される。
アクセスユニットがアクセスユニットデリミタNALユニットを含んでいる場合、LA位置は、アクセスユニットデリミタの位置に等しいとして導出され得、他の場合、LA位置は、アクセスユニット中の第1のVCL NALユニットの位置に等しいとして導出され得る。
VVCドラフトの現行バージョンに上乗せされた一実装形態は以下のように見られ得、ここで、追加されたテキストは斜体字を使用して示されている。
Figure 2022538551000007
1.6 複数のLA指示
一実施形態では、以下のように導出される少なくとも3つのLA指示がある。第1のLA指示は、VCL NALユニットの1つまたは複数のシンタックス要素から導出される。第2のLA指示は、APS NALユニットの1つまたは複数のシンタックス要素から導出される。第3のLA指示は、PPS NALユニットの1つまたは複数のシンタックス要素から導出される。アクセスユニットがLA指示を搬送する場合、すべてのVCL NALユニットがLA指示を搬送しなければならない。アクセスユニットがAPSを含んでいる場合、そのAPSもLA指示を搬送しなければならない。同様に、アクセスユニットがPPSを含んでいる場合、そのPPSもLA指示を搬送しなければならない。アクセスユニットがLA指示を搬送しない場合、そのアクセスユニット中のNALユニットはLA指示を搬送しないものとする。
ネットワークノード(たとえばデコーダ)は、次いで、APS、PPS、およびVCL NALユニット中のLA指示を探す。LA指示がそれの中で見つけられるNALユニットが、それのためにターゲットレイヤidに等しいレイヤid値を有する、復号順序における第1のLA指示が見つけられたとき、デコーダは、ターゲットレイヤNALユニットを復号することを開始する(またはネットワークノードは、ターゲットレイヤNALユニットを転送することを開始する)。
この実施形態では、LA位置は、LA指示がそれの中で見つけられるNALユニットの位置として導出され得る。
1.7 追加の変形態
一実施形態では、レイヤ識別子は、スケーラブルまたはマルチビューレイヤ識別子である、時間レイヤ識別子である。
一実施形態では、CVS中にLA指示があるか否かを指定する、SPSなどのパラメータセット中のフラグがある。フラグの1つの値は、CVS中にLA指示がないことを指定する。フラグの別の値は、CVS中にLA指示があり得ることを指定する。
たとえば、一実施形態では、ビットストリーム中の第1のパラメータセット(たとえばSPSまたはPPS)は、ビットストリーム中の第1のCVS中にLA指示がないことを指定する情報(たとえばフラグ)を含み、ビットストリーム中の第2のパラメータセットは、ビットストリーム中の第2のCVSがLA指示を含んでいることがあることを指定する情報(たとえばフラグ)を含む。
1.8 LA位置およびピクチャのグループごとに1つの指示
この実施形態では、LA指示は、SPSまたはVPS中のフラグなど、パラメータセット中の1つまたは複数のシンタックス要素から導出され得、LA指示は、ビットストリーム中のいくつかのLA位置を導出するために使用され、したがって、たとえば、特定のNALユニットタイプ、もしくは特定のレイヤid値、または特定のNALユニットタイプと特定のレイヤidとの組合せをもつ、ビットストリーム中のアクセスユニットの第1のNALユニットがビットストリーム中のそれらのLA位置として導出され、ビットストリーム中のそれらのアクセスユニット中のピクチャがLAピクチャとして導出される。
この実施形態の1つのバージョンでは、パラメータセット中の1つまたは複数のコードワードは、特定のレイヤidに等しいレイヤidを有する、アクセスユニット中の復号順序における第1のNALユニットに等しいとして、ビットストリーム中のLA位置を示す。この変形態のための一例では、エンコーダが、SPS中のフラグを特定の値に設定し、シンタックス要素値を使用して特定のレイヤidをシグナリングすることは、その特定のレイヤidに等しいレイヤidを有する、ビットストリーム中のすべてのアクセスユニットについて、レイヤアップスイッチングが許容されることを示す。同様に、デコーダが、そのフラグを特定の値に復号し、特定のレイヤidを表すシンタックス要素を復号することは、その特定のレイヤid値のすべてのアクセスユニットについて、レイヤアップスイッチングが許容されることをデコーダに示す。デコーダは、特定のレイヤidに等しいレイヤidを有するピクチャにおける特定のレイヤから上位レイヤへのアップスイッチングを実行し得る。
1.9 デコーダがそれにアップスイッチし得るターゲットレイヤを明示的に指定する
アップスイッチは段階的に実行される必要がない、すなわち、1レイヤのみの増分である必要がない。そのような実施形態では、どの時間レイヤにアップスイッチすることが可能であるか、すなわち、可能なターゲットレイヤはどれであるかが明示的に指定され得る。ターゲットレイヤのセットは、特定のルールによって定義されるか、または、ビットストリーム中、たとえば、アクセスユニットデリミタ中、新しいLA非VCL NALユニット中、またはSEIメッセージ中の1つまたは複数のシンタックス要素によって示され得る。
1つまたは複数のシンタックス要素は、たとえば、HEVCにおけるTSAピクチャのように、最高レイヤ、すなわちビットストリーム中の最上位レイヤにスイッチアップすることが可能であることを示し得る。
一実施形態では、1つまたは複数のシンタックス要素は、デコーダがそれにスイッチアップし得る最高レイヤを示す。たとえば、ビットストリームがレイヤ0~レイヤ5を含み、デコーダがレイヤ0とレイヤ1とを復号する場合、1つまたは複数のシンタックス要素は4の最高ターゲットレイヤを示し得、そのことは、デコーダはレイヤ0~レイヤ4を復号し得るが、レイヤ5を復号しないことを意味する。1つまたは複数のシンタックス要素は、別のレイヤ、たとえばLA指示のレイヤに対するデルタ値であり得るか、または絶対的な最高ターゲットレイヤであり得る。
この実施形態の一例では、最高ターゲットレイヤはアクセスユニットデリミタ中でシグナリングされ、フラグ(layer_access_indication_flag)は、LAが許容されるかどうかを示し、LAが許容されることをフラグが示す場合、アクセスユニットデリミタは、LAがそれに対して許容されるターゲットレイヤを示す情報をも含んでいる。たとえば、アクセスユニットデリミタは以下のように定義され得る。
Figure 2022538551000008
この実施形態の別の例では、デルタ最高ターゲットレイヤのみがアクセスユニットデリミタ中でシグナリングされ、0デルタは、レイヤアクセスアップスイッチングが許容されないことを意味する。
Figure 2022538551000009
この実施形態の別の例では、デルタ最高ターゲットレイヤは特定の非VCLレイヤアクセス(LA)NALユニット中でシグナリングされ、特定のNALユニットの存在は、それがアップスイッチすることが可能であることと、最高ターゲットレイヤが以下の明示的なコードワードによって指定されることとを示す。
Figure 2022538551000010
この実施形態の別の変形態では、1つまたは複数のシンタックス要素は、それにアップスイッチすることが可能であるターゲットレイヤのスパースセット(sparse set)をも定義し得る。たとえば、ビットストリームがレイヤ0~レイヤ5を含み、デコーダがレイヤ0とレイヤ1とを復号する場合、1つまたは複数のシンタックス要素は、ターゲットレイヤ3およびターゲットレイヤ5にアップスイッチすることが可能であることを示し得、そのことは、デコーダが、レイヤ0と、レイヤ1と、レイヤ3と、レイヤ5とを復号し得るが、レイヤ2およびレイヤ4を復号しないことを意味する。
1.10 パラメータセットをバッファする
一実施形態では、アクセスユニットは、LA指示を含んでいるNALユニットを含み、パラメータセットを含んでいるNALユニットをさらに含み、プロセス600は、デコーダが、LA指示を含んでいるNALユニットを受信する前に、パラメータセットを含んでいるNALユニットを受信することと、デコーダがパラメータセットをバッファする(すなわち記憶する)こととをさらに含む。いくつかの実施形態では、LA位置は、パラメータセットを含んでいるNALユニットのビットストリーム中の位置である。
一実施形態では、デコーダは、アクセスユニット中のピクチャが、アクセスユニットの一部であるパラメータセットを使用するか否かをデコーダが決定するまで、そのパラメータセットをバッファし得る。デコーダが、アクセスユニット中のピクチャがパラメータセットを使用することを決定した場合、デコーダは、バッファされたパラメータセットを復号し、ピクチャを復号するために、復号されたパラメータセットを使用する。デコーダが、アクセスユニット中のピクチャがパラメータセットを使用しないことを決定した場合、デコーダは、記憶されたパラメータセットを廃棄する。
図9は、ビデオエンコーダ140またはビデオデコーダ260を実装するための、いくつかの実施形態による装置900のブロック図である。図9に示されているように、装置900は、1つまたは複数のプロセッサ(P)955(たとえば、汎用マイクロプロセッサ、および/または、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)など、1つまたは複数の他のプロセッサ)を含み得る処理回路(PC)902であって、そのプロセッサが、単一のハウジング中または単一のデータセンター中にコロケートされ得るか、または地理的に分散され得る(すなわち、装置900は分散コンピューティング装置であり得る)、処理回路(PC)902と、装置900が、ネットワーク110(たとえばインターネットプロトコル(IP)ネットワーク)に接続された他のノードにデータを送信することと、ネットワーク110に接続された他のノードからデータを受信することとを可能にするための送信機(Tx)945および受信機(Rx)947を備える、ネットワークインターフェース948であって、ネットワークインターフェース948がネットワーク110に(直接または間接的に)接続される(たとえば、ネットワークインターフェース948はワイヤレスでネットワーク110に接続され得、その場合、ネットワークインターフェース948はアンテナ構成に接続される)、ネットワークインターフェース948と、1つまたは複数の不揮発性記憶デバイスおよび/または1つまたは複数の揮発性記憶デバイスを含み得る、(「データ記憶システム」とも呼ばれる)ローカル記憶ユニット908とを備え得る。PC902がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品(CPP)941が提供され得る。CPP941は、コンピュータ可読命令(CRI)944を含むコンピュータプログラム(CP)943を記憶するコンピュータ可読媒体(CRM)942を含む。CRM942は、磁気媒体(たとえばハードディスク)、光媒体、メモリデバイス(たとえば、ランダムアクセスメモリ、フラッシュメモリ)など、非一時的コンピュータ可読媒体であり得る。いくつかの実施形態では、コンピュータプログラム943のCRI944は、PC902によって実行されるとき、CRIが、装置900に、本明細書で説明したステップ(たとえば、フローチャートを参照しながら本明細書で説明したステップ)を実行させるように設定される。他の実施形態では、装置900は、コードの必要なしに、本明細書で説明したステップを実行するように設定され得る。すなわち、たとえば、PC902は1つまたは複数のASICのみからなり得る。したがって、本明細書で説明した実施形態の特徴はハードウェアおよび/またはソフトウェアにおいて実装され得る。
図10Aは、一実施形態による、ビデオ復号装置1001の機能ユニットを示す。
図10Bは、一実施形態による、ビデオ符号化装置1021の機能ユニットを示す。
図10Cは、一実施形態による、ビデオ復号装置1031の機能ユニットを示す。
略号
ALF 適応ループフィルタ
APS 適応パラメータセット
AUD アクセスユニットデリミタ
BLA 切断リンクアクセス
CRA クリーンランダムアクセス
CVS コード化ビデオシーケンス
CVSS CVS開始
CU コーディングユニット
DPS デコーダパラメータセット
GRA 漸進的ランダムアクセス
HEVC 高効率ビデオコーディング
IDR 瞬時復号リフレッシュ
IRAP イントラランダムアクセスポイント
JVET ジョイントビデオエクスプロラトリーチーム
LA レイヤアクセス
LMCS ルーママッピングおよびクロマスケーリング
MPEG モーションピクチャエキスパーツグループ
NAL ネットワークアブストラクションレイヤ
PES パケット化エレメンタリストリーム
PPS ピクチャパラメータセット
RADL ランダムアクセス復号可能リーディング
RASL ランダムアクセススキップリーディング
SPS シーケンスパラメータセット
STSA 段階的時間サブレイヤアクセス
TSA 時間サブレイヤアクセス
VCL ビデオコーディングレイヤ
VPS ビデオパラメータセット
VVC 汎用ビデオコーディング
SEI 補助拡張レイヤ
様々な実施形態について本明細書(添付された寄与文書を含む)で説明したが、それらは限定ではなく、例としてのみ提示されたことを理解すべきである。したがって、本開示の広さおよび範囲は、上記で説明した例示的な実施形態のいずれかによって限定されるべきでない。その上、上記で説明した要素のすべての可能な変形形態におけるそれらの要素のいかなる組合せも、本明細書で別段に規定されているか、または別段に文脈によって明らかに否定されない限り、本開示によって包含される。
さらに、上記で説明し、図面に示したプロセスはステップのシーケンスとして示されているが、このことは単に例示のために行った。したがって、いくつかのステップは追加され得、いくつかのステップは省略され得、ステップの順序は並べ替えられ得、いくつかのステップは並行して実行され得ることが企図される。

Claims (30)

  1. ビットストリームからのピクチャのセットを復号するための方法(600)であって、前記方法は、
    アクセスユニット中のレイヤアクセス(LA)ピクチャを識別するLA指示を取得すること(s602)であって、i)前記LAピクチャが、レイヤを識別するレイヤ識別子値を有し、ii)前記LAピクチャが復号順序において他のピクチャに先行する、LA指示を取得すること(s602)と、
    前記LA指示に基づいて前記ビットストリーム中のLA位置を決定すること(s604)と、
    前記LAピクチャと、前記復号順序において前記LAピクチャに後続する前記他のピクチャとを復号すること(s606)と
    を含み、
    a)特定のタイプを有し、b)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)前記LA位置に先行する、パラメータセットが、前記LAピクチャを復号するために使用されない、方法(600)。
  2. 前記LA指示が段階的LA(SLA)指示であり、前記LAピクチャがSLAピクチャである、請求項1に記載の方法。
  3. a)特定のタイプを有し、b)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)前記LA位置に先行する、パラメータセットが、i)前記復号順序において前記LAピクチャに後続し、かつ、ii)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有する、いかなる他のピクチャをも復号するために使用されない、請求項1または2に記載の方法。
  4. ビットストリームからピクチャのセットを復号するための方法(700)であって、前記方法は、
    アクセスユニット中のレイヤアクセス(LA)ピクチャを識別するLA指示を取得すること(s702)であって、i)前記LAピクチャが、レイヤを識別するレイヤ識別子値を有し、ii)前記LAピクチャが、復号順序において少なくとも1つのピクチャに先行し、前記LAピクチャに後続する前記ピクチャが、前記LAピクチャの前記レイヤ識別子値以上のレイヤ識別子値を有する、LA指示を取得すること(s702)と、
    前記LA指示に基づいて前記ビットストリーム中のLA位置を決定すること(s704)と、
    前記LAピクチャ、または前記LAピクチャに後続する前記ピクチャが、a)特定のタイプを有し、b)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)前記LA位置に先行する、パラメータセットを使用することを決定すること(s706)と
    前記LAピクチャ、または前記復号順序において前記LAピクチャに後続する前記ピクチャが、前記パラメータセットを使用することを決定したことに応答して、エラー状態が存在することを決定すること(s708)と
    を含む、方法(700)。
  5. 前記エラー状態が存在することを決定したことの結果として、
    前記エラー状態を報告すること、および/または
    エラー隠蔽動作を実行すること
    をさらに含む、請求項4に記載の方法。
  6. ピクチャを符号化するための方法(800)であって、前記方法は、
    レイヤアクセス(LA)ピクチャを符号化すること(s802)であって、前記LAピクチャが、レイヤを識別するレイヤ識別子値を有する、LAピクチャを符号化すること(s802)と、
    前記LAピクチャがデコーダによってLA指示から識別され得るように、前記LAピクチャを示す前記LA指示を符号化することであって、ビットストリーム中のLA位置が前記LA指示に基づいて識別され得る、前記LAピクチャを示す前記LA指示を符号化することと
    を含み、
    a)特定のタイプを有し、b)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)前記LA位置に先行する、パラメータセットが、前記LAピクチャを符号化するために使用されない、方法(800)。
  7. エンコーダが、前記LAピクチャと、前記LAピクチャを識別する前記LA指示と、復号順序において前記LAピクチャに後続する他のピクチャとを出力することをさらに含む、請求項6に記載の方法。
  8. 復号順序において前記LAピクチャに後続する他のピクチャを符号化すること(s806)をさらに含み、
    a)特定のタイプを有し、b)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)前記LA位置に先行する、パラメータセットが、前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有する、前記復号順序において前記LAピクチャに後続する前記他のピクチャのうちのいかなる1つをも符号化するために使用されない、請求項6または7に記載の方法。
  9. 前記アクセスユニットがNALユニットの順序付けされたシーケンスを含み、
    前記LA位置が、NALユニットの前記順序付けされたシーケンス中の第1のNALユニットの位置であるように決定される、請求項1から8のいずれか一項に記載の方法。
  10. 前記特定のタイプが、1つまたは複数の特定のタイプのセット中に含まれる任意のタイプであり、1つまたは複数の特定のタイプの前記セットが適応パラメータセット(APS)タイプを含む、請求項1から9のいずれか一項に記載の方法。
  11. 前記特定のタイプが、1つまたは複数の特定のタイプのセット中に含まれる任意のタイプであり、1つまたは複数の特定のタイプの前記セットがピクチャパラメータセット(PPS)タイプを含む、請求項1から10のいずれか一項に記載の方法。
  12. 前記LA指示を取得することが、VCL NALユニットタイプから前記LA指示を導出することを含む、請求項1から11のいずれか一項に記載の方法。
  13. 前記LA指示を導出することが、前記LAピクチャの前記レイヤ識別子値を導出することを含む、請求項12に記載の方法。
  14. 前記LAピクチャの前記レイヤ識別子値が、時間レイヤを識別する時間レイヤ識別子値である、請求項1から13のいずれか一項に記載の方法。
  15. 前記LAピクチャの前記レイヤ識別子値が、スケーラブルレイヤを識別するスケーラブルレイヤ識別子値、または、マルチビューレイヤを識別するマルチビューレイヤ識別子値である、請求項1から13のいずれか一項に記載の方法。
  16. 前記LAピクチャの前記レイヤ識別子値は、前記LAピクチャが属するレイヤのレイヤ値に等しい、実施形態1から15のいずれか一項に記載の方法。
  17. 前記LAピクチャの前記レイヤ識別子値は、前記LAピクチャが属するレイヤのレイヤ値に等しくない、実施形態1から15のいずれか一項に記載の方法。
  18. 前記アクセスユニットが、前記LA指示を含んでいるNALユニットを含み、パラメータセットを含んでいるNALユニットをさらに含み、
    前記方法は、前記デコーダが、前記LA指示を含んでいる前記NALユニットを受信する前に、前記パラメータセットを含んでいる前記NALユニットを受信することと、前記デコーダが、前記パラメータセットをバッファすることとをさらに含む、請求項1から17のいずれか一項に記載の方法。
  19. 前記LA位置が、前記パラメータセットを含んでいる前記NALユニットのビットストリーム中の位置である、請求項18に記載の方法。
  20. 前記アクセスユニット中の前記ピクチャが前記バッファされたパラメータセットを使用することを決定することと、前記アクセスユニット中の前記ピクチャが前記バッファされたパラメータセットを使用することを決定した後に、前記バッファされたパラメータセットを復号することとをさらに含む、請求項18または19に記載の方法。
  21. ビデオデコーダ(260、900、1001)であって、前記ビデオデコーダは、
    アクセスユニット中のレイヤアクセス(LA)ピクチャを識別するLA指示を取得することであって、i)前記LAピクチャが、レイヤを識別するレイヤ識別子値を有し、ii)前記LAピクチャが復号順序において他のピクチャに先行する、LA指示を取得することと、
    前記LA指示に基づいて前記ビットストリーム中のLA位置を決定することと、
    前記LAピクチャと、復号順序において前記LAピクチャに後続する前記他のピクチャとを復号することと
    を行うように適応され、
    a)特定のタイプを有し、b)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)前記LA位置に先行する、パラメータセットが、前記LAピクチャを復号するために使用されない、ビデオデコーダ(260、900、1001)。
  22. 前記LA指示が段階的LA(SLA)指示であり、前記LAピクチャがSLAピクチャである、請求項21に記載のビデオデコーダ。
  23. a)特定のタイプを有し、b)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)前記LA位置に先行する、パラメータセットが、i)前記復号順序において前記LAピクチャに後続し、かつ、ii)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有する、いかなる他のピクチャをも復号するために使用されない、請求項21または22に記載のビデオデコーダ。
  24. ビデオデコーダ(260、900、1001)であって、前記ビデオデコーダは、
    アクセスユニット中のレイヤアクセス(LA)ピクチャを識別するLA指示を取得することであって、i)前記LAピクチャが、レイヤを識別するレイヤ識別子値を有し、ii)前記LAピクチャが、復号順序において少なくとも1つのピクチャに先行し、前記LAピクチャに後続する前記ピクチャが、前記LAピクチャの前記レイヤ識別子値以上のレイヤ識別子値を有する、LA指示を取得することと、
    前記LA指示に基づいて前記ビットストリーム中のLA位置を決定することと、
    前記LAピクチャ、または前記LAピクチャに後続する前記ピクチャが、a)特定のタイプを有し、b)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)前記LA位置に先行する、パラメータセットを使用するかどうかを決定することと、
    前記LAピクチャ、または復号順序において前記LAピクチャに後続する前記ピクチャが、前記パラメータセットを使用することを決定したことに応答して、エラー状態が存在することを決定することと
    を行うように適応されている、ビデオデコーダ(260、900、1001)。
  25. 前記エラー状態が存在することを決定したことの結果として、
    前記エラー状態を報告すること、および/または
    エラー隠蔽動作を実行すること
    を行うようにさらに適応されている、請求項24に記載のビデオデコーダ。
  26. ビデオエンコーダ(140、900、1021)であって、前記ビデオエンコーダは、
    レイヤアクセス(LA)ピクチャを符号化することであって、前記LAピクチャが、レイヤを識別するレイヤ識別子値を有する、LAピクチャを符号化することと、
    前記LAピクチャがデコーダによってLA指示から識別され得るように、前記LAピクチャを示す前記LA指示を符号化することであって、ビットストリーム中のLA位置が前記LA指示に基づいて識別され得る、前記LAピクチャを示す前記LA指示を符号化することと
    を行うように適応され、
    a)特定のタイプを有し、b)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)前記LA位置に先行する、パラメータセットが、前記LAピクチャを符号化するために使用されない、ビデオエンコーダ(140、900、1021)。
  27. 前記LAピクチャと、前記LAピクチャを識別する前記LA指示と、復号順序において前記LAピクチャに後続する他のピクチャとを出力するようにさらに適応されている、請求項26に記載のビデオエンコーダ。
  28. 復号順序において前記LAピクチャに後続する他のピクチャを符号化することを行うようにさらに適応され、
    a)特定のタイプを有し、b)前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有し、かつ、c)前記LA位置に先行する、パラメータセットが、前記LAピクチャの前記レイヤ識別子値に等しいレイヤ識別子値を有する、前記復号順序において前記LAピクチャに後続する前記他のピクチャのうちのいかなる1つをも符号化するために使用されない、請求項26または27に記載のビデオエンコーダ。
  29. 命令(944)を含むコンピュータプログラム(943)であって、処理回路(902)によって実行されるとき、前記処理回路(902)に請求項1から20のいずれか一項に記載の方法を実行させる、コンピュータプログラム(943)。
  30. 請求項29に記載のコンピュータプログラムを含んでいるキャリアであって、前記キャリアが、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体(942)のうちの1つである、キャリア。
JP2021576024A 2019-06-21 2020-05-20 ビデオコーディングレイヤアップスイッチング指示 Active JP7414856B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962864683P 2019-06-21 2019-06-21
US62/864,683 2019-06-21
PCT/SE2020/050522 WO2020256615A1 (en) 2019-06-21 2020-05-20 Video coding layer up-switching indication

Publications (2)

Publication Number Publication Date
JP2022538551A true JP2022538551A (ja) 2022-09-05
JP7414856B2 JP7414856B2 (ja) 2024-01-16

Family

ID=74040621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021576024A Active JP7414856B2 (ja) 2019-06-21 2020-05-20 ビデオコーディングレイヤアップスイッチング指示

Country Status (7)

Country Link
US (1) US20220360787A1 (ja)
EP (1) EP3987792A4 (ja)
JP (1) JP7414856B2 (ja)
CN (1) CN114009032A (ja)
BR (1) BR112021024418A2 (ja)
MX (1) MX2021015641A (ja)
WO (1) WO2020256615A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160044309A1 (en) * 2013-04-05 2016-02-11 Samsung Electronics Co., Ltd. Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor
JP2016540414A (ja) * 2013-10-23 2016-12-22 クゥアルコム・インコーポレイテッドQualcomm Incorporated マルチレイヤビデオファイルフォーマットの設計
WO2019069968A1 (ja) * 2017-10-06 2019-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
JP2019520742A (ja) * 2016-05-24 2019-07-18 クゥアルコム・インコーポレイテッドQualcomm Incorporated サンプルエントリーおよびランダムアクセス

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014003379A1 (ko) * 2012-06-24 2014-01-03 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
WO2014053517A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using derivation of subblock subdivision for prediction from base layer
US10375405B2 (en) * 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
CN109982078B (zh) * 2012-12-14 2023-03-28 Lg 电子株式会社 编码视频的方法、解码视频的方法以及使用其的装置
US9906804B2 (en) * 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
CN112511837A (zh) * 2014-08-20 2021-03-16 弗劳恩霍夫应用研究促进协会 视频合成系统、视频合成方法及计算机可读存储介质
US10284867B2 (en) * 2014-12-18 2019-05-07 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
GB2539462B (en) * 2015-06-16 2019-04-03 Canon Kk Obtaining media data and metadata from encapsulated bit-streams wherein operating point descriptors can be dynamically set
CA2988107A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10349067B2 (en) * 2016-02-17 2019-07-09 Qualcomm Incorporated Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
US10419768B2 (en) * 2016-03-30 2019-09-17 Qualcomm Incorporated Tile grouping in HEVC and L-HEVC file formats
US11102495B2 (en) * 2016-05-17 2021-08-24 Qualcomm Incorporated Methods and systems for generating and processing content color volume messages for video
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
KR102170550B1 (ko) * 2016-05-24 2020-10-29 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램
US10778999B2 (en) * 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
US10951912B2 (en) * 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding
US10917564B2 (en) * 2016-10-12 2021-02-09 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10701400B2 (en) * 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
WO2019115865A1 (en) * 2017-12-13 2019-06-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2019197712A1 (en) * 2018-04-09 2019-10-17 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160044309A1 (en) * 2013-04-05 2016-02-11 Samsung Electronics Co., Ltd. Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor
JP2016540414A (ja) * 2013-10-23 2016-12-22 クゥアルコム・インコーポレイテッドQualcomm Incorporated マルチレイヤビデオファイルフォーマットの設計
JP2019520742A (ja) * 2016-05-24 2019-07-18 クゥアルコム・インコーポレイテッドQualcomm Incorporated サンプルエントリーおよびランダムアクセス
WO2019069968A1 (ja) * 2017-10-06 2019-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RICKARD SJOBERG, MITRA DAMGHANIAN, AND MARTIN PETTERSSON: "AHG17: Ensuring temporal switching with STSA pictures", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0235, JPN6023014313, June 2019 (2019-06-01), pages 1 - 3, ISSN: 0005034520 *

Also Published As

Publication number Publication date
EP3987792A1 (en) 2022-04-27
CN114009032A (zh) 2022-02-01
WO2020256615A1 (en) 2020-12-24
US20220360787A1 (en) 2022-11-10
JP7414856B2 (ja) 2024-01-16
EP3987792A4 (en) 2022-09-28
MX2021015641A (es) 2022-02-03
BR112021024418A2 (pt) 2022-01-18

Similar Documents

Publication Publication Date Title
EP3123726B1 (en) Generic use of hevc sei messages for multi-layer codecs
US10212435B2 (en) Device and method for scalable coding of video information
US9565437B2 (en) Parameter set designs for video coding extensions
JP6284924B2 (ja) ストリーム適応およびスプライシングに対するサポートが強化されたビデオコーディング
US10091532B2 (en) Bitstream conformance constraints in scalable video coding
US20180316916A1 (en) Alignment of picture order count
US10116948B2 (en) System for temporal identifier handling for hybrid scalability
US20130089154A1 (en) Adaptive frame size support in advanced video codecs
CN115174899B (zh) 视频解码器和相关解码方法
EP3162066B1 (en) Recovery point sei message in multi-layer video codecs
US11936882B2 (en) Sub-picture based random access
US9848199B2 (en) Device and method for scalable coding of video information
JP6312838B2 (ja) マルチレイヤコード化においてレイヤ間参照ピクチャセット(RPS)をコード化し、ビットストリーム終端(EoB)ネットワークアクセスレイヤ(NAL)単位をコード化するための方法
JP7414856B2 (ja) ビデオコーディングレイヤアップスイッチング指示
US20240187610A1 (en) Sub-Picture Based Random Access
JP2022549799A (ja) セグメント存在情報を提供すること

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R150 Certificate of patent or registration of utility model

Ref document number: 7414856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150