JP2022538755A - 高レベル構文要素を使用して復号データをシグナリングする方法および装置 - Google Patents

高レベル構文要素を使用して復号データをシグナリングする方法および装置 Download PDF

Info

Publication number
JP2022538755A
JP2022538755A JP2021571973A JP2021571973A JP2022538755A JP 2022538755 A JP2022538755 A JP 2022538755A JP 2021571973 A JP2021571973 A JP 2021571973A JP 2021571973 A JP2021571973 A JP 2021571973A JP 2022538755 A JP2022538755 A JP 2022538755A
Authority
JP
Japan
Prior art keywords
data
decoded data
video bitstream
bitstream
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021571973A
Other languages
English (en)
Other versions
JPWO2020263646A5 (ja
Inventor
ボルデ,フィリップ
カードランバット,ミシェル
フランソワ,エドワール
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2022538755A publication Critical patent/JP2022538755A/ja
Publication of JPWO2020263646A5 publication Critical patent/JPWO2020263646A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオビットストリーム内で復号データをシグナリングする方法(800、900、1600、1700)および装置(2100)であって、復号データがビデオビットストリームに明示的にコード化されているかどうか、または、ビデオビットストリームの以前のデータから推測されるかどうかを示す構文要素が使用される、方法(800、900、1600、1700)および装置(2100)。ビットストリーム、コンピュータ可読記憶媒体、およびコンピュータプログラム製品も説明される。

Description

本実施形態は、概して、高レベル構文要素を使用して復号データをシグナリングすることに関する。
本節は、技術分野の様々な態様を読者に紹介することを意図しており、これらは以下に説明および/または特許請求される本実施形態のうちの少なくとも1つの様々な態様に関連し得る。本考察は、少なくとも1つの実施形態の様々な態様のより良好な理解を容易にするための背景情報を読者に提供するのに役立つと考えられる。したがって、これらの記述は、この観点から読み取られるべきであることを理解されたい。
高い圧縮効率を達成するために、ビデオコーディングスキームは、通常、予測および変換を採用して、ビデオコンテンツの空間的および時間的冗長性を活用する。一般に、イントラ予測またはインター予測が、フレーム内相関またはフレーム間相関を利用するために使用される。次いで、予測誤差または予測残差として示されることが多い、ビデオの元のピクチャと予測されたピクチャとの間の差が変換、量子化、およびエントロピーコード化される。ピクチャを再構築するために、圧縮されたデータは、予測、変換、量子化、およびエントロピーコード化に対応する逆プロセスによって復号される。
本節は、本開示のいくつかの態様の基本的な理解を提供するために、本実施形態のうちの少なくとも1つの簡略化された概要を提供する。この概要は、一実施形態の広範な概説ではない。一実施形態の主要または重要な要素を特定することは意図していない。以下の概要は、本明細書の他の箇所に提供されるより詳細な説明への前置きとして、本実施形態のうちの少なくとも1つのいくつかの態様を簡略化された形態で提示しているにすぎない。
本実施形態のうちの少なくとも1つの一般的な態様によれば、ビデオビットストリーム内で復号データをシグナリングするための方法が提供され、方法は、復号データがビデオビットストリームに明示的にコード化されているかどうか、または、ビデオビットストリームの以前のデータから推測されるかどうかを示す構文要素を使用するステップを含む。
本実施形態のうちの少なくとも1つの別の一般的な態様によれば、ビデオビットストリーム内で復号データをシグナリングするための装置が提供され、装置は、復号データがビデオビットストリームに明示的にコード化されているかどうか、または、ビデオビットストリームの以前のデータから推測されるかどうかを示す構文要素を使用するための手段を備える。
一実施形態において、復号データのセットが復号データのサブセットに分割され、サブセットの復号データがビデオビットストリームに明示的にコード化されているかどうか、または、ビデオビットストリームの以前のデータから推測されるかどうかを示すサブセットごとの構文要素を使用するステップまたはそのための手段。
一実施形態において、復号データが、コード化ツールの起動を制御する制約フラグであり、構文要素が、制約フラグがビデオビットストリームの第1の部分に明示的にコード化されているかどうか、または、ビデオビットストリームの第2の部分の以前のデータから推測されるかどうかを示す。
一実施形態において、復号データが、ピクチャ部分のグループのヘッダの復号データであり、構文要素が、ピクチャ部分のグループのヘッダの復号データがビデオビットストリームに明示的にコード化されているかどうか、または、ビデオビットストリームのピクチャ部分のグループの別のヘッダの復号データから推測されるかどうかを示す。
一実施形態において、ピクチャ部分のグループのヘッダの復号データが、参照ピクチャのリストであり、以前のデータが、GOP構造およびいくつかの参照フレームである。
一実施形態において、復号データが、スライスパラメータであり、以前のデータが、GOP構造および復号されたピクチャ順序である。
一実施形態において、復号データが、タイルグループの復号データであり、以前のデータが、別のタイルグループの復号データである。
一実施形態において、復号データが、GOP構造であり、以前のデータが、GOP内のいくつかの第1の復号されたピクチャ、および、事前定義のGOP構造のセットである。
少なくとも1つの実施形態の別の一般的な態様によれば、上記の方法のうちの1つに従って、ビデオビットストリーム内で復号データをシグナリングすることを含む、ビデオを符号化または復号するための方法およびデバイスが提供される。
少なくとも1つの実施形態の他の一般的な態様によれば、非一時的コンピュータ可読記憶媒体、コンピュータプログラム製品、およびビットストリームが提供される。
本実施形態のうちの少なくとも1つの特定の性質、ならびに本実施形態の当該少なくとも1つの他の目的、利点、特徴、および使用は、添付の図面と併せて以下の例の説明から明らかになるであろう。
図面には、いくつかの実施形態の例が図示される。
一実施形態による例示的なエンコーダの簡略化されたブロック図である。 一実施形態による例示的なデコーダの簡略化されたブロック図である。 従来技術による、制約フラグをシグナリングするHLS要素の例を示す図である。 従来技術によるタイルスライススライスグループ、タイルおよびブリックの例を示す図である。 従来技術によるタイルの構文要素の例を示す図である。 従来技術によるタイルグループの例を示す図である。 従来技術によるタイルグループの例を示す図である。 少なくとも1つの実施形態によるタイル、スライスおよびブリックの例を示す図である。 少なくとも1つの実施形態による、復号データのセットをシグナリングするための方法800のフローチャートである。 少なくとも1つの実施形態による、図8または図9の方法の変形のフローチャートである。 少なくとも1つの実施形態による、セットをサブセットに分割する例を示す図である。 16個の復号データからなるセットを2つの階層レベルで分割する例を示す図である。 少なくとも1つの実施形態による、制約フラグをシグナリングするHLS要素の例を示す図である。 少なくとも1つの実施形態による、HLS要素の例を示す図である。 従来技術によるスライスセグメントの例を示す。 従来技術によるスライスセグメントの例を示す。 復号データのセットがピクチャ部分のグループのヘッダの復号データを含む場合の方法800または900の一実施形態のフローチャート1600である。 少なくとも1つの実施形態による、GOPと関連付けられる構文要素の時間的編成の例を示す図である。 少なくとも1つの実施形態によるスライスの構文の例を示す図である。 復号データのセットがピクチャー群の構造を含む場合の方法800または900の一実施形態のフローチャート1900である。 図19の方法の変形を示す図である。 本実施形態の態様を実施することができるコンピューティング環境のブロック図である。
詳細な本説明は、本実施形態の原理を例示している。したがって、本明細書において明示的に記載または図示されていなくても、本実施形態の原理を具現化し、その範囲内に含まれる様々な構成を当業者が考案することが可能になることが諒解されよう。
本明細書において記載されているすべての例および条件付きの文言は、原則的に、読者が、本実施形態の原理および当該技術分野の促進のために本発明者によって与えられる概念を理解するのを補助する教育的目的のために意図されており、そのような特定的に記載されている例および条件に限定されないように解釈されるべきである。
また、本開示の原理、態様、および実施形態、ならびにそれらの特定の例を記載する本明細書のすべてのステートメントは、それらの構造的および機能的均等物の両方を包含することを意図している。さらに、そのような均等物には、現在知られている均等物および将来開発される均等物、すなわち、構造に関係なく同じ機能を実行する開発された任意の要素の両方が含まれることが意図されている。
したがって、例えば、本明細書において提示されているブロック図は、本実施形態の原理を具現化する例示的な回路の概念図を表すことが、当業者には諒解されよう。同様に、任意のフローチャート、流れ図、状態遷移図、疑似コードなどは、実質的にコンピュータ可読媒体において表されてもよく、そのため、コンピュータまたはプロセッサが明示的に図示されているか否かに関わらず、そのようなコンピュータまたはプロセッサによって実行されてもよい様々なプロセスを表すことが諒解されよう。
本実施態様を、以下、当該本実施形態が図示されている添付の図面を参照しながらより十分に説明する。しかしながら、一実施形態は、多くの代替の形態で具現化することができ、本明細書に記載されている例に限定されるものとして解釈されるべきではない。したがって、実施形態を、開示されている特定の形態に限定することは意図されていないことは理解されたい。逆に、本実施形態は、本出願の趣旨および範囲内に収まるすべての変更、均等物、および代替物を包含するように意図されている。
図がフロー図として提示されている場合、それは、対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されている場合、それは、対応する方法/プロセスのフロー図も提供することを理解されたい。
図に示されている様々な要素の機能は、専用のハードウェア、ならびに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用することによって提供され得る。プロセッサによって提供される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、または複数の個別のプロセッサによって提供され得、それらのいくつかは共有され得る。その上、「プロセッサ」または「コントローラ」という用語が明示的に使用されている場合、これは、ソフトウェアを実行することが可能なハードウェアを排他的に指すように解釈されるべきではなく、黙示的に、限定ではなく、デジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、および不揮発性記憶装置を含んでもよい。
従来型および/またはカスタムの他のハードウェアも含まれ得る。同様に、図に示されているスイッチは概念的なものにすぎない。それらの機能は、プログラムロジックの動作を介して、専用ロジックを介して、プログラム制御と専用ロジックとの相互作用を介して、または手動でさえも、実行することができ、特定の技術は、コンテキストからより具体的に理解されるように、実施者によって選択可能である。
図面の同様または同じ要素は、同じ参照番号で参照される。
一部の図は、ビデオ圧縮規格に準拠するビットストリームの構造を定義するためのビデオ圧縮規格の仕様で広く使用されている構文テーブルを表している。これらの構文テーブルでは、「…」という項は、ビデオ圧縮規格の仕様で与えられており、読みやすくするために図から削除されている、よく知られた定義に関する構文の変更されていない部分を示す。構文テーブルの太字の項は、この項の値がビットストリームを解析することによって取得されることを示している。構文テーブルの右側の列は、構文要素のデータを符号化するためのビット数を示している。例えば、u(4)はデータの符号化に4ビットが使用されることを示し、u(8)は8ビットを示し、ae(v)はコンテキスト適応型算術エントロピーコード化構文要素を示す。
本明細書の特許請求の範囲において、特定の機能を実行するための手段として表現される任意の要素は、例えば、a)その機能を実行する回路要素の組み合わせ、またはb)それにより、機能を実行するためにそのソフトウェアを実行するための適切な回路と組み合わされたファームウェア、マイクロコードなどを含む任意の形式のソフトウェアを含む、その機能を実行する任意の方式を包含することを意図している。そのような特許請求の範囲によって定義される本実施形態は、記載された様々な手段によって提供される機能は、特許請求の範囲が要求する様式で組み合わされ、まとめられるという事実に属する。したがって、これらの機能を提供することができる手段は、本明細書に示されているものと等価であるとみなされる。
図および説明は、明確にするために、典型的な符号化デバイスおよび/または復号デバイスに見出される他の多くの要素を排除しながら、本実施形態の原理を明確に理解するために、関連する要素を説明するために簡略化されていることを理解されたい。
本明細書では、第1、第2などの用語を使用して様々な要素を説明する場合があるが、これらの要素は、これらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。様々な方法が上で説明されており、方法の各々は、説明された方法を達成するための1つ以上のステップまたは動作を含む。方法の正しい動作のために特定の順序のステップまたは行為が必要でない限り、特定のステップおよび/または行為の順序および/または使用は、変更され得、または組み合わされ得る。
以下の節では、「再構築」および「復号」という単語が交換可能に使用され得る。通常、必ずしもそうとは限らないが、エンコーダ側では「再構築」が使用され、一方、デコーダ側では「復号」が使用される。また、「コード化された」および「符号化された」という言葉は、交換可能に使用され得る。さらに、「画像」、「ピクチャ」、および「フレーム」という単語も交換可能に使用され得る。さらに、「コード化」、「ソースコーディング」および「圧縮」という単語も、交換可能に使用され得る。
「一実施形態(one embodiment)」もしくは「一実施形態(an embodiment)」または「一実施態様(one implementation)」もしくは「一実施態様(an implementation)」、ならびにそれらの他の変形への言及は、実施形態に関連して説明された特定の特徴、構造、特性などが、本開示の少なくとも1つの実施形態に含まれることを意味することを理解されたい。したがって、本明細書全体にわたって様々な個所で現れる、「一実施形態において(in one embodiment)」もしくは「一実施形態において(in an embodiment)」、または「一実施態様において(in one implementation)」もしくは「一実施態様において(in an implementation)」、ならびにそれらの他変化形という言い回しが現れた場合、必ずしもすべてが同じ実施形態を言っているわけではない。
また、本実施形態または本特許請求の範囲では、様々な情報を「決定する」と言うことがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を検索することのうちの1つ以上を含むことができる。
また、本出願または本特許請求の範囲では、様々な情報を「提供する」と言うことがある。情報を提供することは、例えば、情報を出力すること、情報を記憶すること、情報を送信すること、情報を送ること、情報を表示すること、情報を表示すること、または情報を移動することのうちの1つ以上を含み得る。
さらに、本出願またはその特許請求の範囲では、様々な情報に「アクセスする」と言うことがある。情報にアクセスすることは、例えば、情報を受信すること、情報を検索すること(例えば、メモリから)、情報を記憶すること、情報を処理すること、情報を移動させること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの1つ以上を含むことができる。
さらに、本出願または本特許請求の範囲では、様々な情報を「受信する」と言うことがある。受信することは、「アクセスすること」と同様に、広義の用語であることが意図されている。情報を受信することは、例えば、情報にアクセスすること、または(例えば、メモリから)情報を取り出すことのうちの1つ以上を含み得る。さらに、「受信すること」は、典型的には、何らかの方式で、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の判定、情報の予測、または情報の評価などの動作中に伴う。
さらに、本出願または本特許請求の範囲では、ビデオビットストリームの以前のデータから様々なデータを「推測する」と言うことがある。「以前のデータ」という用語は、現在のデータが推測される前に構築、再構築、解析されたデータとして理解される。以前に推測されたデータからデータを推測することができることに留意されたい(再帰的推測)。推測の1つの特定の事例は、デフォルトデータを推測データとして使用するデフォルト推測である。すなわち、「以前の」データはデフォルトデータである。ビデオビットストリームの以前のデータからの推測、導出は、例えば、以前のデータをコピーするかもしくは複数の以前のデータを組み合わせて推測データを取得すること、または推定データを導出するために平均の指標を提供する以前のデータからの情報にアクセスすることのうちの1つ以上を含み得る。
さらに、本出願または本特許請求の範囲では、「ビデオビットストリームに復号データを明示的にコード化すること」および「ビデオビットストリームから復号データを明示的に復号すること」と言うことがある。復号データを明示的にコード化(復号)することは、ビデオビットストリームに(から)専用の構文要素を追加(取得)することを指す。データを明示的に符号化することは、このデータを表す少なくとも1つのビン/情報をエントロピーコーディングエンジン(例えば、CABAC)に記入/入力することを指し、一方、データを推測することは、このデータを表すビン/情報をエントロピーコーディングエンジンに記入しないことを指す。同様に、データを明示的に復号することは、エントロピー復号エンジン(すなわち、CABAC)からこのデータを表す少なくとも1つのビン/情報を出力することを指し、一方、データを推測することは、このデータを表すビン/情報をエントロピー復号エンジンに出力しないことを指す。データが明示的にコード化されるかどうか、または推測されるかどうかの情報は、同じく明示的にコード化または推測することができる別の構文要素であり得ることに留意されたい。
例えば、復号データは、スライスパラメータ、または、事前定義のGOP構造のテーブルのインデックスであり得る。次に、スライスパラメータを明示的に符号化することは、このスライスパラメータ、または、事前定義されたGOP構造のテーブルのインデックスの構文要素を、この復号データが復号プロセス中に使用されるたびに、ビデオビットストリームに追加することを指す。
図示され、説明されている様々な特徴は交換可能であることを諒解されたい。別段の指示がない限り、一実施形態に示される特徴は、別の実施形態に組み込まれ得る。さらに、様々な実施形態に記載されている特徴は、分離不可能または組み合わせ不可能であるとの別段の指示がない限り、組み合わせまたは分離することができる。
図に示されている様々な要素の機能は、専用のハードウェア、ならびに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用することによって提供され得る。また、プロセッサによって提供される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、または複数の個別のプロセッサによって提供され得、それらのいくつかは共有され得る。
添付の図面に示されているシステム構成要素および方法のいくつかは、ソフトウェアで実装されることが好ましいため、システム構成要素またはプロセス機能ブロック間の実際の接続は、本開示のプロセスがプログラムされる様式によって異なる場合があることをさらに理解されたい。本明細書の教示を与えられると、当業者は、本開示のこれらおよび同様の実施態様または構成を企図することができるであろう。
例示的な実施形態が、添付の図面を参照して本明細書において詳細に説明されてきたが、本開示はそれらの厳密な実施形態には限定されないこと、ならびに、本開示の範囲から逸脱することなく、当業者によってそれらの実施形態において様々な変更および修正を実行することができることを理解されたい。加えて、個々の実施形態は、本開示の範囲内から逸脱することなく組み合わせることができる。すべてのそのような変更および修正が、添付の特許請求の範囲に記載されているものとして本開示の範囲内に含まれることが意図されている。
例えば、「A/B」、「Aおよび/またはB」、ならびに「AおよびBのうちの少なくとも1つ」の場合、次の「/」、「および/または」、ならびに「のうちの少なくとも1つ」のいずれかの使用は、1番目に列記された選択肢(A)のみの選択、または2番目に列記された選択肢(B)のみの選択、または両方の選択肢(AおよびB)の選択を網羅することを意図していることが分かるはずである。さらなる例として、「A、B、および/またはC」ならびに「A、BおよびCのうちの少なくとも1つ」の場合、このような言い回しは、最初に挙げた選択肢(A)のみの選択、または2番目に挙げた選択肢(B)のみの選択、または3番目に挙げた(C)のみの選択、または最初および2番目に挙げた選択肢(AおよびB)のみの選択、または最初および3番目に挙げた選択肢(AおよびC)のみの選択、または2番目および3番目に挙げた選択肢(BおよびC)のみの選択、または全3つの選択肢(A、BおよびC)の選択、を網羅することを意図している。これは、当業者にはすぐに分かるように、挙げられる項目の数に関わらず適用することができる。
当業者には明らかであるように、実装態様は、情報を搬送するようにフォーマット化される多種多様な信号を生成することができ、この情報は、例えば、記憶または送信することができる。情報は、例えば、方法を実行するための命令、または説明された実施態様のうちの1つによって作り出されたデータを含み得る。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされてもよい。そのような信号は、例えば、電磁波(例えば、スペクトルの無線周波数部分を使用して)として、またはベースバンド信号としてフォーマットされてもよい。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報とすることができる。信号は、既知のように、多種多様な異なる有線リンクまたは無線リンクを介して送信され得る。信号は、プロセッサ可読媒体に記憶されてもよい。
ピクチャ(画像またはフレームも示す)は、単色形式の輝度サンプルのアレイ、または、4:2:0、4:2:2もしくは4:4:4色形式の輝度サンプルのアレイおよび2つの対応する彩度サンプルのアレイ、または、三色成分(例えば、RGB)の3つのアレイであってもよい。
ビデオ圧縮規格では、ピクチャは、サイズおよび/または形状が異なる場合があるブロックに分割される。
ブロックは二次元配列または行列であることは理解されたい。水平方向またはx方向(または軸)は幅を表し、垂直方向またはy方向(または軸)は高さを表す。インデックスは0から始まる。x方向は列を表し、y方向は行を表す。最大xインデックスは幅-1である。最大yインデックスは高さ-1である。
符号化
図1は、一実施形態による例示的なエンコーダ100の簡略化されたブロック図を示す。
エンコーダ100は、通信システムの送信機またはヘッドエンドに含まれ得る。
1つ以上のピクチャを含むビデオシーケンスを符号化するために、ピクチャは、異なるサイズおよび/または異なる形状が可能なブロックに分割される(モジュール110)。例えば、HEVC(「ITU-T H.265 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(10/2014),SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS、視聴覚サービスインフラストラクチャ-動画のコード化、高効率ビデオコード化、推奨ITU-T H.265」)において、ピクチャは、設定可能なサイズの正方形のCTU(コーディングツリーユニット)に分割することができる。CTUの連続するセットをスライスにグループ化することができる。CTUは、以下でブロックと示されるコーディングユニット(CU)に分割される四分木のルートである。
例示的なエンコーダ100において、ピクチャは、下記に説明するように、ブロックベースの符号化モジュールによって符号化される。
各ブロックは、イントラ予測モードまたはインター予測モードのいずれかを使用して符号化される。
ブロックがイントラ予測モード(モジュール160)で符号化されるとき、エンコーダ100は、同じピクチャ内の1つのブロックの少なくとも1つのサンプル(またはピクチャまたはスライスの第1のブロックの事前定義の値)に基づいて、イントラ予測(空間予測とも示される)を実行する。一例として、予測ブロックは、再構築された隣接サンプルからブロックをイントラ予測することによって取得される。
ブロックがインター予測モードで符号化される場合、エンコーダ100は、少なくとも1つの参照ピクチャまたはスライス(参照ピクチャバッファに記憶されている)の少なくとも1つの参照ブロックに基づいて、インター予測(時間予測とも示される)を実行する。
インター予測コード化は、参照ピクチャバッファ180に記憶された参照ブロックの動き推定(モジュール175)および動き補償(モジュール170)を実行することによって実行される。
単方向インター予測(単方向予測としても知られる)モードでは、予測ブロックは概して(しかし、必ずしもではない)前の参照ピクチャに基づくことができる。
双方向インター予測(双予測としても知られる)モードでは、予測ブロックは概して(しかし、必ずしもではない)前のピクチャおよび後のピクチャに基づくことができる。
エンコーダ100は、ブロックを符号化するために使用するイントラ予測モードまたはインター予測モードのいずれか一方を決定し(モジュール105)、予測モード構文要素によってイントラ/インター決定を示す。
予測残差ブロックが、ブロックから予測ブロック(予測子とも示される)を減算(モジュール120)することによって計算される。
予測残差ブロックは変換され(モジュール125)、量子化される(モジュール130)。変換モジュール125は、予測残差ブロックをピクセル(空間)ドメインから変換(周波数)ドメインに変換することができる。変換は、例えば、余弦変換、正弦変換、ウェーブレット変換などであってもよい。量子化(モジュール130)は、例えば、レート歪み基準に従って実行され得る。
量子化変換係数、ならびに動きベクトルおよび他の構文要素が、ビットストリームを出力するためにエントロピーコード化される(145)。エントロピーコード化は、例えば、コンテキスト適応型バイナリ算術コーディング(CABAC)、コンテキスト適応型可変長コーディング(CAVLC)、ハフマン、算術、exp-Golombなどであってもよい。
また、エンコーダは、変換をスキップし、非変換予測残差ブロックに直接量子化を適用し得る。また、エンコーダは、変換および量子化の両方をバイパスしてもよく、すなわち、予測残差ブロックは、変換または量子化プロセスを適用せずに直接的にコード化される。
直接PCMコーディングでは、予測は適用されず、ブロックサンプルは、ビットストリームに直接コード化される。
エンコーダ100は、復号ループを備え、したがって、符号化されたブロックを復号して、さらに予測するための参照を提供する。量子化変換係数は脱量子化(逆量子化としても知られる)され(モジュール140)、逆変換され(モジュール150)て、予測残差ブロックが復号される。次いで、復号された予測残差ブロックと予測ブロックとを組み合わせることによって(モジュール155)、ブロックが再構築される。1つ以上のインループフィルタ(165)を再構成されたピクチャに適用して、例えば、デブロッキング/サンプル適応オフセット(SAO)フィルタリングを実行して、コード化アーチファクトを低減することができる。フィルタリングされたピクチャは、参照ピクチャバッファ180に記憶される。
エンコーダ100のモジュールは、ソフトウェアで実装され、プロセッサによって実行され得るか、または圧縮の分野の当業者によってよく知られている回路構成要素を使用して実装され得る。特に、ビデオエンコーダ100は、集積回路(IC)として実装され得る。
復号
図2は、一実施形態による例示的なデコーダ200の簡略化されたブロック図を示す。
デコーダ200は、通信システムの受信機に含まれ得る。
デコーダ200は、概して、図1に記載されるように、エンコーダ100によって実行される符号化パスと逆の復号パスを実行するが、デコーダ内のすべての動作が符号化プロセス(例えば、イントラおよびインター予測)の逆動作であるわけではない。
特に、デコーダ200の入力は、エンコーダ100によって生成され得るビデオビットストリームを含む。
ビデオビットストリームが、最初にエントロピー復号され(モジュール230)て、例えば、変換係数、動きベクトルMV、ピクチャパーティショニング情報、場合によっては予測モードフラグ、構文要素、および他の復号データが取得される。
例えば、HEVCでは、ピクチャパーティショニング情報は、CTUのサイズ、および、CTUがCUに分割される様式を示す。したがって、デコーダは、復号されたピクチャパーティショニング情報に従って、ピクチャをCTUに分割(235)し、各CTUをCUに分割し得る。
変換係数は脱量子化され(モジュール240)、逆変換され(モジュール250)て、予測残差ブロックが復号される。次いで、復号された予測残差ブロックが、予測ブロック(予測子とも知られる)と組み合わされて(モジュール255)、復号/再構築されたブロックが取得される。
予測ブロックは、場合によって予測モードフラグに応じて、イントラ予測(モジュール260)または動き補償予測(すなわち、インター予測)(モジュール270)から取得することができる(モジュール205)。インループフィルタ(モジュール265)を再構成されたピクチャに適用することができる。インループフィルタは、デブロッキングフィルタおよび/またはSAOフィルタを含んでもよい。フィルタリングされたピクチャは、参照ピクチャバッファ280に記憶される。
デコーダ200のモジュールは、ソフトウェアで実装され、プロセッサによって実行され得るか、または圧縮の分野の当業者によってよく知られている回路構成要素を使用して実装され得る。特に、デコーダ200は、単独でまたはコーデックとしてエンコーダ100と組み合わせて、集積回路(IC)として実装され得る。
本実施形態は、旧来のブロックベースのビデオ圧縮規格で使用される現在の構文よりも少ないビットを使用することによって、ブロックベースのビデオコード化の高レベル構文(HLS)を改善するメカニズムを提供することを目的としている。
HLSは、MPEGまたはITU以外の、DVB、ATSC、3GPPなどの団体によって定義されたビットストリーム相互運用点を有効にするシグナリングメカニズムである。例えば、VVCドラフト標準(B.Bross,J.Chen,S.Liu,“Versatile Video Coding(Draft 4),”in JVET document JVET-N1001,14th Meeting:Geneva,CH,19-27 March 2019)において、HLS制約フラグは、VVCデコーダのコーディングツールの起動を制御することを可能にする。HLS制約フラグは、図3に示されているような、SPS(シーケンスパラメータセット)および/またはプロファイルとレベル、VPS(ビデオパラメータセット)ならびに(復号パラメータセット)DPSビットストリーム部分に含まれる構文要素「general_constraint_info()」にグループ化される。制約フラグは、ビデオビットストリーム全体で違反することができない特性を示す。制約フラグがSPS(または同様の)構文構造で設定されている場合は、デコーダはツールがビットストリームで使用されないと安全に想定できる。
制約フラグをコード化するための現在の構文は、ビデオビットストリームのコード化効率を損なう可能性のある非常に多くのビット数を使用する。実際、この情報は、各ランダムアクセスポイント(RAP)で通常送信されるSPSに存在するため、ビデオビットストリームの複数のロケーションにおいて繰り返される可能性があり、デコーダパラメータセット(DPS)などの他の場所でも繰り返される可能性がある。
HLSの別の例は、シーケンス、ピクチャ、スライスまたはタイルヘッダ、補足拡張情報(SEI)、ビデオユーザビリティ情報(VUI)などのコード化されていないピクチャ部分をグループ化し、コード化されたマクロブロック、CTU、またはCUを除外する高レベル構文である。以下では、マクロブロック、CTU、またはCUのサブセットに関連する情報を、例えば、ピクチャ、スライス、タイル、スライスまたはブリックヘッダのグループにグループ化することを可能にするHLSを、「HLSパーティショニング」と呼ぶ。
AVCおよびHEVCビデオコーディング規格では、高レベルパーティショニングは、スライス(ラスタースキャンでの連続したCTU)またはタイル(均一または不均一なタイルグリッド)を使用して実行される。VVCドラフト標準では、高レベルパーティショニングは、タイルと、場合によってはタイルを長方形の部分領域に垂直に分割するブリックを使用して実行される(図4)。タイルの間隔が不均一な場合、タイルは不均一なグリッド(右上)に従って分散される。この場合、HLSでは、「タイル列幅(tile-column-width)」および「タイル列高さ(tile-column-height)」の値がシグナリングされ得る(図5)。
複数のタイルを1つの「タイルグループ」にグループ化することができる。タイルグループを定義するために、図6に示すように、タイルはラスタースキャン順序で暗黙的にラベル付けされ、左上タイルインデックス(top_left_tile_idx[i])および右下タイルインデックス(bottom_right_tile_idx[i])が、各タイルグループ「i」についてHLSにおいてシグナリングされる。例えば、8つのタイル(図4の右上)は4つの「タイルグループ」にグループ化されている(図6)。例えば、第1のタイルグループ0は、タイル0、1、および2から構成され、top_left_tile_idx[0]=0,bottom_right_tile_idx[0]=2およびbottom_right_tile_idx_delta[0]=2(bottom_right_tile_idx_delta[i]=bottom_right_tile_idx[i]-top_left_tile_idx[i])である(図7)。
一変形例では、タイルは1つ以上のブリックに分割され得る。それらの各々がタイル内のいくつかのCTU行から構成されている。スライスは、いくつかのタイルまたはいくつかのブリックを含み得る。スライスの2つのモード、すなわち、ラスタースキャンスライスモードおよび長方形スライスモードをサポートすることができる。ラスタースキャンスライスモードでは、スライスは、ピクチャのタイルラスタースキャンにおける一連のタイルを含み得る。長方形スライスモードでは、スライスは、ピクチャの長方形領域を集合的に形成するピクチャのいくつかのブリックを含み得る。長方形スライス内のブリックは、スライスのブリックラスタースキャンの順序であり得る。ブリックはラスタースキャン順序で暗黙的にラベル付けされ得、左上ブリックインデックス(top_left_brick_idx[i])および右下ブリックインデックス(bottom_right_brick_idx[i])が各スライス「i」についてHLSにおいてシグナリングされ得る。例えば、第1のスライス0(図7aの左側)は、2つのタイルおよび3つのブリックを含む。これは、「brick_idx」0、1、および2から構成され、top_left_brick_idx[0]=0,bottom_right_brick_idx[0]=2およびbottom_right_brick_idx_delta[0]=2(bottom_right_brick_idx_delta[i]=bottom_right_brick_idx[i]-top_left_brick_idx[i])である。第2のスライス1(図7aの右上)は、2つのブリックを含む。これは、「brick_idx」3および4から構成され、top_left_brick_idx[0]=3,bottom_right_brick_idx[0]=4およびbottom_right_brick_idx_delta[0]=1である。第3のスライス2(図7aの右中央)は、3つのブリックを含む。これは、「brick_idx」5、6、および7から構成され、top_left_brick_idx[0]=5,bottom_right_brick_idx[0]=7およびbottom_right_brick_idx_delta[0]=2である。第4のスライス3(図7aの右下)は、3つのブリックを含む。これは、「brick_idx」8、9、および10から構成され、top_left_brick_idx[0]=8,bottom_right_brick_idx[0]=10およびbottom_right_brick_idx_delta[0]=2である。
これらのタイル、ブリック、タイルグループの名前付けは変更される可能性があるが、基本は変わらないことに留意されたい。
ビデオビットストリームでは、スライスヘッダ、タイルヘッダなどは、ほとんどの場合同じ値を共有している場合でも、コード化されたピクチャごとに少なくとも1回繰り返される。
本実施形態は、復号データがビデオビットストリームにコード化されているかどうか、または、ビデオビットストリームの以前のデータから推測されるかどうかを示す構文要素を使用することによって、ビデオビットストリーム内で復号データをシグナリングする。
図8は、少なくとも1つの実施形態による、復号データのセットをシグナリングするための方法800のフローチャートを示す。
ステップ810において、方法は、セットの復号されたデータがビデオビットストリームに明示的にコード化されているかどうか、または、ビデオビットストリームの以前のデータPDから推測されるかどうかをチェックすることができる。構文要素Fをビデオビットストリームに追加することができる。セットの復号されたデータが以前のデータPDから推測される場合(ステップ830)、構文要素Fは、セットの復号データが以前のデータPDから推測されることを示す。セットの復号データがビデオビットストリームに明示的にコード化されている場合、(ステップ820)構文要素Fは、セットの復号データがビデオビットストリームに明示的にコード化されていることを示す。
ステップ840において、方法は、ビデオビットストリームからの構文要素Fにアクセスすることができる。
ステップ850において、方法は、構文要素Fが、復号データのセットの復号データがビデオビットストリームの以前のデータPDから推測されることを示しているかどうかをチェックすることができる。その場合(ステップ870)、セットの復号データは、以前のデータPDから推測される。構文要素Fが、セットの復号データがビデオビットストリームに明示的にコード化されることを示している場合(ステップ860)、セットの復号データは、ビデオビットストリームから明示的に復号される。
図9は、構文要素が、セットの復号データがビデオビットストリームに明示的にコード化されていることを示している場合の、図8の方法の変形のフローチャートを示している。
ステップ910において、復号データのセットは、図10に示されるようにサブセットに分割され、ここで、復号データのセットは、4つのサブセットiに分割される。
ステップ910に後続して、方法800のステップ810~830が反復される(図8)。各反復において、復号データの現在のサブセットiは、ステップ810の入力とみなされ(ステップ920)、その過程において、方法は、現在のサブセットiの復号されたデータがビデオビットストリームに明示的にコード化されているかどうか、または、ビデオビットストリームの以前のデータPDiから推測されるかどうかをチェックすることができる。構文要素Fiをビデオビットストリームに追加することができる。現在のサブセットiの復号されたデータが以前のデータPDiから推測される場合(ステップ830)、構文要素Fiは、現在のサブセットiの復号データが以前のデータPDiから推測されることを示す。現在のサブセットiの復号データがビデオビットストリームに明示的にコード化されている場合、(ステップ820)構文要素Fiは、現在のサブセットiの復号データがビデオビットストリームに明示的にコード化されていることを示す。
すべてのサブセットiが考慮されると、方法800のステップ840~870が反復される(図8)。各反復において、復号データの現在のサブセットiは、ステップ840の入力とみなされ(ステップ930)、その過程において、方法は、ビデオビットストリームからの現在のサブセットiの構文要素Fiにアクセスすることができる。
ステップ850において、方法は、構文要素Fiが、復号データのサブセットiの復号データがビデオビットストリームの以前のデータPDiから推測されることを示しているかどうかをチェックすることができる。その場合(ステップ870)、サブセットiの復号データは、ビデオビットストリームの以前のデータPDiから推測される。構文要素Fiが、現在のサブセットiの復号データがビデオビットストリームに明示的にコード化されていることを示す場合、(ステップ860)サブセットiの復号データは、ビデオビットストリームから明示的に復号される。
インデックスi(Fi、FDi)は、構文要素および以前のデータがサブセットiの復号データ専用であることを示す。一部のFiおよび/またはFDiは同じであり得る。
図10は、復号データのセットがサブセットに分割されるときの方法800の使用を示している。
一変形例では、方法800は、復号データのセットが以下のように再帰的に分割されて複数の階層レベルを作成するときに使用され得る。構文要素が、階層レベルLのサブセットの復号データがビデオビットストリームに明示的にコード化されていることを示す場合、階層レベルLのサブセットは、階層レベル(L+1)のサブセットに分割される(ステップ830)。再帰的分割は、例えば、階層レベルの最大数またはサブセットの最小濃度などの条件が満たされると停止する。
階層レベルLの復号データのすべてのサブセットが考慮されると、方法900は、新しい階層レベル(L+1)(存在する場合)のサブセットに反復して適用される。
図11は、16個の復号データのセットの2つの階層レベルの分割の例を示している。
第1の階層レベル0において、セットは、最初に、8つの復号データの2つのサブセット(i=0およびi=1)に分割される(810)。ステップ820において、復号(i=0)データのサブセットが、例えば、2つのサブセット(i=00およびi=01)に分割されることを示すための構文要素がビットストリームに追加される。第2のサブセット(i=1)の復号データがビデオビットストリームの以前のデータから推測され(ステップ830)、第2のサブセット(i=1)が分割されないことを示す別の構文要素もビデオビットストリームに追加される。
第2の階層レベル1において、サブセット(i=00)の復号データがビデオビットストリームの以前のデータから推測され(ステップ830)、サブセット(i=00)が分割されないことを示す別の構文要素もビデオビットストリームに追加される。サブセット(i=01)の復号データがビデオビットストリームの以前のデータから推測され(ステップ830)、サブセット(i=01)が分割されないことを示す別の構文要素もビデオビットストリームに追加される。
一実施形態では、復号データのセットは、コード化ツールの起動を制御する制約フラグを含むことができる。このとき、構文要素F(またはFi)は、セット(またはセットのサブセット)の制約フラグがビデオビットストリームに明示的にコード化されているかどうか、またはビデオビットストリームの以前のデータPDから推測されるかどうかを示し得る。
図12は、少なくとも1つの実施形態による、HLS要素「general_constraint_info」の一例を示す。
構文要素「general_constraint_info」は、構文要素「use_default_constraint_flag」(構文要素FまたはFi)の下にグループ化された制約フラグを含む。この構文要素「use_default_constraint_flag」は、これらの制約フラグがビデオビットストリームに明示的にコード化されている場合(ステップ820)、もしくは、ビデオビットストリームから明示的に復号される場合(ステップ860)に偽であり、または、これらの制約フラグがすべて、ビデオビットストリームの以前のデータPDから推測される(ステップ830、870)場合に真であるフラグであり得る。
制約フラグが推測される場合、他の制約フラグ(ここには示されていない)が明示的にコード化/復号され得ることに留意されたい。
一変形例では、以前のデータPDは単一のバイナリ値(偽または真)であり、推測されるすべての制約フラグ値はこの単一のバイナリ値FDに等しい。
一変形例では、以前のデータPDは、ビデオビットストリームの復号プロファイル、レベル、および/または少なくとも1つの復号パラメータに依存する。例えば、「高プロファイル」の場合、推測されるすべての制約フラグ値は偽に等しく(すべてのツールが有効化される可能性がある)、「低プロファイル」の場合、制約フラグ値の何らかの所定のサブセットが真であると推測され(ツールは無効化される)、他の制約フラグ値は偽と推測される(ツールが有効化される可能性がある)。
変形例では、構文要素F(またはFi)のステータスが、ビデオビットストリームに復号パラメータが存在するかどうかを決定する。
例えば、図13の構文要素「profile_tier_level()」のセットは、構文要素「use_default_constraint-flag」(構文要素FまたはFi)の下に制約フラグ「general_constraint_info()」を含む。図13では、構文要素「use_default_constraint_flag」が真である場合、構文要素「general_constraint_info()」のセットがビデオビットストリームに明示的にコード化されている。「use_default_constraint_flag」が偽の場合、構文要素のこのセットは存在せず、構文要素が推測される。
図12に示す変形例では、構文要素「use_default_constraint_flag」は「profile_tier_level()」ではなく「general_constraint_info()」内にコード化されている。構文要素「use_default_constraint_flag」が偽の場合、ビットストリームで一部のツールが有効化または無効化されている可能性があるかどうかを示す構文要素のセットがビデオビットストリームに存在し(明示的にコード化されており)、そうでない場合、構文要素のこのセットは存在せず、構文要素が推測される。
ブロックベースのビデオコーデック仕様では、ビデオビットストリームは、1つ以上のアクセスユニット(AU)を復号順に含むコード化ビデオシーケンス(CVS)にパーティショニングされる。1つのAUは、コード化された正確に1つのピクチャが含まれる。
例えば、HEVCでは、AUはスライスにパーティショニングされる。異なるスライスヘッダ(またはタイルヘッダ、またはタイルグループヘッダ)の一部の復号データは、いくつかのスライスで同じである。そのため、HEVCでは、図14に示すように、ピクチャの第1のスライスは独立している必要があり、一方、後続のスライスは依存し得る。依存スライスヘッダは、同じピクチャの第1の独立スライスと共通の復号データを共有する(図15)。
図16は、復号データのセットが、例えば、ピクチャのスライスヘッダおよび/またはタイルヘッダおよび/またはタイルグループヘッダなどのピクチャ部分のグループのヘッダの復号データを含む場合の、方法800または900の一実施形態のフローチャート1600を示す。HEVCでは、スライスはヘッダを有し、タイルを含み得るが、タイルはヘッダを有しない。他のコーデックでは、スライスはタイルに置き換えられ、タイルはヘッダを有する。
HEVCでは、そのような復号の例は、以下の復号データ(スライスヘッダ)のうちの少なくとも1つを含み得る:
-(slice_sao_luma_flag、slice_sao_chroma_flag、slice_alf_luma_flag、slice_alf_chroma_flag)などのポストフィルタフラグ、
-参照ピクチャリスト、
-weighted_pred/bipred_flag:WP(重み付け予測)が有効化されているか、またはスライスに含まれていない、
-スライス、タイル、またはタイルグループ、ブリックにパーティショニングする(例えば、num_bricks_in_slice_minus1)、
-Slice_type:I(イントラのみ)、P(単方向)またはB(双方向予測)、
-pic_output_flag:現在のピクチャが出力されるかどうか、
-colour_plane_flag:色チャネルが別個にコード化されているかどうか、
-POC:ピクチャ順序カウント、
-long-term-ref info:長期参照ピクチャのインデックスおよびPOC
-slice_temporal_mvp_enabled_flag:時間的動きベクトル予測ツールが有効化されているかどうか、
-long-term-ref info(POC)
-slice_qp_delta:QP(量子化パラメーター)は、PPSで指定されたinit_QPによってdiffを開始する、
-フィルタパラメータのデブロッキング(beta、tc)。
他のコーデックでは、これらのデータがタイルヘッダに含まれている場合がある。以下については、ピクチャが領域(またはピクチャ部分)にパーティショニングされ、1つの領域が複数のブロック(例えば、CTUまたはマクロブロック)から構成されると考える。領域は、コーデックのパーティショニングトポロジに応じて、例えば、スライス、タイル、タイルグループ、またはブリックであってもよい。それらの一部は、領域を構成するブロックに関連する情報を含むヘッダと関連付けられている場合がある。
ステップ1610(図8のステップ810の実施形態)において、方法は、ピクチャ部分(または領域)のグループのヘッダの復号データがビデオビットストリームに明示的にコード化されているかどうか、またはビデオビットストリームの以前のデータIPH(「inter_picture-header」)から推測されるかどうかをチェックすることができる。「infer_from_inter_picture_header_flag」と示されている構文要素F(またはFi)を、ビデオビットストリームに追加することができる。ピクチャ部分のグループのヘッダの復号データが以前のデータIPHから推測される場合、ステップ1630(図8のステップ830の実施形態)において、構文要素F(またはFi)は、ピクチャ部分のグループのヘッダの復号データが、ピクチャ部分のグループの別のヘッダの復号データ(以前のデータIPH)から推測されることを示す。ピクチャ部分のグループのヘッダの復号データがビデオビットストリームに明示的にコード化されている場合、ステップ1520(図8のステップ820の実施形態)において、構文要素F(またはFi)は、ピクチャ部分のグループのヘッダの復号データが、ビデオビットストリームに明示的にコード化されていることを示すことができる。
以前のデータIPHは、例えば、同じピクチャの複数のスライスヘッダ、ならびに/または、共通の複数のタイルヘッダおよび/もしくは複数のタイルグループヘッダの復号データをグループ化する。
典型的には、AU、CTU/CU、タイル、またはタイルグループのヘッダにおいて定義されている共通の復号データを推測することによって、ビデオを送信するための帯域幅が減少する。
例えば、各AUにおいて、場合によってはこのAUの各スライスにおいて、構文要素「infer_from_inter_picture_header_flag」は、これらの復号データがAU(このAUの各スライス)において、例えば、スライスヘッダ、タイルまたはタイルグループヘッダにおいて明示的に定義されているかどうか、または、それらが、そのように場合によってはいくつかのピクチャのピクチャ部分のいくつかのグループによって共有され得る以前のデータIPHから推測されるかどうかを示すことができる。
ステップ1640(図8のステップ840の実施形態)において、方法は、ビデオビットストリームからの構文要素F(またはFi)にアクセスすることができる。
ステップ1650(図8のステップ850の実施形態)において、方法は、構文要素F(またはFi)が、ピクチャ部分のグループのヘッダの復号データがビデオビットストリーム内の以前のデータIPHから推測されることを示すかどうかをチェックすることができる。次いで、ステップ1670(図8のステップ870の実施形態)において、ピクチャ部分のグループのヘッダの復号データが、以前のデータIPHから推測される。構文要素F(またはFi)が、ピクチャ部分のグループのヘッダの復号データがビデオビットストリームにコード化されていることを示す場合、ステップ1660(図8のステップ860の実施形態)において、ピクチャ部分のグループのヘッダの復号データが、ビデオビットストリームから明示的に復号される。
有利なことに、以前のデータIPHは、RAP構文要素の後、かつRAPに対してAU構文要素の前で、GOP(ピクチャー群)と関連付けられたビットストリーム内に位置している。次いで、図17に示すように、AU構文要素の復号データを以前のデータIPHから推測することができる。
方法1600の一実施形態では、参照ピクチャのリスト(ピクチャ部分のグループのヘッダの復号データ)は、GOP構造およびいくつかの参照フレーム(以前のデータIPH)から推測することができる。
方法1600の一実施形態では、スライスパラメータ(ピクチャ部分のグループのヘッダの復号データ)(例えば、スライスタイプ)は、GOP構造および復号されたピクチャ順序(以前のデータIPH)から推測することができる。
一実施形態では、タイルグループのコード化/復号を制御するタイルグループの復号データは、ビデオビットストリームの別のタイルグループの復号データ(以前のデータIPH)から推測することができる。
ビデオビットストリーム内の以前のデータからタイルグループ情報を推測することによって、ピクチャを送信するための帯域幅が減少する。
一変形例では、タイルグループは、ピクチャまたはスライスのいくつかのタイル(「num-tiles」と示されている復号データ)を含む。このとき、構文要素(F、Fi、…)は、タイルの数iがビデオビットストリームにコード化されているかどうか、または、列ごとのタイルの数(「num_tile_columns_minus1」と示されている)および行ごとのタイルの数(「num_tile_rows_minus1」と示されている)を表す以前のデータIPHから推測されるかどうかを示すことができる。
例えば、「num-tiles」は、以下のように「num_tile_columns_minus1」および「num_tile_rows_minus1」から推測される:
num_tiles=(num_tile_columns_minus1+1)x(num_tile_rows_minus1+1)。
一実施形態では、タイルグループは、ピクチャの最後のタイルグループの「bottom-right-tile-idx」値または「bottom-right-tile-idx-delta」値をさらに含む。
最後のタイルグループ(復号データ)のbottom-right-tile-idx値またはbottom-right-tile-idx-delta値(復号データ)は、以下のように、タイルの数(ビデオビットストリームの以前のデータ)から推測することができる:
bottom_right_tile_idx[num_tile_groups_in_pic_minus1]=num_tile-1
bottom_right_tile_idx_delta[num_tile_groups_in_pic_minus1]=num_tile-1-top_left_tile_idx[num_tile_groups_in_pic_minus1]。
この実施形態の図18に示される利点の1つは、構文要素「pic_parameter_set_rbsp」に「bottom_right_tile_idx_delta[num_tile_groups_in_pic_minus1]」をコード化するためのビットが節約されることである。
同様に、ピクチャ内のブリックの数(NumBricksInPic)は、以前のデータIPHから推測することができる。長方形スライスモードの場合、スライスは、ピクチャのスライスの「bottom-right-brick-idx」値または「bottom-right-brick-idx-delta」値をさらに含むことができる。
最後のスライス(復号データ)のbottom-right-brick-idx値またはbottom-right-brick-idx-delta値(復号データ)は、以下のように、ブリックの数(ビデオビットストリームの以前のデータ)から推測することができる:
bottom_right_brick_idx[num_slices_in_pic_minus1]=NumBricksInPic-1
bottom_right_brick_idx_delta[num_slices_in_pic_minus1]=NumBricksInPic-1-top_left_brick_idx[num_slices_in_pic_minus1]。
この実施形態の利点の1つは、構文要素「pic_parameter_set_rbsp」に「bottom_right_brick_idx_delta[num_slices_in_pic_minus1]」をコード化するためのビットが節約されることである。
図19は、復号データのセットがピクチャー群(GOP)の構造を含む場合の方法800または900の一実施形態のフローチャート1900を示す。
ステップ1910(図8のステップ810の実施形態)において、方法は、GOP構造がビデオビットストリームに明示的にコード化されているかどうか、またはビデオビットストリームの以前のデータPDから推測されるかどうかをチェックすることができる。「GOP_structure_indicator」と示される構文要素F(またはFi)を、ビデオビットストリームに追加することができる。GOP構造が以前のデータPDから推測される場合、ステップ1930(図8のステップ830の実施形態)において、構文要素F(またはFi)は、GOP構造が以前のデータPDから推測されることを示す。GOP構造がビデオビットストリームに明示的にコード化されている場合、ステップ1920(図8のステップ820の実施形態)において、構文要素F(またはFi)は、GOP構造がビデオビットストリームに明示的にコード化されていることを示す。
一変形例では、GOP構造がビデオビットストリームの以前のデータPDから推測される場合、構文要素Fはビデオビットストリームに追加されない。
GOP構造を推測することによって、ビデオを送信するための帯域幅が減少する。
ステップ1940(図8のステップ830の実施形態)において、方法は、ビデオビットストリームからの構文要素F(またはFi)にアクセスすることができる。
一変形例では、方法は、構文要素F(またはFi)がビデオビットストリームに存在するかどうかをチェックする。
ステップ1950(図8のステップ850の実施形態)において、方法は、構文要素F(またはFi)が、GOP構造がビデオビットストリームの以前のデータPDから推測されることを示すかどうか、または一変形例に従って、構文要素F(またはFi)がビデオビットストリームに存在しないかをチェックすることができる。次いで、ステップ1970(図8のステップ870の実施形態)において、GOP構造が、以前のデータPDから推測される。構文要素F(またはFi)が、GOP構造がビデオビットストリームに明示的にコード化されていることを示す場合、または一変形例に従って、構文要素F(またはFi)がビデオビットストリームに存在する場合、ステップ1960(図8のステップ860の実施形態)において、GOP構造がビデオビットストリームから明示的に復号される。
一実施形態では、構文要素F(またはFi)は、事前定義されたGOP構造のセットの事前定義されたGOP構造インデックスをシグナリングすることができる。
事前定義されたGOP構造の例としては、図20に示すように、ランダムアクセス(RA:階層コード化)、低遅延B(LB)、低遅延P(LP)があり得る。
図20に示される方法1900の一変形例では、GOP長さなどの追加の構文要素を使用して、事前定義されたGOP構造のいずれがシグナリングされるかを正確にすることができる。
一実施形態において、以前のデータが、GOP内のいくつかの第1の復号されたピクチャ、および、事前定義のGOP構造のセットを含む。
例えば、図20の事前定義されたGOP構造に基づいて、第1の復号されたピクチャPOCが0-16-8-4である場合、推測されるGOP構造は、インデックス「1」の事前定義されたGOP構造に関連する。
図21は、様々な態様および実施形態が実装されているシステムの一実施例のブロック図を示す。
システム2100は、以下で説明される様々な構成要素を含むデバイスとして具現化することができ、本文献で説明される態様の1つ以上を実行するように構成されている。そのようなデバイスの例は、これらに限定されるものではないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ録画システム、コネクテッド家電、およびサーバなどの様々な電子デバイスを含む。システム2100の要素は、単独でも組み合わせでも、単一の集積回路(IC)、複数のIC、および/または個別の構成要素で具現化され得る。例えば、少なくとも1つの実施形態において、システム2100の処理および符号化器/復号器要素は、複数のICおよび/または個別の構成要素にわたって分散している。様々な実施形態では、システム2100は、1つ以上の他のシステムに、または他の電子デバイスに、例えば、通信バスを介して、または専用の入力および/もしくは出力ポートを通して、通信可能に結合される。様々な実施形態では、システム2100は、本明細書に記載の態様のうちの1つ以上を実装するように構成される。
システム2100は、例えば、本明細書に記載の様々な態様を実装するために、読み込まれた命令を実行するように構成された少なくとも1つのプロセッサ2110を含む。プロセッサ2110は、当該技術分野で既知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム2100は、少なくとも1つのメモリ2120(例えば、揮発性メモリデバイス、および/または不揮発性メモリデバイス)を含む。システム2100は、不揮発性メモリおよび/または揮発性メモリを含むことができるストレージデバイス2140を含み、これらに限定しないが、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)、読み取り専用メモリ(ROM)、プログラム可能な読み取り専用メモリ(PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュ、磁気ディスクドライブ、および/または光ディスクドライブを含む。ストレージデバイス2140は、非限定的な例として、内部ストレージデバイス、付属のストレージデバイス(取り外し可能および取り外し不可能なストレージデバイスを含む)、および/またはネットワークアクセス可能なストレージデバイスを含み得る。
システム2100は、例えば、符号化されたビデオまたは復号されたビデオを提供するためにデータを処理するように構成されたエンコーダ/デコーダモジュール2130を含み、エンコーダ/デコーダモジュール2130は、独自のプロセッサおよびメモリを含み得る。エンコーダ/デコーダモジュール2130は、符号化機能および/または復号機能を実行するデバイスに含まれ得るモジュールを表す。既知であるように、デバイスは、符号化モジュールおよび復号モジュールの一方または両方を含み得る。さらに、エンコーダ/デコーダモジュール2130は、システム2100の別個の要素として実装することができ、または、当業者に既知であるように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ2110内に組み込むことができる。本明細書に記載の様々な態様を実行するためにプロセッサ2110またはエンコーダ/デコーダ2130に読み込まれるプログラムコードは、ストレージデバイス2140に記憶され、続いて、プロセッサ2110による実行のためにメモリ2120に読み込まれ得る。様々な実施形態によれば、プロセッサ2110、メモリ2120、ストレージデバイス2140、およびエンコーダ/デコーダモジュール2130のうちの1つ以上は、本明細書に記載のプロセスの実行中、様々な項目のうちの1つ以上を記憶することができる。このような記憶される項目には、入力ビデオ、復号されたビデオまたは復号されたビデオの部分、ビットストリーム、マトリックス、変数、ならびに方程式、式、演算、および演算ロジックの処理からの中間結果または最終結果が含まれ得るが、これらに限定されない。
いくつかの実施形態において、プロセッサ2110および/またはエンコーダ/デコーダモジュール2130の内部のメモリを使用して、命令を記憶し、符号化または復号中に必要とされる処理のために、ワーキングメモリを提供する。しかしながら、他の実施形態において、処理デバイス(例えば、処理デバイスは、プロセッサ2110またはエンコーダ/デコーダモジュール2130のいずれかであり得る)の外部のメモリは、これらの機能のうちの1つ以上に使用される。外部メモリは、メモリ2120および/またはストレージデバイス2140、例えば、ダイナミック揮発性メモリおよび/または不揮発性フラッシュメモリであり得る。いくつかの実施形態において、例えば、テレビのオペレーティングシステムを記憶するために外部不揮発性フラッシュメモリが使用される。少なくとも1つの実施形態では、RAMなどの高速外部ダイナミック揮発性メモリが、MPEG-2(MPEGはMoving Picture Experts Groupを指し、MPEG-2は、ISO/IEC 13818とも称され、13818-1はH.222としても既知であり、13818-2はH.262としても既知である)、HEVC(HEVCはHigh Efficiency Video Codingを指し、H.265およびMPEG-H Part2としても既知である)、またはVVC(Versatile Video Codingであり、JVET、すなわちJoint Video Experts Teamによって開発された新標準規格)などのビデオコード化および復号動作のためのワーキングメモリとして使用される。
システム2100の要素への入力は、ブロック2230に示されるような様々な入力デバイスを通して提供され得る。このような入力デバイスは、(i)例えば、放送局によって無線で送信されたRF信号を受信する無線周波数(RF)部分、(ii)コンポーネント(COMP)入力端子(またはCOMP入力端子のセット)、(iii)ユニバーサルシリアルバス(USB)入力端子、および/または(iv)高品位マルチメディアインターフェース(HDMI)入力端子を含むが、これらに限定されない。図21に示されていない他の実施例には、コンポジットビデオが含まれる。
様々な実施形態において、ブロック2230の入力デバイスは、当技術分野で既知であるような関連するそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択する(信号を選択する、またはある周波数帯域に信号を帯域制限する、とも称される)、(ii)選択された信号をダウンコンバートする、(iii)(例えば)ある特定の実施形態ではチャネルと称され得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限する、(iv)ダウンコンバートされ、帯域制限された信号を復調する、(v)誤り訂正を実行する、および(vi)逆多重化して、所望のデータパケットストリームを選択するのに好適な要素と関連付けられ得る。様々な実施形態のRF部分は、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、および逆多重化器を実行する1つ以上の要素を含む。RF部分には、例えば、受信された信号をより低い周波数に(例えば、中間周波数またはベースバンドに近い周波数)、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実施する波長調整器が含まれ得る。1つのセットトップボックスの実施形態において、RF部分およびその関連付けられた入力処理要素は、有線(例えば、ケーブル)媒体経由で送信されたRF信号を受信し、フィルタ処理し、ダウンコンバートし、所望の周波数帯域に再びフィルタ処理することによって、周波数選択を実施する。様々な実施形態では、上記(および他の)要素の順番が並べ替えられ、これらの要素のうちのいくつかが取り除かれ、かつ/または同様もしくは異なる機能を実行する他の要素が追加される。要素を追加することは、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ-デジタル変換器を挿入することなどを含むことができる。様々な実施形態において、RF部分は、アンテナを含む。
さらに、USBおよび/またはHDMI端子は、USBおよび/またはHDMI接続を介して、他の電子デバイスにシステム2100を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモン誤り訂正が、例えば、必要に応じて、別個の入力処理IC内、またはプロセッサ2110内に実装され得ることを理解されたい。同様に、USBまたはHDMIインターフェース処理の態様は、必要に応じて、別個のインターフェースIC内またはプロセッサ2110内に実装され得る。例えば、出力デバイス上での表示のために、必要に応じて、データストリームを処理するように、メモリおよび記憶要素と組み合わせて動作するプロセッサ2110、および符号化器/復号器2130を含む、様々な処理要素に対して、復調され、エラー訂正され、逆多重化されたストリームが提供される。
システム2100の様々な要素は、一体型ハウジング内に提供され得、一体型ハウジング内で、様々な要素は、相互接続され、好適な接続構成、例えば、Inter-IC(I2C)バス、配線、およびプリント回路基板を含む、当技術分野で既知であるような内部バスを使用して、それらの間でデータを送信することができる。
システム2100は、通信チャネル2160を介して他のデバイスとの通信を可能にする通信インターフェース2150を含む。通信インターフェース2150には、通信チャネル2160経由でデータを送受信するように構成されたトランシーバが含まれ得るが、これに限定されない。通信インターフェース2150には、モデムまたはネットワークカードが含まれ得るが、これらに限定されず、通信チャネル2160は、例えば、有線および/または無線媒体内に実装され得る。
データは、様々な実施形態において、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEは、電気電子技術者協会を指す)などの無線ネットワークを使用して、システム2100にストリーミングされるか、または別様に提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適合された通信チャネル2160および通信インターフェース2150を介して受信される。これらの実施形態の通信チャネル2160は、典型的には、ストリーミングアプリケーションおよび他のオーバーザトップ通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイントまたはルータに接続される。他の実施形態は、入力ブロック2130のHDMI接続経由でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム2100に提供する。さらに他の実施形態は、入力ブロック2130のRF接続を使用して、ストリーミングされたデータをシステム2100に提供する。上記のように、様々な実施形態は、非ストリーミング様式でデータを提供する。さらに、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラーネットワークまたはブルートゥースネットワークを使用する。
システム2100は、ディスプレイ2200、スピーカ2210、および他の周辺デバイス2220を含む、様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ2200は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(OLED)ディスプレイ、湾曲ディスプレイ、および/または折り畳み式ディスプレイのうちの1つ以上を含む。ディスプレイ2200は、テレビ、タブレット、ラップトップ、携帯電話(モバイルフォン)、または他のデバイス用であり得る。ディスプレイ2200はまた、他の構成要素(例えば、スマートフォンのように)と統合され得るか、または別個(例えば、ラップトップ用の外部モニタ)であり得る。他の周辺デバイス2220は、実施形態の様々な例において、スタンドアロンデジタルビデオディスク(またはデジタル多用途ディスク)(両用語ともDVR)、ディスクプレーヤ、ステレオシステム、および/または照明システムのうちの1つ以上を含む。様々な実施形態は、システム2100の出力に基づく機能を提供する1つ以上の周辺デバイス2220を使用する。例えば、ディスクプレーヤは、システム2100の出力を再生する機能を実行する。
様々な実施形態において、システム2100と、ディスプレイ2200、スピーカ2210、または他の周辺デバイス2220との間で、AV.Link、コンシューマエレクトロニクス制御(CEC)、またはユーザの介入の有無に関わらず、デバイス間制御を可能にする他の通信プロトコルなどの信号通知を使用して、制御信号が通信される。出力デバイスは、それぞれのインターフェース2170、2180、および2190を通して専用接続を介してシステム2100に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース2150を介して、通信チャネル2160を使用してシステム2100に接続され得る。ディスプレイ2200およびスピーカ2210は、例えば、テレビなどの電子デバイス内のシステム2100の他の構成要素と、単一のユニット内に統合され得る。様々な実施形態において、ディスプレイインタフェース2170は、例えば、タイミングコントローラ(T Con)チップなどのディスプレイドライバを含む。
代替的に、ディスプレイ2200およびスピーカ2210は、例えば、入力2230のRF部分が別個のセットトップボックスの一部である場合、他の構成要素のうちの1つ以上とは別個であり得る。ディスプレイ2200およびスピーカ2210が外部構成要素である様々な実施形態において、例えば、HDMIポート、USBポート、またはCOMP出力部を含む専用出力接続を介して、出力信号が提供され得る。
本明細書で説明された実施態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号に実装され得る。単一の実装形態の文脈でのみ考察される(例えば、方法としてのみ考察される)場合であっても、考察される特徴の実装はまた、他の形態(例えば、装置またはプログラム)で実装されてもよい。装置は、例えば適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。これらの方法は、例えば、装置に実装することができ、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む、一般に、処理デバイスを指す、例えば、プロセッサなどに実装することができる。プロセッサは、通信デバイス、例えば、コンピュータ、携帯電話、携帯/個人情報端末(「PDA」)、およびエンドユーザ間の情報の通信を容易にする他のデバイスなども含む。
本実施形態の一態様によれば、ビデオ符号化および/または復号のための装置2100が提供され、装置は、プロセッサ2110、およびプロセッサに結合された少なくとも1つのメモリ2120、2140を含み、プロセッサ2110は、上記の方法800、900、1600および/または1700の実施形態のいずれかを実施するように構成されている。
本開示の一態様によれば、復号データがビデオビットストリームに明示的にコード化されるかどうか、またはビデオビットストリームの以前のデータから推測されるかどうかを示す構文要素を使用するための手段を含む、ビデオ符号化および/または復号のための装置が提供される。図1のビデオエンコーダは、装置の構造または手段を含み得る。ビデオ符号化のための装置は、方法800、900、1600、および1700のいずれかの実施形態のいずれかを実行することができる。
当業者には明らかであるように、実装態様は、情報を搬送するようにフォーマット化される多種多様な信号を生成することができ、この情報は、例えば、記憶または送信することができる。情報は、例えば、方法を実行するための命令、または説明された実施態様のうちの1つによって作り出されたデータを含み得る。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされてもよい。そのような信号は、例えば、電磁波(例えば、スペクトルの無線周波数部分を使用して)として、またはベースバンド信号としてフォーマットされてもよい。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報とすることができる。信号は、既知のように、多種多様な異なる有線リンクまたは無線リンクを介して送信され得る。信号は、プロセッサ可読媒体に記憶されてもよい。
さらに、方法800、900、1600および/または1700のいずれも、プロセッサによって実行され得るコンピュータ実行可能命令を含むコンピュータプログラム製品として(独立してまたは共同で)実施され得る。コンピュータ実行可能命令を有するコンピュータプログラム製品は、システム2100、エンコーダ100および/またはデコーダ200のそれぞれの一時的または非一時的コンピュータ可読記憶媒体に記憶され得る。
プロセス800、900、1600および/または1700内の1つ以上の要素は、本開示の態様を依然として実施しながら、いくつかの実施形態において、組み合わされ、異なる順序で実行され、または除外されてもよいことに留意することが重要である。他のステップは並行して実行されてもよく、プロセッサはステップの完全な完了を待たずに別のステップを開始する。
さらに、本実施形態の態様は、コンピュータ可読記憶媒体の形態をとることができる。1つ以上のコンピュータ可読記憶媒体の任意の組み合わせを利用することができる。コンピュータ可読記憶媒体は、1つ以上のコンピュータ可読媒体において具現化され、コンピュータによって実行可能なコンピュータ可読プログラムコードが具現化されるコンピュータ可読プログラム製品の形態をとることができる。本明細書で使用されるコンピュータ可読記憶媒体は、内部に情報を記憶する固有の能力、ならびにそこからの情報の検索を提供する固有の能力が与えられた非一時的記憶媒体と考えられる。コンピュータ可読記憶媒体は例えば、限定ではないが、電子、磁気、光学、電磁、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または上記の任意の好適な組み合わせとすることができる。
以下のリストは、本開示が適用され得るコンピュータ可読記憶媒体のより具体的な例を提供するが、当業者によって容易に理解されるように、単なる例示であり、網羅的なリストではないことを理解されたい。例のリストは、ポータブルコンピュータディスケット、ハードディスク、ROM、EPROM、フラッシュメモリ、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または上記の任意の好適な組み合わせを含む。
本実施形態の一態様によれば、方法800、900、1600および/または1700を含む、本実施形態のいずれかの方法のいずれかの実施形態のいずれかを実行するためのプログラムコード命令を含むソフトウェアプログラムを担持するコンピュータ可読記憶媒体が提供される。

Claims (11)

  1. ピクチャ領域に対応する復号データが、前記ピクチャ領域を表すビデオビットストリームの第1の部分に明示的にコード化されているかどうか、または、前記ビデオビットストリームの第2の部分の以前のデータから推測されるかどうかを示す構文要素を使用することを含む方法であって、前記以前のデータが、前記ビットストリームの第3の部分によって表されるいくつかのピクチャ領域によって共有されている、方法。
  2. ピクチャ領域に対応する復号データが、前記ピクチャ領域を表すビデオビットストリームの第1の部分に明示的にコード化されているかどうか、または、前記ビデオビットストリームの第2の部分の以前のデータから推測されるかどうかを示す構文要素を使用する手段を備える装置であって、前記以前のデータが、前記ビットストリームの第3の部分によって表されるいくつかのピクチャ領域によって共有されている、装置。
  3. 復号データのセットが復号データのサブセットに分割され、サブセットごとの構文要素は、サブセットの前記復号データが前記ビデオビットストリームに明示的にコード化されているかどうか、または、前記ビデオビットストリームの以前のデータから推測されるかどうかを示す、請求項1に記載の方法または請求項2に記載の装置。
  4. 前記復号データが、コード化ツールの起動を制御する制約フラグであり、前記構文要素は、前記制約フラグが前記ビデオビットストリームの前記第1の部分に明示的にコード化されているかどうか、または、前記ビデオビットストリームの前記第2の部分の前記以前のデータから推測されるかどうかを示す、請求項1もしくは3に記載の方法または請求項2もしくは3に記載の装置。
  5. 前記復号データが、参照ピクチャのリストであり、前記以前のデータが、GOP構造およびいくつかの参照フレームである、請求項1もしくは3に記載の方法または請求項2もしくは3に記載の装置。
  6. 前記復号データが、スライスパラメータであり、前記以前のデータが、GOP構造および復号されたピクチャ順序である、請求項1もしくは3に記載の方法または請求項2もしくは3に記載の装置。
  7. 請求項1、3~6のいずれか一項に記載の方法を含む、ビデオを符号化または復号する方法。
  8. 請求項2~6のいずれか一項に記載の装置を備える、ビデオを符号化または復号する機器。
  9. 請求項1、3~7のいずれか一項に記載の方法を実施するための命令を記憶している、非一時的コンピュータ可読記憶媒体。
  10. 請求項1、3~7のいずれか一項に記載の方法を実施するための命令を含む、コンピュータプログラム。
  11. ビットストリームであって、
    ビデオデータを復号するために使用される復号データと、
    ピクチャ領域に対応する前記復号データが、前記ピクチャ領域を表す前記ビットストリームの第1の部分に明示的にコード化されているかどうか、または、前記ビットストリームの第2の部分の以前のデータから推測されるかどうかを示す構文要素であって、前記以前のデータが、前記ビットストリームの第3の部分によって表されるいくつかのピクチャ領域によって共有されている、構文要素と、を含むようにフォーマットされている、ビットストリーム。
JP2021571973A 2019-06-24 2020-06-17 高レベル構文要素を使用して復号データをシグナリングする方法および装置 Pending JP2022538755A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19305818 2019-06-24
EP19305818.7 2019-06-24
PCT/US2020/038090 WO2020263646A1 (en) 2019-06-24 2020-06-17 Method and apparatus for signaling decoding data using high level syntax elements

Publications (2)

Publication Number Publication Date
JP2022538755A true JP2022538755A (ja) 2022-09-06
JPWO2020263646A5 JPWO2020263646A5 (ja) 2023-06-19

Family

ID=67297069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021571973A Pending JP2022538755A (ja) 2019-06-24 2020-06-17 高レベル構文要素を使用して復号データをシグナリングする方法および装置

Country Status (8)

Country Link
US (1) US20220312041A1 (ja)
EP (1) EP3987803A1 (ja)
JP (1) JP2022538755A (ja)
KR (1) KR20220024142A (ja)
CN (1) CN114026863A (ja)
CA (1) CA3145175A1 (ja)
TW (1) TW202106031A (ja)
WO (1) WO2020263646A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4289142A1 (en) * 2021-02-04 2023-12-13 Beijing Dajia Internet Information Technology Co., Ltd. Residual and coefficients coding for video coding

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107257490B (zh) * 2012-01-27 2019-12-17 太阳专利托管公司 图像编码方法及图像编码装置
BR112014018856B1 (pt) * 2012-02-01 2022-09-20 Nokia Technologies Oy Método para a codificação de conteúdo de vídeo tridimensional, aparelho para codificação de conteúdo de vídeo tridimensional, meio legível por computador, método para decodificar conteúdo de vídeo tridimensional codificado, aparelho para decodificar conteúdo de vídeo tridimensional codificado
US9538172B2 (en) * 2012-04-11 2017-01-03 Qualcomm Incorporated Grouping bypass coded syntax elements in video coding
US9979958B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US9479774B2 (en) * 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
CN110225356B (zh) * 2013-04-08 2024-02-13 Ge视频压缩有限责任公司 多视图解码器
JP6397421B2 (ja) * 2013-10-08 2018-09-26 シャープ株式会社 画像復号装置及び画像符号化装置
US9648333B2 (en) * 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
AU2014201583A1 (en) * 2014-03-14 2015-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data using a block dictionary
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US9930340B2 (en) * 2014-06-20 2018-03-27 Qualcomm Incorporated Systems and methods for selectively performing a bitstream conformance check
WO2016138513A1 (en) * 2015-02-27 2016-09-01 Arris Enterprises, Inc. Modification of unification of intra block copy and inter signaling related syntax and semantics
CN112771885B (zh) * 2018-09-18 2023-04-25 诺基亚技术有限公司 用于针对视频编码的非二进制简档约束信令的方法和装置
WO2020057530A1 (en) * 2018-09-18 2020-03-26 Huawei Technologies Co., Ltd. Coding method, device, system
EP4325859A3 (en) * 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
JP7354241B2 (ja) * 2018-11-07 2023-10-02 華為技術有限公司 ビデオエンコーダ、ビデオデコーダ、及び対応する方法
WO2020111982A1 (en) * 2018-11-26 2020-06-04 Huawei Technologies Co., Ltd. Method of intra predicting a block of a picture
US11553210B2 (en) * 2018-12-07 2023-01-10 Interdigital Vc Holdings, Inc. Managing coding tools combinations and restrictions
AU2019201649A1 (en) * 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
CA3142319A1 (en) * 2019-06-03 2020-12-10 Nokia Technologies Oy An apparatus and a method for video partitioning
JP7440544B2 (ja) * 2019-06-18 2024-02-28 エルジー エレクトロニクス インコーポレイティド 画像デコード方法及びその装置
WO2021170096A1 (en) * 2020-02-29 2021-09-02 Beijing Bytedance Network Technology Co., Ltd. Constrains for different coding tools
KR20220157455A (ko) * 2020-03-20 2022-11-29 인터디지털 브이씨 홀딩스 프랑스 이미지 인코딩 및 디코딩을 위한 방법 및 디바이스
US20210368209A1 (en) * 2020-05-21 2021-11-25 Qualcomm Incorporated General constraint information signaling in video coding
WO2022030980A1 (ko) * 2020-08-04 2022-02-10 현대자동차주식회사 비디오 데이터의 패치북 기반 부호화 및 복호화를 위한 방법 및 장치
US20230244855A1 (en) * 2022-01-29 2023-08-03 discourse.ai, Inc. System and Method for Automatic Summarization in Interlocutor Turn-Based Electronic Conversational Flow

Also Published As

Publication number Publication date
WO2020263646A1 (en) 2020-12-30
EP3987803A1 (en) 2022-04-27
CA3145175A1 (en) 2020-12-30
KR20220024142A (ko) 2022-03-03
US20220312041A1 (en) 2022-09-29
TW202106031A (zh) 2021-02-01
CN114026863A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
US11729417B2 (en) Generalized bi-prediction and weighted prediction
US20220345744A1 (en) Secondary transform for video encoding and decoding
KR20210113422A (ko) 비디오 코딩에서의 계수 도메인 블록 차동 펄스-코드 변조
EP3804309A1 (en) Syntax elements for video encoding or decoding
KR102550806B1 (ko) 루마 인트라 모드 시그널링
US11909974B2 (en) Chroma quantization parameter adjustment in video encoding and decoding
US20220150501A1 (en) Flexible allocation of regular bins in residual coding for video coding
US11843791B2 (en) Chroma processing for video encoding and decoding
WO2020185492A1 (en) Transform selection and signaling for video encoding or decoding
US20220312041A1 (en) Method and apparatus for signaling decoding data using high level syntax elements
KR20210125085A (ko) 비디오 코딩을 위한 변환 유닛 파티션 방법
JP7513693B2 (ja) ルマ・イントラ・モード・シグナリング
US20230024223A1 (en) Intra sub partitions for video encoding and decoding combined with multiple transform selection, matrix weighted intra prediction or multi-reference-line intra prediction
US20230232045A1 (en) Scaling process for joint chroma coded blocks
US20210344962A1 (en) Method and apparatus for video encoding and decoding with signaling of coding type or coding tree type
EP3591969A1 (en) Syntax elements for video encoding or decoding
WO2021028321A1 (en) Quantization matrix prediction for video encoding and decoding
CN113994693A (zh) 用于基于照明补偿对块进行编码和解码的方法和装置
CN117501692A (zh) 用于视频编码和解码的模板匹配预测

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230609

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240621