JP2022553599A - サブピクチャ、スライス、およびタイルをサポートするビデオ符号化 - Google Patents
サブピクチャ、スライス、およびタイルをサポートするビデオ符号化 Download PDFInfo
- Publication number
- JP2022553599A JP2022553599A JP2022508944A JP2022508944A JP2022553599A JP 2022553599 A JP2022553599 A JP 2022553599A JP 2022508944 A JP2022508944 A JP 2022508944A JP 2022508944 A JP2022508944 A JP 2022508944A JP 2022553599 A JP2022553599 A JP 2022553599A
- Authority
- JP
- Japan
- Prior art keywords
- slice
- tile
- picture
- image
- tiles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000000638 solvent extraction Methods 0.000 description 96
- 230000011664 signaling Effects 0.000 description 45
- 238000004891 communication Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 24
- 239000013598 vector Substances 0.000 description 23
- 238000005192 partition Methods 0.000 description 18
- 230000002123 temporal effect Effects 0.000 description 15
- 230000001419 dependent effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 241000023320 Luma <angiosperm> Species 0.000 description 9
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 9
- 238000003491 array Methods 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 208000031212 Autoimmune polyendocrinopathy Diseases 0.000 description 6
- 235000019395 ammonium persulphate Nutrition 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 1
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000000261 appearance potential spectroscopy Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229920000069 polyphenylene sulfide Polymers 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002490 spark plasma sintering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
Description
本発明の実施形態
ピクチャ/画像とビットストリームのパーティショニング
3.1 ピクチャのタイルおよびスライスへのパーティショニング
ビデオの圧縮は、HEVC又は出現しつつあるVVC標準のようなほとんどの符号化システムにおけるブロックベースのビデオ符号化に依存する。これらの符号化システムでは、ビデオが異なる時点で(例えば、ビデオ内の異なる時間的位置で)表示され得るフレーム又はピクチャ又は画像又はサンプルのシーケンスから構成される。多層ビデオ(例えば、スケーラブル、ステレオ、または3Dビデオ)の場合、特定の時点で表示される最終/結果画像を形成することができるように、いくつかのピクチャを復号する必要がある場合がある。ピクチャは2つ以上の画像構成要素から構成することもできる(すなわち、ピクチャの画像データは2つ以上の画像構成要素を含む)。そのような画像構成要素の一例は、輝度、色差または深度情報を符号化するための構成要素であろう。
図2は、本発明の一実施形態によるピクチャの、すなわちピクチャの1つまたは複数のサブピクチャへのサブピクチャパーティショニングを示す。サブピクチャは、ピクチャの矩形領域をカバーするピクチャ部分(ピクチャの一部または部分)を表す。各サブピクチャは、別のサブピクチャとは異なるサイズおよび符号化パラメータを有することができる。サブピクチャレイアウト、すなわちピクチャ内のサブピクチャのジオメトリ(例えば、サブピクチャの位置および寸法/幅/高さを使用して定義されるよう)は、ピクチャのスライスのセットをグループ化することを可能にし、2つのピクチャ間の時間的動き予測を制約する(すなわち、制約を課す)ことができる。
図3は、VVC7の符号化システムの要件に適合する本発明の一実施形態によるビットストリームの構成(すなわち、構造、構成、またはアレンジメント)を示す。ビットストリーム300は、シンタックス要素の順序付けられたシーケンスと符号化(画像)データとを表す/示すデータから構成される。シンタックス要素および符号化(画像)データは、NALユニット301~308に配置(すなわち、パッケージ化/グループ化)される。異なるNALユニットタイプがある。ネットワーク抽象化レイヤ(NAL)は、リアルタイムプロトコル/インターネットプロトコル(RTP/IP)、ISOベースメディアファイルフォーマットなど、のようなさまざまなプロトコルのパケットにビットストリームをカプセル化する機能/機能を提供する。ネットワーク抽象化レイヤは、パケット損失回復力のためのフレームワークも提供する。
3.4 符号化処理
図4は、本発明の一実施形態による、ビデオのピクチャをビットストリームに符号化するための符号化方法を示す。
図5は、本発明の一実施形態によるスライスの一般的な復号処理を示す。各VCL NALユニットについて、デコーダは、現在のスライスに適用されるPPSおよびSPSを決定する。通常、現在のピクチャに使用されているPPSとSPSの識別子を決定する。例えば、スライスのピクチャヘッダは、使用中のPPSの識別子をシグナリングする。このPPS識別子に関連付けられたPPSは、別の識別子(SPSの識別子)を使用してSPSも参照する。
・ サブピクチャがタイルのフラクション、すなわち部分タイルを含むかどうかを示すフラグ(図6のステップ603参照)
・ サブピクチャ内のタイルの数を示す整数値(図6のステップ602)
・ サブピクチャの幅をタイル単位で指定する整数値(図6のステップ604)
・ サブピクチャの高さをタイル単位で指定する整数値(図6のステップ604)
・ ラスタスキャン順序でサブピクチャ内に存在するタイルインデックスのリスト(図6のステップ605)
この図6は、本発明の一実施形態によるスライスパーティショニングのシグナリングを示しており、これは、符号化処理および復号処理の両方で使用することができる判定ステップを含む。
3.6 スライスパーティショニングのシグナリング
本発明の一実施形態によれば、スライスはピクチャのタイル内の整数個の完全および連続的なCTU行又は列、または整数個の完全タイル、から構成することが可能である(後者の可能性が部分タイルが連続的なCTU行又は列を含む限り、スライスが部分タイルを含むことが可能であることを意味する)。
最初の実施形態、第1の実施形態では、VVC7のスライスパーティションのためのシンタックスが、正しく実施することが困難な多数の制約を指定することを回避するために、また、スライスパーティショニングのためのパラメータ、例えばスライスのサイズを推論/導出するためにサブピクチャレイアウトに依存するために、修正される。サブピクチャは完全なスライスのセット/グループによって表される(すなわちから構成される)ので、サブピクチャが単一のスライスを含むときに、スライスのサイズを推論することが可能である。同様に、サブピクチャ内のスライスの数およびサブピクチャ内の以前に処理/遭遇したスライスのサイズから、最後のスライスのサイズを推論/導出/決定することができる。
スライスは、サブピクチャ毎に定義される。”for loop”は、num_slices_in_subpic_minus1シンタックス要素と共に使用され、その特定のサブピクチャ内の正しい数のスライスを形成/処理する。シンタックス要素num_slices_in_subpic_minus1[i]は、スライスの数(iと等しいサブピクチャインデックスを持つサブピクチャ内)から1を引いた数を示し、つまり、シンタックス要素は、サブピクチャ内のスライスの数より1少ない値を示す。0に等しいとき、それは、サブピクチャがサブピクチャサイズに等しいサイズの単一のスライスを含むことを示す。スライスの数が1より大きい場合、スライスのサイズは、整数個のタイルの単位で表される。最後のスライスのサイズは、サブピクチャサイズ(及びサブピクチャ内の他のタイルのサイズ)から推論される。このアプローチでは、シンタックス要素に対して以下のセマンティクスを持つ完全サブピクチャをカバーする場合に、”タイルフラクション”スライスを定義することができる。
・ サブピクチャは、ピクチャ内の1つまたは複数のスライスの矩形領域である。スライスのアドレスは、サブピクチャに関連して定義される。サブピクチャとそのスライスとの間のこの関連/関係は、各サブピクチャに適用される「for loop」内のスライスを定義するシンタックスシステムに反映される。
・ 設計により、同じサブピクチャ内の2つの異なるタイルから2つ以上のタイルフラクションスライスを有することにつながり得る望ましくないパーティショニングを回避する。
・ タイルおよびサブピクチャパーティショニングの両方からスライスパーティショニングを推論することが可能であり、これはシグナリングの符号化効率を改善する。
・ この変形例のさらなる変形例によれば、スライスパーティショニングのこの推論/導出は、以下の処理を使用して実行される。矩形スライスの場合、包括的な、0からnum_slices_in_pic_minus1までの範囲のiのリストNumCtuInSlice[i]は、i番目のスライスのCTUの数を指定し、包括的な、0からnum_slices_in_pic_minus1までの範囲のiおよび包括的な、0からNumCtuInSlice[i]-1までの範囲のjの行列CtbAddrInSlice[i][j]は、i番目のスライス内のj番目のCTBのピクチャラスタスキャンアドレスを指定し、single_slice_per_subpic_flagが0に等しい場合、次のように導出される。
さらなる変形例では、サブピクチャがタイルのフラクションを表す(すなわち、サブピクチャが部分タイルを含む)場合、サブピクチャ内のスライスの数は1に等しいと推論される。シンタックス要素の符号化データサイズは、タイルフラクションを表すサブピクチャの数(すなわち、部分タイルを含むサブピクチャの数)が増加することにつれて、さらに低減され、ストリームの圧縮を改善する。PPSのシンタックスは、たとえば次のようになる。
・ CtbToTileRowBd[ctbAddrY]は、垂直CTBアドレス(ctbAddrY)をCTB単位の先頭タイル列境界に変換する
・ CtbToTileColBd[ctbAddrX]は、水平CTBアドレス(ctbAddrX)をCTB単位の左タイル列境界に変換する
・ ColWidth[i]は、CTBにおけるi番目のタイル列の幅である
・ RowHeight[i]は、CTBにおけるi番目のタイル行の高さである
・ tileColBd[i]は、CTBにおけるi番目のタイル列境界の位置である
・ tileRowBd[i]は、CTBにおけるi番目のタイル行境界の位置である
・ NumTileColumnsはタイル列の数である
・ NumTileRowsはタイル行の数である
図7は、上述の実施形態/変形例/さらなる変形例のシグナリングを使用するサブピクチャおよびスライスパーティショニングの例を示す。この例では、ピクチャ700が(1)~(9)とラベル付けされた9つのサブピクチャと、4×5タイルグリッド(太い実線で示されたタイル境界)とに分割される。スライスパーティショニング(各スライスに含まれる領域は、スライス境界の直内側の細い実線で示される)は、サブピクチャ毎に次のようになる:
・ サブピクチャ(1):それぞれ1タイル、2タイル及び3タイルを含む3つのスライス。スライスの高さは1タイルに等しく、その幅はタイル単位でそれぞれ1、2および3である(すなわち、3つのスライスは水平方向に配列されたタイルの列からなる)
・ サブピクチャ(2):等しいサイズの2つのスライスであり、サイズは幅が1タイル、高さが1タイルである(すなわち、2つのスライスの各々は単一のタイルからなる)
・ サブピクチャ(3)~(6):1つの「タイルフラクション」スライス、すなわち、単一の部分タイルからなるスライス
・ サブピクチャ(7):2つのタイルの列のサイズを有する2つのスライス(すなわち、2つのスライスの各々は、垂直方向に配列された2つのタイルの列からなる)
・ サブピクチャ(8):3タイルの行の1スライス
・ サブピクチャ(9):1タイルの行と2タイルの行のサイズを有する2つのスライス
サブピクチャ(1)の場合、2つの最初のスライスの幅および高さが符号化され、最後のスライスのサイズが推定される。
2番目の実施形態、実施形態2では、「タイルフラクション」スライス(すなわち、部分タイルであるスライス)がサブピクチャ全体をカバーするという制約/制約が緩和/除去される。その結果、サブピクチャは1つまたは複数のスライスを含むことができ、各スライスは1つまたは複数のタイルを含むが、1つまたは複数の「タイルフラクション」スライスを含むこともできる。
たとえば、PPSシンタックスは次のようになる。
・ サブピクチャ(1):1タイル、2タイル及び3タイルの行のサイズを有する3つのスライス(即ち、水平方向に配列されたタイルの行からなる3つのスライス)
・ サブピクチャ(2):等しいサイズの2つのスライスであり、サイズは1タイルである(すなわち、2つのスライスの各々は単一のタイルからなる)
・ サブピクチャ(3):4つの「タイルフラクション」スライス、すなわち、各々が単一の部分タイルからなる4つのスライス
・ サブピクチャ(4):2つのタイルの列のサイズを有する2つのスライス(すなわち、2つのスライスの各々は、垂直方向に配列された2つのタイルの列からなる)
・ サブピクチャ(5):3タイルの行の1スライス
・ サブピクチャ(6):1タイルの行と2タイルの行のサイズを有する2つのスライス
サブピクチャ(3)の場合、サブピクチャ内のスライスの数は4に等しく、サブピクチャは2つのタイルのみを含む。スライスの幅はサブピクチャ幅に等しいと推定され、スライスの高さはCTU単位で指定される。
この3番目の実施形態、実施形態3では、ビットストリームにおいて、タイルフラクションスライスがイネーブルされているか若しくはディスエーブルされているか、を指定する。原理はパラメータセットNALユニット(または非VCL NALユニット)のうちの1つに、「タイルフラクション」スライスの使用が許可されるか否かを示すシンタックス要素を含めることである。
sps_tile_fraction_slices_enabled_flagは、符号化されたビデオシーケンスで「タイルフラクション」スライスをイネーブルにするかどうかを指定する。0に等しいsps_tile_fraction_slices_enabled_flagは、スライスは整数個のタイルを含むことを示す。1に等しいsps_tile_fraction_slices_enabled_flagは、スライスが整数個のタイルまたは1つのタイルからの整数個のCTU行を含むことができることを示す。
VVC7では、タイルフラクションスライスは矩形スライスモードでのみ有効になる。以下に説明する実施形態4は、ラスタスキャンスライスモードにおいてもタイルフラクションスライスの使用を可能にするという利点を有している。これは、スライス境界がVVC7のようにタイル境界に整列するように制約されていないので、符号化されたスライスのビット長をより正確に調整することができる可能性を提供する。
任意の先の実施形態のPPSシンタックスは、タイルフラクション特有のシグナリングを除去するように修正される。たとえば、PPSシンタックスは次のようになる。
実施形態5は、サブピクチャレイアウトのシグナリングに対する修正であり、これは、特定の状況における改善につながり得る。実際に、ビデオシーケンスにおけるサブピクチャ又はスライス又はタイルの数を増加させることは、時間的及びイントラ予測メカニズムの有効性/効率を制限/制限する。その結果、ビデオシーケンスの圧縮効率を低下させることができる。この理由のために、サブピクチャレイアウトがアプリケーション要件(例えば、ROIのサイズ)の関数として予め決定/決定/予測/推定され得る確率が高い。符号化処理では、サブピクチャレイアウトに最適なタイルパーティショニングが生成される。最良の場合のシナリオでは、各サブピクチャが正確に1つのタイルを含む。圧縮効率への影響を制限するために、エンコーダはサブピクチャごとに単一スライスを使用することにより、サブピクチャあたりのスライスの数を最小化しようとする。その結果、エンコーダの最良のオプションは、サブピクチャ毎に1つのスライス及び1つのタイルを定義することである。
前述の実施形態/変形例のうちの1つまたは複数は、1つまたは複数の前述の実施形態/変形例の方法ステップを実行するエンコーダまたはデコーダの形態で実装され得る。以下の実施形態は、そのような実装を例示する。
本発明の他の実施形態によれば、前述の実施形態/変形例によるデコーダがコンピュータ、携帯電話(携帯電話)、タブレット、またはコンテンツをユーザに提供/表示することができる任意の他のタイプのデバイス(例えば、ディスプレイ装置)などのユーザ端末に提供されることも理解される。さらに別の実施形態によれば、前述の実施形態/変形例によるエンコーダが、エンコーダが符号化するためのコンテンツをキャプチャして提供するカメラ、ビデオカメラ、またはネットワークカメラ(例えば、閉回路テレビまたはビデオ監視カメラ)も備える画像キャプチャ装置に提供される。2つのこのような実施形態が、図14および15を参照して以下に提供される。
本発明のある態様によれば、画像のデータを復号する方法であって、前記画像は1つまたは複数のスライスを含むことができ、前記画像は1つまたは複数のサブピクチャを含むことができ、前記方法は、サブピクチャの幅を示す第1の情報と、該サブピクチャの高さを示す第2の情報と、をシーケンスパラメータセットから取得することと、前記第1の情報と前記第2の情報とを用いて、該サブピクチャに含まれるスライスに関連するパラメータを決定することと、少なくとも前記決定されたパラメータを用いて、前記画像を復号することとを含む。
また、本発明のある態様によれば、画像を符号化する方法であって、前記画像は1又は複数のスライスを含むことができ、前記画像は1又は複数のサブピクチャを含むことができ、前記方法は、サブピクチャの幅を示す第1の情報と、該サブピクチャの高さを示す第2の情報と、をシーケンスパラメータセットに符号化することと、前記第1の情報と前記第2の情報とを用いて、該サブピクチャに含まれるスライスに関連するパラメータを決定することと、少なくとも前記決定されたパラメータを用いて、前記画像を符号化することとを含む。
Claims (26)
- 1つまたは複数の画像の画像データを処理する方法であって、各画像は1つまたは複数のタイルで構成され且つ1つまたは複数の画像部分に分割可能であり、画像部分はタイルの一部を含むことができ、前記画像は1つまたは複数のサブピクチャに分割可能であり、
サブピクチャに含まれる1つまたは複数の画像部分を決定することと、
前記決定から得られた情報を使用して前記1つまたは複数の画像を処理することと
を含むことを特徴とする方法。 - タイルの前記一部は、タイル内の整数個の連続した完全なコーディングツリーユニット(CTU)列であることを特徴とする請求項1に記載の方法。
- 前記決定することは、サブピクチャの識別子を用いて前記1つまたは複数の画像部分を定義することを含むことを特徴とする請求項1または請求項2に記載の方法。
- 前記決定することは、前記サブピクチャのサイズ、幅、または高さを用いて、前記1つまたは複数の画像部分を定義することを含むことを特徴とする請求項1乃至3の何れか1項に記載の方法。
- 前記決定することは、単一の画像部分のみが前記サブピクチャに含まれるかどうかに基づいて、前記1つまたは複数の画像部分を定義することを含むことを特徴とする請求項1乃至4の何れか1項に記載の方法。
- 前記決定することは、前記サブピクチャに含まれている画像部分の数を用いて、前記1つまたは複数の画像部分を定義することを含むことを特徴とする請求項1乃至5の何れか1項に記載の方法。
- 画像部分がタイルの1つまたは複数の部分を含む場合には、前記画像部分は、そこに含まれるべきコーディングツリーユニットCTUの行又は列の数に基づいて決定されることを特徴とする請求項1乃至6の何れか1項に記載の方法。
- 前記処理は、単一の画像部分のみが前記サブピクチャに含まれるか否か、前記サブピクチャに含まれる画像部分の数、のうちの1つまたは複数を決定するための情報をビットストリームに提供すること、または該ビットストリームから取得することを含む、ことを特徴とする請求項1乃至7の何れか1項に記載の方法。
- 決定するための前記情報は、ピクチャパラメータセットPPSに提供されるか、または該ピクチャパラメータセットPPSから取得されることを特徴とする請求項8に記載の方法。
- 決定するための前記情報は、シーケンスパラメータセットSPS内に提供されるか、または該シーケンスパラメータセットSPSから取得されることを特徴とする請求項8又は9のいずれか1項に記載の方法。
- 前記サブピクチャは2つ以上の画像部分を含み、各画像部分はタイルの1つまたは複数の部分を含むことを特徴とする請求項1乃至10の何れか1項に記載の方法。
- タイルの前記1つ以上の部分は、同じ単一タイルからのものであることを特徴とする請求項11に記載の方法。
- 画像部分は1つまたは複数のタイルからなり、前記画像部分は前記画像内の矩形領域を形成することを特徴とする請求項1乃至12の何れか1項に記載の方法。
- 1つまたは複数の画像の画像データを処理する方法であって、各画像は1つまたは複数のタイルで構成され且つ1つまたは複数の画像部分に分割可能であり、前記画像は1つまたは複数のサブピクチャに分割可能であり、
サブピクチャに含まれる1つまたは複数の画像部分を決定することと、
前記決定から得られた情報を使用して前記1つまたは複数の画像を処理することと
を含むことを特徴とする方法。 - 画像部分はスライスであることを特徴とする請求項1乃至14の何れか1項に記載の方法。
- 1つまたは複数の画像を符号化する方法であって、前記方法は、請求項1乃至15の何れか1項に記載の画像データを処理することを含む、ことを特徴とする方法。
- 1つまたは複数の画像を復号する方法であって、前記方法は、請求項1乃至15の何れか1項に記載の画像データを処理することを含む、ことを特徴とする方法。
- 単一の画像部分のみが前記サブピクチャに含まれるか否かを決定するための情報を、前記ピクチャパラメータセット(PPS)におけるビットストリームに提供するか、または該ピクチャパラメータセット(PPS)からのビットストリームから取得する、ことを更に含むことを特徴とする請求項16又は17に記載の方法。
- 前記サブピクチャに含まれる画像部分の数を決定するための情報を、前記ピクチャパラメータセット(PPS)におけるビットストリームに提供するか、または該ピクチャパラメータセット(PPS)からのビットストリームから取得する、ことを更に含むことを特徴とする請求項16乃至18の何れか1項に記載の方法。
- サブピクチャがビデオシーケンスにおいて用いられているか否かを示す情報を、前記シーケンスパラメータセット(SPS)におけるビットストリームに提供するか、または該前記シーケンスパラメータセット(SPS)からのビットストリームから取得する、ことを更に含むことを特徴とする請求項16乃至19の何れか1項に記載の方法。
- 1つまたは複数の画像の画像データを処理するデバイスであって、前記デバイスは、請求項1乃至15の何れか1項に記載の前記方法を実行することを特徴とするデバイス。
- 1つまたは複数の画像を符号化するデバイスであって、前記デバイスは、請求項16および18乃至20に記載の符号化の前記方法を実行することを特徴とするデバイス。
- 1つまたは複数の画像を復号するデバイスであって、前記デバイスは、請求項17乃至20のいずれかに記載の復号の前記方法を実行することを特徴とするデバイス。
- コンピュータまたはプロセッサ上で実行される場合に、請求項1乃至20の何れか1項に記載の前記方法を、前記コンピュータまたはプロセッサに実行させるプログラム。
- 請求項24のプログラムを搬送するキャリア媒体。
- ビットストリームによって表され且つ請求項16および18乃至20の何れかに記載の符号化の前記方法を用いて符号化された画像の情報データセットを搬送する信号であって、前記画像は1つまたは複数のタイルからなり且つ1つまたは複数の画像部分に分割可能であり、画像部分はタイルの一部を含むことができ、前記画像は1つまたは複数のサブピクチャに分割可能であり、前記情報データセットは、サブピクチャに含まれる1つまたは複数の画像部分を決定するためのデータを含むことを特徴とする信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023136525A JP2023159358A (ja) | 2019-12-20 | 2023-08-24 | サブピクチャ、スライス、およびタイルをサポートするビデオ符号化 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1919024.8A GB2590632B (en) | 2019-12-20 | 2019-12-20 | Video coding and decoding |
GB1919024.8 | 2019-12-20 | ||
PCT/EP2020/086719 WO2021122956A1 (en) | 2019-12-20 | 2020-12-17 | Video coding supporting subpictures, slices and tiles |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023136525A Division JP2023159358A (ja) | 2019-12-20 | 2023-08-24 | サブピクチャ、スライス、およびタイルをサポートするビデオ符号化 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022553599A true JP2022553599A (ja) | 2022-12-26 |
JP7345051B2 JP7345051B2 (ja) | 2023-09-14 |
Family
ID=69322727
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022508944A Active JP7345051B2 (ja) | 2019-12-20 | 2020-12-17 | サブピクチャ、スライス、およびタイルをサポートするビデオ符号化 |
JP2023136525A Pending JP2023159358A (ja) | 2019-12-20 | 2023-08-24 | サブピクチャ、スライス、およびタイルをサポートするビデオ符号化 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023136525A Pending JP2023159358A (ja) | 2019-12-20 | 2023-08-24 | サブピクチャ、スライス、およびタイルをサポートするビデオ符号化 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20230060709A1 (ja) |
EP (1) | EP4078954A1 (ja) |
JP (2) | JP7345051B2 (ja) |
KR (1) | KR20220110300A (ja) |
CN (1) | CN114846791A (ja) |
GB (1) | GB2590632B (ja) |
TW (1) | TWI824207B (ja) |
WO (1) | WO2021122956A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023508665A (ja) * | 2019-12-26 | 2023-03-03 | バイトダンス インコーポレイテッド | ビデオコーディングにおける復号パラメータセット |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115211126A (zh) * | 2020-02-14 | 2022-10-18 | 抖音视界有限公司 | 环路滤波和视频条带之间的相互作用 |
JP7395005B2 (ja) * | 2020-02-24 | 2023-12-08 | バイトダンス インコーポレイテッド | サブピクチャの高さの導出 |
WO2021178501A1 (en) | 2020-03-03 | 2021-09-10 | Bytedance Inc. | Controlling a scaling process using slice header signaling |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018117308A (ja) * | 2017-01-20 | 2018-07-26 | キヤノン株式会社 | 再生装置及びその制御方法 |
JP2022518170A (ja) * | 2019-01-09 | 2022-03-14 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ビデオエンコーダ、ビデオデコーダ、および対応する方法 |
JP2022549289A (ja) * | 2019-09-23 | 2022-11-24 | 華為技術有限公司 | サブピクチャベースのビデオコーディングにおけるサブピクチャごとの1つのスライスの指示 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10244246B2 (en) * | 2012-02-02 | 2019-03-26 | Texas Instruments Incorporated | Sub-pictures for pixel rate balancing on multi-core platforms |
CN118784881A (zh) * | 2016-02-09 | 2024-10-15 | 弗劳恩霍夫应用研究促进协会 | 解码器、编码器、方法、网络设备以及可读存储介质 |
WO2019009473A1 (ko) * | 2017-07-04 | 2019-01-10 | 엘지전자 주식회사 | 360도 비디오의 영역 기반 처리 방법 및 장치 |
EP3656127A1 (en) * | 2017-07-19 | 2020-05-27 | Fraunhofer Gesellschaft zur Förderung der Angewand | Apparatus and method of coding of pictures |
JP2021016016A (ja) * | 2017-10-20 | 2021-02-12 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
CN110035331B (zh) * | 2018-01-12 | 2021-02-09 | 华为技术有限公司 | 一种媒体信息的处理方法及装置 |
US20200344462A1 (en) * | 2018-01-12 | 2020-10-29 | Sharp Kabushiki Kaisha | Systems and methods for signaling sub-picture composition information for virtual reality applications |
EP3759922A1 (en) * | 2018-04-03 | 2021-01-06 | Huawei Technologies Co. Ltd. | Error mitigation in sub-picture bitstream based viewport dependent video coding |
CN113557744A (zh) * | 2019-03-11 | 2021-10-26 | 华为技术有限公司 | 视频译码中的分块级滤波 |
KR20200145752A (ko) * | 2019-06-19 | 2020-12-30 | 한국전자통신연구원 | 비디오 영상 부/복호화를 위한 가상 경계 시그널링 방법 및 장치 |
US11483558B2 (en) * | 2019-06-21 | 2022-10-25 | Tencent America LLC | Method for region-wise scalability with adaptive resolution change |
CN110493604A (zh) * | 2019-08-28 | 2019-11-22 | 成都索贝数码科技股份有限公司 | 一种基于gpu集群实现8k hevc实时编码的方法 |
GB201913403D0 (en) * | 2019-09-17 | 2019-10-30 | Canon Kk | Method and apparatus for encoding and decoding a video stream with subpictures |
US11375223B2 (en) * | 2019-09-20 | 2022-06-28 | Tencent America LLC | Method for signaling output layer set with sub-picture |
US20220224932A1 (en) * | 2019-09-23 | 2022-07-14 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium storing bitstream |
US12052417B2 (en) * | 2019-10-07 | 2024-07-30 | Sk Telecom Co., Ltd. | Method for splitting picture and decoding apparatus |
JP7395727B2 (ja) * | 2019-10-23 | 2023-12-11 | 北京字節跳動網絡技術有限公司 | ビデオ・データを処理する方法、装置及び記憶方法 |
US11297350B1 (en) * | 2020-03-27 | 2022-04-05 | Tencent America LLC | Method for output layer set for multilayered video stream |
-
2019
- 2019-12-20 GB GB1919024.8A patent/GB2590632B/en active Active
-
2020
- 2020-12-15 TW TW109144275A patent/TWI824207B/zh active
- 2020-12-17 WO PCT/EP2020/086719 patent/WO2021122956A1/en unknown
- 2020-12-17 CN CN202080088832.7A patent/CN114846791A/zh active Pending
- 2020-12-17 KR KR1020227023887A patent/KR20220110300A/ko active Search and Examination
- 2020-12-17 EP EP20823880.8A patent/EP4078954A1/en active Pending
- 2020-12-17 JP JP2022508944A patent/JP7345051B2/ja active Active
- 2020-12-17 US US17/787,196 patent/US20230060709A1/en active Pending
-
2023
- 2023-08-24 JP JP2023136525A patent/JP2023159358A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018117308A (ja) * | 2017-01-20 | 2018-07-26 | キヤノン株式会社 | 再生装置及びその制御方法 |
JP2022518170A (ja) * | 2019-01-09 | 2022-03-14 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ビデオエンコーダ、ビデオデコーダ、および対応する方法 |
JP2022549289A (ja) * | 2019-09-23 | 2022-11-24 | 華為技術有限公司 | サブピクチャベースのビデオコーディングにおけるサブピクチャごとの1つのスライスの指示 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023508665A (ja) * | 2019-12-26 | 2023-03-03 | バイトダンス インコーポレイテッド | ビデオコーディングにおける復号パラメータセット |
US11902586B2 (en) | 2019-12-26 | 2024-02-13 | Bytedance Inc. | Profile tier level parameter set in video coding |
JP7568350B2 (ja) | 2019-12-26 | 2024-10-16 | バイトダンス インコーポレイテッド | ビデオコーディングにおける復号パラメータセット |
Also Published As
Publication number | Publication date |
---|---|
GB2590632B (en) | 2023-07-26 |
JP7345051B2 (ja) | 2023-09-14 |
CN114846791A (zh) | 2022-08-02 |
EP4078954A1 (en) | 2022-10-26 |
GB201919024D0 (en) | 2020-02-05 |
TWI824207B (zh) | 2023-12-01 |
GB2590632A (en) | 2021-07-07 |
US20230060709A1 (en) | 2023-03-02 |
TW202126045A (zh) | 2021-07-01 |
WO2021122956A1 (en) | 2021-06-24 |
KR20220110300A (ko) | 2022-08-05 |
JP2023159358A (ja) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10602190B2 (en) | Temporal sub-layer descriptor | |
JP7403633B2 (ja) | ビデオの符号化及び復号のための高レベルシンタックス | |
KR20210057148A (ko) | 비디오 코딩에서의 슬라이싱 및 타일링 | |
US9716900B2 (en) | Extensible design of nesting supplemental enhancement information (SEI) messages | |
JP7345051B2 (ja) | サブピクチャ、スライス、およびタイルをサポートするビデオ符号化 | |
TWI811651B (zh) | 用於視頻編碼及解碼的高階語法 | |
TWI827919B (zh) | 用於視頻編碼及解碼的高階語法 | |
JP2024105712A (ja) | ビデオの符号化及び復号のための高レベルシンタックス | |
JP2024102321A (ja) | ビデオコーディングおよびデコーディング | |
JP2023507877A (ja) | ビデオコーディング及び復号のための高レベルシンタックス | |
KR20230004340A (ko) | 어느 비디오 데이터 유닛들이 타겟 픽처-인-픽처 영역을 나타내는지의 표시 | |
KR20230004339A (ko) | 사전선택의 목적의 시그널링 | |
TWI851707B (zh) | 用於適應性迴圈濾波器變數之適應變數集合 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220421 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230904 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7345051 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |