JP2023182800A - サブピクチャに依存するビデオビットストリーム内のシグナリング - Google Patents

サブピクチャに依存するビデオビットストリーム内のシグナリング Download PDF

Info

Publication number
JP2023182800A
JP2023182800A JP2023180083A JP2023180083A JP2023182800A JP 2023182800 A JP2023182800 A JP 2023182800A JP 2023180083 A JP2023180083 A JP 2023180083A JP 2023180083 A JP2023180083 A JP 2023180083A JP 2023182800 A JP2023182800 A JP 2023182800A
Authority
JP
Japan
Prior art keywords
video
picture
sub
bitstream
subpicture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023180083A
Other languages
English (en)
Inventor
ザン,カイ
Kai Zhang
デン,ジピン
Zhipin Deng
リュウ,ホンビン
Hongbin Liu
ザン,リー
Li Zhang
シュイ,ジィジォン
Jizheng Xu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2023182800A publication Critical patent/JP2023182800A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Abstract

【課題】ビデオ処理の方法を提供する。【解決手段】ビデオの第1ピクチャの第1ビデオブロックと前記ビデオのビットストリームとの間の第1変換について、アフィン動きモードが前記第1ビデオブロックに適用されると決定するステップと、前記第1ビデオブロックについて、時間動き情報に基づき生成された少なくとも1つの構成された動き候補を含む動き候補リストを構成するステップと、前記動き候補リストに基づき予測サンプルを導出し、前記第1変換を実行するステップと、を含み、前記時間動き情報が導出される位置は、前記第1ピクチャの第1サブピクチャの範囲内であるよう制約され、ビデオピクチャが複数のサブピクチャに分割されるサブピクチャコーディングモードは、前記第1ピクチャに対して有効である、方法。【選択図】図4

Description

[関連出願]
本願は、国際特許出願番号第PCT/CN2019/100114号、2019年8月10日出願の優先権及び利益を請求する国際特許出願番号第PCT/CN2020/108175号、2020年8月10日出願に基づく特願2022-508460号の分割出願である。前述の出願の全ての開示は、参照によりここに組み込まれる。
[技術分野]
本願明細書は、ビデオ及び画像コーディング及び復号技術に関する。
デジタルビデオは、インターネット及び他のデジタル通信ネットワーク上で最大の帯域幅使用を占める。ビデオを受信及び表示可能な接続されたユーザ装置の数が増加するにつれ、デジタルビデオ使用のための帯域幅要求は増大し続けることが予想される。
開示の技術は、サブピクチャに基づくコーディング又は復号が実行されるビデオ又は画像デコーダ又はエンコーダの実施形態により使用されてよい。
1つの例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオの第1ピクチャの現在ブロックと前記ビデオのビットストリーム表現との間の変換のために、ルールに従い、第2ピクチャからの動き情報に基づき、動き候補を決定するステップを含む。前記ルールは、前記動き情報がアクセスされる位置が、前記第2ピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。前記方法は、前記決定に基づき変換を実行するステップを含む。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオの第1ピクチャの現在ブロックと前記ビデオのビットストリーム表現の変換のために、ルールに従い、第2ピクチャからの整数サンプルを決定するステップを含む。前記第2ピクチャは、補間処理において使用されない参照ピクチャを含む。前記ルールは、前記整数サンプルがアクセスされる位置が、前記第2ピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。前記方法は、前記決定に基づき変換を実行するステップを含む。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオの現在ブロックと前記ビデオのビットストリーム表現の変換のために、ルールに従い、再構成ルマサンプルがアクセスされる位置を決定するステップを含む。前記ルールは、前記位置が、前記ビデオピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。前記方法は、前記決定に基づき変換を実行するステップを含む。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオの現在ブロックと前記ビデオのビットストリーム表現の変換のために、ルールに従い、ピクチャ境界チェックが実行される位置を決定するステップを含む。前記ルールは、前記位置が、前記ビデオピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。前記方法は、前記決定に基づき変換を実行するステップを含む。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオのビデオピクチャのサブピクチャと前記ビデオのビットストリーム表現の変換の後に、過去の変換に基づき導出された動き候補のテーブルを再設定するステップと、前記再設定の後の前記テーブルを用いて、前記ビデオピクチャの後続のサブピクチャと前記ビットストリーム表現の変換を実行するステップと、を含む。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ルールに従い、複数のサブピクチャ及び複数のビデオブロックを含むビデオピクチャを有するビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含む。前記ルールは、任意の2つのサブピクチャが、2つのビデオブロックの間の境界でもあることを指定する。前記ビデオピクチャ内のビデオブロックは、前記ビデオピクチャの単一のサブピクチャによりカバーされる。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、少なくともビデオピクチャを用いて、ビデオのビデオユニットと前記ビデオのコーディング表現との間の変換を実行するステップを含み、サブピクチャコーディングモード又は解像度変化コーディングモードのうちの1つのみが、前記ビデオユニットに対して有効である。前記サブピクチャコーディングモードは、前記ビデオピクチャが複数のサブピクチャに分割されるモードであり、前記解像度変化コーディングモードは、前記ビデオピクチャの解像度が前記変換中に調整されるモードである。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、少なくともビデオピクチャを用いて、ビデオのビデオユニットと前記ビデオのコーディング表現との間の変換を実行するステップを含み、サブピクチャコーディングモード及び解像度変化コーディングモードの両方が、前記ビデオユニットに対して有効である。前記サブピクチャコーディングモードは、前記ビデオピクチャが複数のサブピクチャに分割されるモードであり、前記解像度変化コーディングモードは、前記ビデオピクチャの解像度が前記変換中に調整されるモードである。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、1つ以上のビデオピクチャを含むビデオと前記ビデオのコーディング表現との間の変換を実行するステップ、を含み、個々のビデオピクチャの寸法は、8以上になるよう制約される。幾つかの実施形態では、前記寸法は前記個々のビデオピクチャの幅である。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ルールに従い、ビデオのビデオピクチャと前記ビデオのコーディング表現との間の変換を実行するステップを含む。前記ビデオピクチャは少なくとも1つのサブピクチャを含み、前記ルールは、サブピクチャの特性が前記コーディング表現の中の少なくとも1つのシンタックスエレメントとして表現されることを指定し、前記少なくとも1つのシンタックスエレメントは、前記ビデオピクチャ内のサブピクチャグリッドのインデックス値と異なる。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ルールに従い、ビデオのビデオユニットと前記ビデオのコーディング表現との間の変換を実行するステップを含む。前記ビデオピクチャは複数のサブピクチャを含み、各サブピクチャは複数のエレメントを含む。前記ルールは、サブピクチャ内の個々のエレメントの寸法が制約を満たすことを指定する。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ルールに従い、コーディングモードを用いて、複数のサブピクチャを含むピクチャを有するビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含む。前記ルールは、前のサブピクチャに関する特定の格納された情報が、前記複数のサブピクチャのうちの各々の次のサブピクチャを処理する前に、再設定されることを指定する。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ルールに従い、ビデオと前記ビデオのコーディング表現との間の変換において、時間フィルタリング動作を実行するステップを含む。前記ビデオは複数のビデオピクチャを含み、各ビデオピクチャは複数のサブピクチャを含む。前記ルールは、ビデオピクチャの現在サブピクチャ内の現在サンプルを時間フィルタリングするために、同じ現在サブピクチャ又は現在サブピクチャに対応する異なるビデオピクチャ内のサブピクチャの範囲内のサンプルのみが利用可能であることを指定する。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオのビデオピクチャ内のブロックと前記ビデオのコーディング表現との間の変換のために、前記ブロックが前記ビデオピクチャの1つ以上のサブピクチャ境界と交差するかどうかに基づき、前記ブロックにパーティション方法を適用する方法を決定するステップを含む。前記方法は、前記決定に基づき変換を実行するステップを含む。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオのビデオピクチャと前記ビデオのコーディング表現との間の変換のために、前記ビデオピクチャのうちの2つのサブ領域を含む。第1サブ領域は、前記ビデオピクチャの複数のサブピクチャを含み、第2サブ領域は、前記ビデオピクチャ内のサンプルを維持することを含む。前記方法は、前記決定に基づき変換を実行するステップを含む。
別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオの第1ビデオ領域内のビデオブロックについて、アフィンモードを用いて前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために時間動きベクトル予測子が決定される位置が、第2ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む。
別の例示的な態様では、ビデオ処理の別の方法が開示される。前記方法は、ビデオの第1ビデオ領域内のビデオブロックについて、前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために参照ピクチャ内の整数サンプルがフェッチされる位置が、第2ビデオ領域の範囲内であるかどうかを決定するステップであって、前記参照ピクチャは前記変換中に補間処理において使用されない、ステップと、前記決定に基づき前記変換を実行するステップと、を含む。
別の例示的な態様では、ビデオ処理の別の方法が開示される。前記方法は、ビデオの第1ビデオ領域内のビデオブロックについて、前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために再構成ルマサンプル値がフェッチされる位置が、第2ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む。
別の例示的な態様では、ビデオ処理の別の方法が開示される。前記方法は、ビデオの第1ビデオ領域内のビデオブロックについて、前記ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換中に、前記ビデオブロックについて分割に関するチェック、深さ導出、又は分割フラグシグナリングが実行される位置が、第2ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む。
別の例示的な態様では、ビデオ処理の別の方法が開示される。前記方法は、1つ以上のビデオブロックを含む1つ以上のビデオピクチャを含むビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含み、前記コーディング表現は、前記変換がサブピクチャコーディング/復号、及び動的解像度変換コーディング/復号ツール又は参照ピクチャ再サンプリングツールをビデオユニット内で使用しないというコーディングシンタックス要件に従う。
別の例示的な態様では、ビデオ処理の別の方法が開示される。前記方法は、1つ以上のビデオブロックを含む1つ以上のビデオピクチャを含むビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含み、前記コーディング表現は、第1シンタックスエレメントsubpic_grid_idx[i][j]が第2シンタックスエレメントmax_subpics_minus1より大きくないというコーディングシンタックス要件に従う。
更に別の例示的な態様では、上述の方法は、プロセッサを含むビデオエンコーダ機器により実施されてよい。
更に別の例示的な態様では、上述の方法は、プロセッサを含むビデオデコーダ機器により実施されてよい。
更に別の例示的な態様では、これらの方法は、プロセッサ実行可能命令の形式で具現命令され、コンピュータ可読プログラム媒体に格納されてよい。
これら及び他の態様は、本願明細書において更に記載される。
時間動きベクトル予測(TMVP)及びサブブロックTMVPにおける領域制約の例を示す。
階層的動き推定方式の例を示す。
本願明細書に記載される技術を実施するために使用されるハードウェアプラットフォームの例のブロック図である。
ビデオ処理の例示的な方法のフローチャートである。
本願明細書に開示される種々の技術が実施され得る例示的なビデオ処理システムを示すブロック図である。
本発明の技術によるビデオ処理の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
本願明細書は、伸長又は復号デジタルビデオ又は画像の品質を向上するために画像又はビデオビットストリームのデコーダにより使用できる種々の技術を提供する。簡単のために、用語「ビデオ」は、本願明細書で、ピクチャのシーケンス(伝統的にビデオと呼ばれる)及び個々の画像の両方を含むために使用される。更に、ビデオエンコーダも、更なる符号化のために使用される復号フレームを再構成するために、符号化の処理の間に、これらの技術を実施してよい。
章見出しは、本願明細書において理解を容易にするために使用され、実施形態及び技術を対応する章に限定するものではない。従って、1つの章からの実施形態は、他の章からの実施形態と結合できる。
1.概要
本願明細書は、ビデオコーディング技術に関する。具体的に、ビデオコーディングにおける下地色(base colors)に基づく表現を利用するパレットコーディングに関する。それは、HEVCのような既存のビデオコーディング規格、又は完成されるべき規格(Versatile Video Coding)に適用されてよい。それは、将来のビデオコーディング規格又はビデオコーデックにも適用可能であってよい。
2.最初の議論
ビデオコーディング規格は、主によく知られたITU-T及びISO/IEC規格の発展を通じて進化している。ITU-TはH.261及びH.263を策定し、ISO/IECはMPEG-1及びMPEG-4ビジュアルを策定し、及び2つの組織は共同でH.262/MPEG-2ビデオ、及びH.264/MPEG-4アドバンストビデオコーディング(Advanced Video Coding)及びH.265/HEVC規格を策定した[1,2]。H.262以降、ビデオコーディング規格は、ハイブリッドビデオコーディング構造に基づき、ここでは時間予測及び変換コーディングが利用される。HEVCより先の将来のコーディング技術を開発するために、共同ビデオ探索チーム(Joint Video Exploration Team (JVET))が2015年にVCEG及びMPEGにより共同で設立された。それ以来、多くの新しい方法がJVETにより採用され、共同探索モデル(Joint Exploration Model (JEM))と呼ばれる参照ソフトウェアに取り入れられてきた。2018年4月には、HEVCと比べて50%のビットレート削減を目標とするVVC規格に取り組むために、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)との間の共同ビデオ専門家チーム(Joint Video Expert Team (JVET))が作成された。
2.1 TMVP及びVVCのサブブロックTMVPにおける領域制約
図1は、TMVP及びサブブロックTMVPにおける例示的な領域制約を示す。TMVP及びサブブロックTMVPでは、時間MVは、図1に示されるように、同一位置CTU、及び4×4ブロックの列からのみフェッチできる。
2.2 例示的なサブピクチャ
幾つかの実施形態では、フレキシブルタイリングアプローチに基づく、サブピクチャに基づくコーディング技術が実施できる。サブピクチャに基づくコーディング技術の要約は、以下を含む:
(1)ピクチャは、サブピクチャに分割できる。
(2)サブピクチャの存在の指示は、サブピクチャの他のシーケンスレベル情報と一緒に、SPS内で示される。
(3)サブピクチャが復号処理(インループフィルタリング動作を除く)においてピクチャとして扱われるかどうかは、ビットストリームにより制御できる。
(4)サブピクチャ境界に跨がるインループフィルタリングが無効にされるかどうかはサブピクチャ毎にビットストリームにより制御できる。DBF、SAO、及びALF処理は、サブピクチャ境界に跨がるインループフィルタリング動作の制御のために更新される。
(5)簡単のために、開始点として、サブピクチャ幅、高さ、水平オフセット、及び垂直オフセットが、SPS内のルマサンプルのユニットの中でシグナリングされる。サブピクチャ境界は、スライス境界になるよう制約される。
(6)復号処理(インループフィルタリング動作を除く)においてサブピクチャをピクチャとして扱うことは、coding_tree_unit()シンタックスを僅かに更新することにより指定され、以下の復号処理を更新する:
-(高度)時間ルマ動きベクトル予測の導出処理。
-ルマサンプル双線形補間処理。
-ルマサンプル8タップ補間フィルタリング処理。
-クロマサンプル補間処理。
(7)サブピクチャIDは、VCL NALユニットを変更する必要を伴わずにサブピクチャシーケンスの抽出を可能にするために、SPS内で明示的に指定され、タイルグループヘッダに含まれる。
(8)出力サブピクチャセット(Output sub-picture sets (OSPS))は、サブピクチャ及びそのセットについて、基準となる抽出及び適合点を指定するために提案される。
2.3 VVC(Versatile Video Coding)における例示的なサブピクチャ
シーケンスパラメータセット(sequence parameter set (RBSP))シンタックス
Figure 2023182800000002
subpics_present_flagが1に等しいことは、SPS RBSPシンタックス内にサブピクチャパラメータが存在することを示す。subpics_present_flagが0に等しいことは、SPS RBSPシンタックス内にサブピクチャパラメータが存在しないことを示す。
注2:ビットストリームがサブビットストリーム抽出処理の結果であり、サブビットストリーム抽出処理への入力ビットストリームのサブピクチャの一部のみを含むとき、SPSのRBSP内のsubpics_present_flagの値を1に等しく設定することが要求され得る。
max_subpics_minus1に1を加えたものは、CVS内に存在し得るサブピクチャの最大数を指定する。max_subpics_minus1は、0~254の範囲内であるべきである。255の値は、ITU-T|ISO/IECによる将来の使用のために予約されている。
subpic_grid_col_width_minus1に1を加えたものは、4個のサンプルのユニット内のサブピクチャ識別子の各要素の幅を指定する。シンタックスエレメントの長さは、Ceil(Log2(pic_width_max_in_luma_samples/4))ビットである。
変数NumSubPicGridColsは、以下のように導出される。
Figure 2023182800000003
subpic_grid_row_height_minus1に1を加えたものは、4個のサンプルのユニット内のサブピクチャ識別子の各要素の高さを指定する。シンタックスエレメントの長さは、Ceil(Log2(pic_height_max_in_luma_samples/4))ビットである。
変数NumSubPicGridRowsは、以下のように導出される。
Figure 2023182800000004
subpic_grid_idx[i][j]は、グリッド位置(i,j)のサブピクチャインデックスを指定する。シンタックスエレメントの長さは、Ceil(Log2(max_subpics_minus1+1))ビットである。
変数SubPicTop[subpic_grid_idx[i][j]]、SubPicLeft[subpic_grid_idx[i][j]、SubPicWidth[subpic_grid_idx[i][j]]、SubPicHeight[subpic_grid_idx[i][j]]、及びNumSubPicsは、以下のように導出される:
Figure 2023182800000005
subpic_treated_as_pic_flag[i]が1に等しいことは、CVS内の各コーディングピクチャのi番目のサブピクチャが、インループフィルタリング動作を除く復号処理でピクチャとして扱われることを指定する。subpic_treated_as_pic_flag[i]が0に等しいことは、CVS内の各コーディングピクチャのi番目のサブピクチャが、インループフィルタリング動作を除く復号処理でピクチャとして扱われないことを指定する。存在しないとき、subpic_treated_as_pic_flag[i]の値は0に等しいと推定される。
loop_filter_across_subpic_enabled_flag[i]が1に等しいことは、CVS内の各コーディングピクチャ内のi番目のサブピクチャの境界に渡り、インループフィルタリング動作が実行されてよいことを指定する。loop_filter_across_subpic_enabled_flag[i]が0に等しいことは、CVS内の各コーディングピクチャ内のi番目のサブピクチャの境界に渡り、インループフィルタリング動作が実行されないことを指定する。存在しないとき、vloop_filter_across_subpic_enabled_pic_flag[i]の値は1に等しいと推定される。
ビットストリーム適合の要件は、以下の制約を適用することである:
任意の2つのサブピクチャsubpicA及びsubpicBについて、subpicAのインデックスがsubpicBのインデックスより小さいとき、subpicAの任意のコーディングNALユニットは、復号順序で、subpicBの任意のコーディングNALユニットの後に続くべきである。
サブピクチャの形状は、各サブピクチャが、復号されるとき、ピクチャ境界を構成する又は前に復号されたサブピクチャの境界を構成する、その左境界全体及び上境界全体を有するべきである。
両端を含む0~PicSizeInCtbsY-1の範囲のctbAddrRsのリストCtbToSubPicIdx[ctbAddrRs]は、ピクチャラスタスキャンにおけるCTBからサブピクチャインデックスへの変換を指定し、以下のように導出される:
Figure 2023182800000006
num_bricks_in_slice_minus1は、存在するとき、スライス内のブリック数-1を指定する。num_bricks_in_slice_minus1の値は、両端を含む0~NumBricksInPic-1の範囲内であるべきである。rect_slice_flagが0に等しく、single_brick_per_slice_flagが1に等しいとき、num_bricks_in_slice_minus1の値は0に等しいと推定される。single_brick_per_slice_flagが1に等しいとき、num_bricks_in_slice_minus1の値は0に等しいと推定される。
現在スライス内のブリックの数を指定する変数NNumBricksInCurrSlice、及び現在スライス内のi番目のブリックのブリックインデックスを指定するSliceBrickIdx[i]は、以下のように導出されてよい:
Figure 2023182800000007
変数SubPicIdx、SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos、及びSubPicBotBoundaryPosは、以下のように導出される:
Figure 2023182800000008
時間ルマ動きベクトル予測の導出処理
この処理への入力は:
-現在ピクチャの左上ルマサンプルに対する、現在ルマコーディングブロックの左上サンプルのルマ位置(xCb,yCb)、
-ルマサンプルの中で現在コーディングブロックの幅を指定する変数cbWidth、
-ルマサンプルの中で現在コーディングブロックの高さを指定する変cbHeight、
-参照インデックスrefIdxLX、Xは0又は1である。
この処理の出力は:
-1/16分数サンプル精度の動きベクトル予測mvLXCol、
-利用可能性フラグavailableFlagLXCol。
変数currCbは、ルマ位置(xCb,yCb)にある現在ルマコーディングブロックを指定する。
変数mvLXCol及びavailableFlagLXColは、以下のように導出される:
-slice_temporal_mvp_enabled_flagが0に等しいか、又は(cbWidth*cbHeight)が32以下である場合、mvLXColの両方の成分は0に等しく設定され、availableFlagLXColは0に等しく設定される。
-その他の場合(slice_temporal_mvp_enabled_flagが1に等しい)、以下の順序付きステップが適用される:
1.右下同一位置動きベクトル、並びに下及び右境界サンプル位置は、以下のように導出される:
Figure 2023182800000009
-yCb>>CtbLog2SizeYがyColBr>>CtbLog2SizeYと等しい場合、yColBrはbotBoundaryPos以下であり、xColBrはrightBoundaryPos以下であり、以下が適用される:
・変数colCbは、ColPicにより指定される同一位置ピクチャの内側の、((xColBr>>3)<<3,(yColBr>>3)<<3)により与えられる変更位置をカバーするルマコーディングブロックを指定する。
・ルマ位置(xColCb,yColCb)は、ColPicにより指定される同一位置ピクチャの左上ルマサンプルに対する、colCbにより指定される同一位置ルマコーディングブロックの左上サンプルに等しく設定される。
・8.5.2.12項に指定される同一位置動きベクトルの導出処理は、currCb、colCb、(xColCb,yColCb)、refIdxLX、及び0に等しく設定されたsbFlagを入力として呼び出され、出力はmvLXCol及びavailableFlagLXColに割り当てられる。
その他の場合、mvLXColの両方のコンポーネントは0に等しく設定され、availableFlagLXColは0に等しく設定される。

ルマサンプル双線形補間処理
この処理への入力は:
-フルサンプルユニット内のルマ位置(xIntL,yIntL)、
-分数サンプルユニット内のルマ位置(xFracL,yFracL)、
-ルマ参照サンプルアレイrefPicLXL
この処理の出力は、予測ルマサンプル値predSampleLXLである。
変数shift1、shift2、shift3、shift4、offset1、offset2、及びoffset3は、以下のように導出される:
Figure 2023182800000010
変数picWは、pic_width_in_luma_samplesに等しく設定され、変数picHはpic_height_in_luma_samplesに等しく設定される。
xFracL又はyFracLに等しい1/16分数サンプル位置p毎のルマ補間フィルタ係数fbL[p]は、表8-10で指定される。
フルサンプルユニットのルマ位置(xInti,yInti)は、i=0..1について以下のように導出される:
-subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される。
Figure 2023182800000011
-その他の場合(subpic_treated_as_pic_flag[SubPicIdx]が0に等しい)、以下が適用される:
Figure 2023182800000012
サブブロックに基づく時間マージ候補の導出処理
この処理への入力は:
-現在ピクチャの左上ルマサンプルに対する、現在ルマコーディングブロックの左上サンプルのルマ位置(xCb,yCb)、
-ルマサンプルの中で現在コーディングブロックの幅を指定する変数cbWidth、
-ルマサンプルの中で現在コーディングブロックの高さを指定する変数cbHeight、
-近隣コーディングユニットの利用可能性フラグavailableFlagA
-近隣コーディングユニットの参照インデックスrefIdxLXA、Xは0又は1、
-近隣コーディングユニットの予測リスト利用フラグpredFlagLXA、Xは0又は1、
-近隣コーディングユニットの1/16分数サンプル精度の動きベクトルmvLXA、Xは0又は1。
この処理の出力は:
-利用可能性フラグavailableFlagSbCol、
-水平方向のルマコーディングサブブロックの数numSbX、及び垂直方向のnumSbY、
-参照インデックスrefIdxL0SbCol及びrefIdxL1SbCol、
-1/16分数サンプル精度のルマ動きベクトルmvL0SbCol[xSbIdx][ySbIdx]及びmvL1SbCol[xSbIdx][ySbIdx]、xSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1、
-予測リスト利用フラグpredFlagL0SbCol[xSbIdx][ySbIdx]及びpredFlagL1SbCol[xSbIdx][ySbIdx]、xSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1。
利用可能性フラグavailableFlagSbColは以下のように導出される。
-以下の条件のうちの1つ以上が真である場合、availableFlagSbColが0に等しく設定される。
・-slice_temporal_mvp_enabled_flagが0に等しい。
・sps_sbtmvp_enabled_flagが0に等しい。
・cbWidthが8未満である。
・cbHeightが8未満である。
-その他の場合、以下の順序付きステップが適用される:
1.現在コーディングブロックを含むルマコーディングツリーブロックの左上サンプルの位置(xCtb,yCtb)及び現在ルマコーディングブロックの右下中央の位置(xCtr,yCtr)が以下のように導出される:
Figure 2023182800000013
2.ルマ位置(xColCtrCb,yColCtrCb)は、ColPicにより指定される同一位置ピクチャの左上ルマサンプルに対する、ColPicの内側の(xCtr,yCtr)により与えられる位置をカバーする同一位置ルマコーディングブロックの左上サンプルに等しく設定される。
3.8.5.5.4項で指定されるようなサブブロックに基づく時間マージ基本動きデータの導出処理は、位置(xCtb,yCtb)、位置(xColCtrCb,yColCtrCb)、利用可能性フラグavailableFlagA及び予測リスト利用フラグpredFlagLXA、並びに参照インデックスrefIdxLXA、及び動きベクトルvectormvLXA、Xは0又は1、を入力として呼び出され、同一位置ブロックの動きベクトルctrMvLX及び予測リスト利用フラグctrPredFlagLX、Xは0又は1、及び時間動きベクトルtempMvを出力とする。
4.変数availableFlagSbColは、以下のように導出される:
-ctrPredFlagL0及びctrPredFlagL1の両方が0に等しい場合、availableFlagSbColは0に等しく設定される。
-その他の場合、availableFlagSbColが1に等しく設定される。
availableFlagSbColが1に等しいとき、以下が適用される:
-変数numSbX,、numSbY、sbWidth、sbHeight及びrefIdxLXSbColは、以下のように導出される:
Figure 2023182800000014
-xSbIdx=0..numSbX-1及びySbIdx=0..numSbY-1について、動きベクトルmvLXSbCol[xSbIdx][ySbIdx]及び予測リスト利用フラグpredFlagLXSbCol[xSbIdx][ySbIdx]は、以下のように導出される:
・現在ピクチャの左上ルマサンプルに対する、現在コーディングサブブロックの左上サンプルを指定するルマ位置(xSb,ySb)は、以下のように導出される:
Figure 2023182800000015
・ColPic内の同一位置サブブロックの位置(xColSb,yColSb)は以下のように導出される:
・以下が適用される:
Figure 2023182800000016
・subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される:
Figure 2023182800000017
・その他の場合(subpic_treated_as_pic_flag[SubPicIdx]が0に等しい)、以下が適用される:
Figure 2023182800000018
サブブロックに基づく時間マージベース動きデータの導出処理
この処理への入力は:
-現在コーディングブロックを含むルマコーディングツリーブロックの左上サンプルの位置(xCtb,yCtb)、
-右下中央サンプルをカバーする同一位置ルマコーディングブロックの左上サンプルの位置(xColCtrCb,yColCtrCb)、
-近隣コーディングユニットの利用可能性フラグavailableFlagA
-近隣コーディングユニットの参照インデックスrefIdxLXA
-近隣コーディングユニットの予測リスト利用フラグpredFlagLXA
-近隣コーディングユニットの1/16分数サンプル精度の動きベクトルmvLXA
この処理の出力は:
-動きベクトルctrMvL0及びctrMvL1、
-予測リスト利用フラグctrPredFlagL0及びctrPredFlagL1、
-時間動きベクトルtempMv。
変数tempMvは、以下のように設定される:
Figure 2023182800000019
変数currPicは、現在ピクチャを指定する。
availableFlagAがTRUEに等しいとき、以下が適用される:
-以下の条件のうちの全部が真である場合、tempMvはmvL0Aに等しく設定される:
・predFlagL0Aが1に等しい、
・DiffPicOrderCnt(ColPic,RefPicList[0][refIdxL0A])が0に等しい、
-その他の場合、以下の条件のうちの全部が真である場合、tempMvはmvL1Aに等しく設定される:
・slice_typeがBにひとs、
・predFlagL1Aが1に等しい、
・DiffPicOrderCnt(ColPic,RefPicList[1][refIdxL1A])が0に等しい。
ColPic内の同一位置ブロックの位置(xColCb,yColCb)は以下のように導出される:
-以下が適用される:
Figure 2023182800000020
-subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される:
Figure 2023182800000021
-その他の場合(subpic_treated_as_pic_flag[SubPicIdx]が0に等しい)、以下が適用される:
Figure 2023182800000022
ルマサンプル補間フィルタリング処理
この処理への入力は:
-フルサンプルユニットのルマ位置(xIntL,yIntL)、
-分数サンプルユニットのルマ位置(xFracL,yFracL)、
-参照ピクチャの左上ルマサンプルに対する、参照サンプルパディングのための結合(bounding)ブロックの左上サンプルを指定するフルサンプルユニットのルマ位置(xSbIntL,ySbIntL)、
-ルマ参照サンプルアレイrefPicLXL
-ハーフサンプル補間フィルタインデックスhpelIfIdx、
-現在サブブロックの幅を指定する変数sbWidth、
-現在サブブロックの高を指定する変数sbHeight、
-現在ピクチャの左上ルマサンプルに対する、現在サブブロックの左上サンプルを指定するルマ位置(xSb,ySb)、
この処理の出力は、予測ルマサンプル値predSampleLXLである。
変数shift1、shift2及びshift3は、以下のように導出される:
-変数shift1はMin(4,BitDepthY-8)に等しく設定され、変数shift2は6に等しく設定され、変数shift3はMax(2,14-BitDepthY)に等しく設定される。
-変数picWは、pic_width_in_luma_samplesに等しく設定され、変数picHはpic_height_in_luma_samplesに等しく設定される。
xFracL又はyFracLに等しい1/16分数サンプル位置p毎のルマ補間フィルタ係数fL[p]は、以下のように導出される:
-MotionModelIdc[xSb][ySb]が0より大きく、sbWidth及びsbHeightが両方とも4に等しい場合、ルマ補間フィルタ係数fL[p]は表8-12に指定される。
-その他の場合、ルマ補間フィルタ係数fL[p]は、hpelIfIdxに依存して表8-11に指定される。
フルサンプルユニットのルマ位置(xInti,yInti)は、i=0..7について以下のように導出される:
-subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される:
Figure 2023182800000023
-その他の場合(subpic_treated_as_pic_flag[SubPicIdx]が0に等しい)、以下が適用される:
Figure 2023182800000024
クロマサンプル補間処理
この処理への入力は:
-フルサンプルユニットのクロマ位置(xIntC,yIntC)、
-1/32分数サンプルユニットのクロマ位置(xFracC,yFracC)、
-参照ピクチャの左上クロマサンプルに対する、参照サンプルパディングのための結合(bounding)ブロックの左上サンプルを指定するフルサンプルユニットのクロマ位置(xSbIntC,ySbIntC)、
-現在サブブロックの幅を指定する変数sbWidth、
-現在サブブロックの高を指定する変数sbHeight、
-クロマ参照サンプルアレイrefPicLXC
この処理の出力は、予測クロマサンプル値predSampleLXCである。
変数shift1、shift2及びshift3は、以下のように導出される:
-変数shift1はMin(4,BitDepthC-8)に等しく設定され、変数shift2は6に等しく設定され、変数shift3はMax(2,14-BitDepthC)に等しく設定される。
-変数picWCは、pic_width_in_luma_samples/SubWidthCに等しく設定され、変数picHCはpic_height_in_luma_samples/SubHeightCに等しく設定される。
xFracC又はyFracCに等しい1/32分数サンプル位置p毎のクロマ補間フィルタ係数fC[p]は、表8-13で指定される。
変数xOffsetは、(sps_ref_wraparound_offset_minus1+1)*MinCbSizeY)/SubWidthCに等しく設定される。
フルサンプルユニットのクロマ位置(xInti,yInti)は、i=0..3について以下のように導出される:
-subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される。
Figure 2023182800000025
-その他の場合(subpic_treated_as_pic_flag[SubPicIdx]が0に等しい)、以下が適用される:
Figure 2023182800000026
2.4 例示的なエンコーダのみのGOPに基づく時間フィルタ
幾つかの実施形態では、エンコーダのみの時間フィルタが実装できる。フィルタリングは、エンコーダ側で、前処理ステップとして行われる。符号化するために選択されたピクチャの前後のソースピクチャが読み出され、選択されたピクチャに対するブロックに基づく動き補償方法が、それらのソースピクチャに適用される。選択されたピクチャ内のサンプルは、動き補償後のサンプル値を用いて、時間フィルタされる。
全体的なフィルタ強度は、QPと共に選択されたピクチャの時間サブレイヤに依存して設定される。時間サブレイヤ0及び1にあるピクチャのみがフィルタリングされ、レイヤ0のピクチャは、レイヤ1のピクチャより強力なフィルタによりフィルタリングされる。サンプル毎フィルタ強度は、選択されたピクチャ内のサンプル値と動き補償済みピクチャ内の同一位置サンプルとの間の差に依存して調整され、その結果、動き補償済みピクチャと選択されたピクチャとの間の小さな差は、大きな差よりも強力にフィルタリングされる。
GOPに基づく時間フィルタ
時間フィルタは、ピクチャを読み出した後、及び符号化前に直接導入される。以下は、より詳細に説明されるステップである。
動作1:ピクチャがエンコーダにより読み出される。
動作2:ピクチャがコーディング階層構造の中で十分に低い場合、符号化前にフィルタリングされる。その他の場合、ピクチャは、フィルタリングしないで符号化される。POC%8==0を有するRAピクチャは、POC%4==0を有するLDピクチャと同様にフィルタリングされる。AIピクチャはフィルタリングされない。
全体のフィルタ強度soは、RAについて次式に従い設定される。
Figure 2023182800000027
ここで、nは、読み出されたピクチャの数である。
LDの場合、so(n)=0.95である。
動作3:選択されたピクチャ(以下では元のピクチャと呼ばれる)の前及び/又は後の2つのピクチャが読み出される。エッジの場合、例えば、最初のピクチャ又は最後のピクチャに近い場合、利用可能なピクチャのみが読み出される。
動作4:前及び後に読み出されたピクチャの、元のピクチャに対する動きは、8×8ピクチャブロック毎に推定される。
階層的動き推定方式が使用され、レイヤL0、L1、及びL2が図2に示される。サブサンプリングピクチャは、全部の読み出されたピクチャ及び元のピクチャ、例えば図1のL1について各2×2ブロックを平均することにより生成される。L2は、同じサブサンプリング方法を用いてL1から導出される。
図2は、階層動き推定の異なるレイヤの例を示す。L0は元の解像度である。L1はL0のサブサンプリングバージョンである。L2はL1のサブサンプリングバージョンである。
先ず、動き推定は、L2内の16×16ブロック毎に行われる。選択された動きベクトル毎に差の平方が計算され、最小の差に対応する動きベクトルが選択される。選択された動きベクトルは、次に、L1内で動きベクトルを推定するときの初期値として使用される。次に、L0内の動きを推定するために同じことが行われる。最終ステップとして、L0上の補間フィルタを用いて、8×8ブロック毎に、サブピクセル動きが推定される。
VTM6タップ補間フィルタが使用できる:
Figure 2023182800000028
動作5:動き補償は、ブロック毎に最も一致する動きに従い、元のピクチャの前及び後のピクチャに適用される。例えば、その結果、各ブロック内の元のピクチャのサンプル座標は、参照されるピクチャの中の最も一致する座標を有する。
動作6:ルマ及びクロマチャネルについて処理されたもの1つずつのサンプルは、以下のステップで説明される通りである。
動作7:新しいサンプル値Inが、次式を用いて計算される。
Figure 2023182800000029
ここで、Ioは元のサンプルのサンプル値であり、Ir(i)は動き補償済みピクチャiの対応するサンプルの強度であり、wr(i,a)は、利用可能な動き補償済みピクチャの数がaであるとき、動き補償済みピクチャiの重みである。
ルマチャネルでは、重みwr(i,a)は以下のように定義される:
Figure 2023182800000030
ここで、
Figure 2023182800000031
i及びaの全ての他の場合について、
Figure 2023182800000032
クロマチャネルでは、重みwr(i,a)は以下のように定義される:
Figure 2023182800000033
ここで、
Figure 2023182800000034
動作8:フィルタは、現在サンプルに適用される。結果として生じるサンプル値は、個別に格納される。
動作9:フィルタリング済みピクチャが符号化される。
3. 開示の実施形態により解決される技術的問題の例
(1)サブピクチャ制約に違反し得る幾つかの設計がある。
(A)アフィン再構成候補におけるTMVPは、現在サブピクチャの範囲外にある同一位置ピクチャ内のMVをフェッチすることがある。
(B)双方向オプティカルフロー(Bi-Directional Optical Flow (BDOF))及び予測精緻化オプティカルフロー(Prediction Refinement Optical Flow (PROF))における勾配を導出するとき、整数参照サンプルの2つの拡張された行及び2つの拡張された列が、フェッチされる必要がある。これらの参照サンプルは、現在サブピクチャの範囲外にある場合がある。
(C)ルママッピングクロマスケーリング(luma mapping chroma scaling (LMCS))においてクロマ残差スケーリング因子を導出するとき、アクセスされる再構成済みルマサンプルは、現在サブピクチャの範囲の範囲外にある場合がある。
(D)ルマイントラ予測モード、イントラ予測のための参照サンプル、CCLMのための参照サンプル、マージ/AMVP/CIIP/IBC/LMCSのための空間近隣候補のための近隣ブロック利用可能性、量子化パラメータ、CABAC初期化処理、左及び上シンタックスエレメントを用いるctxInc導出、及びctxIncfor、シンタックスエレメントmtt_split_cu_vertical_flagを導出するとき、近隣ブロックが現在サブピクチャの範囲外にある場合がある。サブピクチャの表現は、不完全なCTUを有するサブピクチャをもたらすことがある。CTUパーティション及びCU分割処理は、不完全なCTUを考慮する必要があり得る。
(2)サブピクチャに関連するシグナリングされるシンタックスエレメントは、任意の大きさであってよく、これはオーバフロー問題を生じ得る。
(3)サブピクチャの表現は、非長方形サブピクチャを生じ得る。
(4)現在、サブピクチャ及びサブピクチャグリッドは、4サンプルの単位で定義される。そして、シンタックスエレメントの長さは、ピクチャの高さを4で割ったものに依存する。しかしながら、現在のpic_width_in_luma_samples及びpic_height_in_luma_samplesは、Max(8,MinCbSizeY)の整数倍でなければならず、サブピクチャグリッドは8サンプルの単位で定義される必要がある。
(5)SPSシンタックスpic_width_max_in_luma_samples及びpic_height_max_in_luma_samplesは、8未満にならないよう制約される必要があり得る。
(6)参照ピクチャ再サンプリング/スケーラビリティとサブピクチャとの間の相互作用は、現在の設計では考慮されない。
(7)時間フィルタリングで、異なるサブピクチャに渡るサンプルが必要であることがある。
4.例示的な技術及び実施形態
以下の詳細なリストは、一般的な概念を説明するための例として考えられるべきである。これらの項目は、狭義に解釈されるべきではない。更に、これらの項目は任意の方法で結合できる。以後、時間フィルタは、他のピクチャ内のサンプルを必要とするフィルタを表すために使用される。Max(x,y)は、x及びyのうちの大きい方を返す。Min(x,y)は、x及びyのうちの小さい方を返す。
(1)アフィン動き候補(例えば、構成されたアフィンマージ候補)を生成するためにピクチャ内で時間MV予測子がフェッチされる位置(位置RBと命名する)は、必要なサブピクチャの左上角座標が(xTL,yTL)であり、必要なサブピクチャの右下座標が(xBR,yBR)であると仮定すると、必要なサブピクチャ内に存在しなければならない。
(a)一例では、必要なサブピクチャは、現在ブロックをカバーするサブピクチャである。
(b)一例では、座標(x,y)を有する位置RBが必要なサブピクチャの外側にある場合、時間MV予測子は利用できないとして扱われる。
i.一例では、x>xBRの場合、位置RBは必要なサブピクチャの外側にある。
ii.一例では、y>yBRの場合、位置RBは必要なサブピクチャの外側にある。
iii.一例では、x<xTLの場合、位置RBは必要なサブピクチャの外側にある。
iv.一例では、y<yTLの場合、位置RBは必要なサブピクチャの外側にある。
(c)一例では、位置RBが必要なサブピクチャの外側にある場合、BRの置換が利用される。
i.代替として、更に、置換位置は必要なサブピクチャ内に存在するべきである。
(d)一例では、位置RBは、必要なサブピクチャ内になるようクリッピングされる。
i.一例では、xは、x=Min(x,xBR)のようにクリッピングされる。
ii.一例では、yは、y=Min(y,yBR)のようにクリッピングされる。
iii.一例では、xは、x=Max(x,xTL)のようにクリッピングされる。
iv.一例では、yは、y=Max(y,yTL)のようにクリッピングされる。
(e)一例では、位置RBは、同一位置ピクチャ内の現在ブロックの対応するブロックの内側の右下位置であってよい。
(f)提案される方法は、現在ピクチャと異なるピクチャから動き情報にアクセスする必要がある、他のコーディングツールで利用されてよい。
(g)一例では、上述の方法が適用される((例えば、1.a及び/又は1.bに記載されるように行うために)例えば、位置RBが必要なサブピクチャの中に存在しなければならない)かどうかは、VPS/DPS/SPS/PPS/APS/スライスヘッダ/タイルグループヘッダの中でシグナリングされる1つ以上のシンタックスエレメントに依存してよい。例えば、シンタックスエレメントは、subpic_treated_as_pic_flag[SubPicIdx]であってよく、ここで、SubPicIdxは現在ブロックをカバーするサブピクチャのサブピクチャインデックスである。
(2)補間処理で使用されない参照の中で整数サンプルがフェッチされる位置(位置Sと命名する)は、必要なサブピクチャの左上角座標が(xTL,yTL)であり、必要なサブピクチャの右下座標が(xBR,yBR)であると仮定すると、必要なサブピクチャ内に存在しなければならない。
(a)一例では、必要なサブピクチャは、現在ブロックをカバーするサブピクチャである。
(b)一例では、座標(x,y)を有する位置Sが必要なサブピクチャの外側にある場合、参照サンプルは利用できないとして扱われる。
i.一例では、x>xBRの場合、位置Sは必要なサブピクチャの外側にある。
ii.一例では、y>yBRの場合、位置Sは必要なサブピクチャの外側にある。
iii.一例では、x<xTLの場合、位置Sは必要なサブピクチャの外側にある。
iv.一例では、y<yTLの場合、位置Sは必要なサブピクチャの外側にある。
(c)一例では、位置Sは、必要なサブピクチャ内になるようクリッピングされる。
i.一例では、xは、x=Min(x,xBR)のようにクリッピングされる。
ii.一例では、yは、y=Min(y,yBR)のようにクリッピングされる。
iii.一例では、xは、x=Max(x,xTL)のようにクリッピングされる。
iv.一例では、yは、y=Max(y,yTL)のようにクリッピングされる。
(d)一例では、(例えば、2.a及び/又は2.bに記載されるように行うために)位置Sが必要なサブピクチャの中に存在しなければならないかどうかは、VPS/DPS/SPS/PPS/APS/スライスヘッダ/タイルグループヘッダの中でシグナリングされる1つ以上のシンタックスエレメントに依存してよい。例えば、シンタックスエレメントは、subpic_treated_as_pic_flag[SubPicIdx]であってよく、ここで、SubPicIdxは現在ブロックをカバーするサブピクチャのサブピクチャインデックスである。
(e)一例では、フェッチされた整数サンプルは、BDOF及び/又はPORFにおける勾配を生成するために使用される。
(3)再構成ルマサンプル値がフェッチされる位置(位置Rと命名する)は、必要なサブピクチャの左上角座標が(xTL,yTL)であり、必要なサブピクチャの右下座標が(xBR,yBR)であると仮定すると、必要なサブピクチャ内に存在しなければならない。
(a)一例では、必要なサブピクチャは、現在ブロックをカバーするサブピクチャである。
(b)一例では、座標(x,y)を有する位置Rが必要なサブピクチャの外側にある場合、参照サンプルは利用できないとして扱われる。
i.一例では、x>xBRの場合、位置Rは必要なサブピクチャの外側にある。
ii.一例では、y>yBRの場合、位置Rは必要なサブピクチャの外側にある。
iii.一例では、x<xTLの場合、位置Rは必要なサブピクチャの外側にある。
iv.一例では、y<yTLの場合、位置Rは必要なサブピクチャの外側にある。
(c)一例では、位置Rは、必要なサブピクチャ内になるようクリッピングされる。
i.一例では、xは、x=Min(x,xBR)のようにクリッピングされる。
ii.一例では、yは、y=Min(y,yBR)のようにクリッピングされる。
iii.一例では、xは、x=Max(x,xTL)のようにクリッピングされる。
iv.一例では、yは、y=Max(y,yTL)のようにクリッピングされる。
(d)一例では、(例えば、4.a及び/又は4.bに記載されるように行うために)位置Rが必要なサブピクチャの中に存在しなければならないかどうかは、VPS/DPS/SPS/PPS/APS/スライスヘッダ/タイルグループヘッダの中でシグナリングされる1つ以上のシンタックスエレメントに依存してよい。例えば、シンタックスエレメントは、subpic_treated_as_pic_flag[SubPicIdx]であってよく、ここで、SubPicIdxは現在ブロックをカバーするサブピクチャのサブピクチャインデックスである。
(e)一例では、フェッチされたルマサンプルは、LMCSにおけるクロマコンポーネントのスケーリング因子を導出するために使用される。
(4)BT/TT/QT分割、BT/TT/QT深さ導出、及び/又はCU分割フラグのシグナリングのためのピクチャ境界チェックの位置(位置Nと命名する)は、必要なサブピクチャの左上角座標が(xTL,yTL)であり、必要なサブピクチャの右下座標が(xBR,yBR)であると仮定すると、必要なサブピクチャ内に存在しなければならない。
(a)一例では、必要なサブピクチャは、現在ブロックをカバーするサブピクチャである。
(b)一例では、座標(x,y)を有する位置Nが必要なサブピクチャの外側にある場合、参照サンプルは利用できないとして扱われる。
i.一例では、x>xBRの場合、位置Nは必要なサブピクチャの外側にある。
ii.一例では、y>yBRの場合、位置Nは必要なサブピクチャの外側にある。
iii.一例では、x<xTLの場合、位置Nは必要なサブピクチャの外側にある。
iv.一例では、y<yTLの場合、位置Nは必要なサブピクチャの外側にある。
(c)一例では、位置Nは、必要なサブピクチャ内になるようクリッピングされる。
i.一例では、xは、x=Min(x,xBR)のようにクリッピングされる。
ii.一例では、yは、y=Min(y,yBR)のようにクリッピングされる。
iii.一例では、xは、x=Max(x,xTL)のようにクリッピングされる。
(d)一例では、yは、y=Max(y,yTL)のようにクリッピングされる。一例では、(例えば、5.a及び/又は5.bに記載されるように行うために)位置Nが必要なサブピクチャの中に存在しなければならないかどうかは、VPS/DPS/SPS/PPS/APS/スライスヘッダ/タイルグループヘッダの中でシグナリングされる1つ以上のシンタックスエレメントに依存してよい。例えば、シンタックスエレメントは、subpic_treated_as_pic_flag[SubPicIdx]であってよく、ここで、SubPicIdxは現在ブロックをカバーするサブピクチャのサブピクチャインデックスである。
(5)履歴に基づく動きベクトル予測(History-based Motion Vector Prediction (HMVP))テーブルは、1つのピクチャ内の新しいサブピクチャを復号する前に、再設定(リセット)されてよい。
(a)一例では、IBCコーディングのために使用されるHMVPテーブルは、リセットされてよい。
(b)一例では、インターコーディングのために使用されるHMVPテーブルは、リセットされてよい。
(c)一例では、イントラコーディングのために使用されるHMVPテーブルは、リセットされてよい。
(6)サブピクチャシンタックスエレメントは、N(N=8、32、等)個のサンプルの単位で定義されてよい。
(a)一例では、は、サブピクチャ識別子グリッドの各要素の幅はN個のサンプルの単位である。
(b)一例では、サブピクチャ識別子グリッドの各要素の高さは、N個のサンプルの単位である。
(c)一例では、Nは、CTUの幅及び/又は高さに設定される。
(7)ピクチャ幅及びピクチャ高さのシンタックスエレメントは、K(K>=8)未満にならないよう制約されてよい。
(a)一例では、ピクチャ幅は、8未満にならないよう制約される必要があり得る。
(b)一例では、ピクチャ高さは、8未満にならないよう制約される必要があり得る。
(8)適合ビットストリームは、1ビデオユニット(例えば、シーケンス)について有効にされるために、サブピクチャコーディング及び適応解像度変換(Adaptive resolution conversion (ARC))/動的解像度変換(Dynamic resolution conversion (DRC))/参照ピクチャ再サンプリング(Reference picture resampling (RPR))が許可されないことを満たすべきである。
(a)一例では、サブピクチャコーディングを有効にするシグナリングは、ARC/DRC/RPRを許可しないという条件の下にあってよい。
i.一例では、サブピクチャが有効にされるとき、例えばsubpics_present_flagが1に等しいとき、このSPSがアクティブである全部のピクチャのpic_width_in_luma_samplesは、max_width_in_luma_samplesに等しい。
(b)代替として、サブピクチャコーディング及びARC/DRC/RPRは、両方とも、1ビデオユニット(例えば、シーケンス)について有効にされてよい。
i.一例では、適合ビットストリームは、ARC/DRC/RPRによりダウンサンプリングされたサブピクチャが、依然として、幅がK個のCTUであり高さがM個のCTUである形式であることを満たすべきである。ここで、K及びMは両方とも整数である。
ii.一例では、適合ビットストリームは、ピクチャ境界(例えば、右境界及び/又は下境界)に位置しないサブピクチャについて、ARC/DRC/RPRによりダウンサンプリングされたサブピクチャが、依然として、幅がK個のCTUであり高さがM個のCTUである形式であることを満たすべきである。ここで、K及びMは両方とも整数である。
iii.一例では、CTUサイズは、ピクチャ解像度に基づき適応して変更されてよい。
1)一例では、最大CTUサイズはSPS内でシグナリングされてよい。より低い解像度を有する各ピクチャについて、CTUサイズは、低下された解像度に基づき相応して変更されてよい。
2)一例では、CTUサイズは、SPS及びPPS内、及び/又はサブピクチャレベルでシグナリングされてよい。
(9)シンタックスエレメントsubpic_grid_col_width_minus1及びsubpic_grid_row_height_minus1は、制約されてよい。
(a)一例では、subpic_grid_col_width_minus1はT1より大きくてはならない(又は小さくてはならない)。
(b)一例では、subpic_grid_row_height_minus1はT2より大きくてはならない(又は小さくてはならない)。
(c)一例では、適合ビットストリームでは、subpic_grid_col_width_minus1及び/又はsubpic_grid_row_height_minus1は、項目3.a及び3.bのような制約に従わなければならない。
(d)一例では、3.aにおけるT1、及び/又は3.bにおけるT2は、ビデオコーディング標準のプロファイル/レベル/ティアに依存してよい。
(e)一例では、3.aにおけるT1は、ピクチャ幅に依存してよい。
i.例えば、T1はpic_width_max_in_luma_samples/4又はpic_width_max_in_luma_samples/4+Offに等しい。Offは、1、2、-1、-2等であってよい。
(f)一例では、3.bにおけるT2は、ピクチャ幅に依存してよい。
i.例えば、T2はpic_height_max_in_luma_samples/4又はpic_height_max_in_luma_samples/4-1+Offに等しい。Offは、1、2、-1、-2等であってよい。
(10)任意の2つのサブピクチャの間の境界が、2つのCTUの間の境界でなければならないという制約がある。
(a)言い換えると、CTUは、1つより多くのサブピクチャによりカバーできない。
(b)一例では、subpic_grid_col_width_minus1の単位は、VVCにおけるような4の代わりに、CTU幅(例えば、32、64、128)であってよい。サブピクチャグリッド幅は、(subpic_grid_col_width_minus1+1)*CTU幅であるべきである。
(c)一例では、subpic_grid_col_height_minus1の単位は、VVCにおけるような4の代わりに、CTU高さ(例えば、32、64、128)であってよい。サブピクチャグリッド高さは、(subpic_grid_col_height_minus1+1)*CTU高さであるべきである。
(d)一例では、適合ビットストリームでは、サブピクチャアプローチが適用される場合、制約が満たされなければならない。
(11)サブピクチャの形状が長方形でなければならないという制約がある。
(a)一例では、適合ビットストリームでは、サブピクチャアプローチが適用される場合、制約が満たされなければならない。
(b)サブピクチャは、長方形スライスのみを含んでよい。例えば、適合ビットストリームでは、サブピクチャアプローチが適用される場合、制約が満たされなければならない。
(12)2つのサブピクチャは重なり合うことができないという制約がある。
(a)一例では、適合ビットストリームでは、サブピクチャアプローチが適用される場合、制約が満たされなければならない。
(b)代替として、2つのサブピクチャは、互いに重なり合ってよい。
(13)ピクチャ内の任意の位置が1つの及び1つのみのサブピクチャによりカバーされなければならないという制約がある。
(a)一例では、適合ビットストリームでは、サブピクチャアプローチが適用される場合、制約が満たされなければならない。
(b)代替として、1つのサンプルは、任意のサブピクチャに属さなくてよい。
(c)代替として、1つのサンプルは、1つより多くのサブピクチャに属してよい。
(14)同じシーケンス内で提示される全ての解像度にマッピングされるSPS内で定義されるサブピクチャは、上述の制約された位置及び/又はサイズに従うべきであるという制約があってよい。
(a)一例では、同じシーケンス内で提示される解像度にマッピングされるSPS内で定義されたサブピクチャの幅及び高さは、N(例えば、8、16、32)個のルマサンプルの整数倍であるべきである。
(b)一例では、サブピクチャは、特定のレイヤについて定義されてよく、他のレイヤにマッピングされてよい。
i.例えば、サブピクチャは、シーケンス内の最高解像度を有するレイヤについて定義されてよい。
ii.例えば、サブピクチャは、シーケンス内の最低解像度を有するレイヤについて定義されてよい。
iii.どのレイヤについてサブピクチャが定義されるかは、SPS/VPS/PPS/スライスヘッダ内でシグナリングされてよい。
(c)一例では、サブピクチャ及び異なる解像度の両方が適用されるとき、全ての解像度(例えば幅及び/又は高さ)は、所与の解像度の整数倍であってよい。
(d)一例では、SPS内で定義されたサブピクチャの幅及び/又は高さは、CTUサイズの整数倍(例えば、M)であってよい。
(e)代替として、シーケンス内のサブピクチャ及び異なる解像度は、同時に許可されなくてよい。
(15)サブピクチャは、特定のレイヤにのみ適用されてよい。
(a)一例では、SPS内で定義されたサブピクチャは、シーケンス内の最高解像度を有するレイヤにのみ適用されてよい。
(b)一例では、SPS内で定義されたサブピクチャは、シーケンス内の最低解像度を有するレイヤにのみ適用されてよい。
(c)どのレイヤにサブピクチャが適用され得るかは、SPS/VPS/PPS内の1又は複数のシンタックスエレメントにより示されてよい。
(d)どのレイヤにサブピクチャが適用できないかは、SPS/VPS/PPS内の1又は複数のシンタックスエレメントにより示されてよい。
(16)一例では、サブピクチャの位置及び/又は寸法は、subpic_grid_idxを使用せずに、シグナリングされてよい。
(a)一例では、サブピクチャの左上位置がシグナリングされてよい。
(b)一例では、サブピクチャの右下位置がシグナリングされてよい。
(c)一例では、サブピクチャの幅がシグナリングされてよい。
(d)一例では、サブピクチャの高さがシグナリングされてよい。
(17)時間フィルタでは、サンプルの時間フィルタリングを実行するとき、現在サンプルが属する同じサブピクチャの範囲内のサンプルのみが、使用されてよい。必要なサンプルは、現在サンプルが属する同じピクチャ内に、又は他のピクチャ内に存在してよい。
(18)一例では、パーティション方法(例えば、QT、水平BT、垂直BT、水平TT、垂直TT、又は分割無し、等)を適用するかどうか及び/又はどのように適用するかは、現在ブロック(又はパーティション)がサブピクチャの1又は複数の境界を横切るかどうかに依存してよい。
(a)一例では、VVCにおけるパーティションのためのピクチャ境界処理方法は、ピクチャ境界がサブピクチャ境界により置換されるときにも適用されてよい。
(b)一例では、パーティション方法(例えば、QT、水平BT、垂直BT、水平TT、垂直TT、又は分割無し、等)を表すシンタックスエレメント(例えば、フラグ)をパースするかどうか及び/又はどのように適用するかは、現在ブロック(又はパーティション)がサブピクチャの1又は複数の境界を横切るかどうかに依存してよい。
(19)1つのピクチャを複数のサブピクチャに分割して各サブピクチャを独立してコーディングする代わりに、ピクチャを少なくとも2つのサブ領域セットに分割して、複数のサブピクチャを含む第1セットと、全部の残りのサンプルを含む第2セットとにすることが提案される。
(a)一例では、第2セット内のサンプルは、任意のサブピクチャ内に存在しない。
(b)代替として、更に、第2セットは、第1セットの情報に基づき符号化/復号されてよい。
(c)一例では、デフォルト値は、サンプル/M×Kサブ領域が第2セットに属するかどうかをマークするために利用されてよい。
(i)一例では、デフォルト値は、(max_subpics_minus1+K)に等しく設定されてよい。ここで、Kは1より大きい整数である。
(ii)デフォルト値は、グリッドが第2セットに属することを示すために、subpic_grid_idx[i][j]に割り当てられてよい。
(20)シンタックスエレメントsubpic_grid_idx[i][j]は、max_subpics_minus1より大きくならないことが提案される。
(a)例えば、適合ビットストリームでは、subpic_grid_idx[i][j]はmax_subpics_minus1より大きくなることができないという制約がある。
(b)例えば、subpic_grid_idx[i][j]をコーディングするためのコードワードは、max_subpics_minus1より大きくなることができない。
(21)0からmax_subpics_minus1までの任意の整数は、少なくとも1つのsubpic_grid_idx[i][j]に等しくなければならないことが提案される。
(22)IBC仮想バッファは、1つのピクチャ内の新しいサブピクチャを復号する前に、リセットされてよい。
(a)一例では、IBC仮想バッファ内の全部のサンプルは、-1にリセットされてよい。
(23)パレットエントリリストは、1つのピクチャ内の新しいサブピクチャを復号する前に、リセットされてよい。
(a)一例では、PredictorPaletteSizeは、1つのピクチャ内の新しいサブピクチャを復号する前に、0に等しくなるよう設定されてよい。
5.実施形態
以下の実施形態では、新たに追加されたテキストは太字の斜体であり、削除されたテキストは「[[]]」によりマークされる。
5.1 実施形態1:アフィン構成マージ候補に対するサブピクチャ制約
8.5.5.6 構成されたアフィン制御点動きベクトルマージ候補のための導出処理
この処理への入力は:
-現在ピクチャの左上ルマサンプルに対する、現在ルマコーディングブロックの左上サンプルを指定するルマ位置(xCb,yCb)、
-現在ルマコーディングブロックの幅及び高さを指定する2つの変数cbWidth及びcbHeight、
-利用可能性フラグavailableA,availableA,availableA,availableB,availableB,availableB,availableB
-サンプル位置(xNbA,yNbA),(xNbA,yNbA),(xNbA,yNbA),(xNbB,yNbB),(xNbB,yNbB),(xNbB,yNbB)及び(xNbB,yNbB)。
この処理の出力は:
構成されたアフィン制御点動きベクトルマージ候補の利用可能性フラグavailableFlagConstK、K=1...6、
-参照インデックスrefIdxLXConstK,、K=1..6、Xは0又は1、
-予測リスト利用フラグpredFlagLXConstK、K=1..6,Xは0又は1、
-アフィン動きモデルインデックスmotionModelIdcConstK、K=1..6、
-双予測重みインデックスbcwIdxConstK、K=1..6、
-構成されたアフィン制御点動きベクトル、cpIdx=0..2、K=1..6、Xは0又は1。

第4(同一位置右下)制御点動きベクトルcpMvLXCorner[3]、参照インデックスrefIdxLXCorner[3]、予測リスト利用フラグpredFlagLXCorner[3]、及び利用可能性フラグavailableFlagCorner[3]、ここでXは0又は1、は、以下のように導出される:
-時間マージ候補の参照インデックスrefIdxLXCorner[3]、ここでXは0又は1、は0に等しく設定される。
-変数mvLXCol及びavailableFlagLXCol、ここでXは0又は1、は以下のように導出される:
・slice_temporal_mvp_enabled_flagが0に等しい場合、mvLXColの両方のコンポーネントは0に等しく設定され、availableFlagLXColは0に等しく設定される。
・その他の場合(slice_temporal_mvp_enabled_flagが1に等しい)、以下が適用される:
Figure 2023182800000035
Figure 2023182800000036
・変数colCbは、ColPicにより指定される同一位置ピクチャの内側の、((xColBr>>3)<<3,(yColBr>>3)<<3)により与えられる変更位置をカバーするルマコーディングブロックを指定する。
・ルマ位置(xColCb,yColCb)は、ColPicにより指定される同一位置ピクチャの左上ルマサンプルに対する、colCbにより指定される同一位置ルマコーディングブロックの左上サンプルに等しく設定される。
・8.5.2.12項に指定される同一位置動きベクトルの導出処理は、currCb、colCb、(xColCb,yColCb)、refIdxLXCorner[3]、及び0に等しく設定されたsbFlagを入力として呼び出され、出力はmvLXCol及びavailableFlagLXColに割り当てられる。
-その他の場合、mvLXColの両方のコンポーネントは0に等しく設定され、availableFlagLXColは0に等しく設定される。
5.2 実施形態2:アフィン構成マージ候補に対するサブピクチャ制約
8.5.5.6 構成されたアフィン制御点動きベクトルマージ候補のための導出処理
この処理への入力は:
-現在ピクチャの左上ルマサンプルに対する、現在ルマコーディングブロックの左上サンプルを指定するルマ位置(xCb,yCb)、
-現在ルマコーディングブロックの幅及び高さを指定する2つの変数cbWidth及びcbHeight、
-利用可能性フラグavailableA,availableA,availableA,availableB,availableB,availableB,availableB
-サンプル位置(xNbA,yNbA),(xNbA,yNbA),(xNbA,yNbA),(xNbB,yNbB),(xNbB,yNbB),(xNbB,yNbB)及び(xNbB,yNbB)。
この処理の出力は:
構成されたアフィン制御点動きベクトルマージ候補の利用可能性フラグavailableFlagConstK、K=1...6、
-参照インデックスrefIdxLXConstK,、K=1..6、Xは0又は1、
-予測リスト利用フラグpredFlagLXConstK、K=1..6,Xは0又は1、
-アフィン動きモデルインデックスmotionModelIdcConstK、K=1..6、
-双予測重みインデックスbcwIdxConstK、K=1..6、
-構成されたアフィン制御点動きベクトル、cpIdx=0..2、K=1..6、Xは0又は1。

第4(同一位置右下)制御点動きベクトルcpMvLXCorner[3]、参照インデックスrefIdxLXCorner[3]、予測リスト利用フラグpredFlagLXCorner[3]、及び利用可能性フラグavailableFlagCorner[3]、ここでXは0又は1、は、以下のように導出される:
-時間マージ候補の参照インデックスrefIdxLXCorner[3]、ここでXは0又は1、は0に等しく設定される。
-変数mvLXCol及びavailableFlagLXCol、ここでXは0又は1、は以下のように導出される:
・slice_temporal_mvp_enabled_flagが0に等しい場合、mvLXColの両方のコンポーネントは0に等しく設定され、availableFlagLXColは0に等しく設定される。
・その他の場合(slice_temporal_mvp_enabled_flagが1に等しい)、以下が適用される:
Figure 2023182800000037
・yCb>>CtbLog2SizeYがyColBr>>CtbLog2SizeYと等しい場合、[[yColBrpic_height_in_luma_samples以下であり、xColBrpic_width_in_luma_samples以下であり、以下が適用される]]:
-変数colCbは、ColPicにより指定される同一位置ピクチャの内側の、((xColBr>>3)<<3,(yColBr>>3)<<3)により与えられる変更位置をカバーするルマコーディングブロックを指定する。
-ルマ位置(xColCb,yColCb)は、ColPicにより指定される同一位置ピクチャの左上ルマサンプルに対する、colCbにより指定される同一位置ルマコーディングブロックの左上サンプルに等しく設定される。
-8.5.2.12項に指定される同一位置動きベクトルの導出処理は、currCb、colCb、(xColCb,yColCb)、refIdxLXCorner[3]、及び0に等しく設定されたsbFlagを入力として呼び出され、出力はmvLXCol及びavailableFlagLXColに割り当てられる。
・その他の場合、mvLXColの両方のコンポーネントは0に等しく設定され、availableFlagLXColは0に等しく設定される。
5.3 実施形態3:サブピクチャ制約の下で整数サンプルをフェッチする
8.5.6.3.3 ルマ整数サンプルフェッチ処理
この処理への入力は:
-フルサンプルユニットのルマ位置(xIntL,yIntL)、
-ルマ参照サンプルアレイrefPicLXL
この処理の出力は、予測ルマサンプル値predSampleLXLである。
変数shiftは、Max(2,14-BitDepthY)に等しく設定される。
変数picWは、pic_width_in_luma_samplesに等しく設定され、変数picHはpic_height_in_luma_samplesに等しく設定される。
フルサンプルユニットのルマ位置(xInti,yInti)は、以下のように導出される:
Figure 2023182800000038
予測されたルマサンプル値はpredSampleLXLは以下のように導出される:
Figure 2023182800000039
5.4 実施形態4:LMCSのクロマ残差スケーリングにおける変数invAvgLumaの導出
8.7.5.3 クロマサンプルのルマ依存クロマ残差スケーリング処理によるピクチャ再構成
この処理への入力は:
-現在ピクチャの左上クロマサンプルに対する、現在クロマ変換ブロックの左上クロマサンプルのクロマ位置(xCurr,yCurr)、
-クロマ変換ブロック幅を指定する変数nCurrSw、
-クロマ変換ブロック高さを指定する変数nCurrSh、
-現在クロマ変換ブロックのコーディングブロックフラグを指定する変数tuCbfChroma、
-現在ブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples、
-現在ブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples。
この処理の出力は、再構成クロマピクチャサンプルアレイrecSamplesである。
変数sizeYは、Min(CtbSizeY,64)に等しく設定される。
再構成クロマピクチャサンプルrecSamplesは、i=0..nCurrSw-1,j=0..nCurrSh-1について以下のように導出される:

その他の場合、以下が適用される。

変数currPicは、現在ピクチャ内の再構成ルマサンプルのアレイを指定する。
変数varScaleの導出のために、以下の順序付きステップが適用される:
Figure 2023182800000040
5.5 実施形態5:4個のサンプル以外のN(例えばN=8又は32)個の単位でサブピクチャエレメントを定義する例
7.4.3.3 シーケンスパラメータセットRBSPセマンティクス
Figure 2023182800000041
7.4.7.1 汎用スライスヘッダセマンティクス
変数SubPicIdx、SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos、及びSubPicBotBoundaryPosは、以下のように導出される:
Figure 2023182800000042
5.6 実施形態6:ピクチャ幅及びピクチャ高さが8以上になるよう制約する
7.4.3.3 シーケンスパラメータセットRBSPセマンティクス
Figure 2023182800000043
5.7 実施形態7:BT/TT/QT分割、BT/TT/QT深さ導出、及び/又はCU分割フラグのシグナリングのためのサブピクチャ境界チェック
6.4.2 許可されるバイナリ分割処理
変数allowBtSplitは、以下のように導出される:
Figure 2023182800000044
Figure 2023182800000045
6.4.2 許可される3分割処理
変数allowTtSplitは、以下のように導出される:
Figure 2023182800000046
7.3.8.2 コーディングツリーユニットシンタックス
Figure 2023182800000047
7.3.8.4 コーディングツリーシンタックス
Figure 2023182800000048
Figure 2023182800000049
図3は、ビデオ処理機器300のブロック図である。機器300は、ここに記載した方法のうちの1つ以上を実施するために使用されてよい。機器300は、スマートフォン、タブレット、コンピュータ、モノのインターネット(Internet of Things (IoT))受信機、等において実施されてよい。機器300は、1つ以上のプロセッサ302、1つ以上のメモリ304、及びビデオ処理ハードウェア306を含んでよい。プロセッサ302は、本願明細書に記載した1つ以上の方法を実施するよう構成されてよい。メモリ(複数のメモリ)304は、本願明細書に記載の方法及び技術を実施するために使用されるデータ及びコードを格納するために使用されてよい。ビデオ処理ハードウェア306は、ハードウェア回路で、本願明細書に記載した幾つかの技術を実施するために使用されてよい。
図4は、ビデオを処理する方法400のフローチャートである。方法1800は、ビデオの第1ビデオ領域内のビデオブロックについて、アフィンモードを用いてビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために時間動きベクトル予測子が決定される位置が、第2ビデオ領域の範囲内であるかどうかを決定するステップ(402)と、決定に基づき変換を実行するステップ(404)と、を含む。
以下のソリューションは、幾つかの実施形態において好適なソリューションとして実装されてよい。
以下のソリューションは、前の章(例えば、項目1)にリストされた項目で説明した追加技術と一緒に実装されてよい。
(ソリューション1)ビデオ処理の方法であって、ビデオの第1ビデオ領域内のビデオブロックについて、アフィンモードを用いて前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために時間動きベクトル予測子が決定される位置が、第2ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む方法。
(ソリューション2)前記ビデオブロックは、前記第1領域及び前記第2領域によりカバーされる、ソリューション1に記載の方法。
(ソリューション3)前記時間動きベクトル予測子の位置が前記第2ビデオ領域の外側にある場合、前記時間動きベクトル予測子は利用できないとマークされ、前記変換において使用されない、ソリューション1~2のいずれかに記載の方法。
以下のソリューションは、前の章(例えば、項目2)にリストされた項目で説明した追加技術と一緒に実装されてよい。
(ソリューション4)ビデオ処理の方法であって、ビデオの第1ビデオ領域内のビデオブロックについて、前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために参照ピクチャ内の整数サンプルがフェッチされる位置が、第2ビデオ領域の範囲内であるかどうかを決定するステップであって、前記参照ピクチャは前記変換中に補間処理において使用されない、ステップと、前記決定に基づき前記変換を実行するステップと、を含む方法。
(ソリューション5)前記ビデオブロックは、前記第4領域及び前記第2領域によりカバーされる、ソリューション1に記載の方法。
(ソリューション6)前記サンプルの位置が前記第2ビデオ領域の外側にある場合、前記サンプルは利用できないとマークされ、前記変換において使用されない、ソリューション4~5のいずれかに記載の方法。
以下のソリューションは、前の章(例えば、項目3)にリストされた項目で説明した追加技術と一緒に実装されてよい。
(ソリューション7)ビデオ処理の方法であって、ビデオの第1ビデオ領域内のビデオブロックについて、前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために再構成ルマサンプル値がフェッチされる位置が、第2ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む方法。
(ソリューション8)前記ルマサンプルは、前記第1領域及び前記第2領域によりカバーされる、ソリューション7に記載の方法。
(ソリューション9)前記ルマサンプルの位置が前記第2ビデオ領域の外側にある場合、前記ルマサンプルは利用できないとマークされ、前記変換において使用されない、ソリューション7~8のいずれかに記載の方法。
以下のソリューションは、前の章(例えば、項目4)にリストされた項目で説明した追加技術と一緒に実装されてよい。
(ソリューション10)ビデオ処理の方法であって、ビデオの第1ビデオ領域内のビデオブロックについて、前記ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換中に、前記ビデオブロックについて分割に関するチェック、深さ導出、又は分割フラグシグナリングが実行される位置が、第2ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む方法。
(ソリューション11)前記位置は、前記第1領域及び前記第2領域によりカバーされる、ソリューション10に記載の方法。
(ソリューション12)前記位置が前記第2ビデオ領域の外側にある場合、前記ルマサンプルは利用できないとマークされ、前記変換において使用されない、ソリューション10~11のいずれかに記載の方法。
以下のソリューションは、前の章(例えば、項目8)にリストされた項目で説明した追加技術と一緒に実装されてよい。
(ソリューション13)ビデオ処理の方法であって、1つ以上のビデオブロックを含む1つ以上のビデオピクチャを含むビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含み、前記コーディング表現は、前記変換がサブピクチャコーディング/復号、及び動的解像度変換コーディング/復号ツール又は参照ピクチャ再サンプリングツールをビデオユニット内で使用しないというコーディングシンタックス要件に従う、方法。
(ソリューション14)前記ビデオユニットは、前記1つ以上のビデオピクチャのシーケンスに対応する、ソリューション13に記載の方法。
(ソリューション15)前記動的解像度変換コーディング/復号ツールは、適応解像度変換コーディング/復号ツールを含む、ソリューション13~14のいずれかに記載の方法。
(ソリューション16)前記動的解像度変換コーディング/復号ツールは、動的解像度変換コーディング/復号ツールを含む、ソリューション13~14のいずれかに記載の方法。
(ソリューション17)前記コーディング表現は、前記ビデオユニットが前記コーディングシンタックス要件に従うことを示す、ソリューション13~16のいずれかに記載の方法。
(ソリューション18)前記コーディング表現は、前記ビデオユニットが前記サブピクチャを使用することを示す、ソリューション17に記載の方法。
(ソリューション19)前記コーディング表現は、前記ビデオユニットが前記動的解像度変換コーディング/復号ツール又は前記参照ピクチャ再サンプリングツールを使用することを示す、ソリューション17に記載の方法。
以下のソリューションは、前の章(例えば、項目10)にリストされた項目で説明した追加技術と一緒に実装されてよい。
(ソリューション20)前記第2ビデオ領域はビデオサブピクチャを含み、前記第2ビデオ領域と別のビデオ領域との境界は、2つのコーディングツリーユニットの間の境界も含む、ソリューション1~19のいずれかに記載の方法。
(ソリューション21)前記第2ビデオ領域はビデオサブピクチャを含み、前記第2ビデオ領域と別のビデオ領域との境界は、2つのコーディングツリーユニットの間の境界も含む、ソリューション1~19のいずれかに記載の方法。
以下のソリューションは、前の章(例えば、項目11)にリストされた項目で説明した追加技術と一緒に実装されてよい。
(ソリューション22)前記第1ビデオ領域及び前記第2ビデオ領域は長方形形状を有する、ソリューション1~21のいずれかに記載の方法。
以下のソリューションは、前の章(例えば、項目12)にリストされた項目で説明した追加技術と一緒に実装されてよい。
(ソリューション23)前記第1ビデオ領域及び前記第2ビデオ領域は重なり合わない、ソリューション1~22のいずれかに記載の方法。
以下のソリューションは、前の章(例えば、項目13)にリストされた項目で説明した追加技術と一緒に実装されてよい。
(ソリューション24)前記ビデオピクチャは、前記ビデオピクチャ内のピクセルが1つの且つ1つのみのビデオ領域によりカバーされるように、ビデオ領域に分割される、ソリューション1~23のいずれかに記載の方法。
以下のソリューションは、前の章(例えば、項目15)にリストされた項目で説明した追加技術と一緒に実装されてよい。
(ソリューション25)前記ビデオピクチャが前記ビデオシーケンスの特定レイヤ内にあることに起因して、前記ビデオピクチャは、前記第1ビデオ領域及び前記第2ビデオ領域に分割される、ソリューション1~24のいずれかに記載の方法。
以下のソリューションは、前の章(例えば、項目10)にリストされた項目で説明した追加技術と一緒に実装されてよい。
(ソリューション26)ビデオ処理の方法であって、1つ以上のビデオブロックを含む1つ以上のビデオピクチャを含むビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含み、前記コーディング表現は、第1シンタックスエレメントsubpic_grid_idx[i][j]が第2シンタックスエレメントmax_subpics_minus1より大きくないというコーディングシンタックス要件に従う、方法。
(ソリューション27)前記第1シンタックスエレメントを表すコードワードは、前記第2シンタックスエレメントを表すコードワードより大きくない、ソリューション26に記載の方法。
(ソリューション28)前記第1ビデオ領域はビデオサブピクチャを含む、ソリューション1~27のいずれかに記載の方法。
(ソリューション29)前記第2ビデオ領域はビデオサブピクチャを含む、ソリューション1~28のいずれかに記載の方法。
(ソリューション30)前記変換は、前記ビデオを前記コーディング表現に符号化することを含む、ソリューション1~29のいずれかに記載の方法。
(ソリューション31)前記変換は、前記コーディング表現を復号して前記ビデオのピクセル値を生成することを含む、ソリューション1~29のいずれかに記載の方法。
(ソリューション32)ビデオ復号機器であって、ソリューション1~31のうちの1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオ復号機器。
(ソリューション33)ビデオ符号化機器であって、ソリューション1~31のうちの1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオ符号化機器。
(ソリューション34)格納されたコンピュータコードを有するコンピュータプログラムプロダクトであって、前記コードは、プロセッサにより実行されると、前記プロセッサにソリューション1~31のいずれかに記載の方法を実施させる、コンピュータプログラムプロダクト。
(ソリューション35)本願明細書に記載された方法、機器、又はシステム。
図5は、ここに開示される種々の技術が実施され得る例示的なビデオ処理システム500を示すブロック図である。種々の実装は、システム500のコンポーネントの一部又は全部を含んでよい。システム500は、ビデオコンテンツを受信する入力502を含んでよい。ビデオコンテンツは、生(raw)又は非圧縮フォーマット、例えば8又は10ビット複数成分ピクセル値で受信されてよく、或いは圧縮又は符号化フォーマットであってよい。入力502は、ネットワークインタフェース、周辺機器バスインタフェース、又はストレージインタフェースを表してよい。ネットワークインタフェースの例は、イーサネット(登録商標)、受動光ネットワーク(passive optical network (PON))等のような有線インタフェース、及びWi-Fi又はセルラインタフェースのような無線インタフェースを含む。
システム500は、本願明細書に記載された種々のコーディング又は符号化方法を実施し得るコーディングコンポーネント504を含んでよい。コーディングコンポーネント504は、入力502からコーディングコンポーネント504の出力へのビデオの平均ビットレートを低減して、ビデオのコーディング表現を生成してよい。コーディング技術は、従って、時に、ビデオ圧縮又はビデオトランスコーディング技術と呼ばれる。コーディングコンポーネント504の出力は、コンポーネント506により表されるように、格納されるか、又は通信接続を介して送信されてよい。入力502で受信された、格納され又は通信されたビットストリーム(又はコーディングされた)表現は、コンポーネント508により、ディスプレイインタフェース510へ送信されるピクセル値又は表示可能なビデオを生成するために、使用されてよい。ビットストリーム表現からユーザに閲覧可能なビデオを生成する処理は、時に、ビデオ伸長と呼ばれる。更に、特定のビデオ処理動作は「コーディング」動作又はツールと呼ばれるが、コーディングツール又は動作は、エンコーダにおいて使用され、コーディングの結果を逆にする対応する復号ツール又は動作がデコーダにより実行されることが理解される。
周辺機器バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス(universal serial bus (USB))又は高解像度マルチメディアインタフェース(high definition multimedia interface (HDMI(登録商標)))又はディスプレイポート(Displayport)、等を含んでよい。ストレージインタフェースの例は、SATA(serial advanced technology attachment)、PCI、IDEインタフェース、等を含む。本願明細書に記載した技術は、移動電話機、ラップトップ、スマートフォン、又はデジタルデータ処理を実行可能な他の装置、及び/又はビデオディスプレイのような種々の電子装置に実装されてよい。
図6は、本発明の技術によるビデオ処理の方法600のフローチャート表現である。方法600は、動作610において、ビデオの第1ピクチャの現在ブロックとビデオのビットストリーム表現との間の変換のために、ルールに従い、第2ピクチャからの動き情報に基づき、動き候補を決定するステップを含む。ルールは、動き情報がアクセスされる位置が、第2ピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。方法600は、動作620で、決定に基づき変換を実行するステップを更に含む。
幾つかの実施形態では、動き情報は動きベクトルを含み、動き候補はアフィン動き候補を含む。幾つかの実施形態では、ルールは、第1位置が特定サブピクチャの外側にある場合に、第1位置の代わりとして、位置が使用されることを指定する。幾つかの実施形態では、位置は、現在ブロックに対応するビデオピクチャ内のブロックの右下角にある。
図7は、本発明の技術によるビデオ処理の方法700のフローチャート表現である。方法700は、動作710で、ビデオの第1ピクチャの現在ブロックと前記ビデオのビットストリーム表現の変換のために、ルールに従い、第2ピクチャからの整数サンプルを決定するステップを含む。第2ピクチャは、補間処理において使用されない参照ピクチャを含む。ルールは、整数サンプルがアクセスされる位置が、第2ピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。方法700は、動作720で、決定に基づき返還を実行するステップを更に含む。幾つかの実施形態では、整数サンプルは、双方向オプティカルフロー又は予測精緻化オプティカルフロー処理における1つ以上の勾配を生成するために使用される。
図8は、本発明の技術によるビデオ処理の方法800のフローチャート表現である。方法800は、動作810において、ビデオの現在ブロックと前記ビデオのビットストリーム表現の変換のために、ルールに従い、再構成ルマサンプルがアクセスされる位置を決定するステップを含む。ルールは、位置が、ビデオピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。方法800は、動作820で、決定に基づき変換を実行するステップを更に含む。幾つかの実施形態では、再構成ルマサンプルは、ルママッピングクロマスケーリング処理においてクロマコンポーネントのスケーリング因子を導出するためにアクセスされる。
図9は、本発明の技術によるビデオ処理の方法900のフローチャート表現である。方法900は、動作910において、ビデオの現在ブロックとビデオのビットストリーム表現の変換のために、ルールに従い、ピクチャ境界チェックが実行される位置を決定するステップを含む。ルールは、位置が、ビデオピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。方法900は、動作920で、決定に基づき変換を実行するステップを更に含む。
幾つかの実施形態では、ピクチャ境界チェックは、以下:(1)2分木、3分木、又は4分木の分割、(2)2分木、3分木、又は4分木の深さ導出、或いは(3)現在ブロックの分割フラグのシグナリング、のうちの少なくとも1つのために実行される。幾つかの実施形態では、特定サブピクチャは、現在ブロックをカバーする同一位置サブピクチャである。
幾つかの実施形態では、ルールは、位置が特定サブピクチャの外側にある場合に、位置における情報が利用可能ではないとして扱われることを指定する。位置は(x,y)として表され、特定サブピクチャの左上角は(xTL,yTL)として表され、特定サブピクチャの右下角は(xBR,yBR)として表される。幾つかの実施形態では、x>xBR、y>yBR、x<xTL、又はy<yTLの場合、位置は、特定サブピクチャの外側にある。幾つかの実施形態では、位置は、ビデオピクチャの特定サブピクチャの範囲内になるようクリッピングされることを指定する。位置は(x,y)として表され、特定サブピクチャの左上角は(xTL,yTL)として表され、特定サブピクチャの右下角は(xBR,yBR)として表される。幾つかの実施形態では、xは、x及びxRのうちの小さい方の値になるようクリッピングされる。幾つかの実施形態では、yは、y及びyRのうちの小さい方の値になるようクリッピングされる。幾つかの実施形態では、xは、x及びxTLうちの大きい方の値になるようクリッピングされる。幾つかの実施形態では、y、yびyTLのうちの大きい方の値になるようクリッピングされる。
幾つかの実施形態では、ルールが適用可能かどうかは、ビットストリーム表現の中のシンタックスエレメントに基づく。幾つかの実施形態では、シンタックスエレメントは、ビデオパラメータセット、依存性パラメータセット、スライスパラメータセット、ピクチャパラメータセット、アクティブパラメータセット、スライスヘッダ、又はタイルグループヘッダの中でシグナリングされる。幾つかの実施形態では、シンタックスエレメントは、subpic_treated_as_pic_flag[SubPicIdx]を含み、SubPicIdxは、現在ブロックをカバーする特定サブピクチャのサブピクチャインデックスである。
幾つかの実施形態では、変換は、ビットストリーム表現から現在ブロックを生成する。幾つかの実施形態では、変換は、現在ブロックからビットストリーム表現を生成する。
図10は、本発明の技術によるビデオ処理の方法1000のフローチャート表現である。方法1000は、動作1010で、ビデオのビデオピクチャのサブピクチャとビデオのビットストリーム表現の変換の後に、過去の変換に基づき導出された動き候補のテーブルを再設定(リセット)するステップを含む。方法1000は、動作1020で、リセット後のテーブルを用いて、ビデオピクチャの後続のサブピクチャとビットストリーム表現の変換を実行するステップを更に含む。
幾つかの実施形態では、動き候補のテーブルは、イントラブロックコーディングモードのための動き候補を含む。幾つかの実施形態では、動き候補のテーブルは、インターコーディングモードのための動き候補を含む。幾つかの実施形態では、動き候補のテーブルは、イントラコーディングモードのための動き候補を含む。
幾つかの実施形態では、変換は、ビットストリーム表現からサブピクチャ及び後続のサブピクチャを生成する。幾つかの実施形態では、変換は、サブピクチャ及び後続のサブピクチャからビットストリーム表現を生成する。
図11は、本発明の技術によるビデオ処理の方法1100のフローチャート表現である。方法1100は、動作1110で、ルールに従い、複数のサブピクチャ及び複数のビデオブロックを含むビデオピクチャを有するビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含む。ルールは、任意の2つのサブピクチャが、2つのビデオブロックの間の境界でもあることを指定する。ビデオピクチャ内のビデオブロックは、ビデオピクチャの単一のサブピクチャによりカバーされる。
幾つかの実施形態では、ビデオピクチャ内の任意の位置は、ビデオピクチャの最大でも1つのサブピクチャによりカバーされる。幾つかの実施形態では、ビデオピクチャ内の位置は、ビデオピクチャのサブピクチャによりカバーされない。幾つかの実施形態では、ビデオピクチャの2つのサブピクチャは、重なり合う領域を有しない。
幾つかの実施形態では、ビデオピクチャのサブピクチャの寸法は、ビデオブロックの寸法に基づき決定される。幾つかの実施形態では、サブピクチャは複数のエレメントを含む。サブピクチャ内のエレメントの幅を示すシンタックスエレメントは、N個のサンプルとして表され、サブピクチャの幅はN個のサンプルに基づき決定される。幾つかの実施形態では、ビデオブロックの幅はN個のサンプルを有する。
幾つかの実施形態では、サブピクチャは複数のエレメントを含む。サブピクチャ内のエレメントの高さを示すシンタックスエレメントは、N個のサンプルとして表され、サブピクチャの高さはN個のサンプルに基づき決定される。幾つかの実施形態では、ビデオブロックの高さはN個のサンプルを有する。
幾つかの実施形態では、ビデオブロックは、コーディングツリーブロック(coding tree block (CTB))又はコーディングツリーユニット(coding tree unit (CTU))である。幾つかの実施形態では、サブピクチャは長方形形状を有する。幾つかの実施形態では、サブピクチャは長方形スライスエレメントを含む。幾つかの実施形態では、サブピクチャは、ビデオの選択された1つ以上のレイヤにのみ適用可能である。幾つかの実施形態では、サブピクチャは、ビットストリーム表現内に設定されたシーケンスパラメータセットの中で定義され、サブピクチャは、対応するシーケンスの中で最高解像度を有するレイヤに適用可能である。幾つかの実施形態では、サブピクチャは、ビットストリーム表現内に設定されたシーケンスパラメータセットの中で定義され、サブピクチャは、対応するシーケンスの中で最低解像度を有するレイヤに適用可能である。幾つかの実施形態では、サブピクチャが適用可能な選択された1つ以上のレイヤは、ビットストリーム表現内の1つ以上のシンタックスエレメントの中でシグナリングされる。幾つかの実施形態では、サブピクチャが適用可能ではない1つ以上のレイヤは、ビットストリーム表現内の1つ以上のシンタックスエレメントの中でシグナリングされる。幾つかの実施形態では、1つ以上のシンタックスエレメントは、ビットストリーム表現内の、シーケンスパラメータセット、ビデオパラメータセット、又はピクチャパラメータセットの中でシグナリングされる。
図12は、本発明の技術によるビデオ処理の方法1200のフローチャート表現である。方法1200は、動作1210で、少なくともビデオピクチャを用いて、ビデオのビデオユニットとビデオのコーディング表現との間の変換を実行するステップを含み、サブピクチャコーディングモード又は解像度変化コーディングモードのうちの1つのみが、ビデオユニットに対して有効である。サブピクチャコーディングモードは、ビデオピクチャが複数のサブピクチャに分割されるモードであり、解像度変化コーディングモードは、ビデオピクチャの解像度が変換中に調整されるモードである。
幾つかの実施形態では、ビデオピクチャは、現在ピクチャ又は参照ピクチャを含む。幾つかの実施形態では、解像度変化コーディングモードは、参照ピクチャ再サンプリング(PRP)モードを含む。幾つかの実施形態では、解像度変化コーディングモードは、動的解像度変換(DRC)モードを含む。幾つかの実施形態では、解像度変化コーディングモードは、適応解像度変換(ARC)モードを含む。
幾つかの実施形態では、ビデオユニットは、ビデオシーケンスを含む。幾つかの実施形態では、解像度変化コーディングモードが許可されない場合に、サブピクチャコーディングモードがコーディングユニットに対して有効であることを示すために、コーディング表現の中にシンタックスエレメントが含まれる。幾つかの実施形態では、サブピクチャコーディングモードが有効であると示すシンタックスエレメントがコーディング表現に含まれる場合、解像度変化コーディングモードは許可されない。幾つかの実施形態では、シンタックスエレメントはsubpics_present_flagを含む。幾つかの実施形態では、シンタックスエレメントが、サブピクチャコーディングモードが有効であると示す場合、ビデオピクチャの幅は、ビデオユニット内のビデオピクチャに対して許容される最大幅に等しく設定される。
図13は、本発明の技術によるビデオ処理の方法1300のフローチャート表現である。方法1300は、動作1310で、少なくともビデオピクチャを用いて、ビデオのビデオユニットとビデオのコーディング表現との間の変換を実行するステップを含み、サブピクチャコーディングモード及び解像度変化コーディングモードの両方が、ビデオユニットに対して有効である。サブピクチャコーディングモードは、ビデオピクチャが複数のサブピクチャに分割されるモードであり、解像度変化コーディングモードは、ビデオピクチャの解像度が変換中に調整されるモードである。
幾つかの実施形態では、ビデオユニットは、ビデオシーケンスを含む。幾つかの実施形態では、解像度変化コーディングモードは、適応解像度変換(ARC)モード、動的解像度変換(DRC)モード、参照ピクチャ再サンプリング(PRP)モード、を含む。
幾つかの実施形態では、ビデオピクチャは複数のブロックを含み、各ブロックはW×Hの寸法を有する。解像度変化コーディングモードに従い調整されたサブピクチャは、K×Wの幅、及びM×Hの高さを有し、K及びMは整数である。幾つかの実施形態では、サブピクチャは、ビデオピクチャの境界に位置しない。幾つかの実施形態では、境界は、右境界又は下境界を含む。
幾つかの実施形態では、ビデオピクチャは複数のビデオブロックを含み、個々のビデオブロックの寸法はビデオピクチャの解像度に基づき調整される。幾つかの実施形態では、コーディング表現は、ビデオブロックの最大寸法を示すシンタックスエレメントを含み、個々のビデオブロックの寸法は、ビデオピクチャの最大寸法及び解像度に基づき調整される。幾つかの実施形態では、個々のビデオブロックの寸法は、シーケンスパラメータセット、ピクチャパラメータセット、又はコーディング表現中のサブピクチャレベルでシグナリングされる。
図14は、本発明の技術によるビデオ処理の方法1400のフローチャート表現である。方法1400は、動作1410で、1つ以上のビデオピクチャを含むビデオと前記ビデオのコーディング表現との間の変換を実行するステップ、を含み、個々のビデオピクチャの寸法は、8以上になるよう制約される。幾つかの実施形態では、寸法は個々のビデオピクチャの幅である。幾つかの実施形態では、寸法は個々のビデオピクチャの高さである。
図15は、本発明の技術によるビデオ処理の方法1500のフローチャート表現である。方法1500は、動作1510で、ルールに従い、ビデオのビデオピクチャとビデオのコーディング表現との間の変換を実行するステップを含む。ビデオピクチャは少なくとも1つのサブピクチャを含み、ルールは、サブピクチャの特性がコーディング表現の中の少なくとも1つのシンタックスエレメントとして表現されることを指定し、少なくとも1つのシンタックスエレメントは、ビデオピクチャ内のサブピクチャグリッドのインデックス値と異なる。
幾つかの実施形態では、特性は、サブピクチャの左上位置を含む。幾つかの実施形態では、特性は、サブピクチャの右下位置を含む。幾つかの実施形態では、特性は、サブピクチャの幅を含む。幾つかの実施形態では、特性は、サブピクチャの高さを含む。幾つかの実施形態では、ビデオピクチャ内のサブピクチャのインデックス値は、ビデオピクチャ内のサブピクチャの最大数より小さい。幾つかの実施形態では、[0,サブピクチャの最大数-1]の範囲にある整数値は、ビデオピクチャ内のサブピクチャのインデックス値と1対1対応を有する。
図16は、本発明の技術によるビデオ処理の方法1600のフローチャート表現である。方法1600は、動作1610で、ルールに従い、ビデオのビデオピクチャとビデオのコーディング表現との間の変換を実行するステップを含む。ビデオピクチャは複数のサブピクチャを含み、各サブピクチャは複数のエレメントを含む。ルールは、サブピクチャ内の個々のエレメントの寸法が制約を満たすことを指定する。
幾つかの実施形態では、制約は、個々のエレメントの幅がT1より小さいことを指定する。幾つかの実施形態では、制約は、個々のエレメントの高さがT2より小さいことを指定する。幾つかの実施形態では、ビデオピクチャは複数のビデオブロックを含み、制約は、個々のエレメントの寸法に基づき決定されたサブピクチャが、変換中に処理される現在ビデオブロックによりカバーされることを指定する。幾つかの実施形態では、現在ビデオブロックによりカバーされるサブピクチャの外部にあるサンプルは、変換のために利用できないと見なされる。幾つかの実施形態では、制約は、個々のエレメントの寸法が、ビデオコーディング標準のプロファイル、レベル、又はティアに基づき決定されることを指定する。幾つかの実施形態では、制約は、個々のビデオブロックの寸法がビデオピクチャの幅に基づき決定されることを指定する。幾つかの実施形態では、個々のビデオブロックの幅は、pic_width_max_in_luma_samples/4+offsetに等しく、pic_width_max_in_luma_samplesはルマサンプルにおける最大ピクチャ幅を表し、offsetは0又は0でない整数である。幾つかの実施形態では、制約は、個々のエレメントの寸法が、ビデオピクチャの高さに基づき決定されることを指定する。幾つかの実施形態では、個々のエレメントの高さは、pic_height_max_in_luma_samples/4+offsetに等しく、pic_height_max_in_luma_samplesはルマサンプルにおける最大ピクチャ高さを表し、offsetは0又は0でない整数である。
幾つかの実施形態では、変換は、ビットストリーム表現からビデオピクチャを生成する。幾つかの実施形態では、変換は、ビデオピクチャからビットストリーム表現を生成する。
図17は、本発明の技術によるビデオ処理の方法1700のフローチャート表現である。方法1700は、動作1710で、ルールに従い、コーディングモードを用いて、複数のサブピクチャを含むピクチャを有するビデオと、ビデオのコーディング表現との間の変換を実行するステップを含む。ルールは、前のサブピクチャに関する特定の格納された情報が、複数のサブピクチャのうちの各々の次のサブピクチャを処理する前に、再設定されることを指定する。
幾つかの実施形態では、特定の格納された情報は、ビデオピクチャ内の現在ブロックがビデオピクチャからのサンプルによりコーディングされるイントラブロックコピーモードのために使用される仮想バッファを含む。幾つかの実施形態では、特定の格納された情報は、ビデオピクチャ内の現在ブロックがそれぞれのサンプル値のパレットを用いてコーディングされるパレットコーディングモードのために使用されるエントリのリストを含む。
図18は、本発明の技術によるビデオ処理の方法1800のフローチャート表現である。方法1800は、動作1810で、ルールに従い、ビデオと前記ビデオのコーディング表現との間の変換において、時間フィルタリング動作を実行するステップを含む。ビデオは複数のビデオピクチャを含み、各ビデオピクチャは複数のサブピクチャを含む。ルールは、ビデオピクチャの現在サブピクチャ内の現在サンプルを時間フィルタリングするために、同じ現在サブピクチャ又は現在サブピクチャに対応する異なるビデオピクチャ内のサブピクチャの範囲内のサンプルのみが利用可能であることを指定する。
図19は、本発明の技術によるビデオ処理の方法1900のフローチャート表現である。方法1900は、動作1910で、ビデオのビデオピクチャ内のブロックとビデオのコーディング表現との間の変換のために、ブロックがビデオピクチャの1つ以上のサブピクチャ境界と交差するかどうかに基づき、ブロックにパーティション方法を適用する方法を決定するステップを含む。方法1900は、動作1920で、決定に基づき変換を実行するステップを更に含む。
幾つかの実施形態では、パーティション方法は、以下:4分木パーティション方法、水平2分木パーティション方法、垂直2分木パーティション方法、水平3分木パーティション方法、垂直3分木パーティション方法、又は非分割方法、のうちの少なくとも1つを含む。幾つかの実施形態では、方法は、境界処理方法がブロックに適用可能かどうかを更に指定する。幾つかの実施形態では、方法は、ブロックがビデオピクチャのサブピクチャの1つ以上の境界に跨がり位置するかどうかに基づき、パーティション方法を示すコーディング表現内のシンタックスエレメントを処理する方法を決定するステップを含む。
図20は、本発明の技術によるビデオ処理の方法2000のフローチャート表現である。方法2000は、動作2010で、ビデオのビデオピクチャとビデオのコーディング表現との間の変換のために、ビデオピクチャのうちの2つのサブ領域を決定するステップを含む。第1サブ領域は、ビデオピクチャの複数のサブピクチャを含み、第2サブ領域は、ビデオピクチャ内のサンプルを維持することを含む。方法2000は、動作2020で、決定に基づき変換を実行するステップを更に含む。
幾つかの実施形態では、第2サブ領域内のサンプルは、ビデオピクチャの任意のサブピクチャ内に位置しない。幾つかの実施形態では、第2サブ領域は、第1サブ領域に関する情報に基づき、変換のために処理される。幾つかの実施形態では、デフォルト値は、ビデオピクチャのサンプル又は領域が第2サブ領域内に位置するかどうかを示すために、変換中に使用される。幾つかの実施形態では、デフォルト値は(max_subpics_minus1+K)に設定され、max_subpics_minus1は、ビデオピクチャ内のサブピクチャの最大数を示し、Kは1より大きい整数である。幾つかの実施形態では、デフォルト値は、ビデオピクチャ内のサブピクチャを表すインデックス値のアレイの中の各要素に割り当てられる。
幾つかの実施形態では、変換は、コーディング表現からビデオを生成する。幾つかの実施形態では、変換は、ビデオからコーディング表現を生成する。
開示した技術の幾つかの実施形態は、ビデオ処理ツール又はモードを有効にすることの決定又は判断を行うことを含む。例では、ビデオ処理ツール又はモードが有効にされると、エンコーダは、ビデオのブロックの処理において該ツール又はモードを使用又は実施するが、必ずしもツール又はモードの使用に基づき結果として生じるビットストリームを変更する必要はない。つまり、ビデオのブロックからビデオのビットストリーム表現への変換は、決定又は判断に基づき有効にされるとき、ビデオ処理ツール又はモードを使用する。別の例では、ビデオ処理ツール又はモードが有効にされると、デコーダは、ビットストリームがビデオ処理ツール又はモードに基づき変更されているという知識により、ビットストリームを処理する。つまり、ビデオのビットストリーム表現からビデオのブロックへの変換は、決定又は判断に基づき有効にされたビデオ処理ツール又はモードを使用して実行される。
開示した技術の幾つかの実施形態は、ビデオ処理ツール又はモードを無効にすることの決定又は判断を行うことを含む。例では、ビデオ処理ツール又はモードが無効にされるとき、エンコーダは、ビデオのブロックをビデオのビットストリーム表現へ変換する際にツール又はモードを使用しない。別の例では、ビデオ処理ツール又はモードが無効にされると、デコーダは、ビットストリームが決定又は判断に基づき有効にされたビデオ処理ツール又はモードを用いて変更されていないという知識により、ビットストリームを処理する。
本願明細書に記載された本開示の及び他のソリューション、例、実施形態、モジュール、及び機能動作は、デジタル電子回路で、又は本願明細書に開示された構造を含む、コンピュータソフトウェア、ファームウェア、又はハードウェア、及びそれらの構造的均等物で、又はそれらの1つ以上の結合で、実装できる。本開示の及び他の実施形態は、1つ以上のコンピュータプログラムプロダクト、例えば、データ処理機器による実行のために又はその動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装できる。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリ装置、機械可読伝搬信号に影響を与える物質の組成、又は1つ以上のそれらの組合せであり得る。用語「データ処理機器」は、データを処理するあらゆる機器、装置、及び機械を包含し、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む。機器は、ハードウェアに加えて、対象となるコンピュータプログラムの実行環境を生成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ以上の組合せを構成するコードを含むことができる。伝搬信号は、人工的に生成された信号、例えば、適切な受信機への送信のために情報を符号化するために生成された、機械により生成された電気、光、又は電磁気信号である。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイルされた又はインタープリットされた言語を含む任意の形式のプログラミング言語で記述でき、それは、スタンドアロンプログラム又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境内での使用に適する他のユニットを含む任意の形式で展開できる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応する必要はない。プログラムは、他のプログラム又はデータ(例えばマークアップ言語文書内に格納された1つ以上のスクリプト)を保持するファイルの一部に、問題のプログラムに専用の単一のファイルに、又は複数の連携ファイル(例えば、1つ以上モジュール、サブプログラム、又はコードの部分を格納するファイル)に、格納できる。コンピュータプログラムは、1つのコンピュータ上で、又は1つの場所に置かれた若しくは複数の場所に分散されて通信ネットワークにより相互接続される複数のコンピュータ上で、実行されるよう展開できる。
本願明細書に記載の処理及びロジックフローは、入力データに作用し及び出力を生成することにより機能を実行する1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサにより実行できる。特定用途論理回路、例えば、FPGA(field programmable gate array)又はASIC(application specific integrated circuit)により、処理及びロジックフローが実行でき、それとして機器が実装できる。
コンピュータプログラムの実行に適するプロセッサは、例えば、汎用及び特定用途向けマイクロプロセッサの両方、及び任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。通常、プロセッサは、命令及びデータを読み出し専用メモリ又はランダムアクセスメモリ又は両者から受信する。コンピュータの基本的要素は、命令を実行するプロセッサ、及び命令及びデータを格納する1つ以上のメモリ装置である。通常、コンピュータは、データを格納する1つ以上の大容量記憶装置、例えば、磁気、光磁気ディスク、又は光ディスク、も含み、又はそれらからデータを受信し又はそれらへデータを転送するために又は両者のために動作可能に結合される。しかしながら、コンピュータはこのような装置を有する必要はない。コンピュータプログラム命令及びデータを格納するのに適するコンピュータ可読媒体は、例えば半導体メモリ装置、例えばEPROM、EEPROM,及びフラッシュメモリ装置、磁気ディスク、例えば内部ハードディスク又は取り外し可能ディスク、光磁気ディスク、及びCD-ROM及びDVD-ROMディスクを含む、全ての形式の-不揮発性メモリ、媒体、及びメモリ装置を含む。プロセッサ及びメモリは、特定用途向け論理回路により補足され、又はその中に組み込むことができる。
本願明細書は多数の特定事項を含むが、これらは、任意の主題の又は請求され得るものの範囲に対する限定としてではなく、むしろ、特定の技術の特定の実施形態に固有の特徴の説明として考えられるべきである。別個の実装の文脈で本願明細書に記載された特定の特徴は、単一の実施形態において組み合わせることもできる。反対に、単一の実施形態の文脈で記載された種々の特徴は、複数の実施形態の中で別個に又は任意の適切な部分的組み合わせで実装されることもできる。更に、特徴は特定の組み合わせで動作するよう上述され、そのように初めに請求され得るが、請求される組み合わせからの1つ以上の特徴は、幾つかの場合には、組み合わせから切り離されてよく、請求される組み合わせは、部分的組み合わせ又は部分的組み合わせの変形に向けられてよい。
同様に、動作は、図中に特定の順序で示されるが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序で又はシーケンシャルに実行されること、及び全ての図示の動作が実行されること、を要求すると理解されるべきではない。更に、本願明細書に記載された実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてこのような分離を必要とすると理解されるべきではない。
小数の実装及び例のみが記載され、本願明細書に記載され示されたものに基づき他の実装、拡張、及び変形が行われ得る。

Claims (19)

  1. ビデオデータを処理する方法であって、
    ビデオの第1ピクチャの第1ビデオブロックと前記ビデオのビットストリームとの間の第1変換について、アフィン動きモードが前記第1ビデオブロックに適用されると決定するステップと、
    前記第1ビデオブロックについて、時間動き情報に基づき生成された少なくとも1つの構成された動き候補を含む動き候補リストを構成するステップと、
    前記動き候補リストに基づき予測サンプルを導出し、前記第1変換を実行するステップと、
    を含み、
    前記時間動き情報が導出される位置は、前記第1ピクチャの第1サブピクチャの範囲内であるよう制約され、
    ビデオピクチャが複数のサブピクチャに分割されるサブピクチャコーディングモードは、前記第1ピクチャに対して有効である、方法。
  2. 前記第1サブピクチャは、インループフィルタリング動作を除き、前記第1変換においてピクチャとして扱われ、
    前記時間動き情報は、前記位置が前記第1サブピクチャの範囲内に位置しないことに応答して、利用不可能であり、
    前記位置は、前記第1ビデオブロックの右下角にある、請求項1に記載の方法。
  3. 前記予測サンプルを導出するステップは、
    整数サンプルフェッチ処理を適用してフェッチされたサンプルを生成するステップであって、前記整数サンプルフェッチ処理では、前記第1ビデオブロックの参照ピクチャ内で前記整数サンプルがフェッチされる位置は、前記参照ピクチャの第2サブピクチャ内に制約される、ステップと、
    前記フェッチされたサンプルに基づき、勾配を生成するステップと、
    前記勾配に基づき、オプティカルフロー処理により予測精緻化を適用して、前記予測サンプルを導出するステップと、
    を含み、
    前記整数サンプルがフェッチされる前記位置を前記第2サブピクチャ内に制約するために、クリッピング関数が使用される、請求項1又は2に記載の方法。
  4. 前記サブピクチャコーディングモードが有効であることを示す第1シンタックスエレメントは、前記ビットストリーム内のシーケンスパラメータセットに含まれ、
    サブピクチャの幅を示すために、第2シンタックスエレメントが前記ビットストリームに含まれ、前記サブピクチャの高さを示すために、第3シンタックスエレメントが前記ビットストリームに含まれる、請求項1~3のいずれか一項に記載の方法。
  5. 前記ビデオのビデオユニットと前記ビデオの前記ビットストリームとの間の第2変換について、前記サブピクチャコーディングモードが前記ビデオユニットに対して有効であると決定するステップであって、前記ビデオユニットは、少なくとも前記第1ピクチャを含む1つ以上のビデオピクチャを含む、ステップと、
    前記ビデオユニット内の前記ビデオピクチャを複数のコーディングツリーブロックに、及び前記ビデオピクチャを1つ以上のサブピクチャに、ルールに従いパーティションするステップと、
    前記パーティションするステップに基づき、前記ビデオユニットと前記ビットストリームとの間の前記第2変換を実行するステップと、
    を更に含み、
    前記ルールは、任意の2つのサブピクチャ間の境界が、2つのコーディングツリーブロック間の境界でもあること、及びコーディングツリーブロックが1つより多くのサブピクチャをカバーすることを許可されないことを指定する、請求項1~4のいずれか一項に記載の方法。
  6. 前記ビデオピクチャ内のいずれかの位置は、1つのサブピクチャのみによりカバーされるよう制約され、
    前記ビデオピクチャの前記2つのサブピクチャは、重なり合う領域を有しない、請求項5に記載の方法。
  7. サブピクチャは、長方形形状を有するよう制約され、前記サブピクチャは長方形スライスを含む、請求項5に記載の方法。
  8. 解像度変化コーディングモードが前記ビデオユニットに対して有効であるかどうかを決定するステップと、
    前記解像度変化コーディングモードが前記ビデオユニットに対して有効である場合、前記サブピクチャコーディングモードが前記ビデオユニットに対して無効であると決定するステップと、
    を更に含み、
    前記解像度変化コーディングモードは、空間解像度が前記ビデオユニットの前記ビデオピクチャの間で変化することが許容されるモードである、請求請求項1~7のいずれか一項に記載の方法。
  9. 前記ビデオユニットはビデオシーケンスを含み、
    前記解像度変化コーディングモードが無効である場合、前記ビデオユニット内の前記ビデオピクチャの幅は、前記ビデオユニット内の前記ビデオピクチャに対して許容される最大幅に等しく設定される、請求項8に記載の方法。
  10. 前記ビデオユニット内の前記ビデオピクチャに対して許容される前記最大幅を示すために、第4シンタックスエレメントが前記ビットストリームに含まれ、前記第4シンタックスエレメントの値は、8未満にならないよう制限され、
    前記ビデオユニット内の前記ビデオピクチャに対して許容される最大高さを示すために、第5シンタックスエレメントが前記ビットストリームに含まれ、前記第5シンタックスエレメントの値は、8未満にならないよう制限され、
    サブピクチャの左上位置を示すために、第6シンタックスエレメントが前記ビットストリームに含まれる、請求項9に記載の方法。
  11. 解像度変化コーディングモードは、参照ピクチャ再サンプリングが有効であるとき、有効である、請求項8~10のいずれか一項に記載の方法。
  12. 第1予測モードが前記第1ビデオブロックに適用されると決定するステップと、
    前記第1予測モードについて、前記第1ピクチャのサンプル値のブロックから導出された参照サンプルを含む仮想バッファを維持するステップと、
    前記第1ビデオブロックについて、前記決定するステップに基づき予測サンプルを導出するステップと、
    を更に含み、
    前記第1予測モードにおいて、前記仮想バッファ内のブロックベクトルにより決定された前記参照サンプルは、前記予測サンプルの導出に使用され、
    前記仮想バッファは、前記第1ピクチャのサブピクチャを処理する前にリセットされる、請求請求項1~11のいずれか一項に記載の方法。
  13. 前記仮想バッファ内の前記参照サンプルは-1になるようリセットされる、請求項12に記載の方法。
  14. 前記ビデオの第2ピクチャの第2ビデオブロックと前記ビットストリームとの間の第3変換について、第2予測モードが前記第2ビデオブロックに適用されると決定するステップと、
    前記第2予測モードについて、予測子パレットを維持するステップと、
    前記第2予測モードに基づき、前記第2ビデオブロックと前記ビットストリームとの間の前記第3変換を実行するステップと、
    を更に含み、
    前記第2予測モードでは、再構成サンプルは代表カラー値のセットにより表され、前記代表カラー値のセットは、(1)パレット予測子、(2)エスケープサンプル、又は(3)前記ビットストリームに含まれるパレット情報、のうちの少なくとも1つを含み、
    前記サブピクチャコーディングモードが前記第2ピクチャに対して有効であり、前記予測子パレットのエントリリストは、前記第2ピクチャのサブピクチャを処理する前にリセットされ、
    予測子パレットのサイズは、前記第2ピクチャの前記サブピクチャを処理する前に0に設定される、請求項12に記載の方法。
  15. 前記第1変換は、前記ビデオを前記ビットストリームに符号化することを含む、請求項1~14のいずれか一項に記載の方法。
  16. 前記第1変換は、前記ビットストリームから前記ビデオを復号することを含む、請求項1~14のいずれか一項に記載の方法。
  17. ビデオデータを処理する機器であって、プロセッサと、命令を格納している非一時的メモリとを含み、前記命令は前記プロセッサにより実行されると、前記プロセッサに、
    ビデオの第1ピクチャの第1ビデオブロックと前記ビデオのビットストリームとの間の第1変換について、アフィン動きモードが前記第1ビデオブロックに適用されると決定させ、
    前記第1ビデオブロックについて、時間動き情報に基づき生成された少なくとも1つの構成された動き候補を含む動き候補リストを構成させ、
    前記動き候補リストに基づき予測サンプルを導出し、前記第1変換を実行させ、
    前記時間動き情報が導出される位置は、前記第1ピクチャの第1サブピクチャの範囲内であるよう制約され、
    ビデオピクチャが複数のサブピクチャに分割されるサブピクチャコーディングモードは、前記第1ピクチャに対して有効である、機器。
  18. 命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令はプロセッサに、
    ビデオの第1ピクチャの第1ビデオブロックと前記ビデオのビットストリームとの間の第1変換について、アフィン動きモードが前記第1ビデオブロックに適用されると決定させ、
    前記第1ビデオブロックについて、時間動き情報に基づき生成された少なくとも1つの構成された動き候補を含む動き候補リストを構成させ、
    前記動き候補リストに基づき予測サンプルを導出させ、前記第1変換を実行させ、
    前記時間動き情報が導出される位置は、前記第1ピクチャの第1サブピクチャの範囲内であるよう制約され、
    ビデオピクチャが複数のサブピクチャに分割されるサブピクチャコーディングモードは、前記第1ピクチャに対して有効である、非一時的コンピュータ可読記憶媒体。
  19. 非一時的コンピュータ可読記録媒体であって、ビデオ処理機器により実行される方法により生成されたビデオのビットストリームを格納し、前記方法は、
    ビデオの第1ピクチャの第1ビデオブロックについて、アフィン動きモードが前記第1ビデオブロックに適用されると決定するステップと、
    前記第1ビデオブロックについて、時間動き情報に基づき生成された少なくとも1つの構成された動き候補を含む動き候補リストを構成するステップと、
    前記動き候補リストに基づき予測サンプルを導出するステップと、
    前記決定するステップに基づき、前記ビットストリームを生成するステップと、
    を含み、
    前記時間動き情報が導出される位置は、前記第1ピクチャの第1サブピクチャの範囲内であるよう制約され、
    ビデオピクチャが複数のサブピクチャに分割されるサブピクチャコーディングモードは、前記第1ピクチャに対して有効である、非一時的コンピュータ可読記録媒体。
JP2023180083A 2019-08-10 2023-10-19 サブピクチャに依存するビデオビットストリーム内のシグナリング Pending JP2023182800A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/100114 2019-08-10
CN2019100114 2019-08-10
PCT/CN2020/108175 WO2021027774A1 (en) 2019-08-10 2020-08-10 Subpicture dependent signaling in video bitstreams
JP2022508460A JP7372443B2 (ja) 2019-08-10 2020-08-10 サブピクチャに依存するビデオビットストリーム内のシグナリング

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022508460A Division JP7372443B2 (ja) 2019-08-10 2020-08-10 サブピクチャに依存するビデオビットストリーム内のシグナリング

Publications (1)

Publication Number Publication Date
JP2023182800A true JP2023182800A (ja) 2023-12-26

Family

ID=74570268

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2022508461A Active JP7478225B2 (ja) 2019-08-10 2020-08-10 サブピクチャ復号のバッファ管理
JP2022508460A Active JP7372443B2 (ja) 2019-08-10 2020-08-10 サブピクチャに依存するビデオビットストリーム内のシグナリング
JP2023180083A Pending JP2023182800A (ja) 2019-08-10 2023-10-19 サブピクチャに依存するビデオビットストリーム内のシグナリング

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2022508461A Active JP7478225B2 (ja) 2019-08-10 2020-08-10 サブピクチャ復号のバッファ管理
JP2022508460A Active JP7372443B2 (ja) 2019-08-10 2020-08-10 サブピクチャに依存するビデオビットストリーム内のシグナリング

Country Status (8)

Country Link
US (5) US11523108B2 (ja)
EP (3) EP3997869A4 (ja)
JP (3) JP7478225B2 (ja)
KR (2) KR20220044271A (ja)
CN (5) CN117336468A (ja)
BR (1) BR112022002493A2 (ja)
MX (1) MX2022001465A (ja)
WO (4) WO2021027776A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021013239A1 (en) 2019-07-25 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Size restriction for intra-block copy virtual buffer
CN117336468A (zh) 2019-08-10 2024-01-02 北京字节跳动网络技术有限公司 视频比特流中的子图片相关信令通知
WO2021043299A1 (en) 2019-09-05 2021-03-11 Beijing Bytedance Network Technology Co., Ltd. Range constrains for block vector in intra-block copy mode
CN117459723A (zh) * 2019-09-23 2024-01-26 北京字节跳动网络技术有限公司 基于虚拟管线数据单元设置帧内块复制虚拟缓冲区
KR20220044843A (ko) * 2019-09-24 2022-04-11 엘지전자 주식회사 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN114556952A (zh) 2019-10-02 2022-05-27 北京字节跳动网络技术有限公司 包括子图片的视频比特流中的条带级信令通知
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들
JP7400114B2 (ja) 2020-02-24 2023-12-18 バイトダンス インコーポレイテッド ビデオコーディングでのピクチャレベルスライスインデックスの使用
CN115211044A (zh) 2020-03-03 2022-10-18 字节跳动有限公司 使用条带头信令通知控制缩放处理
CN115362674A (zh) 2020-03-18 2022-11-18 抖音视界有限公司 帧内块复制缓冲区和调色板预测值更新
CN115349254A (zh) * 2020-03-23 2022-11-15 抖音视界有限公司 控制编解码视频中不同级别的去块滤波
US20220394309A1 (en) * 2021-05-20 2022-12-08 Lemon Inc. On Padding Methods For Neural Network-Based In-Loop Filter
US11949863B2 (en) * 2021-08-02 2024-04-02 Tencent America LLC Geometric partition mode with intra block copy

Family Cites Families (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047112A (en) * 1992-06-30 2000-04-04 Discovision Associates Technique for initiating processing of a data stream of encoded video information
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
US20040177383A1 (en) 2003-01-24 2004-09-09 Chyron Corporation Embedded graphics metadata
JP3967691B2 (ja) * 2003-03-31 2007-08-29 株式会社東芝 情報記憶媒体と情報再生装置と情報記録再生装置
KR100983268B1 (ko) * 2003-07-21 2010-09-24 엘지전자 주식회사 트릭 플레이시 서브픽쳐 표시 방법
CN100502511C (zh) 2004-09-14 2009-06-17 华为技术有限公司 用于分数像素精度运动预测的插值图像内存组织方法
EP1949701A1 (en) 2005-10-11 2008-07-30 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
US7688333B2 (en) 2007-02-28 2010-03-30 Lsi Corporation Method and/or apparatus for color space reduction for transcoding subpicture elements
US20080267297A1 (en) 2007-04-26 2008-10-30 Polycom, Inc. De-blocking filter arrangements
KR100891768B1 (ko) * 2007-05-02 2009-04-07 삼성전자주식회사 모션 벡터 탐색 방법
CN101668219B (zh) * 2008-09-02 2012-05-23 华为终端有限公司 3d视频通信方法、发送设备和系统
CN102210152A (zh) * 2008-10-06 2011-10-05 Lg电子株式会社 用于处理视频信号的方法和设备
US8879637B2 (en) 2008-10-06 2014-11-04 Lg Electronics Inc. Method and an apparatus for processing a video signal by which coding efficiency of a video signal can be raised by using a mixed prediction mode in predicting different macroblock sizes
US8988531B2 (en) 2010-07-08 2015-03-24 Texas Instruments Incorporated Method and apparatus for sub-picture based raster scanning coding order
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
US20140198844A1 (en) 2011-10-24 2014-07-17 Mediatek Inc. Method and apparatus for non-cross-tile loop filtering
US9584819B2 (en) 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9332259B2 (en) 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
NZ616358A (en) 2012-02-03 2015-03-27 Mediatek Inc Method and apparatus for loop filtering cross tile or slice boundaries
US9716892B2 (en) * 2012-07-02 2017-07-25 Qualcomm Incorporated Video parameter set including session negotiation information
US10110890B2 (en) * 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US9491457B2 (en) 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US8989508B2 (en) 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
CN116366835A (zh) 2013-01-04 2023-06-30 Ge视频压缩有限责任公司 高效可伸缩编码概念
CA2897152C (en) * 2013-01-07 2019-03-05 Kemal Ugur Inter-layer video encoding and decoding with adaptive resolution change at indicated switching points
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
EP2959481B1 (en) * 2013-02-20 2017-04-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an encoded audio or image signal or for decoding an encoded audio or image signal in the presence of transients using a multi overlap portion
US9473779B2 (en) * 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
CN108650514A (zh) * 2013-07-14 2018-10-12 夏普株式会社 瓦片对齐信令和一致性约束
GB2516424A (en) 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US20150103924A1 (en) 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. On operation of decoded picture buffer for interlayer pictures
WO2015056941A1 (ko) * 2013-10-14 2015-04-23 한국전자통신연구원 다계층 기반의 영상 부호화/복호화 방법 및 장치
KR20150057591A (ko) 2013-11-20 2015-05-28 주식회사 디오텍 동영상파일에 대한 자막데이터 생성방법 및 장치
EP3090558A4 (en) * 2014-01-03 2017-08-16 Nokia Technologies OY Parameter set coding
US10567804B2 (en) 2014-01-08 2020-02-18 Qualcomm Incorporated Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US20150215631A1 (en) * 2014-01-23 2015-07-30 Broadcom Corporation Parallel Coding with Overlapped Tiles
JP6280679B2 (ja) * 2014-02-24 2018-02-14 日本放送協会 フレーム間引き装置、フレーム補間装置、映像符号化装置、映像復号装置、及びこれらのプログラム
ES2913983T3 (es) * 2014-03-17 2022-06-07 Nokia Technologies Oy Un aparato, un método y un programa informático para codificación y decodificación de vídeo
US10750198B2 (en) 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
WO2016048834A1 (en) * 2014-09-26 2016-03-31 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
WO2016078599A1 (en) * 2014-11-20 2016-05-26 Mediatek Inc. Method of motion vector and block vector resolution control
KR102150979B1 (ko) 2014-12-19 2020-09-03 에이치에프아이 이노베이션 인크. 비디오 및 이미지 코딩에서의 비-444 색채 포맷을 위한 팔레트 기반 예측의 방법
RU2686559C2 (ru) * 2015-01-29 2019-04-29 Кэнон Кабусики Кайся Инициализатор предсказателя палитры при кодировании или декодировании самостоятельных кодируемых структур
US20160234522A1 (en) * 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Video Decoding
CN104702963B (zh) 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
WO2016127889A1 (en) 2015-02-13 2016-08-18 Mediatek Inc. Method and apparatus for palette index coding in video and image compression
US10362331B2 (en) * 2015-03-02 2019-07-23 Hfi Innovation Inc. Method and apparatus for intraBC mode with fractional-pel block vector resolution in video coding
WO2016172395A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Scalable video coding system with parameter signaling
US10200713B2 (en) * 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
JP2017017629A (ja) * 2015-07-03 2017-01-19 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
WO2017016468A1 (en) * 2015-07-27 2017-02-02 Mediatek Inc. Method of system for video coding using intra block copy mode
WO2017083784A1 (en) 2015-11-11 2017-05-18 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
TW202344052A (zh) * 2016-02-09 2023-11-01 弗勞恩霍夫爾協會 用於圖像/視訊資料串流而允許有效可縮減性或有效隨機存取之技術
US20170272758A1 (en) 2016-03-16 2017-09-21 Mediatek Inc. Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
CN107566848B (zh) * 2016-06-30 2020-04-14 华为技术有限公司 编解码的方法及装置
CN107801039B (zh) * 2016-08-30 2020-04-14 华为技术有限公司 运动补偿预测方法和装置
US20180098090A1 (en) 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
AU2016273973A1 (en) * 2016-12-16 2018-07-05 Canon Kabushiki Kaisha Transcode PCL delta-row compressed image to edges
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
WO2019008174A1 (en) 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPTS FOR CONTINUOUSLY DISPLAYING VIDEOS CUT INTO PARTS
KR102411337B1 (ko) * 2017-10-09 2022-06-22 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
JP2021016016A (ja) 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
US20190141320A1 (en) 2017-11-07 2019-05-09 Qualcomm Incorporated Enhanced reference picture management in video coding
CN109996072B (zh) * 2018-01-03 2021-10-15 华为技术有限公司 视频图像的处理方法及装置
US11012715B2 (en) * 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
CN110662046B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 视频处理方法、装置和可读存储介质
TWI750486B (zh) 2018-06-29 2021-12-21 大陸商北京字節跳動網絡技術有限公司 運動資訊共用的限制
KR20210024487A (ko) 2018-07-01 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 효율적인 아핀 병합 모션 벡터 유도
CN110677678B (zh) 2018-07-01 2022-09-23 北京字节跳动网络技术有限公司 依赖形状的帧间编码
CN112913247B (zh) 2018-10-23 2023-04-28 北京字节跳动网络技术有限公司 使用局部照明补偿的视频处理
KR102653562B1 (ko) 2018-11-06 2024-04-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 위치에 따른 인트라 예측
CN109600611B (zh) 2018-11-09 2021-07-13 北京达佳互联信息技术有限公司 环路滤波方法、环路滤波装置、电子设备和可读介质
WO2020141879A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 영상 코딩 시스템에서 서브 블록 기반 시간적 머지 후보를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
EP3906677A4 (en) * 2019-01-02 2022-10-19 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
CN113302930A (zh) 2019-01-09 2021-08-24 华为技术有限公司 视频译码中的时间运动约束子图像指示
EP4358036A2 (en) 2019-03-11 2024-04-24 Huawei Technologies Co., Ltd. Interpolation filter clipping for sub-picture motion vectors
BR112021023775A2 (pt) 2019-06-03 2022-01-11 Nokia Technologies Oy Um aparelho, um método e um programa de computador para codificação e decodificação de vídeo
CN114097222A (zh) 2019-06-23 2022-02-25 夏普株式会社 用于在视频编码中执行自适应分辨率变化的系统和方法
CN114009018A (zh) 2019-06-24 2022-02-01 夏普株式会社 用于基于交叉分量相关性来减小视频编码中的重构误差的系统和方法
CN114827600B (zh) 2019-07-08 2023-09-01 华为技术有限公司 一种图像解码的方法及解码器
CN113994670B (zh) 2019-07-25 2023-08-11 寰发股份有限公司 具有虚拟边界的跨分量自适应环路滤波的视频编解码方法及装置
EP4011067A4 (en) 2019-08-06 2023-09-13 OP Solutions, LLC ADAPTIVE RESOLUTION MANAGEMENT SIGNALING
US11363307B2 (en) 2019-08-08 2022-06-14 Hfi Innovation Inc. Video coding with subpictures
CN117336468A (zh) 2019-08-10 2024-01-02 北京字节跳动网络技术有限公司 视频比特流中的子图片相关信令通知
US11202068B2 (en) 2019-09-16 2021-12-14 Mediatek Inc. Method and apparatus of constrained cross-component adaptive loop filtering for video coding
US11451834B2 (en) 2019-09-16 2022-09-20 Tencent America LLC Method and apparatus for cross-component filtering
CN114556952A (zh) 2019-10-02 2022-05-27 北京字节跳动网络技术有限公司 包括子图片的视频比特流中的条带级信令通知
CN114930833A (zh) 2019-10-10 2022-08-19 北京达佳互联信息技术有限公司 使用调色板模式的视频编解码的方法和装置
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들
US11539982B2 (en) 2019-11-01 2022-12-27 Qualcomm Incorporated Merge estimation region for multi-type-tree block structure

Also Published As

Publication number Publication date
WO2021027773A1 (en) 2021-02-18
KR20220044271A (ko) 2022-04-07
JP7372443B2 (ja) 2023-10-31
CN114208165A (zh) 2022-03-18
KR20220042125A (ko) 2022-04-04
BR112022002493A2 (pt) 2022-04-26
MX2022001465A (es) 2022-02-22
JP2022543706A (ja) 2022-10-13
CN114208165B (zh) 2023-12-15
US20230118260A1 (en) 2023-04-20
US20220159246A1 (en) 2022-05-19
CN114208196B (zh) 2023-11-14
US11553177B2 (en) 2023-01-10
US11533513B2 (en) 2022-12-20
CN114208196A (zh) 2022-03-18
EP4307665A2 (en) 2024-01-17
JP7478225B2 (ja) 2024-05-02
US11523108B2 (en) 2022-12-06
CN114208166B (zh) 2024-04-09
CN114270831A (zh) 2022-04-01
EP3997869A4 (en) 2022-10-26
US20220166985A1 (en) 2022-05-26
WO2021027774A1 (en) 2021-02-18
EP3997868A4 (en) 2023-02-22
EP3997868A1 (en) 2022-05-18
US20220166971A1 (en) 2022-05-26
JP2022543705A (ja) 2022-10-13
WO2021027776A1 (en) 2021-02-18
CN117336468A (zh) 2024-01-02
US20220174322A1 (en) 2022-06-02
EP3997869A1 (en) 2022-05-18
WO2021027767A1 (en) 2021-02-18
CN114208166A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
JP7372443B2 (ja) サブピクチャに依存するビデオビットストリーム内のシグナリング
CN114631321B (zh) 子图片与环路滤波之间的相互影响
JP7322290B2 (ja) ビデオビットストリームにおけるサブピクチャシグナリングのための構文
JP7454681B2 (ja) ビデオコーディング及び復号の制約
JP7482220B2 (ja) サブピクチャのパラメータセットシグナリングにおける構文制約
KR20220114555A (ko) 비디오 비트스트림에서 서브픽처 레벨의 파라미터들의 시그널링

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231026