JP2022523350A - マージモードのための予測重み付けを決定する方法、装置及びシステム - Google Patents

マージモードのための予測重み付けを決定する方法、装置及びシステム Download PDF

Info

Publication number
JP2022523350A
JP2022523350A JP2021547847A JP2021547847A JP2022523350A JP 2022523350 A JP2022523350 A JP 2022523350A JP 2021547847 A JP2021547847 A JP 2021547847A JP 2021547847 A JP2021547847 A JP 2021547847A JP 2022523350 A JP2022523350 A JP 2022523350A
Authority
JP
Japan
Prior art keywords
weighting
affine merge
sub
control points
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021547847A
Other languages
English (en)
Other versions
JPWO2020185429A5 (ja
Inventor
チェン，ジエ
リャオ，ルーリン
イエ，ヤン
Original Assignee
アリババ グループ ホウルディング リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アリババ グループ ホウルディング リミテッド filed Critical アリババ グループ ホウルディング リミテッド
Publication of JP2022523350A publication Critical patent/JP2022523350A/ja
Publication of JPWO2020185429A5 publication Critical patent/JPWO2020185429A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本開示は、マージモードのための予測重み付けを決定するためのシステム、装置及び方法を提供する。１つの例示的方法は：継承されたアフィンマージ候補、構築されたアフィンマージ候補、又は符号化単位の零モーションベクトルのうちの、少なくとも１つのための重み付けを決定すること；及び決定された重み付けに基づき前記符号化単位を双方向予測することを含む。現在の符号化単位の重み付けは、ビットストリームで重み付け指標を明示的に信号伝達することを通じて又は復号器側における暗黙的導出を通じて決定され得る。

Description

関連出願への相互参照
[0001] 本出願は、参照のためその開示を本明細書に援用する２０１９年３月１１日出願の米国仮特許出願第６２／８１６，８７９号の優先権及び優先権の便宜を主張する。
技術分野
[0002] 本開示は一般的には映像データ処理に関し、より具体的にはマージモードのための予測重み付けを決定する方法、装置及びシステムに関する。
背景
[0003] 映像符号化はしばしば、例えば消費される格納スペースを低減するために又はこのような信号に関連する送信帯域消費を低減するために、ディジタル映像信号を変換及び圧縮するために使用される。
[0004]
映像符号化システムは、符号化処理に関与する様々な問題を解決するために様々なツール又は技術を実施し得る。例えば、映像符号化処理では、入力映像データは、様々なサイズのブロック単位へ分割され、ブロック毎に処理され得る。予測処理では、ブロックはイントラ予測（intra prediction）モード及びインター予測（inter prediction）モードなどの様々な予測モードを使用して、予測され得る。ブロックのサイズに基づき、様々な予測モードが適用され得る。様々な技術が、映像符号化の効率及び精度を改善するために、そして関与する計算複雑性を低減するために提案されてきた。
[0005] しかし、様々な技術の適用は様々な条件に左右され得る。例えば、いくつかの技術は、符号化単位が様々な条件を満足するということ又は符号化単位が特定モードにおいて符号化されるということを必要とし得る。別の例として、重み付け予測処理では、いくつかの技術は、いくつかのモーションベクトル候補の処理だけへ適用し得るが、他のものへは適用し得ない。すべてのブロック又はすべての副ブロックを処理するための様々な技術の組み合わせは実現可能ではないかもしれない。したがって、それぞれの適用可能性条件を考慮することにより、様々な技術を正しく組み合わせる又は選択することが望ましい。
開示の概要
[0006] 本開示の実施形態は、映像データ処理において予測重み付けを決定する方法、装置及びシステムを提供する。いくつかの例示的実施形態によると、映像データの復号器により行われる方法は：符号化単位の継承されたアフィンマージ（ａｆｆｉｎｅ ｍｅｒｇｅ）候補、構築されたアフィンマージ候補、又は零モーションベクトルのうちの、少なくとも１つのための重み付けを決定すること；及び決定された重み付けに基づき符号化単位を双方向予測することを含む。いくつかの実施形態では、重み付けは、ビットストリームで信号伝達される重み付け指標に基づき決定され得る。
[0007] いくつかの実施形態では、複数の制御点を有する構築されたアフィンマージ候補の重み付けを取得するために復号器により実施される方法が提供される。１つの例示的方法は：構築されたアフィンマージ候補に関連する複数の制御点が１つ又は複数の重み付けを有することに応じて、構築されたアフィンマージ候補の重み付けを、左上制御点又は右上制御点に関連する重み付けに基づき決定することを含む。
[0008] いくつかの実施形態では、複数の制御点を有する構築されたアフィンマージ候補の重み付けを取得するために復号器により実施される方法が提供される。１つの例示的方法は：構築されたアフィンマージ候補に関連する複数の制御点が同じ重み付けを有することに応じて、構築されたアフィンマージ候補の重み付けとして、複数の制御点の重み付けを決定すること；及び複数の制御点が異なる重み付けを有することに応じて、構築されたアフィンマージ候補の重み付けとして、デフォルト値を決定することを含む。
[0009] いくつかの実施形態では、映像データ処理において予測重み付けを決定する方法が提供される。１つの例示的方法は：複数の制御点の重み付けの中から、符号化単位の制御点の重み付けに基づき符号化単位内の第１の副ブロックの重み付けを決定すること；決定された重み付けに基づき第１の副ブロックのモーション予測子を生成すること；モーション予測子に基づき符号化単位を処理することを含む。
[0010] いくつかの実施形態では、映像データ処理における予測重み付けを決定するための装置が提供される。１つの例示的映像処理装置は、命令を格納するメモリと、プロセッサとを含み、前記プロセッサは：継承されたアフィンマージ候補、構築されたアフィンマージ候補、又は符号化単位の零モーションベクトルのうちの、少なくとも１つのための重み付けを決定すること；及び決定された重み付けに基づき符号化単位を双方向予測すること、を前記装置に行わせるように、前記命令を実行するように構成される。
[0011] いくつかの実施形態では、映像データ処理における予測重み付けを決定するための装置が提供される。１つの例示的映像処理装置は：符号化単位の制御点の重み付けに基づき符号化単位内の第１の副ブロックの重み付けを決定すること；決定された重み付けに基づき第１の副ブロックのモーション予測子を生成すること；及びモーション予測子に基づき符号化単位を処理することを含む。
[0012] いくつかの実施形態では、非一時的コンピュータ可読媒体が提供される。１つの例示的非一時的コンピュータ可読媒体は、一組の命令を格納し、命令は、映像処理装置に方法を行わせるように、映像処理装置の１つ又は複数のプロセッサにより実行可能であり、方法は、継承されたアフィンマージ候補、構築されたアフィンマージ候補、又は符号化単位の零モーションベクトルのうちの、少なくとも１つのための重み付けを決定すること；及び決定された重み付けに基づき符号化単位を双方向予測することを含む。
[0013] いくつかの実施形態では、非一時的コンピュータ可読媒体が提供される。１つの例示的非一時的コンピュータ可読媒体は、一組の命令を格納し、命令は、映像処理装置に方法を行わせるように、映像処理装置の１つ又は複数のプロセッサにより実行可能であり、方法は、符号化単位の制御点の重み付けに基づき符号化単位内の第１の副ブロックの重み付けを決定すること；決定された重み付けに基づき第１の副ブロックのモーション予測子を生成すること；及びモーション予測子に基づき符号化単位を処理することを含む。
図面の簡単な説明
[0001] 本開示のいくつかの実施形態と様々な態様は、以下の詳細説明及び添付図面に示される。添付図面に示される様々な特徴は原寸に比例して描かれていない。
[0002]本開示のいくつかの実施形態に整合する例示的映像符号化及び復号化システムを示す概略図である。 [0003]本開示のいくつかの実施形態に整合する図１の例示的システムの一部であり得る例示的映像符号器を示す概略図である。 [0004]本開示のいくつかの実施形態に整合する図１の例示的システムの一部であり得る例示的映像復号器を示す概略図である。 [0005]本開示のいくつかの実施形態による例示的な２制御点アフィン動きモデルの概略図である。 [0006]本開示のいくつかの実施形態による例示的な３制御点アフィン動きモデルの概略図である。 [0007]本開示のいくつかの実施形態による副ブロック当たりの例示的アフィンモーションベクトル場（ＭＶＦ：motion vector field）を示す概略図である。 [0008]本開示のいくつかの実施形態による継承されたアフィン動き予測子の例示的位置を示す概略図である。 [0009]本開示のいくつかの実施形態による制御点モーションベクトル継承の例を示す概略図である。 [0010]本開示のいくつかの実施形態による構築されたアフィンマージモードの例示的候補位置を示す概略図である。 [0011]本開示のいくつかの実施形態による２つの制御点を有する符号化単位の水平方向副ブロック分割を示す概略図である。 [0012]本開示のいくつかの実施形態による２つの制御点を有する符号化単位の垂直方向副ブロック分割を示す概略図である。 [0013]本開示のいくつかの実施形態による２つの制御点を有する符号化単位の４つの副ブロックへの副ブロック分割を示す概略図である。 [0014]本開示のいくつかの実施形態による２つの制御点を有する符号化単位の４つの副ブロックへの副ブロック分割を示す概略図である。 [0015]本開示のいくつかの実施形態による３つの制御点を有する符号化単位の垂直方向副ブロック分割を示す概略図である。 [0016]本開示のいくつかの実施形態による３つの制御点を有する符号化単位の水平方向副ブロック分割を示す概略図である。 [0017]本開示のいくつかの実施形態による３つの制御点を有する符号化単位の水平方向副ブロック分割を示す概略図である。 [0018]本開示のいくつかの実施形態による３つの制御点を有する符号化単位の垂直方向副ブロック分割を示す概略図である。 [0019]本開示のいくつかの実施形態による３つの制御点を有する符号化単位の４つの副ブロックへの副ブロック分割を示す概略図である。 [0020]本開示のいくつかの実施形態による３つの制御点を有する符号化単位の４つの副ブロックへの副ブロック分割を示す概略図である。 [0021]本開示のいくつかの実施形態による３つの制御点を有する符号化単位の４つの副ブロックへの副ブロック分割を示す概略図である。 [0022]本開示のいくつかの実施形態による３つの制御点を有する符号化単位の４つの副ブロックへの副ブロック分割を示す概略図である。 [0023]本開示のいくつかの実施形態による４つの制御点を有する符号化単位の４つの副ブロックへの副ブロック分割を示す概略図である。
詳細な説明
[0024] 添付図面に例が示される例示的実施形態を次に詳細に参照する。以下の説明は、特記しない限り、様々な図面内の同じ数字が同じ又は同様な要素を表す添付図面を参照する。例示的実施形態の以下の説明において記載される実施形態は、本発明に整合するすべての実施形態を表すとは限らない。それよりむしろ、これらは、添付の特許請求の範囲に記載される本発明に関係する態様に整合する装置及び方法の例に過ぎない。
[0025] 図１は、ＨＥＶＣ／Ｈ．２６５及びＶＶＣ／Ｈ．２６６などの様々な映像符号化標準に準拠する技術を利用し得る例示的映像符号化及び復号化システム１００を示すブロック図である。図１に示すように、システム１００は、送信先装置１４０によりしばらくたって復号化される符号化済み映像データを提供する送信元装置１２０を含む。本開示のいくつかの実施形態に整合して、送信元装置１２０及び送信先装置１４０のそれぞれは、デスクトップコンピュータ、ノートブック（例えばラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、モバイルフォン、テレビ、カメラ、ウェアラブル装置（例えばスマートウォッチ又はウェアラブルカメラ）、表示装置、ディジタルメディアプレーヤ、ビデオゲームコンソール、映像ストリーミング装置などの広範囲の装置のうちの任意のものを含み得る。送信元装置１２０及び送信先装置１４０は無線又は有線通信に適するように装備され得る。
[0026] 図１を参照すると、送信元装置１２０は、映像源１２２、映像符号器１２４及び出力インターフェース１２６を含み得る。送信先装置１４０は、入力インターフェース１４２、映像復号器１４４及び表示装置１４６を含み得る。いくつかの実施形態では、送信元装置及び送信先装置はさらに他の部品又は配置を含み得る。例えば、送信元装置１２０は、外部カメラなどの外部映像源（図示せず）から映像データを受信し得る。同様に、送信先装置１４０は、一体化表示装置を含むのではなく、むしろ外部表示装置とインターフェースし得る。
[0027] 以下の説明ではいくつかの技術が映像符号化装置により行われるとして説明されるが、これらの技術はまた、映像符号器／復号器（一般的には「ＣＯＤＥＣ」と呼ばれる）により行われ得る。さらに、本開示の技術はまた、映像プリプロセッサにより行われ得る。送信元装置１２０及び送信先装置１４０は、送信元装置１２０が送信先装置１４０への送信のための符号化済み映像データを生成するこのような符号化装置の例に過ぎない。いくつかの実施形態では、送信元装置１２０及び送信先装置１４０は、送信元装置１２０及び送信先装置１４０のそれぞれが映像符号化部品及び復号化部品を含むように、ほぼ対称的なやり方で動作し得る。したがって、システム１００は、例えば映像ストリーミング、映像再生、映像放送又はビデオ電話のための、送信元装置１２０と送信先装置１４０との間の一方向又は双方向映像送信をサポートし得る。
[0028] 送信元装置１２０の映像源１２２は、映像カメラなどの映像キャプチャ装置、以前に捕捉された映像データを含む映像アーカイブ、又は映像コンテンツプロバイダから映像を受信する映像配信インターフェースを含み得る。別の代替案として、映像源１２２は、ソース映像として又はライブ映像、アーカイブ映像、及びコンピュータ生成映像の組み合わせとして、コンピュータグラフィックベースデータを生成し得る。捕捉された、予め捕捉された、又はコンピュータ生成された映像は、映像符号器１２４により符号化され得る。次に、符号化済み映像情報は出力インターフェース１２６により通信媒体１６０上へ出力され得る。
[0029] 出力インターフェース１２６は、符号化済み映像データを送信元装置１２０から送信先装置１４０へ送信することができる任意のタイプの媒体又は装置を含み得る。例えば、出力インターフェース１２６は、符号化済み映像データを送信元装置１２０から送信先装置１４０へリアルタイムで直接送信するように構成された送信器又は送受信器を含み得る。符号化済み映像データは、無線通信プロトコルなどの通信標準に従って変調され、送信先装置１４０へ送信され得る。
[0030] 通信媒体１６０は、無線同報通信又は有線ネットワーク送信などの一時的媒体を含み得る。例えば、通信媒体１６０は、無線周波数（ＲＦ）スペクトル又は１つ又は複数の物理的伝送路（例えばケーブル）を含み得る。通信媒体１６０は、ローカルエリアネットワーク、広域ネットワーク、又はインターネットなどのグローバネットワークなどのパケットベースネットワークの一部を形成し得る。いくつかの実施形態では、通信媒体１６０は、送信元装置１２０から送信先装置１４０への通信を容易にするために有用であり得るルータ、スイッチ、基地局又は任意の他の機器を含み得る。例えば、ネットワークサーバ（図示せず）が、送信元装置１２０から符号化済み映像データを受信し、かかる符号化済み映像データを送信先装置１４０へ（例えばネットワーク送信を介し）提供し得る。
[0031] 通信媒体１６０はまた、ハードディスク、フラッシュドライブ、コンパクトディスク、ディジタルビデオディスク、ブルーレイディスク、揮発性又は不揮発性メモリ、又は符号化済み映像データを格納するための任意の他の好適なデジタルストレージ媒体などのストレージ媒体（例えば非一時的ストレージ媒体）の形式であり得る。いくつかの実施形態では、ディスクスタンピング施設などの媒体生産施設のコンピュータ装置が、送信元装置１２０から符号化済み映像データを受信し、かかる符号化済み映像データを含むディスクを生成し得る。
[0032] 送信先装置１４０の入力インターフェース１４２が、通信媒体１６０から情報を受信する。受信された情報は、ブロック及び他の符号化単位の特徴及び処理を記述する構文要素を含む構文情報を含み得る。構文情報は、映像符号器１２４により定義され、映像復号器１４４により使用される。表示装置１４６は、復号化済み映像データをユーザへ表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ又は別のタイプの表示装置などの多様な表示装置のうちの任意の１つを含み得る。
[0033] 別の例として、送信元装置１２０により生成される符号化済み映像は、ファイルサーバ又はストレージ装置上に格納され得る。入力インターフェース１４２は、ストリーミング又はダウンロードを介し、ファイルサーバ又はストレージ装置から、格納された映像データにアクセスし得る。ファイルサーバ又はストレージ装置は、符号化済み映像データを格納するとともに、かかる符号化済み映像データを送信先装置１４０へ送信することができる任意のタイプのコンピュータ装置であり得る。ファイルサーバの例は、ウェブサイトを支援するウェブサーバ、ファイル転送プロトコル（ＦＴＰ：file transfer protocol）サーバ、ネットワーク接続ストレージ（ＮＡＳ：network attached storage）装置又はローカルディスクドライブを含む。ストレージ装置からの符号化済み映像データの送信は、ストリーミング送信、ダウンロード送信又はそれらの組み合せであり得る。
[0034] 映像符号器１２４及び映像復号器１４４はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせなどの多様な好適な符号器回路系のうちの任意のものとして実装され得る。これらの技術はソフトウェアの形式で部分的に実装される場合、１つの装置が、ソフトウェアのための命令を好適な非一時的コンピュータ可読媒体内に格納し、そして、本開示の技術を行うために１つ又は複数のプロセッサを使用してハードウェアでこれらの命令を実行し得る。映像符号器１２４及び映像復号器１４４のそれぞれは、１つ又は複数の符号器又は復号器に含まれ得、そのうちのいずれかは、それぞれの装置内の組み合わせられた符号器／復号器（ＣＯＤＥＣ）の一部として一体化され得る。
[0035] 映像符号器１２４及び映像復号器１４４は、汎用映像符号化（ＶＶＣ／Ｈ．２６６）標準、高効率映像符号化（ＨＥＶＣ／Ｈ．２６５）標準、ＩＴＵ－Ｔ Ｈ．２６４（ＭＰＥＧ－４としても知られる）標準などの任意の映像符号化標準に従って動作し得る。図１には示さないが、いくつかの実施形態では、映像符号器１２４及び映像復号器１４４はそれぞれ、オーディオ符号器及び復号器と一体化され得、そして共通データストリーム又は別個のデータストリーム内のオーディオ及び映像の両方の符号化を取り扱うために、適切なＭＵＸ－ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含み得る。
[0036] 図２は、開示された実施形態に整合する例示的映像符号器２００を示す概略図である。例えば、映像符号器２００は、システム１００（図１）内の映像符号器１２４として使用され得る。映像符号器２００は、映像ブロック又は映像ブロックの分割若しくは副分割を含む、映像フレーム内のブロックのイントラ符号化又はインター符号化を行い得る。イントラ符号化は、所与の映像フレーム内の映像内の空間的冗長性を低減又は除去するために空間的予測に依存し得る。インター符号化は、映像系列の隣接フレーム内の映像の時間的冗長性を低減又は除去するために時間的予測に依存し得る。イントラモードは多くの空間ベース圧縮モードを指し得る。インターモード（単方向予測又は双方向予測など）は多くの時間ベース圧縮モードを指し得る。
[0037] 図２を参照すると、入力映像信号２０２はブロック毎に処理され得る。例えば、映像ブロック単位は１６×１６画素ブロック（例えばマクロブロック（ＭＢ：ｍａｃｒｏｂｌｏｃｋ））であり得る。映像ブロック単位のサイズは、使用される符号化技術及び必要精度及び効率に依存して変わり得る。ＨＥＶＣでは、拡張されたブロックサイズ（例えば符号化ツリー単位（ＣＴＵ：coding tree unit））は、例えば１０８０ｐ以上の分解能の映像信号を圧縮するために使用され得る。ＨＥＶＣでは、ＣＴＵは、輝度サンプルに対応する最大６４×６４までの色度サンプルと関連構文要素とを含み得る。ＶＶＣでは、ＣＴＵのサイズはさらに、１２８×１２８輝度サンプル、対応する色度サンプル、及び関連構文要素を含むように増加され得る。ＣＴＵはさらに、例えば四分木、二分木又は三分木を使用して符号化単位（ＣＵ：coding unit）へ分割され得る。ＣＵはさらに、別個の予測方法が適用され得る予測単位（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）へ分割され得る。各入力映像ブロックは、空間的予測ユニット２６０又は時間的予測ユニット２６２を使用することにより処理され得る。
[0038] 空間的予測ユニット２６０は、現在のブロックを含む同じピクチャ／スライスに関する情報を使用して、現在のブロック／ＣＵに対し空間的予測（例えばイントラ予測）を行う。空間的予測は、現在の映像ブロックを予測するために、同じ映像ピクチャフレーム／スライス内の既に符号化された隣接ブロックからの画素を使用し得る。空間的予測は、映像信号に固有な空間的冗長性を低減し得る。
[0039] 時間的予測ユニット２６２は、現在のブロックを含むピクチャ／スライスとは異なるピクチャ／スライスからの情報を使用して、現在のブロックに対して時間的予測（例えばインター予測）を行う。映像ブロックの時間的予測は、１つ又は複数のモーションベクトルにより信号伝達され得る。ユニット方向時間的予測では、１つの基準ピクチャを指示する１つのモーションベクトルだけが、現在のブロックの予測信号を生成するために使用される。他方で、双方向時間的予測では、それぞれがそれぞれの基準ピクチャを指示する２つのモーションベクトルが、現在のブロックの予測信号を生成するために使用され得る。モーションベクトルは、基準座標系内の現在のブロックと１つ又は複数の関連ブロックとの間の動きの量及び方向を指示し得る。複数の基準ピクチャがサポートされている場合、映像ブロックのための１つ又は複数の基準ピクチャ指標が送信され得る。基準ピクチャストレージ又は復号化済みピクチャバッファ（ＤＰＢ：decoded picture buffer）２６４内のどの基準ピクチャから時間的予測信号が生成され得るかを識別するために、１つ又は複数の基準指標が使用され得る。
[0040] 符号器内のモード決定及び符号器制御ユニット２８０が予測モードを選択し得る（例えば速度歪最適化に基づき）。決定された予測モードに基づき、予測ブロックが取得され得る。予測ブロックは、加算器２１６において現在の映像ブロックから減じられ得る。予測残余（prediction residual）は変換ユニット２０４により変換され、量子化ユニット２０６により量子化され得る。量子化された残余係数は、逆量子化ユニット２１０において逆量子化され、そして再構築済み残余を形成するために逆変換ユニット２１２において逆変換され得る。再構築済み残余は、再構築済み映像ブロックを形成するために加算器２２６において予測ブロックへ加えられ得る。ループフィルタリング前の再構築済み映像ブロックは、イントラ予測のための基準サンプルを提供するために使用され得る。
[0041] 再構築済み映像ブロックは、ループフィルタ２６６においてループフィルタリングを通過し得る。例えば、デブロッキング（deblocking）フィルタ、サンプル適応化オフセット（ＳＡＯ：sample adaptive offset）及び適応化ループフィルタ（ＡＬＦ：adaptive loop filter）などのループフィルタリングが適用され得る。ループフィルタリング後の再構築済みブロックは、基準ピクチャストレージ２６４内に格納され得、そして他の映像ブロックを符号化するためのインター予測基準サンプルを提供するために使用され得る。出力映像ビットストリーム２２０を形成するために、符号化モード（例えばインター又はイントラ）、予測モード情報、モーション情報及び量子化された残余係数は、ビットストリーム２２０を形成するためにデータが圧縮されてそしてパックされる前に、ビットレートをさらに低減するためにエントロピー符号化ユニット２０８へ送信され得る。
[0042] 図３は、開示された実施形態に整合する映像復号器３００を示す概略図である。例えば、映像復号器３００は、システム１００（図１）内の映像復号器１４４として使用され得る。図３を参照すると、映像ビットストリーム３０２は、エントロピー復号化ユニット３０８においてアンパック（unpack）又はエントロピー復号化され得る。符号化モード情報は、空間的予測ユニット３６０又は時間的予測ユニット３６２のいずれが選択されるかを決定するために使用され得る。予測モード情報は、予測ブロックを生成するために対応予測ユニットへ送信され得る。例えば、動き補償された予測が、時間的予測ブロックを形成するために時間的予測ユニット３６２により適用され得る。
[0043] 残余係数は、再構築済み残余を取得するために逆量子化ユニット３１０及び逆変換ユニット３１２へ送信され得る。予測ブロック及び再構築済み残余は、ループフィルタリング前に再構築済みブロックを形成するために３２６において加算され得る。次に、再構築済みブロックは、ループフィルタ３６６においてループフィルタリングを通過し得る。例えば、デブロッキングフィルタ、ＳＡＯ及びＡＬＦなどのループフィルタリングが適用され得る。次に、ループフィルタリング後の再構築済みブロックは、基準ピクチャストレージ３６４内に格納され得る。基準ピクチャストレージ３６４内の再構築済みデータは、復号化済み映像３２０を取得するために使用されてもよいし、将来映像ブロックを予測するために使用されてもよい。復号化済み映像３２０は、システム１００（図１）において説明したように表示装置１４６などの表示装置上に表示され得る。
[0044] いくつかの実施形態では、アフィン動き予測が適用され得る。ＨＥＶＣでは、例えば動き補償予測（ＭＣＰ：motion compensation prediction）のための並進運動モデルが適用される。現実世界では、ズームイン／アウト、回転、視野運動及び他の不規則運動などの多くの種類の運動が存在する。ＶＶＣでは、ブロックベースアフィン変換動き補償予測が適用される。図４Ａ、４Ｂに示すように、ブロックのアフィン動きフィールドは、２制御点モーションベクトル（４パラメータアフィン動きモデル：図４Ａ参照）又は３制御点モーションベクトル（６パラメータアフィン動きモデル：図４Ｂ参照）のモーション情報により記述され得る。
[0045] 図４Ａに示すように、ｖ０は左上角制御点（ＣＰ：control point）４０２の制御点モーションベクトルを表し、ｖ１は右上角ＣＰ４０４の制御点モーションベクトルを表す。４パラメータアフィン動きモデルに関して、ブロック内のサンプル位置（ｘ，ｙ）におけるモーションベクトルは次のように導出され得る：
Figure 2022523350000002
ここで、（ｍｖ０ｘ，ｍｖ０ｙ）は左上角ＣＰ４０２のモーションベクトルを指示し、（ｍｖ１ｘ，ｍｖ１ｙ）右上角ＣＰ４０４のモーションベクトルを指示する。
[0046] 図４Ｂに示すように、６パラメータアフィン動きモデルでは、ｖ０は左上角制御点（ＣＰ）４０６の制御点モーションベクトルを表し、ｖ１は右上角ＣＰ４０８の制御点モーションベクトルを表し、ｖ２は左下角ＣＰ４１０の制御点モーションベクトルを表す。６パラメータアフィン動きモデルに関して、ブロック内のサンプル位置（ｘ，ｙ）におけるモーションベクトルは次のように導出され得る：
Figure 2022523350000003
ここで、（ｍｖ０ｘ，ｍｖ０ｙ）は左上角ＣＰ４０６のモーションベクトルを指示し、（ｍｖ１ｘ，ｍｖ１ｙ）は右上角ＣＰ４０８のモーションベクトルを指示し、（ｍｖ２ｘ，ｍｖ２ｙ）は左下角ＣＰ４１０のモーションベクトルを指示する。
[0047] いくつかの実施形態では、動き補償予測処理を単純化するために、ブロックベースアフィン変換予測が適用され得る。各４×４輝度副ブロックのモーションベクトルを導出するために、図５に示すように各副ブロックの中心サンプルのモーションベクトルが、上記数式（１）及び（２）に従って計算され、そして１／１６分数精度へ丸められ得る。図５内の矢印は各副ブロックに対応するモーションベクトルを示す。次に、動き補償補間フィルタが、導出されたモーションベクトルにより各副ブロックの予測を生成するために適用され得る。色度成分の副ブロックサイズも４×４となるように設定され得る。４×４色度副ブロックのモーションベクトルは、４つの対応する４×４輝度副ブロックのモーションベクトルの平均として計算され得る。
[0048] 並進運動インター予測について行われるように、２つのアフィン動きインター予測モード：アフィンマージモード及びアフィン高度モーションベクトル予測（ＡＭＶＰ：Advanced Motion Vector Prediction）モードも存在する。アフィンマージモードは、８以上の幅及び高さの両方を有するＣＵに関して適用され得る。ＡＭＶＰモードでは、現在のＣＵの制御点モーションベクトル（ＣＰＭＶ）は空間的に隣接するＣＵの動き情報に基づき生成され得る。最大５つのＣＰＭＶ候補が存在し得る。指標は現在のＣＵのために使用される１つの候補を示すために信号伝達され得る。以下の３つのタイプのＣＰＭＶ候補がアフィンマージ候補リストを形成するために使用される：（１）近隣ＣＵのＣＰＭＶから外挿される継承されたアフィンマージ候補；（２）近隣ＣＵの並進モーションベクトル（ＭＶ）を使用して導出される構築済みアフィンマージ候補ＣＰＭＶ；（３）零ＭＶ。３つのタイプの候補は以下でさらに説明される。
[0049] ＶＶＣでは、最大２つの継承されたアフィンマージ候補が存在し得る。２つの継承されたアフィンマージ候補は、近隣ブロックのアフィン動きモデルから導出される（１つは左側近隣ＣＵからそして１つは上側近隣ＣＵから）。候補ブロックＡ０、Ａ１、Ｂ０、Ｂ１及びＢ２が図６に示される。左側モーションベクトル予測子に関して、近隣ブロックは次の順序でチェックされ得る：Ａ０→Ａ１。上側モーションベクトル予測子に関して、近隣ブロックは次の順序でチェックされ得る：Ｂ０→Ｂ１→Ｂ２。各側（左側及び上側）からの第１の継承された候補が選択され得る。すなわち、各側で、チェック順にアフィンモードにおいて符号化された第１の近隣ブロックが選択される。さらに、プルーニングチェック（pruning check）は、２つの継承された候補間では行われないかもしれない。
[0050] 近隣アフィンＣＵが識別されると、その制御点モーションベクトルが、現在のＣＵのアフィンマージリスト内のＣＰＭＶ候補を導出するために使用され得る。図７に示すように、近隣左下ブロックＡがアフィンモードで符号化される場合、ブロックＡを含むＣＵ７０４の左上角、右上角及び左下角のモーションベクトルｖ２、ｖ３及びｖ４が取得され得る。ブロックＡが４パラメータアフィンモデルにより符号化される場合、現在のＣＵ７０２の２つのＣＰＭＶはｖ２及びｖ３に従って計算され得る。代替的に、ブロックＡが６パラメータアフィンモデルにより符号化される場合、現在のＣＵ７０２の３つのＣＰＭＶはｖ２、ｖ３及びｖ４に従って計算され得る。
[0051] 構築されたアフィン候補は、同候補が各制御点の近隣モーション情報を組み合わせることにより構築されるということを意味する。図８に示すように、４つの制御点８０２、８０４、８０６及び８０８のモーション情報は、規定された空間的近隣及び時間的近隣から導出され得る。ＣＰＭＶｋ（ｋ＝１，２，３，４）は、Ｋ番目制御点ＣＰｋのモーションベクトルを表すために使用され得る。ＣＰ８０１に対応するＣＰＭＶ１に関して、近隣ブロックＢ２、Ｂ３及びＡ２は以下の順序に従ってチェックされ得る：Ｂ２→Ｂ３→Ａ２。最初の利用可能ブロックのＭＶが使用され得る。ＣＰ８０４に対応するＣＰＭＶ２に関して、近隣ブロックＢ１、Ｂ０は以下の順序でチェックされ得る：Ｂ１→Ｂ０。ＣＰ８０６に対応するＣＰＭＶ３に関して、近隣ブロックＡ１及びＡ０は以下の順序でチェックされ得る：Ａ１→Ａ０。ＣＰ８０８に対応するＣＰＭＶ４に関して、時間的モーションベクトル予測子（ＴＭＶＰ：temporal motion vector predictor）は利用可能であればＣＰＭＶ４として使用され得る。
[0052] ４つの制御点８０２～８０８のＭＶが取得された後、アフィンマージ候補がモーション情報に基づき構築され得る。制御点ＭＶの組み合わせは次の順序で候補を構築するために使用され得る：｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３｝，｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ４｝，｛ＣＰＭＶ１，ＣＰＭＶ３，ＣＰＭＶ４｝，｛ＣＰＭＶ２，ＣＰＭＶ３，ＣＰＭＶ４｝，｛ＣＰＭＶ１，ＣＰＭＶ２｝，｛ＣＰＭＶ１，ＣＰＭＶ３｝
[0053] ３つのＣＰＭＶの組み合わせは６パラメータアフィンマージ候補を構築し得、２つのＣＰＭＶの組み合わせは４パラメータアフィンマージ候補を構築し得る。いくつかの実施形態では、モーションスケーリング処理を避けるために、制御点の基準指標が異なる場合、制御点ＭＶの対応組み合わせは廃棄され得る。
[0054] 継承されたアフィンマージ候補及び構築されたアフィンマージ候補がチェックされた後、アフィンマージ候補リストが未だ一杯でなければ、零ＭＶがリストの終わりへ挿入され得る。
[0055] アフィンＡＭＶＰモードは、１６以上の幅及び高さの両方を有するＣＵについて適用され得る。ＣＵレベルにおけるアフィンフラグが、アフィンＡＭＶＰモードが使用されるかどうかを示すためにビットストリームで信号伝達され得る。アフィンＡＭＶＰモードが使用される場合、別のフラグが、４パラメータアフィン又は６パラメータアフィンが使用されるかを示すために信号伝達され得る。現在のＣＵのＣＰＭＶとそれらの予測子（ＣＰＭＶＰ）との差がビットストリームで信号伝達され得る。アフィンＡＭＶＰ候補リストサイズは２である。候補リストは、以下の４つのタイプのＣＰＭＶＰ候補を次の順序で使用することにより生成され得る：（１）近隣ＣＵのＣＰＭＶから外挿される継承されたアフィンＡＭＶＰ候補；（２）近隣ＣＵの並進運動ＭＶを使用して導出される構築されたアフィンＡＭＶＰ候補ＣＰＭＶＰ；（３）近隣ＣＵからの並進運動ＭＶ；及び（４）零ＭＶ。
[0056] 継承されたアフィンＡＭＶＰ候補のチェック順は、上述のように、継承されたアフィンマージ候補のチェック順と同じであり得る。唯一の差は、ＡＭＶＰ候補について、現在のブロックと同じ基準ピクチャを有するアフィンＣＵだけが考慮されるということである。いかなるプルーニング処理も、継承されたアフィン動き予測子を候補リストへ挿入する際に適用されない。
[0057] 構築されたＡＭＶＰ候補は、図８に示すように、規定された空間的近隣から導出され得る。アフィンマージ候補の構築において使用されるのと同じチェック順が使用され得る。加えて、近隣ブロックの基準ピクチャ指標もチェックされる。チェック順の最初の、インター符号化され現在のＣＵと同じ基準ピクチャを有するブロックが使用される。現在のＣＵが４パラメータアフィンモードにより符号化され、そしてｍｖ０、ｍｖ１が両方とも利用可能である場合、ｍｖ０、ｍｖ１は、アフィンＡＭＶＰリスト内の１つの候補として追加され得る。現在のＣＵが６パラメータアフィンモードにより符号化され、そして３つのすべてのＣＰＭＶが利用可能である場合、３つのすべてのＣＰＭＶはアフィンＡＭＶＰリスト内の１つの候補として追加される。そうでなければ、構築されたＡＭＶＰ候補は利用不能に設定され得る。
[0058] 継承されたアフィンＡＭＶＰ候補及び構築されたＡＭＶＰ候補がチェックされた後、アフィンＡＭＶＰリスト候補は依然として２未満であり得る。この場合、ｍｖ０、ｍｖ１及びｍｖ２は、利用可能であれば現在のＣＵのすべての制御点ＭＶを予測するために、並進運動ＭＶとして順番に追加され得る。最後に、アフィンＡＭＶＰ候補リストが依然として一杯でない場合、零ＭＶがリストを埋めるために使用され得る。
[0059] いくつかの実施形態では、重み付け平均化による双方向予測（ＢＷＡ：bi-prediction with weighted averaging）が適用され得る。伝統的に、双方向予測信号は、２つの異なる基準ピクチャから取得された２つの予測信号を平均化すること及び／又は２つの異なるモーションベクトルを使用することだけにより、生成される。ＶＶＣでは、双方向予測モードは、以下の式に示すように２つの予測信号の重み付け平均化を許容するために、単純平均化を越えて拡張される：
Ｐｂｉ－ｐｒｅｄ＝（（８－ｗ）＊Ｐ０＋ｗ＊Ｐ１＋４）≫３ （３）
[0060] ５つの重み付けが、重み付け平均化双方向予測において許容される、ｗ∈｛－２，３，４，５，１０｝である。各双方向予測ＣＵについて、重み付けｗは以下の２つのやり方のうちの１つで決定され得る：１）非マージＣＵについて、重み付け指標はモーションベクトル差の後に信号伝達され得る；２）マージＣＵについて、重み付け指標はマージ候補指標に基づき近隣ブロックから推定され得る。２５６個以上の輝度サンプルによる重み付け平均化双方向予測がＣＵへ適用され得、これは、ＣＵ高さ×ＣＵ幅が２５６以上であるということを意味する。低遅延ピクチャについて、５つのすべての重み付けが使用され得る。非低遅延ピクチャについて、３つの重み付け（ｗ∈｛３，４，５｝）だけが使用される。
[0061] 符号器側では、高速検索アルゴリズムが、符号器複雑性を著しく増加することなく重み付け指標を発見するために適用され得る。これらのアルゴリズムの適用は以下のことに基づき要約され得る。適応モーションベクトル分解能（ＡＭＶＲ：adaptive motion vector resolution）と組み合わせられるとき、現在のピクチャが低遅延ピクチャであれば、等しくない重み付けだけが１画素及び４画素モーションベクトル精度に関して条件付きでチェックされる。アフィン動き補償と組み合わせられるとき、アフィン動き推定（ＭＥ：motion estimation）は、アフィンモードが現在の最良のモードとして選択されれば、そしてこのときに限り、等しくない重み付けに関して行われ得る。双方向予測における２つの基準ピクチャが同じである場合、等しくない重み付けだけが条件付きチェックされる。
[0062] いくつかの実施形態では、等しくない重み付けはいくつかの条件が満足される場合は検索されない。現在のピクチャとその基準ピクチャとの間のピクチャ順序カウント（ＰＯＣ：picture order count）距離、符号化量子化パラメータ（ＱＰ：quantization parameter）、及び時間的レベルなどの様々な要因が考慮され得る。
[0063] 上に指摘したように、ＢＷＡがマージ予測と組み合わせられる場合、重み付け指標は、マージ候補指標に基づき近隣ブロックから推定され得る。しかし、これは、アフィンマージ予測の場合には常に当てはまるとは限らないかもしれない。上に指摘したように、アフィンマージ予測に関して、アフィンマージ候補リスト内には以下の３つのタイプのＣＰＭＶ候補が存在し得る：１）近隣ＣＵのＣＰＭＶから外挿される継承されたアフィンマージ候補；２）近隣ＣＵの並進運動ＭＶを使用して導出される構築済みアフィンマージ候補ＣＰＭＶ；そして３）零ＭＶ。第１のタイプの候補（継承されたアフィンマージ候補）が選択された場合、近隣ＣＵのＢＷＡ重み付け指標も継承される。したがって、双方向予測おいて使用される現在のＣＵの重み付け指標は、ＣＰＭＶが継承される近隣ＣＵの重み付け指標と同じである。しかし、第２のタイプの候補（構築されたアフィンマージ候補）又は第３のタイプの候補（零モーションベクトル）が選択される場合、近隣ＣＵのＢＷＡ重み付け指標は継承されない。その代りに、いくつかの技術では、等しい重み付けは、現在のＣＵ重み付け指標をデフォルト値として設定することにより、現在のＣＵについて使用され得る。
[0064] 上述の設計は少なくとも以下の欠点を有する。上記設計に基づき、同じ候補リスト内の２つのタイプのＣＰＭＶ候補である、継承されたアフィンマージ候補と構築されたアフィンマージ候補との間に、ＢＷＡ重み付け指標継承の不一致があり得る。したがって、符号器及び復号器は、現在のＣＵのＢＷＡ重み付けを生成するために、これらの２つのタイプの候補を区別し、そして異なる論理を使用する必要がある。構築されたアフィンマージ候補が固定される一方で、継承されたアフィンマージ候補は近隣ＣＵから継承される。したがって、処理複雑性を増加する。
[0065] さらに、現在のＣＵの重み付けは、構築されたアフィンマージ候補が選択されれる場合に固定され得、したがって重み付け選択の柔軟性を失う。ＢＷＡは、インター予測における重み付けを平均化することのより多くの選択肢を提示することにより、符号化性能を増加するので、ＶＣ標準へ適応化される。しかし、固定された等しい重み付けを使用することは、ＢＷＡの恩恵を低減し、したがって符号化性能を損ない得る。
[0066] さらに、零ＭＶは、候補リストが、継承されたアフィンマージ候補及び構築されたアフィンマージ候補を挿入した後に一杯でない場合に、アフィンマージ候補リストへ挿入される。しかし、候補リストへ挿入されるすべての零ＭＶのＢＷＡ重み付けを固定することは、同じＭＶ候補がリスト内で重複されるということを意味し、これは候補信号伝達（ｃａｎｄｉｄａｔｅ ｓｉｇｎａｌｉｎｇ）の冗長性を導入する。加えて、上記のように、構築されたアフィンマージ候補に関して、近隣ＣＵ重み付けは使用されない。これは、ＢＷＡがマージモードと組み合わせられる場合に、重み付け指標はマージ候補指標に基づき近隣ブロックから推定されるという設計思想から逸脱する。
[0067] 上述の問題を解決するために、以下の技術が本開示において提供される。
[0068] 上記問題に対処するための１つの技術は、明示的重み付け信号伝達による。明示的信号伝達により、現在のＣＵの重み付けは符号器により選択され得、選択される重み付けの指標がビットストリームで明示的に信号伝達され得る。これは、重み付け指標がマージ候補指標に基づき近隣ブロックから推定されるという概念を変える。アフィンマージ予測に関して、現在のＣＵの重み付けは近隣ＣＵからもはや推定されない。符号器は、許容される候補重み付けから任意の値を選択し、そして選択された値をビットストリームで信号伝達する可能性がある。
[0069] 本開示のいくつかの実施形態では、継承されたアフィンマージ候補、構築されたアフィンマージ候補、及び零モーションベクトルを含むすべての種類のアフィンマージ候補の重み付けはすべて、符号器により選択され、そしてビットストリームで信号伝達され得る。いくつかの実施形態では、いくつかであるがすべてではないアフィンマージ候補の重み付けが符号器により選択され、そしてビットストリームで信号伝達される。例えば、構築されたアフィンマージ候補だけに関し、重み付けは選択されてそして信号伝達され得；そして他の候補（例えば継承されたアフィンマージ候補）に関して、重み付けは近隣ＣＵから推定される又はデフォルト値へ固定される。
[0070] 本開示のいくつかの実施形態では、重み付けは、重み付け指標をビットストリームで送信することにより信号伝達され得る。
[0071] 既存問題に対処するための別の技術は暗黙的重み付け導出による。この技術により、重み付けは、構築されたアフィンマージ候補が使用されるＣＵに関して固定されない。その代りに、重み付けは近隣ＣＵから推定され得る。各構築されたアフィンマージ候補に関して、重み付け又は重み付け指標は、この構築されたアフィンマージ候補のＣＰに従って導出され得る。この構築されたアフィンマージ候補がＣＵのために使用される場合、導出される重み付け又は重み付け指標もまたＣＵのために使用され得る。
[0072] 例えば、ＣＰｋ（ｋ＝１，２，３，４）は、Ｋ番目ＣＰを表すために使用され得る。各ＣＰに関して、近隣ＣＵは、対応ＣＰＭＶを導出するために使用され得る。近隣ＣＵはまた、ＣＰの重み付け又は重み付け指標を導出するために使用される。一般的に言えば、４つの制御点が存在する。したがって、構築されたアフィンマージ候補は、せいぜい４つの異なる重み付け又は重み付け指標を有する可能性がある。したがって、構築されたアフィンマージ候補の１つの重み付け又は重み付け指標を、せいぜい４つの重み付け又は重み付け指標から導出するための規則が規定され得る。例えば、構築されたアフィンマージ候補の左上ＣＰ及び／又は右上ＣＰを含む複数のＣＰは、１つ又は複数の重み付けを有する。構築されたアフィンマージ候補の重み付けは、左上ＣＰに関連する重み付け及び／又は右上ＣＰに関連する重み付けに基づき決定され得る。同様に、いくつかの実施形態では、構築されたアフィンマージ候補の左下ＣＰ及び／又は右下ＣＰは、１つ又は複数の重み付けを有する。構築されたアフィンマージ候補の重み付けは、左下ＣＰに関連する重み付け及び／又は右下ＣＰに関連する重み付けに基づき決定され得る。導出処理の例が以下にさらに説明される。本開示のいくつかの実施形態では、ＣＰのすべてが同じ重み付け又は重み付け指標を有する場合、この重み付け又は重み付け指標は、構築されたアフィンマージ候補のために使用され得る。ＣＰのすべてが同じ重み付け又は重み付け指標を有しない場合、等しい重み付けに対応するデフォルト値が使用され得る。
[0073] 例えば、２つのＣＰ（ＣＰａ，ＣＰｂ）を有する構築されたアフィンマージ候補に関して、
ｉｆ（ＣＰａ重み付け＝＝ＣＰｂ重み付け）
アフィンマージ候補重み付け＝ＣＰａ重み付け
そうでなければ
アフィンマージ候補重み付け＝デフォルト値
[0074] さらに、３つのＣＰ（ＣＰａ，ＣＰｂ，ＣＰｃ）を有する構築されたアフィンマージ候補に関して、
ｉｆ（ＣＰａ重み付け＝＝ＣＰｂ重み付け＆＆ＣＰｂ重み付け＝＝ＣＰｃ重み付け）
アフィンマージ候補重み付け＝ＣＰａ重み付け
そうでなければ
アフィンマージ候補重み付け＝デフォルト値
[0075] 同様に、上記規則はまた、４個以上のＣＰを有する構築されたアフィンマージ候補に適用され得、上記操作はまた重み付け指標に適用され得る。
[0076] 本開示のいくつかの実施形態では、構築されたアフィンマージ候補の重み付け又は重み付け指標は、最尤重み付け又は重み付け指標であり得る。最尤重み付け又は重み付け指標は、構築されたアフィンマージ候補のほとんどのＣＰにより使用される重み付け又は重み付け指標に対応し得る。例えば、２つのＣＰ（ＣＰａ，ＣＰｂ）を有する構築されたアフィンマージ候補に関して、重み付けは以下に基づき決定され得る：
ｉｆ（ＣＰａ重み付け＝＝ＣＰｂ重み付け）
アフィンマージ候補重み付け＝ＣＰａ重み付け
そうでなければ
アフィンマージ候補重み付け＝デフォルト値
[0077] ３つのＣＰ（ＣＰａ，ＣＰｂ，ＣＰｃ）を有する構築されたアフィンマージ候補に関して、重み付けは以下に基づき決定され得る：
ｉｆ（ＣＰａ重み付け＝＝ＣＰｂ重み付け）
アフィンマージ候補重み付け＝ＣＰａ重み付け
そうでなければ、ｉｆ（ＣＰｂ重み付け＝＝ＣＰｃ重み付け）
アフィンマージ候補重み付け＝ＣＰｂ重み付け
そうでなければ、ｉｆ（ＣＰａ重み付け＝＝ＣＰｃ重み付け）
アフィンマージ候補重み付け＝ＣＰｃ重み付け
[0078] 上記規則はまた、４個以上のＣＰを有する構築されたアフィンマージ候補に及び重み付け指標の決定に適用され得る。
[0079] 本開示のいくつかの実施形態では、構築されたアフィンマージ候補のＣＰのすべての重み付けの中から、等しい重み付けからの最小差を有する重み付けが、構築されたアフィンマージ候補の重み付け又は重み付け指標として使用され得る。例えば、２つのＣＰ（ＣＰａ，ＣＰｂ）を有する構築されたアフィンマージ候補に関して、重み付けは以下に基づき決定され得る：
Ｄｉｆｆａ＝｜ＣＰａ重み付け－等しい重み付け｜
Ｄｉｆｆｂ＝｜ＣＰｂ重み付け－等しい重み付け｜
ｉｆ（Ｄｉｆｆａ≦Ｄｉｆｆｂ）
アフィンマージ候補重み付け＝ＣＰａ重み付け
そうでなければ
アフィンマージ候補重み付け＝ＣＰｂ重み付け
[0080] ３つのＣＰ（ＣＰａ，ＣＰｂ，ＣＰｃ）を有する構築されたアフィンマージ候補に関して、重み付けは以下に基づき決定され得る：
Ｄｉｆｆａ＝｜ＣＰａ重み付け－等しい重み付け｜
Ｄｉｆｆｂ＝｜ＣＰｂ重み付け－等しい重み付け｜
Ｄｉｆｆｃ＝｜ＣＰｃ重み付け－等しい重み付け｜
ｉｆ（Ｄｉｆｆａ≦Ｄｉｆｆｂ＆＆Ｄｉｆｆａ≦Ｄｉｆｆｃ）
アフィンマージ候補重み付け＝ＣＰａ重み付け
そうでなければ、ｉｆ（Ｄｉｆｆｂ≦Ｄｉｆｆａ＆＆Ｄｉｆｆｂ≦Ｄｉｆｆｃ）
アフィンマージ候補重み付け＝ＣＰｂ重み付け
そうでなければ
アフィンマージ候補重み付け＝ＣＰｃ重み付け
[0081] 代替的に、２つのＣＰ（ＣＰａ，ＣＰｂ）を有する構築されたアフィンマージ候補に関して、重み付けは以下に基づき決定され得る：
ｉｆ（ＣＰａ重み付け≧等しい重み付け＆＆ＣＰｂ重み付け≧等しい重み付け）
アフィンマージ候補重み付け＝ｍｉｎ（ＣＰａ重み付け，ＣＰｂ重み付け）
そうでなければ、ｉｆ（ＣＰａ重み付け≦等しい重み付け＆＆ＣＰｂ重み付け≦等しい重み付け）
アフィンマージ候補重み付け＝ｍａｘ（ＣＰａ重み付け，ＣＰｂ重み付け）
[0082] そして３つのＣＰ（ＣＰａ，ＣＰｂ，ＣＰｃ）を有する構築されたアフィンマージ候補に関して、重み付けは以下に基づき決定され得る：
ｉｆ（ＣＰａ重み付け≧等しい重み付け＆＆ＣＰｂ重み付け≧等しい重み付け＆＆ＣＰｃ重み付け≧等しい重み付け）
アフィンマージ候補重み付け＝ｍｉｎ（ＣＰａ重み付け，ＣＰｂ重み付け，ＣＰｃ重み付け）
そうでなければ、ｉｆ（ＣＰａ重み付け≦等しい重み付け＆＆ＣＰｂ重み付け≦等しい重み付け＆＆ＣＰｃ重み付け≦等しい重み付け）
アフィンマージ候補重み付け＝ｍａｘ（ＣＰａ重み付け，ＣＰｂ重み付け，ＣＰｃ重み付け）
そうでなければ
アフィンマージ候補重み付け＝等しい重み付け、又は等しい重み付けの同じ側の２つの重み付けのうちのより近い重み付け
[0083] 同様に、上記規則はまた、４個以上のＣＰを有する構築されたアフィンマージ候補に及び重み付け指標の決定に適用され得る。
[0084] いくつかの実施形態では、ＣＰ重み付け又は重み付け指標の平均は、構築されたアフィンマージ候補の重み付けとして使用され得る。例えば、２つのＣＰ（ＣＰａ，ＣＰｂ）を有する構築されたアフィンマージ候補に関して、重み付けは以下に基づき決定され得る：
重み付け＝（ＣＰａ重み付け＋ＣＰｂ重み付け）／２の整数部
ｒｅｓ＝（ＣＰａ重み付け＋ＣＰｂ重み付け）％２
ｉｆ（ｒｅｓ＝＝０）
アフィンマージ候補重み付け＝重み付け
そうでなければ
アフィンマージ候補重み付け＝（ＣＰａ重み付け＋ＣＰｂ重み付け）／２の等しい重み付け方向への丸め込み
[0085] さらに、３つのＣＰ（ＣＰａ，ＣＰｂ，ＣＰｃ）を有する構築されたアフィンマージ候補に関して、重み付けは以下に基づき決定され得る：
重み付け＝（ＣＰａ重み付け＋ＣＰｂ重み付け＋ＣＰｃ重み付け）／３の整数部
ｒｅｓ＝（ＣＰａ重み付け＋ＣＰｂ重み付け＋ＣＰｃ重み付け）％３
ｉｆ（ｒｅｓ＝＝０）
アフィンマージ候補重み付け＝重み付け
そうでなければ
アフィンマージ候補重み付け＝（ＣＰａ重み付け＋ＣＰｂ重み付け＋ＣＰｃ重み付け）／３の等しい重み付け方向への丸め込み
[0086] 同様に、上記規則はまた、４個以上のＣＰを有する構築されたアフィンマージ候補に及び重み付け指標の決定に適用され得る。
[0087] 本開示のいくつかの実施形態によると、零ＭＶ候補に関してＢＷＡ重み付けを使用する方法も提供される。上に指摘したように、継承されたアフィンマージ候補及び構築されたアフィンマージ候補がアフィンマージ候補リストへ挿入された後（候補リストが一杯でなければ）、候補リストは、一杯になるまで零ＭＶにより埋められることになる。本開示のいくつかの実施形態に整合して、候補リストは、満たされた零ＭＶ候補が異なる予測子を提供し得るように、異なるＢＷＡ重み付けを有する零ＭＶで満たされ得る。
[0088] 例えば、候補リスト内で満たされる零ＭＶの重み付けの順番は｛４，４｝／８，｛５，３｝／８，｛３，５｝／８，｛－２，１０｝／８，｛１０，－２｝／８であり得る。継承されたアフィンマージ候補及び構築されたアフィンマージ候補が導出された後、候補リストが一杯でない場合、等しい重み付け｛４，４｝／８を有する零ＭＶが最初に挿入され得る。リストが依然として一杯でない場合、｛５，３｝／８の重み付けを有する零ＭＶが挿入され得る。その後、リストが依然として一杯でない場合、｛３，５｝／８、｛－２，１０｝／８及び｛１０，－２｝／８の重み付けを有する零ＭＶが、リストが一杯になるまで挿入され得る。すべての重み付けを有する零ＭＶが挿入された後、候補リストが依然として一杯でない場合、異なる基準指標を有する零ＭＶが挿入され得る。
[0089] ＶＶＣでは、いくつかの構築されたアフィンマージ候補が存在し得る。候補の制御点セット／組み合わせの順番は以下のとおりである：｛ＣＰ１，ＣＰ２，ＣＰ３｝，｛ＣＰ１，ＣＰ２，ＣＰ４｝，｛ＣＰ１，ＣＰ３，ＣＰ４｝，｛ＣＰ２，ＣＰ３，ＣＰ４｝，｛ＣＰ１，ＣＰ２｝，｛ＣＰ１，ＣＰ３｝。符号器及び復号器は、最初の組み合わせから最後の組み合わせまでチェックし得る。利用可能であれば、組み合わせは候補リストへ入れられ得る。組み合わせが利用可能でなければ、次の組み合わせがチェックし得る。候補リスト内で選択される候補の指標は、可変長符号を有するビットストリームで示され得る。より小さな指標はより短い長さの符号により符号化され得る。したがって、リスト内の候補の順番は符号化効率に影響を与え得る。構築されたアフィンマージ候補の固定された順番は映像系列毎に最適化されないかもしれない。
[0090] 上述の問題に対処するために、マージ候補の順番の適応化が実施され得る。例えば、組み合わせ内のＣＰの重み付けがチェックされる。チェック結果に従って、各組み合わせの順番が決定され得る。
[0091] 本開示のいくつかの実施形態では、すべてのＣＰが同じ重み付け又は重み付け指標を有する組み合わせは最高優先度が割り当てられ、そしてリスト内の最初に置かれる。ＣＰが最も多様な重み付け又は重み付け指標を有する組み合わせは低優先度を有し、そしてリスト内の後ろに置かれる。本開示のいくつかの実施形態では、ＣＰはＣＰ重み付けに従って様々なクラスへ分類され得る。すべてのＣＰが同じクラスに入る組み合わせは、最高優先度を割り当てられ得、そしてリスト内の最初に置かれ得る。ＣＰが最も多様なクラス内に在る組み合わせは低優先度を割り当てられ得、そしてリスト内の後ろに置かれる。
[0092] 上記に基づき、組み合わせ内のＣＰの重み付けが一貫していればいるほど、組み合わせはより高い優先度を有する。例えば、組み合わせ｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３｝及び｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ４｝に関して、ＣＰ１、ＣＰ２及びＣＰ３が同じ重み付け又は重み付け指標を有する場合又は同じクラスに属する場合、そしてＣＰ４が異なる重み付け又は重み付け指標を有する場合又は異なるクラスに属する場合、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３｝はより高い優先度を割り当てられ得る。すなわち、リスト内で、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３｝は｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ４｝の前に来る。代替的に、ＣＰ１，ＣＰ２及びＣＰ３の重み付け又は重み付け指標又は対応クラスはすべて異なるが、ＣＰ４の重み付け又は重み付け指標又は対応クラスがＣＰ１と同じある場合、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ４｝は、それほど多様ではなく、そしてより高い優先度を割り当てられ得る。すなわち、リスト内で、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ４｝は｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３｝の前に来る。２つの組み合わせが、重み付け又は重み付け指標又はクラスの観点で同じレベルの多様性を有する場合、デフォルト順番がこれらの２つの組み合わせに割り当てられ得る。
[0093] ＶＶＣでは、構築されたアフィン候補は、各制御点の近隣モーション情報を組み合わせることにより構築される候補を指す。以下の組み合わせの制御点は、アフィンマージ候補を順に構築するために使用される：｛ＣＰ１，ＣＰ２，ＣＰ３｝、｛ＣＰ１，ＣＰ２，ＣＰ４｝、｛ＣＰ１，ＣＰ３，ＣＰ４｝、｛ＣＰ２，ＣＰ３，ＣＰ４｝、｛ＣＰ１，ＣＰ２｝、｛ＣＰ１，ＣＰ３｝。符号器及び復号器は、各組み合わせの可用性をチェックし得る。利用可能である場合、構築されたアフィンマージ候補は候補リストへ入れられ得る。組み合わせが利用可能でない場合、次の組み合わせの可用性がチェックされ得る。既存技術では、可用性条件は近隣ＣＵがインター符号化されるか否かに焦点を当てる。ＢＷＡ重み付けは考慮されない。
[0094] 本開示のいくつかの実施形態に整合して、新しい可用性条件が適用され得る。組み合わせ内の各ＣＰの重み付け又は重み付け指標がチェックされ得る。組み合わせの可用性は、チェック結果に従って決定され得る。
[0095] いくつかの実施形態では、組み合わせ内の２つのＣＰの重み付けが異なる符号を有する場合、組み合わせは利用不能組み合わせとして設定され得る。例えば、組み合わせ｛ＣＰ１，ＣＰ２，ＣＰ３）において、ＣＰ１の重み付けが（－２，１０）でありそしてＣＰ２の重み付けが（１０，－２）である場合、この組み合わせは利用不能に設定され得る。別の例として、組み合わせ｛ＣＰ１，ＣＰ２，ＣＰ３）において、ＣＰ１の重み付けが（－２，１０）でありそしてＣＰ２の重み付けが（４，４）である場合、この組み合わせは利用不能に設定され得る。
[0096] ＶＶＣでは、ＢＷＡ重み付けはＣＵ又はＰＵレベルで適用される。これは、１つのＣＵ又はＰＵ内の各画素が予測処理において同じ重み付けを有するということを意味する。しかし、アフィン動き予測では、副ブロックベース動き補償が適用され得る。現在のＣＵ内の各副ブロックのモーションベクトルは、現在のＣＵの制御点のモーションベクトルにより導出され得る。次に、動き補償補間フィルタが、導出されたモーションベクトルを有する各副ブロックの予測子を生成するために適用される。モーションベクトルとＢＷＡ重み付けとを整合させるために、副ブロックレベル重み付けが本開示のいくつかの実施形態に従って導出され得る。
[0097] いくつかの実施形態では、現在のＣＵ又はＰＵ内の各副ブロックの重み付けは、現在のＣＵ又はＰＵの制御点の重み付けにより導出され得る。したがって、各副ブロックは異なる重み付けを有し得る。
[0098] いくつかの実施形態では、各画素の重み付けｗｘ，ｙは、ＣＰの重み付けｗｃｐ０、ｗｃｐ１及びｗｃｐ２から補間され得、ここで、（ｘ，ｙ）は各画素の座標を示す。本明細書において限定されない様々な補間フィルタが使用さ得る。補間処理を単純化するために、重み付けは副ブロックレベルで導出され得る。例えば、（ｘ，ｙ）は各副ブロックの中心座標であり得る。さらに、副ブロックサイズはアフィン動き予測おいて使用されるものと同じであり得る。
[0099] 本開示のいくつかの実施形態では、ＣＵ又はＰＵは、例えば２つ又は４つの副ブロックへ分割され得る。副ブロック毎に、副ブロックに含まれる制御点の重み付けが副ブロックのために使用され得る。現在の構築されたアフィンマージ候補の制御点組み合わせ内に制御点を有しない副ブロックに関して、予め規定された規則が重み付け値を導出するために使用され得る。例えば、図９Ａに示すように、２ＣＰ組み合わせ｛ＣＰ１，ＣＰ３｝に関して、ＣＵ又はＰＵ９１０は、２つの副ブロック９１１、９１２へ水平方向に分割され得る。ＣＰ１、Ｗ１の重み付けは、上部副ブロック９１１のために使用され得る。ＣＰ３、Ｗ３の重み付けは、下部副ブロック９１２のために使用され得る。別の例として、図９Ｂに示すように、２ＣＰ組み合わせ｛ＣＰ１，ＣＰ２｝に関して、ＣＵ又はＰＵ９２０は、２つの副ブロック９２１、９２２内へ垂直方向に分割され得る。ＣＰ１の重み付けは、左側副ブロック９２１のために使用され得る。ＣＰ２の重み付けは、右側副ブロック９２２のために使用され得る。
[00100] 代替的に、２ＣＰ組み合わせ｛ＣＰ１，ＣＰ３｝に関して、図９Ｃに示すように、ＣＵ又はＰＵ９３０は、４つの副ブロック９３１、９３２、９３３、９３４へ分割され得る。ＣＰ１の重み付けは、左上副ブロック９３１のために使用され得る。ＣＰ３の重み付けは、左下副ブロック９３２のために使用され得る。右上副ブロック９３３の重み付けは、ＣＰ１の重み付けから導出されてもよいし、デフォルト値として設定されてもよい。右下副ブロック９３４の重み付けは、ＣＰ３の重み付けから導出されてもよいし、デフォルト値として設定されてもよい。同様に、２つのＣＰ組み合わせ｛ＣＰ１，ＣＰ２｝に関して、図９Ｄに示すように、ＣＵ又はＰＵ９４０は、４つの副ブロック９４１、９４２、９４３、９４４へ分割され得る。ＣＰ１の重み付けは、左上副ブロック９４１のために使用され得る。ＣＰ２の重み付けは、右上副ブロック９４２のために使用され得る。左下副ブロック９４３の重み付けは、ＣＰ１の重み付けから導出されてもよいし、デフォルト値として設定されてもよい。右下副ブロック９４４の重み付けは、ＣＰ２の重み付けから導出されてもよいし、デフォルト値として設定されてもよい。
[00101] ３つのＣＰに関する例示的分割が以下にさらに提供される。図１０Ａに示すように、３ＣＰ組み合わせ｛ＣＰ１，ＣＰ２，ＣＰ４｝に関して、ＣＵ又はＰＵ１０１０は、２つの副ブロック１０１１、１０１２へ垂直方向に分割され得る。ＣＰ１の重み付けは、左側副ブロック１０１１のために使用され得る。ＣＰ２の重み付けは、右側副ブロック１０１２のために使用され得る。３ＣＰ組み合わせ｛ＣＰ１，ＣＰ３，ＣＰ４｝に関して、図１０Ｂに示すように、ＣＵ又はＰＵ１０２０は、２つの副ブロック１０２１、１０２２へ水平方向に分割され得る。ＣＰ１の重み付けは、上側副ブロック１０２１のために使用され得る。ＣＰ３の重み付けは、下部副ブロック１０２２のために使用され得る。３ＣＰ組み合わせ合わせ｛ＣＰ２，ＣＰ３（ＣＰ４｝）に関して、図１０Ｃに示すように、ＣＵ又はＰＵ１０３０は、副ブロック１０３１、１０３２へ水平方向に分割され得る。ＣＰ２の重み付けは、上部副ブロック１０３１のために使用され得る。ＣＰ３の重み付けは、下部副ブロック１０３２のために使用され得る。代替的に、図１０Ｄに示すように、ＣＵ又はＰＵ１０４０は、副ブロック１０４１、１０４２へ垂直方向に分けられ得る。ＣＰ２の重み付けは、右側副ブロック１０４２のために使用され得る。ＣＰ３の重み付けは、左側副ブロック１０４１のために使用され得る。
[00102] ＣＵ又はＰＵは、さらに４つの副ブロックに分けられ得る。図１０Ｅに示すように、３ＣＰ組み合わせ合わせ｛ＣＰ１，ＣＰ２，ＣＰ３｝に関して、ＣＵ又はＰＵ１０５０は、４つの副ブロック１０５１、１０５２、１０５３、１０５４へ分割され得る。ＣＰ１の重み付けは、左上副ブロック１０５１のために使用され得る。ＣＰ２の重み付けは、右上副ブロック１０５２のために使用され得る。ＣＰ３の重み付けは、左下副ブロック１０５３のために使用され得る。右下副ブロック１０５４の重み付けは、以下のうちの１つとして設定され得る：ＣＰ１、ＣＰ２及びＣＰ３の３つの重み付けの平均値；ＣＰ２の重み付け及びＣＰ３の重み付けの平均値；ＣＰ１、ＣＰ２及びＣＰ３の３つの重み付けの中央値；等しい重み付けからの最小差を有するＣＰ１、ＣＰ２及びＣＰ３の３つの重み付けの１つ；等しい重み付けからより小さい差を有するＣＰ２の重み付け及びＣＰ３の重み付けの１つ；等しい重み付け；又は別のデフォルト値。
[00103] 図１０Ｆに示すように、３ＣＰ組み合わせ合わせ｛ＣＰ１，ＣＰ２，ＣＰ４｝に関して、ＣＵ又はＰＵ１０６０は４、つの副ブロック１０６１、１０６２、１０６３、１０６４へ分割され得る。ＣＰ１の重み付けは、左上副ブロック１０６１のために使用され得る。ＣＰ２の重み付けは、右上副ブロック１０６２のために使用され得る。ＣＰ４の重み付けは、右下副ブロック１０６４のために使用され得る。左下副ブロック１０６３の重み付けは、以下のうちの１つとして設定され得る：３つのすべての重み付けの平均値；ＣＰ１の重み付け及びＣＰ４の重み付けの平均値；３つの重み付けの中央値；等しい重み付けからの最小差を有するＣＰ１、ＣＰ２，ＣＰ４の３つの重み付けの１つ；等しい重み付けからより小さい差を有するＣＰ１の重み付け及びＣＰ４の重み付けの１つ；等しい重み付け；又は別のデフォルト値。
[00104] 図１０Ｇに示すように、３ＣＰ組み合わせ合わせ｛ＣＰ１，ＣＰ３，ＣＰ４｝に関して、ＣＵ又はＰＵ１０８０は、４つの副ブロック１０７１、１０７２、１０７３、１０７４へ分割され得る。ＣＰ１の重み付けは、左上副ブロック１０７１のために使用され得、ＣＰ３の重み付けは、左下副ブロック１０７３のために使用され得、ＣＰ４の重み付けは、右下副ブロック１０７４のために使用され得る。右上副ブロック１０７２の重み付けは、以下の内の１つとして設定され得る：３つのすべての重み付けの平均値；ＣＰ１の重み付け及びＣＰ４の重み付けの平均値；３つの重み付けの中央値；等しい重み付けからの最小差を有するＣＰ１、ＣＰ３，ＣＰ４の３つの重み付けの１つ；等しい重み付けからより小さい差を有するＣＰ１の重み付け及びＣＰ４の重み付けの１つ；等しい重み付け；又は別のデフォルト値。
[00105] 図１０Ｈに示すように、３ＣＰ組み合わせ合わせ｛ＣＰ２，ＣＰ３，ＣＰ４｝に関して、ＣＵ又はＰＵ１０８０は、４つの副ブロック１０８１、１０８２、１０８３、１０８４へ分割され得る。ＣＰ２の重み付けは、右上副ブロック１０８２のために使用され得る。ＣＰ３の重み付けは、左下副ブロック１０８３のために使用され得る。ＣＰ４の重み付けは、右下副ブロック１０８４のために使用され得る。左上副ブロック１０８１の重み付けは、以下のうちの１つとして設定され得る：３つのすべての重み付けの平均値；ＣＰ２の重み付け及びＣＰ３の重み付けの平均値；制御点の３つの重み付けの中央値；等しい重み付けからの最小差を有するＣＰ２、ＣＰ３，ＣＰ４の３つの重み付けの１つ；等しい重み付けからより小さい差を有するＣＰ２の重み付け及びＣＰ３の重み付けの１つ；等しい重み付け；又は別のデフォルト値。
[00106] ４つのＣＰに関する例示的分割が以下にさらに提供される。図１１に示すように、組み合わせ｛ＣＰ１，ＣＰ２，ＣＰ３，ＣＰ４｝に関して、ＣＵ又はＰＵ１１００は、４つの副ブロック１１０１、１１０２、１１０３、１１０４へ分割され得る。ＣＰ１の重み付けは、左上副ブロック１１０１のために使用され得る。ＣＰ２の重み付けは、右上副ブロック１１０２のために使用され得る。ＣＰ３の重み付けは、左下副ブロック１１０３のために使用され得る。ＣＰ４の重み付けは、右下副ブロック１１０４のために使用され得る。
[00107] いくつかの実施形態では、上述の方法を行うための装置（開示された符号器及び復号器など）により実行され得る命令を含む非一時的コンピュータ可読ストレージ媒体も提供される。非一時的媒体の一般的形態は、例えばフロッピーディスク、フレキシブルディスク、ハードディスク、固体ドライブ、磁気テープ、又は任意の他の磁気データストレージ媒体、ＣＤ－ＲＯＭ、任意の他の光データ記憶媒体、孔のパターンを有する任意の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ又は任意の他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、任意の他のメモリチップ又はカートリッジ、及びこれらのネットワークバージョンを含む。本装置は１つ又は複数のプロセッサ（ＣＰＵ）、入力／出力インターフェース、ネットワークインターフェース、及び／又はメモリを含み得る。
[00108] 本明細書における「第１」、「第２」などの関係語はエンティティ又は操作と別のエンティティ又は操作とを識別するためだけに使用され、これらのエンティティ又は操作間のいかなる実際の関係又はシーケンスも必要としない又は意味しないということに注意すべきである。さらに、用語「含む」、「有する」及び他の同様な形式は、意味の点で等価となるように意図されるとともに、これらの用語の任意の１つに続くアイテム又はアイテム群がこのようなアイテム又はアイテム群の総記であることを意味しない又は列記されたアイテム又はアイテム群だけに限定されることを意味しないという点で開放的であるように意図されている。
[00109] 本明細書で使用されるように、特記しない限り、用語「又は」は実現不能である場合を除いて全ての可能な組み合わせを包含する。例えば、データベースがＡ又はＢを含み得るということが言明されれば、特記しない限り又は実現不能でない限り、データベースはＡ、又はＢ、又はＡ及びＢを含み得る。第２の例として、データベースがＡ、Ｂ又はＣを含み得るということが言明されれば、特記しない限り又は実現不能でない限り、データベースはＡ、又はＢ、又はＣ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ及びＢ及びＣを含み得る。
[00110] 上記実施形態がハードウェア、ソフトウェア（プログラムコード）、又はハードウェアとソフトウェアの組み合わせにより実施され得るというが理解される。ソフトウェアにより実施されれば、それは上記コンピュータ可読媒体内に格納され得る。ソフトウェアはプロセッサにより実行されると開示方法を行い得る。本開示において説明したコンピュータユニット及び他の機能ユニットは、ハードウェア、又はソフトウェア、又はハードウェア及びソフトウェアの組み合わせにより実現され得る。当業者は、上記モジュール／ユニットのうちの複数のものは１つのモジュール／ユニットとして組み合わせられ得、そして上記モジュール／ユニットのそれぞれはさらに複数の副モジュール／副ユニットに分割され得るということも理解することになる。
[00111] 本開示のいくつかの実施形態は以下の項目を使用してさらに説明され得る：
１．映像データを処理する方法であって、
継承されたアフィンマージ候補、構築されたアフィンマージ候補、又は符号化単位の零モーションベクトルのうちの少なくとも１つのための重み付けを決定すること；及び
決定された重み付けに基づき符号化単位を双方向予測することを含む方法。
２．重み付けはビットストリームで信号伝達される重み付け指標に基づき決定される、項目１に記載の方法。
３．決定された重み付けは構築されたアフィンマージ候補の重み付けを含む項目１に記載の方法であって、
構築されたアフィンマージ候補に関連する複数の制御点が、１つ又は複数の重み付けを有することに応じて、構築されたアフィンマージ候補の重み付けを、左上制御点又は右上制御点に関連する重み付けに基づき決定することをさらに含む方法。
４．決定された重み付けは構築されたアフィンマージ候補の重み付けを含む項目１又は３に記載の方法であって、
構築されたアフィンマージ候補に関連する複数の制御点が、同じ重み付けを有することに応じて、構築されたアフィンマージ候補の重み付けとして複数の制御点の重み付けを決定すること；又は
複数の制御点が、異なる重み付けを有することに応じて、構築されたアフィンマージ候補の重み付けとしてデフォルト値を決定することをさらに含む方法。
５．決定された重み付けは構築されたアフィンマージ候補の重み付けを含む項目１又は３に記載の方法であって、
構築されたアフィンマージ候補に対応する複数の制御点の重み付けの中から複数の制御点のほとんどにより使用される重み付けを決定すること；及び
決定された重み付けを、構築されたアフィンマージ候補の重み付けとして設定することをさらに含む方法。
６．決定された重み付けは構築されたアフィンマージ候補の重み付けを含む項目１又は３に記載の方法であって、
等しい重み付けと複数の制御点の重み付けとの差をそれぞれ決定すること；
複数の制御点の中から、等しい重み付けからの最小差を有する重み付けを有する第１の制御点を決定すること；及び
構築されたアフィンマージ候補の重み付けとして、第１の制御点の重み付けを設定することをさらに含む方法。
７．決定された重み付けは構築されたアフィンマージ候補の重み付けを含む項目１又は３に記載の方法であって、
構築されたアフィンマージ候補に対応する複数の制御点の平均重み付けを決定すること；及び
構築されたアフィンマージ候補の重み付けとして平均重み付けを設定することをさらに含む方法。
８．決定された重み付けに基づき符号化単位を双方向予測することは、アフィンマージモードを使用して映像データを処理することを含む項目１乃至７のいずれかの一項目に記載の方法であって、
アフィンマージ候補リストを構築する場合に、等しくない重み付けを有する零モーションベクトルを挿入する前に、等しい重み付けを有する零モーションベクトルをアフィンマージ候補リストへ挿入することをさらに含む方法。
９．決定された重み付けに基づき符号化単位を双方向予測することは、アフィンマージモードを使用して映像データを処理することを含む項目１乃至７のいずれかの一項目に記載の方法であって、本方法はさらに、
アフィンマージ候補リストを構築する場合に、複数の構築されたアフィンマージ候補のそれぞれに対応する制御点の重み付けに基づき複数の構築されたアフィンマージ候補の順番を決定することを含み、
より多様でない重み付けを有する制御点を有する構築されたアフィンマージ候補は、より多様な重み付けを有する制御点を有する構築されたアフィンマージ候補より高い優先度を割り当てられる、方法。
１０．複数の構築されたアフィンマージ候補の順番を決定することは：２つの構築されたマージ候補のそれぞれに対応する制御点の重み付けが、同じレベルの多様性を有することに応じて、２つの構築されたマージ候補のデフォルト順番を使用することを含む、項目９に記載の方法。
１１．項目９又は１０に記載の方法であって、
第１の構築されたアフィンマージ候補に対応する制御点の重み付けに基づき、第１の構築されたアフィンマージ候補の可用性を決定すること；及び
第１の構築されたアフィンマージ候補が利用可能であるという決定に応じて、第１の構築されたアフィンマージ候補をアフィンマージ候補リストへ加えることをさらに含む方法。
１２．第１の構築されたアフィンマージ候補の可用性を決定することは、
第１の構築されたアフィンマージ候補に対応する２つの制御点の重み付けが、異なる符号を有するかどうかを決定すること；及び
第１の構築されたアフィンマージ候補に対応する２つの制御点の重み付けが、異なる符号を有するという決定に応じて、第１の構築されたアフィンマージ候補が利用可能ではないということを決定することを含む、項目１１に記載の方法。
１３．映像データを処理する方法であって、本方法は、
符号化単位の制御点の重み付けに基づき符号化単位内の第１の副ブロックの重み付けを決定すること；及び
決定された重み付けに基づき第１の副ブロックを双方向予測することを含む、方法。
１４．符号化単位内の第１の副ブロックの重み付けを決定することは：
第１の副ブロックが制御点の１つを含むことに応じて、第１の副ブロックの重み付けとして制御点のうちの１つの制御点の重み付けを使用すること、又は
第１の副ブロックが制御点を含まないことに応じて、予め規定された規則に従って第１の副ブロックの重み付けを決定することを含む、項目１３に記載の方法。
１５．符号化単位は、４つの副ブロックへ分割され、２つの制御点を有する、項目１３に記載の方法であって；符号化単位内の第１の副ブロックの重み付けを決定することは：
第１の副ブロックが２つの制御点の１つを含むことに応じて、第１の副ブロックの重み付けとして２つの制御点のうちの１つ制御点の重み付けを使用すること、又は
第１の副ブロックが２つの制御点を含まないことに応じて、第１の副ブロックの重み付けを、
第１の副ブロックへのより短い距離を有する２つの制御点のうちの１つの制御点の重み付け、又は
デフォルト値のうちの１つに設定することを含む、項目１３に記載の方法。
１６．符号化単位は、２つの副ブロックへ分割され、３つの制御点を有する項目１３に記載の方法であって；符号化単位内の第１の副ブロックの重み付けを決定することは：
第１の副ブロックが３つの制御点のうちの１つのみを含むことに応じて、第１の副ブロックの重み付けとして、制御点のうちの１つの制御点の重み付けを使用すること、又は
第１の副ブロックが３つの制御点のうちの少なくとも２つを含むことに応じて、第１の副ブロックの重み付けとして、デフォルト値又は２つの制御点のうちの１つの制御点の重み付けを使用することを含む、方法。
１７．符号化単位は、４つの副ブロックへ分割され、第１、第２、及び第３の重み付けそれぞれを有する３つの制御点を有し；符号化単位内の第１の副ブロックの重み付けを決定することは：
第１の副ブロックが３つの制御点のうちの少なくとも１つを含むことに応じて、第１の副ブロックの重み付けとして、制御点のうちの１つの制御点の重み付けを使用すること、又は
副ブロックが３つの制御点を含まないことに応じて、第１の副ブロックの重み付けを：
第１、第２、及び第３の重み付けの平均値、
第１、第２、及び第３の重み付けの中央値、
符号化単位の等しい重み付け、
等しい重み付けからの最小差を有する第１、第２、及び第３の重み付けの１つ、
等しい重み付けからより小さい差を有する第１及び第２の重み付けの１つ、又は
デフォルト値の１つに設定することを含む、項目１３に記載の方法。
１８．映像処理装置であって：本装置は、
命令を格納するメモリ；及び
本装置に：
継承されたアフィンマージ候補、構築されたアフィンマージ候補、又は符号化単位の零モーションベクトルのうちの少なくとも１つのための重み付けを決定すること；及び
決定された重み付けに基づき符号化単位を双方向予測することをさせる命令を実行するように構成されたプロセッサを含む映像処理装置。
１９．重み付けはビットストリームで信号伝達される重み付け指標に基づき決定される、項目１８に記載の装置。
２０．決定された重み付けは、構築されたアフィンマージ候補の重み付けを含む項目１８に記載の装置であって、プロセッサはさらに、装置に：
構築されたアフィンマージ候補に関連する複数の制御点が１つ又は複数の重み付けを有する場合、構築されたアフィンマージ候補の重み付けを、左上制御点に関連する重み付け又は右上制御点に関連する重み付けに基づき決定することをさせる命令を実行するように構成される、装置。
２１．決定された重み付けは、構築されたアフィンマージ候補の重み付けを含む項目１８又は２０に記載の装置であって、プロセッサはさらに、装置に：
構築されたアフィンマージ候補に関連する複数の制御点が同じ重み付けを有する場合、構築されたアフィンマージ候補の重み付けとして複数の制御点の重み付けを決定すること；又は
複数の制御点が異なる重み付けを有する場合、構築されたアフィンマージ候補の重み付けとしてデフォルト値を決定することをさせる命令を実行するように構成される、装置。
２２．決定された重み付けは、構築されたアフィンマージ候補の重み付けを含む項目１８又は２０に記載の装置であって、プロセッサはさらに、装置に：
構築されたアフィンマージ候補に対応する複数の制御点の重み付けの中から、複数の制御点のほとんどにより使用される重み付けを決定すること；及び
決定された重み付けを、構築されたアフィンマージ候補の重み付けとして設定することをさせる命令を実行するように構成される、装置。
２３．決定された重み付けは、構築されたアフィンマージ候補の重み付けを含む項目１８又は２０に記載の装置であって、プロセッサはさらに、装置に：
等しい重み付けと複数の制御点の重み付けとの差をそれぞれ決定すること；
複数の制御点の中から、等しい重み付けからの最小差を有する重み付けを有する第１の制御点を決定すること；及び
構築されたアフィンマージ候補の重み付けとして、第１の制御点の重み付けを設定することをさせる命令を実行するように構成される、装置。
２４．決定された重み付けは、構築されたアフィンマージ候補の重み付けを含む項目１８又は２０に記載の装置であって、プロセッサはさらに、装置に：
構築されたアフィンマージ候補に対応する複数の制御点の平均重み付けを決定すること；及び
構築されたアフィンマージ候補の重み付けとして平均重み付けを設定することをさせる命令を実行するように構成される、装置。
２５．決定された重み付けに基づき符号化単位を双方向予測することは、アフィンマージモードを使用して映像データを処理することを含む、項目１８乃至２４のいずれか一項目に記載の装置であって、プロセッサはさらに、装置に：
アフィンマージ候補リストを構築する場合に、等しくない重み付けを有する零モーションベクトルを挿入する前に、等しい重み付けを有する零モーションベクトルをアフィンマージ候補リストへ挿入することをさせる命令を実行するように構成される、装置。
２６．決定された重み付けに基づき符号化単位を双方向予測することは、アフィンマージモードを使用して映像データを処理することを含む項目１８乃至２４のいずれか一項目に記載の装置であって、プロセッサはさらに、装置に：
アフィンマージ候補リストを構築する場合に、複数の構築されたアフィンマージ候補のそれぞれに対応する制御点の重み付けに基づき複数の構築されたアフィンマージ候補の順番を決定することをさせる命令を実行するように構成され、
より多様でない重み付けを有する制御点を有する構築されたアフィンマージ候補は、より多様な重み付けを有する制御点を有する構築されたアフィンマージ候補より高い優先度を割り当てられる、装置。
２７．項目２６に記載の装置であって、複数の構築されたアフィンマージ候補の順番を決定する場合に、プロセッサはさらに、装置に：
２つの構築されたマージ候補のそれぞれに対応する制御点の重み付けが同じレベルの多様性を有することに応じて、２つの構築されたマージ候補のデフォルト順番を使用することをさせる命令を実行するように構成される、装置。
２８．項目２６又は２７の装置であって、プロセッサはさらに、装置に：
第１の構築されたアフィンマージ候補に対応する制御点の重み付けに基づき、第１の構築されたアフィンマージ候補の可用性を決定すること；及び
第１の構築されたアフィンマージ候補が利用可能である場合、第１の構築されたアフィンマージ候補をアフィンマージ候補リストへ加えることをさせる命令を実行するように構成される、装置。
２９．項目２８に記載の装置であって、第１の構築されたアフィンマージ候補の可用性を決定する場合に、プロセッサはさらに、装置に：
第１の構築されたアフィンマージ候補に対応する２つの制御点の重み付けが、異なる符号を有するかどうかを決定すること；及び
第１の構築されたアフィンマージ候補に対応する２つの制御点の重み付けが異なる符号を有する場合、第１の構築されたアフィンマージ候補が利用可能ではないということを決定することをさせる命令を実行するように構成される、項目２８に記載の装置。
３０．映像処理装置であって：本装置は、
命令を格納するメモリ；及び
本装置に：
符号化単位の制御点の重み付けに基づき符号化単位内の第１の副ブロックの重み付けを決定すること；
決定された重み付けに基づき第１の副ブロックを双方向予測することをさせる命令を実行するように構成されたプロセッサを含む装置。
３１．項目３０に記載の装置であって、符号化単位内の第１の副ブロックの重み付けを決定する場合に、プロセッサはさらに、装置に：
第１の副ブロックが制御点の１つを含む場合、第１の副ブロックの重み付けとして制御点のうちの１つの制御点の重み付けを使用すること、又は
第１の副ブロックが制御点を含まない場合、予め規定された規則に従って第１の副ブロックの重み付けを決定することをさせる命令を実行するように構成される、装置。
３２．符号化単位は、４つの副ブロックへ分割され、そして２つの制御点を有する、項目３０に記載の装置であって；
符号化単位内の第１の副ブロックの重み付けを決定する場合に、プロセッサはさらに、装置に：
第１の副ブロックが２つの制御点の１つを含むことに応じて、第１の副ブロックの重み付けとして２つの制御点のうちの１つ制御点の重み付けを使用すること、又は
第１の副ブロックが２つの制御点を含まないことに応じて、第１の副ブロックの重み付けを、第１の副ブロックへのより短い距離を有する２つの制御点のうちの１つの制御点の重み付け、又はデフォルト値のうちの１つに設定することをさせる命令を実行するように構成される、装置。
３３．符号化単位は、２つの副ブロックへ分割され、３つの制御点を有する、項目３０に記載の装置であって；
符号化単位内の第１の副ブロックの重み付けを決定する際に、プロセッサはさらに、装置に：
３つの制御点のうちの１つだけを含む第１の副ブロックに応じて、第１の副ブロックの重み付けとして２つの制御点のうちの１つ制御点の重み付けを使用すること、又は
３つの制御点のうちの少なくとも２つを含む第１の副ブロックに応じて、第１の副ブロックの重み付けとしてデフォルト値又は２つの制御点のうちの１つの制御点の重み付けを使用することをさせる命令を実行するように構成される、装置。
３４．符号化単位は、４つの副ブロックへ分割され、そして第１、第２、及び第３の重み付けそれぞれを有する３つの制御点を有する、項目３０に記載の装置であって；
符号化単位内の第１の副ブロックの重み付けを決定する際に、プロセッサはさらに、装置に：
３つの制御点のうちの少なくとも１つだけを含む第１の副ブロックに応じて、第１の副ブロックの重み付けとして３つの制御点のうちの１つ制御点の重み付けを使用すること、又は
３つの制御点を含まない副ブロックに応じて、第１の副ブロックの重み付けを：
第１、第２、及び第３の重み付けの平均値、
第１、第２、及び第３の重み付けの中央値、
符号化単位の等しい重み付け、
等しい重み付けからの最小差を有する第１、第２、及び第３の重み付けの１つ、
等しい重み付けからより小さい差を有する第１及び第２の重み付けの１つ、又は
デフォルト値のうちの１つに設定することをさせる命令を実行するように構成される、装置。
３５．方法を映像処理装置に行わせるために、映像処理装置の１つ又は複数のプロセッサにより実行可能である一組の命令を格納する非一時的コンピュータ可読媒体であって、本方法は
継承されたアフィンマージ候補、構築されたアフィンマージ候補、又は符号化単位の零モーションベクトルのうちの少なくとも１つのための重み付けを決定すること；及び
決定された重み付けに基づき符号化単位を双方向予測することを含む、非一時的コンピュータ可読媒体。
３６．重み付けはビットストリームで信号伝達される重み付け指標に基づき決定される、項目３５に記載の非一時的コンピュータ可読媒体。
３７．決定された重み付けは、構築されたアフィンマージ候補の重み付けを含む、項目３５に記載の非一時的コンピュータ可読媒体であって、
一組の命令は、装置にさらに：
構築されたアフィンマージ候補に関連する複数の制御点が１つ又は複数の重み付けを有する場合、構築されたアフィンマージ候補の重み付けを、左上制御点に関連する重み付け又は右上制御点に関連する重み付けに基づき決定することを行わせるために、装置の１つ又は複数のプロセッサにより実行可能である、非一時的コンピュータ可読媒体。
３８．項目３５又は３７に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに：
構築されたアフィンマージ候補に関連する複数の制御点が同じ重み付けを有する場合、構築されたアフィンマージ候補の重み付けとして複数の制御点の重み付けを決定すること；及び
複数の制御点が異なる重み付けを有する場合、構築されたアフィンマージ候補の重み付けとしてデフォルト値を決定することをさせるために装置の１つ又は複数のプロセッサにより実行可能である、非一時的コンピュータ可読媒体。
３９．項目３５又は３７に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに：
構築されたアフィンマージ候補に対応する複数の制御点の重み付けの中から複数の制御点のほとんどにより使用される重み付けを決定すること；及び
決定された重み付けを、構築されたアフィンマージ候補の重み付けとして設定することをさせるために装置の１つ又は複数のプロセッサにより実行可能である、非一時的コンピュータ可読媒体。
４０．項目３５又は３７に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに：
等しい重み付けと複数の制御点の重み付けとの差をそれぞれ決定すること；
複数の制御点の中から、等しい重み付けからの最小差を有する重み付けを有する第１の制御点を決定すること；及び
構築されたアフィンマージ候補の重み付けとして、第１の制御点の重み付けを設定することをさせるために装置の１つ又は複数のプロセッサにより実行可能である、非一時的コンピュータ可読媒体。
４１．項目３５又は３７に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに：
構築されたアフィンマージ候補に対応する複数の制御点の平均重み付けを決定すること；及び
構築されたアフィンマージ候補の重み付けとして平均重み付けを設定することをさせるために装置の１つ又は複数のプロセッサにより実行可能である、非一時的コンピュータ可読媒体。
４２．項目３５乃至４１のいずれか一項目に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに：
アフィンマージ候補リストを構築する場合に、等しくない重み付けを有する零モーションベクトルを挿入する前に、等しい重み付けを有する零モーションベクトルをアフィンマージ候補リストへ挿入することをさせるために装置の１つ又は複数のプロセッサにより実行可能である、非一時的コンピュータ可読媒体。
４３．項目３５乃至４１のいずれか一項目に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに：
アフィンマージ候補リストを構築する場合に、複数の構築されたアフィンマージ候補のそれぞれに対応する制御点の重み付けに基づき複数の構築されたアフィンマージ候補の順番を決定することをさせるために装置の１つ又は複数のプロセッサにより実行可能であり、
より多様でない重み付けを有する制御点を有する構築されたアフィンマージ候補は、より多様な重み付けを有する制御点を有する構築されたアフィンマージ候補より高い優先度を割り当てられる、非一時的コンピュータ可読媒体。
４４．項目４３に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに：
それぞれの２つの構築されたマージ候補に対応する制御点の重み付けが同じレベルの多様性を有する場合、２つの構築されたマージ候補のデフォルト順番を使用することをさせるために装置の１つ又は複数のプロセッサにより実行可能である、非一時的コンピュータ可読媒体。
４５．項目４３又は４４に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに：
第１の構築されたアフィンマージ候補に対応する制御点の重み付けに基づき、第１の構築されたアフィンマージ候補の可用性を決定すること；及び
第１の構築されたアフィンマージ候補が利用可能である場合、第１の構築されたアフィンマージ候補をアフィンマージ候補リストへ加えることをさせるために装置の１つ又は複数のプロセッサにより実行可能である、非一時的コンピュータ可読媒体。
４６．項目４５に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに：
第１の構築されたアフィンマージ候補に対応する２つの制御点の重み付けが、異なる符号を有するかどうかを決定すること；及び
第１の構築されたアフィンマージ候補に対応する２つの制御点の重み付けが異なる符号を有する場場合、第１の構築されたアフィンマージ候補が利用可能ではないということを決定することをさせるために装置の１つ又は複数のプロセッサにより実行可能である、非一時的コンピュータ可読媒体。
４７．方法を映像処理装置に行わせるために、映像処理装置の１つ又は複数のプロセッサにより実行可能である一組の命令を格納する非一時的コンピュータ可読媒体であって、本方法は、
符号化単位の制御点の重み付けに基づき符号化単位内の第１の副ブロックの重み付けを決定すること；及び
決定された重み付けに基づき第１の副ブロックを双方向予測することを含む、非一時的コンピュータ可読媒体。
４８．項目４７に記載の非一時的コンピュータ可読媒体であって、符号化単位内の第１の副ブロックの重み付けを決定することは：
第１の副ブロックが制御点の１つを含む場合、第１の副ブロックの重み付けとして制御点のうちの１つの制御点の重み付けを使用すること、又は
第１の副ブロックが制御点を含まない場合、予め規定された規則に従って第１の副ブロックの重み付けを決定することを含む、非一時的コンピュータ可読媒体。
４９．項目４７に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに：２つの制御点を有する符号化単位を４つの副ブロックへ分割することをさせるために装置の１つ又は複数のプロセッサにより実行可能であり；
符号化単位内の第１の副ブロックの重み付けを決定することは：
副ブロックが２つの制御点の１つを含む場合、第１の副ブロックの重み付けとして２つの制御点のうちの１つ制御点の重み付けを使用すること、又は
第１の副ブロックが２つの制御点を含まない場合、第１の副ブロックの重み付けを、第１の副ブロックへのより短い距離を有する２つの制御点のうちの１つの制御点の重み付け、又はデフォルト値のうちの１つに設定することを含む、非一時的コンピュータ可読媒体。
５０．項目４７に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに、３つの制御点を有する２つの副ブロックへ符号化単位を分割することをさせるために装置の１つ又は複数のプロセッサにより実行可能であり；
符号化単位内の第１の副ブロックの重み付けを決定することは：
第１の副ブロックが３つの制御点のただ１つを含む場合、第１の副ブロックの重み付けとして制御点のうちの１つの制御点の重み付けを使用すること、又は
第１の副ブロックが３つの制御点のうちの２つを含む場合、第１の副ブロックの重み付けとしてデフォルト値又は２つの制御点のうちの１つの制御点の重み付けを使用すること
を含む、非一時的コンピュータ可読媒体。
５１．項目４７に記載の非一時的コンピュータ可読媒体であって、一組の命令は、装置にさらに、４つの副ブロックへ符号化単位を分割することをさせるために装置の１つ又は複数のプロセッサにより実行可能であり、
符号化単位は、第１、第２、及び第３の重み付けを有する３つの制御点を有し；
符号化単位内の第１の副ブロックの重み付けを決定することは：
第１の副ブロックが３つの制御点の少なくとも１つを含む場合、第１の副ブロックの重み付けとして制御点のうちの１つの制御点の重み付けを使用すること、又は
第１の副ブロックが３つの制御点を含まない場合、第１の副ブロックの重み付けを：
第１、第２、及び第３の重み付けの平均値、
第１、第２、及び第３の重み付けの中央値、
符号化単位の等しい重み付け、
等しい重み付けからの最小差を有する第１、第２、及び第３の重み付けの１つ、
等しい重み付けからより小さい差を有する第１及び第２の重み付けの１つ、又は
デフォルト値のうちの１つに設定することを含む、非一時的コンピュータ可読媒体。
[00112] 上述の明細書では、実施形態は、実施形態毎に変化し得る多数の特定の詳細を参照し説明された。説明された実施形態のいくつかの適応化及び修正がなされ得る。他の実施形態は本明細書に開示された発明の仕様及び実行の考察から当業者にとって明らかになり得る。本明細書及び例は例示的に過ぎないと考えられ、本発明の真の範囲と精神は以下の特許請求の範囲により指示されるということが意図されている。添付図面に示される工程のシーケンスは例示的目的だけのためであり工程の任意特定シーケンスへ制限されるように意図されていないということも意図されている。したがって、当業者は、これらの工程が同じ方法を実施しながら異なる順序で行われ得るということを理解し得る。
[00113] 本添付図面と明細書では、例示的実施形態が開示された。しかし、多くの変形及び修正がこれらの実施形態に対してなされ得る。したがって、特定用語が採用されるが、これらは、一般的及び記述的意味においてだけ使用されており、制限の目的のためには使用されない。開示された実施形態は、上述の例に限定されるのではなく、その代りに、等価物のそれらの全範囲に照らして添付の特許請求の範囲により定義される。

Claims (20)

  1. 映像データを処理する方法であって、
    継承されたアフィンマージ候補、構築されたアフィンマージ候補、又は符号化単位の零モーションベクトルのうちの少なくとも１つのための重み付けを決定すること；及び
    前記決定された重み付けに基づき前記符号化単位を双方向予測することを含む方法。
  2. 前記重み付けはビットストリームで信号伝達される重み付け指標に基づき決定される、請求項１に記載の方法。
  3. 前記決定された重み付けは前記構築されたアフィンマージ候補の重み付けを含み、前記方法はさらに、
    前記構築されたアフィンマージ候補に関連する複数の制御点が１つ又は複数の重み付けを有することに応じて、前記構築されたアフィンマージ候補の重み付けを、左上制御点に関連する重み付け又は右上制御点に関連する重み付けに基づき決定することを含む、請求項１に記載の方法。
  4. 前記決定された重み付けは前記構築されたアフィンマージ候補の重み付けを含み、前記方法はさらに、
    前記構築されたアフィンマージ候補に関連する複数の制御点が同じ重み付けを有することに応じて、前記構築されたアフィンマージ候補の重み付けとして前記複数の制御点の前記重み付けを決定すること；又は
    前記複数の制御点が異なる重み付けを有することに応じて、前記構築されたアフィンマージ候補の前記重み付けとしてデフォルト値を決定することを含む、請求項３に記載の方法。
  5. 前記決定された重み付けは前記構築されたアフィンマージ候補の重み付けを含み、前記方法はさらに、
    前記構築されたアフィンマージ候補に対応する複数の制御点の重み付けの中から前記複数の制御点のほとんどにより使用される重み付けを決定すること；及び
    前記決定された重み付けを、前記構築されたアフィンマージ候補の前記重み付けとして設定することを含む、請求項３に記載の方法。
  6. 前記決定された重み付けは前記構築されたアフィンマージ候補の重み付けを含み、前記方法はさらに、
    等しい重み付けと前記複数の制御点の重み付けとの差をそれぞれ決定すること；
    前記複数の制御点の中から、前記等しい重み付けからの最小差を有する重み付けを有する第１の制御点を決定すること；及び
    前記構築されたアフィンマージ候補の前記重み付けとして、前記第１の制御点の重み付けを設定することを含む、請求項３に記載の方法。
  7. 前記決定された重み付けは前記構築されたアフィンマージ候補の重み付けを含み、前記方法はさらに、
    前記構築されたアフィンマージ候補に対応する複数の制御点の平均重み付けを決定すること；及び
    前記構築されたアフィンマージ候補の前記重み付けとして前記平均重み付けを設定することを含む、請求項３に記載の方法。
  8. 前記決定された重み付けに基づき前記符号化単位を双方向予測することは、アフィンマージモードを使用して前記映像データを処理することを含み、前記方法はさらに、
    アフィンマージ候補リストを構築する場合に、等しくない重み付けを有する零モーションベクトルを挿入する前に、等しい重み付けを有する零モーションベクトルを前記アフィンマージ候補リストへ挿入することを含む、請求項１に記載の方法。
  9. 前記決定された重み付けに基づき前記符号化単位を双方向予測することは、アフィンマージモードを使用して前記映像データを処理することを含み、前記方法はさらに、
    アフィンマージ候補リストを構築する場合に、複数の構築されたアフィンマージ候補のそれぞれに対応する制御点の重み付けに基づき前記複数の構築されたアフィンマージ候補の順番を決定することを含み、
    より多様でない重み付けを有する制御点を有する構築されたアフィンマージ候補は、より多様な重み付けを有する制御点を有する構築されたアフィンマージ候補より高い優先度を割り当てられる、請求項１に記載の方法。
  10. 前記複数の構築されたアフィンマージ候補の順番を前記決定することは：
    ２つの構築されたマージ候補のそれぞれに対応する制御点の重み付けが同じレベルの多様性を有することに応じて、前記２つの構築されたマージ候補のデフォルトの順番を使用すること
    を含む、請求項９に記載の方法。
  11. 第１の構築されたアフィンマージ候補に対応する制御点の重み付けに基づき、前記第１の構築されたアフィンマージ候補の可用性を決定すること；及び
    前記第１の構築されたアフィンマージ候補が利用可能であるという決定に応じて、前記第１の構築されたアフィンマージ候補を前記アフィンマージ候補リストへ加えることをさらに含む請求項９に記載の方法。
  12. 前記第１の構築されたアフィンマージ候補の前記可用性を前記決定することは、
    前記第１の構築されたアフィンマージ候補に対応する２つの制御点の重み付けが、異なる符号を有するかどうかを決定すること；及び
    前記第１の構築されたアフィンマージ候補に対応する前記２つの制御点の重み付けが、異なる符号を有するという決定に応じて、前記第１の構築されたアフィンマージ候補が利用可能ではないと決定することを含む、請求項１１に記載の方法。
  13. 映像データを処理する方法であって、
    符号化単位の制御点の重み付けに基づき前記符号化単位内の第１の副ブロックの重み付けを決定すること；及び
    前記決定された重み付けに基づき前記第１の副ブロックを双方向予測すること、を含む方法。
  14. 前記符号化単位内の前記第１の副ブロックの前記重み付けを前記決定することは：
    前記第１の副ブロックが前記制御点の１つを含むことに応じて、前記第１の副ブロックの前記重み付けとして前記制御点のうちの前記１つの制御点の重み付けを使用すること、又は
    前記第１の副ブロックが前記制御点を含まないことに応じて、予め規定された規則に従って前記第１の副ブロックの前記重み付けを決定することを含む、請求項１３に記載の方法。
  15. 前記符号化単位は、４つの副ブロックへ分割され、かつ２つの制御点を有し、；
    前記符号化単位内の前記第１の副ブロックの前記重み付けを前記決定することは：
    前記第１の副ブロックが前記２つの制御点の１つを含むことに応じて、前記第１の副ブロックの前記重み付けとして前記２つの制御点のうちの前記１つ制御点の重み付けを使用すること、又は、
    前記第１の副ブロックが前記２つの制御点を含まないことに応じて、前記第１の副ブロックの前記重み付けを、前記２つの制御点のうち、前記第１の副ブロックへのより短い距離を有する方の１つの制御点の重み付けとなるように、又はデフォルト値となるように設定することを含む、請求項１３に記載の方法。
  16. 前記符号化単位は、２つの副ブロックへ分割され、かつ３つの制御点を有し、；
    前記符号化単位内の前記第１の副ブロックの前記重み付けを前記決定することは：
    前記第１の副ブロックが前記３つの制御点のうち１つのみを含むことに応じて、前記第１の副ブロックの前記重み付けとして前記制御点のうちの前記１つの制御点の重み付けを使用すること、又は
    前記第１の副ブロックが前記３つの制御点のうちの少なくとも２つを含むことに応じて、前記第１の副ブロックの重み付けとしてデフォルト値又は前記２つの制御点のうちの１つの制御点の重み付けを使用することを含む、請求項１３に記載の方法。
  17. 符号化単位は、４つの副ブロックへ分割され、かつ第１、第２、及び第３の重み付けそれぞれを有する３つの制御点を有し、；
    前記符号化単位内の前記第１の副ブロックの前記重み付けを前記決定することは：
    前記第１の副ブロックが前記３つの制御点のうちの少なくとも１つを含むことに応じて、前記第１の副ブロックの前記重み付けとして前記３つの制御点のうちの前記１つの制御点の重み付けを使用すること、又は
    前記副ブロックが前記３つの制御点を含まないことに応じて、前記第１の副ブロックの前記重み付けを：
    前記第１、第２、及び第３の重み付けの平均値、
    前記第１、第２、及び第３の重み付けの中央値、
    前記符号化単位の等しい重み付け、
    前記等しい重み付けからの最小差を有する、前記第１、第２、及び第３の重み付けのうちの１つ、
    前記等しい重み付けからより小さい差を有する、前記第１及び第２の重み付けのうちの１つ、又は
    デフォルト値、
    のうちの１つとなるように設定することを含む、請求項１３に記載の方法。
  18. 映像処理装置であって：
    命令を格納するメモリ；及びプロセッサを含み、前記プロセッサは：
    継承されたアフィンマージ候補、構築されたアフィンマージ候補、又は符号化単位の零モーションベクトルのうちの、少なくとも１つのための重み付けを決定すること；及び
    前記決定された重み付けに基づき前記符号化単位を双方向予測すること、
    を前記装置に行わせるように、前記命令を実行するように構成される、装置。
  19. 映像処理装置であって：
    命令を格納するメモリ；及びプロセッサを含み、前記プロセッサは：
    符号化単位の制御点の重み付けに基づき前記符号化単位内の第１の副ブロックの重み付けを決定すること；
    前記決定された重み付けに基づき前記第１の副ブロックを双方向予測すること、
    を前記装置に行わせるように、前記命令を実行するように構成される、装置。
  20. 一組の命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、映像処理装置に方法を行わせるように、前記映像処理装置の１つ又は複数のプロセッサにより実行可能であり、前記方法は：
    継承されたアフィンマージ候補、構築されたアフィンマージ候補、又は符号化単位の零モーションベクトルのうちの、少なくとも１つのための重み付けを決定すること；及び
    前記決定された重み付けに基づき前記符号化単位を双方向予測すること、
    を含む、非一時的コンピュータ可読媒体。
JP2021547847A 2019-03-11 2020-02-28 マージモードのための予測重み付けを決定する方法、装置及びシステム Pending JP2022523350A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962816879P 2019-03-11 2019-03-11
US62/816,879 2019-03-11
PCT/US2020/020483 WO2020185429A1 (en) 2019-03-11 2020-02-28 Method, device, and system for determining prediction weight for merge mode

Publications (2)

Publication Number Publication Date
JP2022523350A true JP2022523350A (ja) 2022-04-22
JPWO2020185429A5 JPWO2020185429A5 (ja) 2023-03-15

Family

ID=72424206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021547847A Pending JP2022523350A (ja) 2019-03-11 2020-02-28 マージモードのための予測重み付けを決定する方法、装置及びシステム

Country Status (7)

Country Link
US (2) US11394999B2 (ja)
EP (2) EP3939262A4 (ja)
JP (1) JP2022523350A (ja)
KR (1) KR20210129721A (ja)
CN (1) CN113748673A (ja)
TW (1) TW202044830A (ja)
WO (1) WO2020185429A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102463478B1 (ko) * 2018-01-26 2022-11-04 에이치에프아이 이노베이션 인크. 비디오 코딩 시스템을 위한 아핀 인터 예측 방법 및 장치
GB2588003B (en) 2018-06-05 2023-04-19 Beijing Bytedance Network Tech Co Ltd Interaction between pairwise average merging candidates and IBC
WO2019244118A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
KR102387873B1 (ko) * 2018-12-13 2022-04-18 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 구축된 아핀 병합 후보들을 도출하기 위한 방법
JP2022523350A (ja) * 2019-03-11 2022-04-22 アリババ グループ ホウルディング リミテッド マージモードのための予測重み付けを決定する方法、装置及びシステム
KR20210118952A (ko) * 2019-03-12 2021-10-01 엘지전자 주식회사 쌍 예측을 위한 가중치 인덱스 정보를 유도하는 비디오 또는 영상 코딩
MX2021015520A (es) * 2019-06-14 2022-03-11 Lg Electronics Inc Método y aparato de descodificación de imagen para derivar la información del índice de ponderación para el promedio ponderado cuando se aplica la bi-predicción.
WO2020262902A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 쌍 예측을 적용하는 영상 디코딩 방법 및 그 장치
WO2023198135A1 (en) * 2022-04-12 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20240007615A1 (en) * 2022-07-04 2024-01-04 Alibaba (China) Co., Ltd. Deriving bi-prediction with coding unit-level weight indices for merge candidates

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112017019264B1 (pt) 2015-03-10 2023-12-12 Huawei Technologies Co., Ltd Método de predição de imagem e dispositivo relacionado
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
CN115118971A (zh) * 2016-05-13 2022-09-27 Vid拓展公司 用于视频编码的通用式多假设预测的系统及方法
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
CN110024394B (zh) * 2016-11-28 2023-09-01 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质
US10555006B2 (en) * 2016-12-22 2020-02-04 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US20180332298A1 (en) * 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression
EP3646598A1 (en) * 2017-06-26 2020-05-06 InterDigital VC Holdings, Inc. Multiple predictor candidates for motion compensation
US11184636B2 (en) * 2017-06-28 2021-11-23 Sharp Kabushiki Kaisha Video encoding device and video decoding device
US20190182503A1 (en) * 2017-12-13 2019-06-13 Industrial Technology Research Institute Method and image processing apparatus for video coding
US11140398B2 (en) * 2018-08-20 2021-10-05 Mediatek Inc. Methods and apparatus for generating affine candidates
WO2020058955A1 (en) * 2018-09-23 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Multiple-hypothesis affine mode
CN111357294B (zh) * 2018-10-23 2022-12-30 北京字节跳动网络技术有限公司 基于子块的运动信息列表的简化熵编解码
CN112219400B (zh) * 2018-11-06 2024-03-26 北京字节跳动网络技术有限公司 依赖位置的对运动信息的存储
KR20210089149A (ko) * 2018-11-16 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인터 및 인트라 통합 예측 모드 가중치
JP7073501B2 (ja) * 2018-12-12 2022-05-23 エルジー エレクトロニクス インコーポレイティド 履歴ベース動きベクトル予測に基づいてビデオ信号を処理するための方法及び装置
US10855992B2 (en) * 2018-12-20 2020-12-01 Alibaba Group Holding Limited On block level bi-prediction with weighted averaging
US11102476B2 (en) * 2018-12-28 2021-08-24 Qualcomm Incorporated Subblock based affine motion model
WO2020147747A1 (en) * 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
US11025936B2 (en) * 2019-01-25 2021-06-01 Tencent America LLC Method and apparatus for video coding
JP2022523350A (ja) * 2019-03-11 2022-04-22 アリババ グループ ホウルディング リミテッド マージモードのための予測重み付けを決定する方法、装置及びシステム

Also Published As

Publication number Publication date
CN113748673A (zh) 2021-12-03
US11394999B2 (en) 2022-07-19
US20200296415A1 (en) 2020-09-17
KR20210129721A (ko) 2021-10-28
TW202044830A (zh) 2020-12-01
EP4243417A3 (en) 2023-11-15
EP4243417A2 (en) 2023-09-13
US20220345741A1 (en) 2022-10-27
EP3939262A1 (en) 2022-01-19
WO2020185429A8 (en) 2021-11-04
EP3939262A4 (en) 2022-11-09
WO2020185429A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
JP2022523350A (ja) マージモードのための予測重み付けを決定する方法、装置及びシステム
US11297330B2 (en) Method and apparatus for processing video signal based on inter prediction
CN110024403B (zh) 一种编解码视频数据的方法、装置和计算机可读存储媒体
US11206425B2 (en) Inter prediction methods for coding video data
TWI828507B (zh) 圖像預測方法、裝置以及視訊編碼器、視訊解碼器
JP2022504073A (ja) 履歴ベースの動きベクトル予測子の改善
TW202015415A (zh) 擴展Merge預測
CN116347097A (zh) 视频解码方法、视频编码器及计算机可读存储介质
CN111492662A (zh) 生成的仿射运动向量
TW202101993A (zh) 用於視訊寫碼之可切換內插濾波
KR20140095607A (ko) 인터 예측 방법 및 그 장치
JP2022548650A (ja) 履歴ベースの動きベクトル予測
EP3977739A1 (en) Merge candidate reorder based on global motion vector cross-reference to related applications
CN114845102A (zh) 光流修正的提前终止
KR102407912B1 (ko) 양방향 인트라 예측 시그널링
CN110876058B (zh) 一种历史候选列表更新方法与装置
WO2023020588A1 (en) Template matching based motion vector refinement in video coding system
US11936877B2 (en) Template matching based affine prediction for video coding
TWI839388B (zh) 簡化的基於歷史的運動矢量預測
CN111247804B (zh) 图像处理的方法与装置
WO2023097019A1 (en) Methods and devices for candidate derivation for affine merge mode in video coding
CN117529913A (zh) 视频处理的方法、设备和介质
CN117501689A (zh) 视频处理的方法、设备和介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240308