JP2023100843A - 動き補償用の改善されたプレディクタ候補 - Google Patents

動き補償用の改善されたプレディクタ候補 Download PDF

Info

Publication number
JP2023100843A
JP2023100843A JP2023076495A JP2023076495A JP2023100843A JP 2023100843 A JP2023100843 A JP 2023100843A JP 2023076495 A JP2023076495 A JP 2023076495A JP 2023076495 A JP2023076495 A JP 2023076495A JP 2023100843 A JP2023100843 A JP 2023100843A
Authority
JP
Japan
Prior art keywords
block
motion
decoded
control point
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023076495A
Other languages
English (en)
Other versions
JP7474365B2 (ja
Inventor
ロベール，アントワーヌ
Robert Antoine
ルリアネック，ファブリス
LELEANNEC Fabrice
ポワリエ，タンギ
Poirier Tangi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of JP2023100843A publication Critical patent/JP2023100843A/ja
Application granted granted Critical
Publication of JP7474365B2 publication Critical patent/JP7474365B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ビデオエンコーダ又はビデオデコーダ用のモーションモデルに基づいて、プレディクタ候補を選択する方法及び装置を提供する。【解決手段】方法は、少なくとも１つの空間的隣接ブロックを判定し、空間的隣接ブロックに基づいてインターコーディングモード用の１つ又は複数の制御ポイント動きベクトル及び１つの参照ピクチャを有するプレディクタ候補の組を判定し、それぞれのプレディクタ候補ごとに、モーションモデルおよび複数の制御ポイント動きベクトルに基づいて、エンコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別しているモーションフィールドを判定し、モーションフィールドに応答して、予測の間のレート歪判定に基づいて、プレディクタ候補の組から１つのプレディクタ候補を選択し、選択されたプレディクタ候補用のモーションフィールドに基づいてブロックをエンコーディングする。【選択図】図１１

Description

技術分野
[1] 本実施形態のうちの少なくとも１つは、一般に、例えば、ビデオエンコーディング又はデコーディング用の方法又は装置に関し、且つ、更に詳しくは、ビデオエンコーダ又はビデオデコーダ用の、例えば、アファインモデル（アフィンモデル）などの、モーションモデルに基づいて、インターコーディングモード（マージモード又はＡＭＶＰ）における動き補償（モーション補償）用の複数のプレディクタ候補の組から１つのプレディクタ候補を選択する方法及び装置に関する。
背景
[2] 高圧縮効率を実現するべく、画像及びビデオコーディング方式は、通常、ビデオコンテンツ内の空間的且つ時間的冗長性を活用するべく、動きベクトル（モーションベクトル）予測を含む予測を利用すると共に変換している。一般には、イントラ又はインターフレーム相関を活用するべく、イントラ又はインター予測が使用され、次いで、予測誤差又は予測残差としばしば表記される、オリジナルの画像と予測画像の間の差が、変換され、量子化され、且つ、エントロピーコーディングされている。ビデオを再構築するべく、圧縮されたデータは、エントロピーコーディング、量子化、変換、及び予測に対応する逆プロセスにより、デコーディングされる。
[3] 高圧縮技術に対して最近追加されたものには、アファインモデリングに基づいたモーションモデルの使用が含まれる。具体的には、アファインモデルは、ビデオピクチャのエンコーディング及びデコーディング用の動き補償のために使用されている。一般に、アファインモデリングは、例えば、回転及び相似（ズーム）をシミュレートするべく、例えば、ピクチャのブロック全体のモーションフィールドの導出を許容する、ピクチャのブロックの個々のコーナーにおけるモーションを表す２つの制御ポイント動きベクトル（ＣＰＭＶ：control point motion vector）などの、少なくとも２つのパラメータを使用するモデルである。但し、マージモードにおいてプレディクタとして潜在的に使用される制御ポイント動きベクトル（ＣＰＭＶ）の組は、限られている。従って、アファインマージ及び高度動きベクトル予測（ＡＭＶＰ：Advanced Motion Vector Prediction）モードにおいて使用されるモーションモデルの性能を改善することにより、対象の高圧縮技術の全体的な圧縮性能を向上させることになる方法が望ましい。
概要
[4] 本発明の目的は、従来技術の欠点のうちの少なくとも１つを克服する、という点にある。これを目的として、少なくとも１つの実施形態の一般的な一態様によれば、ビデオエンコーディングの方法が提示され、方法は、ピクチャ内のエンコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定することと、エンコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックに基づいてインターコーディングモード用のプレディクタ候補の組を判定することであって、プレディクタ候補は、１つ又は複数の制御ポイント動きベクトル及び１つの参照ピクチャを有する、ことと、エンコーディングされるブロックについて、且つ、それぞれのプレディクタ候補ごとに、モーションモデルに基づいて、且つ、プレディクタ候補の１つ又は複数の制御ポイント動きベクトルに基づいて、モーションフィールドを判定することであって、モーションフィールドは、エンコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別している、ことと、それぞれのプレディクタ候補について判定されたモーションフィールドに応答して予測の間のレート歪判定に基づいて、プレディクタ候補の組から１つのプレディクタ候補を選択することと、選択されたプレディクタ候補のモーションフィールドに基づいてブロックをエンコーディングすることと、プレディクタ候補の組からの選択されたプレディクタ候補用のインデックスをエンコーディングすることと、を有する。１つ又は複数の制御ポイント動きベクトル及び参照ピクチャは、ブロックに関連するモーション情報に基づいたエンコーディングされるブロックの予測のために使用されている。
[5] 少なくとも１つの実施形態のうちの別の一般的な態様によれば、ビデオデコーディング用の方法が提供され、方法は、ピクチャ内のデコーディングされるブロックについて、インターコーディングモード用のプレディクタ候補の組のうちの特定のプレディクタ候補に対応するインデックスを受け取ることと、デコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定することと、デコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックに基づいてインターコーディングモード用のプレディクタ候補の組を判定することであって、プレディクタ候補は、１つ又は複数の制御ポイント動きベクトル及び１つの参照ピクチャを有する、ことと、特定のプレディクタ候補について、デコーディングされるブロック用の１つ又は複数の対応する制御ポイント動きベクトルを判定することと、特定のプレディクタ候補について、１つ又は複数の対応する制御ポイント動きベクトルに基づいて、動きベクトルに基づいた対応するモーションフィールドを判定することであって、対応するモーションフィールドは、デコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別している、ことと、対応するモーションフィールドに基づいてブロックをデコーディングすることと、を有する。
[6] 少なくとも１つの実施形態の別の一般的な態様によれば、ビデオコーディング用の装置が提示され、装置は、ピクチャ内においてエンコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定する手段と、エンコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックに基づいてインターコーディングモード用のプレディクタ候補の組を判定する手段であって、プレディクタ候補は、１つ又は複数の制御ポイント動きベクトル及び１つの参照ピクチャを有する、手段と、プレディクタ候補の組から１つのプレディクタ候補を選択する手段と、エンコーディングされるブロックについて、且つ、それぞれのプレディクタ候補ごとに、モーションモデルに基づいて、且つ、プレディクタ候補の１つ又は複数の制御ポイント動きベクトルに基づいて、モーションフィールドを判定する手段であって、モーションフィールドは、エンコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別している、手段と、それぞれのプレディクタ候補について判定されたモーションフィールドに応答して、予測の間のレート歪判定に基づいてプレディクタ候補の組から１つのプレディクタ候補を選択する手段と、プレディクタ候補の組からの選択されたプレディクタ候補の対応するモーションフィールドに基づいてブロックをエンコーディングする手段と、プレディクタ候補の組からの選択されたプレディクタ候補用のインデックスをエンコーディングする手段と、を有する。
[7] 少なくとも１つの実施形態の別の一般的な態様によれば、ビデオデコーディング用の装置が提示され、装置は、ピクチャ内のデコーディングされるブロックについて、インターコーディングモード用のプレディクタ候補の組のうちの特定のプレディクタ候補に対応するインデックスを受け取る手段と、デコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定する手段と、デコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックに基づいてインターコーディングモード用のプレディクタ候補の組を判定する手段であって、プレディクタ候補は、１つ又は複数の制御ポイント動きベクトル及び１つの参照ピクチャを有する、手段と、デコーディングされるブロックについて、特定のプレディクタ候補から１つ又は複数の対応する制御ポイント動きベクトルを判定する手段と、デコーディングされるブロックについて、モーションモデルに基づいて、且つ、デコーディングされるブロック用の１つ又は複数の制御ポイント動きベクトルに基づいて、モーションフィールドを判定する手段であって、モーションフィールドは、デコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別している、手段と、対応するモーションフィールドに基づいてブロックをデコーディングする手段と、を有する。
[8] 少なくとも１つの実施形態の別の一般的な態様によれば、ビデオエンコーディング用の装置が提供され、装置は、１つ又は複数のプロセッサと、少なくとも１つのメモリと、を有する。この場合に、１つ又は複数のプロセッサは、ピクチャ内のエンコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定し、エンコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックに基づいて、インターコーディングモード用のプレディクタ候補の組を判定し、この場合に、プレディクタ候補は、１つ又は複数の制御ポイント動きベクトル及び１つの参照ピクチャを有し、エンコーディングされるブロックついて、且つ、それぞれのプレディクタ候補ごとに、モーションモデルに基づいて、且つ、プレディクタ候補の１つ又は複数の制御ポイント動きベクトルに基づいて、モーションフィールドを判定し、モーションフィールドは、エンコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別し、それぞれのプレディクタ候補について判定されたモーションフィールドに応答して、予測の間のレート歪判定に基づいてプレディクタ候補の組から１つのプレディクタ候補を選択し、選択されたプレディクタ候補のモーションフィールドに基づいてブロックをエンコーディングし、且つ、プレディクタ候補の組からの選択されたプレディクタ候補用のインデックスをエンコーディングする、ように構成されている。少なくとも１つのメモリは、エンコーディングされたブロック及び／又はエンコーディングされたインデックスを少なくとも一時的に保存するためのものである。
[9] 少なくとも１つの実施形態の別の一般的な態様によれば、ビデオデコーディング用の装置が提供され、装置は、１つ又は複数のプロセッサと、少なくとも１つのメモリと、を有する。この場合に、１つ又は複数のプロセッサは、ピクチャ内のデコーディングされるブロックについて、インターコーディングモード用のプレディクタ候補の組のうちの特定のプレディクタ候補に対応するインデックスを受け取り、デコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定し、デコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックに基づいてインターコーディングモード用のプレディクタ候補の組を判定し、プレディクタ候補は、１つ又は複数の制御ポイント動きベクトル及び１つの参照ピクチャを有し、特定のプレディクタ候補について、デコーディングされるブロック用の１つ又は複数の対応する制御ポイント動きベクトルを判定し、特定のプレディクタ候補について、１つ又は複数の対応する制御ポイント動きベクトルに基づいて、モーションモデルに基づいたモーションフィールドを判定し、モーションフィールドは、デコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別しており、且つ、モーションフィールドに基づいてブロックをデコーディングする、ように構成されている。少なくとも１つのメモリは、デコーディングされたブロックを少なくとも一時的に保存するためのものである。
[10] 少なくとも１つの実施形態の別の一般的な態様によれば、少なくとも１つの空間的隣接ブロックは、隣接する上部左コーナーブロック、隣接する上部右コーナーブロック、及び隣接する下部左コーナーブロックのうちの、エンコーディング又はデコーディングされるブロックの空間的隣接ブロックを有する。
[11] 少なくとも１つの実施形態の別の一般的な態様によれば、空間的隣接ブロックの少なくとも１つのものに関連するモーション情報は、非アファインモーション情報を有する。非アファインモーションモデルは、平行移動モーションモデルであり、この場合には、平行移動を表す１つの動きベクトルのみがモデル内においてコーディングされている。
[12] 少なくとも１つの実施形態の別の一般的な態様によれば、少なくとも１つの空間的隣接ブロックのすべてのものに関連するモーション情報は、アファインモーション情報を有する。
[13] 少なくとも１つの実施形態の別の一般的な態様によれば、プレディクタ候補の組は、単方向プレディクタ候補及び双方向プレディクタ候補を有する。
[14] 少なくとも１つの実施形態の別の一般的な態様によれば、方法は、隣接する上部左コーナーブロックのうちのエンコーディング又はデコーディングされるブロックの空間的隣接ブロックの上部左リスト、隣接する上部右コーナーブロックのうちのエンコーディング又はデコーディングされるブロックの空間的隣接ブロックの上部右リスト、隣接する下部左コーナーブロックのうちのエンコーディング又はデコーディングされるブロックの空間的隣接ブロックの下部左リストを判定することと、空間的隣接ブロックの少なくとも１つのトリプレットを選択することであって、トリプレットのそれぞれの空間的隣接ブロックは、それぞれ、前記上部左リスト、前記上部右リスト、及び前記下部左リストに属しており、且つ、前記トリプレットの前記空間的隣接ブロックの予測のために使用される参照ピクチャは、同一である、ことと、エンコーディング又はデコーディングされるブロックについて、選択されたトリプレットのそれぞれの空間的隣接ブロックに対してそれぞれ関連付けられたモーション情報に基づいて、ブロックの上部左コーナー、上部右コーナー、及び下部左コーナー用の１つ又は複数の制御ポイント動きベクトルを判定することを更に有していてもよく、この場合に、プレディクタ候補は、判定された１つ又は複数の制御ポイント動きベクトル及び参照ピクチャを有する。
[15] 少なくとも１つの実施形態の別の一般的な態様によれば、方法は、エンコーディング又はデコーディングされるブロックについて判定された１つ又は複数の制御ポイント動きベクトルに基づいて、１つ又は複数の基準に従って空間的隣接ブロックの少なくとも１つの選択されたトリプレットを評価することを更に有することができると共に、この場合には、プレディクタ候補は、評価に基づいてインターコーディングモード用のプレディクタ候補の組内においてソートされている。
[16] 少なくとも１つの実施形態の別の一般的な態様によれば、１つ又は複数の基準は、式３による有効性チェック及び式４による費用を有する。
[17] 少なくとも１つの実施形態の別の一般的な態様によれば、双方向プレディクタ候補の費用は、その第１参照ピクチャリストに関係する費用とその第２参照ピクチャリストに関係する費用の平均である。
[18] 少なくとも１つの実施形態の別の一般的な態様によれば、方法は、隣接する上部左コーナーブロックのうちのエンコーディング又はデコーディングされるブロックの空間的隣接ブロックの上部左リスト、隣接する上部右コーナーブロックのうちのエンコーディング又はデコーディングされるブロックの空間的隣接ブロックの上部右リストを判定することと、空間的隣接ブロックの少なくとも１つのペアを選択することであって、ペアのそれぞれの空間的隣接ブロックは、それぞれ、前記上部左リスト及び前記上部右リストに属しており、且つ、前記ペアのそれぞれの空間的隣接ブロックの予測のために使用される参照ピクチャは、同一である、ことと、エンコーディング又はデコーディングされるブロックについて、上部左リストの空間的隣接ブロックに関連するモーション情報に基づいてブロックの上部左コーナー用の制御ポイント動きベクトル、上部左リストの空間的隣接ブロックに関連するモーション情報に基づいてブロックの上部左コーナー用の制御ポイント動きベクトルを判定することであって、プレディクタ候補は、前記上部左及び上部右制御ポイント動きベクトル及び参照ピクチャを有する、ことと、を更に有することができる。
[19] 少なくとも１つの実施形態の別の一般的な態様によれば、下部左リストが、上部右リストの代わりに使用されており、下部左リストは、隣接する下部左コーナーブロックのうちのエンコーディング又はデコーディングされるブロックの空間的隣接ブロックを有し、且つ、下部左制御ポイント動きベクトルが判定されている。
[20] 少なくとも１つの実施形態の別の一般的な態様によれば、モーションモデルは、アファインモデルであり、且つ、エンコーディング又はデコーディングされるブロックの内側のそれぞれの位置（ｘ，ｙ）におけるモーションフィールドは、次式により、判定されている。
Figure 2023100843000002
[21] ここで（ｖ０ｘ，ｖ０ｙ）及び（ｖ２ｘ，ｖ２ｙ）は、モーションフィールドを生成するべく使用される制御ポイント動きベクトルであり、（ｖ０ｘ，ｖ０ｙ）は、エンコーディング又はデコーディングされるブロックの上部左コーナーの制御ポイント動きベクトルに対応しており、（ｖ２ｘ，ｖ２ｙ）は、エンコーディング又はデコーディングされるブロックの下部左コーナーの制御ポイント動きベクトルに対応しており、且つ、ｈは、エンコーディング又はデコーディングされるブロックの高さである。
[22] 少なくとも１つの実施形態の別の一般的な態様によれば、方法は、エンコーディング又はデコーディングされるブロック用に使用されるモーションモデルの通知をエンコーディング又は取得することを更に有していてもよく、前記モーションモデルは、上部左コーナーの制御ポイント動きベクトル及び下部左コーナーの制御ポイント動きベクトルに基づいており、或いは、前記モーションモデルは、上部左コーナーの制御ポイント動きベクトル及び上部右コーナーの制御ポイント動きベクトルに基づいている。
[23] 少なくとも１つの実施形態の別の一般的な態様によれば、エンコーディング又はデコーディングされるブロック用に使用されるモーションモデルは、黙示的に導出され、前記モーションモデルは、上部左コーナーの制御ポイント動きベクトル及び下部左コーナーの制御ポイント動きベクトルに基づいており、或いは、前記モーションモデルは、上部左コーナーの制御ポイント動きベクトル及び上部右コーナーの制御ポイント動きベクトルに基づいている。
[24] 少なくとも１つの実施形態の別の一般的な態様によれば、対応するモーションフィールドに基づいてブロックをデコーディング又はエンコーディングすることは、それぞれ、サブブロック用のプレディクタに基づいてデコーディング又はエンコーディングすることを有し、プレディクタは、動きベクトルによって通知されている。
[25] 少なくとも１つの実施形態の別の一般的な態様によれば、空間的隣接ブロックの数は、少なくとも５つ又は少なくとも７つである。
[26] 少なくとも１つの実施形態の別の一般的な態様によれば、先行する説明のうちの任意のものの方法又は装置に従って生成されるデータコンテンツを含む、一時的ではないコンピュータ可読媒体が提示されている。
[27] 少なくとも１つの実施形態の別の一般的な態様によれば、先行する説明のうちの任意のものの方法又は装置に従って生成されたビデオデータを有する信号が提供されている。
[28] また、本実施形態のうちの１つ又は複数は、上述の方法のうちの任意のものに従ってビデオデータをエンコーディング又はデコーディングするための命令をその上部において保存された状態において有するコンピュータ可読ストレージ媒体を提供している。また、本実施形態は、上述の方法に従って生成されたビットストリームをその上部において保存された状態において有するコンピュータ可読ストレージ媒体を提供している。また、本実施形態は、上述の方法に従って生成されたビットストリームを送信するための方法及び装置を提供している。また、本実施形態は、記述されている方法のうちの任意のものを実行するための命令を含むコンピュータプログラムプロダクトを提供している。
図面の簡単な説明
[29]ＨＥＶＣ（High Efficiency Video Coding）ビデオエンコーダの一実施形態のブロック図を示す。 [30]ＨＥＶＣの基準サンプルの生成を描く描画例である。 [31]ＨＥＶＣにおけるイントラ予測方向を描く描画例である。 [32]ＨＥＶＣビデオデコーダの一実施形態のブロック図を示す。 [33]圧縮されたＨＥＶＣピクチャを表すためのコーディングツリーユニット（ＣＴＵ：Coding Tree Unit）及びコーディングツリー（ＣＴ：Coding Tree）概念の一例を示す。 [34]コーディングユニット（ＣＵ：Coding Unit）、予測ユニット（ＰＵ：Prediction Unit）、及び変換ユニット（ＴＵ：Transform Unit）へのコーディングツリーユニット（ＣＴＵ）の分割の一例を示す。 [35]ＪＥＭ（Joint Exploration Model）において使用されるモーションモデルとしてのアファインモデルの一例を示す。 [36]ＪＥＭ（Joint Exploration Model）において使用される４×４サブＣＵに基づいたアファイン動きベクトルフィールドの一例を示す。 [37]アファインインターＣＵ用の動きベクトル予測候補の一例を示す。 [38]アファインマージモードにおける動きベクトル予測候補の一例を示す。 [39]アファインマージモードモーションモデルのケースにおけるアファイン制御ポイント動きベクトルの空間的導出の一例を示す。 [40]少なくとも１つの実施形態の一般的な態様による例示用のエンコーディング方法を示す。 [41]少なくとも１つの実施形態の一般的な態様によるエンコーディング方法の別の例を示す。 [42]少なくとも１つの実施形態の一般的な態様によるアファインマージモードＣＵ用の動きベクトル予測候補の一例を示す。 [43]少なくとも１つの実施形態の一般的な態様によるモーションモデルとしてのアファインモデル及びその対応する４×４サブＣＵに基づいたアファイン動きベクトルフィールドの一例を示す。 [44]少なくとも１つの実施形態の一般的な態様によるモーションモデルとしてのアファインモデル及びその対応する４×４サブＣＵに基づいたアファイン動きベクトルフィールドの別の例を示す。 [45]ＪＥＭにおけるＣＵのアファインマージモードを評価するための既知のプロセス／シンタックスの一例を示す。 [46]少なくとも１つの実施形態の一般的な態様による例示用のデコーディング方法を示す。 [47]少なくとも１つの実施形態の一般的な態様によるエンコーディング方法の別の例を示す。 [48]実施形態の様々な態様が実装されうる例示用の装置のブロック図を示す。
詳細な説明
[49] 図及び説明は、わかりやすさを目的として、通常のコーディング及び／又はデコーディング装置において見出される多くのその他の要素を除去しつつ、本原理の明瞭な理解のために適する要素を示すべく、簡略化されていることを理解されたい。「第１（first）」及び「第２（second）」という用語は、様々な要素を記述するべく、本明細書において使用されている場合があるが、これらの要素は、これらの用語によって限定されるものではないことを理解されたい。これらの用語は、要素を相互に弁別するべく使用されるものに過ぎない。
[50] 様々な実施形態は、ＨＥＶＣ規格との関係において記述されている。但し、本原理は、ＨＥＶＣに限定されるものではなく、且つ、例えば、フォーマットレンジ（ＲＥｘｔ）、スケーラビリティ（ＳＨＶＣ）、マルチビュー（ＭＶ－ＨＥＶＣ）拡張版、及びＨ．２６６のような、ＨＥＶＣ又はＨＥＶＣ拡張版を含む、その他の規格、推奨、及びその拡張版に適用することができる。様々な実施形態は、スライスのエンコーディング／デコーディングとの関係において記述されている。これらは、ピクチャの全体又はピクチャのシーケンスの全体をエンコーディング／デコーディングするべく適用することができる。
[51] 様々な方法が上述されており、且つ、方法のそれぞれは、記述されている方法を実現するための１つ又は複数のステップ又はアクションを有する。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされていない限り、特定のステップ及び／又はアクションの順序及び／又は使用法は、変更されてもよく、或いは、組み合わせられてもよい。
[52] 図１は、例示用の高効率ビデオコーディング（ＨＥＶＣ）エンコーダ１００を示している。ＨＥＶＣは、Joint Collaborative Team on Video Coding (JCT-VC)によって開発された圧縮規格である（例えば、“ITU-T H.265 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (10/2014), SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, Recommendation ITU-T H.265”を参照されたい）。
[53] ＨＥＶＣにおいては、１つ又は複数のピクチャを有するビデオシーケンスをエンコーディングするべく、ピクチャは、１つ又は複数のスライスにパーティション化されており、この場合に、それぞれのスライスは、１つ又は複数のスライスセグメントを含みうる。スライスセグメントは、コーディングユニット、予測ユニット、及び変換ユニットとして編成される。
[54] 本出願においては、「再構築された（reconstructed）」及び「デコーディングされた（decoded）」という用語は、相互交換可能に使用されてもよく、「エンコーディングされた（encoded）」又は「コーディングされた（coded）」という用語も、相互交換可能に使用されてもよく、且つ、「ピクチャ（picture）」及び「フレーム（frame）」という用語も、相互交換可能に使用されてもよい。通常、「再構築された」という用語は、エンコーダ側において使用される一方において、「デコーディングされた」という用語は、デコーダ側において使用されているが、これは、必須ではない。
[55] ＨＥＶＣ仕様は、「ブロック」と「ユニット」の間を弁別しており、この場合に、「ブロック」は、サンプルアレイ内の特定のエリア（例えば、ｌｕｍａ、Ｙ）をアドレス指定しており、且つ、「ユニット」は、すべてのエンコーディングされた色成分（Ｙ、Ｃｂ、Ｃｒ、又はモノクローム）、シンタックス要素、及びブロックと関連する予測データ（例えば、動きベクトル）の一纏めにされたブロックを含む。
[56] コーディングの場合には、ピクチャは、構成可能なサイズを有する正方形形状のコーディングツリーブロック（ＣＴＢ：coding three block）としてパーティション化され、且つ、コーディングツリーブロックの連続的な組は、スライスとしてグループ化される。コーディングツリーユニット（ＣＴＵ）は、エンコーディングされた色成分のＣＴＢを含む。ＣＴＢは、コーディングブロック（ＣＢ：Coding Block）内への四分木パーティション化（quadtree partitioning）のルートであり、且つ、コーディングブロックは、１つ又は複数の予測ブロック（ＰＢ：Prediction Block）としてパーティション化されてもよく、且つ、変換ブロック（ＴＢ：Transform Block）内への四分木パーティション化のルートを形成している。コーディングブロック、予測ブロック、及び変換ブロックに対応することにより、コーディングユニット（ＣＵ）は、予測ユニット（ＰＵ）及び変換ユニット（ＴＵ）のツリー構造化された組を含み、ＰＵは、すべての色成分用の予測情報を含み、且つ、ＴＵは、それぞれの色成分用の残留コーディングシンタックス構造を含む。ｌｕｍａ成分のＣＢ、ＰＢ、及びＴＢのサイズは、対応するＣＵ、ＰＵ、及びＴＵに適用される。本出願においては、「ブロック」という用語は、例えば、ＣＴＵ、ＣＵ、ＰＵ、ＴＵ、ＣＢ、ＰＢ、及びＴＢのうちの任意のものを意味するべく使用されうる。また、これに加えて、「ブロック」は、Ｈ．２６４／ＡＶＣ又はその他のビデオコーディング規格において規定されているマクロブロック及びパーティションを意味するべく、且つ、更に一般的には、様々なサイズのデータのアレイを意味するべく、使用されうる。
[57] 例示用のエンコーダ１００においては、ピクチャは、後述するように、エンコーダ要素により、エンコーディングされている。エンコーディング対象のピクチャは、ＣＵのユニット内において処理されている。それぞれのＣＵは、イントラ又はインターモードを使用することにより、エンコーディングされている。ＣＵは、イントラモードにおいてエンコーディングされる際には、イントラ予測（１６０）を実行している。インターモードにおいては、モーション推定（１７５）及び補償（１７０）が実行されている。エンコーダは、ＣＵのエンコーディングのために使用するべく、イントラモード又はインターモードのうちの１つを決定しており（１０５）、且つ、予測モードフラグにより、イントラ／インター決定を通知している。予測残差は、オリジナルの画像ブロックから、予測されるブロックを減算することにより（１１０）、算出されている。
[58] イントラモードにおけるＣＵは、同一のスライス内の再構築された隣接サンプルから予測されている。ＨＥＶＣにおいては、１つのＤＣ予測モード、プレーナー予測モード、及び３３個の角度予測モードを含む、３５個のイントラ予測モードの組が利用可能である。イントラ予測基準は、現時点のブロックに隣接する行及び列から再構築される。基準は、予め再構築されたブロックからの利用可能なサンプルを使用することにより、水平及び垂直方向において、ブロックサイズの２倍にわたって延在している。角度予測モードがイントラ予測のために使用される際には、基準サンプルは、角度予測モードによって通知される方向に沿って複写することができる。
[59] 現時点のブロック用の適用可能なｌｕｍａイントラ予測モードは、２つの異なる選択肢を使用することにより、コーディングすることができる。適用可能なモードが、３つの最も確率の高いモード（ＭＰＭ：most probable mode）の構築されたリスト内に含まれている場合には、モードは、ＭＰＭリスト内において、インデックスにより、シグナリングされる。さもなければ、モードは、モードインデックスの固定長の二値化により、シグナリングされる。３つの最も確率の高いモードは、上部及び左隣接ブロックのイントラ予測モードから導出されている。
[60] インターＣＵの場合には、対応するコーディングブロックは、１つ又は複数の予測ブロックとして更にパーティション化されている。インター予測は、ＰＢレベルにおいて実行され、且つ、対応するＰＵは、インター予測が実行される方式に関する情報を含む。モーション情報（即ち、動きベクトル及び参照ピクチャインデックス）は、２つの方法、即ち、「マージモード」及び「高度動きベクトル予測（ＡＭＶＰ）」、により、シグナリングすることができる。
[61] マージモードにおいては、ビデオエンコーダ又はデコーダは、既にコーディング済みのブロックに基づいて候補リストを編集し、且つ、ビデオエンコーダは、候補リスト内の候補のうちの１つのもの用のインデックスをシグナリングする。デコーダ側においては、シグナリングされた候補に基づいて、動きベクトル（ＭＶ：motion vector）及び参照ピクチャインデックスが再構築されている。
[62] マージモードにおける可能な候補の組は、空間的隣接候補、時間的候補、及び生成された候補から構成されている。図２Ａは、現時点のブロック２１用０の５つの空間的候補｛ａ１，ｂ２，ｂ０，ａ０，ｂ２｝の位置を示しており、この場合に、ａ０及びａ１は、現時点のブロックの左側に位置しており、且つ、ｂ１、ｂ０、ｂ２は、現時点のブロックの上部に位置している。それぞれの候補位置ごとに、利用可能性が、ａ１、ｂ１、ｂ０、ａ０、ｂ２の順序に従ってチェックされ、且つ、次いで、候補内の冗長性が除去される。
[63] 時間的候補の導出のために、参照ピクチャ内の一纏めにされた場所の動きベクトルを使用することができる。適用可能な参照ピクチャは、スライスに基づいて選択されると共にスライスヘッダ内において通知され、且つ、時間的候補用の基準インデックスがｉｒｅｆ＝０に設定される。一纏めにされたＰＵのピクチャと一纏めにされたＰＵがそれから予測された参照ピクチャの間のＰＯＣ距離（ｔｄ）が、現時点のピクチャと一纏めにされたＰＵを含む参照ピクチャの間の距離（ｔｂ）と同一である場合には、一纏めにされた動きベクトルｍｖｃｏｌを時間的候補として直接的に使用することができる。さもなければ、スケーリングされた動きベクトルｔｂ／ｔｄ＊ｍｖｃｏｌが、時間的候補として使用される。現時点のＰＵが配置されている場所に応じて、現時点のＰＵの下部右又は中心におけるサンプル場所により、一纏めにされたＰＵが判定される。
[64] マージ候補の最大数Ｎは、スライスヘッダ内において規定されている。マージ候補の数がＮ超である場合には、最初のＮ－１個の空間的候補及び時間的候補のみが使用される。そうではなくて、マージ候補の数がＮ未満である場合には、候補の組は、既に存在している候補の組合せとしての生成された候補により、或いは、ヌル候補により、最大数Ｎまで充填される。マージモードにおいて使用される候補は、本出願においては、「マージ候補」と呼称されている場合がある。
[65] ＣＵがスキップモードを通知している場合には、マージ候補用の適用可能なインデックスは、マージ候補のリストが１超である場合にのみ、通知され、且つ、更なる情報は、ＣＵについては、コーディングされない。スキップモードにおいては、動きベクトルは、残差更新を伴うことなしに適用されている。
[66] ＡＭＶＰにおいては、ビデオエンコーダ又はデコーダは、既にコーディング済みのブロックから判定された動きベクトルに基づいて候補リストを編集している。次いで、ビデオエンコーダは、動きベクトルプレディクタ（ＭＶＰ：motion vector predictor）を識別するべく、候補リスト内においてインデックスをシグナリングし、且つ、動きベクトル差（ＭＶＤ：motion vector difference）をシグナリングしている。デコーダ側においては、動きベクトル（ＭＶ）は、ＭＶＰ＋ＭＶＤとして再構築される。また、適用可能な参照ピクチャインデックスは、ＡＭＶＰ用のＰＵシンタックスにおいて明示的にコーディングされている。
[67] ＡＭＶＰにおいては、２つの空間的モーション候補のみが選択されている。第１空間的モーション候補は、２つの組内において通知されているサーチ順序を維持しつつ、左位置｛ａ０，ａ１｝から選択され、且つ、第２のものは、上方位置｛ｂ０，ｂ１，ｂ２｝から選択されている。動きベクトル候補の数が２に等しくない場合には、時間的ＭＶ候補を含むことができる。候補の組が依然として十分に充填されていない場合には、ゼロ動きベクトルが使用される。
[68] 空間的候補の参照ピクチャインデックスが、現時点のＰＵ用の参照ピクチャインデックスに対応している（即ち、参照ピクチャリストとは独立的に、同一の参照ピクチャインデックスを使用している、或いは、両方の長期参照ピクチャを使用している）場合には、空間的候補動きベクトルが直接的に使用される。そうではなくて、両方の参照ピクチャが短期のものである場合には、候補動きベクトルは、現時点のピクチャと現時点のＰＵの参照ピクチャの間の距離（ｔｂ）及び現時点のピクチャと空間的候補の参照ピクチャの間の距離（ｔｄ）に従って、スケーリングされる。ＡＭＶＰにおいて使用されている候補は、本出願においては、「ＡＭＶＰ候補」と呼称される場合がある。
[69] 表記の容易性を目的として、エンコーダ側において「マージ」モードによって試験されたブロック又はデコーダ側において「マージ」モードによってデコーディングされたブロックは、「マージブロック」として表記され、且つ、エンコーダ側においてＡＭＶＰモードによって試験されたブロック又はデコーダ側においてＡＭＶＰモードによってデコーディングされたブロックは、「ＡＭＶＰ」ブロックと表記される。
[70] 図２Ｂは、ＡＭＶＰを使用した例示用の動きベクトル表現を示している。エンコーディング対象の現時点のブロック２４０の場合には、動きベクトル（ＭＶｃｕｒｒｅｎｔ）は、モーション推定を通じて取得することができる。左ブロック２３０からの動きベクトル（ＭＶｌｅｆｔ）及び上方ブロック２２０からの動きベクトル（ＭＶａｂｏｖｅ）を使用することにより、ＭＶｌｅｆｔ及びＭＶａｂｏｖｅから、ＭＶＰｃｕｒｒｅｎｔとして、動きベクトルプレディクタを選択することができる。次いで、動きベクトル差をＭＶＤｃｕｒｒｅｎｔ＝ＭＶｃｕｒｒｅｎｔ－ＭＶＰｃｕｒｒｅｎｔとして算出することができる。
[71] 予測用の１つ又は複数の参照ピクチャを使用することにより、動き補償予測を実行することができる。Ｐ個のスライスにおいては、単一の予測基準のみをインター予測のために使用することにより、予測ブロック用の単方向予測を可能にすることができる。Ｂ個のスライスにおいては、２つの参照ピクチャリストが利用可能であり、且つ、単方向予測又は双方向予測を使用することができる。双方向予測においては、参照ピクチャリストのそれぞれからの１つの参照ピクチャが使用される。
[72] ＨＥＶＣにおいては、動き補償用のモーション情報の精度は、ｌｕｍａ成分の場合には、４分の１サンプルであり（４分の１ペル又は１／４ペルとも呼称される）、且つ、４：２：０構成用のクロマ成分の場合には、８分の１サンプルである（１／８ペルとも呼称される）。ｌｕｍａの場合には、７タップ又は８タップ補間フィルタが、端数のサンプル位置の補間のために使用され、即ち、水平方向及び垂直方向の両方におけるフルサンプル場所の１／４、１／２、及び３／４をアドレス指定することができる。
[73] 次いで、予測残差が変換され（１２５）、且つ、量子化されている（１３０）。ビットストリームを出力するべく、量子化された変換係数のみならず、動きベクトル及びその他のシンタックス要素も、エントロピーコーディングされる（１４５）。また、エンコーダは、変換をスキップすることができると共に、４×４ＴＵ方式により、量子化を変換されていない残留信号に対して直接的に適用することができる。また、エンコーダは、変換及び量子化の両方をバイパスしてもよく、即ち、変換又は量子化プロセスの適用を伴うことなしに、残差が直接的にコーディングされる。直接的なＰＣＭコーディングにおいては、予測が適用されず、且つ、コーディングユニットサンプルが、ビットストリーム内に直接的にコーディングされている。
[74] エンコーダは、更なる予測用の基準を提供するべく、エンコーディング済みのブロックをデコーディングしている。予測残差をデコーディングするべく、量子化された変換係数が、逆量子化され（１４０）、且つ、逆変換される（１５０）。デコーディングされた予測残差及び予測されたブロックを組み合わせることにより（１５５）、画像ブロックが再構築されている。例えば、エンコーディングアーチファクトを低減するために、デブロッキング／ＳＡＯ（Sample Adaptive Offset）フィルタリングを実行するべく、インループフィルタ（１６５）が、再構築済みのピクチャに適用されている。フィルタリング済みの画像は、参照ピクチャバッファにおいて保存されている（１８０）。
[75] 図３は、例示用のＨＥＶＣビデオデコーダ３００のブロック図を示している。例示用のデコーダ３００においては、ビットストリームは、後述するデコーダ要素により、デコーディングされている。ビデオデコーダ３００は、一般に、ビデオデータのエンコーディングの一部分としてビデオデコーディングを実行する、図１において記述されているエンコーディングパスとは反対のデコーディングパスを実行している。
[76] 具体的には、デコーダの入力は、ビデオエンコーダ１００によって生成されうるビデオビットストリームを含む。ビットストリームは、変換効率、動きベクトル、及びその他のコーディング済みの情報を取得するべく、まずは、エントロピーデコーディングされている（３３０）。予測残差をデコーディングするべく、変換係数が、逆量子化され（３４０）、且つ、逆変換されている（３５０）。デコーディングされた予測残差及び予測されたブロックを組み合わせることにより（３５５）、画像ブロックが再構築されている。予測されたブロックは、イントラ予測（３６０）又は動き補償された予測（即ち、インター予測）（３７５）から取得することができる（３７０）。上述のように、基準ブロックのサブ整数サンプル用の補間された値を算出するべく補間フィルタを使用しうる動き補償用の動きベクトルを導出するべく、ＡＭＶＰ及びマージモード技法を使用することができる。インループフィルタ（３６５）が、再構築された画像に適用されている。フィルタリング済みの画像は、参照ピクチャバッファ（３８０）において保存される。
[77] 上述のように、ＨＥＶＣにおいては、ビデオの連続的なピクチャの間に存在している冗長性を活用するべく、動き補償された時間的予測が使用されている。これを実行するべく、動きベクトルは、それぞれの予測ユニット（ＰＵ）と関連付けられている。上述のように、それぞれのＣＴＵは、圧縮されたドメインにおいて、コーディングツリーによって表されている。これは、ＣＴＵの四分木分割であり、この場合に、それぞれのリーフは、コーディングユニット（ＣＵ）と呼称され、且つ、ＣＴＵ４１０及び４２０について、図４においても示されている。次いで、それぞれのＣＵには、予測情報として、いくつかのイントラ又はインター予測パラメータが付与されている。これを実行するべく、ＣＵは、１つ又は複数の予測ユニット（ＰＵ）として空間的にパーティション化されてもよく、この場合に、それぞれのＰＵには、なんらかの予測情報が割り当てられている。イントラ又はインターコーディングモードが、ＣＵレベルにおいて割り当てられている。これらの概念は、図５において、例示用のＣＴＵ５００及びＣＵ５１０について更に示されている。
[78] ＨＥＶＣにおいては、１つの動きベクトルが、それぞれのＰＵに対して割り当てられている。この動きベクトルは、対象のＰＵの動き補償された時間的予測のために使用される。従って、ＨＥＶＣにおいては、予測されたブロック及びその基準ブロックをリンクするモーションモデルは、基準ブロック及び対応する動きベクトルに基づいた平行移動又は計算から構成されている。
[79] ＨＥＶＣに対して改善を実施するべく、基準ソフトウェア及び／又は文献であるＪＥＭ（Joint Exporation Model）が、Joint Video Exploration Team(JVET)によって開発されている。１つのＪＥＭバージョン（即ち、“Algorithm Description of Joint Exploration Test Model 5”, Document JVET-E1001_v2, Joint Video Exploration Team of ISO/IEC JTC1/SC29/WG11, 5rd meeting, 12-20 January 2017, Geneva, CH）においては、時間的予測を改善するべく、いくつかの更なるモーションモデルがサポートされている。これを実行するべく、ＰＵをサブＰＵに空間的に分割することが可能であり、且つ、専用の動きベクトルをそれぞれのサブＰＵに割り当てるべく、モデルを使用することができる。
[80] ＪＥＭの更に最近のバージョン（例えば、“Algorithm Description of Joint Exploration Test Model 2”, Document JVET-B1001_v3, Joint Video Exploration Team of ISO/IEC JTC1/SC29/WG11, 2rd meeting, 20-26 February 2016, San Diego, USA”）においては、ＣＵは、もはや、ＰＵ又はＴＵに分割されるものとして規定されてはいない。その代わりに、相対的に柔軟なＣＵサイズが使用されてもよく、且つ、なんらかのモーションデータがそれぞれのＣＵに直接的に割り当てられている。ＪＥＭの相対的に新しいバージョンにおける、この新しいコーデック設計においては、ＣＵは、サブＣＵに分割することができると共に、分割されたＣＵのそれぞれのサブＣＵについて、動きベクトルを演算することができる。
[81] ＪＥＭにおいて導入された新しいモーションモデルの１つは、ＣＵ内の動きベクトルを表すための、モーションモデルとしてのアファインモデルの使用である。使用されるモーションモデルが、図６において示され、且つ、以下において示される式１により、表されている。アファインモーションフィールドは、図６の対象のブロック６００の内側のそれぞれの位置（ｘ，ｙ）において以下の動きベクトルコンポーネント値を有しており、
Figure 2023100843000003
 この場合に、
Figure 2023100843000004
 及び
Figure 2023100843000005
 は、対応するモーションフィールドを生成するべく使用される制御ポイント動きベクトル（ＣＰＭＶ）であり、（ｖ０ｘ，ｖ０ｙ）は、エンコーディング又はデコーディングされるブロックの上部左コーナーの制御ポイント動きベクトルに対応し、（ｖ１ｘ，ｖ１ｙ）は、エンコーディング又はデコーディングされるブロックの上部右コーナーの制御ポイント動きベクトルに対応し、且つ、ｗは、エンコーディング又はデコーディングされるブロックの幅である。
[82] 複雑さを低減するべく、動きベクトルは、図７に示されているように、対象のＣＵ７００のそれぞれの４×４サブブロック（サブＣＵ）ごとに、演算されている。アファイン動きベクトルは、それぞれのサブブロックのそれぞれの中心位置ごとに、制御ポイント動きベクトルから演算されている。得られたＭＶは、１／１６ペルの精度において表されている。この結果、アファインモードにおけるコーディングユニットの補償は、その独自の動きベクトルによるそれぞれのサブブロックの動き補償された予測を有する。サブブロック用のこれらの動きベクトルは、図７のサブブロックのそれぞれにごとに矢印として個別に示されている。
[83] アファイン動き補償は、ＪＥＭにおいては、アファインＡＭＶＰ（ＡＦ＿ＡＭＶＰ）モード及びアファインマージモードという、２つの方式により、使用することができる。以下の節においては、これらについて紹介する。
[84] アファインＡＭＶＰモード：アファインＡＭＶＰモードにおいては、そのサイズが８×８超であるＡＭＶＰモードにおけるＣＵを予測することができる。これは、ビットストリーム内のフラグを通じてシグナリングされる。このＡＭＶＰ－ＣＵ用のアファインモーションフィールドの生成は、制御ポイント動きベクトル（ＣＰＭＶ）を判定することを含み、これらのＣＰＭＶは、動きベクトル差及び制御動きベクトル予測（ＣＰＭＶＰ）の追加を通じて、エンコーダ又はデコーダにより、取得される。ＣＰＭＶＰは、エンコーディング又はデコーディングされる現時点のＣＵ８００について図８Ａに示されている組（Ａ，Ｂ，Ｃ）及び（Ｄ，Ｅ）からそれぞれ取得された、動きベクトル候補のペアである。
[85] アファインマージモード：アファインマージモードにおいては、ＣＵレベルのフラグが、マージＣＵがアファイン動き補償を利用しているかどうかを通知している。利用している場合には、アファインモードにおいてコーディングされた最初の利用可能隣接ＣＵが、エンコーディング又はデコーディングされる現時点のＣＵ８８０用の図８Ｂの候補位置Ａ、Ｂ、Ｃ、Ｄ、Ｅの順序付けされた組のうちにおいて選択される。ＪＥＭにおける候補位置の、この順序付けされた組は、図２Ａにおいて示されている、且つ、上述した、ＨＥＶＣのマージモードにおける空間的隣接候補と同一であることに留意されたい。
[86] アファインモードにおける最初の隣接ＣＵが取得されたら、隣接アファインＣＵの上部左、上部右、及び下部左コーナーからの３つのＣＰＭＶ
Figure 2023100843000006
 が、取得又は算出される。例えば、図９は、アファインモードにおけるこの最初の判定された隣接ＣＵ９１０が、エンコーディング又はデコーディングされる現時点のＣＵ９００の場合に、図８ＢのＡ位置にあることを示している。隣接ＣＵ９１０のこれら３つのＣＰＭＶに基づいて、現時点のＣＵ９００の上部左及び上部右コーナーの２つのＣＰＭＶは、以下のように導出される。
Figure 2023100843000007
[87] 現時点のＣＵの制御ポイント動きベクトルである
Figure 2023100843000008
 及び
Figure 2023100843000009
 が取得された際に、エンコーディング又はデコーディングされる現時点のＣＵの内側のモーションフィールドは、図６との関連において上述したように、式１のモデルを通じて、４×４サブＣＵ方式により、演算される。
[88] 従って、少なくとも１つの実施形態の一般的な一態様は、対象のビデオコーデックの圧縮性能が改善されうるように、ＪＥＭにおけるアファインマージモードの性能を改善することを目的としている。従って、少なくとも１つの実施形態においては、改善された動き補償装置及び方法が、アファインマージモードにおいてコーディングされたコーディング／デコーディングユニットについて提示されている。提案されている改善されたアファインモードは、隣接ＣＵがアファインモードにおいてコーディングされているかどうかとは無関係に、アファインマージモードにおいてプレディクタ候補の組を判定することを含む。
[89] 上述のように、現時点のＪＥＭにおいては、アファインマージモードにおいてエンコーディング又はデコーディングされる現時点のＣＵと関連するアファインモーションモデルを予測するべく、取り囲んでいるＣＵのうちのアファインモードにおいてコーディングされた第１隣接ＣＵが選択されている。即ち、アファインマージモードにおいて現時点のＣＵのアファインモーションモデルを予測するべく、アファインモードにおいてコーディングされた図８Ｂの順序付けされた組（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）のうちの第１の隣接ＣＵ候補が選択される。
[90] 従って、少なくとも１つの実施形態は、アファインマージ予測候補を改善し、これにより、ＣＰＭＶＰとして使用される隣接ブロックの動きベクトルから新しいモーションモデル候補を生成することにより、アファインマージモードにおいて現時点のＣＵをコーディングする際に、最良のコーディング効率を提供している。また、シグナリングされたインデックスからプレディクタを取得するべくマージにおいてデコーディングする際には、ＣＰＭＶＰとして使用される隣接ブロックの動きベクトルから生成された、対応する新しいモーションモデル候補も、判定されている。従って、一般的なレベルにおいて、この実施形態の改善は、例えば、
・隣接ＣＵがアファインモードにおいて（エンコーダ／デコーダについて）コーディングされるかどうかとは無関係に、隣接ＣＵモーション情報に基づいて、単方向又は双方向アファインマージプレディクタ候補の組を構築すること、
・例えば、（エンコーダ／デコーダについて）上部左（ＴＬ）ブロック及び上部右（ＴＲ）又は下部左（ＢＬ）などの、２つの隣接ブロックのみから制御ポイント動きベクトルを選択することにより、アファインマージプレディクタ候補の組を構築すること、
・プレディクタ候補を評価する際に、（エンコーダ／デコーダについて）双方向プレディクタ候補との比較において単方向プレディクタ候補用のペナルティを追加すること、
・（エンコーダ／デコーダについて）隣接ブロックがアファインコーディングされている場合にのみ、隣接ブロックを追加すること、
・及び／又は、
・（エンコーダ／デコーダについて）現時点のＣＵの制御ポイント動きベクトルプレディクタ用に使用されるモーションモデルの通知をシグナリング／デコーディングすること、
を有する。
[91] マージモードに基づいたエンコーディング／デコーディング方法について記述されているが、本原理は、ＡＭＶＰ（即ち、アファイン＿インター）モードにも適用される。有利には、プレディクタ候補の生成用の様々な実施形態は、アファインＡＭＶＰについて明白に導出可能である。
[92] 本原理は、有利には、図１のモーション推定モジュール１７５及び動き補償モジュール１７０内のエンコーダ内において、或いは、図２の動き補償モジュール２７５内のデコーダ内において、実装される。
[93] 従って、図１０は、少なくとも１つの実施形態の一般的な一態様による例示用のエンコーディング方法１０００を示している。１０１０において、方法１０００は、ピクチャ内のエンコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定している。例えば、図１２に示されているように、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇのうちの、エンコーディングされるブロックＣＵの隣接ブロックが判定される。１０２０において、方法１０００は、ピクチャ内のエンコーディングされるブロックについて、空間的隣接ブロックからアファインマージモード用のプレディクタ候補の組を判定している。このような判定用の更なる詳細については、図１１との関係において以下に付与されている。ＪＥＭアファインマージモードにおいては、アファインモードにおいてコーディングされた、図１２において表されている、順序付けされたリストＦ、Ｄ、Ｅ、Ｇ、Ａからの第１隣接ブロックが、プレディクタとして使用されている一方で、本実施形態の一般的な一態様によれば、複数のプレディクタ候補が、アファインマージモードについて評価されており、この場合に、隣接ブロックは、隣接ブロックがアファインモードにおいてコーディングされているかどうかとは無関係に、プレディクタ候補として使用することができる。本実施形態の特定の一態様によれば、プレディクタ候補は、１つ又は複数の対応する制御ポイント動きベクトル及び１つの参照ピクチャを有する。参照ピクチャは、１つ又は複数の対応する制御ポイント動きベクトルとの関係における動き補償に基づいた少なくとも１つの空間的隣接ブロックの予測のために使用されている。参照ピクチャ及び１つ又は複数の対応する制御ポイント動きベクトルは、空間的隣接ブロックのうちの少なくとも１つと関連するモーション情報から導出されている。当然のことながら、動き補償予測は、単方向又は双方向予測に従って、予測用の１つ又は２つの参照ピクチャを使用することにより、実行することができる。従って、（非アファインモード、即ち、１つの動きベクトルを有する平行移動モード、のケースにおける）参照ピクチャ及び動きベクトル／（アファインモードのケースにおける）制御ポイント動きベクトルがそれから導出されたモーション情報を保存するべく、２つの参照ピクチャリストが利用可能である。非アファインモーション情報のケースにおいては、１つ又は複数の対応する制御ポイント動きベクトルは、空間的隣接ブロックの動きベクトルに対応している。アファインモーション情報のケースにおいては、１つ又は複数の対応する制御ポイント動きベクトルは、例えば、空間的隣接ブロックの制御ポイント動きベクトルである
Figure 2023100843000010
 及び
Figure 2023100843000011
 に対応している。有利には、本実施形態においては、動き補償が改善されており、その理由は、少なくとも１つの空間的隣接ブロックに関連するモーション情報が非アファインモーション情報を更に有しているからである。１０３０において、方法１０００は、エンコーディングされるブロックについて、それぞれのプレディクタ候補の１つ又は複数の対応する制御ポイント動きベクトルに基づいて、プレディクタ候補用のモーションモデルに基づいたモーションフィールドを判定しており、この場合に、モーションフィールドは、エンコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別している。１０４０において、方法１０００は、それぞれのプレディクタ候補について判定されたモーションフィールドに応答して、予測に関するレート歪判定に基づいてプレディクタ候補の組からプレディクタ候補を選択している。実際に、アファインマージモードについて、図１５において、後から開示されるように、１０４０において、方法１０００は、１つ又は複数の基準に従って、且つ、対応するモーションフィールドに基づいて、プレディクタ候補を選択している。例えば、方法１０００は、１０３０において判定されたモーションフィールドを使用することにより、アファインマージモードにおいてブロックをエンコーディングするためのレート歪費用を推定すると共に、レート歪費用を選択されたプレディクタ候補との関連において保存している。方法は、プレディクタ候補の組のすべてのプレディクタ候補について推定を反復している。方法１０００は、評価、即ち、レート歪判定、に基づいて、プレディクタ候補の組からプレディクタ候補を選択している。例えば、エンコーディングされるブロックについて最低のレート歪費用を提供するプレディクタ候補が選択される。当然のことながら、ここでは詳述されていない一変形においては、その選択されたプレディクタ用のアファインマージコーディングモードは、エンコーディング対象のブロックのコーディングモードを判定するべく、更なるＲＤ競争に晒されている。１０５０において、方法１０００は、１０４０において選択されたプレディクタ候補に基づいてブロックをエンコーディングしている。１０６０において、方法１０００は、１０４０において選択されたプレディクタ候補のインデックスをエンコーディングしている。このインデックスは、プレディクタ候補の組からプレディクタ候補を取得するべく、デコーダによって使用される。
[94] 図１１は、特に、隣接ブロックが非アファインモーション情報を有する際に適合された、少なくとも１つの実施形態の一態様による、エンコーディング方法１０００のマージモード用のプレディクタ候補の組の判定１０２０の例示用の詳細を示している。但し、方法は、アファインモーション情報を有する隣接ブロックとの間において互換性を有している。当業者は、隣接ブロックがアファインモデルによってコーディングされているケースにおいては、図９を参照して先程詳述したように、アファインモード用のプレディクタ候補を判定するべく、アファインコーディングされた隣接ブロックのモーションモデルが使用されうることを理解するであろう。１０２１において、エンコーディング対象のブロックのうちの少なくとも１つの隣接ブロックを考慮することにより、エンコーディング対象のブロックとの関係においてブロックの空間的位置に基づいて、３つのリストが判定されている。例えば、図１２のブロックＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇを考慮することにより、隣接する上部左コーナーブロックＡ、Ｂ、Ｃを有する、上部左リストと呼称される、第１リストが生成され、隣接する上部右コーナーブロックＤ、Ｅを有する、上部右リストと呼称される、第２リストが生成され、且つ、隣接する下部左コーナーブロックＦ、Ｇを有する、第３リストが生成される。少なくとも１つの実施形態の第１の態様によれば、空間的隣接ブロックのトリプレットが選択されており、この場合に、トリプレットのそれぞれの空間的隣接ブロックは、個々に、上部左リスト、上部右リスト、及び下部左リストに属しており、且つ、この場合に、前記トリプレットのそれぞれの空間的隣接ブロックの予測について使用される参照ピクチャは、同一である。従って、トリプレットは、｛Ａ，Ｂ，Ｃ｝、｛Ｄ，Ｅ｝、｛Ｆ，Ｇ｝の選択に対応している。１０２２において、動き補償用のトリプレットのそれぞれの隣接ブロック用の同一の参照ピクチャの使用法に基づいて、１２個の可能なトリプレット｛Ａ，Ｂ，Ｃ｝，｛Ｄ，Ｅ｝，｛Ｆ，Ｇ｝のうちの第１の選択が適用されている。従って、トリプレットＡ、Ｄ、Ｆのみが選択されており、この場合に、（参照ピクチャリストにおいて、そのインデックスによって識別された）同一の参照ピクチャが、隣接ブロックＡ、Ｄ、及びＦの予測のために使用されている。この第１の基準は、予測におけるコヒーレンスを保証している。１０２３において、現時点のＣＵの１つ又は複数の制御ポイント動きベクトルである
Figure 2023100843000012
 が、個々の隣接ブロックのモーション情報に基づいて取得されている。従って、エンコーディングされるブロックＣＵの上部左コーナーの制御ポイント動きベクトルである
Figure 2023100843000013
 が、トリプレットの上部左隣接ブロック、即ち、Ａ、Ｂ、又はＣ、のモーション情報に基づいて判定されている。エンコーディングされるブロックＣＵの上部右コーナーの制御ポイント動きベクトルである
Figure 2023100843000014
 が、トリプレットの上部右隣接ブロック、即ち、Ｄ又はＥ、のモーション情報に基づいて判定されている。エンコーディングされるブロックＣＵの下部左コーナーの制御ポイント動きベクトルである
Figure 2023100843000015
 が、トリプレットの下部左隣接ブロック、即ち、Ｆ又はＧ、のモーション情報に基づいて判定されている。エンコーディング対象のブロック用のプレディクタ候補として、隣接ブロックの異なる組合せが付与されている場合には、最大で１２個のＣＰＭＶＰが取得される。例えば、トリプレット内のブロックＡが、アファインコーディングされていないケースにおいては、制御ポイント動きベクトルである
Figure 2023100843000016
 は、（ＨＥＶＣにおいて知られているように）ブロックＡの動きベクトルである
Figure 2023100843000017
 に基づいて導出され、即ち、
Figure 2023100843000018
 である。ブロックＡがアファインコーディングされている場合には、制御ポイント動きベクトルである
Figure 2023100843000019
 は、例えば、式２によって記述されているように、ブロックＡの制御ポイント動きベクトルに基づいて導出される。対応する隣接上部右及び下部左ブロックに基づいて現時点のＣＵの制御動きベクトルである
Figure 2023100843000020
 及び
Figure 2023100843000021
 を判定するべく、同一の原理が適用される。従って、第１の態様においては、３つの制御ポイント動きベクトルが、１２個のＣＰＭＶＰのうちのプレディクタ候補について生成される。当業者は、予測は、単方向又は双方向でありうることから、プレディクタ候補用の制御ポイント動きベクトルの判定は、それぞれの参照ピクチャリストＬ０及びＬ１について反復されることを理解するであろう。１０２５において、それぞれの候補用の（且つ、それぞれの参照ピクチャリストＬ０及びＬ１用の）これら３つのＣＰＭＶが、マージモードのためのＣＰＭＶＰ候補の組内において保存されている。一変形によれば、マージモード用のＣＰＭＶＰ候補の組内のＣＰＭＶＰ候補の数は、制限されており（例えば、５つのプレディクタ候補又は７つのプレディクタ候補）、従って、それぞれの候補用のＣＰＭＶは、組が一杯になっていない間に、トリプレットの既定の順序に従って判定されるのに伴って、保存されている。残りのトリプレットは、破棄される。
[95] １０２４においては、候補ＣＰＭＶＰのうちにおける任意選択の第２の選択が、１つ又は複数の基準に基づいて適用されている。第１基準に従って、候補ＣＰＭＶＰは、式３を使用した検証のために、高さＨ及び幅Ｗのエンコーディング対象のブロックについて更にチェックされており、且つ、この場合に、Ｘ及びＹは、それぞれ、動きベクトルの水平方向及び垂直方向成分である。
Figure 2023100843000022
[96] 従って、この変形においては、１０２５において、プレディクタ候補の組が一杯になっていない間は、これらの有効なＣＰＭＶＰがマージモード用のＣＰＭＶＰ候補の組内において保存される。次いで、第２基準に従って、有効候補ＣＰＭＶＰは、（位置Ｆ又はＧから取得される）下部左動きベクトルである
Figure 2023100843000023
 の値に応じて、ソートされている。最も近接した
Figure 2023100843000024
 は、
Figure 2023100843000025
 と同一の位置における４×４サブブロック用のアファインモーションモデルによって付与されるベクトルに対するものであり、相対的に良好なものは、ＣＰＭＶＰである。この制約は、例えば、以下の式４によって実装される。
Figure 2023100843000026
[97] 双方向予測のケースにおいては、式４を使用することにより、費用が、それぞれのＣＰＭＶＰ及びそれぞれの参照ピクチャリストＬ０及びＬ１について演算される。それぞれのプレディクタ双方向候補ごとに、単方向プレディクタ候補を双方向プレディクタ候補と比較するべく、ＣＰＭＶＰの費用は、そのリストＬ０に関係するＣＰＭＶＰ費用とそのリストＬ１に関係するＣＰＭＶＰ費用の平均である。この変形によれば、１０２５において、有効なＣＰＭＶＰの順序付けされた組は、それぞれの参照ピクチャリストＬ０及びＬ１ごとに、マージモード用のＣＰＭＶＰ候補の組内において保存されている。
[98] 図１１に示されているエンコーディング方法１０００のマージモード１０２０用のプレディクタ候補の組の判定の少なくとも１つの実施形態の第２の態様によれば、プレディクタ候補用の３つの制御モーションポイントベクトルを判定するための隣接ブロックのうちのトリプレットの使用の代わりに、判定は、２つの制御モーションポイントベクトルを判定するための隣接ベクトルのうちのペア、即ち、プレディクタ候補用の
Figure 2023100843000027
 及び
Figure 2023100843000028
 、或いは、
Figure 2023100843000029
 及び
Figure 2023100843000030
 を使用している。この場合にも、隣接ブロックの異なる組合せが付与された場合に、最大で１２個のＣＰＭＶＰが取得され、即ち、
Figure 2023100843000031
 用の３に
Figure 2023100843000032
 用の２を乗算したものと、
Figure 2023100843000033
 用の３に
Figure 2023100843000034
 用の２を乗算したものと、である。以前の態様におけると同様に、１０２２においては、（参照ピクチャリストにおいて、そのインデックスによって識別された）同一の参照ピクチャが、隣接ブロックＡ及びＤの予測のために使用されているケースにおいては、ペア（例えば、Ａ、Ｄ）が選択されている。１０２３においては、現時点のＣＵの２つの制御ポイント動きベクトルである
Figure 2023100843000035
 及び
Figure 2023100843000036
 が、ペアの個々の隣接するブロックＡ及びＤのモーション情報に基づいて取得されている。従って、エンコーディングされるブロックＣＵの上部左コーナーの制御ポイント動きベクトルである
Figure 2023100843000037
 が、ペアの上部左隣接ブロック、即ち、例においては、Ａ、のモーション情報に基づいて判定される。エンコーディングされるブロックＣＵの上部右コーナーの制御ポイント動きベクトルである
Figure 2023100843000038
 が、トリプレットの上部右隣接ブロック、即ち、この例においては、Ｄ、のモーション情報に基づいて判定される。式１から、本発明者らは、
Figure 2023100843000039
 及び
Figure 2023100843000040
 から
Figure 2023100843000041
 を演算するべく、以下の式５を導出することができる。
Figure 2023100843000042
[99] これに加えて、上部左リスト｛Ａ，Ｂ，Ｃ｝及び下部左リスト｛Ｆ，Ｇ｝のうちのペアを考慮することにより、現時点のＣＵの２つの制御ポイント動きベクトルである
Figure 2023100843000043
 及び
Figure 2023100843000044
 が、ペアの上部左コーナー及び下部左コーナー隣接ブロックの個々の隣接ブロックのモーション情報に基づいて取得される。取得された
Figure 2023100843000045
 及び
Figure 2023100843000046
 に基づいて、本発明者らは、
Figure 2023100843000047
 及び
Figure 2023100843000048
 から
Figure 2023100843000049
 を演算するべく、以下の式６を導出することができる。
Figure 2023100843000050
[100] 式１によって記述されているように、且つ、図６及び図７において示されているように、標準的なアファインモーションモデルは、上部左及び上部右制御ポイント動きベクトルである
Figure 2023100843000051
 及び
Figure 2023100843000052
 に基づいていることから、２つの制御ポイント動きベクトルが上部左及び下部左ＣＰＭＶ
Figure 2023100843000053
 及び
Figure 2023100843000054
 である変形においては、図６及び図７において示されているように、ＣＰＭＶを取得するべく、
Figure 2023100843000055
 を演算する必要がある。但し、２つの制御ポイント動きベクトルが上部左及び上部右ＣＰＭＶ
Figure 2023100843000056
 及び
Figure 2023100843000057
 である変形においては、式５を使用した
Figure 2023100843000058
 の演算は、破棄することができる。
[101] これに加えて、２つのＣＰＭＶを判定するべく隣接ブロックのペアに基づいた第２の態様は、（式５又は式６による）第３ＣＰＭＶが、第１の２つのＣＰＭＶとは独立的に判定されていないことから、その個々のＣＰＭＶに基づいたプレディクタ候補の評価１０２４とは互換性を有していないことに留意されたい。従って、式３の有効性チェック及び式４の費用関数は、スキップされ、且つ、１０２３において判定されたＣＰＭＶＰは、なんらのソーティングをも伴うことなしに、アファインマージモードについては、プレディクタ候補の組に追加される。
[102] これに加えて、２つのＣＰＭＶを判定するための隣接ブロックのペアに基づいた第２の態様の一変形によれば、まず、双方向アファインマージ候補の使用が、プレディクタ候補の組内において双方向候補を追加することにより、単方向アファインマージ候補よりも優先されている。この結果、アファインマージモード用のプレディクタ候補の組内において追加された双方向候補の最大値を得ることが保証されている。
[103] マージモード用のプレディクタ候補の組の判定１０２０の少なくとも１つの実施形態の第１及び第２の態様の１つのバージョンにおいては、新しいアファインモーション候補を生成するべく、アファイン隣接ブロックのみが使用されている。換言すれば、上部左ＣＰＭＶ、上部右ＣＰＭＶ、及び下部左ＣＰＭＶの判定は、個々の上部左隣接ブロック、上部右隣接ブロック、及び下部左隣接ブロックのモーション情報に基づいている。このケースにおいては、少なくとも１つの空間的隣接ブロックに関連するモーション情報は、アファインモーション情報のみを有する。この変形は、選択されたアファイン隣接ブロックのモーションモデルが、エンコーディング対象のブロックに拡張されている、という点においてＪＥＭアファインマージモードと異なっている。
[104] マージモード１０２０用のプレディクタ候補の組の判定の少なくとも１つの実施形態の第１及び第２の態様の別の変形においては、１０３０において、上部左ＣＰＭＶ
Figure 2023100843000059
 及び
上部右ＣＰＭＶ
Figure 2023100843000060
 に基づいた標準的なアファインモーションモデルの代わりに、モーションフィールドを判定するべく、上部左ＣＰＭＶ
Figure 2023100843000061
 及び下部左ＣＰＭＶ
Figure 2023100843000062
 に基づいた新しいアファインモーションモデルが定義されている。図６及び図７は、式１によって記述されている、所謂、標準的アファインモーションを示している。図１４は、それぞれの４×４サブブロック用の動きベクトルがＣＰＭＶ
Figure 2023100843000063
 及び
Figure 2023100843000064
 から演算されうる、式７によって記述されている新しいアファインモーションモデルを示している。
Figure 2023100843000065
[105] この変形は、上部左及び下部左隣接ブロックのペアに基づいた実施形態に対して特に十分に適合されており、この場合に、上部左及び下部左ＣＭＰＶ
Figure 2023100843000066
 及び
Figure 2023100843000067
 が、プレディクタ候補のために判定されている。有利には、上部右ＣＭＰＶ
Figure 2023100843000068
 を演算するニーズが存在してはおらず、アファインモーションモデルは、ＣＰＭＶとして
Figure 2023100843000069
 を直接的に使用している。
[106] これに加えて、この変形は、アファインマージモードにおけるプレディクタ候補の組用の更なるＣＰＭＶＰを提供しており、ＣＰＭＶ
Figure 2023100843000070
 を有するＣＰＭＶＰ及びＣＰＭＶ
Figure 2023100843000071
 を有するＣＰＭＶＰがプレディクタ候補の組に追加されている。１０４０において、レート歪競争が、
Figure 2023100843000072
 ＣＰＭＶに基づいたプレディクタ候補と
Figure 2023100843000073
 ＣＰＭＶに基づいたプレディクタ候補の間において発生している。アファインマージモード用のＣＰＭＶＰの導出が、ＣＰＭＶＰ用の費用を演算するためにのみ、ベクトル
Figure 2023100843000074
 を使用している、記述されている実施形態のいくつかの態様とは異なり、いくつかのケースにおいては、ＣＰＭＶとして
Figure 2023100843000075
 を使用することにより、相対的に良好な予測を取得することができる。従って、このようなモーションモデルは、使用されるＣＰＭＶを定義する必要がある。このケースにおいては、本発明者らが制御ポイント動きベクトルとして
Figure 2023100843000076
 又は
Figure 2023100843000077
 のいずれを使用するのかを通知するべく、フラグがビットストリームに追加される。
Figure 2023100843000078
[107] control_point_horizontal_l0_flag[ x0 ][ y0 ]は、エンコーディングされるブロック、即ち、現時点の予測ブロック、用のリストＬ０について使用される制御ポイントを規定している。アレイインデックスｘ０、ｙ０は、ピクチャの上部左ｌｕｍａサンプルとの関係における対象の予測ブロックの上部左ｌｕｍａサンプルの場所（ｘ０，ｙ０）を規定している。フラグが１に等しい場合には、
Figure 2023100843000079
 がＣＰＭＶとして使用され、それ以外の場合には、
Figure 2023100843000080
 が使用されている。
[108] マージモード用のプレディクタ候補の組の判定１０２０の少なくとも１つの実施形態の第１及び第２の態様の別の変形においては、１０３０において、上部左ＣＰＭＶ
Figure 2023100843000081
 及び下部左ＣＰＭＶ
Figure 2023100843000082
 に基づいた新しいアファインモーションモデル、或いは、上部左ＣＰＭＶ
Figure 2023100843000083
 及び上部右ＣＰＭＶ
Figure 2023100843000084
 に基づいた標準的なアファインモーションモデル、が、取り囲んでいる利用可能な情報から、黙示的に導出される。例えば、ＣＰＭＶの相対的に高度な精度を得るべく、本発明者らは、ブロックの幅が高さ超である場合には、
Figure 2023100843000085
 を使用することができると共に、ブロックの高さが幅超である場合には、
Figure 2023100843000086
 を使用することができる。
[109] 図１５は、ＪＥＭの既存のアファインマージモードにおいてエンコーディング又はデコーディングされる現時点のＣＵのアファインモーションフィールドを予測するべく使用されるプロセスシンタックス１５００の一実施形態の詳細を示している。このプロセス／シンタックス１５００への入力１５０１は、図７に示されているサブブロックのアファインモーションフィールドの生成が所望されている現時点のコーディングユニットである。ＲＤ費用に基づいてプレディクタ候補を選択するべく、上述の少なくとも１つの実施形態の（双方向プレディクタである
Figure 2023100843000087
 及び
Figure 2023100843000088
 ＣＰＭＶなどの）それぞれの態様に適合されたプロセス／シンタックス１５００のプロセス／シンタックスをアファインマージモード用のプレディクタ候補の組のそれぞれのプレディクタ候補について使用することができる。従って、１５１０においては、例えば、図１３及び図１４との関連において上述したように、現時点のブロック用のアファインマージＣＰＭＶが、プレディクタ候補について取得されている。次いで、１５２０においては、現時点のＣＵと関連するアファインモーションフィールドを演算するべく、上部左及び上部右制御ポイント動きベクトルである
Figure 2023100843000089
 及び
Figure 2023100843000090
 が使用されている。これは、上述のように、式１に従ってそれぞれの４×４サブブロックについて動きベクトルを演算することを有する。１５３０及び１５４０においては、モーションフィールドが現時点のＣＵについて取得されたら、４×４サブブロックに基づいた動き補償と、その後の、ＯＢＭＣ（Overlapped Block Motion Compensation）と、を伴う、現時点のＣＵの時間的予測が発生している。１５５０及び１５６０においては、残差データと共に、又はこれを伴うことなしに、現時点のＣＵが連続的にコーディング及び再構築されている。例えば、１５５０においては、まず、現時点のＣＵが、残差コーディングを伴うことなしに、イントラモードを使用することにより、コーディングされている。次いで、１５６０において、現時点のＣＵをエンコーディングするための最良の方法（例えば、最小のレート歪費用を有する方法）が選択されており、この結果、アファインマージモードにおける現時点のＣＵのコーディングが提供される。次いで、アファインマージコーディングモードは、対象のビデオコーディングシステム内の現時点のＣＵにとって利用可能である（例えば、残留コーディングを有するＡＭＶＰモードを含む）その他のコーディングモードとの間におけるレート歪（ＲＤ）競争に晒される。ＲＤ競争に基づいて、モードが選択され、且つ、このモードは、現時点のＣＵをエンコーディングするべく使用され、且つ、様々な実施形態においては、このモード用のインデックスも、エンコーディングされている。
[110] 少なくとも１つの実装形態においては、残差フラグが使用されている。１５５０において、フラグが起動され、これにより、コーディングが残差データを伴って実行されていることを通知している。１５６０においては、現時点のＣＵが、十分に（残差を伴って）コーディング及び再構築され、これにより、対応するＲＤ費用が付与されている。次いで、フラグが無効化され、これにより、コーディングが残差データを伴うことなしに実行されていることが通知され、且つ、プロセスは、１５６０に戻り、ここで、ＣＵが（残差を伴うことなしに）コーディングされ、これにより、対応するＲＤ費用が付与されている。２つの以前のものの間の最低のＲＤ費用は、残差をコーディングしなければならないかどうか（ノーマル又はスキップ）を通知している。次いで、この最良のＲＤ費用は、その他のコーディングモードとの間における競争に晒される。レート歪判定については、更に詳細に後述することとする。
[111] 図１６は、少なくとも１つの実施形態の一般的な一態様による例示用のデコーディング方法１６００を示している。１６１０において、方法１６００は、ピクチャ内のデコーディングされるブロックについて、プレディクタ候補の組のうちの特定のプレディクタ候補に対応するインデックスを受け取っている。様々な実施形態においては、特定のプレディクタ候補は、プレディクタ候補の組のうちからエンコーダにおいて選択されており、且つ、インデックスは、プレディクタ候補のうちの１つが選択されることを許容している。１６２０において、方法１６００は、デコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定している。１６３０において、方法１６００は、デコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックに基づいてプレディクタ候補の組を判定している。プレディクタ候補は、デコーディングされるブロック用の１つ又は複数の対応する制御ポイント動きベクトル及び１つの参照ピクチャを有する。エンコーディング方法１０００との関連においてプレディクタ候補の組の判定のために記述されている変形の任意のものが、例えば、図１７において示されたデコーダ側においてミラーリングされる。１６４０において、方法１６００は、特定のプレディクタ候補から１つ又は複数の制御ポイント動きベクトルを判定している。１６５０において、方法１６００は、特定のプレディクタ候補について、１つ又は複数の対応する制御ポイント動きベクトルに基づいて対応するモーションフィールドを判定している。様々な実施形態においては、モーションフィールドは、モーションモデルに基づいており、この場合に、対応するモーションフィールドは、デコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別している。モーションフィールドは、上部左及び上部右制御ポイント動きベクトルである
Figure 2023100843000091
 及び
Figure 2023100843000092
 又は上部左及び下部左制御ポイント動きベクトルである
Figure 2023100843000093
 及び
Figure 2023100843000094
 に基づいて、デコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを導出するアファインモーションモデルに基づいたものであってもよい。有利には、この実施形態においては、１６１０において、方法１６００は、デコーディングされるブロックについて、デコーディングされるブロックに使用されるモーションモデルに対応する通知を更に受け取っている。この実施形態用の別の変形においては、デコーディングされるブロックに使用されるモーションモデルに対応する通知は、デコーディングされるブロックの空間的情報から黙示的に導出されている。１６６０において、方法１６００は、対応するモーションフィールドに基づいてブロックをデコーディングしている。
[112] 図１７は、少なくとも１つの実施形態の一態様によるデコーディング方法１６００のマージモード用のプレディクタ候補の組の判定１０２０の例示用の詳細を示している。エンコーディング方法の詳細について図１１との関係において記述されている様々な実施形態が、ここでは反復されている。
[113] 本発明者らは、上述の既存のアファインマージプロセスの一態様は、取り囲んでいる過去の且つ隣接するＣＵから現時点のＣＵに向かってアファインモーションフィールドを伝播させるべく、１つの且つ唯一の動きベクトルをシステマチックに利用している、というものであることを認識した。様々な状況において、本発明者らは、この態様は、不利である可能性があることを更に認識しており、その理由は、例えば、これが最適な動きベクトルプレディクタを選択してはいないからである。更には、このプレディクタの選択は、既に上述したように、順序付けされた組（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）における、アファインモードにおいてコーディングされた第１の過去の且つ隣接するＣＵのみ、から構成されている。様々な状況において、本発明者らは、この制限された選択は、不利である可能性があることを更に認識しており、その理由は、例えば、更に良好なプレディクタが利用可能でありうるからである。従って、現時点のＪＥＭにおける既存のプロセスは、現時点のＣＵの周りのいくつかの潜在的な過去の且つ隣接するＣＵも、アファインモーションを使用している場合があり、且つ、アファインモーションを使用したものと見出された第１のものとは別の異なるＣＵが現時点のＣＵのモーション情報用の更に良好なプレディクタでありうる、という事実を考慮してはいない。
[114] 従って、本発明者らは、いくつかの方法により、既存のＪＥＭコーデックによって活用されてはいない現時点のＣＵアファイン動きベクトルの予測を改善するための潜在的な利点を認識した。
[115] 図１８は、例示用の実施形態の様々な態様が実装されうる例示用のシステム１８００のブロック図を示している。システム１８００は、後述する様々なコンポーネントを含む装置として実施されてもよく、且つ、上述のプロセスを実行するように構成されている。このような装置の例は、限定を伴うことなしに、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ録画システム、接続されたホームアプライアンス、及びサーバーを含む。システム１８００は、図１８に示されているように、通信チャネルを介して、その他の類似のシステムに、且つ、ディスプレイに、通信自在に結合されてもよく、且つ、当業者には既知のように、上述の例示用のビデオシステムのすべて又は一部分を実装するべく、通信自在に結合されてもよい。
[116] システム１８００の様々な実施形態は、上述のように、様々なプロセスを実装するべくその内部に読み込まれる命令を実行するように構成された少なくとも１つのプロセッサ１８１０を含む。プロセッサ１８１０は、組込み型のメモリ、入出力インターフェイス、及び当技術分野において既知の様々なその他の回路を含みうる。また、システム１８００は、少なくとも１つのメモリ１８２０（例えば、揮発性メモリ装置、不揮発性メモリ装置）をも含みうる。システム１８００は、これに加えて、ストレージ装置１８４０を含んでいてもよく、これは、限定を伴うことなしに、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブを含む不揮発性メモリを含みうる。ストレージ装置１８４０は、非限定的な例として、内部ストレージ装置、装着されたストレージ装置、及び／又はネットワークアクセス可能なストレージ装置を有しうる。また、システム１８００は、エンコーディングされたビデオ及び／又はデコーディングされたビデオを提供するべくデータを処理するように構成されたエンコーダ／デコーダモジュール１８３０を含むことができると共に、エンコーダ／デコーダモジュール１８３０は、その独自のプロセッサ及びメモリを含むことができる。
[117] エンコーダ／デコーダモジュール１８３０は、エンコーディング及び／又はデコーディング機能を実行するべく、装置内において含まれうる１つ又は複数のモジュールを表している。既知のように、このような装置は、エンコーディング及びデコーデイングモジュールのうちの１つ又は両方を含みうる。これに加えて、エンコーダ／デコーダモジュール１８３０は、システム１８００の別個の要素として実装されていてもよく、或いは、当業者には既知のように、ハードウェア及びソフトウェアの組合せとして、１つ又は複数のプロセッサ１８１０内において内蔵されていてもよい。
[118] 上述の様々なプロセスを実行するべく１つ又は複数のプロセッサ１８１０上に読み込まれるプログラムコードは、ストレージ装置１８４０内において保存することができると共に、その後に、プロセッサ１８１０による実行のためにメモリ１８２０上に読み込むことができる。例示用の実施形態によれば、１つ又は複数のプロセッサ１８１０、メモリ１８２０、ストレージ装置１８４０、及びエンコーダ／デコーダモジュール１８３０のうちの１つ又は複数は、上述のプロセスの実行の際に、限定を伴うことなしに、入力ビデオ、デコーディングされたビデオ、ビットストリーム、等式、定式、行列、変数、動作、及び動作ロジックを含む様々な項目のうちの１つ又は複数を保存することができる。
[119] また、システム１８００は、通信チャネル１８６０を介したその他の装置との間の通信を可能にする通信インターフェイス１８５０を含むこともできる。通信インターフェイス１８５０は、限定を伴うことなしに、通信チャネル１８６０との間においてデータを送受信するように構成されたトランシーバを含みうる。通信インターフェイス１８５０は、限定を伴うことなしに、モデム又はネットワークカードを含むことができると共に、通信チャネル１８５０は、有線及び／又は無線媒体内において実装することができる。システム１８００の様々なコンポーネントは、限定を伴うことなしに、内部バス、ワイヤ、及び印刷回路基板を含む、様々な適切な接続を使用することにより、接続されていてもよく、或いは、通信自在に結合されていてもよい（図１８には示されていない）。
[120] 例示用の実施形態は、プロセッサ１８１０又はハードウェアによって実装されたコンピュータソフトウェアにより、或いは、ハードウェアとソフトウェアの組合せにより、実行することができる。非限定的な例として、例示用の実施形態は、１つ又は複数の集積回路によって実装することができる。メモリ１８２０は、技術的環境に適した任意のタイプでありうると共に、非限定的な例として、光メモリ装置、磁気メモリ装置、半導体に基づいたメモリ装置、固定されたメモリ、及び着脱自在のメモリなどの、任意の適切なデータストレージ技術を使用することによって実装することができる。プロセッサ１８１０は、技術的環境に適した任意のタイプでありうると共に、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、及びマルチコアアーキテクチャに基づいたプロセッサのうちの１つ又は複数を包含することができる。
[121] 本明細書において記述されている実装形態は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。また、単一の実装形態の文脈においてのみ記述されている（例えば、方法としてのみ記述されている）場合にも、記述されている特徴の実装形態は、その他の形態（例えば、装置又はプログラム）において実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能な論理装置を含む、例えば、一般的な処理装置を意味する、例えば、プロセッサなどの、装置において実装することができる。また、プロセッサは、例えば、コンピュータ、セル電話機、携帯型／パーソナルデジタルアシスタント（「ＰＤＡ：portable/personal digital assistant」）、及びエンドユーザーの間の情報の通信を促進するその他の装置などの、通信装置を含む。
[122] 更には、当業者は、図１に示されている例示用のＨＥＶＣエンコーダ１００及び図３に示されている例示用のＨＥＶＣデコーダは、相対的に良好な圧縮／圧縮解除を実現するために、開示されている改善を既存のＨＥＶＣ規格に対して実装するべく、本開示の上述の教示内容に従って変更されうることを容易に理解しうる。例えば、図１の例示用のエンコーダ１００内の動き補償１７０及びモーション推定１７５、並びに、図３の例示用のデコーダ内の動き補償３７５は、改善されたアファインマージ予測を既存のＪＥＭに提供することを含む、本開示の１つ又は複数の例示用の態様を実装するべく、開示されている教示内容に従って変更することができる。
[123] 「一実施形態（one embodiment）」又は「一実施形態（an embodiment）」又は「一実装形態（one implementation）」又は「一実装形態（an implementation）」のみならず、これらのその他の変形に対する参照は、実施形態との関連において記述されている特定の特徴、構造、及び特性などが、少なくとも１つの実施形態に含まれていることを意味している。従って、本明細書の全体を通じて様々な場所において出現している「一実施形態において（in one embodiment）」又は「一実施形態において（in an embodiment）」又は「一実装形態において（in one implementation）」又は「一実装形態において（in an implementation）」というフレーズのみならず、任意のその他の変形の出現は、必ずしも、そのすべてが同一の実施形態を参照しているものではない。
[124] これに加えて、本出願又はその請求項は、様々な情報片を「判定すること」を参照している場合がある。情報を判定することは、例えば、情報を推定すること、情報を算出すること、情報を予測すること、又はメモリから情報を取得すること、のうちの１つ又は複数を含みうる。
[125] 更には、本出願及びその請求項は、様々な情報片に「アクセスすること」を参照している場合がある。情報にアクセスすることは、例えば、情報を受け取ること、情報を（例えば、メモリから）取得すること、情報を保存すること、情報を処理すること、情報を送信すること、情報を移動させること、情報を複写すること、情報を消去すること、情報を算出すること、情報を判定すること、情報を予測すること、又は情報を推定すること、のうちの１つ又は複数を含みうる。
[126] これに加えて、本出願又はその請求項は、様々な情報片を「受け取ること」を参照している場合がある。「受け取ること」は、「アクセスすること」と同様に、広い意味の用語となるべく意図されている。情報を受け取ることは、例えば、情報にアクセスすること又は情報を（例えば、メモリから）取得することのうちの１つ又は複数を含みうる。更には、「受け取ること」は、通常、１つの方式又は別の方式より、例えば、情報を保存すること、情報を処理すること、情報を送信すること、情報を移動させること、情報を複写すること、情報を消去すること、情報を算出すること、情報を判定すること、情報を予測すること、又は情報を推定することなどの、動作の際に関与している。
[127] 当業者には明らかとなるように、実装形態は、例えば、保存又は送信されうる情報を搬送するべくフォーマッティングされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令又は記述されている実装形態のうちの１つによって生成されたデータを含みうる。例えば、信号は、記述されている実施形態のビットストリームを搬送するべくフォーマッティングすることができる。このような信号は、例えば、（例えば、スペクトルの高周波数部分を使用した）電磁波として、或いは、ベースバンド信号として、フォーマッティングすることができる。フォーマッティングすることは、例えば、データストリームをエンコーディングすること及びエンコーディングされたデータストリームによって搬送波を変調することを含みうる。信号が搬送する情報は、例えば、アナログ又はデジタル情報であってよい。信号は、既知のように、様々な異なる有線又は無線リンク上において送信することができる。信号は、プロセッサ可読媒体上において保存することができる。

Claims (19)

  1. ビデオエンコーディング用の方法であって、
    ピクチャ内のエンコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定することと、
    前記エンコーディングされるブロックについて、前記少なくとも１つの空間的隣接ブロックに基づいてインターコーディングモード用のプレディクタ候補の組を判定することであって、プレディクタ候補は、１つ又は複数の制御ポイント動きベクトル及び１つの参照ピクチャを有する、判定することと、
    前記エンコーディングされるブロックについて、且つ、それぞれのプレディクタ候補ごとに、モーションモデルに基づいて、且つ、前記プレディクタ候補の前記１つ又は複数の制御ポイント動きベクトルに基づいて、モーションフィールドを判定することであって、前記モーションフィールドは、前記エンコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別している、判定することと、
    それぞれのプレディクタ候補について判定された前記モーションフィールドに応答して、予測の間のレート歪判定に基づいて、前記プレディクタ候補の組から１つのプレディクタ候補を選択することと、
    前記選択されたプレディクタ候補用の前記モーションフィールドに基づいて前記ブロックをエンコーディングすることと、
    を有する方法。
  2. ビデオデコーディング用の方法であって、
    デコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定することと、
    前記デコーディングされるブロックについて、前記少なくとも１つの空間的隣接ブロックに基づいてインターコーディングモード用のプレディクタ候補の組を判定することであって、プレディクタ候補は、１つ又は複数の制御ポイント動きベクトル及び１つの参照ピクチャを有する、判定することと、
    前記デコーディングされるブロックについて、特定のプレディクタ候補から１つ又は複数の制御ポイント動きベクトルを判定することと、
    前記デコーディングされるブロックについて、モーションモデルに基づいて、且つ、前記デコーディングされるブロック用の前記１つ又は複数の制御ポイント動きベクトルに基づいて、モーションフィールドを判定することであって、前記モーションフィールドは、前記デコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別している、判定することと、
    前記判定されたモーションフィールドに基づいて前記ブロックをデコーディングすることと、
    を有する方法。
  3. ビデオエンコーディング用の装置であって、
    ピクチャ内のエンコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定する手段と、
    前記エンコーディングされるブロックについて、前記少なくとも１つの空間的隣接ブロックに基づいてインターコーディングモード用のプレディクタ候補の組を判定する手段であって、プレディクタ候補は、１つ又は複数の制御ポイント動きベクトル及び１つの参照ピクチャを有する、判定する手段と、
    前記エンコーディングされるブロックについて、且つ、それぞれのプレディクタ候補ごとに、モーションモデルに基づいて、且つ、前記プレディクタ候補の前記１つ又は複数の制御ポイント動きベクトルに基づいて、モーションフィールドを判定する手段であって、前記モーションフィールドは、前記エンコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別している、判定する手段と、
    それぞれのプレディクタ候補ごとに判定された前記モーションフィールドに応答して、予測の間のレート歪判定に基づいて、前記プレディクタ候補の組からプレディクタ候補を選択する手段と、
    前記プレディクタ候補の組からの前記選択されたプレディクタ候補用の前記モーションフィールドに基づいて前記ブロックをエンコーディングする手段と、
    を有する装置。
  4. ビデオデコーディング用の装置であって、
    デコーディングされるブロックについて、少なくとも１つの空間的隣接ブロックを判定する手段と、
    前記デコーディングされるブロックについて、前記少なくとも１つの空間的隣接ブロックに基づいてインターコーディング用の前記プレディクタ候補の組を判定する手段であって、プレディクタ候補は、１つ又は複数の制御ポイント動きベクトル及び１つの参照ピクチャを有する、判定する手段と、
    前記デコーディングされるブロックについて、特定のプレディクタ候補から１つ又は複数の制御ポイント動きベクトルを判定する手段と、
    前記デコーディングされるブロックについて、モーションモデルに基づいて、且つ、前記デコーディングされるブロック用の前記１つ又は複数の制御ポイント動きベクトルに基づいて、モーションフィールドを判定する手段であって、前記モーションフィールドは、前記デコーディングされるブロックのサブブロックの予測のために使用される動きベクトルを識別している、判定する手段と、
    前記判定されたモーションフィールドに基づいて前記ブロックをデコーディングする手段と、
    を有する装置。
  5. 前記少なくとも１つの空間的隣接ブロックは、隣接上部左コーナーブロック、隣接上部右コーナーブロック、及び隣接下部左コーナーブロックのうちの、前記エンコーディング又はデコーディングされるブロックの空間的隣接ブロックを有する請求項１又は２に記載の方法又は請求項３又は４に記載の装置。
  6. 前記空間的隣接ブロックの前記少なくとも１つのものに関連するモーション情報は、平行移動モーション情報を有する請求項１、２、又は５に記載の方法又は請求項３、４、又は５に記載の装置。
  7. 前記少なくとも１つの空間的隣接ブロックのすべてに関連するモーション情報は、アファインモーション情報を有する請求項１、２、又は５に記載の方法又は請求項３、４、又は５に記載の装置。
  8. 前記エンコーディング又はデコーディングされるブロックについて、インターコーディングモード用の前記プレディクタ候補の組を判定することは、
    隣接上部左コーナーブロックのうちの前記エンコーディング又はデコーディングされるブロックの空間的隣接ブロックの上部左リスト、隣接上部右コーナーブロックのうちの前記エンコーディング又はデコーディングされるブロックの空間的隣接ブロックの上部右リスト、隣接下部左コーナーブロックのうちの前記エンコーディング又はデコーディングされるブロックの空間的隣接ブロックの下部左リストを判定することと、
    空間的隣接ブロックの少なくとも１つのトリプレットを選択することであって、前記トリプレットのそれぞれの空間的隣接ブロックは、それぞれ、前記上部左リスト、前記上部右リスト、及び前記下部左リスト、に属しており、且つ、前記トリプレットのそれぞれの空間的隣接ブロックの予測のために使用される前記参照ピクチャは、同一である、選択することと、
    前記エンコーディング及びデコーディングされるブロックについて、空間的隣接ブロックのそれぞれの選択されたトリプレットに関連するモーション情報に基づいて、前記ブロックの上部左コーナー、上部右コーナー、及び下部左コーナー用の１つ又は複数の制御ポイント動きベクトルを判定することと、
    を有し、且つ、
    前記プレディクタ候補は、前記判定された１つ又は複数の制御ポイント動きベクトル及び前記参照ピクチャを有する請求項１、２、５、６、又は７のいずれか１項に記載の方法。
  9. 前記エンコーディング又はデコーディングされるブロックについて、インターコーディングモード用の前記プレディクタ候補の組を判定することは、
    前記エンコーディング又はデコーディングされるブロックについて判定された前記１つ又は複数の制御ポイント動きベクトルに基づいて１つ又は複数の基準に従って空間的隣接ブロックの前記少なくとも１つの選択されたトリプレットを評価すること、
    を更に有し、且つ、
    前記プレディクタ候補は、前記評価することに基づいてインターコーディングモード用の前記プレディクタ候補の組内においてソートされている請求項８に記載の方法。
  10. 前記エンコーディング又はデコーディングされるブロックについて、インターコーディングモード用の前記プレディクタ候補の組を判定することは、
    隣接上部左コーナーブロックのうちの前記エンコーディング又はデコーディングされるブロックの空間的隣接ブロックの上部左リスト、隣接上部右コーナーブロックのうちの前記エンコーディング又はデコーディングされるブロックの空間的隣接ブロックのトップリストを判定することと、
    空間的隣接ブロックの少なくとも１つのペアを選択することであって、前記ペアのそれぞれの空間的隣接ブロックは、それぞれ、前記上部左リスト及び前記上部右リストに属しており、且つ、前記ペアのそれぞれの空間的隣接ブロックの予測のために使用される前記参照ピクチャは、同一である、選択することと、
    前記エンコーディング又はデコーディングされるブロックについて、前記上部左リストの空間的隣接ブロックに関連するモーション情報に基づいて前記ブロックの前記上部左コーナー用の制御ポイント動きベクトルを判定し、前記上部左リストの空間的隣接ブロックに関連するモーション情報に基づいて前記ブロックの前記上部左コーナー用の制御ポイント動きベクトルを判定することと、
    を有し、且つ、
    前記プレディクタ候補は、前記上部左及び上部右制御ポイント動きベクトル及び前記参照ピクチャを有する請求項１、２、５、６、又は７のいずれか１項に記載の方法。
  11. 下部左リストが前記上部右リストの代わりに使用されており、前記下部左リストは、隣接下部左コーナーブロックのうちの前記エンコーディング又はデコーディングされるブロックの空間的な隣接ブロックを有し、且つ、下部左制御ポイント動きベクトルが判定されている請求項１０に記載の方法。
  12. 前記モーションモデルは、アファインモデルであり、且つ、前記エンコーディング又はデコーディングされるブロックの内側のそれぞれの位置（ｘ，ｙ）について前記モーションフィールドは、次式によって判定され、
    Figure 2023100843000095
     ここで、（ｖ０ｘ，ｖ０ｙ）及び（ｖ２ｘ，ｖ２ｙ）は、前記モーションフィールドを生成するべく使用される前記制御ポイント動きベクトルであり、（ｖ０ｘ，ｖ０ｙ）は、前記エンコーディング又はデコーディングされるブロックの前記上部左コーナーの前記制御ポイント動きベクトルに対応しており、（ｖ２ｘ，ｖ２ｙ）は、前記エンコーディング又はデコーディングされるブロックの前記下部左コーナーの前記制御ポイント動きベクトルに対応しており、且つ、ｈは、前記エンコーディング又はデコーディングされるブロックの高さである請求項１乃至１１のいずれか１項に記載の方法又は装置。
  13. 前記エンコーディング又はデコーディングされるブロックのために使用される前記モーションモデルの通知をエンコーディング又は取得することであって、前記モーションモデルは、前記上部左コーナーの制御ポイント動きベクトル及び前記下部左コーナーの前記制御ポイント動きベクトルに基づいており、或いは、前記モーションモデルは、前記上部左コーナーの制御ポイント動きベクトル及び前記上部右コーナーの前記制御ポイント動きベクトルに基づいている、エンコーディング又は取得すること、
    を更に有する請求項１、２、５乃至１２のいずれか１項に記載の方法。
  14. 前記エンコーディング又はデコーディングされるブロックに使用される前記モーションモデルは、黙示的に導出され、前記動きベクトルは、前記上部左コーナーの制御ポイント動きベクトル及び前記下部左コーナーの前記制御ポイント動きベクトルに基づいており、或いは、前記モーションモデルは、前記上部左コーナーの制御ポイント動きベクトル及び前記上部右コーナーの前記制御ポイント動きベクトルに基づいている請求項１、２、５乃至１２のいずれか１項に記載の方法。
  15. 前記インターコーディングモードは、マージモード又は高度動きベクトル予測モードのうちの１つである請求項１乃至１４のいずれか１項に記載の方法又は装置。
  16. 前記プレディクタ候補の組からの前記選択されたプレディクタ候補用のインデックスがエンコーディングされている請求項１に記載の方法又は請求項３に記載の装置。
  17. 前記プレディクタ候補の組からの前記特定のプレディクタ候補用のインデックスがデコーディングされている請求項２に記載の方法又は請求項４に記載の装置。
  18. 前記先行する記述のいずれかのものの方法又は装置に従って生成されたデータコンテンツを含む、一時的ではないコンピュータ可読媒体が提示されている。
  19. 上述の方法のいずれかのものに従ってビデオデータをエンコーディング又はデコーディングするための命令をその上部において保存された状態において有するコンピュータ可読ストレージ媒体。
JP2023076495A 2017-10-05 2023-05-08 動き補償用の改善されたプレディクタ候補 Active JP7474365B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306335.5 2017-10-05
EP17306335.5A EP3468195A1 (en) 2017-10-05 2017-10-05 Improved predictor candidates for motion compensation
JP2020519428A JP7277447B2 (ja) 2017-10-05 2018-10-04 動き補償用の改善されたプレディクタ候補

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020519428A Division JP7277447B2 (ja) 2017-10-05 2018-10-04 動き補償用の改善されたプレディクタ候補

Publications (2)

Publication Number Publication Date
JP2023100843A true JP2023100843A (ja) 2023-07-19
JP7474365B2 JP7474365B2 (ja) 2024-04-24

Family

ID=60119972

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020519428A Active JP7277447B2 (ja) 2017-10-05 2018-10-04 動き補償用の改善されたプレディクタ候補
JP2023076495A Active JP7474365B2 (ja) 2017-10-05 2023-05-08 動き補償用の改善されたプレディクタ候補

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020519428A Active JP7277447B2 (ja) 2017-10-05 2018-10-04 動き補償用の改善されたプレディクタ候補

Country Status (8)

Country Link
US (2) US11805272B2 (ja)
EP (2) EP3468195A1 (ja)
JP (2) JP7277447B2 (ja)
KR (1) KR20200055129A (ja)
CN (4) CN118075489A (ja)
AU (2) AU2018346321B2 (ja)
MX (1) MX2020003973A (ja)
WO (1) WO2019070933A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055205B (zh) * 2017-12-12 2021-08-03 华为技术有限公司 视频数据的帧间预测方法和装置、视频编解码器、存储介质
US20190222834A1 (en) * 2018-01-18 2019-07-18 Mediatek Inc. Variable affine merge candidates for video coding
CN118042153A (zh) * 2018-01-25 2024-05-14 三星电子株式会社 使用基于子块的运动补偿进行视频信号处理的方法和装置
KR20230151045A (ko) 2018-07-13 2023-10-31 엘지전자 주식회사 영상 코딩 시스템에서 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
GB2577318B (en) * 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
GB2597616B (en) * 2018-09-21 2023-01-18 Canon Kk Video coding and decoding
GB2578150C (en) 2018-10-18 2022-05-18 Canon Kk Video coding and decoding
US10904550B2 (en) * 2019-01-12 2021-01-26 Tencent America LLC Method and apparatus for video coding
US11432002B2 (en) * 2019-07-08 2022-08-30 Hyundai Motor Company Method and apparatus for encoding and decoding video using inter-prediction
WO2021054676A1 (ko) * 2019-09-19 2021-03-25 엘지전자 주식회사 Prof를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN112738524B (zh) * 2021-04-06 2021-06-08 浙江华创视讯科技有限公司 图像编码方法、装置、存储介质及电子设备
US11936877B2 (en) * 2021-04-12 2024-03-19 Qualcomm Incorporated Template matching based affine prediction for video coding
US20230379452A1 (en) * 2022-05-17 2023-11-23 Tencent America LLC Adjacent spatial motion vector predictor candidates improvement

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100316411B1 (ko) * 1999-03-31 2001-12-20 전주범 제어 그리드 보간방식에 따른 영상부호기에서 판별형 벡터양자화를 이용한 제어점의 움직임 벡터 산출 장치
US9438910B1 (en) * 2014-03-11 2016-09-06 Google Inc. Affine motion prediction in video coding
MX2017011558A (es) 2015-03-10 2018-03-21 Huawei Tech Co Ltd Método de predicción de imagen y aparato relacionado.
CN105163116B (zh) 2015-08-29 2018-07-31 华为技术有限公司 图像预测的方法及设备
CN109274974B (zh) 2015-09-29 2022-02-11 华为技术有限公司 图像预测的方法及装置
CN108432250A (zh) * 2016-01-07 2018-08-21 联发科技股份有限公司 用于视频编解码的仿射帧间预测的方法及装置
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
EP3422720A1 (en) * 2017-06-26 2019-01-02 Thomson Licensing Multiple predictor candidates for motion compensation
WO2019002215A1 (en) 2017-06-26 2019-01-03 Interdigital Vc Holdings, Inc. MULTIPLE PREDICTION CANDIDATES FOR MOTION COMPENSATION

Also Published As

Publication number Publication date
WO2019070933A9 (en) 2020-06-04
JP2020537394A (ja) 2020-12-17
EP3692717A1 (en) 2020-08-12
US11805272B2 (en) 2023-10-31
MX2020003973A (es) 2020-08-13
KR20200055129A (ko) 2020-05-20
JP7277447B2 (ja) 2023-05-19
AU2018346321A1 (en) 2020-04-23
CN118075488A (zh) 2024-05-24
EP3468195A1 (en) 2019-04-10
US20200288163A1 (en) 2020-09-10
CN118075490A (zh) 2024-05-24
CN111480340A (zh) 2020-07-31
AU2023204253A1 (en) 2023-07-27
US20240073439A1 (en) 2024-02-29
AU2018346321B2 (en) 2023-07-20
JP7474365B2 (ja) 2024-04-24
CN118075489A (zh) 2024-05-24
WO2019070933A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
JP7277447B2 (ja) 動き補償用の改善されたプレディクタ候補
JP7261750B2 (ja) 動き補償のための複数の予測子候補
CN111418209B (zh) 用于视频编码和视频解码的方法和装置
JP2019519998A (ja) 自動的な動き情報の精緻化を伴うビデオコード化のための方法及び機器
JP7248664B2 (ja) ビデオ符号化および復号における適応的照度補償のための方法および装置
EP3422720A1 (en) Multiple predictor candidates for motion compensation
WO2019147541A1 (en) Method and apparatus for adaptive illumination compensation in video encoding and decoding
CN111328449B (zh) 基于细分块的自动扫描顺序的视频信号处理系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240412

R150 Certificate of patent or registration of utility model

Ref document number: 7474365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150