JP2023017760A - ビデオデータインター予測方法及び装置 - Google Patents

ビデオデータインター予測方法及び装置 Download PDF

Info

Publication number
JP2023017760A
JP2023017760A JP2022151544A JP2022151544A JP2023017760A JP 2023017760 A JP2023017760 A JP 2023017760A JP 2022151544 A JP2022151544 A JP 2022151544A JP 2022151544 A JP2022151544 A JP 2022151544A JP 2023017760 A JP2023017760 A JP 2023017760A
Authority
JP
Japan
Prior art keywords
motion information
candidate motion
group
image block
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022151544A
Other languages
English (en)
Other versions
JP7521744B2 (ja
JP2023017760A5 (ja
Inventor
チェン、ファンバン
Huanbang Chen
ガオ、シャン
Shan Gao
ヤン、ハイタオ
Haitao Yang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023017760A publication Critical patent/JP2023017760A/ja
Publication of JP2023017760A5 publication Critical patent/JP2023017760A5/ja
Application granted granted Critical
Publication of JP7521744B2 publication Critical patent/JP7521744B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ビデオ伝送のビットオーバーヘッドを減らすビデオデータインター予測方法及び装置を提供する。【解決手段】方法は、現在の画像ブロックの候補動き情報リストを決定する。候補動き情報リストは、少なくとも１つの第１候補動き情報グループと、少なくとも１つの第２候補動き情報グループと、第１、第２候補動き情報グループを指示するために用いられる複数のインデックス情報とを有する。第１候補動き情報グループは、現在の画像ブロックの第１隣接画像ブロック上の予め設定された位置の動き情報及び第１隣接画像ブロックの運動モデルに基づいて決定される動き情報グループである。第２候補動き情報グループは、現在の画像ブロック上の少なくとも２つの予め設定された位置にそれぞれ隣接する少なくとも２つのサンプル位置の動き情報のセットである。方法はさらに、候補動き情報リストからターゲット動き情報を決定し、現在の画像ブロックを符号化する。【選択図】図４

Description

本願は、その全体において本明細書において参照により組み込まれた、中国国家知識産権局に、２０１７年１２月１２日に出願され、"ビデオデータインター予測方法及び装置"と題された中国特許出願第２０１７１１３１９２９８．２への優先権を請求する。
本願は、ビデオ符号化及び復号化の分野、特に、ビデオデータインター予測方法及び装置、ビデオエンコーダ、及びビデオデコーダに関する。
光電子コレクション技術の開発及び高精細度デジタルビデオの要件増加によって、ビデオデータの量は、ますます大きくなっている。限定された異種伝送帯域幅及び多様なビデオアプリケーションは、常に、ビデオコーディング効率に対して高い要件を課す。この場合、高効率ビデオコーディング（ｈｉｇｈ ｅｆｆｉｃｉｅｎｔ ｖｉｄｅｏ ｃｏｄｉｎｇ， ＨＥＶＣ）規格は、要求されるように規格化され始めた。
ビデオコーディング及び圧縮の基本原理は、空間領域、時間領域、およびコードワードの間の相関を用いて、極度に冗長を取り除くということである。現在、一般に行われる方法は、予測（イントラ予測及びインター予測を含む）、変換、量子化、及びエントロピーコーディングなどの段階を実行することにより、ビデオコーディング及び圧縮を実施するための、ブロックベースハイブリッドビデオコーディングフレームワークを用いる。このコーディングフレームワークは、強力であり、ブロックベースハイブリッドビデオコーディングフレームワークはまた、ＨＥＶＣに用いられる。様々なビデオ符号化／復号化方式において、動き推定／動き補償は、符号化／復号化効率に影響する重要技術である。
ビデオにおいて隣接フレームにあるシーン間には相関がある。このように、画像は、いくつかのブロックに分けられてよく、隣接フレームにおける各ブロックまたはマクロブロックの位置が見つけられ、ブロックまたはマクロブロックと、隣接フレームにおける対応するブロックまたはマクロブロックとの間の相対的空間位置オフセットが取得される。取得された相対的オフセットは、動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ， ＭＶ）である。動きベクトルを取得する処理は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ， ＭＥ）と称される。動き推定は、フレーム間冗長を取り除くことができ、これによりビデオ伝送のビットオーバーヘッドを減らす。
既存の動き推定方法において、コーディングブロックは、現在のコーディングブロックの隣接コーディングブロックから、予め設定されたポリシーに従って選択され、現在のコーディングブロックの動き情報グループは、コーディングブロックの動き情報グループを用いて導出される。この方法では、エンコーダ側は、デコーダ側に、隣接コーディングブロックを示すインデックス情報を送信する必要がない。これは、ビデオ伝送のビットオーバーヘッドを減らす。しかしながら、隣接コーディングブロックの動き情報グループが利用できない場合、エンコーダ側は、動き推定方法を再選択する必要があり、再選択された動き推定方法を示すべく、指示情報をデコーダ側に送信する。したがって、ビデオ伝送のビットオーバーヘッドは増加する。
本願は、ビデオデータインター予測方法及び装置、ビデオエンコーダ、及びビデオデコーダを提供し、ビデオ伝送のビットオーバーヘッドを減らし、符号化／復号化効率を改善する。
第１態様に従って、ビデオデータインター予測方法が提供される。方法は、現在の画像ブロックの候補動き情報リストを決定する段階であって、候補動き情報リストは、少なくとも１つの第１候補動き情報グループと、少なくとも１つの第２候補動き情報グループと、第１候補動き情報グループ及び第２候補動き情報グループを指示するために用いられる複数のインデックス情報とを有し、複数のインデックス情報は、１対１で、複数の候補動き情報グループに対応し、第１候補動き情報グループは、現在の画像ブロックの第１隣接画像ブロック上の予め設定された位置の動き情報及び第１隣接画像ブロックの運動モデルに基づいて決定される動き情報グループであり、第２候補動き情報グループは、現在の画像ブロック上の少なくとも２つの予め設定された位置にそれぞれ隣接する少なくとも２つのサンプル位置の動き情報のセットであり、少なくとも２つのサンプル位置は、現在の画像ブロックの少なくとも１つの第２隣接画像ブロック上に配置される、段階と、候補動き情報リストからターゲット動き情報を決定する段階であって、ターゲット動き情報は、少なくとも１つの第１候補動き情報グループ及び少なくとも１つの第２候補動き情報グループにおける、スクリーニングルールを満たす動き情報グループである、段階と、ターゲット動き情報に基づいて現在の画像ブロックに対してインター予測を実行する段階と、を備える。
第１隣接画像ブロック及び第２隣接画像ブロックは、本明細書では、異なる方式で候補動き情報グループを取得する処理において、現在の画像ブロックの空間的に横断した隣接するブロック、及び／又は現在の画像ブロックの時間的に横断した隣接するブロックの間を区別するために単に用いられるということが理解されるべきである。第１隣接画像ブロックは、現在の画像ブロックの空間的に隣接するブロック及び／又は現在の画像ブロックの時間的に隣接するブロックを含んでよい。第２隣接画像ブロックは、現在の画像ブロックの空間的に隣接するブロック及び／又は現在の画像ブロックの時間的に隣接するブロックを含んでよい。
第１隣接画像ブロック上の予め設定された位置は、第１隣接画像ブロックの隅位置、例えば第１隣接画像ブロックの左上隅及び右上隅、又は第１隣接画像ブロックの左上隅及び左下隅、又は第１隣接画像ブロックの左上隅、左下隅、及び右上隅と理解されてよいということに留意すべきである。現在の画像ブロック上の少なくとも２つの予め設定された位置は、現在の画像ブロックの少なくとも２つの隅位置として理解されてよく、また、現在の画像ブロックの少なくとも２つの制御点、例えば、現在の画像ブロックの左上隅及び右上隅、又は現在の画像ブロックの左上隅及び左下隅、又は現在の画像ブロックの左上隅、左下隅、及び右上隅と称されてよい。
例において、ターゲット動き情報がスクリーニングルールを満たす動き情報グループであるということは、第１候補動き情報グループ又は第２候補動き情報グループを、候補動き情報リストから決定することとして理解されてよく、ここで、レート歪みコストは、ターゲット動き情報が現在のコーディングブロックの符号化に用いられる場合に最も低い。
本実施形態において提供されるインター予測方法に従って、エンコーダ側またはデコーダ側は、２つのタイプの候補動き情報グループを含む候補動き情報リストを構成する。２つのタイプの候補動き情報グループは、一様に統合されたインデックス情報を有する。候補動き情報グループの２つのタイプのうちの一方が、現在の画像ブロックに適用可能ではない場合に、エンコーダ側は、候補動き情報リストに含まれる他方のタイプの候補動き情報グループからターゲット動き情報を選択し、ターゲット動き情報のインデックス情報を、ビットストリームを用いてデコーダ側に送信してよい。候補動き情報リストにおける候補動き情報グループが、一意のインデックス情報を有するので、エンコーダ側は、エンコーダ側により用いられる動き推定方法を示す指示情報を、ビットストリームにおいて転送する必要が無い。これは、ビデオ伝送のビットオーバーヘッドを減らす。
任意で、第１候補動き情報グループのインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数未満又は等しい。
第１候補動き情報グループは、運動モデルベースの動き情報グループであり、第１候補動き情報グループに基づいて符号化／復号化を実行する効率は、第２候補動き情報グループに基づいて符号化／復号化を実行する効率より高い。そのため、第１候補動き情報グループがターゲット動き情報であるという比較的高い確率がある。このように、第１候補動き情報グループのインデックス情報は、比較的少ない数のビットを有するインデックス情報に設定されてよい。これは、ビデオ伝送のビットオーバーヘッドを減らすことに役立つ。
任意で、複数のインデックス情報における第１インデックス情報のビットの数は、複数のインデックス情報における第２インデックス情報のビットの数より少なく、第１インデックス情報は、候補動き情報リストに最初に加えられる動き情報グループに対応し、第２インデックス情報は、候補動き情報リストにその後に加えられる動き情報グループに対応し、現在の画像ブロックの候補動き情報リストを決定することは、最初に第１候補動き情報グループを候補動き情報リストに加えて、その後、第２候補動き情報グループを候補動き情報リストに加えることを含む。
第１候補動き情報グループは、運動モデルベースの動き情報グループであり、第１候補動き情報グループに基づいて符号化／復号化を実行する効率は、第２候補動き情報グループに基づいて符号化／復号化を実行する効率より高い。そのため、第１候補動き情報グループがターゲット動き情報であるという比較的高い確率がある。このように、第１候補動き情報グループのインデックス情報は、比較的少ない数のビットを有するインデックス情報に設定されてよい。これは、ビデオ伝送のビットオーバーヘッドを減らすことに役立つ。
任意で、現在の画像ブロックの候補動き情報リストを決定する段階は、第１隣接画像ブロックが並進運動モデルを用いる隣接画像ブロックである場合に、第１隣接画像ブロックの動き情報を、候補動き情報リストに、第１候補動き情報グループとして加える段階、及び／又は、第１隣接画像ブロックが非並進運動モデルを用いる画像ブロックである場合に、第１隣接画像ブロック上の少なくとも２つの予め設定された位置の動き情報及び第１隣接画像ブロックの運動モデルに基づいて、現在の画像ブロックに対応する少なくとも２つの予め設定された位置の動き情報を導出する段階、及び、現在の画像ブロックに対応する少なくとも２つの予め設定された位置の動き情報を、候補動き情報リストに、第１候補動き情報グループとして加える段階を有する。
非並進運動モデルは、様々なアフィン運動モデル、例えば、４パラメータアフィン運動モデル、６パラメータアフィン運動モデル、又は８パラメータアフィン運動モデルを含んでよいが、これらに限定されるものではないということは理解されるべきである。
第１隣接画像ブロックの運動モデルが並進運動モデルである場合に、第１隣接画像ブロックの動き情報グループは、候補動き情報リストに第１候補動き情報グループとして直接加えられてよい。これは、画像圧縮効率を改善する。第１隣接画像ブロックの運動モデルが非並進運動モデルである場合に、第１候補動き情報グループは、非並進運動モデルに対応する式に従って及び第１隣接画像ブロック上の予め設定された位置の動き情報に基づいて、生成される必要がある。
任意で、第１隣接画像ブロックは、並進運動モデルを用いる第１隣接画像ブロックと、非並進運動モデルを用いる第１隣接画像ブロックとを含み、複数のインデックス情報における第１インデックス情報のビットの数は、複数のインデックス情報における第２インデックス情報のビットの数より少なく、第１インデックス情報は、候補動き情報リストに最初に加えられる動き情報グループに対応し、第２インデックス情報は、候補動き情報リストにその後加えられる動き情報グループに対応する。
現在の画像ブロックの候補動き情報リストを決定することは、非並進運動モデルを用いる第１隣接画像ブロックの数が、閾値量より多い又は等しい場合に、非並進運動モデルを用いる第１隣接画像ブロック上の少なくとも２つの予め設定された位置の動き情報及び非並進モデルを用いる第１隣接画像ブロックの運動モデルに基づいて、現在の画像ブロックに対応する少なくとも２つの予め設定された位置の動き情報を導出すること、現在の画像ブロックに対応する少なくとも２つの予め設定された位置の動き情報を、候補動き情報リストに第１候補動き情報グループとして加えること、及び、その後、第２候補動き情報グループを候補動き情報リストに加えることを含む。
非並進運動モデルを用いる第１隣接画像ブロックの数が、閾値量より多い又は等しい場合に、そのことは、現在の画像ブロックが非並進運動モデルを用いる画像ブロックである比較的高い確率があるということを示す。そのため、非並進運動モデルを用いる第１隣接画像ブロックに基づいて導出される第１候補動き情報グループは、候補動き情報リストに最初に加えられてよく、その後、第２候補動き情報グループは、候補動き情報リストに加えられる。候補動き情報リストに最初に加えられる動き情報グループのインデックス情報のビットの数は、比較的少なく、ターゲット動き情報が候補動き情報リストに最初に加えられる動き情報グループであるという比較的高い確率がある。そのため、本実施形態は、ビデオ伝送のビットオーバーヘッドを減らすことに役立つ。
任意で、現在の画像ブロックの候補動き情報リストを決定することは、候補動き情報リストの長さが、長さ閾値より小さく、第１隣接画像ブロックが並進運動モデルを用いる第１隣接画像ブロックをさらに含む場合に、並進運動モデルを用いる第１隣接画像ブロックの動き情報グループを、候補動き情報リストに第１候補動き情報グループとして加えること、及び、候補動き情報リストの長さが、依然として長さ閾値より小さい場合に、ゼロ動き情報を候補動き情報リストに加えることをさらに含む。
候補動き情報リストの長さは、本明細書では、候補動き情報リストに既に加えられている候補動き情報グループの数と理解されてよいということは理解されるべきである。長さ閾値は、本明細書では、候補動き情報リストにおける候補動き情報グループの予め設定された最大数と理解されてよい。
候補動き情報リストの長さが、第２候補動き情報グループが候補動き情報リストに加えられた後に長さ閾値より小さく、第１隣接画像ブロックが、並進運動モデルを用いる第１隣接画像ブロックをさらに含む場合に、並進運動モデルを用いる第１隣接画像ブロックの動き情報グループは、第１候補動き情報グループとして候補動き情報リストに加えられ、候補動き情報リストの長さが依然として長さ閾値より小さい場合に、ゼロ動き情報は、候補動き情報リストに加えられる。
任意で、非並進運動モデルを用いる第１隣接画像ブロックの数が閾値量より多いまたは等しい場合に、第３候補動き情報グループのインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数未満であり、第３候補動き情報グループは、非並進運動モデルを用いる第１隣接画像ブロック上の少なくとも２つの予め設定された位置の動き情報及び非並進運動モデルを用いる第１隣接画像ブロックの運動モデルに基づいて導出される第１候補動き情報グループである。
非並進運動モデルを用いる第１隣接画像ブロックの数が、閾値量より多い又は等しい場合に、そのことは、現在の画像ブロックが非並進運動モデルを用いる画像ブロックである比較的高い確率があるということを示す。そのため、非並進運動モデルを用いる第１隣接画像ブロックに基づいて導出される第１候補動き情報グループ（すなわち、第３候補動き情報グループ）のインデックス情報は、比較的少ない数のビットを有するインデックス情報に設定されてよい。ターゲット動き情報が第３候補動き情報グループである比較的高い確率がある。そのため、本実施形態は、ビデオ伝送のビットオーバーヘッドを減らすことに役立つ。
任意で、候補動き情報リストの長さが長さ閾値より小さく、第１隣接画像ブロックがさらに、並進運動モデルを用いる第１隣接画像ブロックを有する場合に、候補動き情報リストはさらに、並進運動モデルを用いる第１隣接画像ブロックの動き情報を有し、並進運動モデルを用いる第１隣接画像ブロックの動き情報は、第１候補動き情報グループであり、並進運動モデルを用いる第１隣接画像ブロックの動き情報のインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数より大きいまたは等しい。
候補動き情報リストの長さが、第２候補動き情報グループが候補動き情報リストに加えられた後に長さ閾値より小さく、第１隣接画像ブロックが並進運動モデルを用いる第１隣接画像ブロックをさらに含む場合に、並進運動モデルを用いる第１隣接画像ブロックの動き情報グループは、候補動き情報リストに第１候補動き情報グループとして加えられ、第１候補動き情報グループのインデックス情報は、比較的多い数のビットを有するインデックス情報に設定され、候補動き情報リストの長さが依然として長さ閾値より小さい場合に、ゼロ動き情報は、候補動き情報リストに加えられる。
任意で、複数の第１隣接画像ブロックは、並進運動モデルを用いる第１隣接画像ブロックと、非並進運動モデルを用いる第１隣接画像ブロックとを含み、複数のインデックス情報における第１インデックス情報のビットの数は、複数のインデックス情報における第２インデックス情報のビットの数より少なく、第１インデックス情報は、候補動き情報リストに最初に加えられる動き情報グループに対応し、第２インデックス情報は、候補動き情報リストにその後加えられる動き情報グループに対応する。
現在の画像ブロックの候補動き情報リストを決定することは、非並進運動モデルを用いる第１隣接画像ブロックの数が閾値量未満又は等しい場合に、並進運動モデルを用いる第１隣接画像ブロックの動き情報グループを候補動き情報リストに第１候補動き情報グループとして最初に加え、その後、第２候補動き情報グループを候補動き情報リストに加えることを含む。
非並進運動モデルを用いる第１隣接画像ブロックの数が、閾値量未満又は等しい場合に、そのことは、現在の画像ブロックが非並進運動モデルを用いる画像ブロックである比較的高い確率があるということを示す。そのため、並進運動モデルを用いる第１隣接画像ブロックの動き情報グループは、候補動き情報リストに第１候補動き情報グループとして最初に加えられてよく、その後、第２候補動き情報グループは、候補動き情報リストに加えられる。候補動き情報リストに最初に加えられる動き情報グループのインデックス情報のビットの数は、比較的小さく、ターゲット動き情報が候補動き情報リストに最初に加えられる動き情報グループである比較的高い確率がある。そのため、本実施形態は、ビデオ伝送のビットの数を減らすことに役立つ。
任意で、現在の画像ブロックの候補動き情報リストを決定することは、候補動き情報リストの長さが長さ閾値より小さく、第１隣接画像ブロックが非並進運動モデルを用いる第１隣接画像ブロックをさらに含む場合に、非並進運動モデルを用いる第１隣接画像ブロック上の少なくとも２つの予め設定された位置の動き情報及び非並進運動モデルを用いる第１隣接画像ブロックの運動モデルに基づいて、現在の画像ブロック上の少なくとも２つの予め設定された位置の動き情報をさらに導出し、候補動き情報リストに、第１候補動き情報グループとして、現在の画像ブロック上の少なくとも２つの予め設定された位置の動き情報を追加すること、及び候補動き情報リストの長さが依然として長さ閾値より小さい場合に、ゼロ動き情報を候補動き情報リストに加えることをさらに含む。
候補動き情報リストの長さが、第２候補動き情報グループが候補動き情報リストに加えられた後に長さ閾値より小さく、第１隣接画像ブロックが、非並進運動モデルを用いる第１隣接画像ブロックをさらに含む場合に、非並進運動モデルを用いる第１隣接画像ブロックの動き情報グループに基づいて導出される第１候補動き情報グループは、候補動き情報リストに加えられ、候補動き情報リストの長さが依然として長さ閾値より小さい場合に、ゼロ動き情報は、候補動き情報リストに加えられる。このように、ターゲット動き情報の選択範囲は、拡張されることができる。
任意で、非並進運動モデルを用いる第１隣接画像ブロックの数が閾値量未満または等しい場合に、並進運動モデルを用いる第１隣接画像ブロックの動き情報は、第１候補動き情報グループであり、並進運動モデルを用いる第１隣接画像ブロックの動き情報グループのインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数より小さい。
非並進運動モデルを用いる第１隣接画像ブロックの数が、閾値量未満又は等しい場合に、そのことは、現在の画像ブロックが並進運動モデルを用いる画像ブロックである比較的高い確率があるということを示す。そのため、並進運動モデルを用いる第１隣接画像ブロックの動き情報グループは、第１候補動き情報グループとして用いられてよく、第１候補動き情報グループのインデックス情報は、比較的少ない数のビットを有するインデックス情報に設定される。ターゲット動き情報が第１候補動き情報グループである比較的高い確率がある。そのため、本実施形態は、ビデオ伝送のビットオーバーヘッドを減らすことに役立つ。
任意で、候補動き情報リストの長さが長さ閾値より小さく、第１隣接画像ブロックがさらに、非並進運動モデルを用いる第１隣接画像ブロックを有する場合に、候補動き情報リストはさらに、第４候補動き情報グループを有し、第４候補動き情報グループは、非並進運動モデルを用いる第１隣接画像ブロック上の少なくとも２つの予め設定された位置の動き情報及び非並進運動モデルを用いる第１隣接画像ブロックの運動モデルに基づいて導出される第１候補動き情報グループであり、第４候補動き情報グループのインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数より大きい又は等しい。
候補動き情報リストの長さが、第２候補動き情報グループが候補動き情報リストに加えられた後に長さ閾値より小さく、第１隣接画像ブロックが非並進運動モデルを用いる第１隣接画像ブロックをさらに含む場合に、非並進運動モデルを用いる第１隣接画像ブロックの動き情報グループに基づいて導出される動き情報グループは、候補動き情報リストに第１候補動き情報グループとして加えられ、第１候補動き情報グループのインデックス情報は、比較的多い数のビットを有するインデックス情報に設定され、候補動き情報リストの長さが依然として長さ閾値より小さい場合に、ゼロ動き情報は、候補動き情報リストに加えられる。このように、ターゲット動き情報の選択範囲は、拡張されることができる。
任意で、第１候補動き情報グループ及び第２候補動き情報グループの両方は、現在の画像ブロック上の第１グループの位置の動き情報であり、現在の画像ブロック上の少なくとも２つの予め設定された位置は、第２グループの位置であり、現在の画像ブロックの候補動き情報リストを決定する段階は、第２グループの位置が第１グループの位置とは異なる場合に、位置変換式に従って及び第２の位置に対応する動き情報に基づいて、第２候補動き情報グループを導出する段階を有する。
第１候補動き情報グループに対応する位置の数が、第２候補動き情報グループに対応する位置の数と同じである場合に、本実施形態に従って取得された候補動き情報リストにおける全ての動き情報グループは、同じ位置の動き情報である。これは、動き推定の複雑性を減らす。
任意で、第１候補動き情報グループは、現在の画像ブロック上の第１グループの位置の動き情報であり、第２候補動き情報グループは、現在の画像ブロック上の第３グループの位置の動き情報であり、方法はさらに、第１グループの位置が第３グループの位置とは異なる場合に、位置変換式に従って及び第２候補動き情報グループに基づいて、第５候補動き情報グループを導出する段階を備え、第５候補動き情報グループに対応する位置は、第１グループの位置と同じである。
第１候補動き情報グループに対応する位置の数が、第２候補動き情報グループに対応する位置の数と同じである場合に、本実施形態に従って取得された候補動き情報リストにおける全ての動き情報グループは、同じ位置の動き情報である。これは、動き推定の複雑性を減らす。
第２態様に従って、本願は、第１態様において任意の方法を実施するように構成されるいくつかの機能ユニットを含むビデオデータインター予測の装置を提供する。例えば、ビデオデータインター予測の装置は、現在の画像ブロックの候補動き情報リストを決定するように構成される候補動き情報リスト決定ユニットであって、候補動き情報リストは、少なくとも１つの第１候補動き情報グループと、少なくとも１つの第２候補動き情報グループと、第１候補動き情報グループ及び第２候補動き情報グループを指示するために用いられる複数のインデックス情報とを有し、第１候補動き情報グループは、現在の画像ブロックの第１隣接画像ブロック上の予め設定された位置の動き情報及び第１隣接画像ブロックの運動モデルに基づいて決定される動き情報グループであり、第２候補動き情報グループは、現在の画像ブロック上の少なくとも２つの予め設定された位置にそれぞれ隣接する少なくとも２つのサンプル位置の動き情報のセットであり、少なくとも２つのサンプル位置は、現在の画像ブロックの少なくとも１つの第２隣接画像ブロック上に配置される、候補動き情報リスト決定ユニットと、候補動き情報リストからターゲット動き情報を決定するように構成されるインター予測処理ユニットとを有してよく、ターゲット動き情報は、少なくとも１つの第１候補動き情報グループおよび少なくとも１つの第２候補動き情報グループにおける、スクリーニングルールを満たす動き情報グループであり、インター予測処理ユニットはさらに、ターゲット動き情報に基づいて現在の画像ブロックに対するインター予測を実行するように構成される。
インター予測の装置は、例えば、ビデオ符号化装置（ビデオエンコーダ）又はビデオ復号化装置（ビデオデコーダ）であってよい。
第３態様に従って、本願は、ビデオエンコーダを提供する。ビデオエンコーダは、画像ブロックを符号化するように構成され、ビデオエンコーダは、第２態様に従ったインター予測の装置であって、インター予測の装置は、ターゲット動き情報に基づいてコーディング画像ブロックの予測ブロックを予測するように構成され、ターゲット動き情報は、スクリーニングルールを満たす、例えば、ターゲット動き情報が現在の画像ブロックを符号化するために用いられる場合にレート歪みコストが最も低い、候補動き情報リストにおける動き情報グループである、インター予測の装置と、ターゲット動き情報のインデックス情報を、ビットストリームに符号化するように構成されるエントロピーエンコーダであって、ターゲット動き情報のインデックス情報は、候補動き情報リストからターゲット動き情報を決定するために用いられる、エントロピーエンコーダと、予測ブロックに基づいてコーディング画像ブロックを再構成するように構成される再構成部と、を備える。
第４態様に従って、本願は、ビデオデコーダを提供する。ビデオデコーダは、画像ブロックを取得するべくビットストリームを復号化するように構成され、ビデオデコーダは、ターゲット動き情報のインデックス情報を取得するべく、ビットストリームを復号化するように構成されるエントロピーデコーダと、第２態様に従ったインター予測の装置であって、インター予測の装置は、ターゲット動き情報に基づいて、コーディング画像ブロックの予測ブロックを予測するように構成され、ターゲット動き情報は、候補動き情報リストにおける復号化されたインデックス情報に対応する動き情報グループである、インター予測の装置と、予測ブロックに基づいてコーディング画像ブロックを再構成するように構成される再構成部とを備える。
第５態様に従って、本願は、ビデオデータ符号化デバイスを提供する。デバイスは、ビデオデータを格納するように構成されるメモリとビデオエンコーダとを含む。ビデオデータは１又は複数の画像ブロックを含み、ビデオエンコーダは、現在の画像ブロックの候補動き情報リストを決定するように構成され、候補動き情報リストは、少なくとも１つの第１候補動き情報グループと、少なくとも１つの第２候補動き情報グループと、第１候補動き情報グループ及び第２候補動き情報グループを指示するために用いられる複数のインデックス情報とを含み、第１候補動き情報グループは、現在の画像ブロックの第１隣接画像ブロック上の予め設定された位置の動き情報及び第１隣接画像ブロックの運動モデルに基づいて決定される動き情報グループであり、第２候補動き情報グループは、現在の画像ブロック上の少なくとも２つの予め設定された位置にそれぞれ隣接する少なくとも２つのサンプル位置の動き情報のセットであり、少なくとも２つのサンプル位置は、現在の画像ブロックの少なくとも１つの第２隣接画像ブロック上に配置され、ビデオエンコーダは、候補動き情報リストからターゲット動き情報を決定するように構成され、ターゲット動き情報は、少なくとも１つの第１候補動き情報グループおよび少なくとも１つの第２候補動き情報グループにおける、スクリーニングルールを満たす動き情報グループであり、ビデオエンコーダは、ターゲット動き情報に基づいて現在の画像ブロックに対してインター予測を実行し、ターゲット動き情報のインデックス情報を含むビットストリームを送信するように構成される。
第６態様に従って、本願は、ビデオデータ復号化デバイスを提供する。デバイスは、ビットストリーム形式のビデオデータを格納するように構成されるメモリと、インデックス情報を取得するべく、ビットストリームを復号化するように構成されるビデオデコーダとを含む。インデックス情報は、ターゲット動き情報を決定するために用いられ、ビデオデコーダは、現在の画像ブロックの候補動き情報リストを決定するように構成され、候補動き情報リストは、少なくとも１つの第１候補動き情報グループと、少なくとも１つの第２候補動き情報グループと、第１候補動き情報グループ及び第２候補動き情報グループを指示するために用いられる複数のインデックス情報とを有し、第１候補動き情報グループは、現在の画像ブロックの第１隣接画像ブロック上の予め設定された位置の動き情報及び第１隣接画像ブロックの運動モデルに基づいて決定される動き情報グループであり、第２候補動き情報グループは、現在の画像ブロック上の少なくとも２つの予め設定された位置にそれぞれ隣接する少なくとも２つのサンプル位置の動き情報のセットであり、少なくとも２つのサンプル位置は、現在の画像ブロックの少なくとも１つの第２隣接画像ブロック上に配置され、ビデオデコーダは、インデックス情報に基づいて候補動き情報リストからターゲット動き情報を決定し、ターゲット動き情報に基づいて現在の画像ブロックに対するインター予測を実行するように構成される。
第７態様に従って、本願は、互いに連結された不揮発性メモリ及びプロセッサを含む符号化デバイスを提供する。プロセッサは、メモリに格納されたプログラムコードを呼び出し、第１態様のいずれかの方法における一部又はすべての段階を実行する。
第８態様に従って、本願は、互いに連結された不揮発性メモリ及びプロセッサを含む復号化デバイスを提供する。プロセッサは、メモリに格納されたプログラムコードを呼び出し、第１態様のいずれかの方法における一部又はすべての段階を実行する。
第９態様に従って、本願は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、プログラムコードを格納し、プログラムコードは、第１態様のいずれかの方法における一部又はすべての段階を実行するために用いられる命令を含む。
第１０態様に従って、本願の実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で実行される場合、コンピュータは、第１態様のいずれかの方法における一部又はすべての段階を実行することが可能となる。
本願の第２から第１０態様の技術的解決法は、第１態様の技術的解決法と一致するということは理解されるべきである。態様及び対応する実現可能な実施例により達成される有益な効果は、同様であり、詳細を再び説明しない。
本願に適用可能なビデオ符号化方法の概略フローチャートである。
本願に適用可能なビデオ復号化方法の概略フローチャートである。
本願に従った、運動モデルベースのアフィンモデルマージモードに基づく予測を実行する方法の模式図である。
本願に従ったインター予測方法の概略フローチャートである。
本願に従った組み合わせられた制御点ベースの動き情報グループを構成する方法の模式図である。
本願に従った候補動き情報リストを構成する方法の概略フローチャートである。
本願に従ったビデオ符号化及び復号化システムの概略ブロック図である。
本願に従ったビデオエンコーダの概略ブロック図である。
本願に従ったビデオデコーダの概略ブロック図である。
本願に従ったビデオデータインター予測の装置の概略ブロック図である。
本願に従った符号化デバイス又は復号化デバイスの概略ブロック図である。
本願の理解を容易にするために、本願において提供される技術的解決法における可能な技術特徴が最初に説明される。
図１は、本願に適用可能なビデオ符号化方法の概略フローチャートである。
ビデオ符号化方法は、イントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）、インター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）、エントロピーコーディング（ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）、及びインループフィルタリング（ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ）などの複数の段階を含む。画像が複数のコーディングブロックに分割された後に、イントラ予測又はインター予測は実行され、変換及び量子化は、残差が取得された後に実行され、最後に、エントロピーコーディングは実行されて、ビットストリームは出力される。本明細書では、コーディングブロックは、Ｍ×Ｎ（ＭはＮに等しくてよく、又はＮに等しくなくてよい）のサイズであり、複数のサンプルを含むアレイである。さらに、各サンプル位置のサンプル値が既知である。図１では、Ｐは、予測値を表し、Ｄｎは残差を表し、ｕＦｎ'は再構成値（フィルタリング前）を表し、Ｄｎ'は残差を表す。
イントラ予測は、現在の画像における再構成された領域のサンプルのサンプル値を用いて、現在のコーディングブロックのサンプルのサンプル値を予測することを意味する。
インター予測は、現在の画像における現在のコーディングブロックに対して、再構成された画像におけるマッチングする参照ブロックを検索し、現在のコーディングブロックにおけるサンプルのサンプル値の予測情報又は予測値（ここで、情報及び値は、以下、区別されない）として、参照ブロックにおけるサンプルのサンプル値を用いることを意味する。この処理は、動き推定である。さらに、現在のコーディングブロックの動き情報グループは伝送される。
現在のコーディングブロックの動き情報グループは、予測方向指示情報（通常、前方予測、後方予測、又は双方向予測）、参照ブロックの方を向いた１つ又は２つの動きベクトル、及び参照ブロックが配置された画像の指示情報（参照インデックスと通常表される）を含むことに留意すべきである。
前方予測は、現在のコーディングブロックのための少なくとも１つの参照ブロックを取得するべく、前方参照画像のセットから少なくとも１つの参照画像を選択することを意味する。後方予測は、現在のコーディングブロックのための少なくとも１つの参照ブロックを取得するべく、後方参照画像のセットから少なくとも１つの参照画像を選択することを意味する。双方向予測は、少なくとも１つの参照ブロックを別々に取得するべく、前方参照画像のセット及び後方参照画像のセットのそれぞれから少なくとも１つの参照画像を選択することを意味する。双方向予測方法が用いられる場合に、現在のコーディングブロックは少なくとも２つの参照ブロックを有する。各参照ブロックは、動きベクトル及び参照インデックスを用いて示される必要がある。そして、現在のブロックにおけるサンプルのサンプル値の予測値は、２つの参照ブロックにおけるサンプルのサンプル値に基づいて決定される。
動き推定プロセスにおいて、参照画像は、現在のコーディングブロックについて、複数の参照ブロックを検索される必要があり、最後に予測のために用いられる特定の参照ブロック又は複数の特定の参照ブロックは、レート歪み最適化（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ， ＲＤＯ）を通じて、又は別の方法を用いることによって決定される。
予測情報がイントラ予測方法又はインター予測方法を用いて取得された後に、残差情報は、現在のコーディングブロックにおけるサンプルのサンプル値及び対応する予測情報に基づいて取得されてよい。例えば、残差情報は、現在のコーディングブロックのサンプルのサンプル値を参照ブロックのサンプルのサンプル値から直接減算することにより取得されてよい。代わりに、残差情報は、別の可能な方式で取得されてよい。その後、残差情報は、離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ、 ＤＣＴ）などの方法を用いて変換され、その後、量子化及びエントロピーコーディングなどのオペレーションは、変換された残差情報に対して実行され、ビットストリームを最後に取得し、その結果、デコーダ側は、ビットストリームを復号化する。エンコーダ側での処理において、フィルタリングオペレーションは、再構成された信号を取得するべく、予測信号及び再構成された残差信号に対してさらに実行されてよく、再構成された信号は、続く符号化のための参照信号として用いられる。
デコーダ側によりビットストリームに対して実行される処理は、エンコーダ側により画像を符号化する逆の処理と同様である。図２は、本願に適用可能なビットストリーム復号化方法の概略フローチャートである。
図２に示されるように、エントロピー復号化及び逆量子化などのオペレーションは、変換を通じて残差情報を取得するべく最初に実行され、デコーダ側は、現在のコーディングブロックの予測モードを取得するべく、ビットストリームを解析する。予測モードがイントラ予測である場合、予測情報は、現在のコーディングブロックの周りの再構成された領域におけるサンプルのサンプル値を用いて構成される。予測モードがインター予測である場合、現在のコーディングブロックの動き情報グループは、取得される必要があり、参照ブロックは、動き情報グループを用いて、再構成された画像において決定され、参照ブロックにおけるサンプルのサンプル値は、予測情報として用いられる。現在のコーディングブロックの再構成された情報（再構成されたブロックとも称される）は、予測情報（予測ブロックとも称される）及び残差情報（残差ブロックとも称される）に対するフィルタリングオペレーションを実行することにより取得されることができ、再構成された部分の画像を取得する。
いくつかの可能な実施例では、現在のコーディングブロックの動き情報グループは、非並進運動モデルベースの予測を通じて取得されてよい。
非並進運動モデルベースの予測のいくつかの実施例では、エンコーダ側およびデコーダ側は、現在のコーディングブロックにおける各動き補償サブユニットの動き情報を導出するべく、同じ運動モデルを用い、予測ブロックを取得するべく、動き補償サブユニットの動き情報に基づいて動き補償を実行する。これは、予測効率を改善する。一般に用いられる運動モデルは、６パラメータアフィンモデル及び４パラメータアフィンモデルを含む。
４パラメータアフィンモデルは式（１）に示される。
Figure 2023017760000002
４パラメータアフィンモデルは、現在のコーディングブロックの左上隅におけるサンプルに対する、２つのサンプルの動きベクトル及び２つのサンプルの座標により表されてよい。運動モデルパラメータを表すために用いられるサンプルは、制御点と称される。左上隅（０，０）及び右上隅（Ｗ，０）のサンプルが制御点として用いられる場合、現在のコーディングブロックの左上隅及び右上隅における制御点の動きベクトル（ｖｘ０，ｖｙ０）及び（ｖｘ１，ｖｙ１）は最初に決定される。その後、現在のコーディングブロックにおける各動き補償サブユニットの動き情報は、式（２）に従って導出される。（ｘ，ｙ）は、現在のコーディングブロックの左上隅におけるサンプルに対する動き補償サブユニットの座標を表し、Ｗは、現在のコーディングブロックの幅を表す。
Figure 2023017760000003
６パラメータアフィンモデルは式（３）で示される。
Figure 2023017760000004
６パラメータアフィンモデルは、現在のコーディングブロックの左上隅におけるサンプルに対する、３つの制御点（予め設定された位置とも称される）の動きベクトル及び３つの制御点の座標により表されてよい。左上隅（０，０）、右上隅（Ｗ，０）、及び左下隅（０，Ｈ）におけるサンプルが、制御点として用いられる場合、現在のコーディングブロックの左上隅、右上隅、及び左下隅における制御点の動きベクトル（ｖｘ０，ｖｙ０），（ｖｘ１，ｖｙ１），及び（ｖｘ２，ｖｙ２）は最初に決定される。その後、現在のコーディングブロックにおける各動き補償サブユニットの動き情報は、式（４）に従って導出される。（ｘ，ｙ）は、現在のコーディングブロックの左上隅におけるサンプルに対する動き補償サブユニットの座標を表し、Ｗ及びＨは、現在のコーディングブロックの幅及び高さを表す。本願では、幅及び高さの規定のために、画像処理分野又はビデオ処理分野の規格における関連する規格を参照することに留意すべきである。例えば、幅は、横方向における現在のコーディングブロックのサンプルの数を指し、高さは、縦方向における現在のコーディングブロックのサンプルの数を指す。
Figure 2023017760000005
８パラメータバイリニアモデルは式（５）に示される。
Figure 2023017760000006
８パラメータバイリニアモデルは、現在のコーディングブロックの左上隅におけるサンプルに対する、４つの制御点の動きベクトル及び４つの制御点の座標により表されてよい。左上隅（０，０）、右上隅（Ｗ，０）、左下隅（０，Ｈ）、及び右下隅（Ｗ，Ｈ）におけるサンプルが、制御点として用いられる場合に、現在のコーディングブロックの左上隅、右上隅、左下隅、及び右下隅における制御点の動きベクトル（ｖｘ０，ｖｙ０），（ｖｘ１，ｖｙ１），（ｖｘ２，ｖｙ２），及び（ｖｘ３，ｖｙ３）は最初に決定される。その後、現在のコーディングブロックにおける各動き補償サブユニットの動き情報は、式（６）に従って導出される。（ｘ，ｙ）は、現在のコーディングブロックの左上隅におけるサンプルに対する動き補償サブユニットの座標を表し、Ｗ及びＨは、現在のコーディングブロックの幅及び高さを表す。
Figure 2023017760000007
非並進運動モデルを用いて予測されたコーディングブロックは、非並進コーディングブロックと称される。アフィンコーディングブロックは非並進コーディングブロックである。非並進コーディングブロックの制御点の動き情報は、アフィンモデルマージ（ａｆｆｉｎｅ ｍｏｄｅｌ ｍｅｒｇｅ， ＡＭＭ）モードを用いて取得されてよい。２つのアフィンモデルマージモード、運動モデルベースのＡＭＭモード及び制御点ベースの複合マージ（ｃｏｍｐｌｅｘ ｍｅｒｇｅ）モードがある。
図３は、本願に従って運動モデルベースのＡＭＭモードに基づいて予測を実行する方法を示す。
現在のコーディングブロック（"現在のブロック"とも称されてよい）の制御点の動きベクトルが符号化される場合、コーディングブロックは、予め設定されたポリシーに従って、隣接コーディングブロック（"隣接ブロック"、例えば"空間的に隣接するブロック"とも称されてよい）から選択され、現在のブロックの隅位置（例えば左上隅及び右上隅）の動き情報は、コーディングブロックの隅位置（例えば左上隅及び右上隅）の動き情報を用いて導出され、その結果、現在のブロックの運動モデルは、コーディングブロックのものと同じである。運動モデルが同じであるということは、現在のブロックの運動モデルのパラメータ値及びパラメータの数が、同じ座標システムにおける隣接ブロックのものと同じであるということを意味することに留意されるべきである。例えば、現在のブロック及び隣接ブロックは各々、４パラメータアフィンコーディングモデルを用いる、現在のブロック及び隣接ブロックは各々、６パラメータアフィンコーディングモデルを用いる、又は現在のブロック及び隣接ブロックは各々８パラメータバイリニアモデルを用いる。
図３に示されるように、Ａ，Ｂ，Ｃ，Ｄ，及びＥは、現在のブロックの隣接コーディングブロック（すなわち、空間的に隣接するブロック）上のサンプル位置（略して、"位置"とも称されてよい）である。走査することは、一連のＡ－Ｂ－Ｃ－Ｄ－Ｅにおいて実行され、アフィンコーディングブロックを見つけ、アフィンコーディングブロックの予め設定された位置（制御点、例えば、アフィンコーディングブロックの左上隅及び右上隅とも称されてよい）の動き情報を取得し、これにより、現在のブロック上の対応する予め設定された位置（制御点、例えば、現在のブロックの左上隅及び右上隅と称されてもよい）の動き情報を導出する。本明細書の例におけるＡ、Ｂ、Ｃ、Ｄ、及びＥは、各々、サンプルと理解されてもよく、例えば、サンプル又は少なくとも２つのサンプルを含むサンプルブロックであってよいということに留意すべきである。サンプルがサンプルブロックである場合、サンプルブロックのサイズは、例えば２×２，１×２，４×２，４×４、又は他のサイズであってよい。
以下は、Ａを例として用い、導出処理を説明する。他のケースは、類推により推定される。
サンプル位置Ａ（例えば、左サンプル位置Ａ）が配置されるコーディングブロックが、アフィンコーディングブロックである場合、アフィンコーディングブロックの左上隅（ｘ２，ｙ２）の動きベクトル（ｖｘ２，ｖｙ２）及び右上隅（ｘ３，ｙ３）の動きベクトル（ｖｘ３，ｖｙ３）は取得される。現在のコーディングブロックの左上隅（ｘ０，ｙ０）の動きベクトル（ｖｘ０，ｖｙ０）は、式（７）を用いて計算され、現在のコーディングブロックの右上隅（ｘ１，ｙ１）の動きベクトル（ｖｘ１，ｖｙ１）は、式（８）を用いて計算される。
Figure 2023017760000008
Figure 2023017760000009
制御点の動き情報を取得する別の方法は、本願にも適用されてよいということに留意すべきである。簡潔にするために、詳細については、ここで説明しない。
現在のブロックが隣接ブロックの運動モデルを引き継ぐので、運動モデルベースのＡＭＭモードは、制御点ベースの複合マージモードよりも高いコーディング効率を有するということは上記から認識されることができる。しかしながら、隣接ブロックの動き情報グループが利用できない場合、エンコーダ側は、動き推定方法を再選択する必要があり、再選択された動き推定方法を示すべく、指示情報をデコーダ側に送信する。したがって、ビデオ伝送のビットオーバーヘッドは増加する。さらに、たとえ隣接ブロックの動き情報グループが利用可能であったとしても、オプションの動き情報グループは、制御点ベースの複合マージモードを用いて加えられることができる。
本願は、ビデオデータインター予測方法を提供し、ビデオ伝送のビットオーバーヘッドを減らし、運動モデルベースのＡＭＭモードの適用範囲を拡張する。
図４に示されるように、本願の実施形態の方法４００は、以下の段階を含んでよい。
Ｓ４１０：現在の画像ブロックの候補動き情報リストを決定する。候補動き情報リストは、少なくとも１つの第１候補動き情報グループと、少なくとも１つの第２候補動き情報グループと、第１候補動き情報グループ及び第２候補動き情報グループを指示するために用いられる複数のインデックス情報とを有し、複数のインデックス情報は、複数の候補動き情報グループと１対１で対応し、第１候補動き情報グループは、現在の画像ブロックの第１隣接画像ブロック上の予め設定された位置の動き情報及び第１隣接画像ブロックの運動モデルに基づいて決定される動き情報グループであり、第２候補動き情報グループは、現在の画像ブロック上の少なくとも２つの予め設定された位置にそれぞれ隣接する少なくとも２つのサンプル位置の動き情報のセットであり、少なくとも２つのサンプル位置は、現在の画像ブロックの少なくとも１つの第２隣接画像ブロック上に配置される。
Ｓ４２０：候補動き情報リストからターゲット動き情報を決定する。
Ｓ４３０：ターゲット動き情報に基づいて現在の画像ブロックに対するインター予測を実行する。
方法４００は、エンコーダ側またはデコーダ側により実行されてよい。エンコーダ側又はデコーダ側は、ハードウェア装置であってよい、又は汎用ハードウェア装置上で動作する符号化ソフトウェアもしくは復号化ソフトウェアであってよい、又は符号化ソフトウェア及び符号化機能を有するハードウェアデバイスのセットであってよい、又は復号化ソフトウェア及び復号化機能を有するハードウェアデバイスのセットであってよい。方法４００がエンコーダ側により実行される場合、Ｓ４２０のターゲット動き情報は、少なくとも１つの第１候補動き情報グループおよび少なくとも１つの第２候補動き情報グループにおける、スクリーニングルールを満たす動き情報グループであるということは理解されるべきである。例えば、ターゲット動き情報は、候補動き情報リストにおける動き情報グループであり、ここで、レート歪みコストは、当該動き情報グループが現在の画像ブロックの符号化に用いられる場合に最も低くなる。方法４００がデコーダ側で実行される場合には、Ｓ４２０のターゲット動き情報は、復号化されたインデックス情報により示される、候補動き情報リストにおける動き情報グループである。
方法４００がエンコーダ側により実行される場合、画像ブロックは、コーディングブロックと理解されたい。例えば、現在の画像ブロックは、現在のコーディングブロックであり、第１隣接画像ブロックは、第１隣接コーディングブロックであり、第２隣接画像ブロックは、第２隣接コーディングブロックである。方法４００がデコーダ側により実行される場合、画像ブロックは、復号化ブロックと理解されたい。例えば、現在の画像ブロックは、現在の復号化ブロックであり、第１隣接画像ブロックは、第１隣接復号化ブロックであり、第２隣接画像ブロックは、第２隣接復号化ブロックである。簡潔のために、本願で提供されるインター予測方法は、エンコーダ側が方法４００を実行する例を用いて以下で主に説明される。デコーダ側により実行されるインター予測方法は、デコーダ側の処理方式がエンコーダ側のものとは異なる場合のみ説明される。別の方法で特定されない限り、デコーダ側により実行されるオペレーションは、デコーダ側により実行されるオペレーションと同様である。
エンコーダ側が候補動き情報リストを決定する方式は、本願に限定されるものではない。例えば、第１候補動き情報グループは、図３に示される方法を用いて取得されてよく、又は第１動き情報グループは、別の方法を用いて取得されてよく、第２候補動き情報グループは、以下の方法を用いて取得されてよい。第１候補動き情報グループ及び第２候補動き情報グループが取得された後、第１候補動き情報グループ及び第２候補動き情報グループは、候補動き情報リストに追加される。
第１隣接コーディングブロックは、第２隣接コーディングブロックと同じ又は異なってよい。図３に示されるように、第１隣接コーディングブロックは、位置Ａが配置されるコーディングブロックであってよく、第２隣接コーディングブロックは、位置Ｄが配置されるコーディングブロック（図３には示されていない）であってよい。この場合、第１隣接コーディングブロックは、第２隣接コーディングブロックとは異なる。第２隣接コーディングブロックは代わりに、位置Ａが配置されるコーディングブロックであってよい。この場合、第２隣接コーディングブロックは、第２隣接コーディングブロックと同じである。
第１隣接コーディングブロック及び第２隣接コーディングブロックは、現在のブロックの空間的に隣接するコーディングブロックであってよい、又は現在のブロックの時間的に隣接するコーディングブロックであってよい。これについては本願で限定されるものではない。例えば、空間的に隣接コーディングブロックは、図３に示されるサンプル位置Ａ，Ｂ，Ｃ，Ｄ，及びＥが配置されるコーディングブロックを含むが、これに限定されるものではない。
第１隣接コーディングブロックは、並進運動モデルを用いるコーディングブロックであってよい、又は非並進運動モデルを用いるコーディングブロックであってよい。そのため、第１隣接コーディングブロックが並進運動モデルを用いるコーディングブロックである場合、第１候補動き情報グループは、並進運動情報グループである、又は、第１隣接コーディングブロックが非並進運動モデルを用いるコーディングブロックである場合、第１候補動き情報グループは、非並進運動情報グループである。並進運動情報グループは、１つの動きベクトル又は２つの動きベクトルを含み、非並進運動情報グループは、少なくとも２つの動きベクトルを含む。そのため、第１候補動き情報グループは、１つの動きベクトルのみを含んでよい、又は、複数の動きベクトルを含んでよい。
同様に、第１隣接コーディングブロックが並進運動モデルを用いるコーディングブロックである場合、第１隣接コーディングブロック上の予め設定された位置は、例えば図３に示された位置Ａである。第１隣接コーディングブロックが非並進運動モデルを用いるコーディングブロックである場合、第１隣接コーディングブロック上の予め設定された位置は、例えば、図３における左上隅（ｘ２，ｙ２）及び右上隅（ｘ３，ｙ３）であってよい。
第２候補動き情報グループについては、現在のコーディングブロック上の少なくとも２つの予め設定された位置は、例えば、以下の図５におけるＣＰ１及びＣＰ２であってよく、現在のコーディングブロック上の少なくとも２つの予め設定された位置に隣接する少なくとも２つのサンプル位置は、例えば、Ｂ２及びＢ１であってよい。Ｂ２及びＢ１は、同じ隣接コーディングブロック（すなわち第２隣接コーディングブロック）に属してよい、又は異なる複数の隣接コーディングブロックに属してよい。
本願では、動き情報グループは、動きベクトルを含むが、これに限定されるものではない。例えば、動き情報グループは、予測方向指示情報（通常、前方予測、後方予測、又は双方向予測である）、１つ又は２つ又は２つより多くの動きベクトル、及び参照インデックス（ｒｅｆｅｒｅｎｃｅ ｉｎｄｅｘ）を含む。動き情報グループが並進運動情報グループである場合、動き情報グループは、１つ又は２つの動きベクトルを含んでよく、例えば、前方予測方向の動きベクトル及び／又は後方予測方向の動きベクトルを含んでよい。つまり、動き情報グループは、１つの動きベクトルを含んでよい、又は、異なる予測方向の２つの動きベクトルを含んでよい。動き情報グループが非並進運動情報グループである場合、動き情報グループは、複数の動きベクトルの組み合わせ、例えば、２つの動きベクトルの組み合わせ、具体的には、２つの予め設定された位置（制御点とも称される）の動きベクトルの組み合わせを含んでよい。デコーダ側は、２つの制御点の位置座標及び２つの制御点の動きベクトルの組み合わせを用いて、現在の画像ブロックにおける任意の位置座標（ｘ、ｙ）を有するサンプルの動きベクトルを計算してよいということは理解されるべきである。これはまた、現在の画像ブロックにおける各動き補償サブユニットの動きベクトルを計算すると称されてよい。動きベクトルは、対応する参照フレームにおける参照ブロックを指す。
候補動き情報リストを決定した後に、エンコーダ側は、スクリーニングルールに従ったスクリーニングを通じて、候補動き情報リストからターゲット動き情報を取得する。ターゲット動き情報はまた、最適動き情報グループと称されてよい。例えば、エンコーダ側は、候補動き情報リストにおける各動き情報グループを用いて、動き補償予測を実行してよく、その後、レート歪み最適化（ｒａｔｅ ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ， ＲＤＯ）基準に従ったスクリーニングを通じて、最適動き情報グループを取得する。例えば、レート歪みコストは、最適動き情報グループが現在のコーディングブロックの符号化に用いられる場合に最も低い。その後、最適動き情報グループのインデックスは、ビットストリームに書き込まれ、その後ビットストリームは送信される。上記のＲＤＯ基準は、スクリーニングルールである。
上記の例は、説明のための単なる例であり、最適動き情報グループを決定する別の方式がまた本願に適用可能である。本実施形態において提供される符号化方法に従って、エンコーダ側は、２つのタイプの候補動き情報グループを含む候補動き情報リストを構成する。本明細書では、２つのタイプの候補動き情報グループは、候補動き情報グループの異なる取得（導出）方式を反映することを単に意図されるということが理解されるべきである。２つのタイプの候補動き情報グループのうちの一方が、現在のコーディングブロックに適用可能ではない場合に、エンコーダ側は、候補動き情報リストに含まれる他のタイプの候補動き情報グループからターゲット動き情報を選択し、ターゲット動き情報のインデックス情報を、ビットストリームを用いてデコーダ側に送信してよい。候補動き情報リストにおける候補動き情報グループが、一意のインデックス情報を有するので、エンコーダ側は、エンコーダ側により用いられる候補動き情報リスト構成方法を示す指示情報を、ビットストリームにおいて転送する必要が無い。これは、ビデオ伝送のビットオーバーヘッドを減らす。さらに、現在のブロックの隣接ブロックが制御点ベースの複合マージモードを用いるコーディングブロックである場合、運動モデルベースのＡＭＭモードに基づく動き推定は、依然として、隣接ブロックの動き情報グループを用いて現在のブロックに対して実行されてよい。これは、コーディング効率を改善する。
本願で提供されるインター予測方法の実施形態は、以下でさらに説明される。
実施形態１
段階１：候補動き情報リストを構成する。
段階１．１：運動モデルベースの動き情報を候補動き情報リストに加える。
現在のブロックの周りの隣接ブロックは、すべての非並進コーディングブロックを見つけだすべく、図３に示される方法に従って走査されてよい。非並進コーディングブロックの運動モデルが現在のブロックの運動モデルと同じである場合、各非並進コーディングブロックの制御点の動き情報は取得され、その後、現在のブロックの対応する制御点の動き情報（すなわち、第１動き情報グループ）は導出される。
段階１．２：組み合わせられた制御点ベースの動き情報を候補動き情報リストに追加する。
段階１．１で取得された候補動き情報リストの長さが予め設定されたリスト長さＮより小さい場合、組み合わせられた制御点ベースの動き情報（すなわち、第２動き情報グループ）は構成され、動き情報は、候補動き情報リストに加えられる。
組み合わせられた制御点ベースの動き情報を構成する方法は以下の通りである。
最初に、各制御点の動き情報は導出される。図５に示されるように、ＣＰｋ（ｋ＝１，２，３，４）は、ｋ番目の制御点を表す。Ａ０，Ａ１，Ａ２，Ｂ０，Ｂ１，Ｂ２，及びＢ３は、現在のブロックの空間的に隣接する位置であり、ＣＰｋ（ｋ＝１，２，３）の動き情報を予測するために用いられる。Ｔｒは、現在のブロックの時間的に隣接する位置を表し、ＣＰ４の動き情報を予測するために用いられる。Ｔｒは、現在のブロックの同じ位置のブロックの右下の空間的に隣接するサンプル位置を表し、ここで、同じ位置のブロックは、現在のブロックと同じサイズ、同じ形状、及び同じ座標を有する、参照画像における画像ブロックであるということは理解されるべきである。
ＣＰ１，ＣＰ２，ＣＰ３，及びＣＰ４の位置座標は、それぞれ、（０，０），（Ｗ，０），（Ｈ，０）、及び（Ｗ，Ｈ）であり、ここで、Ｗ及びＨは、現在のブロックの幅及び高さを表す。
各制御点の動き情報は、以下のシーケンスにおいて取得される。
ＣＰ１について、チェックシーケンスは、Ｂ２－Ａ２－Ｂ３である。Ｂ２の動き情報が利用可能（ａｖａｉｌａｂｌｅ）である場合、Ｂ２の動き情報は用いられる。別の方法で、Ａ２及びＢ３は、順に検出される。すべての３つの位置の動き情報が利用できない場合、ＣＰ１の動き情報は取得されることができない。
ＣＰ２について、チェックシーケンスは、Ｂ０－Ｂ１である。
ＣＰ３について、チェックシーケンスは、Ａ０－Ａ１である。
ＣＰ４について、Ｔｒの動き情報は、用いられてよい。
本明細書では、動き情報が利用可能であるということは、位置Ｘが配置されたブロックが、インター符号化モードにおいて既に符号化されているということを意味する。別の方法で、位置Ｘは利用できない。位置Ｘは、例えば、位置Ｂ２、位置Ａ２、位置Ｂ３、位置Ａ０、位置Ａ１、位置Ｂ０、位置Ｂ１、又は位置Ｔｒである。
制御点の動き情報を取得する別の方法は、本発明に適用されてもよいということに留意すべきである。詳細については、ここで説明しない。例えば、ＣＰ１について、Ｂ２、Ａ２、及びＢ３がすべて利用可能である場合、ＣＰ１は、｛Ｂ２、Ａ２、及びＢ３｝のうちいずれか１つの動き情報を用いてよい。この方法はまた、ＣＰ２からＣＰ４に適用され、詳細は本明細書で再び説明されない。代わりに、図５に示されるように、現在の画像ブロックの制御点ＣＰ１（左上サンプルと称されてもよい）の動き情報のソースは、ｘ１サンプルの動き情報を含んでよい。ｘ１サンプルは、現在の画像ブロックが属するビデオフレームに時間的に隣接するビデオフレーム内にあり、現在の画像ブロックの左上サンプルＬＴと同じ位置にあるサンプルＣｏｌ－ＬＴ、現在の画像ブロックの左の空間的に隣接する画像ブロックＡ２、現在の画像ブロックの左上の空間的に隣接する画像ブロックＢ２、及び現在の画像ブロックの上の空間的に隣接する画像ブロックＢ３のうちの少なくとも１つを含む。
その後、制御点の動き情報は、非並進運動情報を取得するべく、組み合わせられる。
２つの制御点の動き情報は、４パラメータアフィンモデルを構成するべく、組み合わせられる。２つの制御点の組み合わせ方式は、以下の方式｛ＣＰ１，ＣＰ４｝，｛ＣＰ２，ＣＰ３｝，｛ＣＰ１，ＣＰ２｝，｛ＣＰ２，ＣＰ４｝，｛ＣＰ１，ＣＰ３｝，及び｛ＣＰ３，ＣＰ４｝を含む。例えば、制御点ＣＰ１及びＣＰ２を用いて構成された４パラメータアフィンモデルは、アフィン（ＣＰ１，ＣＰ２）と表される。
３つの制御点の動き情報は、６パラメータアフィンモデルを構成するべく、組み合わせられる。３つの制御点の組み合わせ方式は、｛ＣＰ１，ＣＰ２，ＣＰ４｝，｛ＣＰ１，ＣＰ２，ＣＰ３｝，｛ＣＰ２，ＣＰ３，ＣＰ４｝，及び｛ＣＰ１，ＣＰ３，ＣＰ４｝を含む。例えば、制御点ＣＰ１，ＣＰ２，及びＣＰ３を用いて構成される６パラメータアフィンモデルは、アフィン（ＣＰ１，ＣＰ２，ＣＰ３）と表される。
４つの制御点の動き情報は、８パラメータバイリニアモデルを構成するべく、組み合わせられる。制御点ＣＰ１，ＣＰ２，ＣＰ３，及びＣＰ４を用いて構成される８パラメータバイリニアモデルは、バイリニア（ＣＰ１，ＣＰ２，ＣＰ３，ＣＰ４）と表される。
これらのモデルは、予め設定された順に走査される。組み合わせモデルに対応する制御点の動き情報が利用できない場合、モデルが利用できないということが考慮される。組み合わせモデルに対応するすべての制御点の動き情報が利用可能である場合、モデルの参照インデックスは決定され、制御点の動きベクトルはスケーリングされる。スケーリング後のすべての制御点の動き情報が一致する場合、モデルは無効である。別の方法で、制御点の動き情報は、候補動き情報リストに加えられる。
Figure 2023017760000010
スケーリング方法は式（９）に示される。ＣｕｒＰｏｃは、現在のフレームの画像順序カウント（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ， ＰＯＣ）数を表し、ＤｅｓＰｏｃは、現在のブロックの参照フレームのＰＯＣ数を表し、ＳｒｃＰｏｃは、制御点の参照フレームのＰＯＣ数を表し、ＭＶｓは、スケーリングを通じて取得されるＭＶを表す。
段階１．３：補足動き情報
任意で、段階１．２で取得された候補動きリストの長さが特定されたリスト長さＮ未満である場合、現在のブロックに隣接するコーディングされたブロックの動き情報は、候補動き情報リストに加えられ、又はゼロ動き情報（すなわち、ゼロ動きベクトル）は、候補動き情報リストに入れられる。
候補動き情報リストを構成するフローチャートは、図６に示される。
Ｓ６０１：第１候補動き情報グループを取得し、第１候補動き情報グループを候補動き情報リストに追加し、この場合の候補動き情報リストの長さ（ｃａｎｄＮｕｍ１）が予め設定されたリスト長さＮ未満である場合に、段階Ｓ６０２を実行し、又は候補動き情報リストの長さがＮに等しい場合に、候補動き情報リストを構成する手順を終了する。
Ｓ６０２：第２候補動き情報グループを取得し、第２候補動き情報グループを候補動き情報リストに追加し、この場合の候補動き情報リストの長さ（ｃａｎｄＮｕｍ２）が予め設定されたリスト長さＮ未満である場合に、段階Ｓ６０３を実行し、又は候補動き情報リストの長さがＮに等しい場合に、候補動き情報リストを構成する手順を終了する。
Ｓ６０３：動き情報を入れて、ここで、動き情報は、現在のブロックの隣接ブロックの並進運動情報及び／又はゼロ動き情報であってよく、候補動き情報リストの長さ値がＮに等しくなったら入れることを停止し、候補動き情報リストを構成する手順を終了する。
表１は、実施形態１で構成された候補動き情報リストの例を示す。
Figure 2023017760000011
表１において、ＭＶ０、ＭＶ１、ＭＶ２、及びＭＶ３は、現在のブロックの４つの制御点の動きベクトルであり、インデックス値０に対応する動きベクトルの組み合わせは、段階１．１で決定された動き情報であり、インデックス値２に対応する動きベクトルの組み合わせは、段階１．２で決定された動き情報である。
候補動き情報リストは、予測方向及び参照インデックス値などの情報をさらに含んでよいということに留意すべきである。参照値が双方向予測に対応する場合、候補アイテムは、前方参照インデックス及び前方動きベクトルの組み合わせ、及び後方参照インデックス及び後方動きベクトルの組み合わせを含む。参照値が前方予測に対応する場合、候補アイテムは、前方参照インデックス及び前方動きベクトルの組み合わせを含み、参照値が後方予測に対応する場合、候補アイテムは、後方参照インデックス及び後方動きベクトルの組み合わせを含む。さらに、エンコーダ側およびデコーダ側が、特定の数の動きベクトルの組み合わせが特定の位置における制御点の動きベクトルの組み合わせである、例えば２つの動きベクトルの組み合わせが、既定では、左上隅及び右上隅における２つの制御点の動きベクトルの組み合わせであるということに合意する場合、候補動き情報リストは、各動きベクトルの組み合わせに対応する位置座標の組み合わせを反映する必要が無く、別の方法で、候補動き情報リストにおいて、各インデックスに対応する非並進運動モデルに対応する候補アイテム（候補）は、複数の制御点の動きベクトル及び複数の制御点の対応する位置座標を含む。
段階２：最適動き情報グループを決定する。
デコーダ側は、ブロックレベルインデックス、例えば候補動き情報リストにおける現在のブロックの最適候補動き情報グループのインデックス値を取得するべく、ビットストリームを復号化し、これにより、現在のブロックの制御点の動きベクトル予測事項を取得する。
動きベクトル予測事項は、現在のブロックの制御点の動きベクトルとして直接用いられてよい。この方法は、マージ（ｍｅｒｇｅ）モードに基づいて動きベクトルを取得する方法である。
代わりに、デコーダ側は、さらに、各制御点の動きベクトルの差を取得するべく、ビットストリームを復号化し、現在のブロックの制御点の動きベクトルを取得するべく、動きベクトル予測事項及び動きベクトルの差を追加する。方法は、高度な動きベクトル予測（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ， ＡＭＶＰ）モードに基づいて動きベクトルを取得する方法である。
エンコーダ側は、候補動き情報リストにおける各動き情報グループを用いて動き補償予測を実行し、その後、ＲＤＯ基準に従って、最適動き情報グループ及び最適動き情報グループのインデックス値を選択し、その後、インデックス値をビットストリームに書き込む。
動きベクトル予測事項は、現在のブロックの制御点の動きベクトルとして直接用いられてよい（組み合わせ予測モード（マージ））。
代わりに、エンコーダ側は、さらに、動き推定を実行し、検索を通じて最終動きベクトルを取得し、各制御点の動きベクトルの差（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ， ＭＶＤ）を、ビットストリームに書き込む（ＡＭＶＰモード）。ＭＶＤは、本明細書では、推定された動きベクトルと、リストから選択された最適動きベクトルとの間の差と理解されてよい。
段階３：現在のブロックにおける各サンプル（ｘ、ｙ）の動きベクトル（Ｖｘ，Ｖｙ）又は各動き補償サブユニットを、制御点の動き情報及び運動モデルに基づいて決定し、現在のブロックの予測方向における参照インデックスにより示される参照フレームにおいて、現在のブロックにおける各サンプルの動きベクトルについての位置に基づいて各サンプルの予測値を取得する。
実施例では、動きベクトルの組み合わせが、特定された位置の動きベクトルの組み合わせに限定されるものではない場合、候補動き情報リストにおいて、各動きベクトルの組み合わせは、動きベクトルの組み合わせと関連付けられた位置座標を有するということは理解されるべきである。つまり、各動きベクトルの組み合わせの各動きベクトルは、動きベクトルに対応する制御点の位置座標に１対１で対応する。
別の実装例では、動きベクトルの組み合わせが特定された位置の動きベクトルの組み合わせである場合、例えば、４パラメータアフィン運動モデルに対応する動きベクトルの組み合わせが現在のブロックの左上隅及び右上隅の動きベクトルの組み合わせであり、６パラメータアフィン運動モデルに対応する動きベクトルの組み合わせが現在のブロックの左上隅、左下隅、及び右上隅の動きベクトルの組み合わせである場合に、候補動き情報リストは、各動きベクトルの組み合わせに対応する位置座標を含む必要が無い。
４パラメータアフィン運動モデルは、２つの動きベクトルの組み合わせに対応し、６パラメータアフィン運動モデルは、３つの動きベクトルの組み合わせに対応し、８パラメータアフィン運動モデルは、４つの動きベクトルの組み合わせに対応するということは理解されるべきである。このように、候補動き情報リストにおいて、用いられる必要があるアフィン運動モデルは、動きベクトルの組み合わせに含まれる動きベクトルの数を用いて間接的に導出されてよい。そのため、候補動き情報リストは、運動モデル情報フィールドを含まなくてよい。
本明細書における段階３では、段階２で選択された最適動き情報グループに対応する運動モデルは、非並進運動モデルであると仮定されるということは理解されるべきである。段階２で選択された最適動き情報グループが、双方向予測に対応する１つの動きベクトル又は２つの動きベクトルである場合、つまり、段階２で選択された最適動き情報グループに対応する運動モデルが、並進運動モデルである場合、最適動き情報グループにおける動きベクトルは、現在のブロックの動きベクトルとして用いられる、又は、最適動き情報グループにおける動きベクトル及びＭＶＤの和は、現在のブロックの動きベクトルとして用いられる。現在のブロックの予測方向における参照インデックスにより示される参照フレームにおいて、現在のブロックの予測ブロックは、現在のブロックの動きベクトルについての位置に基づいて取得される。
任意で、方法４００において、第１候補動き情報グループのインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数未満又は等しい。
第１候補動き情報グループは、運動モデルベースの動き情報グループであり、第１候補動き情報グループに基づいて符号化を実行する効率は、第２候補動き情報グループに基づいて符号化を実行する効率より高い。そのため、第１候補動き情報グループがターゲット動き情報である比較的高い確率がある。このように、第１候補動き情報グループのインデックス情報は、比較的少ない数のビットを有するインデックス情報に設定されてよい。これは、ビデオ伝送のビットオーバーヘッドを減らすことに役立つ。
例えば、候補動き情報リストに最初に加えられる動き情報グループは、相対的に少ない数のビットを有するインデックス情報に対応し、候補動き情報リストにその後に加えられる動き情報グループは、相対的に多い数のビットを有するインデックス情報に対応するように設定されてよい。候補動き情報リストが構成される場合、第１候補動き情報グループは、候補動き情報リストに最初に加えられ、その後第２候補動き情報グループは、候補動き情報リストに加えられ、その結果、第１候補動き情報グループのインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数より少ない。
任意で、現在のコーディングブロックの候補動き情報リストを決定することは、以下の段階を含む。
Ｓ４１１：第１隣接コーディングブロックが並進運動モデルを用いる隣接コーディングブロックである場合に、第１隣接コーディングブロックの動き情報を、候補動き情報リストに第１候補動き情報グループとして加える。及び／又は、Ｓ４１２：第１隣接コーディングブロックが非並進運動モデルを用いるコーディングブロックである場合、第１隣接コーディングブロック上の少なくとも２つの予め設定された位置の動き情報及び第１隣接コーディングブロックの運動モデルに基づいて、現在のコーディングブロックに対応する少なくとも２つの予め設定された位置の動き情報を導出し、現在のコーディングブロックに対応する少なくとも２つの予め設定された位置の動き情報を、候補動き情報リストに第１候補動き情報グループとして追加する。
第１隣接コーディングブロックの運動モデルが並進運動モデルである場合に、第１隣接コーディングブロックの動き情報グループは、処理される必要が無く、候補動き情報リストに第１候補動き情報グループとして直接加えられてよい。これは、コーディング効率を改善する。第１隣接コーディングブロックの運動モデルが非並進運動モデルである場合に、第１候補動き情報グループは、非並進運動モデルに対応する式に従って及び第１隣接コーディングブロック上の予め設定された位置の動き情報に基づいて、生成される必要がある。
本願で提供されるインター予測の実施形態は、以下でさらに説明される。
実施形態２
段階１：候補動き情報リストを構成する。
段階１．１：運動モデルベースの動き情報を、候補動き情報リストに追加する。
現在のブロックの周りの隣接ブロックは、図３に示される方法に従って走査されてよい。隣接ブロックが並進コーディングブロックである場合、隣接ブロックの動き情報は、候補動き情報リストに直接入れられる。隣接ブロックが非並進コーディングブロックであり、非並進コーディングブロックの運動モデルが現在のブロックの運動モデルと同じである場合、各非並進コーディングブロックの制御点の動き情報は取得され、その後、現在のブロックの対応する制御点の動き情報（すなわち、第１動き情報グループ）は導出される。
段階１．２：組み合わせられた制御点ベースの動き情報を候補動き情報リストに追加する。
実施形態２の段階１．２について、実施形態１の段階１．２を参照する。簡潔にするために、ここでは再び詳細を説明しない。
段階１．３：補足動き情報
任意で、段階１．２で取得された候補動きリストの長さが特定されたリスト長さＮ未満である場合、ゼロ動き情報（すなわちゼロ動きベクトル）は入れられる。
表２は、実施形態２において構成された候補動き情報リストの例を示す。
Figure 2023017760000012
表２において、ＭＶ０、ＭＶ１、ＭＶ２、及びＭＶ３は、現在のブロックの４つの制御点の動きベクトルであり、インデックス値０に対応する動きベクトルの組み合わせは、段階１．１で決定された動き情報であり、インデックス値３に対応する動きベクトルの組み合わせは、段階１．２で決定された動き情報である。
候補動き情報リストは、予測方向及び参照インデックス値などの情報をさらに含んでよいということに留意すべきである。参照値が双方向予測に対応する場合、候補アイテムは、前方参照インデックス及び前方動きベクトルの組み合わせ、及び後方参照インデックス及び後方動きベクトルの組み合わせを含む。参照値が前方予測に対応する場合、候補アイテムは、前方参照インデックス及び前方動きベクトルの組み合わせを含み、参照値が後方予測に対応する場合、候補アイテムは、後方参照インデックス及び後方動きベクトルの組み合わせを含む。
段階２：最適動き情報を決定する。
デコーダ側は、リストにおける現在のブロックの最適候補動き情報グループのインデックス値を取得するべく、ビットストリームを復号化し、これにより、現在のブロックの制御点の動きベクトル予測事項を取得する。
動きベクトル予測事項は、現在のブロックの制御点の動きベクトルとして直接用いられてよい（マージモード）。
代わりに、デコーダ側は、各制御点の動きベクトルの差を取得するべく、ビットストリームを復号化し、現在のブロックの制御点の動きベクトルを取得するべく、動きベクトル予測事項及びＭＶＤを追加する（ＡＭＶＰモード）。
エンコーダ側は、候補動き情報リストにおける各動き情報グループを用いて動き補償予測を実行し、その後、ＲＤＯ基準に従って、最適動き情報グループ及び最適動き情報グループのインデックス値を選択し、その後、ビットストリームにインデックス値を書き込む。
動きベクトル予測事項は、現在のブロックの制御点の動きベクトルとして直接用いられてよい（マージモード）。
代わりに、エンコーダ側は、さらに、動き推定を実行し、検索を通じて最終動きベクトルを取得し、各制御点のＭＶＤを、ビットストリームに書き込む（ＡＭＶＰモード）。
段階３：現在のブロックにおける各サンプル（ｘ、ｙ）の動きベクトル（Ｖｘ，Ｖｙ）又は各動き補償サブユニットを、制御点の動き情報及び運動モデルに基づいて決定し、現在のブロックの予測方向における参照インデックスにより示される参照フレームにおいて、現在のブロックにおける各サンプルの動きベクトルについての位置に基づいて各サンプルの予測値を取得する。
実施例では、動きベクトルの組み合わせが、特定された位置の動きベクトルの組み合わせに限定されるものではない場合、候補動き情報リストにおいて、各動きベクトルの組み合わせは、動きベクトルの組み合わせと関連付けられた位置座標を有するということは理解されるべきである。つまり、各動きベクトルの組み合わせの各動きベクトルは、動きベクトルに対応する制御点の位置座標に１対１で対応する。
別の実装例では、動きベクトルの組み合わせが特定された位置の動きベクトルの組み合わせである場合、例えば、４パラメータアフィン運動モデルに対応する動きベクトルの組み合わせが現在のブロックの左上隅及び右上隅の動きベクトルの組み合わせであり、６パラメータアフィン運動モデルに対応する動きベクトルの組み合わせが現在のブロックの左上隅、左下隅、及び右上隅の動きベクトルの組み合わせである場合に、候補動き情報リストは、各動きベクトルの組み合わせに対応する位置座標を含む必要が無い。
４パラメータアフィン運動モデルは、２つの動きベクトルの組み合わせに対応し、６パラメータアフィン運動モデルは、３つの動きベクトルの組み合わせに対応し、８パラメータアフィン運動モデルは、４つの動きベクトルの組み合わせに対応するということは理解されるべきである。このように、候補動き情報リストにおいて、用いられる必要があるアフィン運動モデルは、動きベクトルの組み合わせに含まれる動きベクトルの数を用いて間接的に導出されてよい。そのため、候補動き情報リストは、運動モデル情報フィールドを含まなくてよい。動き情報リストは、予測方向についての情報を含み、異なる複数の運動モデルは、当該情報に基づいて区別されてよいということに留意すべきである。例えば、双方向４パラメータモデルは、２つの前方動きベクトル及び２つの後方動きベクトルを含む。双方向並進モデルは、１つの前方動きベクトル及び１つの後方動きベクトルを含む。
任意で、非並進運動モデルを用いる第１隣接コーディングブロックの数が閾値量より多いまたは等しい場合に、第３候補動き情報グループのインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数より少なく未満であり、第３候補動き情報グループは、非並進運動モデルを用いる第１隣接コーディングブロック上の少なくとも２つの予め設定された位置の動き情報及び非並進運動モデルを用いる第１隣接コーディングブロックの運動モデルに基づいて導出される第１候補動き情報グループである。
図３は例として用いられる。位置Ａが配置されたコーディングブロックは、非並進運動モデルを用いる第１隣接コーディングブロックであり、左上隅（ｘ２，ｙ２）、及び右上隅（ｘ３，ｙ３）は、第１隣接コーディングブロック上の少なくとも２つの予め設定された位置であり、Ｖ２及びＶ３は、少なくとも２つの予め設定された位置の動き情報であり、Ｖ０及びＶ１は、Ｖ２及びＶ３に基づいて導出された第１候補動き情報グループ（すなわち、第３候補動き情報グループ）である。
非並進運動モデルを用いる第１隣接コーディングブロックの数が、閾値量より多い又は等しい場合に、そのことは、現在のコーディングブロックが非並進運動モデルを用いるコーディングブロックである比較的高い確率があるということを示す。そのため、非並進運動モデルを用いる第１隣接コーディングブロックに基づいて導出される第１候補動き情報グループ（すなわち、第３候補動き情報グループ）のインデックス情報は、比較的少ない数のビットを有するインデックス情報に設定されてよい。ターゲット動き情報が第３候補動き情報グループである比較的高い確率がある。そのため、本実施形態は、ビデオ伝送のビットの数を減らすことに役立つ。
例えば、候補動き情報リストに最初に加えられる動き情報グループは、相対的に少ない数のビットを有するインデックス情報に対応し、候補動き情報リストにその後に加えられる動き情報グループは、相対的に多い数のビットを有するインデックス情報に対応するように設定されてよい。候補動き情報リストが構成される場合、第３候補動き情報グループは、候補動き情報リストに最初に加えられ、その後第２候補動き情報グループは、候補動き情報リストに加えられ、その結果、第３候補動き情報グループのインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数より少ない。
任意で、候補動き情報リストの長さが長さ閾値より小さく、第１隣接コーディングブロックが、さらに、並進運動モデルを用いる第１隣接コーディングブロックを有する場合に、候補動き情報リストはさらに、並進運動モデルを用いる第１隣接コーディングブロックの動き情報を有し、並進運動モデルを用いる第１隣接コーディングブロックの動き情報は、第１候補動き情報グループであり、並進運動モデルを用いる第１隣接コーディングブロックの動き情報のインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数より多いまたは等しい。
本願では、候補動き情報リストの長さは、候補動き情報リストに含まれることができる動き情報グループの数である。
候補動き情報リストの長さが、第２候補動き情報グループが候補動き情報リストに加えられた後に長さ閾値より小さく、第１隣接コーディングブロックが並進運動モデルを用いる第１隣接コーディングブロックをさらに含む場合に、並進運動モデルを用いる第１隣接コーディングブロックの動き情報グループは、候補動き情報リストに第１候補動き情報グループとして加えられ、第１候補動き情報グループのインデックス情報は、比較的多い数のビットを有するインデックス情報に設定され、候補動き情報リストの長さが依然として長さ閾値より小さい場合に、ゼロ動き情報は、候補動き情報リストに加えられる。
任意で、非並進運動モデルを用いる第１隣接コーディングブロックの数が閾値量未満または等しい場合に、並進運動モデルを用いる第１隣接コーディングブロックの動き情報グループは、第１候補動き情報グループであり、並進運動モデルを用いる第１隣接コーディングブロックの動き情報グループのインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数より小さい。
非並進運動モデルを用いる第１隣接コーディングブロックの数が、閾値量に等しい又は未満である場合に、そのことは、現在のコーディングブロックが並進運動モデルを用いるコーディングブロックである比較的高い確率があるということを示す。そのため、並進運動モデルを用いる第１隣接コーディングブロックの動き情報グループは、第１候補動き情報グループとして用いられてよく、第１候補動き情報グループのインデックス情報は、相対的に少ない数のビットを有するインデックス情報に設定される。ターゲット動き情報が第１候補動き情報グループである比較的高い確率がある。そのため、この実施形態は、ビデオ伝送のビットオーバーヘッドを減らすことに役立つ。
図３は例として用いられる。位置Ａが配置されたコーディングブロックが、並進運動モデルを用いる第１隣接コーディングブロックである場合、位置Ａが配置されたコーディングブロックの動き情報グループは、現在のブロックの左下隅における制御点の動き情報（すなわち第１候補動き情報グループ）として用いられてよい。
候補動き情報リストに最初に加えられる動き情報グループは、相対的に少ない数のビットを有するインデックス情報に対応し、候補動き情報リストにその後に加えられる動き情報グループは、相対的に多い数のビットを有するインデックス情報に対応するように設定されてよい。候補動き情報リストが構成される場合、並進運動モデルを用いる第１隣接コーディングブロックの動き情報グループは、候補動き情報リストに第１候補動き情報グループとして最初に加えられ、その後、第２候補動き情報グループは、候補動き情報リストに加えられる。これは、ターゲット動き情報のインデックス情報のビットの数を減らすことに役立つ。
任意で、候補動き情報リストの長さが長さ閾値より小さく、第１隣接コーディングブロックがさらに、非並進運動モデルを用いる第１隣接コーディングブロックを有する場合に、候補動き情報リストはさらに、第４候補動き情報グループを有し、第４候補動き情報グループは、非並進運動モデルを用いる第１隣接コーディングブロック上の少なくとも２つの予め設定された位置の動き情報及び非並進運動モデルを用いる第１隣接コーディングブロックの運動モデルに基づいて導出される第１候補動き情報グループであり、第４候補動き情報グループのインデックス情報のビットの数は、第２候補動き情報グループのインデックス情報のビットの数に等しい又はより大きい。
候補動き情報リストの長さが、第２候補動き情報グループが候補動き情報リストに加えられた後に長さ閾値より小さく、第１隣接コーディングブロックが非並進運動モデルを用いる第１隣接コーディングブロックをさらに含む場合に、非並進運動モデルを用いる第１隣接コーディングブロックの動き情報グループに基づいて導出される動き情報グループは、候補動き情報リストに第１候補動き情報グループとして加えられ、第１候補動き情報グループのインデックス情報は、比較的多い数のビットを有するインデックス情報に設定され、候補動き情報リストの長さが依然として長さ閾値より小さい場合に、ゼロ動き情報は、候補動き情報リストに加えられる。
図３は例として用いられる。位置Ａが配置されたコーディングブロックが非並進運動モデルを用いる第１隣接コーディングブロックであると仮定すると、左上隅（ｘ２，ｙ２）、及び右上隅（ｘ３，ｙ３）は、第１隣接コーディングブロック上の少なくとも２つの予め設定された位置であり、Ｖ２及びＶ３は、少なくとも２つの予め設定された位置の動き情報であり、Ｖ０及びＶ１は、Ｖ２及びＶ３に基づいて導出された第１候補動き情報グループ（すなわち、第４候補動き情報グループ）である。
本願で提供されるインター予測方法の実施形態は、以下でさらに説明される。
実施形態３
段階１：候補動き情報リストを構成する。
図３に示されるように、現在のブロックの周りの隣接ブロックは、一連のＡ－Ｂ－Ｃ－Ｄ－Ｅで走査され、隣接ブロックにおける非並進コーディングブロックの数Ｍは、カウントされる。
Ｍが予め設定された閾値量Ｔより大きい場合、一連の動き情報グループを加えることは、最初に、現在のブロックに関する、非並進コーディングブロックの動き情報グループに基づいて決定された動き情報グループ（すなわち、いくつかの第１候補動き情報グループ）が候補動き情報リストに加えられ、具体的に言えば、現在のブロックに対応する少なくとも２つの予め設定された位置の動き情報は、非並進コーディングブロック上の少なくとも２つの予め設定された位置の動き情報及び非並進コーディングブロックの運動モデルに基づいて導出され、現在のブロックに対応する少なくとも２つの予め設定された位置の動き情報は、候補動き情報リストに第１候補動き情報グループとして加えられ、その後、組み合わせられた制御点ベースの動き情報グループ（すなわち、第２候補動き情報グループ）は、候補動き情報リストに加えられ、この場合の候補動き情報リストの長さが特定されたリスト長さＮ未満である場合、現在のブロックに関する、並進コーディングブロックの動き情報グループに基づいて決定される動き情報グループ（すなわち、いくつかの他の第１候補動き情報グループ）は、候補動き情報リストにさらに加えられ、この場合の候補動き情報リストの長さが依然として、特定されたリスト長さＮ未満である場合、ゼロ動き情報は入れられる。
Ｍが予め設定された閾値量Ｔに等しいまたはより少ない場合、一連の動き情報グループを加えることはは、最初に、現在のブロックに関する、並進コーディングブロックの動き情報グループに基づいて決定される動き情報グループ（すなわち、いくつかの第１候補動き情報グループ）は、候補動き情報リストに加えられ、その後、組み合わせられた制御点ベースの動き情報グループ（すなわち第２候補動き情報グループ）は、候補動き情報リストに加えられ、この場合の候補動き情報リストの長さが特定されたリスト長さＮ未満である場合、現在のブロックに関する、非並進コーディングブロックの動き情報グループに基づいて導出される動き情報グループ（すなわち、いくつかの他の第１候補動き情報グループ）は、候補動き情報リストにさらに加えられ、この場合の候補動き情報リストの長さが依然として、特定されたリスト長さＮ未満である場合、ゼロ動き情報は入れられる。
非並進コーディングブロックの動き情報グループ又は並進コーディングブロックの動き情報グループに基づいて現在のブロックの動き情報グループを決定する方法について、実施形態１における段階１．１及び段階１．２を参照する。簡潔にするために、ここでは再び詳細を説明しない。
任意で、第１候補動き情報グループ及び第２候補動き情報グループの両方は、現在のコーディングブロック上の第１グループの位置の動き情報であり、現在のコーディングブロック上の少なくとも２つの予め設定された位置は、第２グループの位置であり、現在のコーディングブロックの候補動き情報リストを決定することは、第２グループの位置が第１グループの位置とは異なる場合に、位置変換式に従って及び第２グループの位置に対応する動き情報に基づいて、第２候補動き情報グループを導出することを有する。
第１候補動き情報グループに対応する位置の数が、第２候補動き情報グループに対応する位置の数と同じである場合に、本実施形態に従って取得される候補動き情報リストにおける全ての動き情報グループは、特定の位置の動き情報である。これは、動き推定の複雑性を減らす。
図５は、例として用いられる。第１候補動き情報グループがＣＰ１及びＣＰ２に対応する動き情報であると仮定して、ＣＰ１及びＣＰ２は、第１グループの位置である。第２候補動き情報グループが基づくサンプル位置が、位置Ａ１及び位置Ａ２（すなわち、第２グループの位置）である場合、エンコーダ側は、位置変換式に従って、第２グループの位置に対応する動き情報に基づいて、ＣＰ１及びＣＰ２に対応する第２候補動き情報グループを取得してよい。
任意で、第１候補動き情報グループは、現在のコーディングブロック上の第１グループの位置の動き情報であり、第２候補動き情報グループは、現在のコーディングブロック上の第３グループの位置の動き情報であり、方法はさらに、第１グループの位置が第３グループの位置とは異なる場合に、位置変換式に従って及び第２候補動き情報グループに基づいて、第５候補動き情報グループを導出する段階を備え、第５候補動き情報グループに対応する位置は、第１グループの位置と同じである。
第１候補動き情報グループに対応する位置の数が、第２候補動き情報グループに対応する位置の数と同じである場合に、本実施形態に従って取得される候補動き情報リストにおける全ての動き情報グループは、特定の位置の動き情報である。これは、動き推定の複雑性を減らす。
図５は例として用いられる。第１候補動き情報グループがＣＰ１及びＣＰ２に対応する動き情報であると仮定して、ＣＰ１及びＣＰ２は、第１グループの位置である。第２候補動き情報グループがＣＰ２及びＣＰ３（すなわち第３グループの位置）に対応する動き情報である場合、エンコーダ側は、位置変換式に従って、ＣＰ２及びＣＰ３に基づいて、ＣＰ１及びＣＰ２に対応する第２候補動き情報グループを取得してよい。
実施形態１、実施形態２、及び実施形態３において、制御点の異なる組み合わせは、同じ位置における制御点に変換されてよい。
例えば、｛ＣＰ１，ＣＰ４｝，｛ＣＰ２，ＣＰ３｝，｛ＣＰ２，ＣＰ４｝，｛ＣＰ１，ＣＰ３｝，又は｛ＣＰ３，ＣＰ４｝を組み合わせることにより取得される４パラメータアフィンモデルは、制御点｛ＣＰ１，ＣＰ２｝により表されるように変換される。変換方法として、制御点の動きベクトル及び座標情報は、式（１）に代入され、モデルパラメータを取得し、その後、｛ＣＰ１，ＣＰ２｝の座標情報が、当該式に代入され、｛ＣＰ１，ＣＰ２｝の動きベクトルを取得する。
例えば、｛ＣＰ１，ＣＰ２，ＣＰ４｝，｛ＣＰ２，ＣＰ３，ＣＰ４｝，又は｛ＣＰ１，ＣＰ３，ＣＰ４｝を組み合わせることにより取得される６パラメータアフィンモデルは、制御点｛ＣＰ１，ＣＰ２，ＣＰ３｝により表されるように変換される。変換方法として、制御点の動きベクトル及び座標情報は、式（３）に代入され、モデルパラメータを取得し、その後、｛ＣＰ１，ＣＰ２，ＣＰ３｝の座標情報が、当該式に代入され、｛ＣＰ１，ＣＰ２，ＣＰ３｝の動きベクトルを取得する。
式（１）及び式（３）は、位置変換式である。
上記は、本願で提供されるビデオデータインター予測方法を詳細に説明する。以下は、明確かつ完全に、添付の図面を参照して、本願で提供されるビデオ符号化／復号化システム、ビデオデータ符号化装置、及びビデオデータ復号化装置を説明する。
図７は、本願の実施形態において説明される例のビデオコーディングシステム１のブロック図である。本明細書において用いられるように、用語"ビデオコーデック"は、ビデオエンコーダ及びビデオデコーダの両方を通常指す。本願では、用語"ビデオコーディング"又は"コーディング"は、ビデオ符号化又はビデオ復号化を通常指してよい。ビデオコーディングシステム１のビデオエンコーダ１００及びビデオデコーダ２００は、本願で提供されるインター予測方法に従って、現在のコーディングされた画像ブロック又は現在の符号化された画像ブロックの動き補償サブユニットの動き情報、例えば動きベクトルを予測するように構成され、その結果、予測された動きベクトルは、動き推定方法を用いて取得された動きベクトルに極度に近くなる。これはさらに、符号化／復号化性能を改善する。
図７に示されるように、ビデオコーディングシステム１は、発信元装置１０及び宛先装置２０を含む。発信元装置１０は、符号化済ビデオデータを生成する。そのため、発信元装置１０は、ビデオ符号化装置と称されてよい。宛先装置２０は、発信元装置１０により生成された符号化済ビデオデータを復号化してよい。そのため、宛先装置２０は、ビデオ復号化装置と称されてよい。発信元装置１０、宛先装置２０、又は発信元装置１０と宛先装置２０の両方の様々な実施例の解決策は、１または複数のプロセッサ及び１または複数のプロセッサに連結されたメモリを含んでよい。メモリは、本明細書において説明されるように、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ， ＲＡＭ）、リードオンリメモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ， ＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ， ＥＰＲＯＭ）、フラッシュメモリ、又は要求されるプログラムコードをコンピュータによりアクセス可能な命令またはデータ構造の形態で格納するために用いられることができる任意の他の媒体を含んでよいがこれに限定されるものではない。
発信元装置１０と宛先装置２０は、デスクトップコンピュータ、モバイルコンピューティング装置、ノートブック（例えばラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる"スマート"フォンなどのハンドヘルド電話、テレビセット、カメラ、表示装置、デジタルメディアプレイヤー、ビデオゲームコンソール、車載コンピュータ、及び同様の装置を含む、様々な装置を含んでよい。
宛先装置２０は、発信元装置１０からリンク３０を介して符号化済ビデオデータを受信してよい。リンク３０は、符号化済ビデオデータを発信元装置１０から宛先装置２０へ移動させることができる１又は複数の媒体又は装置を含んでよい。例では、リンク３０は、発信元装置１０が符号化済ビデオデータをリアルタイムに宛先装置２０へ直接伝送することを可能にする１又は複数の通信媒体を含んでよい。この例では、発信元装置１０は、通信規格（例えば、無線通信プロトコル）に従って符号化済ビデオデータを変調してよく、変調されたビデオデータを宛先装置２０に伝送してよい。１又は複数の通信媒体は、無線及び／又は有線通信媒体、例えば、無線周波数（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ， ＲＦ）スペクトル又は１又は複数の物理的伝送ラインを含んでよい。１又は複数の通信媒体は、パケットベースネットワークの一部を構成してよく、パケットベースネットワークは、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク（例えばインターネット）である。１又は複数の通信媒体は、ルータ、スイッチ、ベースステーション、又は発信元装置１０から宛先装置２０への通信を容易にする他のデバイスを含んでよい。
別の例では、符号化済みデータは、出力インタフェース１４０を通じて記憶装置４０に出力されてよい。同様に、符号化済みデータは、記憶装置４０から入力インタフェース２４０を通じてアクセスされてよい。記憶装置４０は、複数の分散データ記憶媒体又はローカルにアクセス可能なデータ記憶媒体、例えば、ハードドライブ、Ｂｌｕ－ｒａｙ、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ， ＤＶＤ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性もしくは非揮発性メモリ、又は符号化済ビデオデータを格納するように構成された任意の他の適切なデジタル記憶媒体のうちいずれか１つを含んでよい。
別の例では、記憶装置４０は、ファイルサーバ又は発信元装置１０により生成された符号化済みビデオを維持することができる他の中間記憶装置に対応してよい。宛先装置２０は、ストリーミング伝送またはダウンロードにより記憶装置４０から、格納されたビデオデータにアクセスしてよい。ファイルサーバは、符号化済ビデオデータを格納し、符号化済ビデオデータを宛先装置２０に伝送することができる任意のタイプのサーバであってよい。ファイルサーバの例は、ネットワークサーバ（例えば、ウェブサイトのために用いられる）、ファイル転送プロトコル（ｆｉｌｅ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ， ＦＴＰ）サーバ、ネットワーク接続型ストレージ（ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ， ＮＡＳ）装置、又はローカルディスクドライブを含む。宛先装置２０は、任意の規格データ接続（インターネット接続を含む）を通じて符号化済ビデオデータにアクセスしてよい。規格データ接続は、無線チャネル（例えば無線フィデリティ（ｗｉｒｅｌｅｓｓ－ｆｉｄｅｌｉｔｙ， Ｗｉ－Ｆｉ）接続）、有線接続（デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ， ＤＳＬ）又はケーブルモデム）、又はファイルサーバに格納された符号化済ビデオデータにアクセスするために適切な両方の組み合わせを含んでよい。記憶装置４０からの符号化済ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、又は両方の組み合わせであってよい。
本願における動きベクトル予測技術は、ビデオ符号化及び復号化に適用されてよく、複数のマルチメディア適用、例えば、無線テレビブロードキャスト、ケーブルテレビ伝送、衛星テレビ伝送、ストリーミングビデオ伝送（例えばインターネットを介して）、データ記憶媒体に格納されたビデオデータの符号化、データ記憶媒体に格納されたビデオデータの復号化、又は別の適用をサポートする。いくつかの例では、ビデオコーディングシステム１は、単方向又は双方向ビデオ伝送をサポートするように構成されてよく、ビデオストリーミング伝送、ビデオ再生、ビデオブロードキャスト、及び／又はビデオ電話などの適用をサポートする。
図７で説明されたビデオコーディングシステム１は、単なる例であり、本願の技術は、必ずしも符号化装置及び復号化装置の間のいかなるデータ通信も含む必要が無いビデオコーディング設定（例えば、ビデオ符号化又はビデオ復号化）に適用可能である。別の例では、データは、ローカルメモリから取り出され、ストリーミング方式でネットワーク上で伝送される等である。ビデオ符号化装置は、データを符号化し、メモリにデータを格納してよく、及び／又はビデオ復号化装置は、メモリからデータを取得し、データを復号化してよい。多くの例では、データを符号化しデータをメモリに格納する、及び／又はメモリからデータを取得しデータを復号化するのみで、互いに通信しない装置は、符号化及び復号化を実行する。
図７における例では、発信元装置１０は、ビデオソース１２０、ビデオエンコーダ１００、及び出力インタフェース１４０を含む。いくつかの例では、出力インタフェース１４０は、変調器／復調器（モデム）及び／又は送信機を含んでよい。ビデオソース１２０は、ビデオキャプチャ装置（例えばカメラ）、前にキャプチャされたビデオデータを含むビデオアーカイブ、ビデオコンテンツプロバイダからのビデオデータを受信するように構成されたビデオフィードインインタフェース、及び／又はビデオデータを生成するためのコンピュータグラフィックシステム、又はビデオデータのこれらのソースの組み合わせを含んでよい。
ビデオエンコーダ１００は、ビデオソース１２０からのビデオデータを符号化してよい。いくつかの例では、発信元装置１０は、符号化済ビデオデータを宛先装置２０に出力インタフェース１４０を通じて直接伝送する。別の例では、符号化済ビデオデータは、代わりに、記憶装置４０に格納されてよく、その結果、宛先装置２０は、続いて、復号化及び／又はプレイのために符号化済ビデオデータにアクセスする。
図７の例では、宛先装置２０は、入力インタフェース２４０、ビデオデコーダ２００、及び表示装置２２０を含む。いくつかの例では、入力インタフェース２４０は、受信機及び／又はモデムを含む。入力インタフェース２４０は、符号化済ビデオデータをリンク３０を介して及び／又は記憶装置４０から受信してよい。表示装置２２０は、宛先装置２０と統合されてよい、又は宛先装置２０の外部に配置されてよい。一般に、表示装置２２０は、復号化されたビデオデータを表示する。表示装置２２０は、複数の表示装置、例えば、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ， ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ， ＯＬＥＤ）、又は、別のタイプの表示装置を含んでよい。
図７に示されていないが、いくつか態様では、ビデオエンコーダ１００及びビデオデコーダ２００は、それぞれ、オーディオエンコーダ及びオーディオデコーダに統合されてよく、適切なマルチプレクサ－デマルチプレクサユニット又は他のハードウェア及びソフトウェアを含んでよく、同じデータストリーム又は別個のデータストリームにおける、オーディオ及びビデオの符号化を処理する。いくつかの例では、適用可能である場合は、マルチプレクサ－デマルチプレクサ（ｍｕｌｔｉｐｌｅｘ－ｄｅｍｕｌｔｉｐｌｅｘ， ＭＵＸ－ＤＥＭＵＸ）ユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル又はユーザデータグラムプロトコル（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ， ＵＤＰ）などの別のプロトコルに適合してよい。
ビデオエンコーダ１００及びビデオデコーダ２００は、各々、複数の以下の回路、例えば、１又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ， ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ， ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ， ＦＰＧＡ）、ディスクリートロジック、ハードウェア、又はこれらの任意の組み合わせのうちいずれか１つとして実施されてよい。本願がソフトウェアを用いて部分的に実施される場合、装置は、適切な不揮発性コンピュータ可読記憶媒体に、ソフトウェアのために用いられる命令を格納してよく、１または複数のプロセッサを用いて、ハードウェアにおける命令を実行し、本願における技術を実施してよい。上記のコンテンツ（ハードウェア、ソフトウェア、ハードウェアとソフトウェアの組み合わせなどを含む）のうちいずれか１つは、１または複数のプロセッサとして考慮されてよい。ビデオエンコーダ１００及びビデオデコーダ２００は、各々、１又は複数のエンコーダ又はデコーダに含まれてよく、エンコーダ又はデコーダのいずれかは、対応する装置における組み合わせられたエンコーダ／デコーダ（コーデック）に、組み合わせられたエンコーダ／デコーダの一部として統合されてよい。
本願では、ビデオエンコーダ１００は、一般に、例えばビデオデコーダ２００にいくつかの情報を"シグナリング"又は"伝送"する別の装置と称されてよい。用語"シグナリング" 又は"伝送"は、圧縮されたビデオデータを復号化するために用いられる構文要素及び／又は他のデータの転送をおおよそ指してよい。転送は、リアルタイムに又はほぼリアルタイムに生じてよい。代わりに、通信は、ある期間の後に生じてよく、例えば、符号化されたビットストリームにおける構文要素が、符号化中にコンピュータ可読記憶媒体に格納される場合に生じてよく、その後、復号化装置は、構文要素が媒体に格納された後の任意の時間に構文要素を取得してよい。
ビデオエンコーダ１００及びビデオデコーダ２００は、高効率ビデオコーディング（ＨＥＶＣ）又はこの拡張などのビデオ圧縮規格に従って動作してよく、ＨＥＶＣテストモデル（ＨＭ）に適合してよい。代わりに、ビデオエンコーダ１００及びビデオデコーダ２００は、他の業界規格、例えばＩＴＵ－Ｔ Ｈ．２６４及びＨ．２６５規格又はそのような規格の拡張に従って動作してよい。しかしながら、本願の技術は、任意の特定の符号化及び復号化規格に限定されるものではない。
例では、図４を参照して、ビデオエンコーダ１００は、現在のコーディング画像ブロックに関連する構文要素を、デジタルビデオ出力ビットストリーム（ビットストリーム又は短くストリームと称される）に符号化するように構成される。本明細書で、現在の画像ブロックのインター予測に用いられる構文要素は、インター予測データと簡潔に称され、インター予測データは、ターゲット動き情報を示すために用いられるインデックス情報を含んでよい。現在の画像ブロックを符号化するために用いられるターゲット動き情報を決定するべく、ビデオエンコーダ１００は、候補動き情報リストを決定又は生成し（Ｓ４１０）、スクリーニングルール（例えばＲＤＯ）に従って、候補動き情報リストからターゲット動き情報を決定する（Ｓ４２０）ようにさらに構成される。ビデオエンコーダ１００は、決定されたターゲット動き情報グループに基づいて、現在の画像ブロックを符号化するようにさらに構成される（Ｓ４３０）。符号化処理は本明細書では、決定されたターゲット動き情報グループに基づいて、現在の画像ブロックにおける各動き補償サブユニット（基本動き補償ユニットとも称されてよい）の動き情報を予測すること、及び、現在の画像ブロックにおける１又は複数の動き補償サブユニットの動き情報を用いて現在の画像ブロックに対してインター予測を実行すること含んでよい。
基本動き補償ユニットは、動き補償を実行するための最小単位であり、当該ユニットは、一様の動き情報を有するということを理解すべきである。本発明の実施形態では、サンプルは、基本動き補償ユニットとして用いられる。サンプル行列などは、代わりに、基本動き補償ユニットとして用いられてよい。これについては本願で限定されるものではない。
ビデオエンコーダがＡＭＶＰモードを用いてインター予測を実行する際に、現在のコーディング画像ブロック（すなわち、元のブロック）と、本願で提案された新たなインター予測方法に基づいて予測された動き情報に基づいて生成された予測ブロックとの間の差（すなわち、残差）が０である場合、ビデオエンコーダ１００は、現在のコーディング画像ブロックに関連する構文要素のみを、ビットストリーム（ストリームとも称される）に符号化する必要があり、別の方法では、構文要素に加えて、対応する残差はさらにビットストリームに符号化される必要があるということは理解されるべきである。ビデオエンコーダがマージモードを用いてインター予測を実行する場合、ターゲット動き情報のインデックス情報のみが、ビットストリームに符号化される必要がある。
別の例では、図４を参照すると、ビデオデコーダ２００は、現在のコーディング画像ブロックに関連する構文要素を取得するべく、ビットストリームを復号化し、候補動き情報リストを決定するように構成される（Ｓ４１０）。本明細書で、現在の画像ブロックのインター予測に用いられる構文要素は、インター予測データと簡潔に称され、インター予測データは、ターゲット動き情報を決定するために用いられるインデックス情報を含む。ビデオデコーダ２００は、インター予測データにおけるインデックス情報に基づいてターゲット動き情報を決定し（Ｓ４２０）、決定されたターゲット動き情報グループに基づいて現在の画像ブロックを復号化する（Ｓ４３０）。復号化処理は本明細書では、決定されたターゲット動き情報グループに基づいて、現在の画像ブロックにおける１又は複数の基本動き補償ユニットの動き情報を予測すること、及び、現在の画像ブロックにおける１又は複数の基本動き補償ユニットの動き情報を用いて現在の画像ブロックに対してインター予測を実行することを含んでよい。
任意で、ビデオデコーダ２００により決定された候補動き情報リストは、完全なリスト（すなわち、ビデオエンコーダにより決定された候補動き情報リストと同じリスト）であってよい、又は、不完全リスト、例えば、ターゲット動き情報を含む部分的なリストであってよい。例えば、ビットストリームにおいて保持された、ターゲット動き情報を決定するために用いられるインデックス値が、３である場合、決定された不完全リストは、インデックス値が０，１，２，及び３である候補動き情報グループを含むが、インデックス値が４，及び５などである候補動き情報グループを含まなくてもよい。
本願で提供されるビデオエンコーダ１００及びビデオデコーダ２００は、２つのタイプの候補動き情報グループを含む候補動き情報リストを構成するということは上記から認識されることができる。２つのタイプの候補動き情報グループは、一様に統合されたインデックス情報を有する。２つのタイプの候補動き情報グループのうちの一方が、現在の画像ブロックに適用可能ではない場合に、ビデオエンコーダ１００は、候補動き情報リストに含まれる他のタイプの候補動き情報グループからターゲット動き情報を選択し、ターゲット動き情報のインデックス情報を、ビットストリームを用いてビデオデコーダ２００に送信してよい。候補動き情報リストにおける候補動き情報グループが、一意のインデックス情報を有するので、ビデオエンコーダ１００は、エンコーダ側により用いられる候補動き情報リスト構成方法を示す指示情報を、ビットストリームにおいて転送する必要が無い。これは、ビデオ伝送のビットオーバーヘッドを減らす。
図８は、本願の実施形態に従った例のビデオエンコーダ１００のブロック図である。ビデオエンコーダ１００は、ビデオを事後処理エンティティ４１に出力するように構成される。事後処理エンティティ４１は、ビデオエンコーダ１００からの符号化済ビデオデータを処理できるビデオエンティティの例、例えば、媒体認識ネットワーク要素（ＭＡＮＥ）又は接続装置／編集装置を表す。いくつかの場合において、事後処理エンティティ４１は、ネットワークエンティティの例であってよい。いくつかのビデオ符号化システムにおいて、事後処理エンティティ４１及びビデオエンコーダ１００は、別個の装置の一部であってよいが、他のケースでは、事後処理エンティティ４１を参照して説明される機能は、ビデオエンコーダ１００を含む同じ装置により実行されてよい。例では、事後処理エンティティ４１は、図７における記憶装置４０の例である。
ビデオエンコーダ１００は、本願において提供される方法に従ってビデオ画像ブロックインター予測を実行してよい。
図８の例では、ビデオエンコーダ１００は、予測処理ユニット１０８、フィルタユニット１０６、復号化画像バッファ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ， ＤＰＢ）１０７，加算器１１２、変換部１０１、量子化器１０２、及びエントロピーエンコーダ１０３を含む。予測処理ユニット１０８は、インター予測部１１０及びイントラ予測部１０９を含む。画像ブロック再構成のために、ビデオエンコーダ１００はさらに、逆量子化器１０４、逆変換部１０５、及び加算器１１１を含む。フィルタユニット１０６は、1または複数のループフィルタ、例えば、非ブロック化フィルタ、適応ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ， ＡＬＦ）、及びサンプル適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ， ＳＡＯ）フィルタを表すように意図される。フィルタユニット１０６が図８においてインループフィルタとして示されるが、別の実施例では、フィルタユニット１０６は、事後ループフィルタとして実施されてよい。例では、ビデオエンコーダ１００は、ビデオデータメモリ及び分割ユニット（図に示されていない）をさらに含んでよい。
ビデオデータメモリは、ビデオエンコーダ１００のコンポーネントにより符号化されるビデオデータを格納してよい。ビデオデータメモリに格納されるビデオデータは、ビデオソース１２０から取得されてよい。ＤＰＢ１０７は、イントラ及びインターコーディングモードにおいてビデオエンコーダ１００によりビデオデータを符号化するために用いられる参照ビデオデータを格納する参照画像メモリであってよい。ビデオデータメモリ及びＤＰＢ１０７は各々、複数のメモリ装置、例えば、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、又は別のタイプのメモリ装置のうちいずれか１つにより構成されてよい。ビデオデータメモリ及びＤＰＢ１０７は、同じメモリ装置又は別個のメモリ装置により提供されてよい。様々な例では、ビデオデータメモリは、ビデオエンコーダ１００の他のコンポーネントとともにチップ上に配置されてよく、又は、これらのコンポーネントに対してチップの外部に配置されてよい。
図８に示されるように、ビデオエンコーダ１００は、ビデオデータを受信し、ビデオデータメモリにビデオデータを格納する。分割ユニットは、ビデオデータをいくつかの画像ブロックに分割し、これらの画像ブロックは、さらに、例えば、四分木構造又は二分木構造に基づく画像ブロック分割を通じて、より小さいブロックに分割されてよい。分割は、さらに、複数のスライス（ｓｌｉｃｅ）、複数のタイル（ｔｉｌｅ）、又は他のより大きな単位に分割することを含む。ビデオエンコーダ１００は、通常、コーディングビデオスライスにおける画像ブロックの符号化のためのコンポーネントを説明する。スライスは、複数の画像ブロックに分けられてよい（さらに、タイルと称される複数の画像ブロックセットに分けられてよい）。予測処理ユニット１０８（具体的には予測処理ユニット１０８におけるインター予測ユニット１１０）は、現在の画像ブロックの候補動き情報リストを決定し、スクリーニングルールに従って候補動き情報リストからターゲット動き情報を決定し、ターゲット動き情報に基づいて現在の画像ブロックに対するインター予測を実行してよい。前処理部１０８は、イントラ復号化及びインター復号化の後に取得されたブロックを加算器１１２に提供して、残差ブロックを生成してよく、ブロックは、参照画像として用いられたコーディングされたブロックを再構成するべく、加算器１１１に提供される。さらに、前処理部１０８（具体的には、インター予測ユニット１１０）は、ターゲット動き情報のインデックス情報をエントロピーエンコーダ１０３に送信してよく、その結果、エントロピーエンコーダ１０３は、ターゲット動き情報のインデックス情報をビットストリームに符号化する。
予測処理ユニット１０８におけるイントラ予測部１０９は、イントラ予測符号化を、現在のコーディングブロックと同じフレーム又はスライスにおける１又は複数の隣接ブロックに対して、現在の画像ブロックに実行してよく、空間冗長を除去する。予測処理ユニット１０８におけるインター予測部１１０は、インター予測符号化を、１又は複数の参照画像における１又は複数の予測ブロックに対して、現在の画像ブロックに実行してよく、時間冗長を除去する。
具体的には、インター予測部１１０は、ターゲット動き情報を決定するように構成されてよい。例えば、インター予測部１１０は、レート歪み解析を通じて、候補動き情報リストにおける各動き情報グループのレート歪み値を計算し、候補動き情報リストから、最適レート歪み特性を有する動き情報グループを選択してよい。レート歪み解析は、通常、コーディングされたブロックと、符号化されておらず、コーディングされたブロックを生成するために符号化される元のブロックとの間の歪み（又はエラー）の量を決定し、コーディングされたブロックを生成するために用いられるビットレート（すなわち、ビットの数）を決定する。例えば、インター予測部１１０は、候補動き情報セットにおける動き情報グループを、現在の画像ブロックに対するインター予測の実行に用いられるターゲット動き情報として決定してよく、ここで、レート歪みコストは、候補動き情報セットにおける動き情報グループが現在の画像ブロックの符号化に用いられる場合に最も低い。以下は、インター予測符号化処理を詳細に説明する。
インター予測部１１０は、決定されたターゲット動き情報グループに基づいて現在の画像ブロックにおける１又は複数の基本動き補償ユニットの動き情報（例えば動きベクトル）を予測し、現在の画像ブロックにおける１又は複数の基本動き補償ユニットの動き情報（例えば動きベクトル）を用いて現在の画像ブロックの予測ブロックを取得又は生成するように構成される。インター予測部１１０は、参照画像リストにおける１つの参照画像において、動きベクトルが指す予測ブロックの位置を突き止めてよい。インター予測部１１０は、さらに、ビデオスライスの画像ブロックを復号化する場合にビデオデコーダ２００により用いるために、画像ブロック及びビデオスライスと関連付けられる構文要素を生成してよい。代わりに、例では、インター予測部１１０は、各基本動き補償ユニットの動き情報を用いて動き補償プロセスを実行して、各基本動き補償ユニットの予測ブロックを生成し、現在の画像ブロックの予測ブロックを取得する。インター予測部１１０は、本明細書では、動き推定プロセス及び動き補償プロセスを実行するということは理解されるべきである。
具体的に、現在の画像ブロックのためのターゲット動き情報を選択した後、インター予測部１１０はエントロピーエンコーダ１０３に、現在の画像ブロックのターゲット動き情報を示す情報を提供してよく、その結果、エントロピーエンコーダ１０３は、選択されたターゲット動き情報を示す情報を符号化する。本願では、エントロピーエンコーダ１０３は、伝送されたビットストリームに、現在の画像ブロックに関連するインター予測データを追加してよく、インター予測データは、候補動き情報リストから選択されたターゲット動き情報を示すべく、インデックス情報を含んでよい。
イントラ予測部１０９は、現在の画像ブロックに対するイントラ予測を実行してよい。具体的には、イントラ予測部１０９は、現在のブロックの符号化に用いられるイントラ予測モードを決定してよい。例えば、イントラ予測部１０９は、各テスト対象の候補動き情報グループのレート歪み値を、レート歪み解析を通じて計算し、テスト対象のモードから最適レート歪特性を有するイントラ予測モードを選択してよい。任意の場合に、画像ブロックに対するターゲット動き情報を選択した後に、イントラ予測部１０９は、現在の画像ブロックのターゲット動き情報をエントロピーエンコーダ１０３に提供してよく、その結果、エントロピーエンコーダ１０３は、ターゲット動き情報を符号化する。
予測処理ユニット１０８が現在の画像ブロックの予測ブロックをインター予測及びイントラ予測を通じて生成した後に、ビデオエンコーダ１００は、予測ブロックを現在のコーディング画像ブロックから引き、残差画像ブロックを形成する。加算器１１２は、そのような減算オペレーションを実行する１又は複数のコンポーネントを表す。残差ブロックにおける残差ビデオデータは、１又は複数のＴＵに含まれ、変換部１０１に適用されてよい。変換部１０１は、残差ビデオデータを、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を通じて残差変換係数に変換する。変換部１０１は、サンプル値領域から変換領域、例えば、周波数領域へ残差ビデオデータを変換してよい。
変換部１０１は、取得された変換係数を量子化器１０２に送信してよい。量子化器１０２は、さらにビットレートを減らすべく、変換係数を量子化する。いくつかの例では、量子化器１０２は、その後、量子化済変換係数を含む行列を走査してよい。代わりに、エントロピーエンコーダ１０３は、スキャンを実行してよい。
量子化の後に、エントロピーエンコーダ１０３は、量子化済変換係数に対して、エントロピーコーディングを実行する。例えば、エントロピーエンコーダ１０３は、コンテキスト適応可変長さコーディング（ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ， ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ， ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔分割エントロピー（ＰＩＰＥ）コーディング、又は別のエントロピーコーディング方法もしくは技術を実行してよい。エントロピーエンコーダ１０３がエントロピーコーディングを実行した後に、符号化されたビットストリームは、ビデオデコーダ２００に伝送されてよく、又は続く伝送のためにアーカイブされてよく、又はビデオデコーダ２００により取り出されてよい。エントロピーエンコーダ１０３は、さらに、コーディングする現在の画像ブロックの構文要素に対してエントロピーコーディングを実行してよく、例えば、ターゲット動き情報をビットストリームに符号化してよい。
逆量子化器１０４及び逆変換部１０５は、それぞれ、逆量子化及び逆変換を適用し、サンプル領域における残差ブロックを再構成し、例えば、残差ブロックは、参照画像の参照ブロックとして続いて用いられる。加算器１１１は、再構成された残差ブロックを、インター予測部１１０又はイントラ予測部１０９により生成された予測ブロックに追加し、再構成された画像ブロックを生成する。フィルタユニット１０６は、ブロックアーチファクト（ｂｌｏｃｋ ａｒｔｉｆａｃｔｓ）などの歪みを減らすべく、再構成された画像ブロックに適用可能である。その後、再構成された画像ブロックは、復号化画像バッファ１０７に参照ブロックとして格納され、続くビデオフレーム又は画像におけるブロックに対してインター予測を実行するべく、インター予測部１１０により参照ブロックとして用いられてよい。
ビデオエンコーダ１００の他の構造のバリエーションは、ビデオストリームを符号化するために用いられてよいということは理解されるべきである。例えば、いくつかの画像ブロック又は画像フレームについて、ビデオエンコーダ１００は、変換部１０１によって処理することなく、それに対応して、逆変換部１０５によって処理することなく、残差信号を直接量子化してよい。代わりに、いくつかの画像ブロック又は画像フレームについて、ビデオエンコーダ１００は、残差データを生成せず、それに対応して、変換部１０１、量子化器１０２、逆量子化器１０４、及び逆変換部１０５による処理は必要がない。代わりに、ビデオエンコーダ１００は、再構成された画像ブロックを、フィルタユニット１０６により処理をすることなく、参照ブロックとして直接格納してよい。代わりに、ビデオエンコーダ１００における量子化器１０２及び逆量子化器１０４は、組み合わせられてよい。
図９は、本願の実施形態に従った例のビデオデコーダ２００のブロック図である。図９における例では、ビデオデコーダ２００は、エントロピーデコーダ２０３、予測処理ユニット２０８、逆量子化器２０４、逆変換部２０５、加算器２１１、フィルタユニット２０６、及び復号化画像バッファ２０７を含む。予測処理ユニット２０８は、インター予測部２１０及びイントラ予測部２０９を含んでよい。いくつかの例では、ビデオデコーダ２００は、実質的に、図８のビデオエンコーダ１００を参照して説明される符号化処理とは逆である復号化処理を実行してよい。
復号化中に、ビデオデコーダ２００は、ビデオエンコーダ１００から、符号化されたビデオスライスの画像ブロック及び関連付けられた構文要素を表す符号化されたビデオビットストリームを受信する。ビデオデコーダ２００は、ネットワークエンティティ４２からビデオデータを受信してよく、任意で、さらに、ビデオデータをビデオデータメモリ（図に示されていない）に格納してよい。ビデオデータメモリは、ビデオデコーダ２００のコンポーネントにより復号化されるビデオデータ、例えば符号化されたビデオビットストリームを格納してよい。ビデオデータメモリに格納されたビデオデータは、例えば、記憶装置４０又はカメラなどのローカルビデオソースから、ビデオデータの有線又は無線ネットワーク通信を通じて又は物理的データ記憶媒体へのアクセスにより、取得されてよい。ビデオデータメモリは、符号化されたビデオビットストリームからの符号化済ビデオデータを格納するように構成された復号化画像バッファ（ＣＰＢ）として用いられてよい。そのため、ビデオデータメモリが図９に示されていないが、ビデオデータメモリ及びＤＰＢ２０７は、同じメモリであってよく、又は別に配置された複数のメモリであってよい。ビデオデータメモリ及びＤＰＢ２０７は各々、複数のメモリ装置、例えば、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、又は別のタイプのメモリ装置のうちいずれか１つにより構成されてよい。様々な例では、ビデオデータメモリは、ビデオデコーダ２００の他のコンポーネントとともにチップ上に統合されてよく、又は、これらのコンポーネントに対してチップの外部に配置されてよい。
ネットワークエンティティ４２は、例えば、サーバ、ＭＡＮＥ、ビデオ編集器／接続器、又は上記で説明された技術のうちの１又は複数を実施するように構成された別のそのような装置であってよい。ネットワークエンティティ４２は、ビデオエンコーダ、例えばビデオエンコーダ１００を含み又は含まなくてもよい。ネットワークエンティティ４２が符号化されたビデオビットストリームをビデオデコーダ２００に送信する前に、ネットワークエンティティ４２は、本願で説明された技術の一部を実施してよい。いくつかのビデオ復号化システムでは、ネットワークエンティティ４２及びビデオデコーダ２００は、別個の装置の一部であってよいが、他のケースでは、ネットワークエンティティ４２を参照して説明された機能は、ビデオデコーダ２００を含む同じ装置により実行されてよい。いくつかの場合において、ネットワークエンティティ４２は、図７の記憶装置４０の例であってよい。
ビデオデコーダ２００のエントロピーデコーダ２０３は、量子化された係数及びいくつかの構文要素を生成するべく、エントロピー復号化をビットストリームに対して実行する。エントロピーデコーダ２０３は、構文要素を予測処理ユニット２０８に転送する。ビデオデコーダ２００は、ビデオスライスレベル及び／又は画像ブロックレベルでの、１つの構文要素及び／又は複数の構文要素を受信してよい。本願では、例において、構文要素は本明細書では、現在の画像ブロックに関連するターゲット動き情報を含んでよい。
ビデオスライスがイントラ復号化（Ｉ）スライスを取得するべく復号化される場合、予測処理ユニット２０８のイントラ予測部２０９は、シグナリングされたイントラ予測モード及び現在のフレーム又は画像からの前に復号化されたブロックのデータに基づいて、現在のビデオスライスの画像ブロックの予測ブロックを生成してよい。ビデオスライスが、インター復号化された（すなわち、Ｂ又はＰ）スライスを取得するべく、復号化される場合、予測処理ユニット２０８のインター予測部２１０は、エントロピーデコーダ２０３から受信した構文要素に基づいて、現在のビデオスライスの現在の画像ブロックを復号化するために用いられるターゲット動き情報を決定し、決定されたターゲット動き情報グループに基づいて現在の画像ブロックを復号化（例えば、インター予測を実行）してよい。具体的には、インター予測部２１０は、現在のビデオスライスの現在の画像ブロックを予測するべく、新しいインター予測方法を用いるか否か（具体的には、本願の方法を用いて候補動き情報リストを決定するか否か）を決定してよく、構文要素が、現在の画像ブロックを予測するべく、新しいインター予測方法を用いるように命令する場合、インター予測部２１０は、新しいインター予測方法（例えば、構文要素により特定される新しいインター予測方法又はデフォルトの新しいインター予測方法）に基づいて、現在のビデオスライスの現在の画像ブロックの動き情報グループ又は現在の画像ブロックの基本動き補償ユニットを予測し、それにより、動き補償プロセスにおいて、現在の画像ブロックの予測された動き情報グループ又は現在の画像ブロックの基本動き補償ユニットを用いて、現在の画像ブロックの予測ブロック又は現在の画像ブロックの基本動き補償ユニットを取得又は生成する。動き情報グループは、本明細書では、参照画像情報及び動きベクトルを含んでよい。参照画像情報は、単方向／双方向予測情報、参照画像リスト数、及び参照画像リストに対応する参照画像インデックスを含んでよいが、これに限定されるものではない。インター予測について、予測ブロックは、参照画像リストにおける参照画像の１つから生成されてよい。ビデオデコーダ２００は、ＤＰＢ２０７に格納される参照画像に基づいて、参照画像リスト、すなわち、リスト０及びリスト１を構成してよい。現在の画像の参照インデックスは、参照フレームリスト０及び参照フレームリスト１のうちの１又は複数に含まれてよい。いくつかの例では、ビデオエンコーダ１００は、新しいインター予測モードを用いて特定のブロックの特定の構文要素を復号化するか否か示すべくシグナリングしてよく、又は、新しいインター予測モードを用いて、特定のブロックの特定の構文要素を復号化するために用いられる特定の新しいインター予測モードを示すか否かを示すべくシグナリングしてよい。インター予測部２１０は、本明細書では、動き補償プロセスを実行するということは理解されるべきである。上記方法の実施形態は、２つの制御点（４パラメータ）のアフィンモデル（例えば、回転スケールアフィンモデル）、又は３つの制御点（６パラメータ）のアフィンモデル（例えば、回転スケールアフィンモデル）、又は４つの制御点（８パラメータ）のアフィンモデル（例えば、パースペクティブアフィンモデル）を用いて、現在の画像ブロックの動き情報グループ又は現在の画像ブロックの基本動き補償ユニットを予測するインター予測処理を詳細に説明した。
逆量子化器２０４は、ビットストリームにおいて提供され、エントロピーデコーダ２０３により復号化を通じて取得された量子化済変換係数に対して、逆量子化を実行、すなわち、逆量子化する。逆量子化処理は、適用される量子化の程度を、ビデオスライスにおける画像ブロックごとにビデオエンコーダ１００により計算される量子化パラメータを用いて決定すること、及び適用される逆量子化の程度を同様に決定することを含んでよい。逆変換部２０５は、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換処理を、変換係数に適用して、サンプル領域における残差ブロックを生成する。
インター予測部２１０が現在の画像ブロック又は現在の画像ブロックのサブブロックに用いられる予測ブロックを生成した後に、ビデオデコーダ２００は、逆変換部２０５からの残差ブロックと、インター予測部２１０により生成された対応する予測ブロックとの和を計算することにより、再構成されたブロック、すなわち、復号化された画像ブロックを取得する。加算器２１１は、そのような加算オペレーションを実行するコンポーネントを表す。必要な場合は、（復号化ループにおける又は復号化ループの後の）ループフィルタは、サンプル移行をスムーズにし、又はビデオ品質を別の方式で改善するためにさらに用いられてよい。フィルタユニット２０６は、1または複数のループフィルタ、例えば、非ブロック化フィルタ、適応ループフィルタ（ＡＬＦ）、及びサンプル適応オフセット（ＳＡＯ）フィルタを表してよい。フィルタユニット２０６が図９においてインループフィルタとして示されるが、別の実施例では、フィルタユニット２０６は、事後ループフィルタとして実施されてよい。例では、フィルタユニット２０６は、ブロック歪みを減らすべく、ブロック再構成に適用可能であり、結果は、復号化されたビデオストリームとして出力される。さらに、所与のフレーム又は画像における復号化された画像ブロックは、復号化画像バッファ２０７にさらに格納されてよく、復号化画像バッファ２０７は、続く動き補償のために用いられる参照画像を格納する。復号化画像バッファ２０７は、メモリの一部であってよく、さらに、表示装置（例えば図７の表示装置２２０）上に続いて示すために、復号化されたビデオを格納してよく、又は、そのようなメモリとは別のものであってよい。
ビデオデコーダ２００の他の構造のバリエーションは、符号化されたビデオビットストリームを復号化するために用いられてよいということは理解されるべきである。例えば、ビデオデコーダ２００は、フィルタユニット２０６により処理することなく、出力ビデオストリームを生成してよい。代わりに、いくつかの画像ブロック又は画像フレームについて、ビデオデコーダ２００のエントロピーデコーダ２０３は、復号化、それに対応して、逆量子化器２０４による処理を通じて量子化係数を取得せず、逆変換部２０５は必要がない。
図１０は、本願の実施形態に係る例のインター予測の装置１０００の概略ブロック図である。インター予測の装置１０００は、ビデオ画像の復号化のためのインター予測にのみ適用可能であるというわけではないが、ビデオ画像の符号化のためのインター予測にも適用可能であるということに留意すべきである。インター予測の装置１０００はここでは、図８のインター予測部１１０に対応してよく、又は、図９のインター予測部２１０に対応してよいということは理解されるべきである。インター予測の装置１０００は、現在の画像ブロックの候補動き情報リストを決定するように構成される候補動き情報リスト決定ユニット１００１であって、候補動き情報リストは、少なくとも１つの第１候補動き情報グループと、少なくとも１つの第２候補動き情報グループと、第１候補動き情報グループ及び第２候補動き情報グループを指示するために用いられる複数のインデックス情報とを有し、第１候補動き情報グループは、現在の画像ブロックの第１隣接画像ブロック上の予め設定された位置の動き情報及び第１隣接画像ブロックの運動モデルに基づいて決定される動き情報グループであり、第２候補動き情報グループは、現在の画像ブロック上の少なくとも２つの予め設定された位置にそれぞれ隣接する少なくとも２つのサンプル位置の動き情報のセットであり、少なくとも２つのサンプル位置は、現在の画像ブロックの少なくとも１つの第２隣接画像ブロック上に配置される、候補動き情報リスト決定ユニットと、候補動き情報リストからターゲット動き情報を決定し、ターゲット動き情報に基づいて現在の画像ブロックに対してインター予測を実行するように構成される予測処理ユニット１００２と、を備えてよい。
インター予測の装置１０００は、２つのタイプの候補動き情報グループを含む候補動き情報リストを構成するということは認識されることができる。２つのタイプの候補動き情報グループは、一様に統合されたインデックス情報を有する。２つのタイプの候補動き情報グループのうちの一方が、現在の画像ブロックに適用可能ではない場合に、エンコーダ側は、候補動き情報リストに含まれる他のタイプの候補動き情報グループからターゲット動き情報を選択し、ターゲット動き情報のインデックス情報を、ビットストリームを用いてデコーダ側に送信してよい。候補動き情報リストにおける候補動き情報グループが、一意のインデックス情報を有するので、エンコーダ側は、エンコーダ側により用いられる動き推定方法を示す指示情報を、ビットストリームにおいて転送する必要が無い。これは、ビデオ伝送のビットオーバーヘッドを減らす。
実現可能な実施例では、複数のインデックス情報における第１インデックス情報のビットの数は、複数のインデックス情報における第２インデックス情報のビットの数より少なく、第１インデックス情報は、最初に候補動き情報リストに加えられた動き情報グループに対応し、第２インデックス情報は、その後に候補動き情報リストに加えられる動き情報グループに対応し、インター予測処理ユニット１００２は、具体的には、最初に第１候補動き情報グループを候補動き情報リストに追加し、その後、第２候補動き情報グループを候補動き情報リストに追加するように構成される。
第１候補動き情報グループは、運動モデルベースの動き情報グループであり、第１候補動き情報グループに基づいて符号化／復号化を実行する効率は、第２候補動き情報グループに基づいて符号化／復号化を実行する効率より高い。そのため、第１候補動き情報グループがターゲット動き情報である比較的高い確率がある。このように、第１候補動き情報グループのインデックス情報は、比較的少ない数のビットを有するインデックス情報に設定されてよい。これは、ビデオ伝送のビットオーバーヘッドを減らすことに役立つ。
いくつかの可能な実現シナリオでは、第１隣接画像ブロックが並進運動モデルを用いる第１隣接画像ブロックと非並進運動モデルを用いる第１隣接画像ブロックとを含む場合、複数のインデックス情報における第１インデックス情報のビットの数は、複数のインデックス情報における第２インデックス情報のビットの数より少なく、第１インデックス情報は、候補動き情報リストに最初に加えられる動き情報グループに対応し、第２インデックス情報は、候補動き情報リストにその後に加えられる動き情報グループに対応し、インター予測処理ユニット１００２は、具体的には、非並進運動モデルを用いる第１隣接画像ブロックの数が閾値量に等しい又はより多い場合、非並進運動モデルを用いる第１隣接画像ブロック上の少なくとも２つの予め設定された位置の動き情報及び非並進モデルを用いる第１隣接画像ブロックの運動モデルに基づいて、現在の画像ブロックに対応する少なくとも２つの予め設定された位置の動き情報を導出し、現在の画像ブロックに対応する少なくとも２つの予め設定された位置の動き情報を、候補動き情報リストに、第１候補動き情報グループとして追加し、その後、第２候補動き情報グループを候補動き情報リストに追加するように構成される。
非並進運動モデルを用いる第１隣接画像ブロックの数が、閾値量に等しい又はより多い場合に、そのことは、現在の画像ブロックが非並進運動モデルを用いる画像ブロックである比較的高い確率があるということを示す。そのため、非並進運動モデルを用いる第１隣接画像ブロックに基づいて導出される第１候補動き情報グループは、候補動き情報リストに最初に加えられてよく、その後、第２候補動き情報グループは、候補動き情報リストに加えられる。候補動き情報リストに最初に加えられる動き情報グループのインデックス情報のビットの数は、比較的小さく、ターゲット動き情報が候補動き情報リストに最初に加えられる動き情報グループである比較的高い確率がある。そのため、これは、ビデオ伝送のビットオーバーヘッドを減らすことに役立つ。
いくつかの実現可能な実施例では、候補動き情報リストを決定する態様において、インター予測処理ユニット１００２は、具体的に、候補動き情報リストの長さが、長さ閾値より小さく、第１隣接画像ブロックが、並進運動モデルを用いる第１隣接画像ブロックをさらに含む場合に、並進運動モデルを用いる第１隣接画像ブロックの動き情報グループを、第１候補動き情報グループとして候補動き情報リストにさらに加え、候補動き情報リストの長さが依然として長さ閾値より小さい場合に、ゼロ動き情報を、候補動き情報リストに加えるように構成される。
いくつかの可能な実現シナリオでは、第１隣接画像ブロックが、並進運動モデルを用いる第１隣接画像ブロックと、非並進運動モデルを用いる第１隣接画像ブロックとを含む場合、複数のインデックス情報における第１インデックス情報のビットの数は、複数のインデックス情報における第２インデックス情報のビットの数より少なく、第１インデックス情報は、候補動き情報リストに最初に加えられる動き情報グループに対応し、第２インデックス情報は、候補動き情報リストにその後加えられる動き情報グループに対応し、インター予測処理ユニット１００２は、具体的に、非並進運動モデルを用いる第１隣接画像ブロックの数が閾値量に等しい又は未満である場合に、並進運動モデルを用いる第１隣接画像ブロックの動き情報グループを、候補動き情報リストに第１候補動き情報グループとして最初に加え、第２候補動き情報グループを候補動き情報リストにその後加えるように構成される。
非並進運動モデルを用いる第１隣接画像ブロックの数が、閾値量に等しい又は未満である場合に、そのことは、現在の画像ブロックが非並進運動モデルを用いる画像ブロックである比較的高い確率があるということを示す。そのため、並進運動モデルを用いる第１隣接画像ブロックの動き情報グループは、候補動き情報リストに第１候補動き情報グループとして最初に加えられてよく、その後、第２候補動き情報グループは、候補動き情報リストに加えられる。候補動き情報リストに最初に加えられる動き情報グループのインデックス情報のビットの数は、比較的小さく、ターゲット動き情報が候補動き情報リストに最初に加えられる動き情報グループである比較的高い確率がある。そのため、これは、ビデオ伝送のビットオーバーヘッドを減らすことに役立つ。
いくつかの実現可能な実施例では、候補動き情報リストを決定する態様において、インター予測処理ユニット１００２は、具体的に、候補動き情報リストの長さが長さ閾値より小さく、第１隣接画像ブロックが非並進運動モデルを用いる第１隣接画像ブロックをさらに含む場合に、非並進運動モデルを用いる第１隣接画像ブロック上の少なくとも２つの予め設定された位置の動き情報及び非並進モデルを用いる第１隣接画像ブロックの運動モデルに基づいて、現在の画像ブロック上の少なくとも２つの予め設定された位置の動き情報をさらに導出し、現在の画像ブロック上の少なくとも２つの予め設定された位置の動き情報を、候補動き情報リストに第１候補動き情報グループとして追加し、候補動き情報リストの長さが依然として長さ閾値より小さい場合に、ゼロ動き情報を候補動き情報リストに加えるように構成される。
いくつかの可能な実現シナリオでは、第１候補動き情報グループ及び第２候補動き情報グループの両方は、現在の画像ブロック上の第１グループの位置の動き情報であり、現在の画像ブロック上の少なくとも２つの予め設定された位置は、第２グループの位置であり、インター予測処理ユニット１００２は、具体的に、第２グループの位置が第１グループの位置とは異なる場合に、位置変換式に従って及び第２の位置に対応する動き情報に基づいて、第２候補動き情報グループを導出するように構成される。
第１候補動き情報グループに対応する位置の数が、第２候補動き情報グループに対応する位置の数と同じである場合に、本実施形態に従って取得された候補動き情報リストにおける全ての動き情報グループは、同じ位置の動き情報である。これは、動き推定の複雑性を減らす。
いくつかの可能な実現シナリオでは、第１候補動き情報グループは、現在の画像ブロック上の第１グループの位置の動き情報であり、第２候補動き情報グループは、現在の画像ブロック上の第３グループの位置の動き情報であり、予測処理ユニット１００２はさらに、第１グループの位置が第３グループの位置とは異なる場合に、位置変換式に従って及び第２候補動き情報グループに基づいて、第５候補動き情報グループを導出するように構成され、第５候補動き情報グループに対応する位置は、第１グループの位置と同じである。
第１候補動き情報グループに対応する位置の数が、第２候補動き情報グループに対応する位置の数と同じである場合に、本実施形態に従って取得された候補動き情報リストにおける全ての動き情報グループは、同じ位置の動き情報である。これは、動き推定の複雑性を減らす。
装置１０００がビデオ画像を復号化するように構成される場合、装置１０００は、ターゲット動き情報を決定するために用いられるインデックス情報を受信するように構成されたインター予測データ取得ユニット（図で示されていない）をさらに含んでよい。
同様に、インター予測処理ユニット１００２は、具体的に、ターゲット動き情報のインデックス情報に基づいて、候補動き情報リストからターゲット動き情報を決定するように構成される。
装置１０００がビデオ画像を符号化するように構成される場合、装置１０００は、スクリーニングルールに従って候補動き情報リストからターゲット動き情報を決定する、例えば、現在の画像ブロックに対するインター予測を実行するために用いられるターゲット動き情報として、候補動き情報リストにおける動き情報グループを決定するように具体的に構成されるインター予測モード処理ユニット１００２をさらに含み、ここで、レート歪みコストは、候補動き情報リストにおける動き情報グループが現在の画像ブロックの符号化に用いられる場合に最も低い。
本願の本実施形態のインター予測の装置のモジュールは、本願のインター予測方法に含まれる様々な実行段階を実装するための機能本体であり、具体的に言えば、本願のインター予測方法の段階、及びこれらの段階の拡張、及びバリエーションを実装することができる機能本体であるということに留意すべきである。詳細には、本明細書のインター予測方法の説明を参照する。簡潔にするために、詳細は、本明細書では説明しない。
図１１は、本願の実施形態に係る、符号化デバイス又は復号化デバイス（簡潔に、コーディングデバイス１１００と称される）の実施例の概略ブロック図である。コーディングデバイス１１００は、プロセッサ１１１０、メモリ１１３０、及びバスシステム１１５０を含んでよい。プロセッサ及びメモリは、バスシステムを用いて互いに接続される。メモリは、命令を格納するように構成される。プロセッサは、メモリに格納された命令を実行するように構成される。符号化デバイスのメモリは、プログラムコードを格納し、プロセッサは、メモリに格納されたプログラムコードを呼び出し、本願で説明された様々なビデオ符号化又は復号化方法を、特には、本願で説明されたインター予測方法を実行する。繰り返しを回避するために、詳細はここでは再び説明しない。
本願の本実施形態では、プロセッサ１１１０は、中央演算処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ， ＣＰＵ）であってよく、又はプロセッサ１１１０は、別の汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は別のプログラム可能論理デバイス、ディスクリートゲートもしくはトランジスタ論理デバイス、又はディスクリートハードウェアコンポーネントなどであってよい。汎用プロセッサは、マイクロプロセッサであってよく、又はプロセッサは、任意の従来のプロセッサなどであってよい。
メモリ１１３０は、リードオンリメモリ（ＲＯＭ）デバイス又はランダムアクセスメモリ（ＲＡＭ）デバイスを含んでよい。任意の他の適切なタイプの記憶デバイスは代わりにメモリ１１３０として用いられてよい。メモリ１１３０は、バス１１５０を用いてプロセッサ１１１０によりアクセスされるコード及びデータ１１３１を含んでよい。メモリ１１３０は、さらに、オペレーティングシステム１１３３及びアプリケーションプログラム１１３５を含んでよい。アプリケーションプログラム１１３５は、プロセッサ１１１０が、本願で説明されたビデオ符号化又は復号化方法（特に、本願で説明されたインター予測方法）を実行することを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム１１３５は、アプリケーション１～Ｎを含んでよく、さらに、本願で説明されたビデオ符号化又は復号化方法を実行するビデオ符号化又は復号化アプリケーション（簡潔に、ビデオコーディングアプリケーションと称される）を含む。
バスシステム１１５０は、データバスに加えて、電力バス、制御バス、およびステータス信号バス等をさらに含んでよい。しかしながら、明らかな説明のために、図における様々なタイプのバスをバスシステム１１５０として示す。
任意で、復号化デバイス１１００は、１又は複数の出力デバイス、例えばディスプレイ１１７０をさらに含んでよい。例では、ディスプレイ１１７０は、ディスプレイと、タッチ入力を動作可能に感知するタッチユニットとを組み合わせるタッチディスプレイであってよい。ディスプレイ１１７０は、バス１１５０を用いてプロセッサ１１１０に接続されてよい。
本明細書で開示され説明される様々な例示的論理ブロック、モジュール、及びアルゴリズムの段階を参照して説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせにより実施されることができるということは、当業者は理解できる。ソフトウェアにより実施される場合、様々な例示的論理ブロック、モジュール、及び段階を参照して説明された機能は、１又は複数の命令又はコードとして、コンピュータ可読媒体に格納され又はそれを介して伝送され、ハードウェアベース処理ユニットにより実行されてよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、又はある場所から別の場所に（例えば通信プロトコルに従って）コンピュータプログラムの転送を促進する任意の媒体を含む通信媒体を含んでよい。この方式では、コンピュータ可読媒体は、一般に、（１）非一時的有形コンピュータ可読記憶媒体、又は（２）信号又はキャリアなどの通信媒体に対応してよい。データ記憶媒体は、本願で説明された技術を実装するための命令、コード、及び／又はデータ構造を取得するべく、１又は複数のコンピュータ又は１または複数のプロセッサによりアクセスされることができる任意の利用可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでよい。
例を目的として制限しないが、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、もしくは別のコンパクトディスク記憶装置、磁気ディスク記憶装置、もしくは別の磁気記憶装置、フラッシュメモリ、又は命令またはデータ構造の形態で所望のプログラムコードを格納するのに用いられることができ、コンピュータによりアクセスされることができる任意の他の媒体を含んでよい。さらに、任意の接続は、コンピュータ可読媒体と適切に称される。例えば、ウェブサイト、サーバ、または別の離れた場所にある発信元から、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、または赤外線、電波、およびマイクロ波などの無線技術を介して命令が送信された場合、それら同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、電波、およびマイクロ波などの無線技術が媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、キャリア、信号、又は他の一時的な媒体を含まないが、実際には、非一時的有形記憶媒体を意味するということは理解されるべきである。本明細書で用いられるディスク（ｄｉｓｋｓ）及びディスク（ｄｉｓｃｓ）は、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、及びＢｌｕ－ｒａｙディスクを含む。ディスク（ｄｉｓｋｓ）は、通常、磁気的にデータを再現し、それに対してディスク（ｄｉｓｃｓ）は、データをレーザで光学的に再現する。上記の組み合わせは、また、コンピュータ可読媒体の範囲に含まれるべきである。
命令は、１又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は均等集積回路もしくはディスクリートロジック回路などの１または複数のプロセッサにより実行されてよい。そのため、本明細書で用いられる用語"プロセッサ"は、上記の構造、又は本明細書で説明される技術の実施例に適用されてよい任意の他の構造を指してよい。さらに、いくつかの態様では、本明細書で説明される様々な例示的論理ブロック、モジュール、及び段階を参照して説明される機能は、符号化及び復号化のために構成された専用ハードウェア及び／又はソフトウェアモジュール内に提供されてよく、又は組み合わされたコーデックに組み込まれてよい。さらに、技術は、１又は複数の回路又はロジック要素内に完全に実施されてよい。
本願の技術は、無線ハンドセット、集積回路（ＩＣ）、又はセットのＩＣ（例えばチップセット）を含む、様々な装置又はデバイスにおいて実施されてよい。様々なコンポーネント、モジュール、又はユニットは、開示された技術を実行するように構成された装置の機能態様を強調するべく本願で説明されるが、必ずしも異なるハードウェアユニットにより実施されるというわけではない。実際、上記で説明されたように、様々なユニットは、適切なソフトウェア及び／又はファームウェアとの組み合わせで、コーデックハードウェアユニットに組み合わされてよく、又は、相互運用可能なハードウェアユニット（上記で説明した１または複数のプロセッサを含む）により提供されてよい。
先述の説明は単に、本願の具体的な実装の例であり、本願の保護範囲を制限することは意図されていない。本願に開示された技術的範囲内で当業者が容易に考え出す、あらゆる変形又は置換は、本願の保護範囲に含まれるものとする。そのため、本願の保護範囲は、特許請求の範囲に係る保護範囲によって決まるものとする。

Claims (1)

  1. ビデオデータインター予測の方法であって、
    現在の画像ブロックの候補動き情報リストを決定する段階であって、前記候補動き情報リストは、少なくとも１つの第１候補動き情報グループと、少なくとも１つの第２候補動き情報グループとを有し、複数のインデックス情報は、前記第１候補動き情報グループ及び前記第２候補動き情報グループをそれぞれ示し、
    前記第１候補動き情報グループは、前記現在の画像ブロックの第１隣接画像ブロックの制御点の動き情報及び前記第１隣接画像ブロックのアフィン運動モデルに基づいて決定される動き情報グループであり、前記第２候補動き情報グループは、前記現在の画像ブロックの少なくとも２つの制御点にそれぞれ隣接する少なくとも２つのサンプル位置の動き情報のセットであり、前記少なくとも２つのサンプル位置は、前記現在の画像ブロックの少なくとも１つの第２隣接画像ブロック上に配置される、段階と、
    前記候補動き情報リストからターゲット動き情報を決定する段階と、
    前記ターゲット動き情報に基づいて前記現在の画像ブロックに対してインター予測を実行する段階と、を備え、
    前記第１候補動き情報グループが、前記現在の画像ブロックの第１グループ制御点の動きベクトルを有し、前記第２候補動き情報グループが、前記現在の画像ブロックの前記第１グループ制御点の動きベクトルを有し、
    前記第２候補動き情報グループが有する前記現在の画像ブロックの前記第１グループ制御点の前記動きベクトルは、第２グループ制御点の動きベクトルに位置変換を実行することにより取得され、
    前記第２グループ制御点は前記第１グループ制御点とは異なっており、前記第２グループ制御点は、前記現在の画像ブロックについて少なくとも２つの制御点を有し、前記第１グループ制御点は前記現在の画像ブロックについて少なくとも２つの制御点を有し、
    前記第２グループ制御点は、前記現在の画像ブロック上の左上制御点、右上制御点、及び右下制御点であり、前記第１グループ制御点は、前記現在の画像ブロック上の前記左上制御点、前記右上制御点、及び左下制御点であるか、又は、
    前記第２グループ制御点は、前記現在の画像ブロック上の左上制御点、左下制御点、及び右下制御点であり、前記第１グループ制御点は、前記現在の画像ブロック上の前記左上制御点、右上制御点、及び前記左下制御点であるか、又は、
    前記第２グループ制御点は、前記現在の画像ブロック上の右上制御点、左下制御点、及び右下制御点であり、前記第１グループ制御点は、前記現在の画像ブロック上の左上制御点、前記右上制御点、及び前記左下制御点であるか、又は
    前記第２グループ制御点は、前記現在の画像ブロック上の左上制御点及び左下制御点であり、前記第１グループ制御点は、前記現在の画像ブロック上の前記左上制御点及び右上制御点である
    方法。
JP2022151544A 2017-12-12 2022-09-22 動き情報を決定する方法、デバイス、およびコンピュータ可読記憶媒体、ビットストリームを格納する方法およびシステム、ビットストリームを送信する方法およびシステム、並びにビットストリームを生成する方法 Active JP7521744B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201711319298.2 2017-12-12
CN201711319298.2A CN109922336B (zh) 2017-12-12 2017-12-12 视频数据的帧间预测方法和装置
JP2020531584A JP7148612B2 (ja) 2017-12-12 2018-12-12 ビデオデータインター予測の方法、装置、ビデオエンコーダ、ビデオデコーダ及びプログラム
PCT/CN2018/120435 WO2019114721A1 (zh) 2017-12-12 2018-12-12 视频数据的帧间预测方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020531584A Division JP7148612B2 (ja) 2017-12-12 2018-12-12 ビデオデータインター予測の方法、装置、ビデオエンコーダ、ビデオデコーダ及びプログラム

Publications (3)

Publication Number Publication Date
JP2023017760A true JP2023017760A (ja) 2023-02-07
JP2023017760A5 JP2023017760A5 (ja) 2023-10-05
JP7521744B2 JP7521744B2 (ja) 2024-07-24

Family

ID=66819231

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020531584A Active JP7148612B2 (ja) 2017-12-12 2018-12-12 ビデオデータインター予測の方法、装置、ビデオエンコーダ、ビデオデコーダ及びプログラム
JP2022151544A Active JP7521744B2 (ja) 2017-12-12 2022-09-22 動き情報を決定する方法、デバイス、およびコンピュータ可読記憶媒体、ビットストリームを格納する方法およびシステム、ビットストリームを送信する方法およびシステム、並びにビットストリームを生成する方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020531584A Active JP7148612B2 (ja) 2017-12-12 2018-12-12 ビデオデータインター予測の方法、装置、ビデオエンコーダ、ビデオデコーダ及びプログラム

Country Status (9)

Country Link
US (2) US11363274B2 (ja)
EP (1) EP3720131A4 (ja)
JP (2) JP7148612B2 (ja)
KR (3) KR102607443B1 (ja)
CN (5) CN109922336B (ja)
AU (3) AU2018383797B2 (ja)
BR (1) BR112020011548A2 (ja)
TW (4) TWI786790B (ja)
WO (1) WO2019114721A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526361B (zh) * 2016-02-06 2022-05-13 华为技术有限公司 图像编解码方法及装置
US10999596B2 (en) * 2018-06-19 2021-05-04 Qualcomm Incorporated Unification of affine motion field derivation and affine motion compensation
CN112640459B (zh) * 2018-09-06 2023-07-28 Lg电子株式会社 图像编码系统中基于使用合并候选列表的运动预测的图像解码方法和设备
CN118632017A (zh) 2018-12-21 2024-09-10 株式会社 Xris 视频信号编码/解码方法及其装置
CN113261285B (zh) * 2019-09-24 2023-06-02 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器以及存储介质
JP7437426B2 (ja) 2019-09-24 2024-02-22 オッポ広東移動通信有限公司 インター予測方法および装置、機器、記憶媒体
WO2021196242A1 (zh) * 2020-04-03 2021-10-07 Oppo广东移动通信有限公司 一种帧间预测方法、编码器、解码器及存储介质
CN114071158A (zh) * 2020-07-29 2022-02-18 腾讯科技（深圳）有限公司 视频编解码中的运动信息列表构建方法、装置及设备
CN114079788B (zh) * 2020-08-20 2024-09-20 腾讯科技（深圳）有限公司 视频编解码中的运动信息列表构建方法、装置及设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100331048B1 (ko) * 1999-11-05 2002-04-06 전주범 제어그리드보간 복호기에서 픽셀의 움직임벡터를 보간하는장치
JP3681342B2 (ja) * 2000-05-24 2005-08-10 三星電子株式会社 映像コーディング方法
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
JP5716438B2 (ja) * 2011-02-08 2015-05-13 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法および画像復号プログラム
HUE064456T2 (hu) * 2011-11-02 2024-03-28 Tagivan Ii Llc Videó kódoló eljárás és videó kódoló
CN103716631B (zh) * 2012-09-29 2017-04-05 华为技术有限公司 用于图像处理的方法、装置、编码器和解码器
CN112087630B (zh) * 2014-09-30 2022-04-08 华为技术有限公司 图像预测方法、装置、解码器及存储介质
CN104935938B (zh) * 2015-07-15 2018-03-30 哈尔滨工业大学 一种混合视频编码标准中帧间预测方法
WO2017022973A1 (ko) * 2015-08-04 2017-02-09 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
KR20180028514A (ko) * 2015-08-07 2018-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
CN111526361B (zh) * 2016-02-06 2022-05-13 华为技术有限公司 图像编解码方法及装置
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
EP3468195A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Improved predictor candidates for motion compensation
EP3468196A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Methods and apparatuses for video encoding and video decoding
US20190208211A1 (en) * 2018-01-04 2019-07-04 Qualcomm Incorporated Generated affine motion vectors
US11172229B2 (en) * 2018-01-12 2021-11-09 Qualcomm Incorporated Affine motion compensation with low bandwidth
US20190222834A1 (en) * 2018-01-18 2019-07-18 Mediatek Inc. Variable affine merge candidates for video coding
US20190364295A1 (en) * 2018-05-25 2019-11-28 Tencent America LLC Method and apparatus for video coding
US10798394B2 (en) * 2018-06-27 2020-10-06 Avago Technologies International Sales Pte. Limited Low complexity affine merge mode for versatile video coding
US20200021836A1 (en) * 2018-07-10 2020-01-16 Tencent America LLC Method and apparatus for ordering and selection of affine merge candidates in motion compensation
US10462488B1 (en) * 2018-07-13 2019-10-29 Tencent America LLC Method and apparatus for video coding
US11140398B2 (en) * 2018-08-20 2021-10-05 Mediatek Inc. Methods and apparatus for generating affine candidates
WO2020084465A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified coding of generalized bi-directional index

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN, HUANBANG ET AL.: "Description of SDR, HDR and 360° video coding technology proposal by Huawei, GoPro, HiSilicon, and", BUJOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING, vol. JVET-J0025 (version 2), JPN6023049844, 3 April 2018 (2018-04-03), ISSN: 0005211923 *
CHEN, JIANLE ET AL.: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 7TH MEETING: T, vol. JVET-G1001 (version 1), JPN6023049843, 19 August 2017 (2017-08-19), ISSN: 0005211922 *

Also Published As

Publication number Publication date
CN111480338B (zh) 2022-10-11
TW202145785A (zh) 2021-12-01
KR102494762B1 (ko) 2023-01-31
BR112020011548A2 (pt) 2020-11-17
KR20200096276A (ko) 2020-08-11
KR20230163004A (ko) 2023-11-29
WO2019114721A1 (zh) 2019-06-20
TW201929545A (zh) 2019-07-16
TW202312738A (zh) 2023-03-16
JP7521744B2 (ja) 2024-07-24
JP7148612B2 (ja) 2022-10-05
CN112055205B (zh) 2021-08-03
CN109922336B (zh) 2023-07-18
AU2023200956B2 (en) 2024-05-02
TW202315402A (zh) 2023-04-01
US20200382790A1 (en) 2020-12-03
EP3720131A1 (en) 2020-10-07
JP2021506180A (ja) 2021-02-18
US11363274B2 (en) 2022-06-14
TWI841033B (zh) 2024-05-01
AU2023200956A1 (en) 2023-03-23
KR20230020021A (ko) 2023-02-09
AU2018383797A1 (en) 2020-07-09
CN109922336A (zh) 2019-06-21
CN112055205A (zh) 2020-12-08
TWI741239B (zh) 2021-10-01
CN111480338A (zh) 2020-07-31
AU2018383797B2 (en) 2022-12-15
US20220394270A1 (en) 2022-12-08
TWI786790B (zh) 2022-12-11
EP3720131A4 (en) 2020-10-07
AU2024205040A1 (en) 2024-08-08
CN115733972A (zh) 2023-03-03
KR102607443B1 (ko) 2023-11-29
CN116915986A (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
US11252436B2 (en) Video picture inter prediction method and apparatus, and codec
JP7148612B2 (ja) ビデオデータインター予測の方法、装置、ビデオエンコーダ、ビデオデコーダ及びプログラム
TW201924345A (zh) 寫碼用於視頻寫碼之仿射預測移動資訊
KR102606146B1 (ko) 모션 벡터 예측 방법 및 관련 장치
JP7520931B2 (ja) 双方向インター予測の方法および装置
WO2020007093A1 (zh) 一种图像预测方法及装置
CN110677645B (zh) 一种图像预测方法及装置
KR102566569B1 (ko) 인터 예측 방법 및 장치, 비디오 인코더 및 비디오 디코더
WO2019237287A1 (zh) 视频图像的帧间预测方法、装置及编解码器
JP2024149497A (ja) 双方向インター予測の方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240702

R150 Certificate of patent or registration of utility model

Ref document number: 7521744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150