JP2022541104A - 動き補償処理方法、エンコーダ、デコーダ、記憶媒体 - Google Patents

動き補償処理方法、エンコーダ、デコーダ、記憶媒体 Download PDF

Info

Publication number
JP2022541104A
JP2022541104A JP2021573521A JP2021573521A JP2022541104A JP 2022541104 A JP2022541104 A JP 2022541104A JP 2021573521 A JP2021573521 A JP 2021573521A JP 2021573521 A JP2021573521 A JP 2021573521A JP 2022541104 A JP2022541104 A JP 2022541104A
Authority
JP
Japan
Prior art keywords
search
step length
search step
directions
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021573521A
Other languages
English (en)
Other versions
JP7381615B2 (ja
Inventor
フオ、チュンイェン
マー、イェンチュオ
ワン、シューアイ
ヤン、フーチョン
クオ、ツォー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2022541104A publication Critical patent/JP2022541104A/ja
Application granted granted Critical
Publication of JP7381615B2 publication Critical patent/JP7381615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本出願の実施形態は、動き補償処理方法、エンコーダ、デコーダ、記憶媒体を開示する。この方法は、初期動きベクトルに基づいて検索位置コンステレーションを構築することと、プリセット範囲カバレッジルールに基づいて、検索位置コンステレーションから少なくとも１つの検索位置を選択することと、少なくとも１つの検索位置を新しい動きベクトルとして、新しい動きベクトルに基づいて動き補償を実行して、コーディングユニットの予測値を取得することと、を含む。プリセット範囲カバレッジルールは、プリセット数の検索ポイントをＮ個の検索方向に分散させて選択することである。従って、検索ステップ長の一部が選択されないことによる符号化効率低下の問題を回避し、且つほとんどの物体の動き条件を満たすので、動き情報をより正確に表現することができる。

Description

本発明は、ビデオの符号化及び復号化技術分野に関し、さらに具体的に、動き補償処理方法、エンコーダ、デコーダ及び記憶媒体に関する。
ＭＭＶＤ（Ｍｅｒｇｅ ｗｉｔｈ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）技術は、インター予測のスキップモード（ｓｋｉｐ ｍｏｄｅ）とマージモード（ｍｅｒｇｅ ｍｏｄｅ）で使用され、モーションベクトルの特別な表現形式である。ＭＭＶＤ技術は、主に次のプロセスによって実現される。ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）のマージ候補動きベクトルを再利用し、これらの候補のうちの１つを初期モーションベクトルとして選択してから、次の方法で初期モーションベクトルを拡張する。主に開始点、動きの大きさ及び動きの方向を含むいくつかの簡単な構文要素を使用して、動きベクトルの最終的な拡張表現を取得して、新しい動きベクトルを形成する。しかしながら、現時点では、上記の解決策はほとんどの物体の動き条件を満たすことが困難であり、表現できる動き情報の精度が不十分である。
本出願の実施形態は、動き補償処理方法、エンコーダ、デコーダ及び記憶媒体を提供し、検索ステップ長の一部が選択されないことによる符号化効率低下の問題を回避し、ほとんどの物体の動き条件を満たすので、動き情報をより正確に表現することができる。
本出願の実施形態の技術的解決策は以下のように実現される。
第一態様において、本出願の実施形態は動き補償処理方法を提供する。この方法は、以下の内容を含む。初期動きベクトルに基づいて検索位置コンステレーション（ｃｏｎｓｔｅｌｌａｔｉｏｎ）を構築し、検索位置コンステレーションにはＮ個の検索方向が含まれ、検索方向で少なくとも１つのタイプの検索ステップ長を使用して検索することによって少なくとも１つの検索ポイントを取得し、Ｎは１以上の整数であり、Ｎ個の検索方向は少なくとも対角線検索方向を含む。プリセット範囲カバレッジルールに基づいて、検索位置コンステレーションから少なくとも１つの検索位置を選択し、プリセット範囲カバレッジルールは、プリセット数の検索ポイントをＮ個の検索方向に分散させて選択することである。少なくとも１つの検索位置を新しい動きベクトルとして、新しい動きベクトルに基づいて動き補償を実行して、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ，ＣＵ）の予測値を取得する。
第二態様において、本出願の実施形態はエンコーダを提供する。エンコーダは、構築部分及び符号化部分を含む。構築部分は、初期動きベクトルに基づいて検索位置コンステレーションを構築するように構成される。検索位置コンステレーションにはＮ個の検索方向が含まれ、検索方向で少なくとも１つのタイプの検索ステップ長を使用して検索することによって少なくとも１つの検索ポイントを取得し、Ｎは１以上の整数であり、Ｎ個の検索方向は少なくとも対角線検索方向を含む。符号化部分は、プリセット範囲カバレッジルールに基づいて、検索位置コンステレーションから少なくとも１つの検索位置を選択し、少なくとも１つの検索位置を新しい動きベクトルとして、新しい動きベクトルに基づいて動き補償を実行して、コーディングユニットの予測値を取得するように構成される。プリセット範囲カバレッジルールは、プリセット数の検索ポイントをＮ個の検索方向に分散させて選択することである。
第三態様において、本出願の実施形態はデコーダに適用される動き補償処理方法を提供する。この方法は、以下の内容を含む。初期動きベクトルの構文要素に基づいて、検索位置コンステレーションにおける初期動きベクトルに対応する少なくとも１つの検索位置を拡張する。初期動きベクトルを拡張して取得した新しい動きベクトルに基づいて動き補償を実行して再構成されたブロックを取得する。構文要素は、初期動きベクトルインデックス、検索方向インデックス、検索ステップ長インデックスを含み、検索方向インデックスに示される検索方向は少なくとも対角線検索方向を含む。
第四態様において、本出願の実施形態はデコーダを提供する。デコーダは、拡張部分及び復号化部分を含む。拡張部分は、初期動きベクトルの構文要素に基づいて、検索位置コンステレーションにおける初期動きベクトルに対応する少なくとも１つの検索位置を拡張するように構成される。構文要素は、初期動きベクトルインデックス、検索方向インデックス、検索ステップ長インデックスを含み、検索方向インデックスに示される検索方向は少なくとも対角線検索方向を含む。復号化部分は、初期動きベクトルを拡張して取得した新しい動きベクトルに基づいて動き補償を実行して再構成されたブロックを取得するように構成される。
第五態様において、本出願の実施形態はエンコーダを提供する。エンコーダは、プロセッサと、プロセッサによって実行可能な命令を格納するメモリと、通信インターフェースと、プロセッサ、メモリ及び通信インターフェースを接続するために用いられるバスと、を含む。命令がプロセッサによって実行されると、第一態様又は他の各態様の方案を実現する。
第六態様において、本出願の実施形態はデコーダを提供する。デコーダは、プロセッサと、プロセッサによって実行可能な命令を格納するメモリと、通信インターフェースと、プロセッサ、メモリ及び通信インターフェースを接続するために用いられるバスと、を含む。命令がプロセッサによって実行されると、第三態様又は様々な態様の方案を実現する。
第七態様において、本出願の実施形態はコンピュータ記憶媒体を提供する。コンピュータ記憶媒体には、予測プログラムが格納されている。予測プログラムがプロセッサによって実行されると、第一態様の方法のステップ又は第三態様の方法のステップを実現する。
本出願の実施形態において、対角線検索方向を含むＮ個の検索方向及び複数のタイプの検索ステップ長に基づいて、検索位置を確定する。従来の技術と比較して、各方向の検索ステップ長を減少し、検索ステップ長の一部が選択されないことによる符号化効率低下の問題を回避し、且つ検索方向を増加することにより、ほとんどの物体の動き条件を満たすことができるので、動き情報をより正確に表現することができる。
図１は、イントラ予測を使用して検索位置を確定することを示す概略図である。 図２は、本出願の実施形態に係わる動き補償処理方法の第一フローチャートである。 図３は、本出願の実施形態に係わる検索位置を確定することを示す概略図である。 図４は、本出願がＭＭＶＤに適用されるときの検索方向を示す概略図である。 図５は、本出願がＭＭＶＤで複数の検索位置を取得することを示す概略図である。 図６は、ビデオコーディングシステムの構造を示す概略図である。 図７は、ビデオデコーディングシステムの構造を示す概略図である。 図８は、本出願の実施形態に係わるエンコーダの構造を示す概略図である。 図９は、本出願の実施形態に係わる動き補償処理方法の第二フローチャートである。 図１０は、本出願の実施形態に係わるデコーダの構造を示す概略図である。 図１１は、本出願の実施形態に係わるハードウェアの構造を示す概略図である。
以下、本出願の実施形態の図面を参照して、本出願の実施形態の技術方案を明確且つ完全に説明する。記載された具体的な実施形態は、ただ関連する出願を説明するために用いられ、本出願を限定するものではないことを理解されるべきである。また、便利に説明するために、図面には関連する出願に関連する部分のみが示されていることに留意されたい。
ＭＭＶＤ技術において、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏｃｏｄｉｎｇ）でマージ候補リストを構築するプロセスによって、現在のコーディングユニット（ＣＵ）の動きベクトル候補リストを取得する。次に、リスト内の各候補に対して次のように構文拡張を実行する。図１に示されたように、各候補を初期動きベクトルとして、参照画像において、この候補が指す位置を出発点として、上、下、左、右の４方向で８つの異なるステップ長で検索する。各初期動きベクトルの各方向における各ステップ長は全て新しい動きベクトルを形成することができ、動きベクトルに基づいて動き補償を行って、現在のＣＵの予測値を取得する。現在の全ての予測値に対してレート歪みコスト比較（ｒａｔｅ-ｄｉｓｔｏｒｔｉｏｎ ｃｏｓｔ ｃｏｍｐａｒｉｓｏｎ）を実行して、最適な構文要素の組み合わせを選択し、マージ候補リスト内の初期動きベクトルの３つの構文要素、即ち位置インデックス、動作方向インデックス及び検索ステップ長インデックスを記録する。
アルゴリズムの複雑さとパフォーマンスとの間の妥協点を考慮すると、現在、アルゴリズムでは、マージ候補リストの前の２つの候補が初期動きベクトルとして使用される。初期動きベクトルのインデックス、８つのタイプの検索ステップ長のインデックス、４つの検索方向のインデックスについて、次の表１、２、３を参照することができる。
Figure 2022541104000002
Figure 2022541104000003
Figure 2022541104000004
上記のＭＭＶＤ技術に基づいて新しい動きベクトルを選択する場合、８つのタイプの検索ステップ長の使用は完全ではない。ＶＶＣの標準テストシーケンスで８つのタイプのステップ長が選択される確率を統計することにより、各テストシーケンスに対して、前の４つのタイプの検索ステップ長（つまり、１/４、１/２、１、２）が選択される確率はほぼ９０％以上を占めることが発見された。そのため、残りの４つのタイプのステップ長は十分に利用されないため、符号化効率が低下する。さらに、検索方向は上、下、左、右の４つだけであるので、ほとんどの物体の動き条件を満たすことが難しく、表現できる動き情報の精度は不十分である。
上記に基づいて、本出願の実施形態は動き補償処理方法を提供する。図２に示されたように、この方法は以下の内容を含む。
ブロック１１：初期動きベクトルに基づいて検索位置コンステレーション（ｃｏｎｓｔｅｌｌａｔｉｏｎ）を構築する。検索位置コンステレーションにはＮ個の検索方向が含まれる。検索方向で少なくとも１つのタイプの検索ステップ長を使用して検索することによって少なくとも１つの検索ポイントを取得し、Ｎは１以上の整数であり、Ｎ個の検索方向は少なくとも対角線検索方向を含む。
ブロック１２：プリセット範囲カバレッジルールに基づいて、検索位置コンステレーションから少なくとも１つの検索位置を選択する。プリセット範囲カバレッジルールは、プリセット数の検索ポイントをＮ個の検索方向に分散させて選択することである。
ブロック１３：少なくとも１つの検索位置を新しい動きベクトルとして、新しい動きベクトルに基づいて動き補償を実行して、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ，ＣＵ）の予測値を取得する。
本出願の実施形態に係わる動き補償処理方法は、ビデオコーディング及びデコーディングシステムのエンコーダに適用することができる。
一般的に、上記の解決策によれば、先ず、距離によって複数の検索方向に利用可能な検索ポイントを割り当てて検索位置コンステレーションを構築し、次に、プリセット範囲カバレッジルールに基づいて、コンステレーションから適切な数量の検索位置を選択する。
即ち、本実施形態において、プリセット検索位置が３２個であることを前提として、元の４つの検索方向を８つの検索方向に拡張し、各検索方向の８つの検索ステップ長の数量を減少し、且つ異なる検索方向に検索ステップ長を割り当てて、比較的広い検索範囲をカバーする。
初期動きベクトルに基づいて検索位置コンステレーションを構築することは、具体的には、初期動きベクトルが指す点を中心点として検索位置コンステレーションを構築することをさらに含む。
８つの検索方向は、水平垂直検索方向及び対角線検索方向の２つのタイプに分類される。
水平垂直検索方向は、別々に上、下、左、右である。対角線検索方向は、別々に左上、左下、右上、右下である。
検索ステップ長は、検索方向のタイプに対応する。
この方法はさらに以下の内容を含む。検索方向のタイプが水平垂直検索方向である場合、第一検索ステップ長セットが採用される。検索方向のタイプが対角線検索方向である場合、第二検索ステップ長セットが採用される。
プリセット検索位置が３２個であることを前提として、第一検索ステップ長セットには少なくとも１つのタイプの第一検索ステップ長が含まれ、第二検索ステップ長セットには少なくとも１つのタイプの第二検索ステップ長が含まれる。
本実施形態において、第一検索ステップ長セットと第二検索ステップ長セットは、同じであっても異なってもよいことを指摘すべきである。
第一検索ステップ長セットと第二検索ステップ長セットが同じである場合、水平垂直検索方向と対角線検索方向で全て同じ４つの検索ステップ長（ステップ長は、検索位置とのコンステレーション中心点との間の距離である）を採用して検索位置を選択すると見なすことができる。
或いは、第一検索ステップ長セット及び第二検索ステップ長セットが異なる場合、第一検索ステップ長セット及び第二検索ステップ長セットは交差することができる。例えば、水平垂直方向の検索ステップ長と対角線方向の検索ステップ長がずらして増加される。１つの例示において、水平垂直方向の距離が優先的に選択され、それから対角線方向の検索ステップ長を２つの隣接する水平垂直方向の検索ステップ長の間に交差する。このように、対角線方向の検索が水平垂直方向で検索できない領域をカバーできるようにする。
つまり、第一検索ステップ長セットの第一タイプの第一検索ステップ長と第二タイプの第一検索ステップ長との間に第二検索ステップ長セットの第一タイプの第二検索ステップ長があることができる。同様に、第二検索ステップ長セットの第二タイプの第二検索ステップ長と第三タイプの第二検索ステップ長との間に第一検索ステップ長セットの第三タイプの第一検索ステップ長があることができる。
対角線方向位置は（ｌｘ、ｌｙ）として表され、ここでｌｘ＝ｌｙであり、本文では、検索ステップ長は単一値ｌｘとして表される。
例えば、第一検索ステップ長は、１/４ピクセル、１/２ピクセル、２ピクセル、４ピクセルのうちの少なくとも１つであり、第二検索ステップ長は、１/８ピクセル、３/８ピクセル、３/４ピクセル、３/２ピクセルのうちの少なくとも１つである。
以下、添付された図面を参照して、本実施形態の技術方案を説明する。
倍増された検索ステップ長を半径として、初期動きベクトルが指す位置を円心として円を描く。対角線方向の検索ステップ長はすべて円のエッジに近く、順番に遠く拡大するように設定されている。ここで、検索ステップ長は、検索ステップ長に基づいて確定することができる。例えば、第一検索ステップ長セット及び第二検索ステップ長セットが同じである場合、４つのタイプの第一検索ステップ長又は第二検索ステップ長のそれぞれを半径として円を描き、４つの円を取得する。対角線方向及び水平垂直方向に全て４つの検索ポイントがある。第一検索ステップ長セット及び第二検索ステップ長セットが異なる場合、別々に４つの第一検索ステップ長及び４つの第二検索ステップ長に基づいて、対角検索方向及び水平垂直検索方向で複数の検索ポイントを取得することができる。
次に、統計に基づいて、カバレッジエリアに応じて代表的な検索ポイントを選択し、補間演算を便利にする原則に基づいて、２の累乗で割ることで表現できる位置に近似する。図３に示されたように、水平方向と垂直方向の両方で１/４ピクセル位置、１/２ピクセル位置、２ピクセル位置、４ピクセル位置を選択し、対角線方向では（１/８，１/８）ピクセル位置、（３/８，３/８）ピクセル位置、（３/４，３/４）ピクセル位置、（３/２，３/２）ピクセル位置を選択する。代表的な検索ポイントを選択する場合、異なる解像度シーケンスの異なる統計的特性を考慮して、半径が１/２である円と半径が２である円の近くにより多い検索ポイントを割り当てることができる。
これに基づいてＭＭＶＤを実現する詳細な説明は次のとおりである。
先ず、候補リストから初期動きベクトルを選択する。
具体的には、依然としてＶＶＣのマージ候補リストの前の２つの候補を初期動きベクトルとして再利用する。各初期動きベクトルに対して、依然として初期動きベクトルインデックス（ｉｎｉｔｉａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｉｎｄｅｘ）、検索方向（ｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎ）、検索ステップ長（ｓｅａｒｃｈ ｓｔｅｐ ｌｅｎｇｔｈ）の３の構文要素を使用して拡張表現を行う。
拡張表現を行う過程において、検索方向部分について、図４に示されたように、元の上下左右の４つの方向は、上下左右の４つの方向及び左上、右上、右下、左下の４つの方向を含むように変更され、即ち、元の方向に加えて、対角線方向が追加される。
図４に示されたように、新しく追加された方向は実線で示され、元の方向は破線で示されている。このように、元の水平垂直方向に加えて、動き方向が新たに追加され、動きベクトル表現の柔軟性を高めることができる。
本実施形態における検索方向インデックステーブルを表４に示す。
Figure 2022541104000005
次に、検索ステップ長を変更する。図５に示されたように、先ず、元のアルゴリズムの８つのタイプの検索ステップ長を一般的に使用される４つのタイプの検索ステップ長に減少する。
Figure 2022541104000006
表５に基づいて、比較的広い検索範囲をカバーするために、表６では、対角線方向に対して上下左右方向とは異なる検索ステップ長を設定した。
Figure 2022541104000007
最後に、各初期動きベクトルに対して、形成された検索方向及びステップ長は図５に示されている。
上述した技術方案に基づいて、本実施形態はさらに以下の内容を含むことができる。少なくとも１つの検索位置を新しい動きベクトルとする。新しい動きベクトルに基づいて動き補償を行って、ＣＵの予測値を取得する。次に、現在の全ての予測値に対してレート歪みコスト比較（ｒａｔｅ-ｄｉｓｔｏｒｔｉｏｎ ｃｏｓｔ ｃｏｍｐａｒｉｓｏｎ）を実行して、最適な構文要素の組み合わせを選択し、マージ候補リスト内の初期動きベクトルの３つの構文要素、即ち位置インデックス、動作方向インデックス及び検索ステップ長インデックスを記録する。
上述した方案を採用することにより、ランダムアクセス条件下でＪＶＥＴ（ｊｏｉｎｔ ｖｉｄｅｏ ｅｘｐｅｒｔｓ ｔｅａｍ）が要求するテストシーケンスをテストし、Ｙ、Ｃｂ、Ｃｒ成分のＢＤレートの平均変動は、それぞれ－０．１４％、－０．１２％、０．１０％である。 このデータは、この技術がコーディング性能を向上させることを表す。
図６は、本出願の実施形態に係わるビデオエンコーディングシステムの構造を示すブロック図である。図６に示されたように、ビデオエンコーディングシステム１００は、変換及び量子化モジュール１０１、イントラ推定モジュール１０２、イントラ予測モジュール１０３、動き補償モジュール１０４、動き推定モジュール１０５、逆変換及び逆量子化モジュール１０６、フィルタ制御分析モジュール１０７、デブロッキング（ｄｅｂｌｏｃｋｉｎｇ，ＤＢＫ）フィルタリング及びサンプル適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ，ＳＡＯ）フィルタリングモジュール１０８、ヘッダ情報コーディング及びＣＡＢＡＣ（ｃｏｎｔｅｘｔ-ｂａｓｅｄ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）コーディングモジュール１０９、復号化された画像バッファモジュール１１０などを含む。図７は、本出願の実施形態に係わるビデオデコーディングシステムの構造を示すブロック図である。図７に示されたように、ビデオデコーディングシステム２００は、ヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３、動き補償モジュール２０４、デブロッキングフィルタリング及びＳＡＯフィルタリングモジュール２０５、復号化された画像バッファモジュール２０６などを含む。ビデオ画像は、ビデオエンコーディングシステム２００のヘッダ情報デコーディングモジュール２０１、イントラ推定モジュール２０２、イントラ予測モジュール２０３、動き補償モジュール２０４、動き推定モジュール２０５、復号化された画像バッファモジュール２０６などによって処理されてから、ビデオ画像のコードストリームを出力する。このコードストリームはビデオデコーディングシステム２００に入力されて、ビデオデコーディングシステム２００のヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３及び動き補償モジュール２０４などによって処理されてから、最後に復元された元のビデオ画像を取得する。
さらに、本出願によって提出されるビデオエンコーディング方法は、ビデオエンコーディングハイブリッドフレームワークのイントラ予測部分に影響を与えることができ、即ち、主にビデオエンコーディングにおける動き補償モジュール１０４及び動き推定モジュール１０５、ビデオデコーディングにおける動き補償モジュール２０４に応用され、符号化端と復号化端の両方に作用する。
上述した技術方案に基づいて、本実施形態において、演算回数がほぼ変化しないという条件下で、符号化性能を改善することができる。従来の技術では、２つの初期動きベクトルに対して拡張表現を行うことを必要として、合計２＊４＊８＝６４回の比較が必要であり、ここで、２は２つの初期動きベクトルを表し、４は検索方向を表し、８は検索ステップ長を表す。変更後も、依然として２つの初期動きベクトルに対して拡張表現を実行し、合計２＊８＊４＝６４回の比較が必要であり、８つの検索方向と４つの検索ステップ長が含まれる。本技術は、元の技術と同じ量の演算を維持しながら、全体的な符号化性能を向上させることができる。
これに対応して、上述した方案に基づいて、復号化端の複雑さが変化しないように保つことができる。従来の技術において、復号化端で３つの構文要素を復号化することにより、初期動きベクトルに対して拡張表現を実行し、動き補償を実行して、最後に再構成されたブロックを取得する。本方案では、依然として３つの構文要素を復号化することにより、初期動きベクトルに対して拡張表現を実行するので、複雑さは変化しない。
本実施形態によって提供される技術方案によると、８つの検索方向及び各方向に対応する４つの検索ステップ長に基づいて、検索位置を確定することができる。このように、従来の技術と比較して、各方向の検索ステップ長を減少して、検索ステップ長の一部が選択されないことによる符号化効率低下の問題を回避し、且つ検索方向を増加することにより、ほとんどの物体の動き条件を満たすことができるので、動き情報をより正確に表現することができる。
上記に基づいて、本実施形態はエンコーダを提供する。図８に示されるように、エンコーダは構築部分３２及び符号化部分３３を含む。
構築部分３２は、初期動きベクトルに基づいて検索位置コンステレーションを構築するように構成される。検索位置コンステレーションにはＮ個の検索方向が含まれ、検索方向で少なくとも１つのタイプの検索ステップ長を使用して検索することによって少なくとも１つの検索ポイントを取得し、Ｎは１以上の整数であり、Ｎ個の検索方向は少なくとも対角線検索方向を含む。
符号化部分３３は、プリセット範囲カバレッジルールに基づいて、検索位置コンステレーションから少なくとも１つの検索位置を選択し、少なくとも１つの検索位置を新しい動きベクトルとして、新しい動きベクトルに基づいて動き補償を実行して、コーディングユニットの予測値を取得するように構成される。プリセット範囲カバレッジルールは、プリセット数の検索ポイントをＮ個の検索方向に分散させて選択することである。
本出願の実施形態に係わる方法は、ビデオコーディング及びデコーディングシステムのエンコーダに適用することができる。
即ち、本実施形態において、プリセット検索位置が３２個であることを前提として、元の４つの検索方向を８つの検索方向に拡張し、各検索方向の８つの検索ステップ長の数量を減少し、且つ異なる検索方向に検索ステップ長を割り当てて、比較的広い検索範囲をカバーする。
具体的には、構築部分は、初期動きベクトルが指す点を中心点として検索位置コンステレーションを構築する。
検索位置コンステレーションに含まれるＮ個の検索方向は、水平垂直検索方向をさらに含む。水平垂直検索方向は、別々に上、下、左、右である。対角線検索方向は、別々に左上、左下、右上、右下である。
検索ステップ長は、検索方向のタイプに対応する。符号化部分は、検索方向のタイプが水平垂直検索方向である場合、第一検索ステップ長セットを採用し、検索方向のタイプが対角線検索方向である場合、第二検索ステップ長セットを採用する。
プリセット検索位置が３２個であることを前提として、第一検索ステップ長セットには少なくとも１つのタイプの第一検索ステップ長が含まれ、第二検索ステップ長セットには少なくとも１つのタイプの第二検索ステップ長が含まれる。
本実施形態において、第一検索ステップ長セット及び第二検索ステップ長セットは、同じであっても異なってもよいことを指摘すべきである。
第一検索ステップ長セット及び第二検索ステップ長セットが同じである場合、水平垂直検索方向と対角線検索方向で同じ４つの検索ステップ長（ステップ長は、検索位置とのコンステレーション中心点との間の距離である）を採用して検索位置を選択すると見なすことができる。
或いは、第一検索ステップ長セット及び第二検索ステップ長セットが異なる場合、第一検索ステップ長セット及び第二検索ステップ長セットは交差することができる。例えば、水平垂直方向の検索ステップ長と対角線方向の検索ステップ長がずらして増加される。１つの例示において、水平垂直方向の距離が優先的に選択され、それから対角線方向の検索ステップ長を２つの隣接する水平垂直方向の検索ステップ長の間に交差する。このように、対角線方向の検索が水平垂直方向で検索できない領域をカバーできるようにする。
つまり、第一検索ステップ長セットの第一タイプの第一検索ステップ長と第二タイプの第一検索ステップ長との間に第二検索ステップ長セットの第一タイプの第二検索ステップ長があることができる。同様に、第二検索ステップ長セットの第二タイプの第二検索ステップ長と第三タイプの第二検索ステップ長との間に第一検索ステップ長セットの第三タイプの第一検索ステップ長があることができる。
対角線方向位置は（ｌｘ、ｌｙ）として表され、ここでｌｘ＝ｌｙであり、本文では、検索ステップ長は単一値ｌｘとして表される。
例えば、第一検索ステップ長は、１/４ピクセル、１/２ピクセル、２ピクセル、４ピクセルのうちの少なくとも１つであり、第二検索ステップ長は、１/８ピクセル、３/８ピクセル、３/４ピクセル、３/２ピクセルのうちの少なくとも１つである。
以下、添付された図面を参照して、本実施形態の技術方案を説明する。
倍増された検索ステップ長を半径として、初期動きベクトルが指す位置を円心として円を描く。対角線方向の検索ステップ長はすべて円のエッジに近く、順番に遠く拡大するように設定されている。ここで、検索ステップ長は、検索ステップ長に基づいて確定することができる。例えば、第一検索ステップ長セット及び第二検索ステップ長セットが同じである場合、４つのタイプの第一検索ステップ長又は第二検索ステップ長のそれぞれを半径として円を描き、４つの円を取得する。対角線方向及び水平垂直方向に全て４つの検索ポイントがある。第一検索ステップ長セット及び第二検索ステップ長セットが異なる場合、別々に４つの第一検索ステップ長及び４つの第二検索ステップ長に基づいて、対角検索方向及び水平垂直検索方向で複数の検索ポイントを取得することができる。
次に、統計に基づいて、カバレッジエリアに応じて代表的な検索ポイントを選択し、補間演算を便利にする原則に基づいて、２の累乗で割ることで表現できる位置に近似する。図３に示されたように、水平方向と垂直方向の両方で１/４ピクセル位置、１/２ピクセル位置、２ピクセル位置、４ピクセル位置を選択し、対角線方向では（１/８，１/８）ピクセル位置、（３/８，３/８）ピクセル位置、（３/４，３/４）ピクセル位置、（３/２，３/２）ピクセル位置を選択する。代表的な検索ポイントを選択する場合、異なる解像度シーケンスの異なる統計的特性を考慮して、半径が１/２である円と半径が２である円の近くにより多い検索ポイントを割り当てることができる。
これに基づいてＭＭＶＤを実現する詳細な説明は次のとおりである。
先ず、候補リストから初期動きベクトルを選択する。
具体的には、依然としてＶＶＣのマージ候補リストの前の２つの候補を初期動きベクトルとして再利用する。各初期動きベクトルに対して、依然として初期動きベクトルインデックス、検索方向、検索ステップ長の３の構文要素を使用して拡張表現を行う。
拡張表現を行う過程において、検索方向部分について、図４に示されたように、元の上下左右の４つの方向は、上下左右の４つの方向及び左上、右上、右下、左下の４つの方向を含むように変更され、即ち、元の方向に加えて、対角線方向が追加される。
図４に示されたように、新しく追加された方向は実線で示され、元の方向は破線で示されている。このように、元の水平垂直方向に加えて、動き方向が新たに追加され、動きベクトル表現の柔軟性を高めることができる。
本実施形態における検索方向インデックステーブルを表４に示す。
Figure 2022541104000008
次に、検索ステップ長を変更する。図５に示されたように、先ず、元のアルゴリズムの８つのタイプの検索ステップ長を一般的に使用される４つのタイプの検索ステップ長に減少する。
Figure 2022541104000009
表５に基づいて、比較的広い検索範囲をカバーするために、表６では、対角線方向に対して上下左右方向とは異なる検索ステップ長を設定した。
Figure 2022541104000010
最後に、各初期動きベクトルについて、形成された検索方向及びステップ長は図５に示されている。
上述した技術方案に基づいて、本実施形態の符号化部分は、少なくとも１つの検索位置を新しい動きベクトルとする。新しい動きベクトルに基づいて動き補償を行って、ＣＵの予測値を取得する。次に、現在のすべての予測値に対してレート歪みコスト比較を実行して、最適な構文要素の組み合わせを選択して、マージ候補リスト内の初期動きベクトルの３つの構文要素、即ち位置インデックス、動作方向インデックス及び検索ステップ長インデックスを記録する。
上述した方案を採用することにより、ランダムアクセス条件下でＪＶＥＴ（ｊｏｉｎｔ ｖｉｄｅｏ ｅｘｐｅｒｔｓ ｔｅａｍ）が要求するテストシーケンスをテストし、Ｙ、Ｃｂ、Ｃｒ成分のＢＤレートの平均変動は、それぞれ－０．１４％、－０．１２％、０．１０％である。 このデータは、この技術がコーディング性能を向上させることを表す。
上述した技術方案に基づいて、本実施形態において、演算回数がほぼ変化しないという条件下で、符号化性能を改善することができる。従来の技術では、２つの初期動きベクトルに対して拡張表現を行うことを必要として、合計２＊４＊８＝６４回の比較が必要であり、ここで、２は２つの初期動きベクトルを表し、４は検索方向を表し、８は検索ステップ長を表す。変更後も、依然として２つの初期動きベクトルに対して拡張表現を実行し、合計２＊８＊４＝６４回の比較が必要であり、８つの検索方向と４つの検索ステップ長が含まれる。本技術は、元の技術と同じ量の演算を維持しながら、全体的な符号化性能を向上させることができる。
これに対応して、上述した方案に基づいて、復号化端の複雑さが変化しないように保つことができる。従来の技術において、復号化端で３つの構文要素を復号化することにより、初期動きベクトルに対して拡張表現を実行し、動き補償を実行して、最終的に再構成されたブロックを取得する。本方案では、依然として３つの構文要素を復号化することにより、初期動きベクトルに対して拡張表現を実行し、複雑さは変化しない。
本実施形態によって提供される技術方案によると、８つの検索方向及び各方向に対応する４つの検索ステップ長に基づいて、検索位置を確定することができる。このように、従来の技術と比較して、各方向の検索ステップ長を減少して、検索ステップ長の一部が選択されないことによる符号化効率低下の問題を回避し、且つ検索方向を増加することにより、ほとんどの物体の動き条件を満たすことができるので、動き情報をより正確に表現することができる。
本実施形態は、デコーダに適用される動き補償処理方法を提供する。図９に示されたように、この方法は以下の内容を含む。
ブロック４１：初期動きベクトルの構文要素に基づいて、検索位置コンステレーションにおける初期動きベクトルに対応する少なくとも１つの検索位置を拡張する。
ブロック４２：初期動きベクトルを拡張して取得した新しい動きベクトルに基づいて動き補償を実行して再構成されたブロックを取得する。
構文要素は、初期動きベクトルインデックス、検索方向インデックス、検索ステップ長インデックスを含み、検索方向インデックスに示される検索方向は少なくとも対角線検索方向を含む。
初期動きベクトルを拡張して取得した新しい動きベクトルに基づいて動き補償を実行して再構成されたブロックを取得することは、初期動きベクトルを拡張して取得した新しい動きベクトルに基づいて動き補償を実行して現在の処理ブロックの再構成されたブロックを取得することである。現在の処理ブロックは、現在のコーディングブロックである。
本出願の実施形態に係わる方法は、ビデオコーディング及びデコーディングシステムのデコーダに適用することができる。
一般的に、上記の解決策によれば、先ず、距離によって複数の検索方向に利用可能な検索ポイントを割り当てて検索位置コンステレーションを構築し、次に、プリセット範囲カバレッジルールに基づいて、コンステレーションから適切な数量の検索位置を選択する。
即ち、本実施形態において、プリセット検索位置が３２個であることを前提として、元の４つの検索方向を８つの検索方向に拡張し、各検索方向の８つの検索ステップ長の数量を減少し、且つ異なる検索方向に検索ステップ長を割り当てて、比較的広い検索範囲をカバーする。
具体的には、初期動きベクトルが指す点を中心点として検索位置コンステレーションを構築する。
検索位置コンステレーションに含まれる検索方法は、水平垂直検索方向をさらに含む。水平垂直検索方向は、別々に上、下、左、右である。対角線検索方向は、別々に左上、左下、右上、右下である。
検索ステップ長は、検索方向のタイプに対応する。
この方法はさらに以下の内容を含む。検索方向のタイプが水平垂直検索方向である場合、第一検索ステップ長セットが採用される。検索方向のタイプが対角線検索方向である場合、第二検索ステップ長セットが採用される。
プリセット検索位置が３２個であることを前提として、第一検索ステップ長セットには少なくとも１つのタイプの第一検索ステップ長が含まれ、第二検索ステップ長セットには少なくとも１つのタイプの第二検索ステップ長が含まれる。
本実施形態において、第一検索ステップ長セット及び第二検索ステップ長セットは、同じであっても異なってもよいことを指摘すべきである。
第一検索ステップ長セット及び第二検索ステップ長セットが同じである場合、水平垂直検索方向と対角線検索方向で同じ４つの検索ステップ長（ステップ長は、検索位置とのコンステレーション中心点との間の距離である）を採用して検索位置を選択すると見なすことができる。
或いは、第一検索ステップ長セット及び第二検索ステップ長セットが異なる場合、第一検索ステップ長セット及び第二検索ステップ長セットは交差することができる。例えば、水平垂直方向の検索ステップ長と対角線方向の検索ステップ長がずらして増加される。１つの例示において、水平垂直方向の距離が優先的に選択され、それから対角線方向の検索ステップ長を２つの隣接する水平垂直方向の検索ステップ長の間に交差する。このように、対角線方向の検索が水平垂直方向で検索できない領域をカバーできるようにする。
つまり、第一検索ステップ長セットの第一タイプの第一検索ステップ長と第二タイプの第一検索ステップ長との間に第二検索ステップ長セットの第一タイプの第二検索ステップ長があることができる。同様に、第二検索ステップ長セットの第二タイプの第二検索ステップ長と第三タイプの第二検索ステップ長との間に第一検索ステップ長セットの第三タイプの第一検索ステップ長があることができる。
対角線方向位置は（ｌｘ、ｌｙ）として表され、ここでｌｘ＝ｌｙであり、本文では、検索ステップ長は単一値ｌｘとして表される。
例えば、第一検索ステップ長は、１/４ピクセル、１/２ピクセル、２ピクセル、４ピクセルのうちの少なくとも１つであり、第二検索ステップ長は、１/８ピクセル、３/８ピクセル、３/４ピクセル、３/２ピクセルのうちの少なくとも１つである。
これに基づいてＭＭＶＤを実現する詳細な説明は次のとおりである。
先ず、候補リストから初期動きベクトルを選択する。
具体的には、依然としてＶＶＣのマージ候補リストの前の２つの候補を初期動きベクトルとして再利用する。各初期動きベクトルに対して、依然として初期動きベクトルインデックス、検索方向、検索ステップ長の３の構文要素を使用して拡張表現を行う。
拡張表現を行う過程において、検索方向部分について、図４に示されたように、元の上下左右の４つの方向は、上下左右の４つの方向及び左上、右上、右下、左下の４つの方向を含むように変更され、即ち、元の方向に加えて、対角線方向が追加される。
図４に示されたように、新しく追加された方向は実線で示され、元の方向は破線で示されている。このように、元の水平垂直方向に加えて、動き方向が新たに追加され、動きベクトル表現の柔軟性を高めることができる。
本実施形態における検索方向インデックステーブルを表４に示す。
Figure 2022541104000011
次に、検索ステップ長を変更する。図５に示されたように、先ず、元のアルゴリズムの８つのタイプの検索ステップ長を一般的に使用される４つのタイプの検索ステップ長に減少する。
Figure 2022541104000012
表５に基づいて、比較的広い検索範囲をカバーするために、表６では、対角線方向に対して上下左右方向とは異なる検索ステップ長を設定した。
Figure 2022541104000013
最後に、各初期動きベクトルについて、形成された検索方向及びステップ長は図５に示されている。
上述した技術方案に基づいて、本実施形態はさらに以下の内容を含むことができる。初期動きベクトルを拡張して取得した新しい動きベクトルに基づいて動き補償を実行して再構成されたブロックを取得する。
図７は、ビデオデコーディングシステムの構造を示す概略図である。図７に示されたように、ビデオデコーディングシステム２００は、ヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３、動き補償モジュール２０４、デブロッキングフィルタリング及びＳＡＯフィルタリングモジュール２０５、復号化された画像バッファモジュール２０６などを含む。ビデオ画像は、ビデオエンコーディングシステム２００のヘッダ情報デコーディングモジュール２０１、イントラ推定モジュール２０２、イントラ予測モジュール２０３、動き補償モジュール２０４、動き推定モジュール２０５、復号化された画像バッファモジュール２０６などによって処理されてから、ビデオ画像のコードストリームを出力する。このコードストリームはビデオデコーディングシステム２００に入力されて、ビデオデコーディングシステム２００のヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３及び動き補償モジュール２０４などによって処理されてから、最後に復元された元のビデオ画像を取得する。
さらに、本出願によって提出されるビデオエンコーディング方法は、ビデオエンコーディングハイブリッドフレームワークのイントラ予測部分に影響を与えることができ、即ち、主にビデオエンコーディングにおける動き補償モジュール１０４及び動き推定モジュール１０５、ビデオデコーディングにおける動き補償モジュール２０４に応用され、符号化端と復号化端の両方に作用する。
上述した方案に基づいて、復号化端の複雑さが変化しないように保つことができる。従来の技術において、復号化端で３つの構文要素を復号化することにより、初期動きベクトルに対して拡張表現を実行し、動き補償を実行して、最終的に再構成されたブロックを取得する。本方案では、依然として３つの構文要素を復号化することにより、初期動きベクトルに対して拡張表現を実行するので、複雑さは変化しない。
なお、元の画像フレーム内のコーディングブロックについて、デコーダ側において、先ず、コーディングブロックが採用する符号化モードを確定し、次に、確定された符号化モードに基づいて、符号化モード対応する候補リストを確立し、符号化モードに対応する候補リストに基づいて、コーディングブロックに対応する復号化パラメータを取得し、最後に、コーディングブロックに対応する復号化パラメータに基づいて、コーディングブロックに対して予測復号化を実行する。
コーディングブロックに対して予測符号化を実行してから、エンコーダは、コーディングブロックに対応するコードストリームをデコーダに送信する。このように、デコーダ側では、コードストリーム内の符号化パラメータと候補リストに基づいて復号化パラメータを共同に確定することができる。
本出願の実施形態に係わる技術方案において、対角線検索方向を含むＮ個の検索方向及び複数のタイプの検索ステップ長に基づいて、検索位置を確定する。従来の技術と比較して、各方向の検索ステップ長を減少し、検索ステップ長の一部が選択されないことによる符号化効率低下の問題を回避し、且つ検索方向を増やすことによって、ほとんどの物体の動き条件を満たすので、動き情報をより正確に表現することができる。
本実施形態は、デコーダを提供する。 図１０に示されたように、デコーダは、拡張部分５１及び復号化部分５２を含む。
拡張部分５１は、初期動きベクトルの構文要素に基づいて、検索位置コンステレーションにおける初期動きベクトルに対応する少なくとも１つの検索位置を拡張するために用いられる。構文要素は、初期動きベクトルインデックス、検索方向インデックス、検索ステップ長インデックスを含み、検索方向インデックスに示される検索方向は少なくとも対角線検索方向を含む。
復号化部分５２は、初期動きベクトルを拡張して取得した新しい動きベクトルに基づいて動き補償を実行して再構成されたブロックを取得するために用いられる。
本出願の実施形態に係わる動き補償処理方法は、ビデオコーディング及びデコーディングシステムのデコーダに適用することができる。
一般的に、上記の解決策によれば、先ず、距離によって複数の検索方向に利用可能な検索ポイントを割り当てて検索位置コンステレーションを構築し、次に、プリセット範囲カバレッジルールに基づいて、コンステレーションから適切な数量の検索位置を選択する。
即ち、本実施形態において、プリセット検索位置が３２個であることを前提として、元の４つの検索方向を８つの検索方向に拡張し、各検索方向の８つの検索ステップ長の数量を減少し、且つ異なる検索方向に検索ステップ長を割り当てて、比較的広い検索範囲をカバーする。
具体的には、拡張部分は、初期動きベクトルが指す点を中心点として検索位置コンステレーションを構築するために用いられる。
検索位置コンステレーションに含まれる検索方向は、水平垂直検索方向をさらに含む。水平垂直検索方向は、別々に上、下、左、右である。対角線検索方向は、別々に左上、左下、右上、右下である。
検索ステップ長は、検索方向のタイプに対応する。
拡張部分５１は、検索方向のタイプが水平垂直検索方向である場合、第一検索ステップ長セットを採用し、検索方向のタイプが対角線検索方向である場合、第二検索ステップ長セットを採用するために用いられる。
プリセット検索位置が３２個であることを前提として、第一検索ステップ長セットには少なくとも１つのタイプの第一検索ステップ長が含まれ、第二検索ステップ長セットには少なくとも１つのタイプの第二検索ステップ長が含まれる。
本実施形態において、第一検索ステップ長セット及び第二検索ステップ長セットは、同じであっても異なってもよいことを指摘すべきである。
第一検索ステップ長セット及び第二検索ステップ長セットが同じである場合、水平垂直検索方向と対角線検索方向で同じ４つの検索ステップ長（ステップ長は、検索位置とのコンステレーション中心点との間の距離である）を採用して検索位置を選択すると見なすことができる。
或いは、第一検索ステップ長セット及び第二検索ステップ長セットが異なる場合、第一検索ステップ長セット及び第二検索ステップ長セットは交差することができる。例えば、水平垂直方向の検索ステップ長と対角線方向の検索ステップ長がずらして増加される。１つの例示において、水平垂直方向の距離が優先的に選択され、それから対角線方向の検索ステップ長を２つの隣接する水平垂直方向の検索ステップ長の間に交差する。このように、対角線方向の検索が水平垂直方向で検索できない領域をカバーできるようにする。
つまり、第一検索ステップ長セットの第一タイプの第一検索ステップ長と第二タイプの第一検索ステップ長との間に第二検索ステップ長セットの第一タイプの第二検索ステップ長があることができる。同様に、第二検索ステップ長セットの第二タイプの第二検索ステップ長と第三タイプの第二検索ステップ長との間に第一検索ステップ長セットの第三タイプの第一検索ステップ長があることができる。
対角線方向位置は（ｌｘ、ｌｙ）として表され、ここでｌｘ＝ｌｙであり、本文では、検索ステップ長は単一値ｌｘとして表される。
例えば、第一検索ステップ長は、１/４ピクセル、１/２ピクセル、２ピクセル、４ピクセルのうちの少なくとも１つであり、第二検索ステップ長は、１/８ピクセル、３/８ピクセル、３/４ピクセル、３/２ピクセルのうちの少なくとも１つである。
図７は、本出願の実施形態に係わるビデオデコーディングシステムの構造を示すブロック図である。図７に示されたように、ビデオデコーディングシステム２００は、ヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３、動き補償モジュール２０４、デブロッキングフィルタ及びＳＡＯフィルタリングモジュール２０５、復号化された画像バッファモジュール２０６などを含む。ビデオ画像は、ビデオエンコーディングシステム２００のヘッダ情報デコーディングモジュール２０１、イントラ推定モジュール２０２、イントラ予測モジュール２０３、動き補償モジュール２０４、動き推定モジュール２０５、復号化された画像バッファモジュール２０６などによって処理されてから、ビデオ画像のコードストリームを出力する。このコードストリームはビデオデコーディングシステム２００に入力されて、ビデオデコーディングシステム２００のヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３及び動き補償モジュール２０４などによって処理されてから、最後に復元された元のビデオ画像を取得する。
さらに、本出願によって提出される画像符号化方法は、ビデオ符号化ハイブリッドフレームワークのイントラ予測部分に影響を与えることができ、即ち、主にビデオ符号化における動き補償モジュール１０４及び動き推定モジュール１０５、ビデオ復号化における動き補償モジュール２０４に応用され、符号化端と復号化端の両方に作用する。
これに対応して、上述した方案に基づいて、復号化端の複雑さが変化しないように保つことができる。従来の技術において、復号化端で３つの構文要素を復号化することにより、初期動きベクトルに対して拡張表現を実行し、動き補償を実行して、最後に再構成されたブロックを取得する。本方案では、依然として３つの構文要素を復号化することにより、初期動きベクトルに対して拡張表現を実行するので、複雑さは変化しない。
なお、元の画像フレーム内のコーディングブロックについて、デコーダ側において、先ず、コーディングブロックが採用する符号化モードを確定し、次に、確定された符号化モードに基づいて、符号化モード対応する候補リストを確立し、符号化モードに対応する候補リストに基づいて、コーディングブロックに対応する復号化パラメータを取得し、最後に、コーディングブロックに対応する復号化パラメータに基づいて、コーディングブロックに対して予測復号化を実行する。
コーディングブロックに対して予測符号化を実行してから、エンコーダは、コーディングブロックに対応するコードストリームをデコーダに送信する。このように、デコーダ側では、コードストリーム内の符号化パラメータと候補リストに基づいて復号化パラメータを共同に確定することができる。
本出願の実施形態に係わる技術方案において、対角線検索方向を含むＮ個の検索方向及び複数のタイプの検索ステップ長に基づいて、検索位置を確定する。従来の技術と比較して、各方向の検索ステップ長を減少し、検索ステップ長の一部が選択されないことによる符号化効率低下の問題を回避し、且つ検索方向を増やすことによって、ほとんどの物体の動き条件を満たすので、動き情報をより正確に表現することができる。
図１１は、本出願の実施形態に係わるハードウェアの構造を示す概略図である。図面のハードウェアは、上述したエンコーダ又はデコーダであることができる。図１１に示されたように、本出願の実施形態に係わるエンコーダ３００は、プロセッサ３０４と、プロセッサ３０４によって実行可能な命令を格納するメモリ３０５と、通信インターフェース３０６と、プロセッサ３０４、メモリ３０５及び通信インターフェース３０６を接続するために用いられるバス３０７と、を含む。
さらに、本出願の実施形態において、上述したプロセッサ３０４は、エンコーダ又はデコーダの処理を実行するように構成される。
本出願の実施形態において、プロセッサ３０４は、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）、デジタル信号処理装置（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ ｄｅｖｉｃｅ，ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ，ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ，ＣＰＵ）、コントローラー、マイクロコントローラー、マイクロプロセッサーのうちの少なくとも１つであることができる。異なるデバイスの場合、上記のプロセッサ機能を実現するために用いられる電子デバイスは他のものであることができ、本出願の実施形態はこれに対して具体的に限定しないことを理解されるべきである。メモリ３０５はプロセッサ３０４に接続することができ、メモリ３０５は実行可能なプログラムコードを格納するために用いられる。プログラムコードはコンピュータ操作指令を含む。メモリ３０５は、高速ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）を含むことができ、又は不揮発性メモリ、例えば、少なくとも２つのディスク記憶装置を含むことができる。
本出願の実施形態において、バス３０７は、通信インターフェース３０６、プロセッサ３０４、メモリ３０５を接続するように構成され、これらのデバイス間の相互通信に使用される。
本出願の実施形態において、メモリ３０５は、命令及びデータを格納するために用いられる。
実際の応用では、メモリ３０５は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）などの揮発性メモリであることができ、又は読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ，ＨＤＤ）又はソリッドステートドライブ（ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ，ＳＳＤ）などの不揮発性メモリであることができ、又は上記のタイプのメモリの組み合わせであり、プロセッサに命令及びデータを提供することができる。
また、本実施形態に係わる各機能ユニットは、一つの処理ユニットに集積されてもよく、各ユニットが単独に物理的に存在してもよく、２つ以上のユニットは一つのユニットに集積してもよい。上記の集積ユニットは、ハードウェア又はソフトウェア機能モジュールの形式で実現することができる。
集積ユニットは、ソフトウェアの機能モジュールとして実現され、且つ、独立の製品として販売されたり使用されたりする場合、コンピュータ可読記憶媒体に記憶されることができる。この理解によれば、本出願の技術方案について、本質的な部分、又は従来技術に貢献できた部分、又は該技術方案の全部又は一部は、ソフトウェア製品として表現され得る。当該コンピュータソフトウェア製品は、記憶媒体に記憶されており、１つのコンピュータデバイス（パソコン、サーバー、又はネットワークデバイスなどであることができる）又はプロセッサに本実施形態に係る方法の全部又は一部の操作を実行させるための複数の命令を含む。前記した記憶媒体は、ＵＳＢ（ユニバーサルシリアルバス）フラッシュディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、磁気ディスク又は光ディスクなどの各種のプログラムコードを記憶できる媒体を含む。
本出願の実施形態は、さらに上述したエンコーダの処理を実行するように構成された画像エンコーダを提供する。
本出願の実施形態は、さらに上述したデコーダの処理を実行するように構成されたデコーダを提供する。
本出願の実施形態は、プログラムを格納するコンピュータ可読記憶媒体を提供する。プログラムがプロセッサによって実行されると、前記実施形態で説明された方法を実現する。
当業者であれば、本出願の実施形態は、方法、システム、又はコンピュータプログラム製品を提供できることを理解されるべきである。従って、本出願は、ハードウェア実施形態、ソフトウェア実施形態、又はソフトウェアとハードウェアを結合した実施形態を採用することができる。さらに、本出願は、１つ又は複数のコンピュータ使用可能なプログラムコードを含む、コンピュータ使用可能な記憶媒体（磁気記憶装置、光メモリなどを含むが、これらに限定されない）に格納されたコンピュータプログラム製品の形態を採用することができる。
本出願は、本出願の実施例に係わる方法、装置（システム）、及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して説明する。フローチャートの各フロー及び/又はブロック図の各ブロック、フローチャートのフロー及び/又はブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実現できることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、又は他のプログラム可能なデータ処理装置のプロセッサに提供されて機械を形成することができ、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサで命令を実行することによって、フローチャートの１つ又は複数のフロー及び/又はブロック図の１つ又は複数のブロックによって指定される機能を実現するためのデバイスを生成することができる。
これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置が特定の方法で作動するように指示することができるコンピュータ可読メモリに格納されることもでき、従ってコンピュータ可読メモリに格納された命令は命令装置を含む製造品を生成することができ、命令装置はフローチャートの１つ又は複数のフロー及び/又はブロック図の１つ又は複数のブロックによって指定される機能を実現する。
これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置にロードすることもでき、従ってコンピュータ又は他のプログラム可能なデータ処理装置で一連のプロセスステップを実行して、コンピュータによって実行される処理を生成することができ、その結果、コンピュータ又は他のプログラム可能なデータ処理装置で実行される命令は、フローチャートの１つ又は複数のフロー及び/又はブロック図の１つ又は複数のブロックによって指定される機能を実現するためのステップを提供する。
上述したのはただ本出願の好ましい実施形態だけであり、本出願の保護範囲を制限するために使用されるものではない。
本出願の実施形態は、動き補償処理方法、エンコーダ、デコーダ、記憶媒体を提供する。エンコーダは、初期動きベクトルに基づいて、検索位置コンステレーションを構築する。検索位置コンステレーションにはＮ個の検索方向が含まれ、検索方向で少なくとも１つのタイプの検索ステップ長を使用して検索することによって少なくとも１つの検索ポイントを取得し、Ｎは１以上の整数であり、Ｎ個の検索方向は少なくとも対角線検索方向を含む。エンコーダは、プリセット範囲カバレッジルールに基づいて、検索位置コンステレーションから少なくとも１つの検索位置を選択する。プリセット範囲カバレッジルールは、プリセット数の検索ポイントをＮ個の検索方向に分散させて選択することである。エンコーダは、少なくとも１つの検索位置を新しい動きベクトルとして、新しい動きベクトルに基づいて動き補償を実行して、コーディングユニット（ＣＵ）の予測値を取得する。このように、従来の技術と比較して、各方向の検索ステップ長を減少し、検索ステップ長の一部が選択されないことによる符号化効率低下の問題を回避し、且つ検索方向を増やすことによって、ほとんどの物体の動き条件を満たすので、動き情報をより正確に表現することができる。
倍増された検索ステップ長を半径として、初期動きベクトルが指す位置を円心として円を描く。対角線方向の検索ステップ長はすべて円のエッジに近く、順番に遠く拡大するように設定されている。ここで、対角線方向の検索ステップ長は、第一検索ステップ長セット及び第二検索ステップ長セットに基づいて確定することができる。例えば、第一検索ステップ長セット及び第二検索ステップ長セットが同じである場合、４つのタイプの第一検索ステップ長又は第二検索ステップ長のそれぞれを半径として円を描き、４つの円を取得する。対角線方向及び水平垂直方向に全て４つの検索ポイントがある。第一検索ステップ長セット及び第二検索ステップ長セットが異なる場合、別々に４つの第一検索ステップ長及び４つの第二検索ステップ長に基づいて、対角検索方向及び水平垂直検索方向で複数の検索ポイントを取得することができる。
具体的には、依然としてＶＶＣのマージ候補リストの前の２つの候補を初期動きベクトルとして再利用する。各初期動きベクトルに対して、依然として初期動きベクトルインデックス（ｉｎｉｔｉａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｉｎｄｅｘ）、検索方向インデックス（ｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎ ｉｎｄｅｘ）、検索ステップ長インデックス（ｓｅａｒｃｈ ｓｔｅｐ ｌｅｎｇｔｈ ｉｎｄｅｘ）の３の構文要素を使用して拡張表現を行う。
図６は、本出願の実施形態に係わるビデオエンコーディングシステムの構造を示すブロック図である。図６に示されたように、ビデオエンコーディングシステム１００は、変換及び量子化モジュール１０１、イントラ推定モジュール１０２、イントラ予測モジュール１０３、動き補償モジュール１０４、動き推定モジュール１０５、逆変換及び逆量子化モジュール１０６、フィルタ制御分析モジュール１０７、デブロッキング（ｄｅｂｌｏｃｋｉｎｇ，ＤＢＫ）フィルタリング及びサンプル適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ，ＳＡＯ）フィルタリングモジュール１０８、ヘッダ情報コーディング及びＣＡＢＡＣ（ｃｏｎｔｅｘｔ-ｂａｓｅｄ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）コーディングモジュール１０９、復号化された画像バッファモジュール１１０などを含む。図７は、本出願の実施形態に係わるビデオデコーディングシステムの構造を示すブロック図である。図７に示されたように、ビデオデコーディングシステム２００は、ヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３、動き補償モジュール２０４、デブロッキングフィルタリング及びＳＡＯフィルタリングモジュール２０５、復号化された画像バッファモジュール２０６などを含む。ビデオ画像は、ビデオエンコーディングシステム１００の変換及び量子化モジュール１０１、イントラ推定モジュール１０２、イントラ予測モジュール１０３、動き補償モジュール１０４、動き推定モジュール１０５、逆変換及び逆量子化モジュール１０６、フィルタ制御分析モジュール１０７、デブロッキング（ＤＢＫ）フィルタリング及びサンプル適応オフセット（ＳＡＯ）フィルタリングモジュール１０８、ヘッダ情報コーディング及びＣＡＢＡＣコーディングモジュール１０９、復号化された画像バッファモジュール１１０などによって処理されてから、ビデオ画像のコードストリームを出力する。このコードストリームはビデオデコーディングシステム２００に入力されて、ビデオデコーディングシステム２００のヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３及び動き補償モジュール２０４などによって処理されてから、最後に復元された元のビデオ画像を取得する。
倍増された検索ステップ長を半径として、初期動きベクトルが指す位置を円心として円を描く。対角線方向の検索ステップ長はすべて円のエッジに近く、順番に遠く拡大するように設定されている。ここで、対角線方向の検索ステップ長は、第一検索ステップ長セット及び第二検索ステップ長セットに基づいて確定することができる。例えば、第一検索ステップ長セット及び第二検索ステップ長セットが同じである場合、４つのタイプの第一検索ステップ長又は第二検索ステップ長のそれぞれを半径として円を描き、４つの円を取得する。対角線方向及び水平垂直方向に全て４つの検索ポイントがある。第一検索ステップ長セット及び第二検索ステップ長セットが異なる場合、別々に４つの第一検索ステップ長及び４つの第二検索ステップ長に基づいて、対角検索方向及び水平垂直検索方向で複数の検索ポイントを取得することができる。
具体的には、依然としてＶＶＣのマージ候補リストの前の２つの候補を初期動きベクトルとして再利用する。各初期動きベクトルに対して、依然として初期動きベクトルインデックス、検索方向インデックス、検索ステップ長インデックスの３の構文要素を使用して拡張表現を行う。
具体的には、依然としてＶＶＣのマージ候補リストの前の２つの候補を初期動きベクトルとして再利用する。各初期動きベクトルに対して、依然として初期動きベクトルインデックス、検索方向インデックス、検索ステップ長インデックスの３の構文要素を使用して拡張表現を行う。
図７は、ビデオデコーディングシステムの構造を示す概略図である。図７に示されたように、ビデオデコーディングシステム２００は、ヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３、動き補償モジュール２０４、デブロッキングフィルタリング及びＳＡＯフィルタリングモジュール２０５、復号化された画像バッファモジュール２０６などを含む。ビデオ画像は、ビデオエンコーディングシステム１００の変換及び量子化モジュール１０１、イントラ推定モジュール１０２、イントラ予測モジュール１０３、動き補償モジュール１０４、動き推定モジュール１０５、逆変換及び逆量子化モジュール１０６、フィルタ制御分析モジュール１０７、デブロッキング（ＤＢＫ）フィルタリング及びサンプル適応オフセット（ＳＡＯ）フィルタリングモジュール１０８、ヘッダ情報コーディング及びＣＡＢＡＣコーディングモジュール１０９、復号化された画像バッファモジュール１１０などによって処理されてから、ビデオ画像のコードストリームを出力する。このコードストリームはビデオデコーディングシステム２００に入力されて、ビデオデコーディングシステム２００のヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３及び動き補償モジュール２０４などによって処理されてから、最後に復元された元のビデオ画像を取得する。
図７は、本出願の実施形態に係わるビデオデコーディングシステムの構造を示すブロック図である。図７に示されたように、ビデオデコーディングシステム２００は、ヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３、動き補償モジュール２０４、デブロッキングフィルタ及びＳＡＯフィルタリングモジュール２０５、復号化された画像バッファモジュール２０６などを含む。ビデオ画像は、ビデオエンコーディングシステム１００の変換及び量子化モジュール１０１、イントラ推定モジュール１０２、イントラ予測モジュール１０３、動き補償モジュール１０４、動き推定モジュール１０５、逆変換及び逆量子化モジュール１０６、フィルタ制御分析モジュール１０７、デブロッキング（ＤＢＫ）フィルタリング及びサンプル適応オフセット（ＳＡＯ）フィルタリングモジュール１０８、ヘッダ情報コーディング及びＣＡＢＡＣコーディングモジュール１０９、復号化された画像バッファモジュール１１０などによって処理されてから、ビデオ画像のコードストリームを出力する。このコードストリームはビデオデコーディングシステム２００に入力されて、ビデオデコーディングシステム２００のヘッダ情報デコーディング及びＣＡＢＡＣデコーディングモジュール２０１、逆変換及び逆量子化モジュール２０２、イントラ予測モジュール２０３及び動き補償モジュール２０４などによって処理されてから、最後に復元された元のビデオ画像を取得する。

Claims (20)

  1. 動き補償処理方法方法であって、
    初期動きベクトルに基づいて検索位置コンステレーションを構築し、前記検索位置コンステレーションにはＮ個の検索方向が含まれ、前記検索方向で少なくとも１つのタイプの検索ステップ長を使用して検索することによって少なくとも１つの検索ポイントを取得し、Ｎは１以上の整数であり、Ｎ個の検索方向は少なくとも対角線検索方向を含むことと、
    プリセット範囲カバレッジルールに基づいて、前記検索位置コンステレーションから少なくとも１つの検索位置を選択し、前記プリセット範囲カバレッジルールは、プリセット数の検索ポイントを前記Ｎ個の検索方向に分散させて選択することであることと、
    少なくとも１つの検索位置を新しい動きベクトルとして、前記新しい動きベクトルに基づいて動き補償を実行して、コーディングユニット（ＣＵ）の予測値を取得することと、
    を含む、
    ことを特徴とする動き補償処理方法。
  2. 初期動きベクトルに基づいて検索位置コンステレーションを構築することは、具体的には、前記初期動きベクトルが指す点を中心点として検索位置コンステレーションを構築することをさらに含み、
    前記検索位置コンステレーションに含まれるＮ個の検索方向は水平垂直検索方向をさらに含み、前記水平垂直検索方向は別々に上、下、左、右であり、前記対角線検索方向は別々に左上、左下、右上、右下である、
    ことを特徴とする請求項１に記載の方法。
  3. 前記方法は、
    前記検索方向のタイプが水平垂直検索方向である場合、第一検索ステップ長セットを採用し、前記検索方向のタイプが対角線検索方向である場合、第二検索ステップ長セットを採用することをさらに含み、
    前記第一検索ステップ長セットには少なくとも１つのタイプの第一検索ステップ長が含まれ、前記第二検索ステップ長セットには少なくとも１つのタイプの第二検索ステップ長が含まれ、前記第一検索ステップ長セット前記第二検索ステップ長セットは異なる、
    ことを特徴とする請求項２に記載の方法。
  4. 前記第一検索ステップ長は、１/４ピクセル、１/２ピクセル、２ピクセル、４ピクセルのうちの少なくとも１つであり、
    前記第二検索ステップ長は、１/８ピクセル、３/８ピクセル、３/４ピクセル、３/２ピクセルのうちの少なくとも１つである、
    ことを特徴とする請求項３に記載の方法。
  5. エンコーダであって、
    構築部分及び符号化部分を含み、
    前記構築部分は、初期動きベクトルに基づいて検索位置コンステレーションを構築するように構成され、前記検索位置コンステレーションにはＮ個の検索方向が含まれ、前記検索方向で少なくとも１つのタイプの検索ステップ長を使用して検索することによって少なくとも１つの検索ポイントを取得し、前記Ｎは１以上の整数であり、前記Ｎ個の検索方向は少なくとも対角線検索方向を含み、
    前記符号化部分は、プリセット範囲カバレッジルールに基づいて、前記検索位置コンステレーションから少なくとも１つの検索位置を選択し、少なくとも１つの検索位置を新しい動きベクトルとして、前記新しい動きベクトルに基づいて動き補償を実行して、コーディングユニットの予測値を取得するように構成され、
    前記プリセット範囲カバレッジルールは、プリセット数の検索ポイントを前記Ｎ個の検索方向に分散させて選択することである、
    ことを特徴とするエンコーダ。
  6. 前記構築部分は、前記初期動きベクトルが指す点を中心点として検索位置コンステレーションを構築し、
    前記検索位置コンステレーションに含まれるＮ個の検索方向は水平垂直検索方向をさらに含み、前記水平垂直検索方向は、別々に上、下、左、右であり、前記対角線検索方向は、別々に左上、左下、右上、右下である、
    ことを特徴とする請求項５に記載のエンコーダ。
  7. 前記符号化部分は、前記検索方向のタイプが水平垂直検索方向である場合、第一ステップ長セットを採用し、前記検索方向のタイプが対角線検索方向である場合、第二ステップ長セットを採用し、
    前記第一検索ステップ長セットには少なくとも１つのタイプの第一検索ステップ長が含まれ、前記第二検索ステップ長セットには少なくとも１つのタイプの第二検索ステップ長が含まれ、前記第一検索ステップ長セット及び前記第二検索ステップ長セットは異なる、
    ことを特徴とする請求項６に記載のエンコーダ。
  8. 前記第一検索ステップ長は、１/４ピクセル、１/２ピクセル、２ピクセル、４ピクセルのうちの少なくとも１つであり、
    前記第二検索ステップ長は、１/８ピクセル、３/８ピクセル、３/４ピクセル、３/２ピクセルのうちの少なくとも１つである、
    ことを特徴とする請求項７に記載のエンコーダ。
  9. デコーダに適用される動き補償処理方法であって、
    初期動きベクトルの構文要素に基づいて、検索位置コンステレーションにおける前記初期動きベクトルに対応する少なくとも１つの検索位置を拡張することと、
    前記初期動きベクトルを拡張して取得した新しい動きベクトルに基づいて動き補償を実行して再構成されたブロックを取得することと、
    を含み、
    前記構文要素は、初期動きベクトルインデックス、検索方向インデックス、検索ステップ長インデックスを含み、前記検索方向インデックスに示される検索方向は少なくとも対角線検索方向を含む、
    ことを特徴とする動き補償処理方法。
  10. 前記方法は、前記初期動きベクトルが指す点を中心点として検索位置コンステレーションを構築することをさらに含み、
    前記検索位置コンステレーションに含まれる検索方向は水平垂直検索方向をさらにみ、前記水平垂直検索方向は、別々に上、下、左、右であり、前記対角線検索方向は、別々に左上、左下、右上、右下である、
    ことを特徴とする請求項９に記載の方法。
  11. 前記方法は、
    前記検索方向のタイプが水平垂直検索方向である場合、第一検索ステップ長セットを採用することと、
    前記検索方向のタイプが対角線検索方向である場合、第二検索ステップ長セットを採用することと、
    をさらに含み、
    前記第一検索ステップ長セットには少なくとも１つのタイプの第一検索ステップ長が含まれ、前記第二検索ステップ長セットには少なくとも１つのタイプの第二検索ステップ長が含まれ、前記第一検索ステップ長セットと前記第二検索ステップ長セットは異なる、
    ことを特徴とする請求項１０に記載の方法。
  12. 前記第一検索ステップ長は、１/４ピクセル、１/２ピクセル、２ピクセル、４ピクセルのうちの少なくとも１つであり、
    前記第二検索ステップ長は、１/８ピクセル、３/８ピクセル、３/４ピクセル、３/２ピクセルのうちの少なくとも１つである、
    ことを特徴とする請求項１１に記載の方法。
  13. デコーダであって、
    拡張部分及び復号化部分を含み、
    前記拡張部分は、初期動きベクトルの構文要素に基づいて、検索位置コンステレーションにおける前記初期動きベクトルに対応する少なくとも１つの検索位置を拡張するように構成され、前記構文要素は、初期動きベクトルインデックス、検索方向インデックス、検索ステップ長インデックスを含み、前記検索方向インデックスに示される検索方向は少なくとも対角線検索方向を含み、
    前記復号化部分は、前記初期動きベクトルを拡張して取得した新しい動きベクトルに基づいて動き補償を実行して再構成されたブロックを取得するように構成される、
    ことを特徴とするデコーダ。
  14. 前記拡張部分は、前記初期動きベクトルが指す点を中心点として検索位置コンステレーションを構築するために用いられ、
    前記検索位置コンステレーションに含まれる検索方向は水平垂直検索方向をさらに含み、前記水平垂直検索方向は、別々に上、下、左、右であり、前記対角線検索方向は、別々に左上、左下、右上、右下である、
    ことを特徴とする請求項１３に記載のデコーダ。
  15. 前記拡張部分は、前記検索方向のタイプが水平垂直検索方向である場合、第一検索ステップ長セットを採用し、前記検索方向のタイプが対角線検索方向である場合、第二検索ステップ長セットを採用するために用いられ、
    前記第一検索ステップ長セットには少なくとも１つのタイプの第一検索ステップ長が含まれ、前記第二検索ステップ長セットには少なくとも１つのタイプの第二検索ステップ長が含まれ、前記第一検索ステップ長セットと前記第二検索ステップ長セットは異なる、
    ことを特徴とする請求項１４に記載のデコーダ。
  16. 前記第一検索ステップ長は、１/４ピクセル、１/２ピクセル、２ピクセル、４ピクセルのうちの少なくとも１つであり、
    前記第二検索ステップ長は、１/８ピクセル、３/８ピクセル、３/４ピクセル、３/２ピクセルのうちの少なくとも１つである、
    ことを特徴とする請求項１５に記載のデコーダ。
  17. エンコーダであって、
    プロセッサと、前記プロセッサによって実行可能な命令を格納するメモリと、通信インターフェースと、前記プロセッサ、前記メモリ及び前記通信インターフェースを接続するために用いられるバスと、を含み、前記命令が前記プロセッサによって実行されると、請求項１～４のいずれか一項に記載の方法を実現する、
    ことを特徴とするエンコーダ。
  18. デコーダであって、
    プロセッサと、前記プロセッサによって実行可能な命令を格納するメモリと、通信インターフェースと、前記プロセッサ、前記メモリ及び前記通信インターフェースを接続するために用いられるバスと、を含み、前記命令が前記プロセッサによって実行されると、請求項９～１２のいずれか一項に記載の方法を実現する、
    ことを特徴とするデコーダ。
  19. エンコーダに適用されるコンピュータ可読記憶媒体であって、
    前記コンピュータ可読記憶媒体にはプログラムが格納されており、前記プログラムがプロセッサによって実行されると、請求項１～４のいずれか一項に記載の方法を実現する、
    ことを特徴とするコンピュータ可読記憶媒体。
  20. デコーダに適用されるコンピュータ記憶媒体であって、
    前記コンピュータ記憶媒体にはプログラムが格納されており、前記プログラムがプロセッサによって実行されると、請求項９～１２のいずれか一項に記載の方法を実現する、
    ことを特徴とするコンピュータ記憶媒体。
JP2021573521A 2019-06-25 2019-06-25 動き補償処理方法、エンコーダ、デコーダ、記憶媒体 Active JP7381615B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/092829 WO2020258039A1 (zh) 2019-06-25 2019-06-25 运动补偿的处理方法、编码器、解码器以及存储介质

Publications (2)

Publication Number Publication Date
JP2022541104A true JP2022541104A (ja) 2022-09-22
JP7381615B2 JP7381615B2 (ja) 2023-11-15

Family

ID=74060441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021573521A Active JP7381615B2 (ja) 2019-06-25 2019-06-25 動き補償処理方法、エンコーダ、デコーダ、記憶媒体

Country Status (6)

Country Link
US (2) US11490113B2 (ja)
EP (1) EP3972257A4 (ja)
JP (1) JP7381615B2 (ja)
KR (1) KR20220024020A (ja)
CN (2) CN114222136A (ja)
WO (1) WO2020258039A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023051646A1 (en) * 2021-09-30 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188956A (ja) * 2012-04-16 2017-10-12 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8462850B2 (en) * 2004-07-02 2013-06-11 Qualcomm Incorporated Motion estimation in video compression systems
WO2007111206A1 (ja) * 2006-03-14 2007-10-04 Sony Corporation 画像処理装置及び画像処理方法
US8671344B2 (en) * 2009-02-02 2014-03-11 Panasonic Corporation Information display device
CN101795409B (zh) * 2010-03-03 2011-12-28 北京航空航天大学 内容自适应分数像素运动估计方法
US9635308B2 (en) * 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
US9628674B2 (en) * 2010-06-02 2017-04-18 Cisco Technology, Inc. Staggered motion compensation for preprocessing video with overlapped 3D transforms
US8472725B2 (en) * 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
CN104077796B (zh) * 2013-03-28 2017-01-18 北京京东方光电科技有限公司 一种将二维图像转换为三维图像的方法和装置
WO2015005749A1 (ko) 2013-07-12 2015-01-15 삼성전자 주식회사 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 블록 기반 디스패리티 벡터 예측 방법
CN106537918B (zh) * 2014-08-12 2019-09-20 英特尔公司 用于视频编码的运动估计的系统和方法
FR3041495B1 (fr) * 2015-09-17 2017-10-20 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
EP3171595A1 (en) * 2015-11-18 2017-05-24 Thomson Licensing Enhanced search strategies for hierarchical motion estimation
WO2017094298A1 (ja) * 2015-12-04 2017-06-08 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
EP3393126A4 (en) * 2016-02-16 2019-04-17 Samsung Electronics Co., Ltd. INTRA PREDICTION METHOD FOR REDUCING INTRA PREDICTION ERRORS AND DEVICE THEREFOR
CN105959705B (zh) * 2016-05-10 2018-11-13 武汉大学 一种面向可穿戴设备的视频直播方法
JP2018032949A (ja) * 2016-08-23 2018-03-01 キヤノン株式会社 動きベクトル検出装置およびその制御方法
CN116320495A (zh) * 2016-11-28 2023-06-23 韩国电子通信研究院 用于滤波的方法和装置
EP3609184A4 (en) * 2017-07-04 2020-04-01 Samsung Electronics Co., Ltd. IMAGE CODING METHOD AND APPARATUS, AND IMAGE DECODING METHOD AND APPARATUS
US10595045B2 (en) * 2017-07-27 2020-03-17 Advanced Micro Devices, Inc. Device and method for compressing panoramic video images
CN116708780A (zh) * 2017-08-11 2023-09-05 华为技术有限公司 视频图像编码和解码的方法、装置及设备
CN111615828B (zh) * 2017-11-29 2023-01-10 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
CN111837394B (zh) * 2018-03-16 2024-01-26 索尼公司 图像处理装置和图像处理方法
WO2019199127A1 (ko) * 2018-04-12 2019-10-17 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10783647B2 (en) * 2018-05-24 2020-09-22 Cisco Technology, Inc. Real-time object tracking
US11412243B2 (en) * 2018-12-07 2022-08-09 Sharp Kabushiki Kaisha Video decoding apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188956A (ja) * 2012-04-16 2017-10-12 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TOMONORI HASHIMOTO EIICHI SASAKI TOMOHIRO IKAI: "CE4: Enhanced Merge with MVD (Test 4.4.4) [online]", JVET-M JVET-M0060, JPN6023022109, 28 December 2018 (2018-12-28), pages 1 - 2, ISSN: 0005074610 *
XU CHEN JIANHUA ZHENG: "CE 4: Extension on MMVD (Test 4.2.5) [online]", JVET-M JVET-M0291, JPN6023022108, 10 January 2019 (2019-01-10), pages 1 - 3, ISSN: 0005074609 *

Also Published As

Publication number Publication date
EP3972257A1 (en) 2022-03-23
US11490113B2 (en) 2022-11-01
JP7381615B2 (ja) 2023-11-15
EP3972257A4 (en) 2022-06-08
US11910003B2 (en) 2024-02-20
US20230007295A1 (en) 2023-01-05
CN113785592A (zh) 2021-12-10
WO2020258039A1 (zh) 2020-12-30
CN114222136A (zh) 2022-03-22
KR20220024020A (ko) 2022-03-03
US20220103857A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
US20220321875A1 (en) Method and device for encoding and decoding intra-frame prediction
JP6595020B2 (ja) マージ候補ブロック誘導方法及びこのような方法を用いる装置
KR102357575B1 (ko) 비디오 이미지 인코딩 및 디코딩 방법, 장치 및 디바이스
CN110383841B (zh) 用于视频编码或解码的方法、编码器、解码器及介质
JP2017069971A (ja) インタ予測方法及びその装置
KR20190014590A (ko) 픽쳐 예측 방법 및 관련 장치
KR20180019688A (ko) 픽처 예측 방법 및 픽처 예측 장치
WO2020258010A1 (zh) 图像编解码方法、编码器、解码器以及存储介质
US20170006285A1 (en) Method and Device for Coding Image and Method and Device for Decoding Image
US20220417553A1 (en) Encoding method and apparatus therefor, and decoding method and apparatus therefor
KR20230025851A (ko) 영상의 부호화/복호화 방법 및 장치
JP2022544156A (ja) ブロックベースの適応分解能管理
US11910003B2 (en) Processing method for motion compensation, encoder and decoder
JP7437426B2 (ja) インター予測方法および装置、機器、記憶媒体
JP2023113887A (ja) 予測デコーディング方法、装置及びコンピュータ記憶媒体
WO2020056767A1 (zh) 视频图像分量的预测方法、装置及计算机存储介质
US20240107059A1 (en) Method and apparatus for decoding video, and method and apparatus for encoding video

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231102

R150 Certificate of patent or registration of utility model

Ref document number: 7381615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150