JP2022535426A - 大域的運動ベクトルに基づく融合候補の並替 - Google Patents

大域的運動ベクトルに基づく融合候補の並替 Download PDF

Info

Publication number
JP2022535426A
JP2022535426A JP2021571975A JP2021571975A JP2022535426A JP 2022535426 A JP2022535426 A JP 2022535426A JP 2021571975 A JP2021571975 A JP 2021571975A JP 2021571975 A JP2021571975 A JP 2021571975A JP 2022535426 A JP2022535426 A JP 2022535426A
Authority
JP
Japan
Prior art keywords
motion vector
motion
decoder
candidate list
vector candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021571975A
Other languages
English (en)
Other versions
JPWO2020247487A5 (ja
Inventor
ボリヴォイェ ファート，
ハリ カルバ，
ヴェリボール アジッチ，
Original Assignee
オーピー ソリューションズ， エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オーピー ソリューションズ， エルエルシー filed Critical オーピー ソリューションズ， エルエルシー
Publication of JP2022535426A publication Critical patent/JP2022535426A/ja
Publication of JPWO2020247487A5 publication Critical patent/JPWO2020247487A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

デコーダは、ビットストリームを受信し、現在のブロックのために、大域的運動ベクトルを特徴付ける運動情報を有する、運動ベクトル候補を含む、運動ベクトル候補リストを構築し、大域的運動ベクトルを特徴付ける運動情報を有する、運動ベクトル候補が、並び替えられた運動ベクトル候補リスト内の第１のものになるように、運動ベクトル候補リストを並び替え、現在のブロックのピクセルデータを再構築し、並び替えられた運動ベクトル候補リストを使用するように構成される、回路網を含む。関連する装置、システム、技法、および物品もまた、説明される。

Description

（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる、２０１９年６月３日に出願され、「ＭＥＲＧＥ ＣＡＮＤＩＤＡＴＥ ＲＥＯＲＤＥＲ ＢＡＳＥＤ ＯＮ ＧＬＯＢＡＬ ＭＯＴＩＯＮ ＶＥＣＴＯＲ」と題された、米国仮特許出願第６２／８５６，３３９号の優先権の利益を主張する。
本発明は、概して、ビデオ圧縮の分野に関する。特に、本発明は、大域的運動ベクトルに基づく融合候補の並替を対象とする。
ビデオコーデックは、デジタルビデオを圧縮または解凍する、電子回路またはソフトウェアを含むことができる。これは、非圧縮ビデオを圧縮フォーマットに転換することができ、逆もまた同様である。ビデオ圧縮の文脈において、ビデオを圧縮する（および／またはそのある機能を実施する）デバイスは、典型的には、エンコーダと呼ばれることができ、ビデオを解凍する（および／またはそのある機能を実施する）デバイスは、デコーダと呼ばれることができる。
圧縮データのフォーマットは、標準的なビデオ圧縮仕様に適合することができる。圧縮は、圧縮されたビデオが元のビデオの中に存在するある情報を欠く点で損失的であり得る。この結果は、解凍されたビデオが、元のビデオを正確に再構築するための不十分な情報が存在するため、元の非圧縮ビデオより低い品質を有し得ることを含み得る。
ビデオ品質と、（例えば、ビットレートによって決定される）ビデオを表すために使用されるデータ量と、エンコーディングアルゴリズムおよびデコーディングアルゴリズムの複雑性と、データ損失および誤差に対する感度と、編成のし易さと、ランダムアクセスと、エンドツーエンド遅延（例えば、待ち時間）と、同等物との間に、複雑な関係が、存在し得る。
運動補償は、ビデオにおけるカメラおよび／またはオブジェクトの運動を考慮することによって、以前および／または将来のフレーム等の基準フレームを前提として、ビデオフレームまたはその一部を予測するためのアプローチを含むことができる。これは、ビデオ圧縮のためのビデオデータのエンコーディングおよびデコーディングにおいて、例えば、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）－２（アドバンスドビデオコーディング（ＡＶＣ）およびＨ．２６４とも称される）規格を使用するエンコーディングおよびデコーディングにおいて採用されることができる。運動補償は、基準ピクチャの現在のピクチャへの変換の観点からピクチャを記述することができる。基準ピクチャは、現在のピクチャと比較したとき、時間的に以前のものである、現在のピクチャと比較したとき、将来からのものであり得る。画像が、以前に伝送および／または記憶された画像から正確に合成され得るとき、圧縮効率が、改良されることができる。
ある側面では、デコーダは、ビットストリームを受信し、現在のブロックのために、大域的運動ベクトルを特徴付ける運動情報を有する、運動ベクトル候補を含む、運動ベクトル候補リストを構築し、大域的運動ベクトルを特徴付ける運動情報を有する、運動ベクトル候補が、並び替えられた運動ベクトル候補リスト内の第１のものになるように、運動ベクトル候補リストを並び替え、現在のブロックのピクセルデータを再構築し、並び替えられた運動ベクトル候補リストを使用するように構成される、回路網を含む。
別の側面では、方法は、デコーダによって、ビットストリームを受信するステップと、現在のブロックのために、大域的運動ベクトルを特徴付ける運動情報を有する、運動ベクトル候補を含む、運動ベクトル候補リストを構築するステップと、大域的運動ベクトルを特徴付ける運動情報を有する、運動ベクトル候補が、並び替えられた運動ベクトル候補リスト内の第１のものになるように、運動ベクトル候補リストを並び替えるステップと、現在のブロックのピクセルデータを再構築し、並び替えられた運動ベクトル候補リストを使用するステップとを含む。
本明細書に説明される主題の１つ以上の変形例の詳細が、付随の図面および下記の説明に記載される。本明細書に説明される主題の他の特徴および利点が、説明および図面から、および請求項から明白となるであろう。
本発明を例証する目的のために、図面は、本発明の１つ以上の実施形態の側面を示す。しかしながら、本発明が、図面に示される精密な配列および手段に限定されないことを理解されたい。
図５は、本主題のいくつかの例示的実装による、プロセスフロー図である。 図６は、本主題のいくつかの例示的実装による、例示的デコーダのシステムブロック図である。 図７は、本主題のいくつかの例示的実装による、プロセスフロー図である。 図８は、本主題のいくつかの例示的実装による、例示的エンコーダのシステムブロック図である。 図１は、大域的運動および局所的運動を伴う例示的フレームの運動ベクトルを図示する、略図である。 図４は、それらのインデックス値（０、１、または２）を含む、大域的運動のために利用され得る、３つの例示的運動モデルを図示する。 図２は、融合モードに対するアプローチにおいて考慮される、空間候補を図示する、ブロック図である。 図３は、融合モードに対するアプローチにおいて考慮される、空間候補および関連付けられる大域的運動ベクトルを図示する、ブロック図である。 図９は、本明細書およびそのいずれか１つ以上の部分に開示される方法論のうちのいずれか１つ以上のものを実装するために使用され得る、コンピューティングシステムのブロック図である。
図面は、必ずしも、縮尺通りではなく、想像線、図式表現、および部分図によって図示され得る。ある事例では、実施形態の理解のためには必要ではない、または他の詳細を知覚困難にする詳細が、省略されている場合がある。種々の図面内の同様の参照記号は、同様の要素を示す。
ビデオにおける大域的運動は、フレーム全体において生じる、運動を指す。大域的運動は、カメラの運動によって引き起こされることができ、例えば、カメラのパンおよび拡大が、典型的には、フレーム全体に影響を及ぼし得る、フレーム内に運動を生成する。ビデオの一部内に存在する運動は、局所的運動と称されることができる。局所的運動は、場面内の移動するオブジェクト、例えば、場面内の左から右に移動するオブジェクトによって、引き起こされることができる。ビデオは、局所的運動と大域的運動との組み合わせを含有し得る。本主題のいくつかの実装は、候補を信号伝達し、運動ベクトル差をコーディングするために必要なビットを低減させることによって圧縮を改良し得る、大域的運動ベクトルに基づく融合候補リストの構築を提供することができる。
図１は、大域的運動および局所的運動を伴う例示的フレーム１００の運動ベクトルを図示する、略図である。フレーム１００は、正方形として図示される、ピクセルのいくつかのブロックと、矢印として図示される、それらの関連付けられる運動ベクトルとを含む。左上を向く矢印を伴う正方形（例えば、ピクセルのブロック）は、大域的運動であると見なされ得る運動を伴うブロックを示し得、（１０４によって示される）他の方向に向く矢印を伴う正方形は、局所的運動を伴うブロックを示し得る。図１の図示される実施例では、ブロックのうちの多くのものが、同一の大域的運動を有する。ピクチャパラメータセット（ＰＰＳ）またはシーケンスパラメータセット（ＳＰＳ）等、ヘッダ内で大域的運動を信号伝達するステップ、および信号大域的運動を使用するステップは、ブロックによって必要とされる運動ベクトル情報を低減させ得、改良された予測をもたらし得る。
実施例として、依然として図１を参照すると、単純な並進運動が、現在のフレーム内でのブロックおよび／またはピクセルの変位量を説明する、２つの成分ＭＶｘ、ＭＶｙを伴う運動ベクトル（ＭＶ）を使用して説明され得る。回転、拡大、およびワーピング等のより複雑な運動は、アフィン運動ベクトルを使用して説明され得、本開示において使用されるような「アフィン運動ベクトル」は、運動の間に見掛け上の形状を変化させることなくビデオ内の視界を横断して移動するオブジェクトを図示するピクセルのセット等、ビデオピクチャおよび／またはピクチャ内に表される、ピクセルまたは点のセットの均一な変位を説明する、ベクトルである。ビデオのエンコーディングおよび／またはデコーディングに対するいくつかのアプローチは、インタピクチャコーディングにおける運動補償のために４パラメータまたは６パラメータアフィンモデルを使用し得る。
例えば、６パラメータアフィン運動は、以下のように説明され得る。
ｘ’＝ａｘ＋ｂｙ＋ｃ
ｙ’＝ｄｘ＋ｅｙ＋ｆ
４パラメータアフィン運動は、以下のように説明され得る。
ｘ’＝ａｘ＋ｂｙ＋ｃ
ｙ’＝－ｂｘ＋ａｙ＋ｆ
式中、（ｘ，ｙ）および（ｘ’，ｙ’）は、それぞれ、現在のピクチャおよび基準ピクチャ内のピクセル場所であり、ａ、ｂ、ｃ、ｄ、ｅ、およびｆは、アフィン運動モデルのパラメータである。
継続して図１を参照すると、ブロックベースおよび／またはサブブロックベースのアフィン変換運動補償予測が、代替として、または加えて、適用されてもよい。ブロックおよび／またはサブブロックのアフィン運動フィールドが、２つの制御点（４パラメータ）または３つの制御点運動ベクトル（６パラメータ）の運動情報によって、説明され得る。４パラメータアフィン運動モデルでは、ブロック内のサンプル場所（ｘ，ｙ）における運動ベクトルが、以下のように導出され得る。
Figure 2022535426000002
６パラメータアフィン運動モデルに関して、ブロック内のサンプル場所（ｘ，ｙ）における運動ベクトルが、以下のように導出され得る。
Figure 2022535426000003
 式中、（ｍｖ０ｘ，ｍｖ０ｙ）は、左上隅の制御点の運動ベクトルであり、（ｍｖ１ｘ，ｍｖ１ｙ）は、右上隅の制御点の運動ベクトルであり、（ｍｖ２ｘ，ｍｖ２ｙ）は、左下隅の制御点の運動ベクトルである。
運動補償予測を単純化するために、ブロックベースのアフィン変換予測が、適用されてもよい。例証的実施例として、各４×４輝度サブブロックの運動ベクトルを導出するために、各サブブロックの中心サンプルの運動ベクトルが、上記の方程式に従って計算され、１／１６の分数正確度に丸められ得る。次いで、運動補償補間フィルタが、適用され、導出された運動ベクトルを伴う各サブブロックの予測を発生させ得る。依然として実施例を継続すると、彩度成分のサブブロックサイズもまた、４×４に設定されてもよい。４×４彩度サブブロックの運動ベクトルは、４つの対応する４×４輝度サブブロックのＭＶの平均として、計算されてもよい。
並進運動インタ予測の場合と同様に、２つのアフィン運動インタ予測モード、すなわち、アフィン融合モードおよびアフィンＡＭＶＰモードも、存在する。依然として図１を参照すると、アフィン運動を説明するために使用されるパラメータは、デコーダにおいてアフィン運動補償を適用するためにデコーダに信号伝達されてもよい。いくつかのアプローチでは、運動パラメータが、明示的に、または並進制御点運動ベクトル（ＣＰＭＶ）を信号伝達し、次いで、並進運動ベクトルからアフィン運動パラメータを導出することによって信号伝達されてもよい。２つの制御点運動ベクトル（ＣＰＭＶ）が、利用され、４パラメータアフィン運動モデルのためのアフィン運動パラメータを導出してもよく、３つの制御点並進運動ベクトル（ＣＰＭＶ）が、利用され、６パラメータ運動モデルのためのパラメータを取得してもよい。制御点運動ベクトルを使用してアフィン運動パラメータを信号伝達するステップは、アフィン運動パラメータを信号伝達するための効率的な運動ベクトルコーディング方法の使用を可能にし得る。
継続して図１を参照すると、いくつかのブロックが、同一の運動ベクトル情報を共有してもよい。例えば、画面を横断して移動するオブジェクトに対応する、２つのブロックが、それらが両方とも、同一のオブジェクトに関するため、同一の運動ベクトルを共有してもよい。そのようなシナリオでは、運動補償に対するいくつかのアプローチが、その中で近隣ブロックが、運動ベクトルを共有し、運動情報が、第１のブロックのためにビットストリーム内にエンコードされることを可能にし得、第２のブロックが、第１のブロックから運動情報を継承（例えば、それと融合）し得る、融合モードを利用してもよい。エンコーディングの間、利用可能な融合候補を含有する、融合リストが、構築されてもよい。融合候補は、構築された融合リストから選択されてもよく、融合リストへのインデックスが、ビットストリーム内で信号伝達されてもよい。デコーディングの間、融合リストは、再び、利用可能な融合候補から構築されてもよく、ビットストリーム内で信号伝達されるインデックスが、現在のブロックが運動情報を継承（例えば、それと融合する）であろうブロックを示すために使用されてもよい。
図２は、ＨＥＶＣのために実装されるもの等、融合モードに対する典型的なアプローチにおいて考慮され得る、空間候補の例示的実施形態を図示する、ブロック図２００である。現在のブロック２０４は、コーディング単位または予測単位を含んでもよい。空間融合候補は、Ａ０と、Ａ１と、Ｂ０と、Ｂ１と、Ｂ２とを含んでもよい。Ａ０、Ａ１、Ｂ０、およびＢ２は、近隣予測および／またはコーディング単位を含んでもよい。融合候補リストを生成するとき、リストは、図２に示されるように、５つの空間近隣ブロックから導出される最大４つの空間融合候補を検討することによって、構築され得る。本実施例では、５つの空間候補の閾値が、課され得る。図２に図示される空間候補を考慮することに加えて、融合リストへの追加のために考慮され得る、付加的な候補は、２つの時間的かつ同じ場所に位置するブロックから導出され得る、１つの時間的融合候補と、組み合わせられた双予測候補と、ゼロ運動ベクトル候補とを含んでもよい。
依然として図２を参照すると、空間融合候補が、それらが利用可能であることを決定するステップに応答して、融合リストに追加されてもよい。四分木＋および二分決定木（ＱＴＢＴ）パーティション化では、近隣ブロックのうちのいくつかは、非対称ブロックであってもよく、したがって、それらは、パーティション（例えば、予測単位）が、類似の運動情報を共有しないため、それらが、非対称的にパーティション化される可能性が高くあり得るため、空間融合候補として考慮されなくてもよい。
上記に記載されるように、かつ継続して図２を参照すると、ビデオコーディングに対するいくつかのアプローチでは、融合候補リストが、以下の候補、すなわち、５つの空間近隣ブロックから導出される、最大４つの空間融合候補、２つの時間的かつ同じ場所に位置するブロックから導出される、１つの時間的融合候補、組み合わせられた双予測候補と、ゼロ運動ベクトル候補とを含む、付加的な融合候補に基づいて構築されてもよい。
依然として図２を参照すると、空間候補のリストを導出するために、（ａ）近隣ブロックが、利用可能でであり、運動情報を含有するかどうかのチェックと、（ｂ）リスト内に冗長運動データを伴う候補を有することを回避するための冗長性チェックとが、存在してもよい。
継続して図２を参照すると、Ｎが、空間融合候補の数であるとき、完全な冗長性チェックは、Ｎ×（Ｎ－１）／２個の運動データ比較から成り得る。５つの潜在的融合候補の場合には、融合リスト内の全ての候補が、異なる運動データを有するように、１０個の運動データ比較が、使用され得る。これは、デコーダの複雑性の向上をもたらし得る。
ビデオコーディングに対するいくつかのアプローチにおいて、依然として図２を参照すると、コーディング効率を改良するために、融合候補リストが、構築された（空間候補場所の処理順序は、Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２である）後、各融合候補の順序が、テンプレート合致コストに従って調節される。テンプレート合致コストは、現在のコーディング単位（ＣＵ）の近隣サンプルとそれらの対応する基準サンプルとの間の差分絶対値和（ＳＡＤ）によって測定されてもよい。例えば、限定ではないが、融合候補は、その融合候補を用いて算出されたＳＡＤの昇順において順序付けられてもよい。テンプレート合致コストを使用して選択される融合候補の数が、限定されてもよい。例えば、５つの最初に発生および／または提供された候補のうちの４つの最も低いコストの候補のセットが、選択されてもよい。
依然として図２を参照すると、本主題のいくつかの実装はさらに、大域的運動ベクトルを使用して融合候補を並び替えることによって、コーディング効率を改良し得る。本開示において使用されるようなビデオ内の大域的運動は、フレーム全体において生じる、運動を指す。大域的運動は、典型的には、フレーム全体に影響を及ぼす、カメラのパンおよび拡大等の、カメラの運動によって引き起こされ得る。
依然として図２を参照すると、本主題のいくつかの実装は、デコーダに信号伝達される運動ベクトルに基づいて、融合候補リストを生成し得る。大域的運動が、信号伝達される場合、そのような大域的運動は、フレーム内の多くのブロックに共通であることが予期され得る。例えば、図３に例示目的のために図示されるように、５つの空間融合候補のうちの３つ（Ｂ１、Ｂ２、およびＡ１）が、大域的運動に基づいて信号伝達されてもよい。信号伝達するステップに基づいて、デコーダにおいて、デコーダは、以下の融合候補のリストを作成してもよい。それらは、大域的運動候補が、表１に示されるようなリスト内の第１のものになるような方法において順序付けられる。
Figure 2022535426000004
依然として図２を参照すると、ブロックは、大域的運動に類似する運動を有する可能性が高いため、大域的運動ベクトルがリスト内の第１の候補になるようにリストを修正することは、予測候補を信号伝達し、運動ベクトル差をエンコードするために必要なビットを低減させ得る。そのような方法では、運動ベクトルコーディングが、改良され得、ビットレートが、低減され得、これは、圧縮効率を改良するであろう。
いくつかの実装では、継続して図２を参照すると、大域的運動の信号伝達は、ＰＰＳまたはＳＰＳ等のヘッダ内に含まれてもよい。大域的運動は、ピクチャ間で変動し得る。ピクチャヘッダ内で信号伝達される運動ベクトルは、以前にデコードされたフレームに対する運動を説明し得る。いくつかの実装では、大域的運動は、並進またはアフィンであってもよい。パラメータの数、モデルがアフィン、並進、または同等物であるかどうか等、使用される運動モードもまた、ピクチャヘッダ内で信号伝達されてもよい。図４は、それらのインデックス値（０、１、または２）を含む、大域的運動のために利用され得る、運動モデル６００の３つの例示的実施形態を図示する。
依然として図４を参照すると、並進ＣＰＭＶが、ＰＰＳ内で信号伝達されてもよい。制御点が、事前定義されてもよい。例えば、制御点ＭＶ ０が、ピクチャの左上隅に対するものであってもよく、ＭＶ １が、右上隅に対するものであってもよく、ＭＶ ３が、ピクチャの左下隅に対するものであってもよい。
継続して図４を参照すると、大域的運動は、以前にコーディングされたフレームに対するものであってもよい。大域的運動パラメータの１つのみのセットが、存在するとき、運動は、現在のフレームの直前に提示されるフレームに対するものであることができる。
図５は、大域的運動ベクトルに基づく融合候補の並替のプロセス５００の例示的実施形態を図示する、プロセスフロー図である。
ステップ５０５において、依然として図５を参照すると、現在のブロックを含む、ビットストリームが、デコーダによって受信される。現在のブロックは、デコーダが受信するビットストリーム内に含有されてもよい。ビットストリームは、例えば、データ圧縮を使用するときのデコーダへの入力である、ビットのストリーム内に見出されるデータを含んでもよい。ビットストリームは、ビデオをデコードするために必要な情報を含んでもよい。受信するステップは、ビットストリームからブロックおよび関連付けられる信号伝達情報を抽出および／または解析するステップを含んでもよい。いくつかの実装では、現在のブロックは、コーディング木単位（ＣＴＵ）、コーディング単位（ＣＵ）、または予測単位（ＰＵ）を含んでもよい。
ステップ５１０において、さらに図５を参照すると、大域的運動ベクトルを特徴付ける運動情報を有する、運動ベクトル候補を含む、運動ベクトル候補リストが、現在のブロックのために構築され得る。大域的運動ベクトルは、ビットストリームのヘッダによって特徴付けられてもよく、ヘッダは、ピクチャパラメータセット（ＰＰＳ）および／またはシーケンスパラメータセット（ＳＰＳ）を含む。
ステップ５１５において、継続して図５を参照すると、運動ベクトル候補リストが、大域的運動ベクトルを特徴付ける運動情報を有する運動ベクトル候補が、並び替えられた運動ベクトル候補リスト内の第１のものになるように、並び替えられる。並び替えるステップは、第１の大域的運動ベクトル候補を融合候補リストの中に挿入するステップを含んでもよい。いくつかの実装では、運動ベクトル候補リストの構築は、並び替えるステップを含んでもよい。
ステップ５２０において、さらに図５を参照すると、現在のブロックのピクセルデータが、並び替えられた運動ベクトル候補リストを使用して再構築されてもよい。
依然として図５を参照すると、いくつかの実装では、デコーダは、大域的運動が、現在のブロックを含む現在のフレームのために示されることを決定するように構成されてもよい。大域的運動ベクトルは、制御点運動ベクトルを含んでもよい。制御点運動ベクトルは、並進運動ベクトルを含んでもよい。制御点運動ベクトルは、４パラメータアフィン運動モデルまたは６パラメータアフィン運動モデルのベクトルを含んでもよい。
図６は、大域的運動ベクトルに基づく融合候補の並替を用いてビットストリームをデコードすることが可能である、例示的デコーダ６００を図示する、システムブロック図である。デコーダ６００は、エントロピデコーダプロセッサ６０４、逆量子化および逆変換プロセッサ６０８、デブロッキングフィルタ６１２、フレームバッファ６１６、運動補償プロセッサ６２０、および／またはイントラ予測プロセッサ６２４を含んでもよい。
動作時、依然として図６を参照すると、ビットストリーム６２８が、デコーダ６００によって受信され、エントロピデコーダプロセッサ６０４に入力されてもよく、これは、ビットストリームの一部を量子化された係数にエントロピデコードし得る。量子化された係数は、逆量子化および逆変換プロセッサ６０８に提供されてもよく、これは、逆量子化および逆変換を実施し、残差信号を生成してもよく、これは、処理モードに従って、運動補償プロセッサ６２０またはイントラ予測プロセッサ６２４の出力に追加されてもよい。運動補償プロセッサ６２０およびイントラ予測プロセッサ６２４の出力は、以前にデコードされたブロックに基づくブロック予測を含んでもよい。予測および残差の合計が、デブロッキングフィルタ６１２によって処理され、フレームバッファ６１６内に記憶されてもよい。
図７は、エンコーディングの複雑性を低減させながら、圧縮効率を向上させ得る、本主題のいくつかの側面による、大域的運動ベクトルに基づく融合候補の並替を用いてビデオをエンコードするステップのプロセス７００の例示的実施形態を図示する、プロセスフロー図である。ステップ７０５において、ビデオフレームが、例えば、ピクチャフレームをＣＴＵおよびＣＵにパーティション化するステップを含み得る、木構造化マクロブロックパーティション化スキームを使用する、初期ブロックセグメント化を受けてもよい。
ステップ７１０において、候補リストが、決定され得る。候補リストは、現在のブロックのための大域的運動に基づき得る。候補リストは、大域的運動ベクトルを特徴付ける運動情報を有する、運動ベクトル候補を含んでもよい。運動ベクトル候補リストは、大域的運動ベクトルを特徴付ける運動情報を有する運動ベクトル候補が、並び替えられた運動ベクトル候補リスト内の第１のものになるように、並び替えられてもよい。並び替えるステップは、第１の大域的運動ベクトル候補を融合候補リストの中に挿入するステップを含んでもよい。いくつかの実装では、運動ベクトル候補リストの構築は、並び替えるステップを含んでもよい。
ステップ７１５において、ブロックが、エンコードされ、ビットストリーム内に含まれてもよい。エンコーディングは、非限定的な実施例として、インタ予測およびイントラ予測モードを利用するステップを含んでもよい。より具体的には、並び替えられた候補リストの中へのインデックスが、デコーダによる使用のために、ビットストリームの中に含まれる、および／またはエンコードされてもよい。
図８は、大域的運動ベクトルに基づく融合候補の並替を用いてビデオをエンコードすることが可能である、例示的ビデオエンコーダ８００を図示する、システムブロック図である。例示的ビデオエンコーダ８００は、入力ビデオ８０４を受信してもよく、これは、最初に、木構造化マクロブロックパーティション化スキーム（例えば、四分木＋二分木）等の処理スキームに従って、セグメント化または分割されてもよい。木構造化マクロブロックパーティション化スキームの実施例は、ピクチャフレームをコーディング木単位（ＣＴＵ）と呼ばれる大きいブロック要素にパーティション化するステップを含んでもよい。いくつかの実装では、各ＣＴＵは、コーディング単位（ＣＵ）と呼ばれる、いくつかのサブブロックに１回以上の回数だけさらにパーティション化されてもよい。本パーティション化の最終結果は、予測単位（ＰＵ）と呼ばれ得る、サブブロックの群を含んでもよい。変換単位（ＴＵ）もまた、利用されてもよい。
依然として図８を参照すると、例示的ビデオエンコーダ８００は、イントラ予測プロセッサ８０８、大域的運動ベクトル候補を運動ベクトル候補リストに追加することを含め、運動ベクトル候補リストを構築することが可能である、インタ予測プロセッサとも称され得る、運動推定／補償プロセッサ８１２、変換／量子化プロセッサ８１６、逆量子化／逆変換プロセッサ８２０、ループ内フィルタ８２４、デコード済ピクチャバッファ８２８、および／またはエントロピコーディングプロセッサ８３２を含んでもよい。ビットストリームパラメータが、出力されたビットストリーム８３６内での包含のために、エントロピコーディングプロセッサ８３２に入力されてもよい。
動作時、継続して図８を参照すると、入力ビデオ８０４のフレームのブロック毎に、イントラピクチャ予測を介して、または運動推定／補償を使用して、ブロックを処理するかどうかが、決定されてもよい。ブロックは、イントラ予測プロセッサ８０８または運動推定／補償プロセッサ８１２に提供されてもよい。ブロックが、イントラ予測を介して処理されるべきである場合、イントラ予測プロセッサ８０８が、処理を実施し、予測因子を出力してもよい。ブロックが、運動推定／補償を介して処理されるべきである場合、運動推定／補償プロセッサ８１２が、適用可能である場合、大域的運動ベクトル候補を運動ベクトル候補リストに追加することを含め、運動ベクトル候補リストを構築するステップを含む、処理を実施してもよい。
さらに図８を参照すると、残差が、入力ビデオから予測因子を減算することによって形成されてもよい。残差は、変換／量子化プロセッサ８１６によって受信されてもよく、これは、変換処理（例えば、離散コサイン変換（ＤＣＴ））を実施し、量子化され得る、係数を生産してもよい。量子化された係数および任意の関連付けられる信号伝達情報が、出力ビットストリーム８３６内でのエントロピエンコーディングおよび包含のために、エントロピコーディングプロセッサ８３２に提供されてもよい。エントロピエンコーディングプロセッサ８３２は、現在のブロックをエンコードするステップに関連する信号伝達情報のエンコーディングを支援してもよい。加えて、量子化された係数は、予測因子と組み合わせられ、ループ内フィルタ８２４によって処理され得るピクセルを再現し得る、逆量子化／逆変換プロセッサ８２０に提供されてもよく、その出力は、大域的運動ベクトル候補を運動ベクトル候補リストに追加することを含め、運動ベクトル候補リストを構築することが可能である、運動推定／補償プロセッサ８１２による使用のために、デコード済ピクチャバッファ８２８内に記憶されてもよい。
継続して図８を参照すると、いくつかの変形例が、上記に詳細に説明されているが、他の修正または追加も、可能性として考えられる。例えば、いくつかの実装では、現在のブロックは、任意の対称ブロック（８×８、１６×１６、３２×３２、６４×６４、１２８×１２８、および同等物）および任意の非対称ブロック（８×４、１６×８、および同等物）を含んでもよい。
いくつかの実装では、依然として図８を参照すると、四分木＋二分決定木（ＱＴＢＴ）が、実装されてもよい。ＱＴＢＴでは、コーディング木単位レベルにおいて、ＱＴＢＴのパーティションパラメータが、いかなるオーバーヘッドも伝送することなく、ローカル特性に適合するように動的に導出されてもよい。続いて、コーディング単位レベルにおいて、ジョイント分類子決定木構造が、不必要な反復を排除し、誤った予測のリスクを制御してもよい。いくつかの実装では、ＬＴＲフレームブロック更新モードが、ＱＴＢＴの葉ノード毎の利用可能な付加的選択肢として、利用可能であってもよい。
いくつかの実装では、依然として図８を参照すると、付加的な構文要素が、ビットストリームの異なる階層レベルにおいて信号伝達されてもよい。例えば、フラグが、シーケンスパラメータセット（ＳＰＳ）内にコーディングされるイネーブルにされたフラグを含むことによって、シーケンス全体にわたってイネーブルにされてもよい。さらに、ＣＴＵフラグが、コーディング木単位（ＣＴＵ）レベルにおいてコーディングされてもよい。
本明細書に説明される側面および実施形態のうちの任意の１つ以上のものが、コンピュータ技術分野の当業者に明白となるであろうように、本明細書の教示に従ってプログラムされる、１つ以上の機械（例えば、電子文書のためのユーザコンピューティングデバイス、文書サーバ等の１つ以上のサーバデバイス等として利用される、１つ以上のコンピューティングデバイス）内に実現および／または実装されるような、デジタル電子回路網、集積回路網、特別に設計された特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせを使用して、便宜的に実装され得ることに留意されたい。これらの種々の側面または特徴は、データおよび命令を、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスから受信し、データおよび命令をそれらに伝送するように結合される、特殊目的または汎用目的であり得る、少なくとも１つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能および／または解釈可能である、１つ以上のコンピュータプログラムおよび／またはソフトウェア内での実装を含んでもよい。適切なソフトウェアコーディングが、ソフトウェア技術分野の当業者に明白となるであろうように、本開示の教示に基づいて、熟練したプログラマによって容易に調製され得る。ソフトウェアおよび／またはソフトウェアモジュールを採用する、上記に議論される側面および実装もまた、ソフトウェアおよび／またはソフトウェアモジュールの機械実行可能命令の実装を補助するために適切なハードウェアを含んでもよい。
そのようなソフトウェアは、機械可読記憶媒体を採用する、コンピュータプログラム製品であってもよい。機械可読記憶媒体は、機械（例えば、コンピューティングデバイス）による実行のための命令のシーケンスを記憶および／またはエンコードすることが可能であり、機械に本明細書に説明される方法論および／または実施形態のいずれか１つを実施させる、任意の媒体であってもよい。機械可読記憶媒体の実施例は、限定ではないが、磁気ディスク、光ディスク（例えば、ＣＤ、ＣＤ－Ｒ、ＤＶＤ、ＤＶＤ－Ｒ等）、光磁気ディスク、読取専用メモリ「ＲＯＭ」デバイス、ランダムアクセスメモリ「ＲＡＭ」デバイス、磁気カード、光学カード、ソリッドステートメモリデバイス、ＥＰＲＯＭ、ＥＥＰＲＯＭ、プログラマブル論理デバイス（ＰＬＤ）、および／またはそれらの任意の組み合わせを含む。機械可読媒体は、本明細書で使用されるように、単一の媒体、および、例えば、コンピュータメモリとの組み合わせにおける、コンパクトディスクまたは１つ以上のハードディスクドライブの集合等の、物理的に別個の媒体の集合を含むことを意図する。本明細書で使用されるように、機械可読記憶媒体は、信号伝送の一過性形態を含まない。
そのようなソフトウェアはまた、搬送波等のデータキャリア上のデータ信号として搬送される情報（例えば、データ）を含んでもよい。例えば、機械実行可能情報は、信号が、機械（例えば、コンピューティングデバイス）による実行のために命令のシーケンスまたはその一部をエンコードする、データキャリアの中に具現化されるデータ搬送信号、および機械に本明細書に説明される方法論および／または実施形態のいずれか１つを実施させる、任意の関連する情報（例えば、データ構造およびデータ）として含まれてもよい。
コンピューティングデバイスの実施例は、限定ではないが、電子書籍読取デバイス、コンピュータワークステーション、端末コンピュータ、サーバコンピュータ、ハンドヘルドデバイス（例えば、タブレット型コンピュータ、スマートフォン等）、ウェブ装置、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、その機械およびそれらの任意の組み合わせによってとられるべきアクションを規定する命令のシーケンスを実行することが可能である、任意の機械を含む。一実施例では、コンピューティングデバイスは、キオスクを含む、および／またはその中に含まれてもよい。
図９は、制御システムに本開示の側面および／または方法論のうちのいずれか１つ以上のものを実施させるための命令のセットが実行され得る、コンピュータシステム９００の例示的形態におけるコンピューティングデバイスの一実施形態の図式表現を示す。また、複数のコンピューティングデバイスが、本デバイスのうちの１つ以上のものに、本開示の側面および／または方法論のうちのいずれか１つ以上のものを実施させるための命令の特別に構成されるセットを実装するために利用され得ることも、想定される。コンピュータシステム９００は、バス９１２を介して相互および他のコンポーネントと通信する、プロセッサ９０４と、メモリ９０８とを含む。バス９１２は、限定ではないが、種々のバスアーキテクチャのうちのいずれかを使用する、メモリバス、メモリコントローラ、周辺機器用バス、ローカルバス、およびそれらの任意の組み合わせを含む、いくつかのタイプのバス構造のうちのいずれかを含んでもよい。
メモリ９０８は、限定ではないが、ランダムアクセスメモリコンポーネント、読取専用コンポーネント、およびそれらの任意の組み合わせを含む、種々のコンポーネント（例えば、機械可読媒体）を含んでもよい。一実施例では、始動の間等にコンピュータシステム９００内の要素の間で情報を転送することに役立つ基本ルーチンを含む、基本入力／出力システム９１６（ＢＩＯＳ）が、メモリ９０８内に記憶されてもよい。メモリ９０８はまた、本開示の側面および／または方法論のうちのいずれか１つ以上のものを具現化する、命令（例えば、ソフトウェア）９２０を含んで（例えば、１つ以上の機械可読媒体上に記憶されて）もよい。別の実施例では、メモリ９０８はさらに、限定ではないが、オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、プログラムデータ、およびそれらの任意の組み合わせを含む、任意の数のプログラムモジュールを含んでもよい。
コンピュータシステム９００はまた、記憶デバイス９２４を含んでもよい。記憶デバイス（例えば、記憶デバイス９２４）の実施例は、限定ではないが、ハードディスクドライブ、磁気ディスクドライブ、光学媒体との組み合わせにおける、光ディスクドライブ、ソリッドステートメモリデバイス、およびそれらの任意の組み合わせを含む。記憶デバイス９２４は、適切なインターフェース（図示せず）によってバス９１２に接続されてもよい。例示的インターフェースは、限定ではないが、ＳＣＳＩ、アドバンスト・テクノロジー・アタッチメント（ＡＴＡ）、シリアルＡＴＡ、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ １３９４（ＦＩＲＥＷＩＲＥ（登録商標））、およびそれらの任意の組み合わせを含む。一実施例では、記憶デバイス９２４（または１つ以上のそのコンポーネント）は、（例えば、外部ポートコネクタ（図示せず）を介して）コンピュータシステム９００と除去可能にインターフェースをとられてもよい。特に、記憶デバイス９２４および関連付けられる機械可読媒体９２８は、コンピュータシステム９００のための機械可読命令、データ構造、プログラムモジュール、および／または他のデータの不揮発性および／または揮発性記憶装置を提供してもよい。一実施例では、ソフトウェア９２０は、完全または部分的に、機械可読媒体９２８内に常駐してもよい。別の実施例では、ソフトウェア９２０は、完全または部分的に、プロセッサ９０４内に常駐してもよい。
コンピュータシステム９００はまた、入力デバイス９３２を含んでもよい。一実施例では、コンピュータシステム９００のユーザが、入力デバイス９３２を介してコンピュータシステム９００の中にコマンドおよび／または他の情報を打ち込んでもよい。入力デバイス９３２の実施例は、限定ではないが、英数字入力デバイス（例えば、キーボード）、ポインティングデバイス、ジョイスティック、ゲームパッド、オーディオ入力デバイス（例えば、マイクロホン、音声応答システム等）、カーソル制御デバイス（例えば、マウス）、タッチパッド、光学スキャナ、ビデオ捕捉デバイス（例えば、静止カメラ、ビデオカメラ）、タッチスクリーン、およびそれらの任意の組み合わせを含む。入力デバイス９３２は、限定ではないが、シリアルインターフェース、パラレルインターフェース、ゲームポート、ＵＳＢインターフェース、ＦＩＲＥＷＩＲＥ（登録商標）インターフェース、バス９１２への直接的インターフェース、およびそれらの任意の組み合わせを含む、種々のインターフェース（図示せず）のうちのいずれかを介して、バス９１２にインターフェースをとられてもよい。入力デバイス９３２は、さらに下記に議論される、ディスプレイ９３６の一部である、またはそれと別個であり得る、タッチスクリーンインターフェースを含んでもよい。入力デバイス９３２は、上記に説明されるようなグラフィカルインターフェース内で１つ以上のグラフィック表現を選択するための、ユーザ選択デバイスとして利用されてもよい。
ユーザはまた、記憶デバイス９２４（例えば、リムーバブルディスクドライブ、フラッシュドライブ等）および／またはネットワークインターフェースデバイス９４０を介してコマンドおよび／または他の情報をコンピュータシステム９００に入力してもよい。ネットワークインターフェースデバイス９４０等のネットワークインターフェースデバイスは、ネットワーク９４４等の種々のネットワークのうちの１つ以上のもの、およびそれに接続される１つ以上の遠隔デバイス９４８にコンピュータシステム９００を接続するために利用されてもよい。ネットワークインターフェースデバイスの実施例は、限定ではないが、ネットワークインターフェースカード（例えば、モバイルネットワークインターフェースカード、ＬＡＮカード）、モデム、およびそれらの任意の組み合わせを含む。ネットワークの実施例は、限定ではないが、広域ネットワーク（例えば、インターネット、企業ネットワーク）、ローカルエリアネットワーク（例えば、オフィス、ビル、キャンパス、または他の比較的に小さい地理的空間と関連付けられるネットワーク）、電話ネットワーク、電話／音声プロバイダと関連付けられるデータネットワーク（例えば、モバイル通信プロバイダのデータおよび／または音声ネットワーク）、２つのコンピューティングデバイス間の直接的接続、およびそれらの任意の組み合わせを含む。ネットワーク９４４等のネットワークは、通信の有線モードおよび／または無線モードを採用してもよい。一般に、いかなるネットワークトポロジも、使用され得る。情報（例えば、データ、ソフトウェア９２０等）が、ネットワークインターフェースデバイス９４０を介してコンピュータシステム９００に、および／またはそれから通信されてもよい。
コンピュータシステム９００はさらに、ディスプレイデバイス９３６等のディスプレイデバイスに表示可能な画像を通信するための、ビデオディスプレイアダプタ９５２を含んでもよい。ディスプレイデバイスの実施例は、限定ではないが、液晶ディスプレイ（ＬＣＤ）、陰極線管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、およびそれらの任意の組み合わせを含む。ディスプレイアダプタ９５２およびディスプレイデバイス９３６は、プロセッサ９０４との組み合わせにおいて利用され、本開示の側面のグラフィック表現を提供してもよい。ディスプレイデバイスに加えて、コンピュータシステム９００は、限定ではないが、オーディオスピーカ、プリンタ、およびそれらの任意の組み合わせを含む、１つ以上の他の周辺出力デバイスを含んでもよい。そのような周辺出力デバイスは、周辺インターフェース９５６を介してバス９１２に接続されてもよい。周辺インターフェースの実施例は、限定ではないが、シリアルポート、ＵＳＢ接続、ＦＩＲＥＷＩＲＥ（登録商標）接続、パラレル接続、およびそれらの任意の組み合わせを含む。
前述は、本発明の例証的実施形態の詳細な説明である。種々の修正および追加が、本発明の精神および範囲から逸脱することなく成され得る。上記に説明される種々の実施形態のそれぞれの特徴が、関連付けられる新しい実施形態における複数の特徴の組み合わせを提供するために、適宜、他の説明される実施形態の特徴と組み合わせられ得る。さらに、前述は、いくつかの別個の実施形態を説明するが、本明細書に説明されているものは、本発明の原理の適用を例証するにすぎない。加えて、本明細書における特定の方法は、具体的な順序で実施されているものとして例証および／または説明され得るが、順序は、本明細書に開示されるような実施形態を達成するために、当業者間で非常に変動し易い。故に、本説明は、実施例のみとして捉えられることを意図し、別様に本発明の範囲を限定するようには意図していない。
上記の説明において、および請求項において、「～のうちの少なくとも１つ」または「～のうちの１つ以上のもの」等の語句が、生じ、要素または特徴の接続的列挙が後に続き得る。用語「および／または」もまた、２つ以上の要素または特徴の列挙内に生じ得る。そのような語句が使用される文脈によって別様に暗示的または明示的に矛盾しない限り、これは、個々に列挙される要素または特徴のいずれか、または他の引用される要素または特徴のいずれかとの組み合わせにおいて引用される要素または特徴のいずれかを意味することを意図している。例えば、語句「ＡおよびＢのうちの少なくとも１つ」、「ＡおよびＢのうちの１つ以上のもの」、および「Ａおよび／またはＢ」は、それぞれ、「Ａを単独で、Ｂを単独で、またはＡおよびＢをともに」を意味することを意図している。類似の解釈がまた、３つ以上のアイテムを含む列挙に関しても意図される。例えば、語句「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、およびＣのうちの１つ以上のもの」、および「Ａ、Ｂ、および／またはＣ」はそれぞれ、「Ａを単独で、Ｂを単独で、Ｃを単独で、ＡおよびＢをともに、ＡおよびＣをともに、ＢおよびＣをともに、またはＡおよびＢおよびＣをともに」を意味することを意図する。加えて、上記における、および請求項内での用語「～に基づいて」の使用は、引用されていない特徴または要素もまた、許容可能であるように、「少なくとも、～に基づいて」を意味することを意図する。
本明細書に説明される主題は、所望の構成に応じて、システム、装置、方法、および／または物品において具現化されることができる。前述の説明に記載される実装は、本明細書に説明される主題に一貫した全実装を表すわけではない。代わりに、それらは、説明される主題に関連する側面に一貫するいくつかの実施例にすぎない。いくつかの変形例が、上記で詳細に説明されているが、他の修正または追加も、可能性として考えられる。特に、さらなる特徴および／または変形例が、本明細書に記載されるものに加えて、提供されることができる。例えば、上記で説明される実装は、開示される特徴の種々の組み合わせおよび副次的組み合わせおよび／または上記に開示される、いくつかのさらなる特徴の組み合わせおよび副次的組み合わせを対象とすることができる。加えて、付随の図に描写される、および／または本明細書に説明される論理フローは、望ましい結果を達成するために、必ずしも、示される特定の順序または順次順序を要求しない。他の実装も、以下の請求項の範囲内にあり得る。

Claims (28)

  1. デコーダであって、前記デコーダは、回路網を備え、
    前記回路網は、
    ビットストリームを受信することと、
    現在のブロックのために、大域的運動ベクトルを特徴付ける運動情報を有する運動ベクトル候補を含む運動ベクトル候補リストを構築することと、
    前記大域的運動ベクトルを特徴付ける前記運動情報を有する前記運動ベクトル候補が、並び替えられた運動ベクトル候補リスト内の第１のものになるように、前記運動ベクトル候補リストを並び替えることと、
    前記現在のブロックのピクセルデータを再構築し、前記並び替えられた運動ベクトル候補リストを使用することと
    を行うように構成される、デコーダ。
  2. 大域的運動を決定するように構成される前記デコーダは、前記現在のブロックを含む現在のフレームのために示される、請求項１に記載のデコーダ。
  3. 前記並び替えることは、第１の大域的運動ベクトル候補を融合候補リストの中に挿入することを含む、請求項１に記載のデコーダ。
  4. 前記運動ベクトル候補リストの構築は、前記並び替えることを含む、請求項１に記載のデコーダ。
  5. 前記大域的運動ベクトルは、制御点運動ベクトルを含む、請求項１に記載のデコーダ。
  6. 前記制御点運動ベクトルは、並進運動ベクトルである、請求項５に記載のデコーダ。
  7. 前記制御点運動ベクトルは、４パラメータアフィン運動モデルのベクトルである、請求項５に記載のデコーダ。
  8. 前記制御点運動ベクトルは、６パラメータアフィン運動モデルのベクトルである、請求項５に記載のデコーダ。
  9. 決定器は、
    エントロピデコーダプロセッサであって、前記エントロピデコーダプロセッサは、前記ビットストリームを受信し、前記ビットストリームを量子化された係数にデコードするように構成される、エントロピデコーダプロセッサと、
    逆量子化および逆変換プロセッサであって、前記逆量子化および逆変換プロセッサは、逆離散コサインを実施することを含む前記量子化された係数を処理するように構成される、逆量子化および逆変換プロセッサと、
    デブロッキングフィルタと、
    フレームバッファと、
    イントラ予測プロセッサと
    をさらに備える、請求項１に記載のデコーダ。
  10. 前記現在のブロックは、四分木＋二分決定木の一部を形成する、請求項１に記載のデコーダ。
  11. 前記現在のブロックは、コーディング木単位である、請求項１に記載のデコーダ。
  12. 前記現在のブロックは、コーディング単位である、請求項１に記載のデコーダ。
  13. 前記現在のブロックは、予測単位である、請求項１に記載のデコーダ。
  14. 方法であって、
    デコーダによって、ビットストリームを受信することと、
    現在のブロックのために、大域的運動ベクトルを特徴付ける運動情報を有する運動ベクトル候補を含む運動ベクトル候補リストを構築することと、
    前記大域的運動ベクトルを特徴付ける前記運動情報を有する前記運動ベクトル候補が、並び替えられた運動ベクトル候補リスト内の第１のものになるように、前記運動ベクトル候補リストを並び替えることと、
    前記現在のブロックのピクセルデータを再構築し、前記並び替えられた運動ベクトル候補リストを使用することと
    を含む、方法。
  15. 大域的運動を決定するように構成される前記デコーダは、前記現在のブロックを含む現在のフレームのために示される、請求項１４に記載の方法。
  16. 前記並び替えることは、第１の大域的運動ベクトル候補を前記融合候補リストの中に挿入することを含む、請求項１４に記載の方法。
  17. 前記運動ベクトル候補リストの構築は、前記並び替えることを含む、請求項１４に記載の方法。
  18. 前記大域的運動ベクトルは、制御点運動ベクトルを含む、請求項１４に記載の方法。
  19. 前記制御点運動ベクトルは、並進運動ベクトルである、請求項１８に記載の方法。
  20. 前記制御点運動ベクトルは、４パラメータアフィン運動モデルのベクトルである、請求項１８に記載の方法。
  21. 前記制御点運動ベクトルは、６パラメータアフィン運動モデルのベクトルである、請求項１８に記載の方法。
  22. 前記デコーダは、
    エントロピデコーダプロセッサであって、前記エントロピデコーダプロセッサは、前記ビットストリームを受信し、前記ビットストリームを量子化された係数にデコードするように構成される、エントロピデコーダプロセッサと、
    逆量子化および逆変換プロセッサであって、前記逆量子化および逆変換プロセッサは、逆離散コサインを実施することを含む前記量子化された係数を処理するように構成される、逆量子化および逆変換プロセッサと、
    デブロッキングフィルタと、
    フレームバッファと、
    イントラ予測プロセッサと
    をさらに備える、請求項１４に記載の方法。
  23. 前記現在のブロックは、四分木＋二分決定木の一部を形成する、請求項１４に記載の方法。
  24. 前記現在のブロックは、コーディング木単位である、請求項１４に記載の方法。
  25. 前記現在のブロックは、コーディング単位である、請求項１４に記載の方法。
  26. 前記現在のブロックは、予測単位である、請求項１４に記載の方法。
  27. 前記大域的運動ベクトルは、前記ビットストリームのヘッダによって特徴付けられ、前記ヘッダは、ピクチャパラメータセット（ＰＰＳ）またはシーケンスパラメータセット（ＳＰＳ）を含む、請求項１４に記載の方法。
  28. 前記運動ベクトル候補リストは、融合ベクトル候補リストである、請求項１４に記載の方法。
JP2021571975A 2019-06-03 2020-06-03 大域的運動ベクトルに基づく融合候補の並替 Pending JP2022535426A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962856339P 2019-06-03 2019-06-03
US62/856,339 2019-06-03
PCT/US2020/035910 WO2020247487A1 (en) 2019-06-03 2020-06-03 Merge candidate reorder based on global motion vector cross-reference to related applications

Publications (2)

Publication Number Publication Date
JP2022535426A true JP2022535426A (ja) 2022-08-08
JPWO2020247487A5 JPWO2020247487A5 (ja) 2023-06-09

Family

ID=73652917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021571975A Pending JP2022535426A (ja) 2019-06-03 2020-06-03 大域的運動ベクトルに基づく融合候補の並替

Country Status (8)

Country Link
US (2) US11451810B2 (ja)
EP (1) EP3977739A4 (ja)
JP (1) JP2022535426A (ja)
KR (1) KR20220016266A (ja)
CN (1) CN114175656A (ja)
BR (1) BR112021024486A2 (ja)
MX (1) MX2021014895A (ja)
WO (1) WO2020247487A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185935A1 (en) * 2022-03-29 2023-10-05 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023194603A1 (en) * 2022-04-08 2023-10-12 Interdigital Ce Patent Holdings, Sas Motion information candidates re-ordering
WO2023208220A1 (en) * 2022-04-29 2023-11-02 Mediatek Inc. Method and apparatus for reordering candidates of merge with mvd mode in video coding systems
WO2024000581A1 (zh) * 2022-07-01 2024-01-04 Oppo广东移动通信有限公司 排序方法、解码方法、编码方法、装置、解码器和编码器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070025444A1 (en) * 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
CN108886619A (zh) 2016-01-07 2018-11-23 联发科技股份有限公司 用于视频编解码系统的仿射合并模式预测的方法及装置
FI20165257L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
WO2020219945A1 (en) * 2019-04-25 2020-10-29 Op Solutions, Llc Adaptive motion vector prediction candidates in frames with global motion
KR20210153128A (ko) * 2019-04-25 2021-12-16 오피 솔루션즈, 엘엘씨 인터 예측에서의 병합 모드 후보들에 대한 글로벌 모션
EP3959888A4 (en) * 2019-04-25 2022-07-20 OP Solutions, LLC SELECTIVE MOTION VECTOR PREDICTION CANDIDATES IN GLOBAL MOTION FRAMEWORK

Also Published As

Publication number Publication date
KR20220016266A (ko) 2022-02-08
US20200396476A1 (en) 2020-12-17
WO2020247487A1 (en) 2020-12-10
CN114175656A (zh) 2022-03-11
EP3977739A4 (en) 2022-07-20
EP3977739A1 (en) 2022-04-06
US20230007288A1 (en) 2023-01-05
BR112021024486A2 (pt) 2022-01-18
US11451810B2 (en) 2022-09-20
MX2021014895A (es) 2022-01-18

Similar Documents

Publication Publication Date Title
JP7448975B2 (ja) インタ予測における大域的運動制約運動ベクトル
JP7428405B2 (ja) インタ予測における融合モード候補のための大域的運動
JP2022535426A (ja) 大域的運動ベクトルに基づく融合候補の並替
JP7466960B2 (ja) 大域的運動ベクトルの効率的なコーディング
JP7323220B2 (ja) 大域的運動を伴うフレームにおける候補
JP7321583B2 (ja) ピクチャヘッダ内の大域的運動ベクトルの信号伝達
JP2023101782A (ja) 非直線の非長方形分割を用いた幾何学的分割におけるインター予測
JP2023093765A (ja) 大域的運動を伴うフレームにおける選択的運動ベクトル予測候補
JP2023105073A (ja) 大域的運動を伴うフレームにおける適応型運動ベクトル予測候補
JP2023071967A (ja) 明示的信号伝達および暗黙的信号伝達を用いた、使用不可参照フレームの適応ブロック更新
JP2023105074A (ja) 運動ベクトルインタ予測のための大域的運動モデル
US11265566B2 (en) Signaling of global motion relative to available reference frames

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240628