JP2022520867A - ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出 - Google Patents

ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出 Download PDF

Info

Publication number
JP2022520867A
JP2022520867A JP2021548645A JP2021548645A JP2022520867A JP 2022520867 A JP2022520867 A JP 2022520867A JP 2021548645 A JP2021548645 A JP 2021548645A JP 2021548645 A JP2021548645 A JP 2021548645A JP 2022520867 A JP2022520867 A JP 2022520867A
Authority
JP
Japan
Prior art keywords
intermode
reference image
motion vector
block
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021548645A
Other languages
English (en)
Other versions
JP7218449B2 (ja
Inventor
イーウェン チェン
シャオユウ シュウ
シエンリン ワン
ツン－チュアン マー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of JP2022520867A publication Critical patent/JP2022520867A/ja
Priority to JP2023009229A priority Critical patent/JP7447322B2/ja
Application granted granted Critical
Publication of JP7218449B2 publication Critical patent/JP7218449B2/ja
Priority to JP2024028537A priority patent/JP2024069266A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

現在の多用途ビデオ符号化復号化（ＶＶＣ）のようなビデオ符号化標準において採用されるインターモード符号化されたブロックのための運動ベクトル候補の導出において特定のインターモード符号化復号化ツールの動作を制約する方法は、コンピューティング装置で実行される。当該コンピューティング装置は、インターモード符号化復号化ツールの動作に関与するインターモード符号化されたブロックに関連する参照画像の１つまたは複数が長期参照画像であるかどうかを決定し、当該決定に基づいて、このインターモード符号化されたブロックについてこのインターモード符号化復号化ツールの動作を制約する。【選択図】図１

Description

関連出願の相互参照
本出願は、２０１９年２月２０日に提出された米国仮出願第６２／８０８２７１号に対する優先権を主張するものであり、この特許出願の明細書全体を参照によって本願明細書に引用する。
本開示は、全般的にビデオ符号化復号化及び圧縮に関する。特に、長期参照画像のための動きベクトル導出に対する制約を使用してビデオ符号化復号化を実行するためのシステム及び方法に関する。
ここでは、本開示に関連する背景情報を提供する。ここに含まれる情報は、必ずしも従来技術として解釈されるべきではない。
ビデオデータは、各種なビデオ符号化復号化技術のいずれかによって圧縮されることができる。ビデオ符号化復号化は、１つまたは複数のビデオ符号化標準に従って実行することができる。例示的なビデオ符号化復号化標準には、多用途ビデオ符号化（ＶＶＣ：Versatile Video Coding）、共同探査試験モデル（ＪＥＭ：Joint Exploration Test Model）符号化、高効率ビデオ符号化（Ｈ.２６５/ＨＥＶＣ：High Efficiency Video Coding）、高度なビデオ符号化（Ｈ.２６４/ＡＶＣ：Advanced Video Coding）、及び動画専門家グループ（ＭＰＥＧ：Moving picture Experts Group）を含む。
ビデオ符号化復号化では、一般に、ビデオ画像またはシーケンスに固有の冗長性による予測方法（例えば、インター予測、イントラ予測など）を利用する。ビデオ符号化復号化技術の目標の一つは、ビデオ品質の低下を回避または最小限に抑えながら、ビデオデータをより低ビットレートでのフォームに圧縮することである。
ビデオ符号化復号化に利用される予測方法は、通常、空間的（フレーム内）予測及び／又は時間的（フレーム間）予測を実行して、ビデオデータに固有の冗長性を低減または削除することを含み、ブロックに基づくビデオ符号化復号化に関連付けられている。
ブロックに基づくビデオ符号化では、入力ビデオ信号がブロックごとに処理される。各ブロック（符号化ユニット（ＣＵ：coding unit）とも呼ばれる）について、空間的予測および／または時間的予測が実行されることができる。
空間的予測（「イントラ予測」とも呼ばれる）は、現在のブロックを、同じビデオ画像／スライス内のすでに符号化された隣接ブロックのサンプル（参照サンプルとも呼ばれる）からの画素を使用して予測する。空間的予測は、ビデオ信号に固有の空間冗長性を低減する。
時間的予測（「インター予測」または「動き補償予測」とも呼ばれる）は、現在のブロックを、すでに符号化されたビデオ画像からの再構成の画素を使用して予測する。時間的予測は、ビデオ信号に固有の時間的冗長性を低減する。特定のＣＵのための時間的予測信号は、通常、現在のＣＵとその時間的参照との間の動きの量及び方向を示す１つまたは複数の動きベクトル（ＭＶ：motion vector）によって信号で通知される。また、複数の参照画像が支持されている場合、時間的予測信号が参照画像記憶部内のどの参照画像からのものであるかを識別するための１つの参照画像インデックは、追加的に送信される。
空間的および／または時間的予測の後、エンコーダにおけるモード決定ブロックは、例えば、レート歪み最適化方法に基づいて、最良の予測モードを選択する。次に、予測ブロックが現在のブロックから差し引かれる；予測残差は、変換によって非相関化され、定量化される。定量化された残差係数は、逆定量化および逆変換されて再構成の残差を形成し、この再構成の残差は、次に予測ブロックに追加されてこのブロックの再構成された信号を形成する。
空間的および／または時間的予測の後、インループフィルタリングを行い、例えば、非ブロック化フィルタ、サンプル適応型オフセット（ＳＡＯ：Sample Adaptive Offset）および適応型インループフィルタ（ＡＬＦ：Adaptive Loop Filter）は、再構成されたＣＵに適用してから、再構成されたＣＵが参照画像記憶部に入れられ、将来のビデオブロックの符号化復号化に使用される。出力ビデオビットストリームを形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および定量化された残差係数がすべてエントロピー符号化部に送信され、さらに圧縮およびパックされてビットストリームが形成される。
復号化処理中、ビデオビットストリームは、最初にエントロピー復号化部でエントロピー復号化される。符号化モードおよび予測情報は、空間的予測部（イントラ符号化の場合）または時間的予測部（インター符号化の場合）に送信されて、予測ブロックを形成する。残差変換係数は、残差ブロックを再構成するために逆定量化部及び逆変換部に送信される。次に、予測ブロックと残差ブロックとは、一体に追加される。再構成されたブロックは、さらにインループフィルタリングされたから、参照画像記憶部に格納されることがある。次に、参照画像記憶部における再構成されたビデオは、送出されて表示装置を駆動したり、将来のビデオブロックを予測するために使用されたりする。
ＨＥＶＣ、ＶＶＣなどのビデオ符号化標準では、参照画像セット（ＲＰＳ：reference picture set）の概念は、以前に復号化された画像が参照、即ちサンプルデータ予測及び動きベクトル予測に使用されるために、復号化画像バッファ（ＤＰＢ：decoded picture buffer）でどのように管理されるかを定義する。一般に、参照画像管理のためのＲＰＳの概念は、各スライス（現在のＶＶＣでは「タイル」（tile）とも呼ばれる）におけるＤＰＢのステータスを信号で通知される。
ＤＰＢ内の画像は、「短期参照に使用されるもの」、「長期参照に使用されるもの」、または「参照に使用されないもの」としてマークされることができる。画像は、「参照に使用されないもの」とマークされていれば、予測に使用できなくなり、出力に必要がなくなったときに、ＤＰＢから削除されることが可能である。
一般に、長期参照画像は、通常、表示順序（すなわち、画像順序カウント（Picture Order Count）またはＰＯＣと呼ばれる）の点で短期参照画像と比較して現在の画像から遠く離れている。長期参照画像と短期参照画像との当該区別は、時間的および空間的ＭＶ予測または暗示的加重予測における動きベクトルスケーリングなどの一部の復号化処理に影響を与えることが可能である。
ＨＥＶＣおよびＶＶＣなどのビデオ符号化復号化標準では、空間的および／または時間的動きベクトル候補を導出するとき、特定の制約が、空間的および／または時間的動きベクトル候補の導出の一部を形成するスケーリング処理に、当該処理に関与する特定の参照画像が長期参照画像であるかどうかに基いて設置される。
しかしながら、現在のＶＶＣ標準化などのビデオコーデック仕様に従って、同様の制約が、未だインターモード符号化されたブロックの動きベクトル候補導出のためのそのようなビデオコーデック仕様で採用される新しいインターモードビデオ符号化復号化ツールに設置されていない。
ここでは、本開示の一般的な概要を提供し、その完全な範囲又はその特徴の全ての包括的な開示ではない。
本開示の第１の方面に従い、ビデオ符号化復号化のための方法は、１つまたは複数のプロセッサおよび当該１つまたは複数のプロセッサによって実行される複数のプログラムを格納するメモリを有するコンピューティング装置で実行される。この方法は、ビデオストリーム内の各画像を複数のブロックまたは符号化ユニット（ＣＵ）に区画することを含む。この方法は、これらのインターモード符号化されたブロックについてインターモード動きベクトル導出を実行することをさらに含む。この方法は、インターモード符号化されたブロックについてインターモード動きベクトル導出を実行する間において特定のインターモード符号化ツールを操作することをさらに含む。この方法は、インターモード符号化復号化ツールの動作に関与するインターモード符号化されたブロックに関連する参照画像の１つまたは複数が長期参照画像であるかどうかを決定することと、前記決定に基づいて、前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することとをさらに含む。
本願の第２の方面に従い、コンピューティング装置は、１つまたは複数のプロセッサと、メモリと、前記メモリに格納されている複数のプログラムと、を含む。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると、当該コンピューティング装置に、上述のような操作を実行させる。
本願の第３の方面に従い、非一時的なコンピュータ読取可能な記憶媒体は、１つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを格納する。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティング装置に、上述のような操作を実行させる。
以下、本開示の示例的な、非限定的な実施形態セットを、添付の図面と結合して説明する。当業者は、本明細書に提示された例に基づいて構造、方法、または機能の変形を実施することが可能であり、そのような変形はすべて、本開示の技術的範囲内に含まれ得る。矛盾が存在しない場合、異なる実施形態の教示は、必ずしもそうする必要はないが、互いに組み合わせることができる。
図１は、多くのビデオ符号化復号化標準と組み合わせて使用されることが可能である例示的なブロックに基づく混合ビデオエンコーダを示すブロック図である。 図２は、多くのビデオ符号化復号化標準と組み合わせて使用されることが可能である例示的なビデオデコーダを示すブロック図である。 図３は、多くのビデオ符号化復号化標準と組み合わせて使用されることが可能であるマルチタイプツリー構造におけるブロック区画の示例である。 図４は、双方向光流（ＢＤＯＦ：Bi-Directional Optical Flow）処理の示例である。 図５は、デコーダ側動きベクトル微細化（ＤＭＶＲ：Decoder-side Motion Vector Refinement）に使用される双方向マッチングの示例である。 図６は、動きベクトル差によるマージモード（ＭＭＶＤ：Merge Mode with Motion Vector Difference）に使用される検索点の示例である。 図７Ａは、サブブロックに基づく時間的動きベクトル予測（ＳｂＴＭＶＰ：Subblock-based Temporal Motion Vector Prediction）モードに使用される空間的隣接ブロックの示例である。 図７Ｂは、ＳｂＴＭＶＰモードで、空間的隣接ブロックから識別された動きシフトによって、サブＣＵレベル動き情報を導出する示例である。
本開示で使用される用語は、特定の例を説明しており、本開示を限定することを意図しない。本開示および添付の特許請求の範囲で使用される単数形「一」、「１つ」および「この」は、文脈が明確に別段の指示をしない限り、複数形も含むことを意図する。ここで使用される「および／または」という用語は、１つまたは複数の関連するリストされた項の任意的なまたはすべての可能な組み合わせを指すことが理解されべきである。
ここでは「第１」、「第２」、「第３」などの用語を使用して各種な情報を説明することができるが、これらの情報はこのような用語によって限定されるべきではないことが理解されべきである。これらの用語は、ある類の情報を別の類と区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１の情報は、第２の情報と呼ばれることが可能であり、同様に、第２の情報は、第１の情報と呼ばれることも可能である。ここで使用されるように、「（もし）…たら」または「（もし）…ば」、「（もし）…と」という用語は、文脈に応じて、「…ときに」または「…に応じて」を意味することが可能である。
本明細書では、単数形または複数形で「１つの実施形態」、「実施形態」、「別の実施形態」または類似の引用は、実施形態と結合して述べる一つまたは複数の特定の特徴、構造または特性が本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体の複数の箇所に単数形または複数形で現れるフレーズ「１つの実施形態において」、「例において」、「ある実施形態において」および類似の表現は、必ずしもすべて同じ実施形態を指すわけではない。さらに、１つまたは複数の実施形態における特定の特徴、構造、または特性は、任意の適切な方法で組み合わせることができる。
概念的には、多くのビデオ符号化標準は、類似的に、背景技術で前述したものを含む。たとえば、殆どすべてのビデオ符号化標準はブロックに基づく処理を使用し、同様のビデオ符号化ブロック図を共有してビデオ圧縮を実現する。
図１は、多くのビデオ符号化復号化標準と組み合わせて使用されることが可能である例示的なブロックに基づく混合ビデオエンコーダ１００のブロック図を示す。エンコーダ１００には、ビデオフレームが、複数のビデオブロックに区画されて処理を実施する。与えられたビデオブロックごとに、予測は、インター予測アプローチまたはイントラ予測アプローチに基づいて形成される。インター予測では、以前に再構成されたフレームからの画素に基づいて、動き推定及び動き補償によって１つ又は複数の予測子を形成する。イントラ予測では、現在のフレームにおける再構成された画素に基づいて予測子を形成する。モード決定を通じて、現在のブロックを予測するための最良の予測子を選択することができる。
現在のビデオブロックとその予測子との間の差を表す予測残差は、変換回路１０２に送られる。そして、エントロピーの低減のために、変換係数は、変換回路１０２から定量化回路１０４へ送られる。次に、定量化された係数は、エントロピー符号化回路１０６に供給されて圧縮されたビデオビットストリームを生成する。図１に示すように、インター予測回路および／またはイントラ予測回路１１２からのビデオブロック区画情報、動きベクトル、参照画像インデックス、およびイントラ予測モードなどの予測関連情報１１０も、エントロピー符号化回路１０６を介して供給され、圧縮ビデオビットストリーム１１４に保存される。
当該エンコーダ１００では、予測の目的で画素を再構成するために、デコーダ関連回路も必要である。最初に、予測残差は、逆定量化１１６および逆変換回路１１８を介して再構成される。この再構成された予測残差は、ブロック予測子１２０と組み合わされて、現在のビデオブロックのフィルタリングされていない再構成画素を生成する。
一般的には、符号化復号化効率および視覚的品質を改善するために、インループフィルタが使用される。たとえば、ＡＶＣ、ＨＥＶＣ、およびＶＶＣの現在のバージョンは、非ブロック化フィルタを提供している。ＨＥＶＣでは、符号化効率をさらに向上させるために、ＳＡＯ（サンプル適応型オフセット）と呼ばれる追加的インループフィルターが定義されている。ＶＶＣ標準の現在のバージョンでは、ＡＬＦ（適応型ループフィルタ）と呼ばれる別のインループフィルターが積極的に研究されており、最終標準に含まれている可能性が高い。
これらのインループフィルター操作は選択可能である。これらの操作を実行すると、符号化復号化効率及び視覚的な品質が向上する。一方、それらは、計算の複雑さを節約するためにエンコーダ１００による決定に従ってオフにされることが可能である。
なお、これらのフィルタオプションがエンコーダ１００によってオンにされる場合、イントラ予測は通常、フィルタリングされていない再構成の画素に基づくものであるが、インター予測はフィルタリングされた再構成の画素に基づくものである。
図２は、多くのビデオ符号化復号化標準と組み合わせて使用されることが可能である例示的なビデオデコーダ２００を示すブロック図である。このデコーダ２００は、図１のエンコーダ１００に存在する再構成関連部分に類似している。デコーダ２００（図２）では、入力されたビデオビットストリーム２０１は、最初にエントロピー復号化２０２を介して復号化されて、定量化された係数レベルおよび予測関連情報が導出される。次に、定量化された係数レベルは、逆定量化２０４および逆変換２０６を介して処理されて、再構成された予測残差が取得される。イントラ／インターモード選択部２１２に実現されているブロック予測メカニズムは、復号化された予測情報に基づいて、イントラ予測２０８または動き補償２１０を実行するように構成される。逆変換２０６から取得された再構成の予測残差と、ブロック予測子メカニズムによって生成された予測出力とが、加算部２１４によって加算されることで、フィルタリングされていない再構成の画素のセットが取得される。インループフィルタがオンになっている場合には、フィルタリング操作がこれらの再構成の画素に対して実行され、最終的な再構成のビデオが導出される。次に、参照画像記憶部における再構成のビデオは、表示装置を駆動するために送出されたり、将来のビデオブロックを予測するために使用されたりする。
ＨＥＶＣなどのビデオ符号化復号化標準では、ブロックは、四分木に基づいて区画されることが可能である。現在のＶＶＣなどの新しいビデオ符号化復号化標準では、より多くの区画方式が採用されており、四分木、二分木、または三分木に基づいて１つの符号化ツリーユニット（ＣＴＵ：coding tree unit）がＣＵに区画されて、各種なローカル特性に適応させることができる。現在のＶＶＣでは、ＣＵ、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）の区別は、ほとんどの符号化モードに存在せず、各ＣＵは常に、さらなる区画せず予測及び変換の両方の基本ユニットとして使用される。ただし、イントラサブ区画符号化モードなどの特定の符号化モードでは、各ＣＵにまた複数のＴＵが含まれる場合がある。マルチタイプツリー構造では、１つのＣＴＵが最初に四分木構造によって区画される。次に、各四分木リーフノードは、二分木及び三分木構造によってさらに区画されることができる。
図３は、現在のＶＶＣで採用されている５つの分割タイプ、すなわち、四値区画３０１、水平二値区画３０２、垂直二値区画３０３、水平三値区画３０４、および垂直三値区画３０５を示している。
ＨＥＶＣおよび現在のＶＶＣなどのビデオ符号化復号化標準では、以前に復号化された画像は、参照画像セット（ＲＰＳ）の概念で参照に使用されるように、復号化画像バッファ（ＤＰＢ）で管理される。ＤＰＢ内の画像は、「短期参照に使用されるもの」、「長期参照に使用されるもの」、または「参照に使用されないもの」としてマークできる。
現在のブロックの所定の目標参照画像が隣接ブロックの参照画像と異なる場合には、空間的隣接ブロックのスケーリングされた動きベクトルが現在のブロックの動きベクトル予測子として使用されることができる。空間的動き候補のためのスケーリング処理では、スケーリング係数が、現在の画像と目標参照画像との間の画像順序カウント（ＰＯＣ）距離、および現在の画像と隣接ブロックの参照画像との間のＰＯＣ距離に基づいて算出される。
ＨＥＶＣおよび現在のＶＶＣなどのビデオ符号化復号化標準では、特定の制約が、空間的動き候補のためのスケーリング処理に、当該処理に関与する特定の参照画像が長期参照画像であるかどうかに基づいて、設置される。２つの参照画像のうち、一方が長期参照画像であり、他方が長期参照画像ではない場合には、隣接ブロックのＭＶが無効と見なされる。２つの参照画像が両方とも長期参照画像である場合には、この２つの長期参照画像の間のＰＯＣ距離が通常大きいであり、したがってスケーリングされたＭＶが非信頼的である可能性があるため、空間的隣接ブロックのＭＶが現在のブロックのＭＶＰとして直接使用され、スケーリング処理が禁止される。
同様に、時間的動き候補のためのスケーリング処理では、現在の画像と目標参照画像との間のＰＯＣ距離、および並列画像と時間的隣接ブロック（並列ブロックとも呼ばれる）の参照画像との間のＰＯＣ距離に基づいて、スケーリング係数が算出される。
ＨＥＶＣおよび現在のＶＶＣなどのビデオ符号化復号化標準では、特定の制約が、時間的動き候補のためのスケーリング処理に、当該処理に関与する特定の参照画像が長期参照画像であるかどうかに基づいて、設置される。２つの参照画像のうち、一方が長期参照画像であり、他方が長期参照画像ではない場合には、隣接ブロックのＭＶが無効と見なされる。２つの参照画像が両方とも長期参照画像である場合には、この２つの長期参照画像の間のＰＯＣ距離が通常大きいであり、したがってスケーリングされたＭＶが非信頼的である可能性があるため、空間的隣接ブロックのＭＶが現在のブロックのＭＶＰとして直接使用され、スケーリング処理が禁止される。
現在のＶＶＣなどの新しいビデオ符号化復号化標準では、新しいインターモード符号化復号化ツールが導入されており、新しいインターモード符号化ツールのいくつかの例は、双方向光流（ＢＤＯＦ）、デコーダ側動きベクトル微細化（ＤＭＶＲ）、ＭＶＤによるマージモード（ＭＭＶＤ）、対称的ＭＶＤ（ＳＭＶＤ）、加重平均化による双予測（ＢＷＡ：Bi-prediction with Weighted Averaging）、ペアワイズ平均化マージ候補導出、およびサブブロックに基づく時間的動きベクトル予測（ＳｂＴＭＶＰ）。
ビデオ符号化復号化における従来の双予測は、すでに再構成された参照画像から得られた２つの時間的予測ブロックの単純な組み合わせである。ただし、ブロックに基づく動き補償の制限により、２つの予測ブロックのサンプル間で残りの小さな動きを観察できる可能性があるので、動き補償された予測の効率が低下する。この課題を解決するために、ＢＤＯＦが現在のＶＶＣに適用されて、１つのブロック内のサンプルごとに対するそのような動きの影響を低減する。
図４は、ＢＤＯＦ処理の例である。ＢＤＯＦは、双予測が使用されている場合に、ブロックに基く動き補償予測の上で実行されるサンプルごとの動き微細化である。各４×４サブブロックの動き微細化は、ＢＤＯＦが当該サブブロックの周りの１つの６×６窓内に適用された後、参照画像リスト０（Ｌ０）予測サンプルと参照画像リスト１（Ｌ１）予測サンプルとの間の差を最小化することで算出される。そのように導出された動き微細化に基づいて、ＣＵの最終的な双予測サンプルは、光流モデルに基づいて動き軌跡に沿ってＬ０/Ｌ１予測サンプルを補間することで算出される。
ＤＭＶＲは、最初に信号で通知され、さらに双マッチング予測により微細化されることができる２つのＭＶを持つマージブロックのための双予測技術である。
図５は、ＤＭＶＲで使用される双マッチングの示例である。双マッチングは、２つの異なる参照画像で現在のＣＵの動き軌跡に沿って２つのブロック間の最も近いマッチを見つけることで、現在のＣＵの動き情報を導出するためのものである。マッチング処理で使用されるコスト関数は、行サブサンプリングされた絶対差の合計（ＳＡＤ：sum of absolute difference）である。マッチング処理が完了した後、微細化されたＭＶは、予測段階での動き補償、非ブロックフィルタでの境界強度演算、後続の画像のための時間的動きベクトル予測、および後続のＣＵのためのクロスＣＴＵ空間的動きベクトル予測に使用される。連続的な動き軌跡とすると、２つの参照ブロックへの動きベクトルＭＶ０およびＭＶ１は、現在の画像と２つの参照画像との間の時間的距離、すなわちＴＤ０およびＴＤ１に比例するべきである。特別な場合として、現在の画像が２つの参照画像の間に時間的にあり、現在の画像から当該２つの参照画像までの時間的距離が同じであれば、双マッチングはミラーに基づく双方向ＭＶになる。
現在のＶＶＣは、既存のマージモードに加えてＭＭＶＤを導入した。既存のマージモードでは、暗示的に導出された動き情報が、現在のＣＵの予測サンプル生成に直接使用される。ＭＭＶＤモードでは、あるマージ候補が選択された後、信号で通知されたＭＶＤ情報によってこのマージ候補がさらに微細化される。
ＭＭＶＤフラグは、スキップフラグおよびマージフラグが送信された直後には、ＭＭＶＤモードがＣＵに使用されるかどうかを指定するために、信号で通知される。ＭＭＶＤモード情報には、マージ候補フラグ、動きの度合いを指定する距離インデックス、および動きの方向を示す方向インデックスが含まれる。
ＭＭＶＤモードでは、マージリストの最初の２つの候補のうちの１つだけが先頭ＭＶとして選択されることは許可され、マージ候補フラグは、最初の２つの候補のうちのどちらが使用されるかを指定するように信号で通知される。
図６は、ＭＭＶＤに使用される検索点の示例である。これらの検索点を導出するために、先頭ＭＶの水平成分または垂直成分にオフセットが追加される。距離インデックスは、動きの度合いの情報を指定し、開始点からの予め定められたオフセットを示し、方向インデックスは、方向インデックスからオフセット符号への予め定められたマッピングにより、開始点に対するオフセットの方向を表す。
マップされたオフセット符号の意味は、先頭ＭＶの情報に応じて変化し得る。先頭ＭＶは単一予測ＭＶまたは参照される参照画像が現在の画像の同じ側を指している双予測ＭＶである（つまり、最大２つの参照画像のＰＯＣが両方とも現在の画像のＰＯＣよりも大きく、または両方とも現在の画像のＰＯＣよりも小さい）場合、マップされたオフセット符号は、先頭ＭＶに追加されたＭＶオフセットの符号を指定する。先頭ＭＶは２つの動きベクトルが現在の画像の異なる側を指している双予測ＭＶである（つまり、一方の参照画像のＰＯＣが現在の画像のＰＯＣよりも大きく、他方の参照画像のＰＯＣが現在の画像のＰＯＣよりも小さい）場合、マップされたオフセット符号は、先頭ＭＶのＬ０動きベクトルに追加されたＭＶオフセットの符号及び先頭ＭＶのＬ１動きベクトルに追加されたＭＶオフセットの反対の符号を指定する。
次に、ＭＶオフセットの両方の成分は、信号で通知されたＭＭＶＤ距離および符号から導出され、最終的なＭＶＤは、さらにＭＶオフセット成分から導出される。
現在のＶＶＣはまた、ＳＭＶＤモードを導入した。ＳＭＶＤモードでは、Ｌ０及びＬ１の両方の参照画像インデックス及びＬ１のＭＶＤを含む動き情報が信号で通知されないが、導出される。エンコーダでは、ＳＭＶＤ動き推定が初期的ＭＶ評価で始まる。初期的ＭＶ候補のセットは、単一予測検索から取得されたＭＶ、双予測検索から取得されたＭＶ、およびＡＭＶＰリストからのＭＶからなる。レート歪みコストが最も低い初期的ＭＶ候補は、ＳＭＶＤ動き検索の初期的ＭＶとして選択される。
現在のＶＶＣはまた、ＢＷＡを導入した。ＨＥＶＣでは、双予測信号は、２つの参照画像から得られた２つの予測信号を平均化すること、および／または、２つの動きベクトルを使用することで生成される。現在のＶＶＣでは、ＢＷＡにより、双予測モードが、単純な平均化だけでなく、当該２つの予測信号の加重平均化を許可するように拡張される。
現在のＶＶＣでは、５つの重みがＢＷＡで許可されている。双予測されたＣＵごとに、重みは２つの方法のいずれかで決定される。非マージＣＵの場合には、重みインデックスが動きベクトルの差の後に信号で通知され、一方、マージＣＵの場合には、重みインデックスがマージ候補インデックスに基づいて隣接ブロックから推測される。加重平均化双予測は、２５６以上の輝度サンプルを持つＣＵにのみ適用される（つまり、ＣＵの幅とＣＵの高さとの積が２５６以上である）。後方予測を使用しない画像の場合には、５つの重みすべてが使用される。後方予測を使用する画像の場合には、５つの重みのうちの３つの重みの予め定められたサブセットのみが使用される。
現在のＶＶＣはまた、ペアワイズ平均化マージ候補の導出を導入した。ペアワイズ平均化マージ候補の導出では、ペアワイズ平均化候補が、既存のマージ候補リスト内の予め定められた候補ペアを平均化することで生成される。平均化された動きベクトルは、参照リストごとに個別に算出される。動きベクトルの両方が１つのリストから取得できる場合には、これら２つの動きベクトルが、異なる参照画像を指しても平均化される；使用可能な動きベクトルが１つだけの場合には、この１つの動きベクトルが直接使用される；使用可能な動きベクトルがない場合には、このリストが無効のままになる。ペアワイズ平均化マージ候補が追加された後、マージリストがいっぱいでない場合には、最大マージ候補数に達するまで、このマージリストの末尾にゼロＭＶＰが挿入される。
ＶＶＣ試験モデル（ＶＴＭ：VVC Test Model）として知られる、現在のＶＶＣのための現在の参照ソフトウェアコードベースもまた、ＳｂＴＭＶＰモードを導入した。ＨＥＶＣにおける時間的動きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、並列画像における動きフィールドを使用して、現在の画像におけるＣＵのための動きベクトル予測及びマージモードを改善する。ＴＭＶＰで使用される同じ並列画像は、ＳｂＴＭＶＰに使用される。ＳｂＴＭＶＰは、次の２つの主な点でＴＭＶＰと異なる。まず、ＴＭＶＰはＣＵレベルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測する。次に、ＴＭＶＰは並列画像における並列ブロックから時間的動きベクトルから取得する（この並列ブロックが現在のＣＵに対して右下方または中央のブロックである）が、ＳｂＴＭＶＰは、並列画像から時間的動き情報を取得する前に現在のＣＵの空間的隣接ブロックのうちの１つからの動きベクトルから取得された動きシフトを適用する。
図７Ａおよび図７Ｂは、ＳｂＴＭＶＰモードの操作を例示している。ＳｂＴＭＶＰは、現在のＣＵ内のサブＣＵの動きベクトルを２つのステップで予測する。図７Ａは、空間的隣がＡ１、Ｂ１、Ｂ０およびＡ０の順序で検査される最初のステップを例示している。並列画像を参照画像として使用する動きベクトルを有する最初の空間的隣接ブロックが識別されたと、この動きベクトルが、適用される動きシフトとして選択される。そのような動きが空間的隣から識別されない場合には、動きシフトが（０，０）に設定される。図７Ｂは、第１のステップで識別された動きシフトが適用されて（すなわち、現在のブロックの座標に追加されて）、並列画像からサブＣＵレベルの動き情報（動きベクトルおよび参照インデックス）を取得する第２のステップを例示する。図７Ｂにおいて採用された示例は、動きシフトがブロックＡ１の動きに設定される例を示している。次に、サブＣＵごとに、並列画像内の対応するブロック（中央のサンプルをカバーする最小の動きグリッド）の動き情報を使用して、このサブＣＵの動き情報が導出される。並列サブＣＵの動き情報が識別された後、ＨＥＶＣのＴＭＶＰ処理と同様に時間的動きスケーリングを使用して時間的動きベクトルの参照画像と現在のＣＵの時間的動きベクトルの参照画像とを位置合わせる方法で、この動き情報が現在のサブＣＵの動きベクトル及び参照インデックスに変換される。
ＶＴＭの第３のバージョン（ＶＴＭ３）では、ＳｂＴＭＶＰ候補及びアフィンマージ候補の両方を含む結合されたサブブロックに基くマージリストが、サブブロックに基くマージモードの信号による通知に使用される。ＳｂＴＭＶＰモードは、シーケンスパラメータセット（ＳＰＳ：Sequence Parameter Set）フラグによって有効または無効になる。ＳｂＴＭＶＰモードが有効になっている場合、ＳｂＴＭＶＰ予測子は、サブブロックに基くマージ候補のリストの最初のエントリとして追加され、その後にアフィンマージ候補が続く。サブブロックに基くマージリストのサイズはＳＰＳで信号によって通知され、ＶＴＭ３では、このサブブロックに基くマージリストの最大許可サイズが５に固定されている。ＳｂＴＭＶＰで使用されるサブＣＵサイズが８×８に固定されており、アフィンマージモードの場合と同様に、ＳｂＴＭＶＰモードは、幅及び高さの両方が８以上のＣＵにのみ適用できる。追加のＳｂＴＭＶＰマージ候補の符号化ロジックは他のマージ候補と同じであり、つまり、ＰまたはＢスライス内のＣＵごとに、ＳｂＴＭＶＰ候補を使用するかどうかを決定するように追加のＲＤ検査を実行する。
現在のＶＶＣは、新しいインターモード符号化復号化ツールを導入したが、空間的および時間的動き候補の導出のためのスケーリング処理のためのＨＥＶＣおよび現在のＶＶＣに存在する長期参照画像に関する制約が一部の新しいツールでよく定義されていない。本開示では、新しいインターモード符号化復号化ツールについて長期参照画像に関するいくつかの制約を提案する。
本開示によれば、インターモード符号化されたブロックについてのインターモード符号化復号化ツールの動作中に、当該インターモード符号化復号化ツールの動作に関与するインターモード符号化されたブロックに関連する参照画像の１つまたは複数が長期参照画像であるかどうかを決定し、次に、その決定に基づいて、インターモード符号化されたブロックについてのインターモード符号化復号化ツールの動作に制約を設置する。
本開示の一実施形態によれば、インターモード符号化復号化ツールは、ペアワイズ平均化マージ候補の生成を含む。
一例では、ペアワイズ平均化マージ候補の生成に関与する平均化マージ候補が、長期参照画像である１つの参照画像と長期参照画像ではないもう１つの参照画像とからなる所定の候補ペアから生成された場合には、当該平均化マージ候補が無効と見なされる。
同じ例において、両方とも長期参照画像である２つの参照画像からなる所定の候補ペアから平均化マージ候補を生成する間において、スケーリング処理は禁止される。
本開示の別の実施形態によれば、インターモード符号化復号化ツールはＢＤＯＦを含み、インターモード符号化されたブロックは双方向予測ブロックである。
一例では、ＢＤＯＦの動作に関与する双方向予測ブロックの一方の参照画像が長期参照画像であり、ＢＤＯＦの動作に関与する双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合には、ＢＤＯＦの実行が禁止される。
本開示の別の実施形態によれば、インターモード符号化復号化ツールはＤＭＶＲを含み、インターモード符号化されたブロックは双方向予測ブロックである。
一例では、ＤＭＶＲの動作に関与する双方向予測ブロックの一方の参照画像が長期参照画像であり、ＤＭＶＲの動作に関与する双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合には、ＤＭＶＲの実行が禁止される。
別の例では、ＤＭＶＲの動作に関与する双方向予測ブロックの一方の参照画像が長期参照画像であり、ＤＭＶＲの動作に関与する双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合には、ＤＭＶＲの実行の範囲が整数画素ＤＭＶＲの実行の範囲に限定される。
本開示の別の実施形態によれば、インターモード符号化復号化ツールは、ＭＭＶＤ候補の導出を含む。
一例では、ＭＭＶＤ候補の導出に関与する動きベクトル候補が、長期参照画像である参照画像を指する自分の動きベクトルを持つと決定した場合には、当該動きベクトル候補を基本動きベクトル（先頭動きベクトルとも呼ばれる）として使用することは、禁止される。
第２の例では、ＭＭＶＤ候補の導出に関与するインターモード符号化されたブロックの一方の参照画像が長期参照画像であり、ＭＭＶＤ候補の導出に関与するインターモード符号化されたブロックの他方の参照画像が長期参照画像ではなく、さらに基本動きベクトルが双方向動きベクトルである場合には、当該長期参照画像を指し且つ当該双方向基本動きベクトルにも含まれている１つの動きベクトルに対して、信号による通知された動きベクトル差（ＭＶＤ）でこの１つの動きベクトルを変更することが禁止される。
同じ第２の例では、提案されたＭＶＤ変更処理は、代わりに、以下の線枠に示されるようになり、当該文字の強調された部分は、現在のＶＶＣにおける既存のＭＶＤ変更処理からの提案された変更を示す。
Figure 2022520867000002
第３の例では、ＭＭＶＤ候補の導出に関与するインターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに、基本動きベクトルが双方向動きベクトルである場合には、最終的なＭＭＶＤ候補の導出におけるスケーリング処理が禁止される。
本開示の１つまたは複数の実施形態によれば、インターモード符号化復号化ツールは、ＳＭＶＤ候補の導出を含む。
一例では、動きベクトル候補が、長期参照画像である参照画像を指している自分の動きベクトルを持つと決定した場合には、当該動きベクトル候補を基本動きベクトルとして使用することは禁止される。
ある例では、ＳＭＶＤ候補の導出に関与するインターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに、基本動きベクトルが双方向動きベクトルである場合には、当該長期参照画像を指しかつ当該双方向基本動きベクトルに含まれている１つの動きベクトルに対して、信号による通知されたＭＶＤによって１つの動きベクトルを変更することが禁止される。他の例では、ＳＭＶＤ候補の導出に関与するインターモード符号化されたブロックの１つの参照画像が長期参照画像であり、ＳＭＶＤ候補の導出に関与するインターモード符号化されたブロックの他方の参照画像が長期参照画像ではなく、さらに基本動きベクトルが双方向動きベクトルである場合には、当該長期参照画像を指しかつ当該双方向基本動きベクトルにも含まれている１つの動きベクトルに対し、信号で通知されたＭＶＤによる当該１つの動きベクトルの変更が禁止される。
本開示の別の実施形態によれば、インターモード符号化復号化ツールは加重平均化による双予測を含み、インターモード符号化されたブロックは双方向予測ブロックである。
一例では、加重平均化による双予測に関与する双方向予測ブロックの少なくとも１つの参照画像が長期参照画像であると決定した場合には、不均等な重み付けの使用が禁止される。
本開示の別の実施形態によれば、インターモード符号化復号化ツールは動きベクトル候補の導出を含み、インターモード符号化されたブロックはＳｂＴＭＶＰ符号化されたブロックである。
一例では、従来のＴＭＶＰ符号化されたブロックについての動きベクトル候補の導出に対する制約と同じものは、ＳｂＴＭＶＰ符号化されたブロックについての動きベクトル候補の導出に使用される。
前述べた例の１つの改良では、従来のＴＭＶＰ符号化されたブロックおよびＳｂＴＭＶＰ符号化されたブロックの両方について使用される動きベクトル候補の導出に対する制約が、目標参照画像及び時間的隣接ブロックのための参照画像からなる２つの参照画像のうち、一方の参照画像が長期参照画像であり、他方の参照画像が長期参照画像ではない場合に当該隣接ブロックの動きベクトルを無効と見なすことと、一方、目標参照画像及び隣接ブロックのための参照画像の両方が長期参照画像である場合に当該空間的隣接ブロックの動きベクトルに対するスケーリング処理の操作を禁止し、空間的隣接ブロックの動きベクトルを現在のブロックのための動きベクトル予測として直接使用することと、を含む。
本開示の別の実施形態によれば、インターモード符号化復号化ツールは、動きベクトル候補の導出においてアフィン動きモデルを使用することを含む。
一例では、アフィン動きモデルの使用に関与する参照画像が長期参照画像であると決定した場合には、動きベクトル候補の導出におけるアフィン動きモデルの使用が禁止される。
１つまたは複数の例では、上述した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実現される。ソフトウェアで実現される場合、それらの機能は、１つまたは複数の命令またはコードとして、コンピュータ読取可能な媒体に格納されまたはこれを介して送信され、ハードウェアによる処理ユニットによって実行される。コンピュータ読取可能な媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ読取可能な記憶媒体、または、例えば、通信プロトコルに従って、ある箇所から別の箇所へのコンピュータプログラムの転送を役立つ任意の媒体を含む通信媒体を含み得る。このように、コンピュータ読取可能な媒体は、一般的に、（１）非一時的な有形のコンピュータ読取可能な記憶媒体、または（２）信号または搬送波などの通信媒体、に対応し得る。データ記憶媒体は、本願で説明された実施形態の実現のための命令、コード、および／またはデータ構造を検索するために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスできる任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ読取可能な媒体を含み得る。
さらに、上記の方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理装置（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラー、マイクロコントローラー、マイクロプロセッサー、またはその他の電子部品を含む１つまたは複数の回路を含む装置によって実現してもよい。上記の方法を実現するために、これらの回路を他のハードウェアまたはソフトウェア部品と組み合わせて使用することができる。以上に開示された各モジュール、サブモジュール、ユニット、またはサブユニットは、１つまたは複数の回路を使用して少なくとも部分的に実現され得る。
本発明の他の実施形態は、ここで開示される本発明の明細書および実施を考慮することから当業者にとっては明らかである。本願は、本発明の一般的原理に従う本発明の任意の変更、使用、または適用をカバーすることを意図しており、そのような本開示からの逸脱を当技術分野における既知または慣用的実施に入るものとして含む。なお、本説明および実施形態は、例示としてのみ見なされており、本発明の実質的な範囲および精神は、添付の特許請求の範囲によって示されている。
本発明は、上述し添付の図面に例示された具体例に限定されなく、各種な変更および変形が、その範囲から逸脱しなく実現されることが可能である。本発明の範囲は、添付の特許請求の範囲のみによって限定されることを意図する。
ＨＥＶＣおよび現在のＶＶＣなどのビデオ符号化復号化標準では、特定の制約が、時間的動き候補のためのスケーリング処理に、当該処理に関与する特定の参照画像が長期参照画像であるかどうかに基づいて、設置される。２つの参照画像のうち、一方が長期参照画像であり、他方が長期参照画像ではない場合には、隣接ブロックのＭＶが無効と見なされる。２つの参照画像が両方とも長期参照画像である場合には、この２つの長期参照画像の間のＰＯＣ距離が通常大きいであり、したがってスケーリングされたＭＶが非信頼的である可能性があるため、時間的隣接ブロックのＭＶが現在のブロックのＭＶＰとして直接使用され、スケーリング処理が禁止される。
同じ第２の例では、提案されたＭＶＤ変更処理は、代わりに、以下の線枠に示されるようになり、当該文字の強調された部分は、現在のＶＶＣにおける既存のＭＶＤ変更処理からの提案された変更を示す。
Figure 2022520867000011
前述べた例の１つの改良では、従来のＴＭＶＰ符号化されたブロックおよびＳｂＴＭＶＰ符号化されたブロックの両方について使用される動きベクトル候補の導出に対する制約が、目標参照画像及び時間的隣接ブロックのための参照画像からなる２つの参照画像のうち、一方の参照画像が長期参照画像であり、他方の参照画像が長期参照画像ではない場合に当該隣接ブロックの動きベクトルを無効と見なすことと、一方、目標参照画像及び隣接ブロックのための参照画像の両方が長期参照画像である場合に当該時間的隣接ブロックの動きベクトルに対するスケーリング処理の操作を禁止し、時間的隣接ブロックの動きベクトルを現在のブロックのための動きベクトル予測として直接使用することと、を含む。

Claims (66)

  1. インターモード符号化復号化ツールの動作に関与するインターモード符号化されたブロックに関連する参照画像の１つまたは複数が長期参照画像であるかどうかを決定することと、
    前記決定に基づいて、前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することと、
    を含む、ビデオ符号化復号化のための方法。
  2. 前記インターモード符号化復号化ツールは、ペアワイズ平均化マージ候補の生成を含む、請求項１に記載の方法。
  3. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    平均化マージ候補が、長期参照画像である１つの参照画像と長期参照画像ではないもう１つの参照画像とからなる所定の候補ペアから生成されたと決定した場合に、前記平均化マージ候補が無効と見なすことと、
    両方とも長期参照画像である２つの参照画像からなる所定の候補ペアから平均化マージ候補を生成する間において、スケーリング処理を禁止することと、
    を含む、請求項２に記載の方法。
  4. 前記インターモード符号化復号化ツールは双方向光流（ＢＤＯＦ）を含み、前記インターモード符号化されたブロックは双方向予測ブロックである、請求項１に記載の方法。
  5. 双方向予測ブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合に、ＢＤＯＦの実行を禁止すること
    を含む、請求項４に記載の方法。
  6. 前記インターモード符号化復号化ツールはデコーダ側動きベクトル微細化（ＤＭＶＲ）を含み、前記インターモード符号化されたブロックは双方向予測ブロックである、請求項１に記載の方法。
  7. 双方向予測ブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合に、ＤＭＶＲの実行を禁止すること
    を含む、請求項６に記載の方法。
  8. 双方向予測ブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合に、ＤＭＶＲの実行の範囲を整数画素ＤＭＶＲの実行の範囲に制限すること
    を含む、請求項６に記載の方法。
  9. 前記インターモード符号化復号化ツールは、動きベクトル差によるマージモード（ＭＭＶＤ）候補の導出を含む、請求項１に記載の方法。
  10. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    動きベクトル候補が、長期参照画像である参照画像を指す自分の動きベクトルを持つと決定した場合に、前記動きベクトル候補を基本動きベクトル（先頭動きベクトルとしても呼ばれる）として使用することを禁止すること
    を含む、請求項９に記載の方法。
  11. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記インターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに基本動きベクトルが双方向動きベクトルである場合に、前記長期参照画像を指し且つ前記双方向基本動きベクトルにも含まれている１つの動きベクトルの信号による通知された動きベクトル差（ＭＶＤ）による変更を禁止すること
    を含む、請求項９に記載の方法。
  12. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記インターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに、基本動きベクトルが双方向動きベクトルである場合に、最終的なＭＭＶＤ候補の導出におけるスケーリング処理を禁止すること
    を含む、請求項９に記載の方法。
  13. 前記インターモード符号化復号化ツールは、対称的動きベクトル差（ＳＭＶＤ）候補の導出を含む、請求項１に記載の方法。
  14. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    動きベクトル候補が、長期参照画像である参照画像を指している自分の動きベクトルを持つと決定した場合に、前記動きベクトル候補を基本動きベクトルとして使用することを禁止すること
    を含む、請求項１３に記載の方法。
  15. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記インターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに基本動きベクトルが双方向動きベクトルである場合に、前記長期参照画像を指しかつ前記双方向基本動きベクトルにも含まれている１つの動きベクトルの信号による通知されたＭＶＤによる変更を禁止すること
    を含む、請求項１３に記載の方法。
  16. 前記インターモード符号化復号化ツールは加重平均化による双予測を含み、前記インターモード符号化されたブロックは双方向予測ブロックである、請求項１に記載の方法。
  17. 双方向予測ブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記双方向予測ブロックの少なくとも１つの参照画像が長期参照画像であると決定した場合に、不均等な重み付けの使用を禁止すること
    を含む、請求項１６に記載の方法。
  18. 前記インターモード符号化復号化ツールは動きベクトル候補の導出を含み、前記インターモード符号化されたブロックはサブブロックに基づく時間的動きベクトル予測（ＳｂＴＭＶＰ）符号化されたブロックである、請求項１に記載の方法。
  19. ＳｂＴＭＶＰ符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記ＳｂＴＭＶＰ符号化されたブロックについての動きベクトル候補の導出において、従来の時間的動きベクトル予測（ＴＭＶＰ）符号化されたブロックについての動きベクトル候補の導出に対する制限と同じものを使用すること
    を含む、請求項１８に記載の方法。
  20. 前記従来のＴＭＶＰ符号化されたブロックおよび前記ＳｂＴＭＶＰ符号化されたブロックの両方について使用される動きベクトル候補の導出に対する制限は、
    目標参照画像及び隣接ブロックのための参照画像からなる２つの参照画像のうち、一方の参照画像が長期参照画像であり、他方の参照画像が長期参照画像ではない場合に、前記時間的隣接ブロック（並列ブロックとも呼ばれる）の動きベクトルを無効と見なすことと、
    前記目標参照画像及び前記隣接ブロックのための参照画像の両方が長期参照画像である場合に、前記空間的隣接ブロックの前記動きベクトルについてスケーリング処理の動作を禁止し、前記空間的隣接ブロックの前記動きベクトルを現在のブロックのための動きベクトル予測として直接使用することと、
    を含む、請求項１９に記載の方法。
  21. 前記インターモード符号化復号化ツールは、動きベクトル候補の導出においてアフィン動きモデルを使用することを含む、請求項１に記載の方法。
  22. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記アフィン動きモデルの使用に関与する前記参照画像が長期参照画像であると決定した場合に、前記動きベクトル候補の導出におけるアフィン動きモデルの使用を禁止すること
    を含む、請求項２１に記載の方法。
  23. １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサに接続されている非一時的なメモリと、
    前記非一時的なメモリに格納されている複数のプログラムと、
    を含み、
    前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、当該コンピューティング装置に、
    インターモード符号化復号化ツールの動作に関与するインターモード符号化されたブロックに関連する参照画像の１つまたは複数が長期参照画像であるかどうかを決定し、
    前記決定に基づいて、前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約する、
    のような操作を実行させる、コンピューティング装置。
  24. 前記インターモード符号化復号化ツールは、ペアワイズ平均化マージ候補の生成を含む、請求項２３に記載のコンピューティング装置。
  25. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    平均化マージ候補が、長期参照画像である１つの参照画像と長期参照画像ではないもう１つの参照画像とからなる所定の候補ペアから生成されたと決定した場合に、前記平均化マージ候補が無効と見なすことと、
    両方とも長期参照画像である２つの参照画像からなる所定の候補ペアから平均化マージ候補を生成する間において、スケーリング処理を禁止することと、
    を含む、請求項２４に記載のコンピューティング装置。
  26. 前記インターモード符号化復号化ツールはＢＤＯＦを含み、前記インターモード符号化されたブロックは双方向予測ブロックである、請求項２３に記載のコンピューティング装置。
  27. 双方向予測ブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合に、ＢＤＯＦの実行を禁止すること
    を含む、請求項２６に記載のコンピューティング装置。
  28. 前記インターモード符号化復号化ツールはＤＭＶＲを含み、前記インターモード符号化されたブロックは双方向予測ブロックである、請求項２３に記載のコンピューティング装置。
  29. 双方向予測ブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合に、ＤＭＶＲの実行を禁止すること
    を含む、請求項２８に記載のコンピューティング装置。
  30. 双方向予測ブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合に、ＤＭＶＲの実行の範囲を整数画素ＤＭＶＲの実行の範囲に制限すること
    を含む、請求項２８に記載のコンピューティング装置。
  31. 前記インターモード符号化復号化ツールは、ＭＭＶＤ候補の導出を含む、請求項２３に記載のコンピューティング装置。
  32. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    動きベクトル候補が、長期参照画像である参照画像を指す自分の動きベクトルを持つと決定した場合に、前記動きベクトル候補を基本動きベクトル（先頭動きベクトルとしても呼ばれる）として使用することを禁止すること
    を含む、請求項３１に記載のコンピューティング装置。
  33. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記インターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに基本動きベクトルが双方向動きベクトルである場合に、前記長期参照画像を指し且つ前記双方向基本動きベクトルにも含まれている１つの動きベクトルの信号による通知されたＭＶＤによる変更を禁止すること
    を含む、請求項３１に記載のコンピューティング装置。
  34. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記インターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに、基本動きベクトルが双方向動きベクトルである場合に、最終的なＭＭＶＤ候補の導出におけるスケーリング処理を禁止すること
    を含む、請求項３１に記載のコンピューティング装置。
  35. 前記インターモード符号化復号化ツールは、ＳＭＶＤ候補の導出を含む、請求項２３に記載のコンピューティング装置。
  36. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    動きベクトル候補が、長期参照画像である参照画像を指している自分の動きベクトルを持つと決定した場合に、前記動きベクトル候補を基本動きベクトルとして使用することを禁止すること
    を含む、請求項３５に記載のコンピューティング装置。
  37. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記インターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに基本動きベクトルが双方向動きベクトルである場合に、前記長期参照画像を指しかつ前記双方向基本動きベクトルに含まれている１つの動きベクトルの信号による通知されたＭＶＤによる変更を禁止すること
    を含む、請求項３５に記載のコンピューティング装置。
  38. 前記インターモード符号化復号化ツールは加重平均化による双予測を含み、前記インターモード符号化されたブロックは双方向予測ブロックである、請求項２３に記載のコンピューティング装置。
  39. 双方向予測ブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記双方向予測ブロックの少なくとも１つの参照画像が長期参照画像であると決定した場合に、不均等な重み付けの使用を禁止すること
    を含む、請求項３８に記載のコンピューティング装置。
  40. 前記インターモード符号化復号化ツールは動きベクトル候補の導出を含み、前記インターモード符号化されたブロックはＳｂＴＭＶＰ符号化されたブロックである、請求項２３に記載のコンピューティング装置。
  41. ＳｂＴＭＶＰ符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記ＳｂＴＭＶＰ符号化されたブロックについての動きベクトル候補の導出において、従来のＴＭＶＰ符号化されたブロックについての動きベクトル候補の導出に対する制限と同じものを使用すること
    を含む、請求項４０に記載のコンピューティング装置。
  42. 前記従来のＴＭＶＰ符号化されたブロックおよび前記ＳｂＴＭＶＰ符号化されたブロックの両方について使用される動きベクトル候補の導出に対する制限は、
    目標参照画像及び隣接ブロックのための参照画像からなる２つの参照画像のうち、一方の参照画像が長期参照画像であり、他方の参照画像が長期参照画像ではない場合に、前記時間的隣接ブロックの動きベクトルを無効と見なすことと、
    前記目標参照画像及び前記隣接ブロックのための参照画像の両方が長期参照画像である場合に、前記空間的隣接ブロックの前記動きベクトルについてスケーリング処理の動作を禁止し、前記空間的隣接ブロックの前記動きベクトルを現在のブロックのための動きベクトル予測として直接使用することと、
    を含む、請求項４１に記載のコンピューティング装置。
  43. 前記インターモード符号化復号化ツールは、動きベクトル候補の導出においてアフィン動きモデルを使用することを含む、請求項２３に記載のコンピューティング装置。
  44. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記アフィン動きモデルの使用に関与する前記参照画像が長期参照画像であると決定した場合に、前記動きベクトル候補の導出におけるアフィン動きモデルの使用を禁止すること
    を含む、請求項４３に記載のコンピューティング装置。
  45. １つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを格納している非一時的なコンピュータ読取可能な記憶媒体であって、
    前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティング装置に、
    インターモード符号化ツールの動作に関与するインターモード符号化されたブロックに関連する参照画像の１つまたは複数が長期参照画像であるかどうかを決定し、
    前記決定に基づいて、前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約する、
    のような操作を実行させる、非一時的なコンピュータ読取可能な記憶媒体。
  46. 前記インターモード符号化復号化ツールは、ペアワイズ平均化マージ候補の生成を含む、請求項４５に記載の非一時的なコンピュータ読取可能な記憶媒体。
  47. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    平均化マージ候補が、長期参照画像である１つの参照画像と長期参照画像ではないもう１つの参照画像とからなる所定の候補ペアから生成されたと決定した場合に、前記平均化マージ候補が無効と見なすことと、
    両方とも長期参照画像である２つの参照画像からなる所定の候補ペアから平均化マージ候補を生成する間において、スケーリング処理を禁止することと、
    を含む、請求項４５に記載の非一時的なコンピュータ読取可能な記憶媒体。
  48. 前記インターモード符号化復号化ツールはＢＤＯＦを含み、前記インターモード符号化されたブロックは双方向予測ブロックである、請求項４５に記載の非一時的なコンピュータ読取可能な記憶媒体。
  49. 双方向予測ブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合に、ＢＤＯＦの実行を禁止すること
    を含む、請求項４８に記載の非一時的なコンピュータ読取可能な記憶媒体。
  50. 前記インターモード符号化復号化ツールはＤＭＶＲを含み、前記インターモード符号化されたブロックは双方向予測ブロックである、請求項４５に記載の非一時的なコンピュータ読取可能な記憶媒体。
  51. 双方向予測ブロックについて前記インターモード符号化ツールの動作を制約することは、
    前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合に、ＤＭＶＲの実行を禁止すること
    を含む、請求項５０に記載の非一時的なコンピュータ読取可能な記憶媒体。
  52. 双方向予測ブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記双方向予測ブロックの一方の参照画像が長期参照画像であり、前記双方向予測ブロックの他方の参照画像が長期参照画像ではないと決定した場合に、ＤＭＶＲの実行の範囲を整数画素ＤＭＶＲの実行の範囲に制限すること
    を含む、請求項５０に記載の非一時的なコンピュータ読取可能な記憶媒体。
  53. 前記インターモード符号化復号化ツールは、ＭＭＶＤ候補の導出を含む、請求項４５に記載の非一時的なコンピュータ読取可能な記憶媒体。
  54. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    動きベクトル候補が、長期参照画像である参照画像を指す自分の動きベクトルを持つと決定した場合に、前記動きベクトル候補を基本動きベクトル（先頭動きベクトルとしても呼ばれる）として使用することを禁止すること
    を含む、請求項５３に記載の非一時的なコンピュータ読取可能な記憶媒体。
  55. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記インターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに基本動きベクトルが双方向動きベクトルである場合に、前記長期参照画像を指し且つ前記双方向基本動きベクトルにも含まれている１つの動きベクトルの信号による通知されたＭＶＤによる変更を禁止すること
    を含む、請求項５３に記載の非一時的なコンピュータ読取可能な記憶媒体。
  56. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記インターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに、基本動きベクトルが双方向動きベクトルである場合に、最終的なＭＭＶＤ候補の導出におけるスケーリング処理を禁止すること
    を含む、請求項５３に記載の非一時的なコンピュータ読取可能な記憶媒体。
  57. 前記インターモード符号化復号化ツールは、ＳＭＶＤ候補の導出を含む、請求項４５に記載の非一時的なコンピュータ読取可能な記憶媒体。
  58. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    動きベクトル候補が、長期参照画像である参照画像を指している自分の動きベクトルを持つと決定した場合に、前記動きベクトル候補を基本動きベクトルとして使用することを禁止すること
    を含む、請求項５７に記載の非一時的なコンピュータ読取可能な記憶媒体。
  59. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記インターモード符号化されたブロックの少なくとも１つの参照画像が長期参照画像であり、さらに基本動きベクトルが双方向動きベクトルである場合に、前記長期参照画像を指しかつ前記双方向基本動きベクトルにも含まれている１つの動きベクトルの信号による通知されたＭＶＤによる変更を禁止すること
    を含む、請求項５７に記載の非一時的なコンピュータ読取可能な記憶媒体。
  60. 前記インターモード符号化復号化ツールは加重平均化による双予測を含み、前記インターモード符号化されたブロックは双方向予測ブロックである、請求項４５に記載の非一時的なコンピュータ読取可能な記憶媒体。
  61. 双方向予測ブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記双方向予測ブロックの少なくとも１つの参照画像が長期参照画像であると決定した場合に、不均等な重み付けの使用を禁止すること
    を含む、請求項６０に記載の非一時的なコンピュータ読取可能な記憶媒体。
  62. 前記インターモード符号化復号化ツールは動きベクトル候補の導出を含み、前記インターモード符号化されたブロックはＳｂＴＭＶＰ符号化されたブロックである、請求項４５に記載の非一時的なコンピュータ読取可能な記憶媒体。
  63. ＳｂＴＭＶＰ符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記ＳｂＴＭＶＰ符号化されたブロックについての動きベクトル候補の導出において、従来のＴＭＶＰ符号化されたブロックについての動きベクトル候補の導出に対する制限と同じものを使用すること
    を含む、請求項６２に記載の非一時的なコンピュータ読取可能な記憶媒体。
  64. 前記従来のＴＭＶＰ符号化されたブロックおよび前記ＳｂＴＭＶＰ符号化されたブロックの両方について使用される動きベクトル候補の導出に対する制限は、
    目標参照画像及び隣接ブロックのための参照画像からなる２つの参照画像のうち、一方の参照画像が長期参照画像であり、他方の参照画像が長期参照画像ではない場合に、前記時間的隣接ブロックの動きベクトルを無効と見なすことと、
    前記目標参照画像及び前記隣接ブロックのための参照画像の両方が長期参照画像である場合に、前記空間的隣接ブロックの前記動きベクトルについてスケーリング処理の動作を禁止し、前記空間的隣接ブロックの前記動きベクトルを現在のブロックのための動きベクトル予測として直接使用することと、
    を含む、請求項６３に記載の非一時的なコンピュータ読取可能な記憶媒体。
  65. 前記インターモード符号化復号化ツールは、動きベクトル候補の導出においてアフィン動きモデルを使用することを含む、請求項４５に記載の非一時的なコンピュータ読取可能な記憶媒体。
  66. 前記インターモード符号化されたブロックについて前記インターモード符号化復号化ツールの動作を制約することは、
    前記アフィン動きモデルの使用に関与する前記参照画像が長期参照画像であると決定した場合に、前記動きベクトル候補の導出におけるアフィン動きモデルの使用を禁止すること
    を含む、請求項６５に記載の非一時的なコンピュータ読取可能な記憶媒体。
JP2021548645A 2019-02-20 2020-02-19 ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出 Active JP7218449B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023009229A JP7447322B2 (ja) 2019-02-20 2023-01-25 ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出
JP2024028537A JP2024069266A (ja) 2019-02-20 2024-02-28 ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962808271P 2019-02-20 2019-02-20
US62/808,271 2019-02-20
PCT/US2020/018918 WO2020172341A1 (en) 2019-02-20 2020-02-19 Constrained motion vector derivation for long-term reference pictures in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023009229A Division JP7447322B2 (ja) 2019-02-20 2023-01-25 ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出

Publications (2)

Publication Number Publication Date
JP2022520867A true JP2022520867A (ja) 2022-04-01
JP7218449B2 JP7218449B2 (ja) 2023-02-06

Family

ID=72144437

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021548645A Active JP7218449B2 (ja) 2019-02-20 2020-02-19 ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出
JP2023009229A Active JP7447322B2 (ja) 2019-02-20 2023-01-25 ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出
JP2024028537A Pending JP2024069266A (ja) 2019-02-20 2024-02-28 ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023009229A Active JP7447322B2 (ja) 2019-02-20 2023-01-25 ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出
JP2024028537A Pending JP2024069266A (ja) 2019-02-20 2024-02-28 ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出

Country Status (13)

Country Link
US (1) US20210377520A1 (ja)
EP (2) EP3912357B1 (ja)
JP (3) JP7218449B2 (ja)
KR (2) KR20230018540A (ja)
CN (6) CN114339237B (ja)
DK (1) DK3912357T3 (ja)
ES (1) ES2968163T3 (ja)
FI (1) FI3912357T3 (ja)
HU (1) HUE064569T2 (ja)
MX (1) MX2021010062A (ja)
PL (1) PL3912357T3 (ja)
PT (1) PT3912357T (ja)
WO (1) WO2020172341A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113545041A (zh) * 2019-03-07 2021-10-22 数字洞察力有限公司 图像编码/解码方法和设备
CN113728643A (zh) * 2019-03-11 2021-11-30 Vid拓展公司 对称合并模式运动向量编码
AU2020292097B2 (en) * 2019-06-14 2023-11-30 Lg Electronics Inc. Method and device for image coding using motion vector differences
CN114080813A (zh) 2019-06-14 2022-02-22 Lg 电子株式会社 使用运动矢量的图像编译的方法和装置
JP7323649B2 (ja) 2019-06-14 2023-08-08 エルジー エレクトロニクス インコーポレイティド インター予測に基づく画像コーディング方法及び装置
JP7342153B2 (ja) 2019-06-24 2023-09-11 エルジー エレクトロニクス インコーポレイティド 動きベクトルを用いた画像コーディング方法および装置
KR20210158399A (ko) 2019-06-24 2021-12-30 엘지전자 주식회사 인터 예측 기반 영상 코딩 방법 및 장치
KR102640262B1 (ko) 2019-06-24 2024-02-23 엘지전자 주식회사 움직임 벡터 차분들을 이용한 영상 코딩 방법 및 장치
JP7322277B2 (ja) * 2019-07-27 2023-08-07 北京字節跳動網絡技術有限公司 参照ピクチャタイプに従ったツールの使用制限
CN110545424B (zh) * 2019-08-21 2021-05-11 浙江大华技术股份有限公司 基于mmvd模式的帧间预测方法、视频编码方法及相关装置、设备
WO2023055199A1 (ko) * 2021-09-30 2023-04-06 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2023132510A1 (ko) * 2022-01-04 2023-07-13 현대자동차주식회사 개선된 차분 움직임벡터 머지를 이용하는 비디오 코딩을 위한 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016521486A (ja) * 2013-04-02 2016-07-21 ヴィド スケール インコーポレイテッド スケーラブルビデオコーディングのための拡張時間的動きベクトル予測

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7940845B2 (en) * 2002-04-19 2011-05-10 Panasonic Corporation Motion vector calculating method
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
KR101379188B1 (ko) * 2010-05-17 2014-04-18 에스케이 텔레콤주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
CN107071476B (zh) * 2011-06-30 2020-12-08 索尼公司 图像解码设备和图像解码方法
CN103688545B (zh) * 2011-10-28 2017-05-10 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN104796723B (zh) * 2011-11-08 2016-10-12 三星电子株式会社 用于在视频编码或解码中的运动矢量确定的方法和设备
US9503720B2 (en) * 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
JP2015525547A (ja) * 2012-07-02 2015-09-03 サムスン エレクトロニクス カンパニー リミテッド ビデオ符号化またはビデオ復号化のための動きベクトル予測方法及びその装置
US9432667B2 (en) * 2013-06-11 2016-08-30 Qualcomm Incorporated Processing bitstream constraints relating to inter-layer prediction types in multi-layer video coding
US10785486B2 (en) * 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
WO2016200043A1 (ko) * 2015-06-10 2016-12-15 엘지전자 주식회사 비디오 코딩 시스템에서 가상 참조 픽처 기반 인터 예측 방법 및 장치
WO2017084512A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding
KR102435500B1 (ko) * 2016-10-06 2022-08-23 세종대학교산학협력단 비디오 신호의 복호화 방법 및 이의 장치
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10595035B2 (en) * 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
KR20210090715A (ko) * 2019-01-09 2021-07-20 엘지전자 주식회사 Tmvp 후보의 가용 여부를 시그널링하는 방법 및 장치
WO2020164577A1 (en) * 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Selective application of decoder side refining tools

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016521486A (ja) * 2013-04-02 2016-07-21 ヴィド スケール インコーポレイテッド スケーラブルビデオコーディングのための拡張時間的動きベクトル予測

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BROSS, BENJAMIN ET AL.: "Versatile Video Coding (Draft 4)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARR, vol. JVET-M1001 (version 3), JPN6022026741, 19 February 2019 (2019-02-19), ISSN: 0004813509 *
CHEN, YI-WEN ET AL.: "Non-CE4: MVD scaling issue for LTRPs", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENE, vol. JVET-N0332 (version 1), JPN6022026739, 13 March 2019 (2019-03-13), ISSN: 0004813510 *

Also Published As

Publication number Publication date
EP4262208A2 (en) 2023-10-18
KR102492738B1 (ko) 2023-01-26
CN116915982B (zh) 2024-03-26
CN116915982A (zh) 2023-10-20
EP3912357A1 (en) 2021-11-24
EP3912357A4 (en) 2022-05-18
CN114339237B (zh) 2023-04-25
DK3912357T3 (da) 2024-01-08
JP7447322B2 (ja) 2024-03-11
CN117119181A (zh) 2023-11-24
JP7218449B2 (ja) 2023-02-06
KR20210107897A (ko) 2021-09-01
MX2021010062A (es) 2021-09-21
PT3912357T (pt) 2023-12-26
ES2968163T3 (es) 2024-05-08
CN113424539A (zh) 2021-09-21
CN117041556B (zh) 2024-03-26
CN116915983A (zh) 2023-10-20
CN117119181B (zh) 2024-03-26
PL3912357T3 (pl) 2024-03-25
JP2023055778A (ja) 2023-04-18
US20210377520A1 (en) 2021-12-02
CN116915983B (zh) 2024-04-16
JP2024069266A (ja) 2024-05-21
HUE064569T2 (hu) 2024-03-28
KR20230018540A (ko) 2023-02-07
FI3912357T3 (fi) 2023-12-19
EP3912357B1 (en) 2023-10-04
EP4262208A3 (en) 2024-01-17
WO2020172341A1 (en) 2020-08-27
CN117041556A (zh) 2023-11-10
CN114339237A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
JP7447322B2 (ja) ビデオ符号化復号化における長期参照画像のための制約付き動きベクトル導出
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
JP7397130B2 (ja) 動きマージモードのシグナリングのための方法、電子装置、非一時的コンピュータ可読記憶媒体およびコンピュータプログラム
CN112400319A (zh) 具有多重假设之合并候选者
KR101990423B1 (ko) 인터 예측 방법 및 그 장치
JP2020522913A (ja) 低減されたメモリアクセスを用いてｆｒｕｃモードでビデオデータを符号化又は復号する方法及び装置
JP2024038295A (ja) ビデオ符号化のための動きベクトル予測
CN113542748B (zh) 视频编解码方法、设备和非暂时性计算机可读存储介质
TW202327351A (zh) 視頻編解碼系統中編解碼模式選擇的方法和裝置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210818

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230125

R150 Certificate of patent or registration of utility model

Ref document number: 7218449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150