JP2022519358A - オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法 - Google Patents

オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法 Download PDF

Info

Publication number
JP2022519358A
JP2022519358A JP2021545364A JP2021545364A JP2022519358A JP 2022519358 A JP2022519358 A JP 2022519358A JP 2021545364 A JP2021545364 A JP 2021545364A JP 2021545364 A JP2021545364 A JP 2021545364A JP 2022519358 A JP2022519358 A JP 2022519358A
Authority
JP
Japan
Prior art keywords
subblock
motion prediction
current block
motion
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021545364A
Other languages
English (en)
Other versions
JP7307184B2 (ja
Inventor
ルオ、チャンコン
フ、ユーウェン
Original Assignee
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2022519358A publication Critical patent/JP2022519358A/ja
Priority to JP2023107021A priority Critical patent/JP2023130415A/ja
Application granted granted Critical
Publication of JP7307184B2 publication Critical patent/JP7307184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Measuring Volume Flow (AREA)

Abstract

方法、装置、およびシステムが開示される。一態様にて、デコード方法は、ビデオのカレントブロックに対するサブブロックベース動き予測信号を取得することと、サブブロックベース動き予測信号の１つまたは複数の空間勾配または１つまたは複数の動きベクトル差分値を取得することと、１つまたは複数の取得した空間勾配または１つまたは複数の取得した動きベクトル差分値に基づいてカレントブロックに対するリファインメント信号を取得することと、サブブロックベース動き予測信号およびリファインメント信号に基づいてカレントブロックに対するリファインした動き予測信号を取得することと、リファインした動き予測信号に基づいてカレントブロックをデコードすることとを含む。

Description

本出願は、ビデオ符号化、特に、オプティカルフローを用いたインター予測リファインメントを使用するシステム、装置、および方法に関する。
相互参照
本出願は、それぞれの内容が参照により本明細書に組み込まれている、２０１９年２月７日に出願された米国特許仮出願第６２／８０２，４２８号明細書、２０１９年３月６日に出願された米国特許仮出願第６２／８１４，６１１号明細書、２０１９年４月１５日に出願された米国特許仮出願第６２／８８３，９９９号明細書の利益を主張するものである。
従来技術
ビデオ符号化システムは、デジタルビデオ信号を圧縮して、そのような信号の記憶量および／または送信帯域幅を減らすために広く使用されている。ブロックベース、ウェーブレットベース、およびオブジェクトベースのシステムなど、ビデオ符号化システムの様々なタイプの中でも、現在ではブロックベースのハイブリッドビデオ符号化システムが最も広く使用され展開されている。ブロックベースのビデオ符号化システムの例は、ＭＰＥＧ１／２／４パート２、Ｈ．２６４／ＭＰＥＧ－４パート１０ ＡＶＣ、ＶＣ－１、ならびにＩＴＵ－Ｔ／ＳＧ１６／Ｑ．６／ＶＣＥＧおよびＩＳＯ／ＩＥＣ／ＭＰＥＧのＪＣＴ－ＶＣ（ビデオ符号化共同作業チーム：Joint Collaborative Team on Video Coding）によって開発された高効率ビデオ符号化（ＨＥＶＣ）と呼ばれる最新のビデオ符号化規格などの、国際ビデオ符号化規格を含む。
１つの代表的実施形態では、デコードする方法が、ビデオのカレントブロックについてのサブブロックベース動き予測信号を取得するステップと、サブブロックベース動き予測信号の１つもしくは複数の空間勾配、または１つもしくは複数の動きベクトル差分値を取得するステップと、１つもしくは複数の得られた空間勾配、または１つもしくは複数の得られた動きベクトル差分値に基づいて、カレントブロックについてのリファインメント信号を取得するステップと、サブブロックベース動き予測信号およびリファインメント信号に基づいて、カレントブロックについてのリファインした動き予測信号を取得するステップと、リファインした動き予測信号に基づいて、カレントブロックをデコードするステップとを含む。様々な他の実施形態も本明細書に開示される。
例として本明細書に添付された図面と共に与えられる以下の詳細な説明から、より詳細な理解を得ることができる。説明における図は例である。したがって、図および詳細な説明は限定的するものとは見なされず、他の同様に効果的な例が可能であり、見込まれる。さらに、図における同様の参照番号は同様の要素を示す。
典型的なブロックベースのビデオエンコードシステムを例示するブロック図である。 典型的なブロックベースのビデオデコーダーを例示するブロック図である。 一般化された双方向予測（generalized bi-prediction：ＧＢｉ）サポートを有する典型的なブロックベースのビデオエンコーダーを例示するブロック図である。 エンコーダーのための典型的なＧＢｉモジュールを例示する図である。 ＧＢｉサポートを有する典型的なブロックベースのビデオデコーダーを例示する図である。 デコーダーのための典型的なＧＢｉモジュールを例示する図である。 典型的な双方向オプティカルフローを例示する図である。 典型的な４パラメーターアフィンモードを例示する図である。 典型的な４パラメーターアフィンモードを例示する図である。 典型的な６パラメーターアフィンモードを例示する図である。 典型的なインターウイーブ予測（interweaved prediction）手順を例示する図である。 サブブロックにおける典型的な重み値（たとえば、ピクセルに関連付けられている）を例示する図である。 インターウイーブ予測が適用される領域、およびインターウイーブ予測が適用されない他の領域を例示する図である。 ＳｂＴＭＶＰ処理を例示する図である。 ＳｂＴＭＶＰ処理を例示する図である。 動きパラメーター導出のために使用され得る隣接した動きブロック（たとえば、４×４動きブロック）を例示する図である。 動きパラメーター導出のために使用され得る隣接した動きブロックを例示する図である。 サブブロックベースのアフィン動き補償予測の後のサブブロックＭＶおよびピクセルレベルＭＶ差分Δｖ（ｉ，ｊ）を例示する図である。 サブブロックの実際の中心に対応するＭＶを決定するための典型的な手順を例示する図である。 ４：２：０色差フォーマットにおける色差サンプルの位置を例示する図である。 拡張された予測サブブロックを例示する図である。 第１の典型的なエンコード／デコード方法を例示するフローチャートである。 第２の典型的なエンコード／デコード方法を例示するフローチャートである。 第３の典型的なエンコード／デコード方法を例示するフローチャートである。 第４の典型的なエンコード／デコード方法を例示するフローチャートである。 第５の典型的なエンコード／デコード方法を例示するフローチャートである。 第６の典型的なエンコード／デコード方法を例示するフローチャートである。 第７の典型的なエンコード／デコード方法を例示するフローチャートである。 第８の典型的なエンコード／デコード方法を例示するフローチャートである。 典型的な勾配計算方法を例示するフローチャートである。 第９の典型的なエンコード／デコード方法を例示するフローチャートである。 第１０の典型的なエンコード／デコード方法を例示するフローチャートである。 第１１の典型的なエンコード／デコード方法を例示するフローチャートである。 典型的なエンコード方法を例示するフローチャートである。 別の典型的なエンコード方法を例示するフローチャートである。 第１２の典型的なエンコード／デコード方法を例示するフローチャートである。 第１３の典型的なエンコード／デコード方法を例示するフローチャートである。 第１４の典型的なエンコード／デコード方法を例示するフローチャートである。 １つまたは複数の開示される態様が実装され得る例示的な通信システムを例示するシステム図である。 態様に係る図３４Ａに例示された通信システム内で使用され得る例示的なワイヤレス送信／受信ユニット（ＷＴＲＵ）を例示するシステム図である。 態様に係る図３４Ａに示された通信システム内で使用され得る例示的な無線アクセスネットワーク（ＲＡＮ）および例示的なコアネットワーク（ＣＮ）を例示するシステム図である。 実施形態による図３４Ａに示された通信システム内で使用され得るさらなる例示的なＲＡＮおよびさらなる例示的なＣＮを例示するシステム図である。
ブロックベースのハイブリッドビデオ符号化手順
ＨＥＶＣと同様に、ＶＶＣは、ブロックベースのハイブリッドビデオ符号化フレームワーク上に構築される。
図１は、一般的なブロックベースのハイブリッドビデオエンコードシステムを示すブロック図である。
図１を参照すると、エンコーダー１００は、ブロック毎（符号化ユニット（ＣＵ）と呼ばれる）に処理される入力ビデオ信号１０２を提供され得、高解像度（１０８０ｐ以上）ビデオ信号を効率的に圧縮するために使用され得る。ＨＥＶＣでは、ＣＵは最大６４×６４ピクセルであり得る。ＣＵは、別々の予測手順が適用され得る予測ユニットすなわちＰＵにさらに分割されることが可能である。各入力ビデオブロック（ＭＢおよび／またはＣＵ）について、空間予測１６０および／または時間予測１６２が実行され得る。空間予測（または「イントラ予測」）は、同じビデオピクチャ／スライス内の既に符号化された隣接ブロックからのピクセルを使用して、カレントビデオブロックを予測することができる。
空間予測は、ビデオ信号に固有の空間冗長性を減らすことができる。時間予測（「インター予測」または「動き補償予測」とも呼ばれる）は、既に符号化されたビデオピクチャからのピクセルを使用して、カレントビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を減らすことができる。与えられたビデオブロックについての時間予測信号は（たとえば、通常は）、カレントブロック（ＣＵ）とその参照ブロックとの間の動きの量および／または方向を示し得る１つまたは複数の動きベクトル（ＭＶ）によってシグナリングされ得る。
複数の参照ピクチャが（Ｈ．２６４／ＡＶＣまたはＨＥＶＣなどの最近のビデオ符号化規格の場合と同様に）サポートされる場合、各ビデオブロックについて、ビデオブロックの参照ピクチャインデックスが送信され得る（たとえば、追加的に送信され得る）、および／または参照ピクチャストア１６４内のどの参照ピクチャから時間予測信号が到来するかを識別するために参照インデックスが使用され得る。空間予測および／または時間予測の後、エンコーダー１００におけるモード決定ブロック１８０が、たとえばレート－歪み最適化方法／手順に基づいて、最良の予測モードを選ぶことができる。空間予測１６０もしくは時間予測１６２のいずれかの予測ブロックがカレントビデオブロック１１６から減算され得る、ならびに／またはターゲットビットレートを達成するために予測残差が変換１０４および量子化１０６を使用して非相関化され得る。量子化された残差係数は、逆量子化１１０され、逆変換１１２されて、再構成された残差を形成することができ、再構成された残差は、１２６で予測ブロックに加算され直されて、再構成されたビデオブロックを形成することができる。デブロッキングフィルタおよび／または適応ループフィルターなどのループ内フィルタリング１６６が、再構成されたビデオブロックに適用されることができ、その後、それは参照ピクチャストア１６４に入れられ、将来のビデオブロックを符号化するために使用され得る。出力ビデオビットストリーム１２０が形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化された残差係数が、エントロピー符号化ユニット１０８に送信され（たとえば、全て送信され）、さらに圧縮および／またはパッキングされてビットストリームを形成することができる。
エンコーダー１００は、上記に開示された様々な要素／モジュール／ユニットを提供するプロセッサー、メモリー、およびトランスミッターを使用して実装され得る。たとえば、トランスミッターは、ビットストリーム１２０をデコーダーに送信することができ、（２）プロセッサーは、ソフトウェアを実行して、入力ビデオ１０２の受信およびエンコーダー１００の様々なブロックに関連付けられた機能の実行を可能にするように構成され得ることを、当業者は理解する。
図２は、ブロックベースのビデオデコーダーを示すブロック図である。
図２を参照すると、ビデオデコーダー２００は、エントロピーデコードユニット２０８においてアンパッキングおよびエントロピーデコードされ得るビデオビットストリーム２０２を提供されることができる。符号化モードおよび予測情報は、予測ブロックを形成するために、空間予測ユニット２６０（イントラ符号化モードの場合）および／または時間予測ユニット２６２（インター符号化モードの場合）のうちの適切なユニットに送信され得る。残差変換係数は、残差ブロックを再構成するために、逆量子化ユニット２１０および逆変換ユニット２１２に送信され得る。再構成されたブロックは、参照ピクチャストア２６４に記憶される前に、ループ内フィルタリング２６６をさらに通過してよい。再構成されたビデオ２２０は、たとえば、表示デバイスを駆動するために、また、将来のビデオブロックを予測する際に使用するために参照ピクチャストア２６４に保存されるように送られ得る。
デコーダー２００は、上記に開示された様々な要素／モジュール／ユニットを提供することができるプロセッサー、メモリー、および受信機を使用して実装され得る。たとえば、（１）受信機は、ビットストリーム２０２を受信するように構成され得ること、ならびに（２）プロセッサーは、ソフトウェアを実行して、ビットストリーム２０２の受信、および再構成されたビデオ２２０の出力、およびデコーダー２００の様々なブロックに関連付けられた機能の実行を可能にするように構成され得ることを、当業者は理解する。
当業者は、ブロックベースのエンコーダーとブロックベースのデコーダーとの機能／動作／処理の多くが同じであることを理解する。
現代のビデオコーデックでは、双方向動き補償予測（ＭＣＰ）が、ピクチャ間の時間相関を利用することにより時間冗長性を除去する際に高効率のために使用され得る。双方向予測信号は、０．５に等しい重み値を使用して２つの単予測信号を組み合わせることによって形成され得るが、これは、単予測信号を組み合わせるのに最適ではないことがあり、特に、ある参照ピクチャから別の参照ピクチャへ照度が急速に変化する条件において最適でないことがある。いくつかのグローバル／ローカル重みおよび／またはオフセット値を、参照ピクチャ（たとえば、参照ピクチャにおけるサンプル値の一部または各々）におけるサンプル値に適用することによって、時間経過に伴う照度変動を補償するように、特定の予測技術／動作および／または手順が実装され得る。
ビデオコーデックにおける双方向動き補償予測（ＭＣＰ）の使用は、ピクチャ間の時間相関を利用することによって時間冗長性の除去を可能にする。双方向予測信号は、重み値（たとえば０．５）を使用して２つの単予測信号を組み合わせることによって形成され得る。特定のビデオでは、ある参照ピクチャから別の参照ピクチャへ照度特性が急速に変化することがある。したがって、予測技術は、グローバルまたはローカル重みおよび／またはオフセット値を、参照ピクチャにおける１つまたは複数のサンプル値に適用することによって、時間経過に伴う照度の変動を補償（たとえば、フェージング遷移）することがある。
一般化された双方向予測（ＧＢｉ）は、双方向予測モードのためのＭＣＰを改善し得る。双方向予測モードでは、与えられたサンプルｘにおける予測信号は、以下のような式１によって計算され得る。
Ｐ［ｘ］＝ｗ0＊Ｐ0［ｘ＋ｖ0］＋ｗ1＊Ｐ1［ｘ＋ｖ1］ （１）
上記の式において、Ｐ［ｘ］は、ピクチャポジションｘに配置されたサンプルｘのもたらされる予測信号を示すことができる。Ｐｉ［ｘ＋ｖｉ］は、ｉ番目のリスト（たとえば、リスト０、リスト１など）についての動きベクトル（ＭＶ）ｖｉを使用するｘの動き補償予測信号であり得る。ｗ０およびｗ１は、ブロック内の（たとえば、全ての）サンプルにわたって共有される２つの重み値であり得る。この式に基づいて、種々の予測信号は、重み値ｗ０およびｗ１を調整することによって取得され得る。ｗ０およびｗ１のいくつかの構成は、単予測および双方向予測と同じ予測を意味し得る。たとえば、（ｗ０，ｗ１）＝（１，０）は、参照リストＬ０を用いる単予測に使用され得る。（ｗ０，ｗ１）＝（０，１）は、参照リストＬ１を用いる単予測に使用され得る。（ｗ０，ｗ１）＝（０．５，０．５）は、２つの参照リストを用いる双方向予測に使用され得る。重みは、ＣＵ毎にシグナリングされ得る。シグナリングオーバヘッドを減らすために、１つの重みがシグナリングされ得るようにｗ０＋ｗ１＝１のような制約が適用されてよい。したがって、式１は、以下の式２に示されるようにさらに簡略化されてよい。
Ｐ［ｘ］＝（１－ｗ1）＊Ｐ0［ｘ＋ｖ0］＋ｗ1＊Ｐ1［ｘ＋ｖ1］ （２）
シグナリングオーバヘッドをさらに減らすために、ｗ１が離散化され得る（たとえば、－２／８、２／８、３／８、４／８、５／８、６／８、１０／８など）。こうすると、各重み値は、（たとえば、小さい）制限された範囲内のインデックス値によって示され得る。
図３は、ＧＢｉサポートを有する代表的なブロックベースのビデオエンコーダーを示すブロック図である。
エンコーダー３００は、モード決定モジュール３０４、空間予測モジュール３０６、動き予測モジュール３０８、変換モジュール３１０、量子化モジュール３１２、逆量子化モジュール３１６、逆変換モジュール３１８、ループフィルター３２０、参照ピクチャストア３２２、およびエントロピー符号化モジュール３１４を含むことができる。エンコーダーのモジュールまたはコンポーネントの一部または全部（たとえば、空間予測モジュール３０６）は、図１に関連して説明されたものと同じまたは同様であり得る。さらに、空間予測モジュール３０６および動き予測モジュール３０８は、ピクセル領域予測モジュールであってよい。したがって、入力ビデオビットストリーム３０２は入力ビデオビットストリーム１０２と同様の様式で処理され得るが、動き予測モジュール３０８はＧＢｉサポートをさらに含んでよい。このように、動き予測モジュール３０８は、加重平均方式で２つの別々の予測信号を組み合わせることができる。さらに、選択された重みインデックスは、出力ビデオビットストリーム３２４でシグナリングされ得る。
エンコーダー３００は、上記に開示された様々な要素／モジュール／ユニットを提供するプロセッサー、メモリー、およびトランスミッターを使用して実装され得る。たとえば、トランスミッターは、ビットストリーム３２４をデコーダーに送信することができ、（２）プロセッサーは、ソフトウェアを実行して、入力ビデオ３０２の受信およびエンコーダー３００の様々なブロックに関連付けられた機能の実行を可能にするように構成され得ることを、当業者は理解する。
図４は、動き予測モジュール３０８のようなエンコーダーの動き予測モジュールにおいて利用され得る代表的なＧＢｉ推定モジュール４００を示す図である。ＧＢｉ推定モジュール４００は、重み値推定モジュール４０２および動き推定モジュール４０４を含むことができる。したがって、ＧＢｉ推定モジュール４００は、最終的なインター予測信号のようなインター予測信号を生成するための処理（たとえば、２ステップ動作／処理）を利用することができる。動き推定モジュール４０４は、入力ビデオブロック４０１、および参照ピクチャストア４０６から受信された１つまたは複数の参照ピクチャを使用して、（たとえば、２つの）参照ブロックを指す２つの最適動きベクトル（ＭＶ）を検索することによって、動き推定を実行することができる。重み値推定モジュール４０２は、（１）動き推定モジュール４０４の出力（たとえば、動きベクトルｖ0およびｖ1）、参照ピクチャストア４０６からの１つまたは複数の参照ピクチャ、および重み情報Ｗを受信することができ、最適重みインデックスを検索して、カレントビデオブロックと双方向予測との間の重み付き双方向予測誤差を最小化することができる。重み情報Ｗは、ＧＢｉで使用される重みｗ0およびｗ1を指定するために、決定された重みインデックスおよび重み情報Ｗが一緒に使用され得るように、利用可能な重み値または重みセットのリストを記述することができると考えられる。一般化双方向予測の予測信号は、２つの予測ブロックの加重平均として計算され得る。ＧＢｉ推定モジュール４００の出力は、インター予測信号、動きベクトルｖ0およびｖ1、ならびに／または重みインデックスｗｅｉｇｈｔ＿ｉｄｘなど）を含むことができる。
図５は、ＧＢｉサポートを有する代表的なブロックベースのビデオデコーダーを示す図であり、このビデオデコーダーは、ＧＢｉをサポートする（たとえば、エンコーダーからの）ビットストリーム５０２、たとえば、図３に関連して説明されたエンコーダー３００により作成されたビットストリーム３２４をデコードすることができる。図５に示されるように、ビデオデコーダー５００は、エントロピデコーダ５０４、空間予測モジュール５０６、動き予測モジュール５０８、参照ピクチャストア５１０、逆量子化モジュール５１２、逆変換モジュール５１４、および／またはループフィルタモジュール５１８を含むことができる。デコーダーのモジュールの一部または全部は、図２に関連して説明されたものと同じまたは同様であり得るが、動き予測モジュール５０８は、ＧＢｉサポートをさらに含むことができる。したがって、符号化モードおよび予測情報は、空間予測またはＧＢｉサポートを有するＭＣＰを使用して予測信号を導出するために使用され得る。ＧＢｉについては、ブロック動き情報および重み値（たとえば、重み値を示すインデックスの形態）が受信され、予測ブロックを生成するためにデコードされ得る。
デコーダー５００は、上記に開示された様々な要素／モジュール／ユニットを提供することができるプロセッサー、メモリー、および受信機を使用して実装され得る。たとえば、（１）受信機は、ビットストリーム５０２を受信するように構成され得ること、ならびに（２）プロセッサーは、ソフトウェアを実行して、ビットストリーム５０２の受信、および再構成されたビデオ５２０の出力、およびデコーダー５００の様々なブロックに関連付けられた機能の実行を可能にするように構成され得ることを、当業者は理解する。
図６は、動き予測モジュール５０８のようなデコーダーの動き予測モジュールで利用され得る代表的なＧＢｉ予測モジュールを示す図である。
図６を参照すると、ＧＢｉ予測モジュールは、加重平均モジュール６０２および動き補償モジュール６０４を含むことができ、動き補償モジュール６０４は、参照ピクチャストア６０６から１つまたは複数の参照ピクチャを受信することができる。加重平均モジュール６０２は、動き補償モジュール６０４の出力、重み情報Ｗ、および重みインデックス（たとえばｗｅｉｇｈｔ＿ｉｄｘ）を受信することができる。動き補償モジュール６０４の出力は、ピクチャのブロックに対応し得る動き情報を含むことができる。ＧＢｉ予測モジュール６００は、ブロック動き情報および重み値を使用して、（たとえば、２つの）動き補償予測ブロックの加重平均としてＧＢｉの予測信号（たとえばインター予測信号６０８）を計算することができる。
オプティカルフローモデルに基づく代表的な双方向予測的予測
図７は、代表的な双方向オプティカルフローを示す図である。
図７を参照すると、双方向予測的予測はオプティカルフローモデルに基づくことができる。たとえばカレントブロック（たとえばｃｕｒｂｌｋ７００）に関連付けられた予測は、第１の予測ブロックＩ(0)７０２（たとえば時間τ0だけシフトされた、時間的に以前の予測ブロック）および第２の予測ブロックＩ(1)７０４（たとえば時間τ1だけシフトされた、時間的に未来の予測ブロック）に関連付けられたオプティカルフローに基づくことができる。ビデオ符号化における双方向予測は、既に再構成された参照ピクチャから取得された２つの時間予測ブロック７０２および７０４の組み合わせであってよい。ブロックベース動き補償（ＭＣ）の制限のために、２つの予測ブロックのサンプルの間で観察されることが可能である残りの小さな動きが存在し、それにより、動き補償予測の効率が減らされることが可能だろう。１つのブロック内の全てのサンプルについてそのような動きの影響を減らすために、双方向オプティカルフロー（ＢＩＯまたはＢＤＯＦと呼ばれる）が適用され得る。ＢＩＯは、双方向予測が使用されるとき、ブロックベースの動き補償予測に加えて実行され得るサンプル毎の動きリファインメントを提供することができる。ＢＩＯに関して、１つのブロックにおけるサンプル毎のリファインした動きベクトルの導出は、古典的なオプティカルフローモデルに基づくことができる。たとえば、Ｉ(k)（ｘ，ｙ）が、参照ピクチャリストｋ（ｋ＝０，１）から導出された予測ブロックの座標（ｘ，ｙ）におけるサンプル値であり、∂Ｉ(k)（ｘ，ｙ）／∂ｘおよび∂Ｉ(k)（ｘ，ｙ）／∂ｙが、サンプルの水平および垂直勾配である場合、オプティカルフローモデルを前提として、（ｘ，ｙ）における動きリファインメント（ｖx，ｖy）は、以下の式３によって導出され得る。
Figure 2022519358000002
図７において、第１の予測ブロック７０２に関連付けられた（ＭＶx0，ＭＶy0）および第２の予測ブロック７０４に関連付けられた（ＭＶx1，ＭＶy1）は、２つの予測ブロックＩ(0)およびＩ(1)を生成するために使用され得るブロックレベルの動きベクトルを示す。サンプル位置（ｘ，ｙ）における動きリファインメント（ｖx，ｖy）は、以下の式４に示されるように、動きリファインメント補償後のサンプルの値（たとえば、図７のＡおよびＢ）の間の差Δを最小化することによって計算され得る。
Figure 2022519358000003
たとえば、導出された動きリファインメントの規則性を保証するために、動きリファインメントは、１つの小さなユニット（たとえば、４×４ブロックまたは他の小さなユニット）内のサンプルに対して一貫性があることが企図される。ベンチマークセット（ＢＭＳ）－２．０では、（ｖx，ｖy）の値は、以下の式５に示されるように、各４×４ブロックの周りの６×６ウィンドウΩ内のΔを最小化することによって導出される。
Figure 2022519358000004
式５に指定された最適化を解くために、ＢＩＯは、水平方向および垂直方向に（たとえば、次に垂直方向に）動きリファインメントを最適化することができる漸進的な方法／操作／手順を使用することができる。これは、以下のような方程式／不等式６および７をもたらし得る。
Figure 2022519358000005
Figure 2022519358000006
ここで、
Figure 2022519358000007
は、入力以下の最大値を出力し得る床関数とすることができ、ｔｈBIOは、動きリファインメント閾値とすることができ、たとえば、符号化ノイズおよび／または不規則な局所的動きによる誤差伝播を防止するためのものであり、２18-BDと等しい。Ｓ1，Ｓ2，Ｓ3，Ｓ5およびＳ6の値は、以下の式８～１２に示されるようにさらに計算され得る。
Ｓ1＝Σ(i,j)∈Ωψx（ｉ，ｊ）・ψx（ｉ，ｊ） （８）
Ｓ3＝Σ(i,j)∈Ωθ（ｉ，ｊ）・ψx（ｉ，ｊ）・２L （９）
Ｓ2＝Σ(i,j)∈Ωψx（ｉ，ｊ）・ψy（ｉ，ｊ） （１０）
Ｓ5＝Σ(i,j)∈Ωψy（ｉ，ｊ）・ψy（ｉ，ｊ）・２ （１１）
Ｓ6＝Σ(i,j)∈Ωθ（ｉ，ｊ）・ψy（ｉ，ｊ）・２L+1 （１２）
ここで、様々な勾配が以下の式１３～１５で示され得る。
Figure 2022519358000008
Figure 2022519358000009
Figure 2022519358000010
ＢＭＳ－２．０では、水平方向と垂直方向の両方での式１３～１５におけるＢＩＯ勾配は、以下の式１６および１７に示されるように、各Ｌ０／Ｌ１予測ブロックの１つのサンプルポジションにおいて（たとえば、導出される勾配の方向に応じて水平または垂直に）２つの隣接するサンプルの間の差を計算することによって、直に取得されることが可能である。
Figure 2022519358000011
Figure 2022519358000012
ｋ＝０，１
式８～１２において、Ｌは、たとえばＢＭＳ－２．０において５に設定され得る、データ精度を維持するための内部ＢＩＯ処理／手順に関するビット深度増加であり得る。より小さい値による区分を回避するために、式６および７における調整パラメーターｒおよびｍが、以下の式１８および１９に示すように定義され得る。
ｒ＝５００・４BD-8 （１８）
ｍ＝７００・４BD-8 （１９）
ここで、ＢＤは、入力ビデオのビット深度であり得る。式４および５によって導出された動きリファインメントに基づいて、以下の式２０および２１で指定されるように、オプティカルフロー式３に基づいて、動き軌道に沿ってＬ０／Ｌ１予測サンプルを補間することによって、カレントＣＵの最終的な双方向予測信号が計算されることが可能である。
Figure 2022519358000013
Figure 2022519358000014
ここで、ｓｈｉｆｔおよびοoffsetは、双方向予測のためにＬ０予測信号およびＬ１予測信号を組み合わせるために適用され得る右シフトおよびオフセットとすることができ、たとえば、それぞれ、１５－ＢＤおよび１＜＜（１４－ＢＤ）＋２・（１＜＜１３）に等しく設定され得る。ｒｎｄ（・）は、入力値を最も近い整数値に丸めることがある丸め関数である。
代表的なアフィンモード
ＨＥＶＣでは、動き補償予測に並進動き（並進動きのみ）モデルが適用される。現実の世界では、多くの種類の動き（たとえば、ズームイン／アウト、回転、遠近法の動き、および他の不規則な動き）が存在する。ＶＶＣテストモデル（ＶＴＭ）－２．０では、アフィン動き補償予測が適用される。アフィン動きモデルは、４パラメーターまたは６パラメーターのいずれかである。インター符号化されたＣＵに対する第１のフラグは、インター予測に並進動きモデルが適用されるかそれともアフィン動きモデルが適用されるかを示すためにシグナリングされる。アフィン動きモデルが適用される場合、モデルが４パラメータモデルであるかそれとも６パラメータモデルであるかを示すために、第２のフラグが送信される。
４パラメータアフィン動きモデルは、水平および垂直方向の並進移動のための２つのパラメーター、両方向のズーム動きのための１つのパラメーター、ならびに両方向の回転動きのための１つのパラメーターを有する。水平ズームパラメータは垂直ズームパラメータと等しい。水平回転パラメーターは垂直回転パラメーターと等しい。４パラメータアフィン動きモデルは、カレントＣＵの左上隅８１０および右上隅８２０で定義された２つの制御点ポジションにおける２つの動きベクトルを使用してＶＴＭで符号化される。カレントＣＵの他の隅および／またはエッジなどにおける他の制御点ポジションも可能である。
１つのアフィン動きモデルが上記で説明されているが、他のアフィンモデルも同様に可能であり、本明細書の様々な実施形態で使用されてよい。
図８Ａおよび図８Ｂは、代表的な４パラメータアフィンモデルおよびアフィンブロックのサブブロックレベル動き導出を示す図である。図８Ａおよび図８Ｂを参照すると、ブロックのアフィン動きフィールドは、２つの制御点動きベクトルによって、第１の制御点８１０（カレントブロックの左上隅）および第２の制御点８２０（カレントブロックの右上隅）においてそれぞれ記述される。制御点動きに基づいて、１つのアフィン符号化されたブロックの動きフィールド（ｖx，ｖy）は、以下の式２２および２３に示されるように記述される。
Figure 2022519358000015
Figure 2022519358000016
ここで、（ｖ0x，ｖ0y）は、左上隅制御点８１０の動きベクトルとすることができ、（ｖ1x，ｖ1y）は、図８Ａに示されるように右上隅制御点８２０の動きベクトルとすることができ、ｗは、ＣＵの幅とすることができる。たとえば、アフィン符号化されたＣＵの動きフィールドは４×４ブロックレベルで導出され、すなわち、（ｖx，ｖy）は、カレントＣＵ内の４×４ブロックのそれぞれについて導出され、対応する４×４ブロックに適用される。
４パラメータアフィンモデルの４つのパラメーターは、反復的に推定され得る。ステップｋにおけるＭＶペアは、
Figure 2022519358000017
として示され、元の信号（たとえば輝度信号）は、Ｉ（ｉ，ｊ）として示され、予測信号（たとえば輝度信号）は、Ｉ’k（ｉ，ｊ）として示され得る。空間勾配ｇx（ｉ，ｊ）およびｇy（ｉ，ｊ）は、たとえばそれぞれ、水平方向および／または垂直方向で予測信号Ｉ’k（ｉ，ｊ）に適用されるソーベルフィルタを用いて導出され得る。式３の導出は、以下の式２４および２５に示されるように表されることが可能である。
Figure 2022519358000018
ここで、ステップｋにおいて、（ａ，ｂ）はデルタ並進パラメーターとすることができ、（ｃ，ｄ）はデルタズームおよび回転パラメーターとすることができる。制御点におけるデルタＭＶは、以下の式２６～２９に示されるように、その座標を用いて導出され得る。たとえば、（０，０）、（ｗ，０）は、それぞれ、左上制御点８１０および右上制御点８２０の座標であり得る。
Figure 2022519358000019
Figure 2022519358000020
オプティカルフロー式に基づいて、強度（たとえば輝度）の変化と空間勾配および時間的移動との間の関係は、以下のように式３０で定式化される。
Figure 2022519358000021
Figure 2022519358000022
および
Figure 2022519358000023
を式２４で置き換えることによって、パラメータ（ａ，ｂ，ｃ，ｄ）についての式３１が以下のように取得される。
Ｉ’k（ｉ，ｊ）－Ｉ（ｉ，ｊ）＝（ｇx（ｉ，ｊ）＊ｉ＋ｇy（ｉ，ｊ）＊ｊ）＊ｃ＋（－ｇx（ｉ，ｊ）＊ｊ＋ｇy（ｉ，ｊ）＊ｉ）＊ｄ＋ｇx（ｉ，ｊ）＊ａ＋ｇy（ｉ，ｊ）＊ｂ （３１）
ＣＵにおけるサンプル（たとえば、全てのサンプル）は式３１を満たすので、パラメータセット（たとえば、ａ、ｂ、ｃ、ｄ）は、たとえば最小二乗誤差法を使用して解かれることが可能である。ステップ（ｋ＋１）での２つの制御点
Figure 2022519358000024
におけるＭＶは、式２６～２９を用いて解かれることができ、それらは、特定の精度（たとえば、１／４ピクセル精度（ｐｅｌ）または他のサブピクセル精度など）に丸められることができる。反復を使用して、２つの制御点におけるＭＶは、たとえば収束まで（たとえば、パラメータ（ａ、ｂ、ｃ、ｄ）が全てゼロであるとき、または反復時間が事前定義された限界に達するときまで）、リファインし得る。
図９は、代表的な６パラメーターアフィンモードを示す図であり、図において、たとえば、Ｖ0、Ｖ1、およびＶ2は、それぞれ制御点９１０、９２０、および９３０における動きベクトルであり、（ＭＶx、ＭＶy）は、ポジション（ｘ，ｙ）を中心とするサブブロックの動きベクトルである。
図９を参照すると、（たとえば、６つのパラメーターを有する）アフィン動きモデルは、（１）水平方向の並進移動のためのパラメーター、（２）垂直方向の並進移動のためのパラメーター、（３）水平方向のズーム動きのためのパラメーター、（４）水平方向の回転動きのためのパラメーター、（５）垂直方向のズーム動きのためのパラメーター、および／または（６）垂直方向の回転動きのためのパラメーターのいずれかを有することができる。６パラメータアフィン動きモデルは、３つの制御点９１０、９２０、および９３０における３つのＭＶを用いて符号化され得る。図９に示されるように、６パラメーターのアフィン符号化されたＣＵについての３つの制御点９１０、９２０、および９３０は、それぞれＣＵの左上隅、右上隅、および左下隅で定義される。左上制御点９１０における動きは、並進動きに関係付けられてよく、右上制御点９２０における動きは、水平方向の回転動きおよび／または水平方向のズーム動きに関係付けられてよく、左下制御点９３０における動きは、垂直方向の回転および／または垂直方向のズーム動きに関係付けられてよい。６パラメータアフィン動きモデルでは、水平方向の回転動きおよび／またはズーム動きは、垂直方向における同じ動きとは同じでないことがある。各サブブロック（ｖx，ｖy）の動きベクトルは、以下の式３２および３３に示されるように、制御点９１０、９２０、および９３０における３つのＭＶを使用して導出され得る。
Figure 2022519358000025
Figure 2022519358000026
ここで、（ｖ2x，ｖ2y）は、左下制御点９３０の動きベクトルＶ2とすることができ、（ｘ、ｙ）は、サブブロックの中心ポジションとすることができ、ｗは、ＣＵの幅とすることができ、ｈは、ＣＵの高さとすることができる。
６パラメータアフィンモデルの６つのパラメーターは同様の方法で推定され得る。式２４および２５は、以下の式３４および３５に示されるように変更され得る。
Figure 2022519358000027
ここで、ステップｋにおいて、（ａ，ｂ）はデルタ並進パラメーターとすることができ、（ｃ，ｄ）は水平方向についてのデルタズームおよび回転パラメーターとすることができ、（ｅ，ｆ）は垂直方向についてのデルタズームおよび回転パラメーターとすることができる。式３１は、以下の式３６に示されるように変更され得る。
Ｉ’k（ｉ，ｊ）－Ｉ（ｉ，ｊ）＝（ｇx（ｉ，ｊ）＊ｉ）＊ｃ＋（ｇx（ｉ，ｊ）＊ｊ）＊ｄ＋（ｇy（ｉ，ｊ）＊ｉ）＊ｅ＋（ｇy（ｉ，ｊ）＊ｊ）＊ｆ＋ｇx（ｉ，ｊ）＊ａ＋ｇy（ｉ，ｊ）＊ｂ （３６）
パラメータセット（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）は、たとえば、ＣＵ内のサンプル（たとえば、全てのサンプル）を考慮することによって最小二乗法／手順／演算を使用して解かれ得る。左上制御点のＭＶ
Figure 2022519358000028
は、式２６～２９を用いて計算され得る。右上制御点のＭＶ
Figure 2022519358000029
は、以下に示されるような式３７および３８を用いて計算され得る。左下制御点のＭＶ
Figure 2022519358000030
は、以下に示されるような式３９および４０を用いて計算され得る。
Figure 2022519358000031
Figure 2022519358000032
図８Ａ、図８Ｂおよび図９では４および６パラメータアフィンモデルが示されているが、当業者は、異なる数のパラメーターおよび／または異なる制御点を有するアフィンモデルが同様に可能であることを理解する。
本明細書ではオプティカルフローリファインメントと関連してアフィンモデルが説明されているが、当業者は、オプティカルフローリファインメントと関連した他の動きモデルも同様に可能であることを理解する。
アフィン動き補償のための代表的なインターウイーブ予測
アフィン動き補償（ＡＭＣ）では、たとえばＶＴＭにおいて、符号化ブロックは、４×４程度の小さなサブブロックに区分され、その各々には、たとえば図８Ａおよび図８Ｂまたは図９に示されるように、アフィンモデルによって導出された個々の動きベクトル（ＭＶ）が割り当てられ得る。４パラメーターまたは６パラメータアフィンモデルでは、ＭＶは、２つまたは３つの制御点のＭＶから導出され得る。
ＡＭＣは、サブブロックのサイズに関連付けられたジレンマに直面する可能である。より小さいサブブロックでは、ＡＭＣはより良い符号化性能を達成し得るが、より大きい複雑さの負担に悩まされることがある。
図１０は、たとえば複雑さの穏やかな増大と引換えに、ＭＶのより細かい粒度を達成することができる、代表的なインターウイーブ予測手順を示す図である。
図１０では、符号化ブロック１０１０は、２つの異なる区分パターン（たとえば、第１のパターン０および第２のパターン１）を有するサブブロックに区分され得る。図１０に示されるように、第１の区分パターン０（たとえば、第１のサブブロックパターン、例として４×４サブブロックパターン）は、ＶＴＭにおけるものと同じであってよく、第２の区分パターン１（たとえば、重なるおよび／またはインターウイーブされた第２のサブブロックパターン）は、符号化ブロック１０１０を、第１の区分パターン０から２×２オフセットを有する４×４サブブロックへ区分してよい。２つの区分パターン（たとえば、第１の区分パターン０および第２の区分パターン１）を用いるＡＭＣによって、いくつかの補助予測（たとえば、２つの補助予測Ｐ0およびＰ1）が生成され得る。区分パターン０および１のそれぞれにおける各サブブロックのＭＶは、アフィンモデルによって制御点動きベクトル（ＣＰＭＶ）から導出され得る。
最終予測Ｐは、以下の式４１および４２に示されるように定式化された補助予測（たとえば、２つの補助予測Ｐ0およびＰ1）の加重和として計算され得る。
Figure 2022519358000033
図１１は、サブブロックにおける代表的な重み値（たとえば、ピクセルに関連付けられている）を示す図である。図１１を参照すると、サブブロック１１００の中心（たとえば中心ピクセル）に配置された補助予測サンプルは、重み値３に関連付けられてよく、サブブロック１１００の境界に配置された補助予測サンプルは、重み値１に関連付けられてよい。
図１２は、インターウイーブ予測が適用される領域、およびインターウイーブ予測が適用されない他の領域を示す図である。図１２を参照すると、領域１２００は、たとえばインターウイーブ予測が適用される４×４サブブロックを有する、（図１２に示されるように網掛けされていない）第１の領域１２１０と、たとえばインターウイーブ予測が適用されない、（図１２に示されるように網掛けされた）第２の領域１２２０とを含むことができる。小さなブロック動き補償を回避するために、インターウイーブ予測は、たとえば第１の区分パターンと第２の区分パターンの両方について、サブブロックのサイズが閾値サイズ（たとえば４×４）を満たす領域のみに適用され得る。
ＶＴＭ－３．０では、サブブロックのサイズは、色差成分において４×４であってよく、インターウイーブ予測は、色差成分および／または輝度成分に対して適用されてよい。サブブロック（たとえば全てのサブブロック）について動き補償（ＭＣ）を行うために使用される領域は、ＡＭＣにおいて全体として一緒に取り出され得るので、帯域幅は、インターウイーブ予測によって増大されないことがある。柔軟性のため、フラグが、インターウイーブ予測が使用されるか否かを示すためにスライスヘッダでシグナリングされてよい。インターウイーブ予測のために、フラグは、１ビットフラグ（たとえば、常に０または１としてシグナリングされ得る第１の論理レベル）としてシグナリングされてよい。
サブブロックベースの時間的動きベクトル予測（Sub-block-Based Temporal Motion Vector Prediction：ＳｂＴＭＶＰ）のための代表的な手順
ＳｂＴＭＶＰは、ＶＴＭによってサポートされる。ＨＥＶＣにおける時間的動きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、たとえば、カレントピクチャにおけるＣＵの動きベクトル予測およびマージモードを改善するために、同一位置のピクチャにおける動きフィールドを使用することが可能である。ＴＭＶＰによって使用される同じ同一位置のピクチャがＳｂＴＭＶＰに使用されてよい。ＳｂＴＭＶＰは、ＴＭＶＰと異なるのは、（１）ＴＭＶＰはＣＵレベルでの動きを予測することができ、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測することができること、および／または（２）ＴＭＶＰは、同一位置のピクチャ内の同一位置のブロックから時間的動きベクトルを取り出すことができ（たとえば、同一位置のブロックは、カレントＣＵに対して右下または中央のブロックであってよく）、ＳｂＴＭＶＰは、同一位置のピクチャから時間的動き情報を取り出す前に動きシフトを適用することができる（たとえば、カレントＣＵの空間的隣接ブロックのうちの１つからの動きベクトルから、動きシフトが取得され得る）ことなどであり得る。
図１３Ａおよび図１３Ｂは、ＳｂＴＭＶＰ処理を示す図である。図１３Ａは、ＡＴＭＶＰによって使用される空間的隣接ブロックを示し、図１３Ｂは、空間的な隣接からの動きシフトを適用し、対応する同一位置のサブＣＵからの動き情報をスケーリングすることによる、サブＣＵ動きフィールドの導出を示す。
図１３Ａおよび図１３Ｂを参照すると、ＳｂＴＭＶＰは、カレントＣＵ動作内で（たとえば、２つの動作で）サブＣＵの動きベクトルを予測することができる。第１の動作では、空間的な隣接ブロックＡ１、Ｂ１、Ｂ０およびＡ０がＡ１、Ｂ１、Ｂ０およびＡ０の順に検査され得る。同一位置のピクチャをその参照ピクチャとして使用する動きベクトルを有する第１の空間的な隣接ブロックが識別されるとすぐに、および／または後に、この動きベクトルは、適用される動きシフトとして選択され得る。そのような動きが空間的な隣接ブロックから識別されない場合、動きシフトは（０，０）に設定され得る。第２の動作では、図１３Ｂに示すように、第１の動作で識別された動きシフトが適用され（たとえば、カレントブロックの座標に追加され）、同一位置のピクチャから、サブＣＵレベルの動き情報（たとえば、動きベクトルおよび参照インデックス）を取得することができる。図１３Ｂの例は、ブロックＡ１の動きに設定された動きシフトを示す。各サブＣＵについて、同一位置のピクチャにおけるその対応するブロック（たとえば、中心サンプルをカバーする最小の動きグリッド）の動き情報が、そのサブＣＵの動き情報を導出するために使用され得る。同一位置のサブＣＵの動き情報が識別された後、ＨＥＶＣのＴＭＶＰ処理と同様の方法で、動き情報は、カレントサブＣＵの動きベクトルおよび参照インデックスに変換され得る。たとえば、時間的動きスケーリングが、時間的動きベクトルの参照ピクチャをカレントＣＵのそれらに揃えるために適用され得る。
組み合わされたサブブロックベースのマージリストは、ＶＴＭ－３において使用されてよく、たとえば、サブブロックベースのマージモードのシグナリングに使用するために、ＳｂＴＭＶＰとアフィンマージ候補の両方を含有しまたは含むことができる。ＳｂＴＭＶＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって有効／無効にされ得る。ＳｂＴＭＶＰモードが有効にされた場合、サブブロックベースのマージ候補のリストの最初のエントリとしてＳｂＴＭＶＰ予測子が追加され、アフィンマージ候補が後続し得る。サブブロックベースのマージリストのサイズはＳＰＳでシグナリングされてよく、サブブロックベースのマージリストの最大許容サイズは整数とされ、たとえばＶＴＭ３では５にされてよい。
ＳｂＴＭＶＰで使用されるサブＣＵサイズは、たとえば、８×８または別のサブＣＵサイズで固定されてよく、アフィンマージモードで行われるように、ＳｂＴＭＶＰモードは、８以上であり得る幅および高さの両方を有するＣＵに適用可能であり得る（たとえば、それのみに適用可能であり得る）。追加のＳｂＴＭＶＰマージ候補のエンコードロジックは、他のマージ候補と同じであってよい。たとえば、ＰまたはＢスライスにおける各ＣＵについて、追加のレート歪み（ＲＤ）チェックが、ＳｂＴＭＶＰ候補を使用するかどうかを決定するために実行され得る。
代表的な回帰ベースの動きベクトルフィールド（Regression based Motion Vector Field）
ブロック内の動きベクトルの細かい粒度を提供するために、回帰ベースの動きベクトルフィールド（ＲＭＶＦ）ツールは、（たとえば、ＪＶＥＴ－Ｍ０３０２で）実装されてよく、これにより、空間的に隣接した動きベクトルに基づいて、サブブロックレベルで各ブロックの動きベクトルをモデル化することを試みることができる。
図１４は、動きパラメーター導出のために使用され得る隣接した動きブロック（たとえば、４×４動きブロック）を示す図である。ブロックの各側からの４×４サブブロックベースの（およびそれらの中心位置における）直接隣接する動きベクトルの１つの行１４１０および１つの列１４２０が、回帰処理で使用され得る。たとえば、それらの隣接した動きベクトルはＲＭＶＦ動きパラメーター導出で使用され得る。
図１５は、隣接した動き情報を減らす（たとえば、図１４に関する回帰処理で使用される隣接した動きブロックの数が減らされ得る）、動きパラメーター導出のために使用され得る隣接した動きブロックを示す図である。隣接した４×４動きブロックのＲＭＶＦパラメーター導出のための隣接した動き情報の減らされた量は、動きパラメーター導出のために使用され得る（たとえば、約半分、たとえば、１つおきの隣接した動きブロックが動きパラメーター導出に使用され得る）。行１４１０および列１４２０の特定の隣接した動きブロックが、隣接した動き情報を減らすために選択、決定、または事前決定され得る。
行１４１０および列１４２０の隣接した動きブロックの約半分が選択されたように示されているが、たとえば、回帰処理で使用される隣接した動きブロックの数を減らすように、（他の動きブロック位置を含む）他の割合が選択されてよい。
動きパラメーター導出のための動き情報を収集するときに、図に示される５つの領域（たとえば、左下、左、左上、上、右上）が使用され得る。右上および左下の参照動き領域は、カレントブロックの対応する幅または高さの半分（たとえば半分のみ）に制限され得る。
ＲＭＶＦモードでは、ブロックの動きは、６パラメーター動きモデルによって定義され得る。これらのパラメーターａxx、ａxy、ａyx、ａyy、ｂx、およびｂyは、平均二乗誤差（ＭＳＥ）の意味における線形回帰モデルを解くことによって計算され得る。回帰モデルへの入力は、上記に定義されたように、利用可能な隣接した４×４サブブロックの中心位置（ｘ，ｙ）および／または動きベクトル（ｍｖxおよびｍｖy）から構成されてよく、またはそれらを含んでもよい。
（ＸsubPU，ＹsubPU）に中心位置を有する８×８サブブロックの動きベクトル（ＭＶX_subPU，ＭＶY_subPU）は、以下の式４３に示されるように計算され得る。
Figure 2022519358000034
動きベクトルは、サブブロック（たとえば各サブブロック）の中心位置に対する８×８サブブロックについて計算することができる。たとえば、動き補償は、ＲＭＶＦモードでは８×８サブブロック精度で動き補償が適用され得る。動きベクトルフィールドについての効率的なモデリングを得るために、ＲＭＶＦツールは、候補領域の少なくとも３つからの少なくとも１つの動きベクトルが利用可能な場合のみに適用される。
アフィン動きモデルパラメーターは、ＣＵにおける特定のピクセル（たとえば各ピクセル）の動きベクトルを導出するために使用されることが可能である。ピクセルベースのアフィン動き補償予測の生成の複雑さは高い（たとえば、非常に高い）ことがあるが、この種のサンプルベースＭＣに対するメモリアクセス帯域幅要求が高いことがあるため、サブブロックベースのアフィン動き補償手順／方法が（たとえば、ＶＶＣによって）実装されてよい。たとえば、ＣＵは、サブブロック（たとえば、４×４サブブロック、正方形サブブロック、および／または非正方形サブブロック）に区分されてよい。サブブロックのそれぞれは、アフィンモデルパラメータから導出され得るＭＶを割り当てられ得る。ＭＶは、サブブロックの中心（またはサブブロック内の別の位置）におけるＭＶであり得る。サブブロック内のピクセル（たとえば、サブブロック内の全てのピクセル）は、サブブロックＭＶを共有し得る。サブブロックベースのアフィン動き補償は、符号化効率と複雑さとの間のトレードオフであり得る。より細かい粒度の動き補償を達成するために、アフィン動き補償のためのインターウイーブ予測が実装されることがあり、２つのサブブロック動き補償予測を加重平均することによって生成され得る。インターウイーブ予測は、サブブロック毎に２つ以上の動き補償予測を必要とし、および／または使用することができ、したがって、メモリー帯域幅および複雑さを増大させることがある。
特定の代表的実施形態では、オプティカルフローを用いて（たとえば、オプティカルフローを使用して、および／またはオプティカルフローに基づいて）サブブロックベースのアフィン動き補償予測をリファインするために、方法、装置、手順、および／または操作が実装され得る。たとえば、サブブロックベースのアフィン動き補償が実行された後、ピクセル強度は、オプティカルフロー式によって導出された差分値を加えることによってリファインしてよく、これは、オプティカルフローによる予測リファインメント（prediction refinement with optical flow：ＰＲＯＦ）と呼ばれる。ＰＲＯＦは、複雑さを大きく増大させることなくピクセルレベルの粒度を達成することが可能であり、サブブロックベースのアフィン動作補償と同様の最悪ケースのメモリアクセス帯域幅を維持することがある。ＰＲＯＦは、予測信号（たとえば、リファインしていない動き予測信号および／またはサブブロックベース動き予測信号）に加えて、ピクセルレベルの動きベクトルフィールドが利用可能である（たとえば、計算され得る）任意のシナリオにおいて適用されてよい。アフィンモードに加えて、またはそれ以外に、予測ＰＲＯＦ手順が他のサブブロック予測モードで使用されてよい。ＳｂＴＭＶＰおよび／またはＲＭＶＦなどのサブブロックモードにおけるＰＲＯＦの適用が実装されてよい。双方向予測におけるＰＲＯＦの適用は本明細書で説明される。
アフィンモードのための代表的なＰＲＯＦ手順
特定の代表的実施形態では、方法、装置、および／または手順が、サブブロックベースのアフィン動き補償予測の粒度を改善するために、たとえば、オプティカルフロー（たとえばオプティカルフロー式）から導出されるピクセル強度の変化を適用することによって実装されることができ、たとえばＶＶＣにおける既存のアフィン動き補償と同じ、サブブロック毎に１つの動き補償動作（たとえば、サブブロック毎に１つのみの動き補償動作）を使用する、および／または要求することができる。
図１６は、サブブロックベースのアフィン動き補償予測の後のサブブロックＭＶおよびピクセルレベル動きベクトル差分Δｖ（ｉ，ｊ）（たとえば、ピクセルについてのリファインメントＭＶと呼ばれることもある）を示す図である。
図１６を参照すると、ＣＵ１６００は、サブブロック１６１０、１６２０、１６３０、および１６４０を含むことができる。各サブブロック１６１０、１６２０、１６３０および１６４０は、複数のピクセル（たとえば、サブブロック１６１０内の１６ピクセル）を含むことができる。サブブロック１６１０の各ピクセル１６６０（ｉ，ｊ）に関連付けられたサブブロックＭＶ１６５０（たとえば、粗いまたは平均のサブブロックＭＶとして）が示されている。サブブロック１６１０内の各それぞれのピクセル（ｉ，ｊ）に対して、リファインメントＭＶ１６７０（ｉ，ｊ）（これは、ピクセル１６６０（ｉ，ｊ）の実際のＭＶとサブブロックＭＶ１６５０との差を示すことができる（ここで、（ｉ，ｊ）はサブブロック１６１０内のピクセルポジションを定義する）が決定され得る。図１６を明瞭にするために、リファインメントＭＶ１６７０（１，１）のみがラベル付けされているが、他の個々のピクセルレベルの動きが示されている。特定の代表的実施形態では、リファインメントＭＶ１６７０（ｉ，ｊ）は、ピクセルレベル動きベクトル差Δｖ（ｉ，ｊ）（動きベクトル差と呼ばれることもある）として決定され得る。
特定の代表的実施形態では、以下の動作のいずれかを含む方法、装置、手順および／動作が実装され得る。
（１）第１の動作において、サブブロックベースのＡＭＣが本明細書に開示されたように実行されて、サブブロックベースの動き予測Ｉ（ｉ，ｊ）を生成することができる。
（２）第２の動作において、各サンプル位置におけるサブブロックベースの動き予測Ｉ（ｉ，ｊ）の空間勾配ｇx（ｉ，ｊ）およびｇy（ｉ，ｊ）が計算されることができる（一例では、空間勾配は、ＢＤＯＦで使用される勾配生成と同じ処理を使用して生成され得る。たとえば、サンプル位置における水平勾配が、その右の隣接サンプルとその左の隣接サンプルとの間の差として計算され得る、および／またはサンプル位置における垂直勾配が、その下の隣接サンプルとその上の隣接サンプルとの間の差として計算され得る。別の例では、空間勾配がソーベルフィルタ）を使用して生成されることが可能である。
（３）第３の動作において、たとえば以下の式４４に示されるように、オプティカルフロー式を使用しておよび／またはそれによってＣＵにおけるピクセル毎の輝度強度変化が計算されることができる。
ΔＩ（ｉ，ｊ）＝ｇx（ｉ，ｊ）＊Δｖx（ｉ，ｊ）＋ｇy（ｉ，ｊ）＊Δｖy（ｉ，ｊ） （４４）
ここで、動きベクトル差Δｖ（ｉ，ｊ）の値は、図１６に示されるように、ｖ（ｉ，ｊ）で示されるサンプル位置（ｉ，ｊ）について計算されるピクセルレベルＭＶと、ピクセル１６６０（ｉ，ｊ）をカバーするサブブロックのサブブロックレベルＭＶ１６５０との間の差１６７０である。ピクセルレベルＭＶ ｖ（ｉ，ｊ）は、４パラメータアフィンモデルについての式２２および２３、または６パラメータアフィンモデルについての式３２および３３によって、制御点ＭＶから導出され得る。
特定の代表的実施形態では、動きベクトル差分値Δｖ（ｉ，ｊ）は、式２４および２５により、または式２４および２５を使用して、アフィンモデルパラメータによって導出されてよく、式中、ｘおよびｙは、ピクセル位置からサブブロックの中心までのオフセットであり得る。アフィンモデルパラメータおよびピクセルオフセットはサブブロック毎に変更されないため、動きベクトル差分値Δｖ（ｉ，ｊ）は、第１のサブブロックについて計算され、同じＣＵ内の他のサブブロックで再利用され得る。たとえば、ピクセルレベルＭＶとサブブロックＭＶでは並進アフィンパラメータ（ａ，ｂ）が同じであってよいので、ピクセルレベルＭＶとサブブロックレベルＭＶの間の差は、以下のように式４５および４６を使用して計算され得る。（ｃ，ｄ，ｅ，ｆ）は、４つの追加のアフィンパラメータ（たとえば、並進アフィンパラメータ以外の４つのアフィンパラメータ）とすることができる。
Figure 2022519358000035
ここで、（ｉ、ｊ）は、サブブロックの左上ポジションに対するピクセル位置とすることができ、（ｘsb，ｙsb）は、サブブロックの左上ポジションに対するサブブロックの中心ポジションとすることができる。
図１７Ａは、サブブロックの実際の中心に対応するＭＶを決定するための代表的な手順を示す図である。
図１７Ａを参照すると、２つのサブブロックＳＢ0およびＳＢ1が４×４サブブロックとして示されている。サブブロック幅がＳＷであり、サブブロック高さがＳＨの場合、（（ＳＷ－１）／２，（ＳＨ－１）／２）のようにサブブロック中心ポジションが示され得る。他の例では、サブブロック中心ポジションは、（ＳＷ／２，ＳＨ／２）として示されるポジションに基づいて推定され得る。実際の中心点は、（（ＳＷ－１）／２，（ＳＨ－１）／２）を使用して、第１のサブブロックＳＢ0についてはＰ0’であり、第２のサブブロックＳＢ1についてはＰ1’である。推定された中心点は、（たとえばＶＶＣにおいて、）たとえば（ＳＷ／２，ＳＨ／２）を使用して、第１のサブブロックＳＢ0についてはＰ0であり、第２のサブブロックＳＢ1についてはＰ1である。特定の代表的実施形態では、サブブロックのＭＶは、（ＶＶＣで使用される）推定された中心ポジションではなく、より正確に実際の中心ポジションに基づくことができる。
図１７Ｂは、４：２：０色差フォーマットにおける色差サンプルの位置を示す図である。図１７Ｂを参照すると、色差サブブロックＭＶは、輝度サブブロックのＭＶによって導出され得る。たとえば、４：２：０色差フォーマットにおいて、１つの４×４色差サブブロックは、８×８輝度領域に対応することができる。代表的実施形態は４：２：０色差フォーマットと関連して示されているが、当業者は、４：２：２色差フォーマットなどの他の色差フォーマットが同様に使用され得ることを理解する。
色差サブブロックＭＶは、左上４×４輝度サブブロックＭＶおよび右下輝度サブブロックＭＶを平均することによって導出され得る。導出された色差サブブロックＭＶは、色差サンプル位置タイプ０、２、および／または３に対して、色差サブブロックの中心に配置される場合もあれば、そうでない場合もある。色差サンプル位置タイプ０、２、および３に対して、色差サブブロック中心位置（ｘsb，ｙsb）がオフセットによって調整されてよく、または調整される必要があり得る。たとえば、４：２：０色差サンプル位置タイプ０、２、および３に対して、以下の式４７～４９に示されるように調整が適用され得る。
Figure 2022519358000036
Figure 2022519358000037
Figure 2022519358000038
サブブロックベースの動き予測Ｉ（ｉ，ｊ）は、強度変化（たとえば、例として式４４に提供されるような輝度強度変化）を加えることによってリファインし得る。最終的な（すなわちリファインした）予測Ｉ’（ｉ，ｊ）は、以下のように式５０によってまたは式５０を使用して生成され得る。
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＋ΔＩ（ｉ，ｊ） （５０）
リファインメントが適用されると、サブブロックベースのアフィン動き補償は、最悪ケースの帯域幅および／またはメモリー帯域幅を増大させることなく、ピクセルレベルの粒度を達成し得る。
予測および／または勾配計算の精度を維持するために、サブブロックベースのＡＭＣの動作関係性能におけるビット深度が、符号化ビット深度よりも高くなり得る中間ビット深度にされ得る。
上述された処理は、（たとえば、輝度強度のリファインメントに加えてまたは代えて）色差強度をリファインするために使用されてよい。一例では、式５０で使用される強度差は、以下の式５１に示されるように、予測に加えられる前に重み係数ｗによって乗算され得る。
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＋ｗ・ΔＩ（ｉ，ｊ） （５１）
ここで、ｗは、０から１までの値に設定されてよく、ｗは、ＣＵレベルまたはピクチャレベルでシグナリングされ得る。たとえば、ｗは重みインデックスによってシグナリングされ得る。たとえば、ｗをシグナリングするためにインデックステーブル１が使用され得る。
Figure 2022519358000039
エンコーダアルゴリズムは、最も低いレート歪コストをもたらすｗの値を選ぶことができる。
予測サンプルの勾配、たとえば、ｇxおよび／またはｇyは、異なる方法で計算され得る。特定の代表的実施形態では、予測サンプルｇxおよびｇyは、２次元ソーベルフィルタを適用することによって計算され得る。水平勾配および垂直勾配についての３×３ソーベルフィルタの例が以下に示される。
Figure 2022519358000040
Figure 2022519358000041
他の代表的実施形態では、１次元３タップフィルタを用いて勾配が計算され得る。例は、［－１ ０ １］を含んでよく、これは、ソーベルフィルタよりも単純（たとえば、かなり単純）であり得る。
図１７Ｃは、拡張されたサブブロック予測を示す図である。網掛けされた円１７１０は、４×４サブブロック（たとえば、網掛けされていない円１７２０）の周りのパディングサンプルである。例として、ソーベルフィルタを用いて、ボックス１７３０内のサンプルが中央のサンプル１７４０の勾配を計算するために使用され得る。勾配はソーベルフィルタを用いて計算され得るが、３タップフィルタなどの他のフィルターも可能である。
上記の例示的な勾配フィルター、たとえば、３×３ソーベルフィルタおよび１次元フィルターの場合、拡張されたサブブロック予測がサブブロック勾配計算のために使用され、および／または必要とされ得る。サブブロックの上下の境界における１つの行および左右の境界における１つの列が、たとえば、サブブロック境界におけるそれらのサンプルの勾配を計算するためにパディングされ得る。
拡張されたサブブロック予測を取得するための異なる方法／手順および／または動作が存在し得る。１つの代表的実施形態では、サブブロックサイズとしてＮ×Ｍが与えられて、サブブロックＭＶを使用して（Ｎ＋２）×（Ｍ＋２）ブロック動き補償を実行することによって、（Ｎ＋２）×（Ｍ＋２）拡張サブブロック予測が取得されることができる。この実施形態では、メモリー帯域幅が増大されることがある。メモリー帯域幅増大を回避するために、特定の代表的実施形態では、水平方向と垂直方向の両方におけるＫタップ補間フィルターが与えられて、Ｎ×Ｍサブブロックの補間のために、補間前の（Ｎ＋Ｋ－１）×（Ｍ＋Ｋ－１）の整数参照サンプルが取り出されてよく、拡張された領域が（Ｎ＋Ｋ－１＋２）×（Ｍ＋Ｋ－１＋２）であり得るように、（Ｎ＋Ｋ－１）×（Ｍ＋Ｋ－１）ブロックの境界サンプルが、（Ｎ＋Ｋ－１）×（Ｍ＋Ｋ－１）サブブロックの近接サンプルからコピーされてよい。拡張された領域は（Ｎ＋２）×（Ｍ＋２）サブブロックの補間のために使用されてよい。これらの代表的実施形態は、サブブロックＭＶ点が分数ポジションを指す場合、（Ｎ＋２）×（Ｍ＋２）予測を生成するために、追加の補間動作をさらに使用し、および／または必要とし得る。
たとえば、計算の複雑さを減らすために、他の代表的実施形態では、サブブロックＭＶを用いるＮ×Ｍブロック動き補償によってサブブロック予測が取得されてよい。（Ｎ＋２）×（Ｍ＋２）予測の境界は、（１）ＭＶがサブブロックＭＶの整数部分である整数動き補償、（２）ＭＶがサブブロックＭＶの最も近い整数ＭＶである整数動き補償、および／または（３）Ｎ×Ｍサブブロック予測における最も近い近接サンプルからのコピー、のいずれかによって補間なしに取得されることがある。
たとえば、ピクセルレベルリファインメントＭＶの精度および／または範囲は、ＰＲＯＦの正確さに影響を与え得る。特定の代表的実施形態では、マルチビット分数成分と別のマルチビット整数成分との組み合わせが実装され得る。たとえば、５ビットの分数成分と１１ビットの整数成分が使用されてよい。５ビット分数成分と１１ビット整数成分の組み合わせは、合計１６ビットの１／３２ペル精度での－１０２４から１０２３のＭＶ範囲を表すことが可能である。
勾配、たとえばｇxおよびｇy、ならびに強度変化ΔＩの精度は、ＰＲＯＦの性能に影響を及ぼし得る。特定の代表的実施形態では、予測サンプル精度が、所定の数またはシグナリングされたビット数（たとえば、１４ビットであるカレントＶＶＣドラフトで定義された内部サンプル精度）に維持または保持され得る。特定の代表的実施形態では、勾配および／または強度変化ΔＩは、予測サンプルと同じ精度に維持され得る。
強度変化ΔＩの範囲は、ＰＲＯＦの性能に影響を及ぼし得る。強度変化ΔＩは、不正確なアフィンモデルによって生成される誤った値を回避するために、より小さな範囲へクリップされ得る。一例では、強度変化ΔＩはｐｒｅｄｉｔｉｏｎ＿ｂｉｔｄｅｐｔｈ－２にクリップされ得る。
ΔｖxおよびΔｖyの分数成分のビット数、勾配の分数成分のビット数、および強度変化ΔＩのビット数の組み合わせは、特定のハードウェアまたはソフトウェア実装の複雑さに影響を与えることがある。１つの代表的実施形態では、５ビットが使用されてΔｖxおよびΔｖyの分数成分を表すことができ、２ビットが使用されて勾配の分数成分を表すことができ、１２ビットが使用されてΔＩを表すことができるが、それらは任意のビット数であることが可能である。
計算の複雑さを減らすために、特定の状況においてＰＲＯＦが省略されてよい。たとえば、４×４サブブロック内の全てのピクセルベースのデルタ（たとえばリファインメント）ＭＶ（Δｖ（ｉ，ｊ））の大きさが閾値よりも小さい場合、アフィンＣＵ全体でＰＲＯＦが省略されてもよい。４×４サブブロック内の全てのサンプルの勾配が閾値よりも小さい場合、ＰＲＯＦが省略されてもよい。
ＰＲＯＦは、Ｃｂおよび／またはＣｒ成分などの色差成分に適用され得る。サブブロックのＣｂおよび／またはＣｒ成分のデルタＭＶは、サブブロックのデルタＭＶを再利用してよい（たとえば、同じＣＵ内の異なるサブブロックについて計算されたデルタＭＶを再利用してよい）。
本明細書に開示されている勾配手順（たとえば、コピーされた参照サンプルを使用して勾配計算のためにサブブロックを拡張する）は、ＰＲＯＦ動作と共に使用されるように示されているが、勾配手順は、特にＢＤＯＦ動作および／またはアフィン動き推定動作のような他の動作と共に使用されてもよい。
他のサブブロックモードのための代表的なＰＲＯＦ手順
ＰＲＯＦは、予測信号（たとえば、リファインしていない予測信号）に加えて、ピクセルレベル動きベクトルフィールドが利用可能である（たとえば、計算され得る）任意のシナリオにおいて適用され得る。たとえば、アフィンモードの他に、オプティカルフローを用いる予測リファインメントは、他のサブブロック予測モード、たとえば、ＳｂＴＭＶＰモード（たとえば、ＶＶＣにおけるＡＴＭＶＰモード）、または回帰ベースの動きベクトルフィールド（ＲＭＶＦ）において使用されてよい。
特定の代表的実施形態では、ＰＲＯＦをＳｂＴＭＶＰに適用するための方法が実装され得る。たとえば、そのような方法は、特に以下のいずれかを含み得る。
（１）第１の動作において、サブブロックレベルＭＶおよびサブブロック予測が、本明細書に記載された既存のＳｂＴＭＶＰ処理に基づいて生成されることができる、
（２）第２の動作において、アフィンモデルパラメータが、線形回帰法／手順を使用してサブブロックＭＶフィールドによって推定されることができる、
（３）第３の動作において、ピクセルレベルＭＶが、第２の動作で取得されたアフィンモデルパラメータによって導出されることができ、およびサブブロックＭＶに対する関連付けられたピクセルレベル動きリファインメントベクトル（Δｖ（ｉ，ｊ））が計算されることができる、および／または
（４）第４の動作において、オプティカルフロー処理を用いる予測精微化が適用されて、とりわけ、最終予測を生成することができる。
特定の代表的実施形態では、ＰＲＯＦをＲＭＶＦに適用するための方法が実装され得る。たとえば、そのような方法は、以下のいずれかを含み得る。
（１）第１の動作において、サブブロックレベルＭＶフィールド、サブブロック予測、および／またはアフィンモデルパラメータａxx、ａxy、ａyx、ａyy、ｂxおよびｂxが、本明細書に記載されたＲＭＶＦ処理に基づいて生成されることができる、
（２）第２の動作において、サブブロックレベルＭＶからのピクセルレベルＭＶオフセットが、以下のように式５２によってアフィンモデルパラメータａxx、ａxy、ａyx、ａyy、ｂxおよびｂxにより導出されることができる。
Figure 2022519358000042
ここで、（ｉ，ｊ）は、サブブロック中心からのピクセルオフセットである。アフィンモデルパラメータ、および／もしくはサブブロックの中心からのピクセルオフセットは、サブブロック毎に変更されないため、ピクセルＭＶオフセットは、第１のサブブロックについて計算されてよく（たとえば、それについてのみ計算される必要がある、もしくは計算されるべきである）、およびＣＵ内の他のサブブロックで再利用され得る、ならびに／または
（３）第３の動作において、ＰＲＯＦ処理が適用されて、たとえば式４４および５０を適用することによって、最終予測を生成することができる。
双方向予測のための代表的なＰＲＯＦ手順
本明細書に記載されるように単予測にＰＲＯＦを使用することに加えてまたは代えて、ＰＲＯＦ技術は双方向予測に使用されてよい。双方向予測で使用されるとき、ＰＲＯＦは、Ｌ０予測および／またはＬ１予測を生成するために、たとえば、それらが重みと組み合わされる前に生成するために使用され得る。計算の複雑さを減らすために、ＰＲＯＦは、Ｌ０またはＬ１のような１つの予測に適用されてよい（たとえば、それのみに適用されてよい）。特定の代表的実施形態では、ＰＲＯＦは、リスト（たとえば、カレントピクチャが（たとえば閾値内で）近いおよび／または最も近い参照ピクチャと共にまたはそれに関連付けられた）リストに適用され得る。
ＰＲＯＦ有効化のための代表的な手順
ＰＲＯＦ有効化は、シーケンスパラメータセット（ＳＰＳ）ヘッダ、ピクチャパラメータセット（ＰＰＳ）ヘッダ、および／またはタイルグループヘッダにおいてまたはその中でシグナリングされ得る。特定の実施形態では、ＰＲＯＦがアフィンモードに対し有効化されているか否かを示すために、フラグがシグナリングされ得る。フラグが第１の論理レベル（たとえば「Ｔｒｕｅ」）に設定されている場合、ＰＲＯＦは単予測と双方向予測の両方に使用され得る。特定の実施形態では、第１のフラグが「Ｔｒｕｅ」に設定されている場合、ＰＲＯＦが双方向予測アフィンモードに対し有効化されているか有効化されていないかを示すために、第２のフラグが使用され得る。第１のフラグが第２の論理レベル（たとえば「Ｆａｌｓｅ」）に設定されている場合、第２のフラグは「Ｆａｌｓｅ」に設定されていると推測され得る。色差成分に対しＰＲＯＦを適用するかどうかは、第１のフラグが「Ｔｒｕｅ」に設定されている場合、ＳＰＳヘッダ、ＰＰＳヘッダ、および／またはタイルグループヘッダにおいてまたはその中でフラグを用いてシグナリングされることができ、それにより、輝度成分と色差成分に対するＰＲＯＦの制御が分離され得る。
条件付きで有効化されるＰＲＯＦの代表的な手順
たとえば、複雑さを減らすために、ＰＲＯＦは、特定の条件が満たされたとき（たとえば、そのときのみ）に適用され得る。たとえば、小さなＣＵサイズ（たとえば、閾値レベル未満）に関して、アフィン動きが比較的小さいため、ＰＲＯＦを適用する利点が制限され得ることがある。特定の代表的実施形態では、ＣＵサイズが小さいとき（たとえば、８×８、８×１６、１６×８のような１６×１６以下のＣＵサイズの場合）またはその条件で、ＰＲＯＦは、エンコーダーおよび／またはデコーダーの両方に関して複雑さを減らすためにアフィン動き補償において無効にされ得る。特定の代表的実施形態では、ＣＵサイズが小さい（同じまたは異なる閾値レベル未満である）とき、ＰＲＯＦは、たとえば、エンコーダーの複雑さを減らすために、アフィン動き推定（たとえば、アフィン動き推定のみ）において省略されてよく、ＰＲＯＦは、ＣＵサイズにかかわらずデコーダーでは実行されてよい。たとえば、エンコーダー側では、アフィンモデルパラメータ（たとえば制御点ＭＶ）を検索する動き推定の後に、動き補償（ＭＣ）手順が起動され、ＰＲＯＦが実行され得る。動き推定における反復毎に、ＭＣ手順が起動されてもよい。動き推定中のＭＣにおいて、複雑さを抑えるためにＰＲＯＦは省略され得るが、エンコーダー内の最終ＭＣがＰＲＯＦを実行することになるので、エンコーダーとデコーダーとの間に予測ミスマッチは生じない。すなわち、エンコーダーによって、ＣＵの予測に使用するアフィンモデルパラメータ（たとえばアフィンＭＶ）を検索するときに、ＰＲＯＦリファインメントは適用されなくてよく、エンコーダーが検索を完了すると、またはその後に、エンコーダーは、検索から決定されたアフィンモデルパラメータを使用して、ＣＵについての予測をリファインするためにＰＲＯＦを適用することができる。
いくつかの代表的実施形態では、ＣＰＭＶ間の差を基準として使用して、ＰＲＯＦを有効化するかどうかを決定することができる。ＣＰＭＶ間の差が小さく（たとえば閾値レベル未満）、したがってアフィン動きが小さいとき、ＰＲＯＦを適用する利点が制限されることがあり、ＰＲＯＦは、アフィン動き補償および／またはアフィン動き推定について無効化され得る。たとえば、４パラメーターアフィンモードでは、以下の条件が満たされる（たとえば、以下の条件の全てが満たされる）場合、ＰＲＯＦは無効化されてよい。
Figure 2022519358000043
Figure 2022519358000044
６パラメーターアフィンモードでは、上記の条件に加えてまたは代えて、以下の条件が満たされる（たとえば、以下の条件の全ても満たされる）場合、ＰＲＯＦは無効化されてよい。
Figure 2022519358000045
Figure 2022519358000046
ここで、Ｔは、予め定義された閾値、たとえば、４である。このＣＰＭＶまたはアフィンパラメータベースのＰＲＯＦ省略手順は、エンコーダーにおいて適用されてよく（たとえば、適用のみされてもよく）、デコーダーはＰＲＯＦを省略してもしなくてもよい。
デブロッキングフィルタと組み合わせたまたはデブロッキングフィルタの代わりのＰＲＯＦのための代表的な手順
ＰＲＯＦは、ブロックベースのＭＣを補償できるピクセル毎のリファインメントであり得るので、ブロック境界間の動き差が減らされ得る（たとえば、大幅に減らされ得る）。エンコーダーおよび／またはデコーダーは、デブロッキングフィルタの適用を省略することができ、および／または、ＰＲＯＦが適用される場合にサブブロック境界においてより弱いフィルターを適用することができる。複数の変換ユニット（ＴＵ）に割られたＣＵでは、ブロッキングアーチファクトが変換ブロック境界上に出現することがある。
特定の代表的実施形態では、エンコーダーおよび／またはデコーダーは、サブブロック境界がＴＵ境界と一致しない限り、デブロッキングフィルタの適用を省略することができ、またはサブブロック境界に１つもしくは複数のより弱いフィルターを適用することができる。
ＰＲＯＦが輝度に適用される（たとえば、輝度のみに適用される）とき、またはその条件で、エンコーダーおよび／またはデコーダーは、デブロッキングフィルタの適用を省略することができ、および／または輝度（たとえば、輝度のみ）についてサブブロック境界上に１つもしくは複数のより弱いフィルターを適用することができる。たとえば、より弱いデブロッキングフィルタを適用するために境界強度パラメーターＢが使用され得る。
たとえば、エンコーダーおよび／またはデコーダーは、サブブロック境界がＴＵ境界と一致しない限り、ＰＲＯＦが適用されるとき、サブブロック境界上のデブロッキングフィルタの適用を省略することができる。その場合、デブロッキングフィルタは、ＴＵ境界に沿って生じ得るブロッキングアーチファクトを減らすまたは取り除くために適用されてよい。
別の例として、エンコーダーおよび／またはデコーダーは、サブブロック境界がＴＵ境界と一致しない限り、ＰＲＯＦが適用されるとき、サブブロック境界上により弱いデブロッキングフィルタを適用することができる。「弱い」デブロッキングフィルタは、ＰＲＯＦが適用されていないときにサブブロック境界に通常適用され得るものよりも弱いデブロッキングフィルタであり得ることが意図される。サブブロック境界がＴＵ境界と一致するとき、より強いデブロッキングフィルタが適用され、ＴＵ境界と一致するサブブロック境界に沿ってより可視であると見込まれるブロッキングアーチファクトを、減らすまたは取り除くことができる。
特定の代表的実施形態では、ＰＲＯＦが輝度に適用される（たとえば、適用のみされる）とき、またはその条件で、エンコーダーおよび／またはデコーダーは、設計統一目的のために、たとえば、色差におけるＰＲＯＦの適用がないにもかかわらず、色差に対するデブロッキングフィルタの適用を輝度に合わせることができる。たとえば、ＰＲＯＦが輝度のみに適用される場合、輝度に対するデブロッキングフィルタの通常の適用は、ＰＲＯＦが適用されたかどうかに基づいて（および場合によっては、サブブロック境界にＴＵ境界があるかどうかに基づいて）変更されてよい。特定の代表的実施形態では、対応する色差ピクセルにデブロッキングフィルタを適用するための別個の／異なる論理を有するのではなく、デブロッキングフィルタが、輝度デブロッキングのための手順に整合する（および／またはその手順をミラーリングする）ように色差に対してサブブロック境界に適用されてよい。
図１８Ａは、第１の代表的なエンコード／デコード方法を示すフローチャートである。
図１８Ａを参照すると、符号化および／またはデコードする代表的な方法１８００は、ブロック１８０５で、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、たとえばビデオの、カレントブロックについてのサブブロックベース動き予測信号を取得することを含むことができる。ブロック１８１０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、カレントブロックについてのサブブロックベース動き予測信号の１つもしくは複数の空間勾配、またはカレントブロックのサブブロックに関連付けられた１つもしくは複数の動きベクトル差分値を取得することができる。ブロック１８１５において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、１つもしくは複数の取得された空間勾配、またはカレントブロックのサブブロックに関連付けられた１つもしくは複数の動きベクトル差分値に基づいて、カレントブロックについてのリファインメント信号を取得することができる。ブロック１８２０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号およびリファインメント信号に基づいて、カレントブロックについてのリファインした動き予測信号を取得することができる。特定の実施形態では、エンコーダー１００もしくは３００は、リファインした動き予測信号に基づいてカレントブロックを符号化することができ、またはデコーダー２００もしくは５００は、リファインした動き予測信号に基づいてカレントブロックをデコードすることができる。リファインした動き予測信号は、（たとえば、ＧＢｉエンコーダー３００および／またはＧＢｉデコーダー５００によって）生成された、リファインした動きインター予測信号とすることができ、１つまたは複数のＰＲＯＦ動作を使用することができる。
たとえば、方法１８５０および１９００を含む本明細書に記載された他の方法に関係付けられた、特定の代表的実施形態では、ビデオのカレントブロックについてのサブブロックベース動き予測信号を取得することは、サブブロックベース動き予測信号を生成することを含むことができる。
たとえば、特に方法１８５０および１９００を含む本明細書に記載された他の方法に関係付けられた、特定の代表的実施形態では、カレントブロックについてのサブブロックベース動き予測信号の１つもしくは複数の空間勾配、またはカレントブロックのサブブロックに関連付けられた１つもしくは複数の動きベクトル差分値を取得することは、サブブロックベース動き予測信号の（たとえば、勾配フィルターに関連付けられた）１つまたは複数の空間勾配を決定することを含むことができる。
たとえば、特に方法１８５０および１９００を含む本明細書に記載された他の方法に関係付けられた、特定の代表的実施形態では、カレントブロックについてのサブブロックベース動き予測信号の１つもしくは複数の空間勾配、またはカレントブロックのサブブロックに関連付けられた１つもしくは複数の動きベクトル差分値を取得することは、カレントブロックのサブブロックに関連付けられた１つまたは複数の動きベクトル差分値を決定することを含むことができる。
たとえば、特に方法１８５０および１９００を含む本明細書に記載された他の方法に関係付けられた、特定の代表的実施形態では、１つもしくは複数の決定された空間勾配または１つもしくは複数の決定された動きベクトル差分値に基づいて、カレントブロックについてのリファインメント信号を取得することは、決定された空間勾配に基づいて、リファインメント信号として、カレントブロックについての動き予測リファインメント信号を決定することを含むことができる。
たとえば、特に方法１８５０および１９００を含む本明細書に記載された他の方法に関係付けられた、特定の代表的実施形態では、１つもしくは複数の決定された空間勾配または１つもしくは複数の決定された動きベクトル差分値に基づいて、カレントブロックについてのリファインメント信号を取得することは、決定された動きベクトル差分値に基づいて、リファインメント信号として、カレントブロックについての動き予測リファインメント信号を決定することを含むことができる。
情報などの何かに関係する用語「決定する」または「決定すること」は、一般に、情報に関する推定すること、計算すること、予測すること、取得すること、および／または検索することのうちの１つまたは複数を含むことが可能である。たとえば、決定することは、とりわけ、メモリーまたはビットストリームから何かを検索することを指すことが可能である。
たとえば、特に方法１８５０および１９００を含む本明細書に記載された他の方法に関係付けられた、特定の代表的実施形態では、サブブロックベース動き予測信号およびリファインメント信号に基づいて、カレントブロックについてのリファインした動き予測信号を取得することは、サブブロックベース動き予測信号と動き予測リファインメント信号とを組み合わせて（たとえば、特に可算または減算して）、カレントブロックについてのリファインした動き予測信号を作成することを含むことができる。
たとえば、特に方法１８５０および１９００を含む本明細書に記載された他の方法に関係付けられた、特定の代表的実施形態では、リファインした動き予測信号に基づいて、カレントブロックをエンコードおよび／またはデコードすることは、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオをエンコードすること、および／またはカレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオをデコードすることを含むことができる。
図１８Ｂは、第２の代表的なエンコードおよび／またはデコード方法を示すフローチャートである。
図１８Ｂを参照すると、ビデオを符号化および／またはデコードするための代表的な方法１８５０は、ブロック１８５５で、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、サブブロックベース動き予測信号を生成することを含むことができる。ブロック１８６０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号の（たとえば、勾配フィルターに関連付けられた）１つまたは複数の空間勾配を決定することができる。ブロック１８６５において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、決定された空間勾配に基づいて、カレントブロックについての動き予測リファインメント信号を決定することができる。ブロック１８７０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号と動き予測リファインメント信号とを組み合わせて（たとえば、特に可算または減算して）、カレントブロックについてのリファインした動き予測信号を作成することができる。ブロック１８７５において、エンコーダー１００もしくは３００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオを符号化することができ、および／またはデコーダー２００もしくは５００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオをデコードすることができる。特定の実施形態では、ブロック１８１０、１８２０、１８３０、および１８４０における動作は、一般的に現在符号化またはデコードされているブロックを指すブロックであるカレントブロックに対して実行され得る。リファインした動き予測信号は、（たとえば、ＧＢｉエンコーダー３００および／またはＧＢｉデコーダー５００によって）生成されたリファインした動きインター予測信号であってよく、１つまたは複数のＰＲＯＦ動作を用いてよい。
たとえば、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００によるサブブロックベース動き予測信号の１つまたは複数の空間勾配の決定は、第１の参照ピクチャに関連付けられた空間勾配の第１のセットおよび第２の参照ピクチャに関連付けられた空間勾配の第２のセットの決定を含むことができる。エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００によるカレントブロックについての動き予測リファインメント信号の決定は、決定された空間勾配に基づくことができ、空間勾配の第１のセットおよび第２のセットに基づく、カレントブロックについての動きインター予測リファインメント信号（たとえば双方向予測信号）の決定を含むことができ、（たとえば、１つまたは複数の参照ピクチャに関連付けられた１つまたは複数の重み値を示すまたは含む）重み情報Ｗに基づくこともできる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、エンコーダー１００もしくは３００が、重み情報Ｗを生成し、使用し、および／もしくはデコーダー２００もしくは５００に送信することができ、ならびに／または、デコーダー２００または５００が、重み情報Ｗを受信するもしくは取得することができる。たとえば、カレントブロックについての動きインター予測リファインメント信号は、（１）空間勾配の第１のセットから導出され、重み情報Ｗにより示される第１の重み係数に従って重み付けされた第１の勾配値、および／または（２）空間勾配の第２のセットから導出され、重み情報Ｗにより示される第２の重み係数に従って重み付けされた第２の勾配値に基づくことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、ビデオのカレントブロックについてのアフィン動きモデルパラメーターを決定して、決定されたアフィン動きモデルパラメーターを使用してサブブロックベース動き予測信号が生成され得るようにすることをさらに含むことができる。
代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００による、サブブロックベース動き予測信号の１つまたは複数の空間勾配の決定を含むことができ、この決定は、サブブロックベース動き予測信号の少なくとも１つのサブブロックにおける、１つのそれぞれのサンプル位置、それぞれのサンプル位置の一部、または各それぞれのサンプル位置についての、少なくとも１つの勾配値の計算を含むことができる。たとえば、サブブロックベース動き予測信号の少なくとも１つのサブブロックにおける、１つのそれぞれのサンプル位置、それぞれのサンプル位置の一部、または各それぞれのサンプル位置についての、少なくとも１つの勾配値の計算は、１つのそれぞれのサンプル位置、それぞれのサンプル位置の一部、または各それぞれのサンプル位置について、サブブロックベース動き予測信号の少なくとも１つのサブブロックにおけるそれぞれのサンプル位置に対して、勾配フィルターを適用することを含むことができる。
代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、サブブロックベース動き予測信号のカレントブロックの第１のサブブロックのサンプル位置に関連付けられた動きベクトル差分値のセットを決定することをさらに含むことができる。いくつかの例では、差分値は、サブブロック（たとえば、第１のサブブロック）について決定されてよく、カレントブロック内のいくつかまたは全ての他のサブブロックで再利用されてよい。特定の例では、アフィン動きモデルまたは異なる動きモデル（たとえば、ＳｂＴＭＶＰモデルなど、別のサブブロックベースの動きモデル）を使用して、サブブロックベース動き予測信号が生成されてよく、動きベクトル差分値のセットが決定されてよい。例として、動きベクトル差分値のセットは、カレントブロックの第１のサブブロックについて決定されてよく、カレントブロックの１つまたは複数のさらなるサブブロックについての動き予測リファインメント信号を決定するために使用されてよい。
代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、サブブロックベース動き予測信号の１つまたは複数の空間勾配、および動きベクトル差分値のセットは、カレントブロックについての動き予測リファインメント信号を決定するために使用され得る。
代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、カレントブロックについてのアフィン動きモデルを使用して、サブブロックベース動き予測信号が生成され、動きベクトル差分値のセットが決定される。
代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、サブブロックベース動き予測信号の１つまたは複数の空間勾配の決定は、カレントブロックの１つまたは複数のそれぞれのサブブロックについて、サブブロックベース動き予測信号、およびそれぞれのサブブロックに接してそのサブブロックを囲む近接参照サンプルを使用して、拡張されたサブブロックを決定すること、ならびに動き予測リファインメント信号を決定するために、決定された拡張されたサブブロックを使用してそれぞれのサブブロックの空間勾配を決定することを含むことができる。
図１９は、第３の代表的なエンコードおよび／またはデコード方法を示すフローチャートである。
図１９を参照すると、ビデオを符号化および／またはデコードするための代表的な方法１９００は、ブロック１９１０で、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、サブブロックベース動き予測信号を生成することを含むことができる。ブロック１９２０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、カレントブロックのサブブロックに関連付けられた動きベクトル差分値のセットを決定することができる（たとえば、動きベクトル差分値のセットは、たとえば、カレントブロックのサブブロックの全てに関連付けられ得る）。ブロック１９３０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、決定された動きベクトル差分値のセットに基づいて、カレントブロックについての動き予測リファインメント信号を決定することができる。ブロック１９４０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号と動き予測リファインメント信号とを組み合わせて（たとえば、特に可算または減算して）、カレントブロックについてのリファインした動き予測信号を作成または生成することができる。ブロック１９５０において、エンコーダー１００もしくは３００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオを符号化することができ、および／またはデコーダー２００もしくは５００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオをデコードすることができる。特定の実施形態では、ブロック１９１０、１９２０、１９３０、および１９４０における動作は、現在符号化またはデコードされているブロックを一般的に指すカレントブロックに対して実行され得る。特定の代表的実施形態では、リファインした動き予測信号は、（たとえば、ＧＢｉエンコーダー３００および／またはＧＢｉデコーダー５００によって）生成されたリファインした動きインター予測信号であってよく、１つまたは複数のＰＲＯＦ動作を用いてよい。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、ビデオのカレントブロックについての動きモデルパラメーター（たとえば、１つまたは複数のアフィン動きモデルパラメーター）を決定して、決定された動きモデルパラメーター（たとえば、アフィン動きモデルパラメーター）を使用してサブブロックベース動き予測信号が生成され得るようにすることを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００による、サブブロックベース動き予測信号の１つまたは複数の空間勾配の決定を含むことができる。たとえば、サブブロックベース動き予測信号の１つまたは複数の空間勾配の決定は、サブブロックベース動き予測信号の少なくとも１つのサブブロックにおける、１つのそれぞれのサンプル位置、それぞれのサンプル位置の一部、または各それぞれのサンプル位置についての、少なくとも１つの勾配値の計算を含むことができる。たとえば、サブブロックベース動き予測信号の少なくとも１つのサブブロックにおける、１つのそれぞれのサンプル位置、それぞれのサンプル位置の一部、または各それぞれのサンプル位置についての、少なくとも１つの勾配値の計算は、１つのそれぞれのサンプル位置、それぞれのサンプル位置の一部、または各それぞれのサンプル位置について、サブブロックベース動き予測信号の少なくとも１つのサブブロックにおけるそれぞれのサンプル位置に対して、勾配フィルターを適用することを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００によって、カレントブロックの１つのそれぞれのサンプル位置、それぞれのサンプル位置の一部、または各それぞれのサンプル位置についての空間勾配に関連付けられた勾配値と、サブブロック動き予測信号のカレントブロックのサブブロック（たとえば、任意のサブブロック）のサンプル位置に関連付けられた動きベクトル差分値の決定されたセットと、を使用して、カレントブロックについての動き予測リファインメント信号を決定することを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、カレントブロックについての動き予測リファインメント信号の決定は、カレントブロックの１つまたは複数のサブブロックの１つまたは複数のそれぞれのサンプル位置または各サンプル位置についての空間勾配に関連付けられた勾配値と、動きベクトル差分値の決定されたセットとを使用することができる。
図２０は、第４の代表的なエンコードおよび／またはデコード方法を示すフローチャートである。
図２０を参照すると、ビデオを符号化および／またはデコードするための代表的な方法２０００は、ブロック２０１０で、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、少なくともカレントブロックの第１のサブブロックについての第１の動きベクトルおよびカレントブロックの第２のサブブロックについてのさらなる動きベクトルを使用して、サブブロックベース動き予測信号を生成することを含むことができる。ブロック２０２０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号の第１のサブブロックにおける第１のサンプル位置についての勾配値の第１のセット、およびサブブロックベース動き予測信号の第１のサブブロックにおける第２のサンプル位置についての勾配値の第２の異なるセットを計算することができる。ブロック２０３０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、第１のサンプル位置についての動きベクトル差分値の第１のセット、および第２のサンプル位置についての動きベクトル差分値の第２の異なるセットを決定することができる。たとえば、第１のサンプル位置についての動きベクトル差分値の第１のセットは、第１のサンプル位置における動きベクトルと第１のサブブロックの動きベクトルとの差を示すことができ、第２のサンプル位置についての動きベクトル差分値の第２のセットは、第２のサンプル位置における動きベクトルと第１のサブブロックの動きベクトルとの差を示すことができる。ブロック２０４０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、勾配値の第１のセットおよび第２のセットならびに動きベクトル差分値の第１のセットおよび第２のセットを使用して、予測リファインメント信号を決定することができる。ブロック２０５０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号を予測リファインメント信号と組み合わせて（たとえば、特に可算または減算して）、リファインした動き予測信号を作成することができる。ブロック２０６０において、エンコーダー１００もしくは３００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオを符号化することができ、および／またはデコーダー２００もしくは５００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオをデコードすることができる。特定の実施形態では、ブロック２０１０、２０２０、２０３０、２０４０、および２０５０における動作は、複数のサブブロックを含むカレントブロックに対して実行され得る。
図２１は、第５の代表的なエンコードおよび／またはデコード方法を示すフローチャートである。
図２１を参照すると、ビデオを符号化および／またはデコードするための代表的な方法２１００は、ブロック２１１０で、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、カレントブロックについてのサブブロックベース動き予測信号を生成することを含むことができる。ブロック２１２０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号のカレントブロックにおける複数のサンプル位置のリファインした動きを示すオプティカルフロー情報を使用して予測リファインメント信号を決定することができる。ブロック２１３０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号を予測リファインメント信号と組み合わせて（たとえば、特に可算または減算して）、リファインした動き予測信号を作成することができる。ブロック２１４０において、エンコーダー１００もしくは３００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオを符号化することができ、および／またはデコーダー２００もしくは５００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオをデコードすることができる。たとえば、カレントブロックは、複数のサブブロックを含むことができ、サブブロックベース動き予測信号は、少なくともカレントブロックの第１のサブブロックについての第１の動きベクトルおよびカレントブロックの第２のサブブロックについてのさらなる動きベクトルを使用して生成され得る。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、これらの方法は、オプティカルフロー情報を使用することができる予測リファインメント信号の、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００による決定を含むことができる。この決定は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００によって、サブブロックベース動き予測信号の第１のサブブロックにおける第１のサンプル位置についての勾配値の第１のセット、およびサブブロックベース動き予測信号の第１のサブブロックにおける第２のサンプル位置についての勾配値の第２の異なるセットを計算することを含むことができる。第１のサンプル位置についての動きベクトル差分値の第１のセット、および第２のサンプル位置についての動きベクトル差分値の第２の異なるセットが決定され得る。たとえば、第１のサンプル位置についての動きベクトル差分値の第１のセットは、第１のサンプル位置における動きベクトルと第１のサブブロックの動きベクトルとの差を示すことができ、第２のサンプル位置についての動きベクトル差分値の第２のセットは、第２のサンプル位置における動きベクトルと第１のサブブロックの動きベクトルとの差を示すことができる。エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、勾配値の第１のセットおよび第２のセットならびに動きベクトル差分値の第１のセットおよび第２のセットを使用して、予測リファインメント信号を決定することができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態において、これらの方法は、オプティカルフロー情報を使用することができる予測リファインメント信号の、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００による決定を含むことができる。この決定は、サブブロックベース動き予測信号の第２のサブブロックにおける第１のサンプル位置についての勾配値の第３のセット、およびサブブロックベース動き予測信号の第２のサブブロックにおける第２のサンプル位置についての勾配値の第４のセットを計算することを含むことができる。エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、勾配値の第３のセットおよび第４セットならびに動きベクトル差分値の第１のセットおよび第２のセットを使用して、第２のサブブロックについての予測リファインメント信号を決定することができる。
図２２は、第６の代表的なエンコードおよび／またはデコード方法を示すフローチャートである。
図２２を参照すると、ビデオを符号化および／またはデコードするための代表的な方法２２００は、ブロック２２１０で、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、ビデオのカレントブロックについての動きモデルを決定することを含むことができる。カレントブロックは、複数のサブブロックを含むことができる。たとえば、動きモデルは、カレントブロックにおける複数のサンプル位置についての個々の（たとえば、サンプル毎の）動きベクトルを生成することができる。ブロック２２２０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、決定された動きモデルを使用して、カレントブロックについてのサブブロックベース動き予測信号を生成することができる。生成されたサブブロックベース動き予測信号は、カレントブロックの各サブブロックについて１つの動きベクトルを使用することができる。ブロック２２３０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号の複数のサンプル位置の一部に対して勾配フィルターを適用することによって、勾配値を計算することができる。ブロック２２４０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サンプル位置の一部についての動きベクトル差分値を決定することができ、動きベクトル差分値のそれぞれは、動きモデルに従ってそれぞれのサンプル位置について生成された動きベクトル（たとえば、個々の動きベクトル）と、それぞれのサンプル位置を含むサブブロックについてのサブブロックベース動き予測信号を作成するために使用される動きベクトルとの間の差を示すことができる。ブロック２２５０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、勾配値および動きベクトル差分値を使用して、予測リファインメント信号を決定することができる。ブロック２２６０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号を予測リファインメント信号と組み合わせて（たとえば、特に可算または減算して）、カレントブロックについてのリファインした動き予測信号を作成することができる。ブロック２２７０において、エンコーダー１００もしくは３００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオを符号化することができ、および／またはデコーダー２００もしくは５００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオをデコードすることができる。
図２３は、第７の代表的なエンコードおよび／またはデコード方法を示すフローチャートである。
図２３を参照すると、ビデオを符号化および／またはデコードするための代表的な方法２３００は、ブロック２３１０で、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、サブブロックベースの動き補償を実行して、粗い動き予測信号としてサブブロックベース動き予測信号を生成することを含むことができる。ブロック２３２０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サンプル位置におけるサブブロックベース動き予測信号の１つまたは複数の空間勾配を計算することができる。ブロック２３３０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、計算された空間勾配に基づいて、カレントブロックにおけるピクセル毎の強度変化を計算することができる。ブロック２３４０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、計算されたピクセル毎の強度変化に基づいて、リファインした動き予測信号としてピクセル毎ベースの動き予測信号を決定することができる。ブロック２３５０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、カレントブロックの各サブブロックの粗い動き予測信号を使用して、およびカレントブロックの各ピクセルのリファインした動き予測信号を使用して、カレントブロックを予測することができる。特定の実施形態では、ブロック２３１０、２３２０、２３３０、２３４０、および２３５０における動作は、ビデオにおける少なくとも１つのブロック（たとえばカレントブロック）に対して実行され得る。たとえば、カレントブロックにおけるピクセル毎の強度変化を計算することは、オプティカルフロー式に従ってカレントブロックにおける各ピクセルについての輝度強度変化を決定することを含むことができる。カレントブロックを予測することは、それぞれのピクセルを含むサブブロックについての粗い動き予測ベクトルを、粗い動き予測ベクトルに対するリファインした動き予測ベクトルであってそれぞれのピクセルに関連付けられたリファインした動き予測ベクトルと組み合わせることによって、カレントブロックにおける各それぞれのピクセルについての動きベクトルを予測することを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、および２６００を含む特定の代表的実施形態において、サブブロックベース動き予測信号の１つまたは複数の空間勾配は、水平勾配および／または垂直勾配のいずれかを含むことができ、たとえば、水平勾配は、サブブロックのサンプルの右隣接サンプルとサブブロックのサンプルの左隣接サンプルとの間の輝度の差もしくは色差の差として計算されてよく、および／または垂直勾配は、サブブロックのサンプルの下隣接サンプルとサブブロックのサンプルの上隣接サンプルとの間の輝度の差もしくは色差の差として計算されてよい。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、および２６００を含む特定の代表的実施形態において、サブブロック予測の１つまたは複数の空間勾配は、ソーベルフィルタを使用して生成され得る。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、および２６００を含む特定の代表的実施形態において、粗い動き予測信号は、４パラメータアフィンモデルまたは６パラメータアフィンモデルの一方を使用することができる。たとえば、サブブロックベースの動き補償は、（１）アフィンサブブロックベースの動き補償、または（２）別の補償（たとえば、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モード動き補償、および／もしくは回帰ベースの動きベクトルフィールド（ＲＭＶＦ）モードベースの補償）の一方であり得る。ＳｂＴＭＶＰモードベースの動き補償が実行されるという条件で、この方法は、線形回帰演算によって、サブブロック動きベクトルフィールドを使用してアフィンモデルパラメータを推定することと、推定されたアフィンモデルパラメータを使用してピクセルレベル動きベクトルを導出することとを含むことができる。ＲＭＶＦモードベースの動き補償が実行されるという条件で、この方法は、アフィンモデルパラメータを推定することと、推定されたアフィンモデルパラメータを使用して、サブブロックレベル動きベクトルからのピクセルレベル動きベクトルオフセットを導出することとを含むことができる。たとえば、ピクセル動きベクトルオフセットは、サブブロックの中心（たとえば、実際の中心、または実際の中心に最も近いサンプル位置）に対するものであってよい。たとえば、サブブロックについての粗い動き予測ベクトルは、サブブロックの実際の中心ポジションに基づくことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、および２６００を含む特定の代表的実施形態において、これらの方法は、エンコーダー１００もしくは３００またはデコーダー２００もしくは５００が、各サブブロックについての粗い動き予測ベクトル（たとえば、サブブロックベースの動き予測ベクトル）に関連付けられた中心ポジションとして、（１）各サブブロックの実際の中心、または（２）サブブロックの中心に最も近いピクセル（たとえばサンプル）位置の１つの、一方を選択することを含むことができる。たとえば、カレントブロックの粗い動き予測信号（たとえばサブブロックベース動き予測信号）を使用して、およびカレントブロックの各ピクセル（たとえばサンプル）のリファインした動き予測信号を使用してカレントブロックを予測することは、各サブブロックの選択された中心ポジションに基づくことができる。たとえば、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックの色差ピクセルに関連付けられた中心ポジションを決定することができ、色差ピクセルに関連付けられた色差位置サンプルタイプに基づいて、サブブロックの色差ピクセルの中心ポジションに対するオフセットを決定することができる。サブブロックについての粗い動き予測信号（たとえば、サブブロックベース動き予測信号）は、オフセットにより調整された色差ピクセルの決定された中心ポジションに対応するサブブロックの実際のポジションに基づくことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、および２６００を含む特定の代表的実施形態において、これらの方法は、（１）シーケンスパラメータセット（ＳＰＳ）ヘッダ、（２）ピクチャパラメータセット（ＰＰＳ）ヘッダ、または（３）タイルグループヘッダのうちの１つにおいて、オプティカルフローによる予測リファインメント（ＰＲＯＦ）が有効化されるかどうかを示す情報をエンコーダー１００もしくは３００が生成すること、またはデコーダー２００もしくは５００が受信することを含むことができる。たとえば、ＰＲＯＦが有効化されるという条件では、リファインした動き予測動作が実行されてよく、したがって、粗い動き予測信号（たとえばサブブロックベース動き予測信号）およびリファインした動き予測信号がカレントブロックを予測するために使用され得る。別の例として、ＰＲＯＦが有効化されないという条件では、リファインした動き予測動作が実行されず、したがって、粗い動き予測信号（たとえばサブブロックベース動き予測信号）のみがカレントブロックを予測するために使用され得る。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、および２６００を含む特定の代表的実施形態において、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、カレントブロックの属性および／またはアフィン動き推定の属性に基づいて、リファインした動き予測動作をカレントブロックに対して実行するかまたはアフィン動き推定において実行するかを決定することを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、および２６００を含む特定の代表的実施形態において、これらの方法は、カレントブロックの属性および／またはアフィン動き推定の属性に基づいて、リファインした動き予測動作をカレントブロックに対して実行するかまたはアフィン動き推定において実行するかを決定することを含むことができる。たとえば、カレントブロックの属性に基づいてカレントブロックに対してリファインした動き予測動作を実行するかどうかの決定は、（１）カレントブロックのサイズが特定のサイズを超えるかどうか、および／または（２）制御点動きベクトル（ＣＰＭＶ）差が閾値を超えるかどうかのいずれかに基づいて、カレントブロックに対してリファインした動き予測動作を行うかどうかを決定することを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、および２６００を含む特定の代表的実施形態において、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、変換ユニット境界と一致するカレントブロックのサブブロックの１つまたは複数の境界に対して第１のデブロッキングフィルタを適用し、いずれの変換ユニット境界とも一致しないカレントブロックのサブブロックの他の境界に対して第２の異なるデブロッキングフィルタを適用することを含むことができる。たとえば、第１のデブロッキングフィルタは、第２のデブロッキングフィルタよりも強いデブロッキングフィルタとすることができる。
図２４は、第８の代表的なエンコードおよび／またはデコード方法を示すフローチャートである。
図２４を参照すると、ビデオを符号化および／またはデコードするための代表的な方法２４００は、ブロック２４１０で、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、サブブロックベースの動き補償を実行して、粗い動き予測信号としてサブブロックベース動き予測信号を生成することを含むことができる。ブロック２４２０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、カレントブロックのサブブロックの各それぞれの境界サンプルについて、囲んでいる参照サンプルとして、それぞれの境界サンプルに近接するサンプルに対応しサブブロックを囲む１つまたは複数の参照サンプルを決定することができ、囲んでいる参照サンプル、およびそれぞれの境界サンプルに近接するサブブロックのサンプルを使用して、それぞれの境界サンプルに関連付けられた１つまたは複数の空間勾配を決定することができる。ブロック２４３０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックにおける各それぞれの非境界サンプルについて、それぞれの非境界サンプルに近接するサブブロックのサンプルを使用して、それぞれの非境界サンプルに関連付けられた１つまたは複数の空間勾配を決定することができる。ブロック２４４０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックの決定された空間勾配を使用してカレントブロックにおけるピクセル毎の強度変化を計算することができる。ブロック２４５０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、計算されたピクセル毎の強度変化に基づいて、リファインした動き予測信号としてピクセル毎ベースの動き予測信号を決定することができる。ブロック２４６０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、カレントブロックの各サブブロックに関連付けられた粗い動き予測信号を使用して、およびカレントブロックの各ピクセルに関連付けられたリファインした動き予測信号を使用して、カレントブロックを予測することができる。特定の実施形態では、２４１０、２４２０、２４３０、２４４０、２４５０、および２４６０における動作は、ビデオにおける少なくとも１つのブロック（たとえばカレントブロック）に対して実行され得る。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、２４００、および２６００を含む特定の代表的実施形態では、境界サンプルおよび非境界サンプルの１つまたは複数の空間勾配の決定は（１）垂直ソーベルフィルタ、（２）水平ソーベルフィルタ、または（３）３タップフィルタのいずれかを使用して、１つまたは複数の空間勾配を計算することを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、２４００、および２６００を含む特定の代表的実施形態では、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、いかなるさらなる操作なしに、参照ストアから囲んでいる参照サンプルをコピーすることを含むことができ、それぞれの境界サンプルに関連付けられた１つまたは複数の空間勾配の決定は、コピーされた、囲んでいる参照サンプルを使用して、それぞれの境界サンプルに関連付けられた１つまたは複数の空間勾配を決定することができる。
図２５は、代表的な勾配計算方法を示すフローチャートである。
図２５を参照すると、（たとえば、ビデオをエンコードおよび／またはデコードすることに使用される）サブブロックの境界に近接するサンプルに対応する参照サンプルを使用してサブブロックの勾配を計算する代表的な方法２５００は、ブロック２５１０で、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、カレントブロックのサブブロックの各それぞれの境界サンプルについて、囲んでいる参照サンプルとして、それぞれの境界サンプルに近接するサンプルに対応しサブブロックを囲む１つまたは複数の参照サンプルを決定すること、ならびに、囲んでいる参照サンプル、およびそれぞれの境界サンプルに近接するサブブロックのサンプルを使用して、それぞれの境界サンプルに関連付けられた１つまたは複数の空間勾配を決定することを含むことができる。ブロック２５２０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックにおける各それぞれの非境界サンプルについて、それぞれの非境界サンプルに近接するサブブロックのサンプルを使用して、それぞれの非境界サンプルに関連付けられた１つまたは複数の空間勾配を決定することができる。特定の実施形態では、ブロック２５１０および２５２０における動作は、ビデオにおける少なくとも１つのブロック（たとえばカレントブロック）に対して実行され得る。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、２４００、２５００および２６００を含む特定の代表的実施形態では、決定された１つまたは複数の空間勾配が、（１）オプティカルフローによる予測リファインメント（ＰＲＯＦ）動作、（２）双方向オプティカルフロー動作、または（３）アフィン動き推定動作のいずれかによってカレントブロックを予測するのに使用され得る。
図２６は、第９の代表的なエンコードおよび／またはデコード方法を示すフローチャートである。
図２６を参照すると、ビデオを符号化および／またはデコードするための代表的な方法２６００は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、ビデオのカレントブロックについてのサブブロックベース動き予測信号を生成することを含むことができる。たとえば、カレントブロックは、複数のサブブロックを含むことができる。ブロック２６２０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、カレントブロックの１つもしくは複数のそれぞれのサブブロックまたは各それぞれのサブブロックについて、サブブロックベース動き予測信号、およびそれぞれのサブブロックに接してそのサブブロックを囲む近接参照サンプルを使用して、拡張されたサブブロックを決定し、決定された拡張されたサブブロックを使用して、それぞれのサブブロックの空間勾配を決定することができる。ブロック２６３０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、決定された空間勾配に基づいて、カレントブロックについての動き予測リファインメント信号を決定することができる。ブロック２６４０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号と動き予測リファインメント信号とを組み合わせて（たとえば、特に可算または減算して）、カレントブロックについてのリファインした動き予測信号を作成することができる。ブロック２６５０において、エンコーダー１００または３００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオを符号化することができ、および／またはデコーダー２００もしくは５００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオをデコードすることができる。特定の実施形態では、ブロック２６１０、２６２０、２６３０、２６４０および２６５０における動作は、ビデオにおける少なくとも１つのブロック（たとえばカレントブロック）に対して実行され得る。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、いかなるさらなる操作なしに、参照ストアから近接参照サンプルをコピーすることを含むことができる。たとえば、それぞれのサブブロックの空間勾配の決定は、コピーされた近接参照サンプルを使用して、それぞれのサブブロックの境界上のサンプル位置に関連付けられた勾配値を決定することができる。拡張されたブロックの近接参照サンプルは、カレントブロックを含む参照ピクチャにおける最も近い整数ポジションからコピーされ得る。特定の例では、拡張されたブロックの近接参照サンプルは、元の精度から丸められた最も近い整数の動きベクトルを有する。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、ビデオのカレントブロックについてのアフィン動きモデルパラメーターを決定して、決定されたアフィン動きモデルパラメーターを使用してサブブロックベース動き予測信号が生成され得るようにすることを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２３００、２５００、および２６００を含む特定の代表的実施形態では、それぞれのサブブロックの空間勾配の決定は、それぞれのサブブロックにおける各それぞれのサンプル位置についての少なくとも１つの勾配値を計算することを含むことができる。たとえば、それぞれのサブブロックにおける各それぞれのサンプル位置についての少なくとも１つの勾配値の計算は、各それぞれのサンプル位置について、それぞれのサブブロックにおけるそれぞれのサンプル位置に対して勾配フィルターを適用することを含むことができる。別の例として、それぞれのサブブロックにおける各それぞれのサンプル位置についての少なくとも１つの勾配値の計算は、オプティカルフロー式に従って、それぞれのサブブロックにおける各それぞれのサンプル位置について強度変化を決定することを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、それぞれのサブブロックのサンプル位置に関連付けられた動きベクトル差分値のセットを決定することを含むことができる。たとえば、カレントブロックについてアフィン動きモデルを使用して、サブブロックベース動き予測信号が生成されてよく、動きベクトル差分値のセットが決定されてよい。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、動きベクトル差分値のセットは、カレントブロックのそれぞれのサブブロックについて決定されてよく、カレントブロックの他の残りのサブブロックについての動き予測リファインメント信号を決定するために使用されてよい。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、それぞれのサブブロックの空間勾配の決定は、（１）垂直ソーベルフィルタ、（２）水平ソーベルフィルタ、および／または（３）３タップフィルタのいずれかを使用して空間勾配を計算することを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、それぞれのサブブロックに接してそのサブブロックを囲む近接参照サンプルが、整数動き補償を使用することができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、それぞれのサブブロックの空間勾配は、水平勾配または垂直勾配のいずれかを含むことができる。たとえば、水平勾配は、それぞれのサンプルの右隣接サンプルとそれぞれのサンプルの左隣接サンプルとの間の輝度の差もしくは色差の差として計算されてよく、および／または垂直勾配は、それぞれのサンプルの下隣接サンプルとそれぞれのサンプルの上隣接サンプルとの間の輝度の差もしくは色差の差として計算されてよい。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、サブブロックベース動き予測信号は、（１）４パラメータアフィンモデル、（２）６パラメータアフィンモデル、（３）サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モード動き補償、または（３）回帰ベースの動き補償のいずれかを使用して生成され得る。たとえば、ＳｂＴＭＶＰモード動き補償が実行されるという条件で、この方法は、線形回帰演算によって、サブブロック動きベクトルフィールドを使用してアフィンモデルパラメータを推定すること、および／または、推定されたアフィンモデルパラメータを使用してピクセルレベル動きベクトルを導出することを含むことができる。別の例として、ＲＭＶＦモードベースの動き補償が実行されるという条件で、この方法は、アフィンモデルパラメータを推定すること、および／または、推定されたアフィンモデルパラメータを使用して、サブブロックレベル動きベクトルからのピクセルレベル動きベクトルオフセットを導出することを含むことができる。ピクセル動きベクトルオフセットは、それぞれのサブブロックの中心に対するものであってよい。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、それぞれのサブブロックについてのリファインした動き予測信号は、それぞれのサブブロックの実際の中心ポジションに基づくことができ、またはそれぞれのサブブロックの実際の中心に最も近いサンプル位置に基づくことができる。
たとえば、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、各それぞれのサブブロックについての動き予測ベクトルに関連付けられた中心ポジションとして、（１）各それぞれのサブブロックの実際の中心、または（２）それぞれのサブブロックの実際の中心に最も近いサンプル位置のうちの一方を選択することを含むことができる。リファインした動き予測信号は、各サブブロックの選択された中心ポジションに基づくことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、それぞれのサブブロックの色差ピクセルに関連付けられた中心ポジションを決定し、および色差ピクセルに関連付けられた色差位置サンプルタイプに基づいてそれぞれのサブブロックの色差ピクセルの中心ポジションに対するオフセットを決定することを含むことができる。それぞれのサブブロックについてのリファインした予測信号は、オフセットにより調整された色差ピクセルの決定された中心ポジションに対応するサブブロックの実際のポジションに基づくことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、および２６００を含む特定の代表的実施形態では、エンコーダー１００もしくは３００は、（１）シーケンスパラメータセット（ＳＰＳ）ヘッダ、（２）ピクチャパラメータセット（ＰＰＳ）ヘッダ、もしくは（３）タイルグループヘッダのうちの１つにおいて、オプティカルフローによる予測リファインメント（ＰＲＯＦ）が有効化されるかどうかを示す情報を生成し送信することができ、ならびに／またはデコーダー２００もしくは５００は、（１）ＳＰＳヘッダ、（２）ＰＰＳヘッダ、もしくは（３）タイルグループヘッダのうちの１つにおいて、ＰＲＯＦが有効化されるかどうかを示す情報を受信することができる。
図２７は、第１０の代表的なエンコードおよび／またはデコード方法を示すフローチャートである。
図２７を参照すると、ビデオを符号化および／またはデコードするための代表的な方法２７００は、ブロック２７１０で、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、カレントブロックの各それぞれのサブブロックの実際の中心ポジションを決定することを含むことができる。ブロック２７２０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、カレントブロックの各それぞれのサブブロックの実際の中心ポジションを使用して、サブブロックベース動き予測信号またはリファインした動き予測信号を生成することができる。ブロック２７３０において、（１）エンコーダー１００もしくは３００は、カレントブロックについての予測として、サブブロックベース動き予測信号もしくは生成されたリファインした動き予測信号を使用して、ビデオを符号化することができ、または（２）デコーダー２００もしくは５００は、カレントブロックについての予測として、サブブロックベース動き予測信号もしくは生成されたリファインした動き予測信号を使用して、ビデオをデコードすることができる。特定の実施形態では、ブロック２７１０、２７２０、および２７３０における動作は、ビデオにおける少なくとも１つのブロック（たとえばカレントブロック）に対して実行され得る。たとえば、カレントブロックの各それぞれのサブブロックの実際の中心ポジションの決定は、色差ピクセルの色差位置サンプルタイプに基づいて、それぞれのサブブロックの色差ピクセルに関連付けられた色差の中心ポジション、およびそれぞれのサブブロックの中心ポジションに対する色差の中心ポジションのオフセットを決定することを含むことができる。それぞれのサブブロックについてのサブブロックベース動き予測信号またはリファインした動き予測信号は、オフセットによって調整された決定された色差の中心ポジションに対応する、それぞれのサブブロックの実際の中心ポジションに基づくことができる。カレントブロックの各それぞれのサブブロックの実際の中心が様々な動作のために決定／使用されるように説明されているが、そのようなサブブロックの中心ポジションの１つ、一部、または全部が決定／使用され得ることが企図される。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２６００、２７００、および２８００を含む特定の代表的実施形態では、リファインした動き予測信号の生成は、カレントブロックの各それぞれのサブブロックについて、サブブロックベース動き予測信号の１つもしくは複数の空間勾配を決定すること、決定された空間勾配に基づいてカレントブロックについての動き予測リファインメント信号を決定すること、および／またはサブブロックベース動き予測信号と動き予測リファインメント信号とを組み合わせてカレントブロックについてのリファインした動き予測信号を作成することによって、サブブロックベース動き予測信号を使用することができる。たとえば、サブブロックベース動き予測信号の１つまたは複数の空間勾配の決定は、サブブロックベース動き予測信号、およびそれぞれのサブブロックに接してそのサブブロックを囲む近接参照サンプルを使用して、拡張されたサブブロックを決定すること、ならびに／または、決定された拡張されたサブブロックを使用して、それぞれのサブブロックの１つもしくは複数の空間勾配を決定することを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２６００、２７００、および２８００を含む特定の代表的実施形態では、それぞれのサブブロックの空間勾配の決定は、それぞれのサブブロックにおける各それぞれのサンプル位置についての少なくとも１つの勾配値を計算することを含むことができる。たとえば、それぞれのサブブロックにおける各それぞれのサンプル位置についての少なくとも１つの勾配値の計算は、各それぞれのサンプル位置について、それぞれのサブブロックにおけるそれぞれのサンプル位置に対して勾配フィルターを適用することを含むことができる。
別の例として、それぞれのサブブロックにおける各それぞれのサンプル位置についての少なくとも１つの勾配値の計算は、オプティカルフロー式に従って、それぞれのサブブロックにおける１つまたは複数のそれぞれのサンプル位置について強度変化を決定することを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２６００、２７００、および２８００を含む特定の代表的実施形態では、これらの方法は、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、それぞれのサブブロックのサンプル位置に関連付けられた動きベクトル差分値のセットを決定することを含むことができる。カレントブロックについてアフィン動きモデルを使用して、サブブロックベース動き予測信号が生成されてよく、動きベクトル差分値のセットが決定されてよい。特定の例では、動きベクトル差分値のセットは、カレントブロックのそれぞれのサブブロックについて決定されてよく、カレントブロックのそのサブブロックおよび他の残りのサブブロックについての動き予測リファインメント信号を決定するために使用（たとえば再利用）されてよい。たとえば、それぞれのサブブロックの空間勾配の決定は（１）垂直ソーベルフィルタ、（２）水平ソーベルフィルタ、および／または（３）３タップフィルタのいずれかを使用して、空間勾配を計算することを含むことができる。それぞれのサブブロックに接してそのサブブロックを囲む近接参照サンプルが、整数動き補償を使用することができる。
いくつかの実施形態では、それぞれのサブブロックの空間勾配は、水平勾配または垂直勾配のいずれかを含むことができる。たとえば、水平勾配は、それぞれのサンプルの右隣接サンプルとそれぞれのサンプルの左隣接サンプルとの間の輝度の差または色差の差として計算され得る。別の例として、垂直勾配は、それぞれのサブブロックの下隣接サンプルとそれぞれのサブブロックの上隣接サンプルとの間の輝度の差または色差の差として計算され得る。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２６００、２７００、および２８００を含む特定の代表的実施形態では、サブブロックベース動き予測信号は、（１）４パラメータアフィンモデル、（２）６パラメータアフィンモデル、（３）サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モード動き補償、および／または（３）回帰ベースの動き補償のいずれかを使用して生成され得る。たとえば、ＳｂＴＭＶＰモード動き補償が実行されるという条件で、この方法は、線形回帰演算によって、サブブロック動きベクトルフィールドを使用してアフィンモデルパラメータを推定すること、および／または、推定されたアフィンモデルパラメータを使用してピクセルレベル動きベクトルを導出することを含むことができる。別の例として、回帰動きベクトルフィールド（regression motion vector field：ＲＭＶＦ）モードベースの動き補償が実行されるという条件で、この方法は、アフィンモデルパラメータを推定すること、および／または、推定されたアフィンモデルパラメータを使用して、サブブロックレベル動きベクトルからのピクセルレベル動きベクトルオフセットを導出することを含むことができ、ここで、ピクセル動きベクトルオフセットは、それぞれのサブブロックの中心に対するものである。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２６００、２７００、および２８００を含む特定の代表的実施形態では、リファインした動き予測信号は、カレントブロックの制御点に関連付けられた複数の動きベクトルを使用して生成され得る。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２６００、２７００、および２８００を含む特定の代表的実施形態では、（１）シーケンスパラメータセット（ＳＰＳ）ヘッダ、（２）ピクチャパラメータセット（ＰＰＳ）ヘッダ、または（３）タイルグループヘッダのうちの１つにおいて、オプティカルフローによる予測リファインメント（ＰＲＯＦ）が有効化されるかどうかを示す情報を、エンコーダー１００または３００は生成、符号化、および送信することができ、デコーダー２００または５００は受信およびデコードすることができる。
図２８は、第１１の代表的なエンコードおよび／またはデコード方法を示すフローチャートである。
図２８を参照すると、ビデオを符号化および／またはデコードするための代表的な方法２８００は、ブロック２８１０で、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００が、各それぞれのサブブロックについての動き予測ベクトルに関連付けられた中心ポジションとして、（１）各それぞれのサブブロックの実際の中心、または（２）それぞれのサブブロックの実際の中心に最も近いサンプル位置のうちの一方を選択することを含むことができる。ブロック２８２０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、カレントブロックの各それぞれのサブブロックの選択された中心ポジションを決定することができる。ブロック２８３０において、エンコーダー１００もしくは３００および／またはデコーダー２００もしくは５００は、カレントブロックの各それぞれのサブブロックの選択された中心ポジションを使用して、サブブロックベース動き予測信号またはリファインした動き予測信号を生成することができる。ブロック２８４０において、（１）エンコーダー１００もしくは３００は、カレントブロックについての予測として、サブブロックベース動き予測信号もしくは生成されたリファインした動き予測信号を使用して、ビデオを符号化することができ、または（２）デコーダー２００もしくは５００は、カレントブロックについての予測として、サブブロックベース動き予測信号もしくは生成されたリファインした動き予測信号を使用して、ビデオをデコードすることができる。特定の実施形態では、ブロック２８１０、２８２０、２８３０、および２８４０における動作は、ビデオにおける少なくとも１つのブロック（たとえばカレントブロック）に対して実行され得る。カレントブロックの各それぞれのサブブロックに関して中心ポジションの選択が説明されているが、そのようなサブブロックの中心ポジションの１つ、一部、または全部が様々な動作において選択／使用され得ることが企図される。
図２９は、代表的なエンコード方法を示すフローチャートである。
図２９を参照すると、ビデオを符号化するための代表的な方法２９００は、ブロック２９１０で、エンコーダー１００または３００が、ビデオのカレントブロックについての動き推定を実行することを含むことができ、これを実行することは、反復動き補償動作を使用してカレントブロックについてのアフィン動きモデルパラメーターを決定することと、決定されたアフィン動きモデルパラメーターを使用してカレントブロックについてのサブブロックベース動き予測信号を生成することを含む。ブロック２９２０において、エンコーダー１００または３００は、カレントブロックについての動き推定を実行した後、オプティカルフローによる予測リファインメント（ＰＲＯＦ）動作を実行して、リファインした動き予測信号を生成する。ブロック２９３０において、エンコーダー１００または３００は、カレントブロックについての予測として、リファインした動き予測信号を使用して、ビデオを符号化することができる。たとえば、ＰＲＯＦ動作は、サブブロックベース動き予測信号の１つもしくは複数の空間勾配を決定すること、決定された空間勾配に基づいて、カレントブロックについての動き予測リファインメント信号を決定すること、および／またはサブブロックベース動き予測信号と動き予測リファインメント信号とを組み合わせて、カレントブロックについてのリファインした動き予測信号を作成することを含むことができる。
少なくとも代表的な方法１８００、１８５０、１９００、２０００、２１００、２２００、２６００、および２９００を含む特定の代表的実施形態では、ＰＲＯＦ動作は、反復動き補償動作が完了した後（たとえば、後のみ）に実行され得る。たとえば、カレントブロックについての動き推定中にはＰＲＯＦ動作が実行されない。
図３０は、別の代表的なエンコード方法を示すフローチャートである。
図３０を参照すると、ビデオを符号化するための代表的な方法３０００は、ブロック３０１０で、エンコーダー１００または３００が、カレントブロックについての動き推定中に、反復動き補償動作を使用してアフィン動きモデルパラメーターを決定することと、決定されたアフィン動きモデルパラメーターを使用してサブブロックベース動き予測信号を生成することとを含むことができる。ブロック３０２０において、エンコーダー１００または３００は、カレントブロックについての動き推定の後、カレントブロックのサイズが閾値サイズを満たすまたは超えるという条件で、オプティカルフローによる予測リファインメント（ＰＲＯＦ）動作を実行して、リファインした動き予測信号を生成することができる。ブロック３０３０において、エンコーダー１００または３００は、（１）カレントブロックが閾値サイズを満たすもしくは超えるという条件では、カレントブロックについての予測として、リファインした動き予測信号を使用して、または（２）カレントブロックが閾値サイズを満たさないという条件では、カレントブロックについての予測として、サブブロックベース動き予測信号を使用して、ビデオを符号化することができる。
図３１は、第１２の代表的なエンコード／デコード方法を示すフローチャートである。
図３１を参照すると、ビデオを符号化および／またはデコードするための代表的な方法３１００は、ブロック３１１０で、エンコーダー１００もしくは３００が、カレントブロックのサイズを示す情報を決定するもしくは取得すること、またはデコーダー２００もしくは５００が、カレントブロックのサイズを示す情報を受信することを含むことができる。ブロック３１２０において、エンコーダー１００もしくは３００またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号を生成することができる。ブロック３１３０において、エンコーダー１００もしくは３００またはデコーダー２００もしくは５００は、カレントブロックのサイズが閾値サイズを満たすまたは超えるという条件で、オプティカルフローによる予測リファインメント（ＰＲＯＦ）動作を実行して、リファインした動き予測信号を生成することができる。ブロック３１４０において、エンコーダー１００もしくは３００は、（１）カレントブロックが閾値サイズを満たすもしくは超えるという条件では、カレントブロックについての予測として、リファインした動き予測信号を使用して、または（２）カレントブロックが閾値サイズを満たさないという条件では、カレントブロックについての予測として、サブブロックベース動き予測信号を使用して、ビデオを符号化することができ、またはデコーダー２００もしくは５００は、（１）カレントブロックが閾値サイズを満たすもしくは超えるという条件では、カレントブロックについての予測として、リファインした動き予測信号を使用して、または（２）カレントブロックが閾値サイズを満たさないという条件では、カレントブロックについての予測として、サブブロックベース動き予測信号を使用して、ビデオをデコードすることができる。
図３２は、第１３の代表的なエンコード／デコード方法を示すフローチャートである。
図３２を参照すると、ビデオを符号化および／またはデコードするための代表的な方法３２００は、ブロック３２１０で、エンコーダー１００もしくは３００が、ピクセルレベル動き補償が実行されるべきかどうかを決定すること、またはデコーダー２００もしくは５００が、ピクセルレベル動き補償が実行されるべきかどうかを示すフラグを受信することを含むことができる。ブロック３２２０において、エンコーダー１００もしくは３００またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号を生成することができる。ブロック３２３０において、ピクセルレベル動き補償が実行されるべきという条件で、エンコーダー１００もしくは３００またはデコーダー２００もしくは５００は、サブブロックベース動き予測信号の１つまたは複数の空間勾配を決定し、決定された空間勾配に基づいてカレントブロックについての動き予測リファインメント信号を決定し、サブブロックベース動き予測信号と動き予測リファインメント信号とを組み合わせてカレントブロックについてのリファインした動き予測信号を作成することができる。ブロック３２４０において、ピクセルレベル動き補償が実行されるべきかどうかの決定に従って、エンコーダー１００もしくは３００は、カレントブロックについての予測として、サブブロックベース動き予測信号もしくはリファインした動き予測信号を使用して、ビデオを符号化することができ、またはデコーダー２００もしくは５００は、フラグの表示に従って、カレントブロックについての予測として、サブブロックベース動き予測信号もしくはリファインした動き予測信号を使用して、ビデオをデコードすることができる。特定の実施形態では、ブロック３２２０および３２３０における動作は、ビデオにおけるブロック（たとえばカレントブロック）に対して実行され得る。
図３３は、第１４の代表的なエンコード／デコード方法を示すフローチャートである。
図３３を参照すると、ビデオを符号化および／またはデコードするための代表的な方法３３００は、ブロック３３１０で、第１の参照ピクチャおよび第２の参照ピクチャに関連付けられた１つまたは複数の重みを示すインター予測重み情報を、エンコーダー１００もしくは３００が決定するもしくは取得する、またはデコーダー２００もしくは５００が受信することを含むことができる。ブロック３３２０において、エンコーダー１００もしくは３００またはデコーダー２００もしくは５００は、ビデオのカレントブロックについて、サブブロックベース動きインター予測信号を生成することができ、第１の参照ピクチャに関連付けられた空間勾配の第１のセット、および第２の参照ピクチャに関連付けられた空間勾配の第２のセットを決定することができ、空間勾配の第１のセットおよび第２のセットならびにインター予測重み情報に基づいて、カレントブロックについての動きインター予測リファインメント信号を決定することができ、サブブロックベース動きインター予測信号と動きインター予測リファインメント信号とを組み合わせてカレントブロックについてのリファインした動きインター予測信号を作成することができる。ブロック３３３０において、エンコーダー１００もしくは３００は、カレントブロックについての予測として、リファインした動きインター予測信号を使用して、ビデオを符号化することができ、またはデコーダー２００もしくは５００は、カレントブロックについての予測として、リファインした動きインター予測信号を使用して、ビデオをデコードすることができる。たとえば、インター予測重み情報は、（１）第１の参照ピクチャに適用される第１の重み係数および／もしくは第２の参照ピクチャに適用される第２の重み係数を示すインジケータ、または（２）重みインデックスのいずれかである。特定の実施形態では、カレントブロックについての動きインター予測リファインメント信号は、（１）空間勾配の第１のセットから導出され、インター予測重み情報により示される第１の重み係数に従って重み付けされた第１の勾配値、および（２）空間勾配の第２のセットから導出され、インター予測重み情報により示される第２の重み係数に従って重み付けされた第２の勾配値に基づくことができる。
態様の実装のための例示的なネットワーク
図３４Ａは、１つまたは複数の開示される態様が実装され得る例示的な通信システム３４００を示す図である。通信システム３４００は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数のワイヤレスユーザに提供する、多元接続システムとすることができる。通信システム３４００は、複数のワイヤレスユーザが、ワイヤレス帯域幅を含むシステムリソースの共有を通じてそのようなコンテンツにアクセスすることを可能にし得る。たとえば、通信システム３４００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、ゼロテールユニークワードＤＦＴ拡散ＯＦＤＭ（ＺＴ ＵＷ ＤＴＳ－ｓ ＯＦＤＭ）、ユニークワードＯＦＤＭ（ＵＷ－ＯＦＤＭ）、リソースブロックフィルタードＯＦＤＭ、フィルタバンクマルチキャリア（ＦＢＭＣ）など、１つまたは複数のチャネルアクセス方法を利用することができる。
図３４Ａに示されるように、通信システム３４００は、ワイヤレス送信／受信ユニット（ＷＴＲＵ）３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄ、ＲＡＮ３４０４／３４１３、ＣＮ３４０６／３４１５、公衆交換電話網（ＰＳＴＮ）３４０８、インターネット３４１０、および他のネットワーク３４１２を含むことができるが、開示される態様は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図することが理解されよう。ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄのそれぞれは、ワイヤレス環境で動作および／または通信するように構成された任意のタイプのデバイスとすることができる。例として、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄは、いずれも「局」および／または「ＳＴＡ」と呼ばれてよく、ワイヤレス信号を送信および／または受信するように構成されてよく、ユーザー機器（ＵＥ）、移動局、固定または移動加入者ユニット、加入ベースのユニット、ページャ、セルラ電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、ワイヤレスセンサ、ホットスポットまたはＭｉ－Ｆｉデバイス、モノのインターネット（ＩｏＴ）デバイス、時計または他のウェアラブル、ヘッドマウントディスプレイ（ＨＭＤ）、乗り物、ドローン、医療デバイスおよびアプリケーション（たとえば遠隔手術）、産業用デバイスおよびアプリケーション（たとえば、産業用および／または自動処理チェーンコンテキストで動作するロボットおよび／または他のワイヤレスデバイス）、家庭用電子機器、商用および／または産業用ワイヤレスネットワーク上で動作するデバイスなどを含み得る。ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃおよび３４０２ｄはいずれも、交換可能にＵＥと呼ばれてよい。
通信システム３４００は、基地局３４１４ａおよび／または基地局３４１４ｂを含むこともできる。基地局３４１４ａ、３４１４ｂのそれぞれは、ＣＮ３４０６／３４１５、インターネット３４１０、および／またはネットワーク３４１２などの１つまたは複数の通信ネットワークへのアクセスを容易にするために、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄのうちの少なくとも１つとワイヤレスでインターフェース接続するように構成された、任意のタイプのデバイスとすることができる。例として、基地局３４１４ａ、３４１４ｂは、トランシーバー基地局（ＢＴＳ）、ノードＢ、ｅノードＢ（ｅｎｄ）、ホームノードＢ（ＨＮＢ）、ホームｅノードＢ（ＨｅＮＢ）、ｇＮＢ、ＮＲノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、およびワイヤレスルータなどにすることができる。基地局３４１４ａ、３４１４ｂはそれぞれが単一の要素として示されているが、基地局３４１４ａ、３４１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含むことができることが理解されよう。
基地局３４１４ａは、ＲＡＮ３４０４／３４１３の一部とすることができ、ＲＡＮ３４０４／３４１３は、基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなど、他の基地局および／またはネットワーク要素（図示せず）を含むこともできる。基地局３４１４ａおよび／または基地局３４１４ｂは、セル（図示せず）と呼ばれることがある１つまたは複数のキャリア周波数でワイヤレス信号を送信および／または受信するように構成され得る。これらの周波数は、認可スペクトル、無認可スペクトル、または認可スペクトルと無認可スペクトルとの組み合わせであってよい。セルは、比較的固定され得るまたは時間と共に変化し得る特定の地理的エリアに対するワイヤレスサービスのためのカバレージを提供することができる。セルは、さらにセルセクタに区分され得る。たとえば、基地局３４１４ａに関連付けられたセルは、３つのセクタに区分され得る。したがって、一実施形態では、基地局３４１４ａは、３つのトランシーバー、すなわちセルのセクタ毎に１つのトランシーバーを含むことができる。実施形態において、基地局３４１４ａは、多入力多出力（ＭＩＭＯ）技術を利用することができ、セルのセクタ毎に複数のトランシーバーを利用することができる。たとえば、ビームフォーミングが、所望される空間方向で信号を送信および／または受信するために使用され得る。
基地局３４１４ａ、３４１４ｂは、エアインターフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄのうちの１つまたは複数と通信することができ、エアインターフェース３４１６は、任意の適切なワイヤレス通信リンク（たとえば、無線周波数（ＲＦ）、マイクロ波、センチメートル波、マイクロメートル波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）とすることができる。エアインターフェース３４１６は、任意の適切な無線アクセス技術（ＲＡＴ）を使用して確立され得る。
より具体的には、上記されたように、通信システム３４００は、多元接続システムとすることができ、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、およびＳＣ－ＦＤＭＡなどの１つまたは複数のチャネルアクセス方式を利用することができる。たとえば、ＲＡＮ３４０４／３４１３内の基地局３４１４ａ、およびＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、広帯域ＣＤＭＡ（ＷＣＤＭＡ）を使用してエアインターフェース３４１５／３４１６／３４１７を確立できるユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実装することができる。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または進化型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンク（ＤＬ）パケットアクセス（ＨＳＤＰＡ）および／または高速ＵＬパケットアクセス（ＨＳＵＰＡ）を含むことができる。
実施形態において、基地局３４１４ａ、およびＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、ロングタームエボリューション（ＬＴＥ）および／またはＬＴＥアドバンスト（ＬＴＥ－Ａ）および／またはＬＴＥアドバンストプロ（ＬＴＥ－Ａ Ｐｒｏ）を使用してエアインターフェース３４１６を確立できる、進化型ＵＭＴＳ地上無線アクセス（Ｅ－ＵＴＲＡ）などの無線技術を実装することができる。
実施形態において、基地局３４１４ａおよびＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、ＮｅｗＲａｄｉｏ（ＮＲ）を使用してエアインターフェース３４１６を確立できるＮＲ無線アクセスなどの無線技術を実装することができる。
実施形態において、基地局３４１４ａおよびＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、複数の無線アクセス技術を実装することができる。たとえば、基地局３４１４ａおよびＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、たとえばデュアル接続性（ＤＣ）原理を使用して、ＬＴＥ無線アクセスとＮＲ無線アクセスを一緒に実装することができる。したがって、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、および／または複数のタイプの基地局（たとえば、ｅｎｄおよびｇＮＢ）へ／から送られる送信によって特徴付けられ得る。
他の実施形態では、基地局３４１４ａおよびＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、ＩＥＥＥ８０２．１１（すなわち、ワイヤレスフィデリティ（ＷｉＦｉ））、ＩＥＥＥ８０２．１６（すなわち、マイクロ波アクセス用世界的相互運用（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ－ＤＯ、暫定標準２０００（ＩＳ－２０００）、暫定標準９５（ＩＳ－９５）、暫定標準８５６（ＩＳ－８５６）、移動体通信用グローバルシステム（ＧＳＭ）、ＧＳＭエボリューション用拡張データレート（ＥＤＧＥ）、およびＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実装することができる。
図３４Ａにおける基地局３４１４ｂは、たとえば、ワイヤレスルータ、ホームノードＢ、ホームｅノードＢ、またはアクセスポイントとすることができ、職場、家庭、乗り物、キャンパス、産業施設、（たとえばドローンにより使用される）空中回廊、および車道などの局所的エリアにおけるワイヤレス接続性を容易にするために任意の適切なＲＡＴを利用することができる。一実施形態では、基地局３４１４ｂおよびＷＴＲＵ３４０２ｃ、３４０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実装してワイヤレスローカルエリアネットワーク（ＷＬＡＮ）を確立することができる。実施形態において、基地局３４１４ｂおよびＷＴＲＵ３４０２ｃ、３４０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実装してワイヤレスパーソナルエリアネットワーク（ＷＰＡＮ）を確立することができる。さらに別の実施形態では、基地局３４１４ｂおよびＷＴＲＵ３４０２ｃ、３４０２ｄは、セルラベースのＲＡＴ（たとえば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、ＮＲなど）を利用してピコセルまたはフェムトセルを確立することができる。図３４Ａに示されるように、基地局３４１４ｂは、インターネット３４１０への直接接続を有することができる。したがって、基地局３４１４ｂは、ＣＮ３４０６／３４１５を介してインターネット３４１０にアクセスすることを必要とされなくてよい。
ＲＡＮ３４０４／３４１３は、ＣＮ３４０６／３４１５と通信することができ、ＣＮ３４０６／３４１５は、音声、データ、アプリケーション、および／またはボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄのうちの１つまたは複数に提供するように構成された、任意のタイプのネットワークとすることができる。データは、異なるスループット要件、待ち時間要件、エラー許容要件、信頼性要件、データスループット要件、およびモビリティ要件などの様々なサービス品質（ＱｏＳ）要件を有することがある。ＣＮ３４０６／３４１５は、呼制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供し、および／またはユーザー認証などの高レベルセキュリティ機能を実行することができる。図３４Ａに示されていないが、ＲＡＮ１０８４／３４１３および／またはＣＮ３４０６／３４１５は、ＲＡＮ３４０４／３４１３と同じＲＡＴまたは異なるＲＡＴを利用する他のＲＡＮとの直接的または間接的な通信が可能であることが理解されよう。たとえば、ＮＲ無線技術を利用し得るＲＡＮ３４０４／３４１３に接続されるのに加えて、ＣＮ３４０６／３４１５は、ＧＳＭ、ＵＭＴＳ、ＣＤＭＡ２０００、ＷｉＭＡＸ、Ｅ－ＵＴＲＡ、またはＷｉＦｉ無線技術を利用する別のＲＡＮ（図示せず）と通信することもできる。
ＣＮ３４０６／３４１５は、ＰＳＴＮ３４０８、インターネット３４１０、および／または他のネットワーク３４１２にアクセスするＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄのためのゲートウェイの役割をすることもできる。ＰＳＴＮ３４０８は、基本電話サービス（ＰＯＴＳ）を提供する回線交換電話網を含むことができる。インターネット３４１０は、ＴＣＰ／ＩＰインターネットプロトコルスイートにおける伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、および／またはインターネットプロトコル（ＩＰ）などの共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含むことができる。ネットワーク３４１２は、他のサービスプロバイダによって所有および／または運用される有線および／またはワイヤレス通信ネットワークを含むことができる。たとえば、ネットワーク３４１２は、ＲＡＮ３４０４／３４１３と同じＲＡＴまたは異なるＲＡＴを利用できる１つまたは複数のＲＡＮに接続された別のＣＮを含むことができる。
通信システム３４００におけるＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄの一部または全部は、マルチモード能力を含むことができる（たとえば、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄは、異なるワイヤレスリンクを介して異なるワイヤレスネットワークと通信するための複数のトランシーバーを含むことができる）。たとえば、図３４Ａに示されているＷＴＲＵ３４０２ｃは、セルラベースの無線技術を利用できる基地局３４１４ａ、およびＩＥＥＥ８０２無線技術を利用できる基地局３４１４ｂと通信するように構成され得る。
図３４Ｂは、例示的なＷＴＲＵ３４０２を示すシステム図である。図３４Ｂに示されるように、ＷＴＲＵ３４０２は、プロセッサー３４１８、トランシーバー３４２０、送信／受信要素３４２２、スピーカー／マイクロフォン３４２４、キーパッド３４２６、ディスプレイ／タッチパッド３４２８、着脱不能メモリー３４３０、着脱可能メモリー３４３２、電源３４３４、全地球測位システム（ＧＰＳ）チップセット３４３６、および／または他の周辺機器３４３８などを含むことができる。ＷＴＲＵ３４０２は、実施形態との整合性を保ちながら、上記要素の任意の部分的組み合わせを含むことができることが理解されよう。
プロセッサー３４１８は、汎用プロセッサー、専用プロセッサー、従来のプロセッサー、デジタル信号プロセッサー（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連した１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、および状態機械などとすることができる。プロセッサー３４１８は、信号符号化、データ処理、電力制御、入出力処理、および／またはＷＴＲＵ３４０２がワイヤレス環境で動作するのを可能にする任意の他の機能性を実行することができる。プロセッサー３４１８はトランシーバー３４２０に結合されてよく、トランシーバー３４２０は送信／受信要素３４２２に結合されてよい。図３４Ｂはプロセッサー３４１８とトランシーバー３４２０を別々のコンポーネントとして示しているが、プロセッサー３４１８とトランシーバー３４２０は電子パッケージまたはチップに一緒に統合されてよいことが理解されよう。プロセッサー３４１８は、ビデオ（たとえばビデオフレーム）を符号化またはデコードするように構成され得る。
送信／受信要素３４２２は、エアインターフェース３４１６を介して、基地局（たとえば基地局３４１４ａ）に信号を送信し、または基地局から信号を受信するように構成され得る。たとえば、一実施形態では、送信／受信要素３４２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナとすることができる。実施形態において、送信／受信要素３４２２は、たとえば、ＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成されたエミッタ／検出器とすることができる。さらに別の実施形態では、送信／受信要素３４２２は、ＲＦ信号と光信号の両方を送信および／または受信するように構成され得る。送信／受信要素３４２２がワイヤレス信号の任意の組み合わせを送信および／または受信するように構成され得ることは理解されよう。
図３４Ｂでは送信／受信要素３４２２は単一の要素として示されているが、ＷＴＲＵ３４０２は任意の数の送信／受信要素３４２２を含むことができる。より具体的には、ＷＴＲＵ３４０２はＭＩＭＯ技術を利用することができる。したがって、一実施形態では、ＷＴＲＵ３４０２は、エアインターフェース３４１６を介してワイヤレス信号を送信および受信するための２つ以上の送信／受信要素３４２２（たとえば、複数のアンテナ）を含むことができる。
トランシーバー３４２０は、送信／受信要素３４２２によって送信される信号を変調し、送信／受信要素３４２２によって受信された信号を復調するように構成され得る。上記されたように、ＷＴＲＵ３４０２はマルチモード能力を有することができる。したがって、トランシーバー３４２０は、たとえば、ＮＲおよびＩＥＥＥ８０２．１１などの複数のＲＡＴを介してＷＴＲＵ３４０２が通信することを可能にするための複数のトランシーバーを含むことができる。
ＷＴＲＵ３４０２のプロセッサー３４１８は、スピーカー／マイクロフォン３４２４、キーパッド３４２６、および／またはディスプレイ／タッチパッド３４２８（たとえば、液晶表示（ＬＣＤ）ディスプレイユニットもしくは有機発光ダイオード（ＯＬＥＤ）表示ユニット）に結合されることができ、それらからユーザー入力データを受信することができる。プロセッサー３４１８は、スピーカー／マイクロフォン３４２４、キーパッド３４２６、および／またはディスプレイ／タッチパッド３４２８にユーザデータを出力することもできる。加えて、プロセッサー３４１８は、着脱不能メモリー３４３０および／または着脱可能メモリー３４３２などの任意のタイプの適切なメモリーからの情報にアクセスすることができ、それらにデータを記憶することができる。着脱不能メモリー３４３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、ハードディスク、または任意の他のタイプのメモリストレージデバイスを含み得る。着脱可能メモリー３４３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、およびセキュアデジタル（ＳＤ）メモリカードなどを含み得る。他の実施形態では、プロセッサー３４１８は、ＷＴＲＵ３４０２上に物理的に配置されずにサーバまたはホームコンピュータ（図示せず）上などにあるメモリーからの情報にアクセスすることができ、それらにデータを記憶することができる。
プロセッサー３４１８は、電源３４３４から電力を受け取ることができ、ＷＴＲＵ３４０２内の他のコンポーネントへの電力の分配および／または制御をするように構成され得る。電源３４３４は、ＷＴＲＵ３４０２に電力供給するための任意の適切なデバイスとすることができる。たとえば、電源３４３４は、１つまたは複数の乾電池（たとえば、ニッケル－カドミウム（ＮｉＣｄ）、ニッケル－亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ－ｉｏｎ）など）、太陽電池、および燃料電池などを含むことができる。
プロセッサー３４１８は、ＧＰＳチップセット３４３６に結合されてもよく、ＧＰＳチップセット３４３６は、ＷＴＲＵ３４０２の現在の位置に関する位置情報（たとえば、経度および緯度）を提供するように構成され得る。ＧＰＳチップセット３４３６からの情報に加えてまたは代えて、ＷＴＲＵ３４０２は、基地局（たとえば、基地局３４１４ａ、３４１４ｂ）からエアインターフェース３４１６を介して位置情報を受信し、および／または２つ以上の近くの基地局から受信された信号のタイミングに基づいてその位置を決定することができる。ＷＴＲＵ３４０２は、実施形態との整合性を保ちながら、任意の適切な位置決定方法によって位置情報を獲得できることが理解されよう。
プロセッサー３４１８は、他の周辺機器３４３８にさらに結合されてよく、他の周辺機器３４３８は、追加的な特徴、機能性、および／または有線もしくはワイヤレス接続性を提供する１つまたは複数のソフトウェアおよび／またはハードウェアモジュールを含むことができる。たとえば、周辺機器３４３８は、加速度計、電子コンパス、衛星トランシーバー、（写真および／またはビデオ用）デジタルカメラ、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、バーチャルリアリティおよび／または拡張現実（ＶＲ／ＡＲ）デバイス、ならびにアクティビティトラッカなどを含み得る。周辺機器３４３８は、１つまたは複数のセンサを含んでよく、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、地理位置センサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、バイオメトリックセンサ、および／または湿度センサのうちの１つまたは複数であってよい。
ＷＴＲＵ３４０２のプロセッサー３４１８は、本明細書に開示されている代表的実施形態を実装するために、たとえば、１つもしくは複数の加速度計、１つもしくは複数のジャイロスコープ、ＵＳＢポート、他の通信インターフェース／ポート、ディスプレイ、および／または他の視覚／音声インジケータのいずれかを含む様々な周辺機器３４３８と動作可能に通信することができる。
ＷＴＲＵ３４０２は、全二重無線を含んでよく、全二重無線では、（たとえば、ＵＬ（たとえば送信用）とダウンリンク（たとえば受信用）の両方についての特定のサブフレームに関連付けられた信号の一部または全部の送信および受信が、並列および／または同時であり得る。全二重無線は、ハードウェア（たとえばチョーク）またはプロセッサー（たとえば、別個のプロセッサ（図示せず）もしくはプロセッサー３４１８）による信号処理を介して自己干渉を減らすまたは実質的に除去するための干渉管理ユニットを含み得る。実施形態において、ＷＴＲＵ３４０２は、（たとえば、ＵＬ（たとえば送信用）またはダウンリンク（たとえば受信用）のいずれかについての特定のサブフレームに関連付けられた）信号の一部または全部の送信および受信のための半二重無線を含んでよい。
図３４Ｃは、態様に係るＲＡＮ１０４およびＣＮ３４０６を示すシステム図である。上記されたように、ＲＡＮ３４０４は、Ｅ－ＵＴＲＡ無線技術を利用して、エアインターフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと通信することができる。ＲＡＮ３４０４はＣＮ３４０６と通信することもできる。
ＲＡＮ３４０４はｅノードＢ３４６０ａ、３４６０ｂ、３４６０ｃを含むことができるが、ＲＡＮ３４０４は、実施形態との整合性を保ちながら、任意の数のｅノードＢを含むことができることが理解されよう。ｅノードＢ３４６０ａ、３４６０ｂ、３４６０ｃはそれぞれが、エアインターフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと通信するための１つまたは複数のトランシーバーを含むことができる。一実施形態では、ｅノードＢ３４６０ａ、３４６０ｂ、３４６０ｃはＭＩＭＯ技術を実装することができる。したがって、ｅノードＢ３４６０ａは、たとえば、複数のアンテナを使用して、ＷＴＲＵ３４０２ａにワイヤレス信号を送信し、および／またはＷＴＲＵ３４０２ａからワイヤレス信号を受信することができる。
ｅノードＢ３４６０ａ、３４６０ｂ、３４６０ｃのそれぞれは、特定のセル（図示せず）に関連付けられてよく、無線リソース管理決定、ハンドオーバ決定、ならびにＵＬおよび／またはＤＬにおけるユーザーのスケジューリングなどを処理するように構成され得る。図３４Ｃに示されるように、ｅノードＢ３４６０ａ、３４６０ｂ、３４６０ｃはＸ２インターフェースを介して互いに通信することができる。
図３４Ｃに示されるＣＮ３４０６は、モビリティ管理エンティティ（ＭＭＥ）３４６２、サービングゲートウェイ（ＳＧＷ）３４６４、およびパケットデータネットワーク（ＰＤＮ）ゲートウェイ（またはＰＧＷ）３４６６を含むことができる。上記の要素のそれぞれはＣＮ３４０６の部分として示されているが、これらの要素のいずれも、ＣＮオペレータとは異なるエンティティによって所有および／または運用され得ることが理解されよう。
ＭＭＥ３４６２は、Ｓ１インターフェースを介してＲＡＮ３４０４内のｅノードＢ３４６０ａ、３４６０ｂ、３４６０ｃのそれぞれに接続されてよく、制御ノードの役割をすることができる。たとえば、ＭＭＥ３４６２は、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃのユーザーを認証すること、ベアラアクティブ化／非アクティブ化、およびＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃの初期アタッチ中に特定のサービングゲートウェイを選択することなどを担当することができる。ＭＭＥ３４６２は、ＲＡＮ３４０４と、ＧＳＭおよび／またはＷＣＤＭＡなど他の無線技術を利用する他のＲＡＮ（図示せず）との間の切り替えのための制御プレーン機能を提供することができる。
ＳＧＷ３４６４は、Ｓ１インターフェースを介してＲＡＮ１０４内のｅノードＢ３４６０ａ、３４６０ｂ、３４６０ｃのそれぞれに接続され得る。ＳＧＷ３４６４は一般に、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃへ／からのユーザデータパケットをルーティングおよび転送することができる。ＳＧＷ３４６４は、ｅノードＢ間ハンドオーバ中にユーザプレーンをアンカリングすること、ＤＬデータがＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに利用可能なときにページングをトリガすること、ならびにＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃのコンテキストを管理および記憶することなど、他の機能を実行することもできる。
ＳＧＷ３４６４は、ＰＧＷ３４６６に接続されてよく、ＰＧＷ３４６６は、インターネット３４１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供して、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。
ＣＮ３４０６は、他のネットワークとの通信を容易にすることができる。たとえば、ＣＮ１０６は、ＰＳＴＮ３４０８などの回線交換ネットワークへのアクセスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供して、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと従来の陸線通信デバイスとの間の通信を容易にすることができる。たとえば、ＣＮ３４０６は、ＣＮ３４０６とＰＳＴＮ３４０８との間のインターフェースとしての役割をするＩＰゲートウェイ（たとえば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことができ、またはそのようなＩＰゲートウェイと通信することができる。加えて、ＣＮ３４０６は、他のネットワーク３４１２へのアクセスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供することができ、他のネットワーク３４１２は、他のサービスプロバイダによって所有および／または運用される他の有線および／またはワイヤレスネットワークを含むことができる。
図３４Ａ～図３４ＤではＷＴＲＵがワイヤレス端末として説明されているが、特定の代表的実施形態では、そのような端末は、通信ネットワークとの有線通信インターフェースを（たとえば、一時的または永続的に）使用し得ることが企図される。
代表的実施形態において、他のネットワーク３４１２はＷＬＡＮであってよい。
インフラストラクチャ基本サービスセット（ＢＳＳ）モードにおけるＷＬＡＮは、ＢＳＳ用のアクセスポイント（ＡＰ）、およびＡＰに関連付けられた１つまたは複数の局（ＳＴＡ）を有することができる。ＡＰは、ＢＳＳ内および／または外へのトラフィックを搬送する配信システム（ＤＳ）または別のタイプの有線／ワイヤレスネットワークへのアクセスまたはインターフェースを有することができる。ＢＳＳの外部から生じるＳＴＡへのトラフィックは、ＡＰを介して到着してよく、ＳＴＡに送達されてよい。ＢＳＳの外部の宛先に向けてＳＴＡから生じるトラフィックは、ＡＰに送られてそれぞれの宛先に送達されてよい。ＢＳＳ内のＳＴＡの間のトラフィックは、ＡＰを通して送られてよく、たとえば、ソースＳＴＡはＡＰにトラフィックを送ることができ、ＡＰは宛先ＳＴＡにトラフィックを送達することができる。ＢＳＳ内のＳＴＡの間のトラフィックは、ピアツーピアトラフィックと見なされ、および／または称されることがある。ピアツーピアトラフィックは、ダイレクトリンクセットアップ（ＤＬＳ）を用いてソースＳＴＡと宛先ＳＴＡとの間で（たとえば、間で直接）送られてよい。特定の代表的実施形態では、ＤＬＳは、８０２．１１ｅ ＤＬＳまたは８０２．１１ｚトンネルＤＬＳ（ＴＤＬＳ）を使用してよい。独立ＢＳＳ（ＩＢＳＳ）モードを使用するＷＬＡＮはＡＰを有しなくてよく、ＩＢＳＳ内のまたはＩＢＳＳを使用するＳＴＡ（たとえば、ＳＴＡの全て）は互いに直接通信してよい。ＩＢＳＳ通信モードは、本明細書では「アドホック」通信モードと呼ばれることがあり得る。
８０２．１１ａｃインフラストラクチャ動作モードまたは同様の動作モードを使用するとき、ＡＰは、一次チャネルなどの固定チャネル上でビーコンを送信することができる。一次チャネルは、固定された幅（たとえば、２０ＭＨｚ幅の帯域幅）、またはシグナリングを介して動的に設定された幅であり得る。一次チャネルは、ＢＳＳの動作チャネルであってよく、ＡＰとの接続を確立するためにＳＴＡによって使用されてよい。特定の代表的実施形態では、キャリア検知多重アクセス／衝突回避（ＣＳＭＡ／ＣＡ）が、たとえば８０２．１１システムにおいて実装され得る。ＣＳＭＡ／ＣＡでは、ＡＰを含むＳＴＡ（たとえば、全てのＳＴＡ）が一次チャネルを感知することができる。特定のＳＴＡによって一次チャネルが感知／検出されおよび／またはビジーであると決定される場合、特定のＳＴＡはバックオフしてよい。１つのＳＴＡ（たとえば、単一の局）は、所与のＢＳＳにおいて任意の所与の時間に送信をしてよい。
高スループット（ＨＴ）のＳＴＡは、４０ＭＨｚ幅チャネルを形成するために、たとえば、隣り合ったまたは隣り合っていない２０ＭＨｚチャネルと一次２０ＭＨｚチャネルの組み合わせを用いて、通信用に４０ＭＨｚ幅チャネルを使用することができる。
超高スループット（ＶＨＴ）のＳＴＡは、２０ＭＨｚ、４０ＭＨｚ、８０ＭＨｚ、および／または１６０ＭＨｚ幅チャネルをサポートすることができる。４０ＭＨｚおよび／または８０ＭＨｚチャネルは、連続する２０ＭＨｚチャネルを組み合わせることによって形成され得る。１６０ＭＨｚチャネルは、８つの連続する２０ＭＨｚチャネルを組み合わせることによって、または８０＋８０構成と呼ばれることがある２つの連続していない８０ＭＨｚチャネルを組み合わせることによって形成され得る。８０＋８０構成では、データは、チャネルエンコード後に、２つのストリームにデータを区分できるセグメントパーサを通して渡されてよい。逆高速フーリエ変換（ＩＦＦＴ）処理と時間領域処理とが各ストリームで別々に行われてよい。ストリームは、２つの８０ＭＨｚチャネル上にマッピングされてよく、データは、送信ＳＴＡによって送信されてよい。受信ＳＴＡの受信機では、８０＋８０構成について上述された動作が逆にされてよく、組み合わされたデータが媒体アクセス制御（ＭＡＣ）に送られてよい。
サブ１ＧＨｚ動作モードが８０２．１１ａｆおよび８０２．１１ａｈによってサポートされる。チャネル動作帯域幅およびキャリアは、８０２．１１ｎおよび８０２．１１ａｃで使用されるものと比べて８０２．１１ａｆおよび８０２．１１ａｈにて減らされる。８０２．１１ａｆは、ＴＶホワイトスペース（ＴＶＷＳ）スペクトル中の５ＭＨｚ、１０ＭＨｚ、および２０ＭＨｚ帯域幅をサポートし、８０２．１１ａｈは、非ＴＶＷＳスペクトルを使用して１ＭＨｚ、２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、および１６ＭＨｚ帯域幅をサポートする。代表的実施形態によれば、８０２．１１ａｈは、マクロカバレージエリア内のＭＴＣデバイスなどのメータタイプ制御／マシンタイプ通信をサポートすることができる。ＭＴＣデバイスは、特定の能力、たとえば、特定および／または限定された帯域幅のサポート（たとえば、それのみのサポート）を含む限定された能力を有してよい。ＭＴＣデバイスは、（たとえば、非常に長いバッテリ寿命を維持するために）閾値を上回るバッテリ寿命を有するバッテリを含んでよい。
８０２．１１ｎ、８０２．１１ａｃ、８０２．１１ａｆ、および８０２．１１ａｈなどの複数のチャネルおよびチャネル帯域幅をサポートし得る、ＷＬＡＮシステムは、一次チャネルとして指定され得るチャネルを含む。一次チャネルは、ＢＳＳにおける全てのＳＴＡによってサポートされる最大の共通動作帯域幅に等しい帯域幅を有し得る。一次チャネルの帯域幅は、ＢＳＳにおいて動作している全てのＳＴＡのうちから最小の帯域幅動作モードをサポートするＳＴＡによって、設定および／または限定され得る。８０２．１１ａｈの例では、ＡＰ、およびＢＳＳにおける他のＳＴＡが、２ＭＨｚ、４ＭＨｚ、８ＭＨｚ、１６ＭＨｚ、および／または他のチャネル帯域幅動作モードをサポートする場合でも、一次チャネルは、１ＭＨｚモードをサポートする（たとえば、それのみをサポートする）ＳＴＡ（たとえば、ＭＴＣタイプデバイス）に対して１ＭＨｚ幅であり得る。キャリア検知および／またはネットワーク割り当てベクトル（ＮＡＶ）設定は、一次チャネルのステータスに依存し得る。たとえば、ＡＰに送信をする（１ＭＨｚ動作モードのみをサポートする）ＳＴＡにより、一次チャネルがビジーである場合、周波数帯域の大部分がアイドル状態のままで利用可能であり得る場合でも、利用可能な周波数帯域全体がビジーであると見なされ得る。
米国では、８０２．１１ａｈによって使用され得る利用可能な周波数帯域は、９０２ＭＨｚから９２８ＭＨｚである。韓国では、利用可能な周波数帯域は、９１７．５ＭＨｚから９２３．５ＭＨｚである。日本では、利用可能な周波数帯域は、９１６．５ＭＨｚから９２７．５ＭＨｚである。８０２．１１ａｈに利用可能な全帯域幅は、国コードに応じて６ＭＨｚから２６ＭＨｚである。
図３４Ｄは、態様に係るＲＡＮ３４１３およびＣＮ３４１５を示すシステム図である。上記されたように、ＲＡＮ３４１３は、ＮＲ無線技術を利用して、エアインターフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと通信することができる。ＲＡＮ３４１３はＣＮ３４１５と通信することもできる。
ＲＡＮ３４１３はｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃを含むことができるが、ＲＡＮ３４１３は、実施形態との整合性を保ちながら、任意の数のｇＮＢを含むことができることが理解されよう。ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃはそれぞれが、エアインターフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと通信するための１つまたは複数のトランシーバーを含むことができる。一実施形態では、ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃはＭＩＭＯ技術を実装することができる。たとえば、ｇＮＢ３４８０ａ、３４８０ｂは、ビームフォーミングを利用して、ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃに信号を送信し、および／またはｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃから信号を受信することができる。したがって、ｇＮＢ３４８０ａは、たとえば、複数のアンテナを使用して、ＷＴＲＵ３４０２ａにワイヤレス信号を送信し、および／またはＷＴＲＵ３４０２ａからワイヤレス信号を受信することができる。実施形態において、ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃはキャリアアグリゲーション技術を実装することができる。たとえば、ｇＮＢ３４８０ａは、複数のコンポーネントキャリアをＷＴＲＵ３４０２ａに送信することができる（図示せず）。これらのコンポーネントキャリアのサブセットは無認可スペクトル上にあり得る一方、残りのコンポーネントキャリアは認可スペクトル上にあり得る。実施形態において、ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃは、協調マルチポイント（ＣｏＭＰ）技術を実装することができる。たとえば、ＷＴＲＵ１０２ａは、ｇＮＢ３４８０ａおよびｇＮＢ３４８０ｂ（および／またはｇＮＢ３４８０ｃ）から、協調された送信を受信することができる。
ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、スケーラブルなヌメロロジに関連付けられた送信を使用してｇＮＢ４８０ａ、３４８０ｂ、３４８０ｃと通信することができる。たとえば、ＯＦＤＭシンボル間隔および／またはＯＦＤＭサブキャリア間隔は、異なる送信、異なるセル、および／またはワイヤレス送信スペクトルの異なる部分によって変動し得る。ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、（たとえば、様々な数のＯＦＤＭシンボルを含む、および／または様々な長さの絶対時間を通して続く）様々またはスケーラブルな長さのサブフレームまたは送信時間間隔（ＴＴＩ）を使用して、ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃと通信することができる。
ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃは、スタンドアロン構成および／または非スタンドアロン構成のＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと通信するように構成され得る。スタンドアロン構成では、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、他のＲＡＮ（たとえば、ｅノードＢ３４６０ａ、３４６０ｂ、３４６０ｃなど）にはアクセスすることなくｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃと通信し得る。スタンドアロン構成では、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃのうちの１つまたは複数をモビリティアンカーポイントとして利用し得る。スタンドアロン構成では、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、無認可帯域において信号を使用してｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃと通信し得る。非スタンドアロン構成では、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、ｅノードＢ３４６０ａ、３４６０ｂ、３４６０ｃなどの別のＲＡＮとも通信／接続しながら、ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃと通信／接続し得る。たとえば、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、実質的に同時に１つまたは複数のｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃおよび１つまたは複数のｅノードＢ３４６０ａ、３４６０ｂ、３４６０ｃと通信するためにＤＣ原理を実装することができる。非スタンドアロン構成では、ｅノードＢ３４６０ａ、３４６０ｂ、３４６０ｃは、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃのためのモビリティアンカーの役割をすることができ、ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃは、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃにサービスするための追加のカバレージおよび／またはスループットを提供することができる。
ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃのそれぞれは、特定のセル（図示せず）に関連付けられてよく、無線リソース管理決定、ハンドオーバ決定、ＵＬおよび／またはＤＬにおけるユーザーのスケジューリング、ネットワークスライシングのサポート、デュアル接続性、ＮＲとＥ－ＵＴＲＡとの間のインターワーキング、ユーザプレーン機能（ＵＰＦ）３４８４ａ、３４８４ｂに向けたユーザプレーンデータのルーティング、ならびにアクセスおよびモビリティ管理機能（ＡＭＦ）３４８２ａ、３４８２ｂに向けた制御プレーン情報のルーティングなどを処理するように構成され得る。図３４Ｄに示されるように、ｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃは、Ｘｎインターフェースを介して互いと通信することができる。
図３４Ｄに示されるＣＮ３４１５は、少なくとも１つのＡＭＦ３４８２ａ、３４８２ｂ、少なくとも１つのＵＰＦ３４８４ａ、３４８４ｂ、少なくとも１つのセッション管理機能（ＳＭＦ）３４８３ａ、３４８３ｂ、および場合によってはデータネットワーク（ＤＮ）３４８５ａ、３４８５ｂを含むことができる。上記の要素のそれぞれがＣＮ３４１５の一部として示されているが、これらの要素のいずれも、ＣＮオペレータとは異なるエンティティによって所有および／または運用され得ることが理解されよう。
ＡＭＦ３４８２ａ、３４８２ｂは、Ｎ２インターフェースを介してＲＡＮ３４１３内のｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃのうちの１つまたは複数に接続されてよく、制御ノードの役割をすることができる。たとえば、ＡＭＦ３４８２ａ、３４８２ｂは、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃのユーザーを認証すること、ネットワークスライシング（たとえば、異なる要件を有する異なるプロトコルデータユニット（ＰＤＵ）セッションの処理）のサポート、特定のＳＭＦ３４８３ａ、３４８３ｂを選択すること、登録エリアの管理、非アクセス層（ＮＡＳ）シグナリングの終了、モビリティ管理などを担当することができる。ネットワークスライシングは、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに利用されているサービスのタイプに基づいてＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃのＣＮサポートをカスタマイズするために、ＡＭＦ３４８２ａ、３４８２ｂによって使用され得る。たとえば、超高信頼低遅延通信（ＵＲＬＬＣ）アクセスに依存するサービス、拡張モバイル（たとえば大容量モバイル）ブロードバンド（ｅＭＢＢ）アクセスに依存するサービス、および／またはマシンタイプ通信（ＭＴＣ）アクセスのサービスなどの異なる使用事例のために、異なるネットワークスライスが確立され得る。ＡＭＦ３４６２は、ＲＡＮ３４１３と、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、および／またはＷｉＦｉなどの非３ＧＰＰアクセス技術など他の無線技術を利用する他のＲＡＮ（図示せず）との間の切り替えのための制御プレーン機能を提供することができる。
ＳＭＦ３４８３ａ、３４８３ｂは、Ｎ１１インターフェースを介してＣＮ３４１５におけるＡＭＦ３４８２ａ、３４８２ｂに接続され得る。ＳＭＦ３４８３ａ、３４８３ｂは、Ｎ４インターフェースを介してＣＮ３４１５におけるＵＰＦ３４８４ａ、３４８４ｂにも接続され得る。ＳＭＦ３４８３ａ、３４８３ｂは、ＵＰＦ３４８４ａ、３４８４ｂを選択および制御し、ＵＰＦ３４８４ａ、３４８４ｂを介してトラフィックのルーティングを構成することができる。ＳＭＦ３４８３ａ、３４８３ｂは、ＵＥ ＩＰアドレスを管理し割り当てること、ＰＤＵセッションを管理すること、ポリシー実施およびＱｏＳを制御すること、ダウンリンクデータ通知を提供することなど、他の機能を実行することができる。ＰＤＵセッションタイプは、ＩＰベース、非ＩＰベース、イーサネットベースなどであり得る。
ＵＰＦ３４８４ａ、３４８４ｂは、Ｎ３インターフェースを介してＲＡＮ３４１３内のｇＮＢ３４８０ａ、３４８０ｂ、３４８０ｃのうちの１つまたは複数に接続されてよく、それは、インターネット３４１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供して、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。ＵＰＦ３４８４、３４８４ｂは、パケットをルーティングおよび転送すること、ユーザプレーンポリシーを実施すること、マルチホームＰＤＵセッションをサポートすること、ユーザプレーンＱｏＳを処理すること、ダウンリンクパケットをバッファリングすること、モビリティアンカリングを提供することなど、他の機能を実行することができる。
ＣＮ３４１５は、他のネットワークとの通信を容易にすることができる。たとえば、ＣＮ３４１５は、ＣＮ３４１５とＰＳＴＮ４０８との間のインターフェースの役割をするＩＰゲートウェイ（たとえば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことができ、またはそのようなＩＰゲートウェイと通信することができる。加えて、ＣＮ３４１５は、他のネットワーク３４１２へのアクセスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃｃに提供することができ、他のネットワーク３４１２は、他のサービスプロバイダによって所有および／または運用される他の有線および／またはワイヤレスネットワークを含むことができる。一実施形態では、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、ＵＰＦ３４８４ａ、３４８４ｂへのＮ３インターフェース、ならびにＵＰＦ３４８４ａ、３４８４ｂとＤＮ３４８５ａ、３４８５ｂとの間のＮ６インターフェースを介して、ＵＰＦ３４８４ａ、３４８４ｂを通してローカルデータネットワーク（ＤＮ）３４８５ａ、３４８５ｂに接続され得る。
図３４Ａ～３４Ｄ、および図３４Ａ～３４Ｄの対応する説明に鑑みて、ＷＴＲＵ３４０２ａ～ｄ、基地局３４１４ａ～ｂ、ｅノードＢ３４６０ａ～ｃ、ＭＭＥ３４６２、ＳＧＷ３４６４、ＰＧＷ３４６６、ｇＮＢ３４８０ａ～ｃ、ＡＭＦ３４８２ａ～ｂ、ＵＰＦ３４８４ａ～ｂ、ＳＭＦ３４８３ａ～ｂ、ＤＮ３４８５ａ～ｂ、および／または本明細書に記載された任意の他のデバイスのうちの１つまたは複数に関して本明細書に記載された機能のうちの１つもしくは複数または全ては、１つまたは複数のエミュレーションデバイス（図示せず）によって実行されることがある。エミュレーションデバイスは、本明細書に記載された機能のうちの１つもしくは複数または全てをエミュレートするように構成された１つまたは複数のデバイスであり得る。たとえば、エミュレーションデバイスは、他のデバイスをテストする、ならびに／またはネットワークおよび／もしくはＷＴＲＵ機能をシミュレートするために使用され得る。
エミュレーションデバイスは、ラボ環境および／またはオペレータネットワーク環境において他のデバイスの１つまたは複数のテストを実施するように設計され得る。たとえば、１つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線および／またはワイヤレス通信ネットワークの一部として完全または部分的に実装および／または展開されながら、１つもしくは複数または全ての機能を実行してよい。１つまたは複数のエミュレーションデバイスは、有線および／またはワイヤレス通信ネットワークの一部として一時的に実装／展開されながら、１つもしくは複数または全ての機能を実行してよい。エミュレーションデバイスは、テストのために別のデバイスに直接結合されてよく、および／または無線のワイヤレス通信を使用してテストを実行してよい。
１つまたは複数のエミュレーションデバイスは、有線および／またはワイヤレス通信ネットワークの一部として実装／展開されずに、全てを含む１つまたは複数の機能を実行してよい。たとえば、エミュレーションデバイスは、１つまたは複数のコンポーネントのテストを実施するために、試験所ならびに／または展開されていない（たとえばテスト）有線および／もしくはワイヤレス通信ネットワークにおいてテストシナリオで利用されてよい。１つまたは複数のエミュレーションデバイスは試験装置であり得る。直接ＲＦ結合、および／または（たとえば、１つもしくは複数のアンテナを含み得る）ＲＦ回路を介したワイヤレス通信が、データを送信および／または受信するためにエミュレーションデバイスによって使用され得る。
ＨＥＶＣ規格は、従来のビデオ符号化規格Ｈ．２６４／ＭＰＥＧ ＡＶＣと比較して、同等の知覚品質で約５０％のビットレートを節約する。ＨＥＶＣ規格は、その前身に対して大幅な符号化の向上を提供するが、追加の符号化ツールを用いて、さらなる符号化効率向上が達成され得る。共同ビデオ探索チーム（Joint Video Exploration Team：ＪＶＥＴ）は、たとえば、そのような符号化効率向上を提供するために、多用途ビデオ符号化（Versatile Video Coding：ＶＶＣ）と呼ばれる新世代ビデオ符号化規格を開発するプロジェクトを開始し、ＶＶＣ規格のリファレンス実装を実証するためにＶＶＣテストモデル（ＶＴＭ）と呼ばれるリファレンスソフトウェアコードベースが確立された。新しい符号化ツールの評価を容易にするために、ベンチマークセット（benchmark set：ＢＭＳ）と呼ばれる別のリファレンスソフトウェアベースも作成された。ＢＭＳコードベースでは、より高い符号化効率と中程度の実装の複雑さとを提供する追加の符号化ツールのリストがＶＴＭに加えて含まれ、ＶＶＣ標準化プロセスにおいて同様の符号化技術を評価する際のベンチマークとして使用される。ＢＭＳ－２．０に統合されたＪＥＭ符号化ツール（たとえば、４×４非分離二次変換（non-separable secondary transform：ＮＳＳＴ）、一般化された双方向予測（generalized bi-prediction：ＧＢｉ）、双方向オプティカルフロー（ＢＩＯ）、デコーダー側動きベクトルリファインメント（decoder-side motion vector refinement：ＤＭＶＲ）、およびカレントピクチャ参照（current picture referencing：ＣＰＲ）の他にトレリス符号化の量子化ツールを含む。
代表的実施形態によるデータを処理するためのシステムおよび方法は、メモリデバイスに含まれる命令のシーケンスを実行する１つまたは複数のプロセッサーによって実行され得る。そのような命令は、二次データストレージデバイスのような他のコンピュータ可読媒体からメモリデバイスへ読み込まれてよい。メモリデバイスに含まれる命令のシーケンスの実行が、たとえば上述されたように、プロセッサーを動作させる。代替実施形態では、１つまたは複数の実施形態を実装するために、ハードワイヤ回路がソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて使用され得る。そのようなソフトウェアは、ロボット支援／装置（ＲＡＡ）内および／または遠隔で別のモバイルデバイス内に収容されたプロセッサー上で動作することができる。後者の場合、データは、センサを含むＲＡＡまたは他のモバイルデバイスと、上述されたようにスケール推定および補償を行うソフトウェアを実行するプロセッサーを含む遠隔デバイスとの間で、有線またはワイヤレスで転送されてよい。他の代表的実施形態によれば、位置特定に関して上述された処理の一部は、センサ／カメラを含むデバイスで実行されてよく、一方、処理の残りは、第２のデバイスで、センサ／カメラを含むデバイスから部分的に処理されたデータを受信した後に実行されてよい。
特徴および要素が特定の組み合わせで上記に説明されているが、各特徴または要素は、単独でまたは他の特徴および要素との任意の組み合わせで使用されることが可能であることが当業者には理解されよう。また、本明細書に記載された方法は、コンピュータまたはプロセッサーによって実行するためのコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアで実装され得る。非一時的なコンピュータ可読記憶媒体の例は、読み出し専用メモリー（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、光磁気媒体、ならびにＣＤ－ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）などの光媒体を含むが、これらに限定されない。ソフトウェアと関連するプロセッサーは、ＷＴＲＵ３４０２、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータで使用するための無線周波数トランシーバーを実装するために使用され得る。
さらに、上述された実施形態において、処理プラットフォーム、コンピューティングシステム、コントローラ、およびプロセッサーを含む他のデバイスが言及される。これらのデバイスは、少なくとも１つの中央処理装置（「ＣＰＵ」）およびメモリーを含み得る。コンピュータプログラミング分野の当業者の実務に従って、動作および演算または命令の記号表現への参照が様々なＣＰＵおよびメモリーによって実行され得る。そのような動作および演算または命令は、「実行」、「コンピュータで実行」、または「ＣＰＵで実行」されているものとして参照され得る。
動作および記号で表現された演算または命令が、ＣＰＵによる電気信号の操作を含むことは、当業者には理解されよう。電気システムは、電気信号の結果的な変換または削減をもたらすことが可能であるデータビット、およびメモリシステム内のメモリー位置におけるデータビットの維持を表し、それにより、ＣＰＵの演算および他の信号の処理を再構成しまたは別の方法で変更する。データビットが維持されるメモリー位置は、データビットに対応しまたはデータビットを表す特定の電気特性、磁気特性、光特性、または有機特性を有する物理的位置である。代表的実施形態が上述されたプラットフォームまたはＣＰＵに限定されないこと、ならびに提供された方法を他のプラットフォームおよびＣＰＵがサポートし得ることを理解されたい。
また、データビットは、磁気ディスク、光ディスク、およびＣＰＵに読み取り可能な任意の他の揮発性（たとえばランダムアクセスメモリ（「ＲＡＭ」））または不揮発性（たとえば読み出し専用メモリー（「ＲＯＭ」））の大容量記憶システムを含む、コンピュータ可読媒体上で維持される。コンピュータ可読媒体は、協働するまたは相互接続されたコンピュータ可読媒体を含んでよく、これらは、専ら処理システム上に存在し、または処理システムに対しローカルもしくはリモートであり得る複数の相互接続された処理システムの間で分散される。代表的実施形態が上述されたメモリーに限定されないこと、ならびに記載された方法を他のプラットフォームおよびメモリーがサポートし得ることは理解されよう。代表的実施形態が上述されたプラットフォームおよびＣＰＵに限定されないこと、ならびに記載された方法を他のプラットフォームおよびＣＰＵがサポートし得ることは理解されよう。
例示的な実施形態では、本明細書に記載された動作、処理などのいずれも、コンピュータ可読媒体に記憶されたコンピュータ可読命令として実装され得る。コンピュータ可読命令は、モバイルユニットのプロセッサー、ネットワーク要素、および／または任意の他の計算デバイスによって実行されてよい。
システムの側面のハードウェア実装およびソフトウェア実装の間にて、ほとんど差異が残されていない。ハードウェアまたはソフトウェアの使用は、一般に（特定の状況ではハードウェアとソフトウェアの間の選択が重要になり得るので、常にではないが）、費用対効果のトレードオフを表す設計上の選択である。本明細書に記載された処理および／またはシステムおよび／または他の技術が影響を受け得る様々な手段（たとえば、ハードウェア、ソフトウェア、および／またはファームウェア）があり得るが、好ましい手段は、処理および／またはシステムおよび／または他の技術が展開される状況によって異なり得る。たとえば、実装者が速度および精度が最も重要であると決定した場合、実装者は、主にハードウェアおよび／またはファームウェア手段を選択することができる。柔軟性が最も重要である場合、実装者は主にソフトウェア実装を選択することができる。あるいは、実装者は、ハードウェア、ソフトウェア、および／またはファームウェアの何らかの組み合わせを選択することができる。
上記の詳細な説明では、ブロック図、フローチャート、および／または例を使用することにより、デバイスおよび／または処理の様々な実施形態を示している。そのようなブロック図、フローチャート、および／または例が、１つもしくは複数の機能および／または動作を含む限り、そのようなブロック図、フローチャート、または例における各機能および／もしくは動作が、様々なハードウェア、ソフトウェア、ファームウェア、または実質的にそれらの任意の組み合わせによって個々におよび／または集合的に実装され得ることは、当業者には理解されよう。適切なプロセッサーは、例として、汎用プロセッサー、専用プロセッサー、従来のプロセッサー、デジタル信号プロセッサー（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連した１つもしくは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、および／または状態機械を含む。
特徴および要素が特定の組み合わせで上記に提供されているが、各特徴または要素が、単独で、または他の特徴および要素との任意の組み合わせで使用される可能であることは、当業者には理解されよう。本開示は、本出願に記載された特定の実施形態の観点に限定されず、それらは様々な側面の例示として意図される。当業者には明らかなように、その趣旨および範囲から逸脱することなく多くの変更および変形が行われ得る。本出願の説明で使用されるいかなる要素、動作、または命令も、実施形態に対し重要または本質的なものとして明示的に示されていない限り、そのように解釈されるべきではない。本明細書に列挙されたものに加えて、本開示の範囲内の機能的に等価な方法および装置は、上述の説明から当業者には明らかであろう。そのような変更および変形は、添付の特許請求の範囲の範囲内に含まれることが意図されている。本開示は、添付の特許請求の範囲の用語、およびそのような特許請求の範囲が権利を有する等価物の全範囲によってのみ限定されるべきである。本開示は特定の方法またはシステムに限定されないと理解されるべきである。
また、本明細書で使用される専門用語は、特定の実施形態を説明するためだけのものであり、限定することは意図されていないと理解されるべきである。本明細書で言及されるときに使用されるように、「局」という用語およびその略称「ＳＴＡ」、「ユーザー機器」という用語およびその略称「ＵＥ」は、（ｉ）以下で説明されるようなワイヤレス送信および／もしくは受信ユニット（ＷＴＲＵ）、（ｉｉ）以下で説明されるようなＷＴＲＵの複数の実施形態のいずれか、（ｉｉｉ）以下で説明されるようなＷＴＲＵのいくつかまたは全ての構造および機能性を特に有するように構成されたワイヤレス対応および／もしくは有線対応（たとえば、テザリング可能）デバイス、（ｉｉｉ）以下で説明されるようなＷＴＲＵの全てに満たない構造および機能性を有するように構成されたワイヤレス対応および／もしくは有線対応デバイス、または（ｉｖ）類似のものを意味し得る。本明細書に記載された任意のＵＥを表し得る例示的なＷＴＲＵの詳細は、図３４Ａ～図３４Ｄを参照して以下に提供される。
特定の代表的実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサー（ＤＳＰ）、および／または他の集積された形式を用いて実装され得る。しかしながら、本明細書に開示される態様のいくつかの側面は、全体または部分的に、１つまたは複数のコンピュータ上で実行される１つまたは複数のコンピュータプログラムとして（たとえば、１つまたは複数のコンピュータシステム上で実行される１つまたは複数のプログラムとして）、１つまたは複数のプロセッサー上で実行される１つまたは複数のプログラムとして（たとえば、１つまたは複数のマイクロプロセッサ上で実行される１つまたは複数のプログラムとして）、ファームウェアとして、または実質的にそれらの任意の組み合わせとして、集積回路に等価に実装されてよく、また、ソフトウェアおよび／またはファームウェアのための回路の設計および／またはコードの記述は、本開示に照らして十分に当業者の技術の範囲内となることは、当業者には理解されよう。また、本明細書に記載された主題の機構が様々な形態のプログラム製品として配布され得ること、および本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号担持媒体の特定のタイプにかかわらず適用されることは、当業者には理解されよう。信号担持媒体の例は、フロッピーディスク、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、コンピュータメモリなどの記録可能型媒体、ならびにデジタルおよび／またはアナログ通信媒体（たとえば、光ファイバケーブル、導波路、有線通信リンク、ワイヤレス通信リンクなど）などの伝送型媒体を含むが、これらに限定されない。
本明細書に記載された主題は、異なる他の構成要素内に含まれる、またはそれらの構成要素に接続された異なる構成要素を例示することがある。そのような示された構成は単に例であり、実際には、同じ機能性を実現する他の多くのアーキテクチャが実装され得ることは理解されよう。概念的な意味において、同じ機能性を実現するための任意の配置の構成要素が、所望の機能性が達成され得るように実質的に「関連付けられている」。したがって、本明細書において特定の機能性を達成するために組み合わせられた任意の２つの構成要素は、アーキテクチャまたは介在する構成要素にかかわらず、所望の機能性が実現されるように互いに「関連付けられている」と見なされてよい。同様に、そのように関連付けられた任意の２つの構成要素は、所望の機能性を実現するために互いに「動作可能に接続されている」、または「動作可能に結合されている」と見なされてよく、そのように関連付けられることが可能な任意の２つの構成要素は、所望の機能性を実現するために互いに「動作可能に結合可能」と見なされてよい。動作可能に結合可能である特定の例は、物理的に係合可能である、および／もしくは物理的に相互作用している構成要素、ならびに／またはワイヤレスで相互作用可能である、および／もしくはワイヤレスで相互作用している構成要素、ならびに／または論理的に相互作用している、および／もしくは論理的に相互作用可能である構成要素を含むが、これらに限定されない。
本明細書における実質的に任意の複数形および／または単数形の用語の使用に関して、当業者は、文脈および／または用途に応じて適切に、複数形から単数形へ、および／または単数形から複数形へ変換をすることが可能である。明瞭にするために、様々な単数形／複数形の置き換えが本明細書で明示的に記載される場合がある。
一般に、本明細書および特に添付の特許請求の範囲（たとえば、添付の請求項の本体）において使用される用語は、概して「開放した」用語として意図される（たとえば、「含んでいる」という用語は、「限定されるものではないが含んでいる」と解釈されるべきであり、「有している」という用語は、「少なくとも有している」と解釈されるべきであり、「含む」という用語は、「限定されるものではないが含む」と解釈されるべきであるなど）ことは、当業者には理解されよう。さらに、導入された請求項記載で特定の数が意図される場合、そのような意図は請求項において明示的に記載され、そのような記載がない場合、そのような意図が存在しないことは、当業者には理解されよう。たとえば、１つの要素のみが意図される場合は、「単一」という用語または類似の言葉が使用され得る。理解の助けとして、以下の添付の特許請求の範囲および／または本明細書の説明が、請求項記載を導入するための「少なくとも１つ」および「１つまたは複数」という導入句の使用を含む場合がある。しかしながら、そのような語句の使用によって、不定冠詞「ａ」または「ａｎ」による請求項記載の導入が、そのような導入された請求項記載を含む任意の特定の請求項を、かかる記載を１つのみ含む実施形態に限定することを含意すると解釈されるべきではなく、これは、同一請求項が、導入句「１つまたは複数」または「少なくとも１つ」と、不定冠詞「ａ」または「ａｎ」を含むときでさえ、そのように解釈されるべきではない（たとえば、「ａ」および／または「ａｎ」は、「少なくとも１つ」または「１つまたは複数の」を意味すると解釈されるべきである）。請求項記載を導入するのに使用される定冠詞の使用についても同様のことが当てはまる。また、導入された請求項記載の特定の数が明示的に記載された場合であっても、そのような記載が、少なくともその記載された数を意味する（たとえば、他の修飾語がない「２つの記載」の単なる記載は、少なくとも２つの記載または２つ以上の記載を意味する）と解釈されるべきであることは、当業者には認識されよう。さらに、「Ａ、Ｂ、およびＣなどの少なくとも１つ」に類似する慣例が使用される事例では、そのような構文は一般に、当業者がその慣例について理解するだろう意味で意図されている（たとえば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢを共に、ＡとＣを共に、ＢとＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に有するシステムなどを含むが、これらに限定されない）。「Ａ、Ｂ、またはＣなどの少なくとも１つ」に類似する慣例が使用される事例では、そのような構文は一般に、当業者がその慣例について理解するだろう意味で意図されている（たとえば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢを共に、ＡとＣを共に、ＢとＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に有するシステムなどを含むが、これらに限定されない）。さらに、２つ以上の代替的用語を提示する実質的にいかなる離接的な単語および／または語句であっても、明細書、特許請求の範囲、または図面のいずれにおいても、それらの用語の１つ、それらの用語のいずれか、または両方の用語を含む可能性を企図すると理解されるべきであることは、当業者には理解されよう。たとえば、「ＡまたはＢ」という語句は、「Ａ」もしくは「Ｂ」、または「ＡおよびＢ」の可能性を含むと理解されることになる。さらに、本明細書で使用される場合、複数の要素および／または要素の複数のカテゴリの列挙が続く用語「いずれか（any of）」は、要素および／または要素のカテゴリの「いずれか」、「任意の組み合わせ」、「任意の複数」、および／または「複数の任意の組み合わせ」を、他の要素および／または要素の他のカテゴリと別個にまたは併せて含むことが意図される。さらに、本明細書で使用される場合、「セット」または「群」という用語は、ゼロを含む任意の数の要素を含むことが意図される。さらに、本明細書で使用される場合、「数」という用語は、ゼロを含む任意の数を含むことが意図される。
さらに、本開示の特徴または側面がマーカッシュ群の観点で説明される場合、それによって本開示がマーカッシュ群の任意の個々の要素または要素の下位群の観点からも説明されることが、当業者には理解されよう。
当業者に理解されるように、あらゆる目的のために、たとえば、書面による説明を提供するという観点から、本明細書に開示される全ての範囲は、そのあらゆる可能な部分範囲および部分範囲の組み合わせも包含する。任意の列挙された範囲は、少なくとも均等な２分の１、３分の１、４分の１、５分の１、１０分の１などに分解された同じ範囲を十分に説明し可能にするものとして容易に認識されることが可能である。非限定的例として、本明細書で論じられた各範囲は、下側３分の１、中央３分の１、および上側３分の１などに容易に分解され得る。やはり当業者に理解されるように、「最大で」、「少なくとも」、「より大きい」、「より小さい」などの全ての言葉は、記載された数字を含み、上述されたように次いで部分範囲に分解されることが可能である範囲を指す。最後に、当業者に理解されるように、範囲は個々の各要素を含む。したがって、たとえば、１～３個のセルを有する群は、１、２、または３個のセルを有する群を指す。同様に、１～５個のセルを有する群は、１、２、３、４、または５個のセルを有する群を指し、以下同様である。
さらに、特許請求の範囲は、その旨が記載されていない限り、提供された順序または要素に限定されると解釈されるべきではない。また、いずれの請求項における「手段」という用語の使用も、合衆国法典第３５巻第１１２条第６項、すなわちミーンズプラスファンクションクレーム形式を行使することが意図されており、「手段」という用語を有しない請求項はいずれもそのように意図されていない。
ソフトウェアに関連するプロセッサーは、ワイヤレス送信受信ユニット（ＷＴＲＵ）、ユーザー機器（ＵＥ）、端末、基地局、モビリティ管理エンティティ（ＭＭＥ）もしくは進化型パケットコア（ＥＰＣ）、または任意のホストコンピュータで使用するための無線周波数トランシーバーを実装するために使用され得る。ＷＴＲＵは、ハードウェアおよび／またはソフトウェア無線（ＳＤＲ）を含むソフトウェアで実装されるモジュール、ならびに他の構成要素、たとえば、カメラ、ビデオカメラモジュール、ビデオフォン、スピーカフォン、振動デバイス、スピーカー、マイクロフォン、テレビトランシーバ、ハンズフリーヘッドセット、キーボード、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、近距離無線通信（ＮＦＣ）モジュール、液晶表示（ＬＣＤ）ディスプレイユニット、有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、および／またはワイヤレスローカルエリアネットワーク（ＷＬＡＮ）もしくは超広帯域（ＵＷＢ）モジュールなどと関連して使用され得る。
本開示を通して、当業者は、特定の代表的実施形態が選択的にまたは他の代表的な実施形態と組み合わせて使用され得ることを理解する。
また、本明細書に記載された方法は、コンピュータまたはプロセッサーによって実行するためのコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアで実装され得る。非一時的なコンピュータ可読記憶媒体の例は、読み出し専用メモリー（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、光磁気媒体、ならびにＣＤ－ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）などの光媒体を含むが、これらに限定されない。ソフトウェアと関連するプロセッサーは、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータで使用するための無線周波数トランシーバーを実装するために使用され得る。

Claims (35)

  1. デコードする方法であって、
    前記ビデオのカレントブロックに対してサブブロックベース動き予測信号を取得することと、
    前記サブブロックベース動き予測信号の１つまたは複数の空間勾配、または１つまたは複数の動きベクトル差分値を取得することと、
    前記１つまたは複数の取得した空間勾配、または前記１つまたは複数の取得した動きベクトル差分値に基づいて、前記カレントブロックに対して動き予測リファインメント信号を取得することと、
    前記サブブロックベース動き予測信号および前記リファインメント信号に基づいて、前記カレントブロックに対してリファインした動き予測信号を取得することと、
    前記リファインした動き予測信号に基づいて前記カレントブロックをデコードすることと
    を備えることを特徴とする方法。
  2. ビデオをデコードする方法であって、
    前記ビデオのカレントブロックに対して、
    サブブロックベース動き予測信号を生成することと、
    前記サブブロックベース動き予測信号の１つまたは複数の空間勾配を決定することと、
    前記決定した空間勾配に基づいて、前記カレントブロックに対して動き予測リファインメント信号を決定することと、
    前記サブブロックベース動き予測信号と前記動き予測リファインメント信号とを組み合わせて、前記カレントブロックに対してリファインした動き予測信号を生成することと、
    前記カレントブロックに対する前記予測として、前記リファインした動き予測信号を用いて前記ビデオをデコードすることと
    を備えることを特徴とする方法。
  3. ビデオをエンコードする方法であって、
    前記ビデオのカレントブロックに対して、
    サブブロックベース動き予測信号を生成することと、
    前記サブブロックベース動き予測信号の１つまたは複数の空間勾配を決定することと、
    前記決定した空間勾配に基づいて、前記カレントブロックに対して動き予測リファインメント信号を決定することと、
    前記サブブロックベース動き予測信号と前記動き予測リファインメント信号とを組み合わせて、前記カレントブロックに対してリファインした動き予測信号を生成することと、
    前記カレントブロックに対する前記予測として、前記リファインした動き予測信号を用いて前記ビデオをエンコードすることと を備えることを特徴とする方法。
  4. 前記サブブロックベース動き予測信号の前記カレントブロックのサブブロックのサンプル位置に関連付けられた動きベクトル差分値のセットを決定することをさらに備えることを特徴とする請求項２または３に記載の方法。
  5. ビデオをデコードする方法であって、
    前記ビデオのカレントブロックに対して、
    サブブロックベース動き予測信号を生成することと、
    前記カレントブロックのサブブロックに関連付けられた動きベクトル差分値のセットを決定することと、
    動きベクトル差分値の前記決定したセットに基づいて、前記カレントブロックに対して動き予測リファインメント信号を決定することと、
    前記サブブロックベース動き予測信号と前記動き予測リファインメント信号とを組み合わせて、前記カレントブロックに対してリファインした動き予測信号を生成することと、
    前記カレントブロックに対する前記予測として、前記リファインした動き予測信号を用いて前記ビデオをデコードすることと
    を備えることを特徴とする方法。
  6. ビデオをエンコードする方法であって、
    前記ビデオのカレントブロックに対して、
    サブブロックベース動き予測信号を生成することと、
    前記カレントブロックのサブブロックに関連付けられた動きベクトル差分値のセットを決定することと、
    動きベクトル差分値の前記決定したセットに基づいて、前記カレントブロックに対して動き予測リファインメント信号を決定することと、
    前記サブブロックベース動き予測信号と前記動き予測リファインメント信号とを組み合わせて、前記カレントブロックに対してリファインした動き予測信号を生成することと、
    前記カレントブロックに対する前記予測として、前記リファインした動き予測信号を用いて前記ビデオをエンコードすることと
    を備えることを特徴とする方法。
  7. 前記サブブロックベース動き予測信号の１つまたは複数の空間勾配を決定することをさらに備えることを特徴とする請求項５または６に記載の方法。
  8. 前記サブブロックベース動き予測信号の前記決定した１つまたは複数の空間勾配と、動きベクトル差分値の前記決定したセットとが、前記カレントブロックに対して前記動き予測リファインメント信号を決定するのに用いられることを特徴とする請求項４または７に記載の方法。
  9. 前記サブブロックベース動き予測信号が生成され、動きベクトル差分値の前記セットが、前記カレントブロックに対してアフィン動きモデルを用いて決定されることを特徴とする請求項４、５、または６のいずれか一項に記載の方法。
  10. 動きベクトル差分値の前記セットは、前記カレントブロックのサブブロックに対して決定され、前記カレントブロックの１つまたは複数のさらなるサブブロックに対して前記動き予測リファインメント信号を決定するのに用いられることを特徴とする請求項４、５、または６のいずれか一項に記載の方法。
  11. 前記サブブロックベース動き予測信号の前記１つまたは複数の空間勾配の前記決定することは、前記サブブロックベース動き予測信号の少なくとも１つのサブブロックにおける各それぞれのサンプル位置に対して、少なくとも１つの勾配値を計算することを含むことを特徴とする請求項２、３、または７のいずれか一項に記載の方法。
  12. 前記サブブロックベース動き予測信号の前記１つまたは複数の空間勾配の前記決定することは、
    前記カレントブロックの１つまたは複数のそれぞれのサブブロックに対して、
    前記サブブロックベース動き予測信号と、前記それぞれのサブブロックに接し前記それぞれのサブブロックを囲む隣り合った参照サンプルとを用いて、拡張サブブロックを決定することと、
    前記決定した拡張サブブロックを用いて、前記それぞれのサブブロックの空間勾配を決定して、前記動き予測リファインメント信号を決定することと
    を含むことを特徴とする請求項２、３、または７のいずれか一項に記載の方法。
  13. 前記サブブロックベース動き予測信号の１つまたは複数の空間勾配の前記決定することは、第１の参照ピクチャに関連付けられた空間勾配の第１のセットと、第２の参照ピクチャに関連付けられた空間勾配の第２のセットとを決定することを含み、
    前記決定した空間勾配に基づいて前記カレントブロックに対して前記動き予測リファインメント信号の前記決定することは、空間勾配の前記第１および第２のセットと重み情報とに基づいて、前記カレントブロックに対して動きインター予測リファインメント信号を決定することを含む
    ことを特徴とする請求項２、３、または７に記載の方法。
  14. 前記リファインした動き予測信号は、１つまたは複数のオプティカルフローによる予測リファインメント（ＰＲＯＦ）演算を用いて生成された、リファインした動きインター予測信号であることを特徴とする請求項２、３、５、または６のいずれか一項に記載の方法。
  15. 前記ビデオの前記カレントブロックに対してアフィン動きモデルパラメーターを決定して、前記サブブロックベース動き予測信号が、前記決定したアフィン動きモデルパラメーターを用いて生成されることをさらに備えることを特徴とする請求項２、３、５、または６のいずれか一項に記載の方法。
  16. 前記サブブロックベース動き予測信号の少なくとも１つのサブブロックにおける各それぞれのサンプル位置に対して前記少なくとも１つの勾配値の前記決定することは、各それぞれのサンプル位置に対して、前記サブブロックベース動き予測信号の前記少なくとも１つのサブブロックにおける前記それぞれのサンプル位置に勾配フィルターを適用することを含むことを特徴とする請求項２、３、５、または６のいずれか一項に記載の方法。
  17. 前記カレントブロックに対して前記動き予測リファインメント信号の前記決定することは、前記カレントブロックの１つまたは複数のサブブロックの各それぞれのサンプル位置に対する少なくとも１つの勾配値と、動きベクトル差分値の前記決定したセットを用いることを特徴とする請求項４、５、または６のいずれか一項に記載の方法。
  18. ビデオをエンコードするまたはデコードする方法であって、
    複数のサブブロックを含むカレントブロックに対して、
    前記カレントブロックの第１のサブブロックに対する少なくとも第１の動きベクトルと、前記カレントブロックの第２のサブブロックに対するさらなる動きベクトルとを用いて、サブブロックベース動き予測信号を生成することと、
    前記サブブロックベース動き予測信号の前記第１のサブブロックにおける第１のサンプル位置に対する勾配値の第１のセットと、前記サブブロックベース動き予測信号の前記第１のサブブロックにおける第２のサンプル位置に対する勾配値の第２の異なるセットとを計算することと、
    前記第１のサンプル位置に対する動きベクトル差分値の第１のセットと、前記第２のサンプル位置に対する動きベクトル差分値の第２の異なるセットとを決定することであって、第１のサンプル位置に対する動きベクトル差分値の前記第１のセットは、前記第１のサンプル位置における動きベクトルと前記第１のサブブロックの前記動きベクトルとの間の差を示し、第２のサンプル位置に対する動きベクトル差分値の前記第２のセットは、前記第２のサンプル位置における動きベクトルと前記第１のサブブロックの前記動きベクトルとの間の差を示す、ことと、
    勾配値の前記第１および第２のセットと、動きベクトル差分値の前記第１および第２のセットを用いて、予測リファインメント信号を決定することと、
    前記サブブロックベース動き予測信号を前記予測リファインメント信号と組み合わせて、リファインした動き予測信号を生成することと、
    前記カレントブロックに対する前記予測として、前記リファインした動き予測信号を用いて前記ビデオをエンコードするまたはデコードすることと を備えることを特徴とする方法。
  19. ビデオをデコードするように構成されたデコーダーであって、
    前記ビデオのカレントブロックに対して、
    サブブロックベース動き予測信号を生成し、
    前記サブブロックベース動き予測信号の１つまたは複数の空間勾配を決定し、
    前記決定した空間勾配に基づいて、前記カレントブロックに対して動き予測リファインメント信号を決定し、
    前記サブブロックベース動き予測信号と前記動き予測リファインメント信号とを組み合わせて、前記カレントブロックに対してリファインした動き予測信号を生成し、
    前記カレントブロックに対する前記予測として、前記リファインした動き予測信号を用いて前記ビデオをデコードする
    ように構成されたプロセッサーを備えたことを特徴とするデコーダー。
  20. ビデオをエンコードするように構成されたエンコーダーであって、
    前記ビデオのカレントブロックに対して、
    サブブロックベース動き予測信号を生成し、
    前記サブブロックベース動き予測信号の１つまたは複数の空間勾配を決定し、
    前記決定した空間勾配に基づいて、前記カレントブロックに対して動き予測リファインメント信号を決定し、
    前記サブブロックベース動き予測信号と前記動き予測リファインメント信号とを組み合わせて、前記カレントブロックに対してリファインした動き予測信号を生成し、
    前記カレントブロックに対する前記予測として、前記リファインした動き予測信号を用いて前記ビデオをエンコードする
    ように構成されたプロセッサーを備えたことを特徴とするエンコーダー。
  21. 前記プロセッサーは、前記サブブロックベース動き予測信号の前記カレントブロックのサブブロックのサンプル位置に関連付けられた動きベクトル差分値のセットを決定するように構成されることを特徴とする請求項１９に記載のデコーダーまたは請求項２０に記載のエンコーダー。
  22. ビデオをデコードするように構成されたデコーダーであって、
    前記ビデオのカレントブロックに対して、
    サブブロックベース動き予測信号を生成し、
    前記カレントブロックのサブブロックに関連付けられた動きベクトル差分値のセットを決定し、
    動きベクトル差分値の前記セットに基づいて、前記カレントブロックに対して動き予測リファインメント信号を決定し、
    前記サブブロックベース動き予測信号と前記動き予測リファインメント信号とを組み合わせて、前記カレントブロックに対してリファインした動き予測信号を生成し、
    前記カレントブロックに対する前記予測として、前記リファインした動き予測信号を用いて前記ビデオをデコードする
    ように構成されたプロセッサーを備えたことを特徴とするデコーダー。
  23. ビデオをエンコードするように構成されたエンコーダーであって、
    前記ビデオのカレントブロックに対して、
    サブブロックベース動き予測信号を生成し、
    前記カレントブロックのサブブロックに関連付けられた動きベクトル差分値のセットを決定し、
    動きベクトル差分値の前記セットに基づいて、前記カレントブロックに対して動き予測リファインメント信号を決定し、
    前記サブブロックベース動き予測信号と前記動き予測リファインメント信号とを組み合わせて、前記カレントブロックに対してリファインした動き予測信号を生成し、
    前記カレントブロックに対する前記予測として、前記リファインした動き予測信号を用いて前記ビデオをエンコードする
    ように構成されたプロセッサーを備えたことを特徴とするエンコーダー。
  24. 前記プロセッサーは、前記サブブロックベース動き予測信号の１つまたは複数の空間勾配を決定するように構成されることを特徴とする請求項２２に記載のデコーダーまたは請求項２３に記載のエンコーダー。
  25. 前記プロセッサーは、前記カレントブロックの１つまたは複数のさらなるサブブロックに対して前記動き予測リファインメント信号を決定するのに用いられる、前記カレントブロックの前記サブブロックに対する動きベクトル差分値の前記セットを決定するように構成されることを特徴とする請求項２１または請求項２４に記載のデコーダーまたはエンコーダー。
  26. 前記プロセッサーは、前記カレントブロックに対してアフィン動きモデルを用いて前記サブブロックベース動き予測信号を生成し、動きベクトル差分値の前記セットを決定するように構成されることを特徴とする請求項２１に記載のデコーダーまたはエンコーダー、請求項２２に記載のデコーダー、または請求項２３に記載のエンコーダー。
  27. 前記プロセッサーは、前記サブブロックベース動き予測信号の少なくとも１つのサブブロックにおける各それぞれのサンプル位置に対して、少なくとも１つの勾配値を計算するように構成されることを特徴とする請求項１９に記載のデコーダー、請求項２０に記載のエンコーダー、または請求項２４に記載のデコーダーまたはエンコーダー。
  28. 前記プロセッサーは、
    前記カレントブロックの１つまたは複数のそれぞれのサブブロックに対して、
    前記サブブロックベース動き予測信号と、前記それぞれのサブブロックに接し前記それぞれのサブブロックを囲む隣り合った参照サンプルとを用いて、拡張サブブロックを決定し、
    前記決定した拡張サブブロックを用いて、前記それぞれのサブブロックの空間勾配を決定して、前記動き予測リファインメント信号を決定する
    ように構成されることを特徴とする請求項１９に記載のデコーダー、請求項２０に記載のエンコーダー、または請求項２４に記載のデコーダーまたはエンコーダー。
  29. 前記プロセッサーは、
    第１の参照ピクチャに関連付けられた空間勾配の第１のセットと、第２の参照ピクチャに関連付けられた空間勾配の第２のセットとを決定し、
    空間勾配の前記第１および第２のセットと重み情報とに基づいて、前記カレントブロックに対して動きインター予測リファインメント信号を決定する
    ように構成されることを特徴とする請求項１９に記載のデコーダー、請求項２０に記載のエンコーダー、または請求項２４に記載のデコーダーまたはエンコーダー。
  30. 前記プロセッサーは、１つまたは複数のオプティカルフローによる予測リファインメント（ＰＲＯＦ）演算を用いて、リファインした動きインター予測信号を生成するように構成されることを特徴とする請求項１９に記載のデコーダー、請求項２０に記載のエンコーダー、請求項２２に記載のデコーダー、または請求項２３に記載のエンコーダー。
  31. 前記プロセッサーは、前記ビデオの前記カレントブロックに対してアフィン動きモデルパラメーターを決定して、前記サブブロックベース動き予測信号が、前記決定したアフィン動きモデルパラメーターを用いて生成されるように構成されることを特徴とする請求項１９に記載のデコーダー、請求項２０に記載のエンコーダー、請求項２２に記載のデコーダー、または請求項２３に記載のエンコーダー。
  32. 前記プロセッサーは、各それぞれのサンプル位置に対して、前記サブブロックベース動き予測信号の前記少なくとも１つのサブブロックにおける前記それぞれのサンプル位置に勾配フィルターを適用するように構成されることを特徴とする請求項１９に記載のデコーダー、請求項２０に記載のエンコーダー、請求項２２に記載のデコーダー、または請求項２３に記載のエンコーダー。
  33. 前記プロセッサーは、前記カレントブロックの１つまたは複数のサブブロックの各それぞれのサンプル位置に対する少なくとも１つの勾配値と、動きベクトル差分値の前記セットを用いて、前記カレントブロックに対する前記動き予測リファインメント信号の決定をするように構成されることを特徴とする請求項２２に記載のデコーダー、請求項２３に記載のエンコーダー、または請求項２４に記載のデコーダーまたはエンコーダー。
  34. 前記プロセッサーは、前記サブブロックベース動き予測信号の前記１つまたは複数の空間勾配と、動きベクトル差分値の前記セットとを使用して、前記カレントブロックに対して前記動き予測リファインメント信号を決定するように構成されることを特徴とする請求項２１または請求項２４に記載のデコーダーまたはエンコーダー。
  35. ビデオをエンコードするように構成されたエンコーダー、またはデコードするように構成されたデコーダーであって、
    複数のサブブロックを含むカレントブロックに対して、
    前記カレントブロックの第１のサブブロックに対する少なくとも第１の動きベクトルと、前記カレントブロックの第２のサブブロックに対するさらなる動きベクトルとを用いて、サブブロックベース動き予測信号を生成し、
    前記サブブロックベース動き予測信号の前記第１のサブブロックにおける第１のサンプル位置に対する勾配値の第１のセットと、前記サブブロックベース動き予測信号の前記第１のサブブロックにおける第２のサンプル位置に対する勾配値の第２の異なるセットとを計算し、
    前記第１のサンプル位置に対する動きベクトル差分値の第１のセットと、前記第２のサンプル位置に対する動きベクトル差分値の第２の異なるセットとを決定し、第１のサンプル位置に対する動きベクトル差分値の前記第１のセットは、前記第１のサンプル位置における動きベクトルと前記第１のサブブロックの前記動きベクトルとの間の差を示し、第２のサンプル位置に対する動きベクトル差分値の前記第２のセットは、前記第２のサンプル位置における動きベクトルと前記第１のサブブロックの前記動きベクトルとの間の差を示し、
    勾配値の前記第１および第２のセットと、動きベクトル差分値の前記第１および第２のセットを用いて、予測リファインメント信号を決定し、
    前記サブブロックベース動き予測信号を前記予測リファインメント信号と組み合わせて、リファインした動き予測信号を生成し、
    前記カレントブロックに対する前記予測として、前記リファインした動き予測信号を用いて前記ビデオをエンコードするまたはデコードする
    ように構成されたプロセッサーを備えたことを特徴とするエンコーダーまたはデコーダー。
JP2021545364A 2019-02-07 2020-02-04 オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法 Active JP7307184B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023107021A JP2023130415A (ja) 2019-02-07 2023-06-29 オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962802428P 2019-02-07 2019-02-07
US62/802,428 2019-02-07
US201962814611P 2019-03-06 2019-03-06
US62/814,611 2019-03-06
US201962833999P 2019-04-15 2019-04-15
US62/833,999 2019-04-15
PCT/US2020/016564 WO2020163319A1 (en) 2019-02-07 2020-02-04 Systems, apparatus and methods for inter prediction refinement with optical flow

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023107021A Division JP2023130415A (ja) 2019-02-07 2023-06-29 オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法

Publications (2)

Publication Number Publication Date
JP2022519358A true JP2022519358A (ja) 2022-03-23
JP7307184B2 JP7307184B2 (ja) 2023-07-11

Family

ID=69740830

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021545364A Active JP7307184B2 (ja) 2019-02-07 2020-02-04 オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法
JP2023107021A Pending JP2023130415A (ja) 2019-02-07 2023-06-29 オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023107021A Pending JP2023130415A (ja) 2019-02-07 2023-06-29 オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法

Country Status (19)

Country Link
US (2) US11695950B2 (ja)
EP (2) EP3922025B1 (ja)
JP (2) JP7307184B2 (ja)
KR (2) KR20230170987A (ja)
CN (1) CN113383551A (ja)
AU (1) AU2020219836A1 (ja)
BR (1) BR112021015598A2 (ja)
CA (1) CA3129080A1 (ja)
DK (1) DK3922025T3 (ja)
ES (1) ES2950165T3 (ja)
FI (1) FI3922025T3 (ja)
HU (1) HUE062450T2 (ja)
IL (2) IL285212B2 (ja)
MX (1) MX2021009333A (ja)
PL (1) PL3922025T3 (ja)
SG (1) SG11202108295YA (ja)
TW (1) TWI846813B (ja)
WO (1) WO2020163319A1 (ja)
ZA (1) ZA202105444B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973973B2 (en) 2019-03-17 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Prediction refinement based on optical flow

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11350108B2 (en) * 2019-03-18 2022-05-31 Tencent America LLC Affine inter prediction refinement with optical flow
US11523109B2 (en) * 2019-05-02 2022-12-06 Tencent America LLC Method and apparatus for improvements of affine prof
EP3991432A1 (en) * 2019-07-01 2022-05-04 InterDigital VC Holdings France, SAS Bi-directional optical flow refinement of affine motion compensation
JP2022547599A (ja) * 2019-09-12 2022-11-14 アリババ グループ ホウルディング リミテッド 映像符号化情報をシグナリングするための方法及び装置
US11641475B2 (en) * 2019-09-12 2023-05-02 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video
CN114079784A (zh) * 2020-08-20 2022-02-22 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
WO2022061680A1 (zh) * 2020-09-24 2022-03-31 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
EP4222962A4 (en) * 2020-10-15 2024-03-20 Beijing Dajia Internet Information Technology Co., Ltd. IMPROVED MOTION ESTIMATION FOR INTERCODING
US20230328276A1 (en) * 2022-04-11 2023-10-12 Qualcomm Incorporated Derivation of affine merge candidates with linear regression for video coding
WO2024149344A1 (en) * 2023-01-13 2024-07-18 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2024211353A1 (en) * 2023-04-04 2024-10-10 Google Llc Motion refinement using bilateral matching with warped refinement models

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214932A1 (en) * 2014-07-18 2017-07-27 Mediatek Singapore Pte. Ltd Method of Motion Vector Derivation for Video Coding
WO2019010156A1 (en) * 2017-07-03 2019-01-10 Vid Scale, Inc. MOTION COMPENSATION PREDICTION BASED ON A BIDIRECTIONAL OPTICAL FLOW

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9596448B2 (en) * 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US10200713B2 (en) * 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10805630B2 (en) * 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
US11206419B2 (en) * 2017-05-17 2021-12-21 Kt Corporation Method and device for video signal processing
KR20200116461A (ko) * 2018-02-06 2020-10-12 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
JP7181039B2 (ja) 2018-09-28 2022-11-30 能美防災株式会社 防災システム
US20200296405A1 (en) * 2019-03-14 2020-09-17 Qualcomm Incorporated Affine motion compensation refinement using optical flow

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214932A1 (en) * 2014-07-18 2017-07-27 Mediatek Singapore Pte. Ltd Method of Motion Vector Derivation for Video Coding
WO2019010156A1 (en) * 2017-07-03 2019-01-10 Vid Scale, Inc. MOTION COMPENSATION PREDICTION BASED ON A BIDIRECTIONAL OPTICAL FLOW
US20200221122A1 (en) * 2017-07-03 2020-07-09 Vid Scale, Inc. Motion-compensation prediction based on bi-directional optical flow
JP2020526964A (ja) * 2017-07-03 2020-08-31 ヴィド スケール インコーポレイテッド 双方向オプティカルフローに基づいた動き補償予測

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOYU XIU, ET AL.: "CE9-related: Complexity reduction and bit-width control for bi-directional optical flow (BIO)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACA, vol. JVET-L0256_v2, JPN6022053293, 8 October 2018 (2018-10-08), pages 1 - 15, XP030251694, ISSN: 0004948330 *
YUWEN HE, ET AL.: "CE4-related: Affine motion estimation improvements", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACA, vol. JVET-L0260-r2, JPN6022053294, 5 October 2018 (2018-10-05), pages 1 - 4, ISSN: 0004948329 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973973B2 (en) 2019-03-17 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Prediction refinement based on optical flow

Also Published As

Publication number Publication date
IL285212A (en) 2021-09-30
JP7307184B2 (ja) 2023-07-11
KR20230170987A (ko) 2023-12-19
CN113383551A (zh) 2021-09-10
KR102612975B1 (ko) 2023-12-11
AU2020219836A1 (en) 2021-08-26
ES2950165T3 (es) 2023-10-05
ZA202105444B (en) 2023-12-20
CN114666582A (zh) 2022-06-24
DK3922025T3 (da) 2023-07-24
FI3922025T3 (fi) 2023-07-07
EP3922025B1 (en) 2023-05-24
WO2020163319A1 (en) 2020-08-13
BR112021015598A2 (pt) 2021-10-05
IL285212B1 (en) 2024-02-01
CA3129080A1 (en) 2020-08-13
KR20210133956A (ko) 2021-11-08
HUE062450T2 (hu) 2023-11-28
SG11202108295YA (en) 2021-08-30
EP4221223A1 (en) 2023-08-02
IL309973A (en) 2024-03-01
US11695950B2 (en) 2023-07-04
EP3922025A1 (en) 2021-12-15
TW202046736A (zh) 2020-12-16
US20220210462A1 (en) 2022-06-30
MX2021009333A (es) 2021-10-13
PL3922025T3 (pl) 2023-09-11
US20230291927A1 (en) 2023-09-14
TWI846813B (zh) 2024-07-01
IL285212B2 (en) 2024-06-01
JP2023130415A (ja) 2023-09-20

Similar Documents

Publication Publication Date Title
JP7307184B2 (ja) オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法
KR102653715B1 (ko) 양방향 광학 흐름에 기반한 모션 보상 예측
JP7390300B2 (ja) ビデオコーディングにおける適応ループフィルタを簡略化する方法
US11553206B2 (en) Bl-prediction for video coding
JP2021520710A (ja) 簡易化された勾配導出による双方向オプティカルフロー方法
JP2024138494A (ja) アフィン動きモデルを基にしたビデオコーディングのためのアダプティブ制御点の選択
KR20210118070A (ko) 인터 및 인트라 결합 예측
JP7553460B2 (ja) オプティカルフローによるデコーダ側動きベクトル精緻化についての予測精緻化のための方法および装置
JP2024109809A (ja) オプティカルフローを用いたブロック境界予測リファインメント
KR20210142610A (ko) Affine 모션 모델 유도 방법
JP2022518382A (ja) マージモード動きベクトル候補を用いる改良されたイントラプラナー予測
RU2811563C2 (ru) Системы, устройства и способы для уточнения интерпрогнозирования с помощью оптического потока
CN114666582B (zh) 用于利用光流的帧间预测细化的系统、装置和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211019

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210818

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20211201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230629

R150 Certificate of patent or registration of utility model

Ref document number: 7307184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150