JP2022521893A - ビデオの符号化および復号における動きベクトルの導出 - Google Patents

Abstract

ビデオ処理は、動きベクトルリファインメントプロセスおよび動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することに基づいてピクチャを符号化および／または復号することと、アクティブ化および第２のプロセスに基づいて動きベクトルリファインメントプロセスを変更することと、その変更された動きベクトルリファインメントプロセスおよび第２のプロセスに基づいてピクチャを符号化および／または復号することと、を伴うことができる。【選択図】図１６

Description

本開示は、ビデオの符号化および復号に関する。

高い圧縮効率を達成するために、画像およびビデオのコード化スキームは、通常、ビデオコンテンツの空間的および時間的冗長性を活用する予測および変換を用いる。一般に、イントラ予測またはインター予測は、イントラ相関またはインターフレーム相関を利用するために使用され、次いで、予測誤差または予測残差と表記されることが多い、元のピクチャブロックと予測されたピクチャブロックとの差分が変換され、量子化され、エントロピーコード化される。ビデオを再構築するために、圧縮されたデータは、予測、変換、量子化、およびエントロピーコード化に対応する逆プロセスによって復号される。

ピクチャ情報を符号化する方法を伴う実施形態の少なくとも一実施例が提供され、その方法は、リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、インジケータに基づいてリファインメント関数を変更することと、デコーダ側動きベクトルリファインメントプロセスおよび変更されたリファインメント関数に基づいてピクチャ情報の少なくとも一部を符号化することと、を含む。

ピクチャ情報を復号する方法を伴う実施形態の少なくとも一実施例が提供され、この方法は、リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、インジケータに基づいてリファインメント関数を変更することと、デコーダ側動きベクトルリファインメントプロセスおよび変更されたリファインメント関数に基づいてピクチャ情報の少なくとも一部を復号することと、を含む。

ピクチャ情報を符号化する装置を伴う実施形態の少なくとも一実施例が提供され、この装置は、リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、インジケータに基づいてリファインメント関数を変更することと、デコーダ側動きベクトルリファインメントプロセスおよび変更されたリファインメント関数に基づいてピクチャ情報の少なくとも一部を符号化することと、を行うように構成された１つ以上のプロセッサを含む。

ピクチャ情報を復号する装置を伴う実施形態の少なくとも一実施例が提供され、この装置は、リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、インジケータに基づいてリファインメント関数を変更することと、デコーダ側動きベクトルリファインメントプロセスおよび変更されたリファインメント関数に基づいてピクチャ情報の少なくとも一部を符号化することと、を行うように構成された１つ以上のプロセッサを含む。

ピクチャ情報を符号化する方法を伴う実施形態の少なくとも一実施例が提供され、この方法は、動きベクトルリファインメントプロセスおよび動きベクトルリファインメント関数を伴う処理モードのアクティブ化を決定することと、動きベクトルリファインメント関数に基づいて動きベクトルリファインメントプロセスを変更することと、処理モードおよび変更された動きベクトルリファインメントプロセスに基づいてピクチャ情報の少なくとも一部を符号化することと、を含む。

ピクチャ情報を復号する方法を伴う実施形態の少なくとも一実施例が提供され、この方法は、動きベクトルリファインメントプロセスおよび動きベクトルリファインメント関数を伴う処理モードのアクティブ化を決定することと、動きベクトルリファインメント関数に基づいて動きベクトルリファインメントプロセスを変更することと、処理モードおよび変更された動きベクトルリファインメントプロセスに基づいてピクチャ情報の少なくとも一部を復号することと、を含む。

ピクチャ情報を符号化する装置を伴う実施形態の少なくとも一実施例が提供され、この装置は、動きベクトルリファインメントプロセスおよび動きベクトルリファインメント関数を伴う処理モードのアクティブ化を決定することと、動きベクトルリファインメント関数に基づいて動きベクトルリファインメントプロセスを変更することと、処理モードおよび変更された動きベクトルリファインメントプロセスに基づいてピクチャ情報の少なくとも一部を符号化することと、を行うように構成された１つ以上のプロセッサを含む。

ピクチャ情報を復号する装置を伴う実施形態の少なくとも一実施例が提供され、この装置は、動きベクトルリファインメントプロセスおよび動きベクトルリファインメント関数を伴う処理モードのアクティブ化を決定することと、動きベクトルリファインメント関数に基づいて動きベクトルリファインメントプロセスを変更することと、変更された動きベクトルリファインメントプロセスに基づいてピクチャを復号することと、を行うように構成された１つ以上のプロセッサを含む。

ピクチャを符号化する方法を伴う実施形態の少なくとも一実施例が提供され、この方法は、動きベクトルリファインメントプロセスおよび動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化および第２のプロセスに基づいて動きベクトルリファインメントプロセスを変更することと、変更された動きベクトルリファインメントプロセスおよび第２のプロセスに基づいてピクチャを符号化することと、を含む。

ピクチャを復号する方法を伴う実施形態の少なくとも１つの他の実施例が提供され、この方法は、動きベクトルリファインメントプロセスおよび動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化および第２のプロセスに基づいて動きベクトルリファインメントプロセスを変更することと、変更された動きベクトルリファインメントプロセスおよび第２のプロセスに基づいてピクチャを復号することと、を含む。

ピクチャを符号化する装置を伴う実施形態の少なくとも１つの他の実施例が提供され、この装置は１つ以上のプロセッサを含み、この１つ以上のプロセッサは、動きベクトルリファインメントプロセスおよび動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化および第２のプロセスに基づいて動きベクトルリファインメントプロセスを変更することと、変更された動きベクトルリファインメントプロセスおよび第２のプロセスに基づいてピクチャを符号化することと、を行うように構成されている。

ピクチャを復号する装置を伴う実施形態の少なくとも１つの他の実施例が提供され、この装置は１つ以上のプロセッサを含み、この１つ以上のプロセッサは、動きベクトルリファインメントプロセスおよび動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化および第２のプロセスに基づいて動きベクトルリファインメントプロセスを変更することと、変更された動きベクトルリファインメントプロセスおよび第２のプロセスに基づいてピクチャを復号することと、を行うように構成されている。

ピクチャを符号化する方法を伴う実施形態の少なくとも１つの他の実施例が提供され、この方法は、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化およびＬＩＣプロセスに基づいてＤＭＶＲプロセスを変更することと、変更されたＤＭＶＲプロセスおよびＬＩＣプロセスに基づいてピクチャを符号化することと、を含む。

ピクチャを復号する方法を伴う実施形態の少なくとも１つの他の実施例が提供され、この方法は、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化およびＬＩＣプロセスに基づいてＤＭＶＲプロセスを変更することと、変更されたＤＭＶＲプロセスおよびＬＩＣプロセスに基づいてピクチャを復号することと、を含む。

ピクチャを符号化する装置を伴う実施形態の少なくとも１つの他の実施例が提供され、この装置は１つ以上のプロセッサを含み、この１つ以上のプロセッサは、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化およびＬＩＣプロセスに基づいてＤＭＶＲプロセスを変更することと、変更されたＤＭＶＲプロセスおよびＬＩＣプロセスに基づいてピクチャを符号化することと、を行うように構成されている。

ピクチャを復号する装置を伴う実施形態の少なくとも１つの他の実施例が提供され、この装置は１つ以上のプロセッサを含み、この１つ以上のプロセッサは、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化およびＬＩＣプロセスに基づいてＤＭＶＲプロセスを変更することと、変更されたＤＭＶＲプロセスおよびＬＩＣプロセスに基づいてピクチャを復号することと、を行うように構成されている。

上記は、本開示のいくつかの態様の基本的な理解を提供するために、主題の簡略化された概要を提示している。この概要は主題の広範な大要ではない。実施形態の主要な／重要な要素を特定すること、または主題の範囲を線引きすることは意図されていない。その唯一の目的は、以下に提供されるより詳細な説明の前置きとして、主題のいくつかの概念を簡略化した形態で提示することである。

本開示は、添付の図と併せて以下の詳細な説明を検討することによって、よりよく理解され得る。
ビデオエンコーダの実施形態の実施例を示すブロック図を提供する。 ビデオデコーダの実施形態の実施例を示すブロック図を提供する。 コード化ツリーユニット（ＣＴＵ）を伴う本開示の態様を示す。 ＣＴＵおよびコード化ユニット（ＣＵ）を伴う本開示の態様を示す。 復号側動きベクトルリファインメント（ＤＭＶＲ）の実施例を示す。 ＤＭＶＲ検索手順の実施例を示すフロー図を提供する。 ＤＭＶＲ整数輝度サンプル検索パターンの実施例を示す。 正方形ＣＵ（上の図）と長方形ＣＵ（下の図）の両方の動きベクトル（ＭＶ）で変換された隣接する再構築サンプルおよび対応する参照サンプルから導出された照度補償パラメータ、例えば、局所照度補償（ＬＩＣ）パラメータの実施例を示す。 ＬＩＣパラメータの導出、および予測Ｌ０と予測Ｌ１それぞれへの適用の実施例を示すフロー図を提供する。 ＬＩＣパラメータの導出および組み合わされたＬ０とＬ１からの予測への適用の実施例を示すフロー図を提供する。 長方形ＣＵの左側参照サンプルおよび上部参照サンプルの位置決めの実施例を示す。 ＤＭＶＲおよびＬＩＣによる双予測の実施例を示すフロー図を提供する。 ＤＭＶＲリファインメント前の復号された双予測動きベクトルに基づくＬＩＣパラメータの導出の実施例を示すフロー図を提供する。 本明細書に記載の様々な態様による装置の実施形態の実施例を示すブロック図を提供する。 ＤＭＶＲや重み付き予測（ＷＰ）などの動きベクトルリファインメント付き双予測を伴う実施形態の実施例を示すフロー図を提供する。 本開示による実施形態の様々な実施例を示すフロー図を提供する。

図面は、本開示による様々な態様、特徴、および実施形態の実施例を示すことを目的としており、必ずしも唯一の可能な構成ではないことを理解されたい。様々な図を通して、同様の参照指定子は、同一または類似の特徴を指す。

ここで図に目を向けると、図１は、ＨＥＶＣエンコーダなどのビデオエンコーダ１００の実施例を示している。ＨＥＶＣは、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ－ＶＣ）によって開発された圧縮規格である（例えば、「ＩＴＵ－Ｔ Ｈ．２６５ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＣＴＯＲ ＯＦ ＩＴＵ（１０／２０１４）、ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ，Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ－Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ，Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５」を参照のこと）。図１は、ＨＥＶＣ規格に対して改善が行われたエンコーダ、または、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）が開発中のＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ）に基づくかもしくは改善されたエンコーダ、例えば、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）と呼ばれる開発作業に関連したエンコーダなどの、ＨＥＶＣと同様の技術を採用したエンコーダも示し得る。

本出願では、「再構築された」および「復号された」という用語は互換的に使用され得、「ピクセル」および「サンプル」という用語は互換的に使用され得、「ピクチャ」、および「フレーム」という用語は互換的に使用され得る。必須ではないが、通常は、「再構築された」という用語は、エンコーダ側において使用される一方で「復号された」は、デコーダ側において使用される。

ＨＥＶＣ仕様は、「ブロック」と「ユニット」とを区別し、ここで「ブロック」は、サンプルアレイの特定の領域（例えば、輝度、Ｙ）をアドレス指定し、「ユニット」は、すべての符号化された色成分（Ｙ、Ｃｂ、Ｃｒ、またはモノクロ）、構文要素、およびブロックに関連付けられている予測データ（例えば、動きベクトル）の併置されたブロックを含む。

コード化の場合、ピクチャは、構成可能なサイズを有する正方形のコード化ツリーブロック（ＣＴＢ）に分割され、一連のコード化ツリーブロックがスライスにグループ化される。コード化ツリーユニット（ＣＴＵ）は、符号化された色成分のＣＴＢを包含する。ＣＴＢは、コード化ブロック（ＣＢ）への四分木分割のルートであり、コード化ブロックは、１つ以上の予測ブロック（ＰＢ）に分割することができ、変換ブロック（ＴＢ）への四分木分割のルートを形成する。コード化ブロック、予測ブロック、および変換ブロックに対応して、コード化ユニット（ＣＵ）は、予測ユニット（ＰＵ）と、変換ユニット（ＴＵ）のツリー構造セットと、を含み、ＰＵは、すべての色成分についての予測情報を含み、ＴＵは、各色成分の残差コード化構文構造を含む。輝度成分のＣＢ、ＰＢ、およびＴＢのサイズは、対応するＣＵ、ＰＵ、およびＴＵに適用される。本出願では、「ブロック」という用語は、ＣＴＵ、ＣＵ、ＰＵ、ＴＵ、ＣＢ、ＰＢ、およびＴＢのいずれかを指すために使用され得る。加えて、「ブロック」は、Ｈ．２６４／ＡＶＣまたは他のビデオコード化規格で指定されているマクロブロックおよびパーティションを指すためにも使用することができ、より一般的には、様々なサイズのデータのアレイを指すために使用することができる。

図１のエンコーダ１００では、以下で説明されるように、ピクチャがエンコーダ要素によって符号化される。符号化するピクチャは、ＣＵ単位で処理される。各ＣＵは、イントラモードまたはインターモードのいずれかを使用して符号化される。ＣＵがイントラモードで符号化されるとき、イントラ予測を実行する（１６０）。インターモードにおいて、動き推定（１７５）および動き補償（１７０）が実行される。エンコーダは、イントラモードまたはインターモードのどちらをＣＵの符号化に使用するかを判断し（１０５）、予測モードフラグによってイントラ／インター判断を示す。予測残差は、元の画像ブロックから予測されたブロックを減算することにより計算される（１１０）。

次いで、予測残差が変換され（１２５）、量子化される（１３０）。量子化された変換係数に加えて、動きベクトルおよび他の構文要素は、ビットストリームを出力するためにエントロピーコード化される（１４５）。また、エンコーダは、変換をスキップし、４ｘ４ＴＵベースで非変換残差信号に直接量子化を適用し得る。また、エンコーダは、変換および量子化の両方をバイパスすることもでき、すなわち、残差は、変換または量子化プロセスを適用せずに直接コード化される。直接ＰＣＭコード化では、予測は適用されず、コード化ユニットサンプルは、ビットストリームに直接コード化される。

エンコーダは、符号化されたブロックを復号して、さらに予測するための参照を提供する。量子化された変換係数は逆量子化され（１４０）、逆変換され（１５０）、予測残差を復号する。復号された予測残差と予測されたブロックとを組み合わせて（１５５）、画像ブロックが再構築される。ループ内フィルタ（１６５）は、再構築されたピクチャに適用され、例えば、デブロッキング／ＳＡＯ（サンプル適合オフセット）フィルタリングを実行し、符号化アーティファクトを低減する。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に記憶される。

図２は、ＨＥＶＣデコーダなどのビデオデコーダ２００の実施例のブロック図を示す。デコーダ２００の実施例では、ビットストリームは、後述するデコーダ要素によって復号される。ビデオデコーダ２００は、概して、図１で説明されたような符号化パスの逆の復号パスを実行し、これは、ビデオデータの符号化の一部として、ビデオ復号を実行する。図２はまた、ＨＥＶＣ規格に対して改善が行われたデコーダ、またはＪＥＭもしくは改善されたＪＥＭに基づくデコーダなどのＨＥＶＣと同様の技術を採用したデコーダも示し得る。

特に、デコーダの入力は、図１のビデオエンコーダ１００などのビデオエンコーダによって生成され得るビデオ信号またはビットストリームを含む。まず、信号またはビットストリームがエントロピー復号され（２３０）、変換係数、動きベクトル、および他のコード化情報を取得する。変換係数は、予測残差を復号するために、逆量子化され（２４０）、かつ逆変換される（２５０）。復号された予測残差と予測されたブロックとを組み合わせて（２５５）、画像ブロックが再構築される。予測されたブロックは、イントラ予測（２６０）または動き補償予測（すなわち、インター予測）（２７５）から取得され得る（２７０）。高度動きベクトル予測（ＡＭＶＰ）およびマージモード技法を使用して、動き補償のための動きベクトルを導出し得、これは、補間フィルタを使用して、参照ブロックのサブ整数サンプルの補間値を計算し得る。ループ内フィルタ（２６５）は、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。

ＨＥＶＣビデオ圧縮規格では、動き補償された時間予測を用いて、ビデオの連続するピクチャ間に存在する冗長性を活用する。それを行うために、動きベクトルが各予測単位（ＰＵ）に関連付けられる。各コード化ツリーユニット（ＣＴＵ）は、圧縮ドメイン内のコード化ツリー（ＣＴ）によって表される。これは、図３に示すように、ＣＴＵの四分木分割であり、各葉は、コード化ユニット（ＣＵ）と呼ばれる。

次に、各ＣＵには、イントラまたはインター予測パラメータ（予測情報）がいくつか与えられる。それを行うために、それは、１つ以上の予測単位（ＰＵ）に空間的に分割され、各ＰＵには、いくつかの予測情報が割り当てられる。イントラコード化モードまたはインターコード化モードは、コード化ツリーユニットをコード化ユニット、予測ユニット、および変換ユニットに分割する実施例を示す図４に示すように、ＣＵレベルで割り当てられる。ＣＵをコード化するために、予測ブロックまたは予測ユニット（ＰＵ）は、隣接する再構築されたサンプル（イントラ予測）、または復号ピクチャバッファ（ＤＰＢ）に記憶された以前に再構築されたピクチャ（インター予測）から構築される。次に、元のサンプルとＰＵサンプルの差分として計算された残差サンプルが変換され、量子化される。

インター予測では、動き補償時間予測が用いられ、ビデオの連続するピクチャ間に存在する冗長性を活用する。そうするために、動きベクトルは、ＰＵと、ＬＩＳＴ＿０で指定されたリスト中にリストされた複数の参照ピクチャのうちのどれを使用するかを示す参照インデックス０（ｒｅｆＩｄｘ０）と、に関連付けられる。

ＨＥＶＣでは、２つのモードを用いて、動きデータを符号化する。これらはそれぞれ、適合動きベクトル予測（ＡＭＶＰ）およびマージと呼ばれる。ＡＭＶＰは、現在のＰＵを予測するために使用される参照ピクチャ（複数可）と、動きベクトル予測子インデックス（２つの予測子のリストから取得される）と、動きベクトル差分とを信号伝達することを伴う。マージモードは、動きデータ予測子のリスト中に収集された、いくつかの動きデータのインデックスを信号伝達し、復号することを含む。リストは５つの候補からなり、デコーダ側およびエンコード側で同じ方法で作成される。したがって、マージモードは、マージリストから取り出された動き情報を導出することを目的としている。マージリストは、通常、現在のＰＵが処理されているときに、それらの復号された状態で利用可能な、いくつかの空間的および時間的周囲ブロックに関連する動き情報を含む。

例えば、Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（ＪＥＭ）と呼ばれ、ＶＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＶＴＭ）として知られるＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）リファレンスソフトウェアのＪＶＥＴ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）グループによって開発されたコーデックなどの他のコーデックでは、インター予測で使用されるいくつかのモード（例えば、双方向インター予測またはＢモード）は、送信されたパラメータを用いて照度変化を補償することができる。Ｂモードでは、現在のブロックが２つの動きベクトルに関連付けられ、２つの異なる画像中の２つの参照ブロックを指定する。現在のブロックについての残差ブロックを計算することを可能にする予測子ブロックは、２つの参照ブロックの平均である。各参照ブロックに関連付けられた重みが異なる、双方向インター予測のいくつかの一般化が提案され、重み付き予測（ＷＰ）は、いくつかの態様における双方向インター予測の一般化と見なされ得る。ＷＰでは、残差ブロックは、現在のブロックと、単方向インター予測の場合は参照ブロックの重み付きバージョンまたは双方向インター予測の場合は２つの参照ブロックの重み付き平均のいずれかとの差分として計算される。ＷＰは、シーケンスヘッダ内のシーケンスレベル（ＶＶＣではシーケンスパラメータセット（ＳＰＳ）と呼ばれる）または画像ヘッダの画像レベル（ＶＶＣではピクチャパラメータセット（ＰＰＳ）と呼ばれる）で有効にすることができる。ＷＰは、参照画像の各リスト（Ｌ０およびＬ１）の各参照ピクチャの各成分に関連付けられたＣＴＵのグループごとの（例えば、概して、スライスヘッダレベルにおける）重みおよびオフセットを定義する。

ＷＰがシーケンスヘッダ（ＳＰＳ）および画像ヘッダ（ＰＰＳ）において有効にされ、関連する重みおよびオフセットがスライスヘッダにおいて指定されている間は、ＣＵレベル重み付き双予測（ＢＣＷ）と呼ばれる新しいモードは、ブロックレベルにおける重みを信号伝達することを可能にする。

デコーダ側で決定された関連パラメータを有するいくつかの追加の時間予測ツールは、動きベクトルリファインメントおよび照度変動などの問題の補償といった機能を提供する。かかる追加のツールは、例えば、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）などの動きベクトルリファインメントと、局所照度補償（ＬＩＣ）などの照度補償とを含むことができる。ＤＭＶＲの１つの目的は、バイラテラルマッチング予測などの予測するアプローチを使用することによって動きベクトルをさらにリファインすることであり得る。ＬＩＣの１つの目的は、動き補償された時間的予測を通じて使用される予測ブロックとその参照ブロックとの間で生じ得る照度変化を補償することであり得る。これらのツールは両方とも、少なくとも部分的にデコーダ側のプロセスを伴い、予測に使用されるパラメータを導出することができる。

より詳細には、マージモードのＭＶの精度を高めるためのアプローチは、バイラテラルマッチング（ＢＭ）ベースのデコーダ側動きベクトルリファインメントを適用することを伴うことができる。双予測動作では、参照ピクチャリストＬ０および参照ピクチャリストＬ１内の初期ＭＶの周囲でリファインされたＭＶが検索される。ＢＭ法は、絶対差分和（ＳＡＤ）などのアプローチに基づいて、参照ピクチャリストＬ０および参照ピクチャリストＬ１内の２つの候補輝度ブロック間の歪みを計算する。図５の実施例に示されているように、ブロック５００とブロック５０１（赤色ブロック）との間のＳＡＤは、初期ＭＶ周囲の各ＭＶ候補に基づいて計算される。最も低いＳＡＤを有するＭＶ候補がリファインされたＭＶになり、双予測信号を生成するために使用される。

ＤＭＶＲを適用するためのアプローチは、以下のモードでコード化されたＣＵに対してＤＭＶＲが適用され得ることを含む。
・双予測ＭＶによるＣＵレベルマージモード。
・現在のピクチャについて、１つが過去の参照ピクチャであり、もう１つが将来の参照ピクチャであるモード。
・両方の参照ピクチャから現在のピクチャまでの距離（例えば、ピクチャ順序カウント（ＰＯＣ）の差分）が同じであるモード。
・ＣＵが６４以上の輝度サンプルを有し、ＣＵ高さが８以上の輝度サンプルであるモード。

ＤＭＶＲプロセスによって導出されたリファインされたＭＶは、インター予測サンプルを生成するために使用され得、将来のピクチャコード化のための時間的動きベクトル予測にも使用され得るが、元のＭＶは、例えば、非ブロック化プロセスに使用でき、将来のＣＵコード化のための空間的動きベクトル予測においても使用することができる。ＤＭＶＲへの１つ以上のアプローチの追加機能を以下に説明する。

図５に示された実施例に示されるように、検索ポイントは初期ＭＶを囲んでおり、ＭＶオフセットはＭＶ差分ミラーリングルールに従う。すなわち、図５の候補ＭＶ対（ＭＶ０，ＭＶ１）によって示される、ＤＭＶＲによってチェックされるあらゆるポイントが、以下の２つの式に従う。
ＭＶ０’＝ＭＶ０＋ＭＶ_{ｏｆｆｓｅｔ}（１）
ＭＶ１’＝ＭＶ１－ＭＶ_{ｏｆｆｓｅｔ}（２）
ここで、ＭＶ_{ｏｆｆｓｅｔ}は、参照ピクチャのうちの１つにおける初期ＭＶとリファインされたＭＶとの間のリファインメントオフセットを表す。リファインメント検索範囲は、例えば、初期ＭＶからの２つの整数輝度サンプルであり得る。

図６は、図５に示されるようなＤＭＶＲの検索プロセスの実施例を示すフロー図である。図６の実施例に示されるように、検索は、整数サンプルオフセット検索ステージおよび分数サンプルリファインメントステージを含む。

検索の複雑さを低減するために、早期終了機構を有する高速検索方法が、整数サンプルオフセット検索ステージに適用され得る。全検索、例えば、２５のポイントの代わりに、２反復検索スキームを適用してＳＡＤチェックポイントを低減することができる。図７に示されるように、最初の反復で最大６つのＳＡＤがチェックされる。まず、５つのポイント（中央およびＰ１～Ｐ４）のＳＡＤが比較される。中央位置のＳＡＤが最小であれば、ＤＭＶＲの整数サンプルステージは終了する。そうでなければ、もう１つの位置Ｐ５（Ｐ１～Ｐ４のＳＡＤ分布によって決定される）がチェックされる。次いで、最小のＳＡＤを有する位置（Ｐ１～Ｐ５の中の）が、２回目の反復検索の中央位置として選択される。２回目の反復検索のプロセスは、最初の反復検索のプロセスと同じである。最初の反復で計算されたＳＡＤは、２回目の反復で再利用され得、したがって、３つの追加ポイントのＳＡＤのみがさらに計算される必要がある。

整数サンプル検索の後に、分数サンプルリファインメントを行うことができる。計算の複雑さを低減するために、ＳＡＤ比較による追加の検索の代わりに、パラメトリック誤差面（error surface）方程式を使用することによって、分数サンプルリファインメントを導出することができる。分数サンプルリファインメントは、整数サンプル検索ステージの出力に基づいて条件付きで呼び出すことができる。整数サンプル検索ステージが、最初の反復検索または２回目の反復検索のいずれかにおいて、中央が最小のＳＡＤを有する状態で終了すると、分数サンプルリファインメントがさらに適用される。

パラメトリック誤差面ベースのサブピクセルオフセット推定では、中央位置コストおよび中央から４つの隣接する位置におけるコストを使用して、以下の形式の２Ｄ放物線誤差面方程式を当てはめる。
Ｅ（ｘ，ｙ）＝Ａ（ｘ－ｘ_ｍｉｎ）^２＋Ｂ（ｙ－ｙ_ｍｉｎ）^２＋Ｃ （３）
ここで、（ｘ＿ｍｉｎ，ｙ＿ｍｉｎ）は最小コストを有する分数位置に対応し、Ｃは最小コスト値に対応する。５つの検索ポイントのコスト値を使用して上記の方程式を解くことによって、（ｘ＿ｍｉｎ，ｙ＿ｍｉｎ）は以下のように計算される。

ｙ＿ｍｉｎ＝（Ｅ（０，－１）－Ｅ（０，１）／（２（（Ｅ（０，－１）＋Ｅ（０，１）－２Ｅ（０，０）））（５）
ｘ_ｍｉｎｄｙ_ｍｉｎｅの値は、すべてのコスト値が正であり、最小値がＥ（０，０）であるため、自動的に－８～８に制約される。これは、例えば、１／１６ペルＭＶ精度を有するハーフペルオフセットに対応する。計算された分数（ｘ＿ｍｉｎ，ｙ＿ｍｉｎ）は、整数距離リファインメントＭＶに加算されて、サブピクセルの正確なリファインメントデルタＭＶを得る。

コーデックは、例えば、ＭＶの解像度が１／１６輝度サンプルになり得ることを提供し得る。分数位置におけるサンプルは、８タップ補間フィルタを使用して補間される。ＤＭＶＲでは、検索ポイントは整数サンプルオフセットで最初の分数ペルＭＶを囲んでおり、したがってこれらの分数位置のサンプルはＤＭＶＲ検索プロセスのために補間される必要がある。計算の複雑さを低減するために、双線形補間フィルタを使用して、ＤＭＶＲにおける検索プロセスのための分数サンプルを生成する。別の重要な効果は、双線形フィルタを使用することによって、２サンプル検索範囲では、ＤＶＭＲが通常の動き補償プロセスと比較してより多くの参照サンプルにアクセスしないことである。リファインされたＭＶがＤＭＶＲ検索プロセスによって得られた後に、通常の８タップ補間フィルタが適用されて最終予測が生成される。通常のＭＣプロセスに対してより多くの参照サンプルにアクセスしないようにするために、元のＭＶに基づく補間プロセスには必要ないが、リファインされたＭＶに基づく補間プロセスには必要なサンプルが、これらの使用可能なサンプルからパディングされる。

ＤＭＶＲ検索プロセスの最大ユニットサイズは、例えば、１６ｘ１６に制限することができる。ＣＵの幅および／または高さが最大サイズよりも大きい、例えば、１６個の輝度サンプルよりも大きい場合は、ＣＵは、例えば、１６個の輝度サンプルなどの最大サイズに等しい幅および／または高さを有するサブブロックにさらに分割することができる。

インター予測（またはＢモード）で使用されるいくつかのモードは、送信されたパラメータを用いて照度変化を補償することができる。Ｂモードでは、現在のブロックが２つの動きベクトルに関連付けられ、２つの異なる画像中の２つの参照ブロックを指定する。現在のブロックについての残差ブロックを計算することを可能にする予測子ブロックは、２つの参照ブロックの平均である。現在のブロックの予測子ｂｉＰｒｅｄは、以下のように計算される。

ここで、ｐｒｅｄ_０は、概して復号ピクチャバッファ（ＤＰＢ）と呼ばれる復号画像のバッファに記憶された参照画像のリストＬ０で取得された動き補償ブロック予測子であり、ｐｒｅｄ_１は、ＤＰＢに記憶された参照画像のリストＬ１で取得された動き補償ブロック予測子であり、ｗ_１およびｗ_０は、古典的な双方向インター予測の場合の重みに等しい重みである。

重みｗ_０およびｗ_１が異なる双方向インター予測のいくつかの一般化が提案され、重み付き予測（ＷＰ）は、いくつかの態様における双方向インター予測の一般化と見なされ得る。ＷＰでは、残差ブロックは、現在のブロックと、単方向インター予測の場合の参照ブロックの重み付きバージョンまたは双方向インター予測の場合の２つの参照ブロックの重み付き平均のいずれかとの差分として計算される。ＷＰは、シーケンスヘッダ内のシーケンスレベル（ＶＶＣではシーケンスパラメータセット（ＳＰＳ）と呼ばれる）または画像ヘッダの画像レベル（ＶＶＣではピクチャパラメータセット（ＰＰＳ）と呼ばれる）で有効にすることができる。ＷＰは、ＤＰＢに記憶された参照画像の各リスト（Ｌ０およびＬ１）の各参照ピクチャｉの各成分に関連付けられた（例えば、概して、スライスヘッダレベルにおいて）ＣＴＵのグループごとに重みｗ_ｉおよびオフセットＯｆｆ_ｉを定義する。現在のブロックが双方向ＷＰにおいてコード化されている場合は、現在のブロックについての位置（ｘ，ｙ）における予測サンプルｐｒｅｄ（ｘ，ｙ）は以下のように計算される。
ｐｒｅｄ（ｘ，ｙ）＝（（ｗ_０．ｐｒｅｄ０（ｘ，ｙ）＋ｗ_１．ｐｒｅｄ_１（ｘ，ｙ）＋Ｏｆｆ_０１）≫（ｓｈｉｆｔ＋１））
Ｏｆｆ_０１＝（Ｏｆｆ０＋Ｏｆｆ_１＋１）≪ｓｈｉｆｔの場合。
ここで、ｐｒｅｄ_ｉ（ｘ，ｙ）は、ＤＰＢに記憶され、空間的にｐｒｅｄ（ｘ，ｙ）に対応する参照画像のリストＬ_ｉで取得された動き補償予測子サンプルであり、ｗ_ｉは重みであり、Ｏｆｆ_ｉはオフセット値である。

サンプルを重み付けするときに向上した数値精度を維持するために、向上したビット深度精度を有する中間サンプル値を記憶および演算することができる。この場合、最終的な（所望の）ビット深度サンプル予測精度（ｂｉｔＤｅｐｔｈ）は、予測計算プロセスの終了時に最後の右ビットシフトによって取得される。例えば、ＤＰＢの参照ピクチャは精度ｂｉｔＤｅｐｔｈで記憶されるが、中間動き補償サンプルは中間バッファに向上した精度（ｂｉｔＤｅｐｔｈ＋ｓｐ）で記憶される。２つの上述の式におけるシフト値シフトの１つの目的は、この中間の向上したビット深度精度を保証することである。同様の中間ビット深度精度向上プロセスが、概して、サンプル重み付きプロセスを使用するすべての予測ツールに使用されることに留意されたい。

ＷＰがシーケンスヘッダ（ＳＰＳ）および画像ヘッダ（ＰＰＳ）において有効にされ、関連する重みおよびオフセットがスライスヘッダにおいて指定されている間は、ＣＵレベル重み（ＢＣＷ）を有する双予測と呼ばれる新しいモードは、ブロックレベルにおける重みを信号伝達することを可能にする。ＢＣＷモードが現在のブロックに適用されると、現在のブロックの予測子サンプルｐｒｅｄ（ｘ，ｙ）は以下のように計算される。
ｐｒｅｄ（ｘ，ｙ）＝（（８－ｗ）．ｐｒｅｄ_０（ｘ，ｙ）＋ｗ．ｐｒｅｄ１（ｘ，ｙ）＋４）≫３
ここで、ｐｒｅｄ＿０（ｘ，ｙ）は、ＤＰＢに記憶された参照画像のリストＬ０で取得され、ｐｒｅｄ（ｘ，ｙ）に空間的に対応する動き補償予測子サンプルであり、ｐｒｅｄ_１（ｘ，ｙ）は、ＤＰＢに記憶された参照画像のリストＬ１で取得され、ｐｒｅｄ（ｘ，ｙ）に空間的に対応する動き補償予測子サンプルであり、ｗは５つの重みのセットで取得された重みである（ｗ∈｛－２、３、４、５、１０｝）。重みｗは、１）非マージＣＵの場合は、重みインデックスｂｃｗ＿ｉｄｘは動きベクトル差分の後に信号伝達される方法、および２）マージＣＵの場合は、重みインデックスｂｃｗ＿ｉｄｘはマージ候補インデックスに基づいて隣接ブロックから推測される方法、のいずれかの方法で決定される。

照度補償、例えば、局所照度補償（ＬＩＣ）などのツールの使用は、インターモードでコード化された各コード化ユニット（ＣＵ）に関連付けられたフラグ（ＬＩＣフラグ）を通じてなど、ＣＵレベルで信号伝達され得る。このツールがアクティブ化されると、デコーダは、図８に示された実施例によって示されるように、予測される現在のブロックの左側および／または上部に局在するいくつかの再構築されたピクチャサンプルと、動き補償ブロックの左側および／または上部に局在する参照ピクチャサンプルとに基づいて、いくつかの予測パラメータを計算する。以下では、現在のブロックの上部の行に位置するサンプルと現在のブロックの左側の列に位置するサンプルとの両方からなるサンプルのセットは、現在のブロックに関連付けられた「Ｌ形状」と呼ばれる。例えば、図８における、Ｌ形状の一実施例は、現在のブロックの上部および左側にある小さな正方形を含んでいる。

ＬＩＣは、例えば、重みおよびオフセットに対応し、（ａ，ｂ）で指定されるパラメータを有する線形モデルに基づくことができる。パラメータ（ａ，ｂ）は、例えば、現在のサンプルと線形に変更された参照サンプルとの間の誤差、または局所歪み、距離「ｄｉｓｔ」の最小化に基づいて決定することができ、これは以下のように定義することができる（式６）。

ここで、ｒｅｃ＿ｃｕｒ（ｒ）は、現在のピクチャ内の隣接する再構築されたサンプルである（図８の右側の実施例によって示されている）。
ｒｅｃ＿ｒｅｆ（ｓ）は、ｓ＝ｒ＋ｍｖの場合、参照ピクチャ（図８の左側の実施例によって示されている）からの動き補償（ＭＣ）で構築された参照サンプルである。
ｒｅｃ＿ｃｕｒ（ｒ）およびｒｅｃ＿ｒｅｆ（ｓ）は、それぞれ再構築されたＬ形状と参照Ｌ形状の同じ場所に配置されたサンプルである。

いくつかの実装形態では、Ｌ形状で使用される再構築されたサンプルおよび参照サンプルの選択において、追加の制限が課され得る。例えば、隣接するブロックに属する再構築されたサンプルがイントラモードでコード化されていない、またはイントラモードで構築された予測（ｅｇＣＩＩＰ）でコード化されていないことが課され得る。

（ａ，ｂ）の値は、以下のように最小二乗最小化を使用して取得することができる（式７）。

Ｎの値は、式７の合計項が許容される最大整数記憶数値未満に留まるように（例えば、Ｎ＜２^１６）、さらに調整（増分的に低減）され得ることに留意されたい。また、上部サンプルのセットおよび左側サンプルのセットのサブサンプリングは、大きなブロックに対して増分され得る。

ＬＩＣパラメータが現在のＣＵのエンコーダまたはデコーダによって取得されると、現在のＣＵの予測ｐｒｅｄ（ｃｕｒｒｅｎｔ＿ｂｌｏｃｋ）は、例えば、以下の単方向予測などのケースを含む。
ｐｒｅｄ（ｃｕｒｒｅｎｔ＿ｂｌｏｃｋ）＝ａｘｒｅｆ＿ｂｌｏｃｋ＋ｂ（８）
ここで、ｃｕｒｒｅｎｔ＿ｂｌｏｃｋは予測する現在のブロックであり、ｐｒｅｄ（ｃｕｒｒｅｎｔ＿ｂｌｏｃｋ）は現在のブロックの予測であり、ｒｅｆ＿ｂｌｏｃｋは通常の動き補償（ＭＣ）プロセスによって構築され、現在のブロックの時間的予測に使用される参照ブロックである。

隣接する再構築されたサンプルのセットおよび参照サンプルのセット（図８の小さな正方形のブロックで示されるサンプル）が、同じ数および同じパターンを有することに留意されたい。以下では、「左側サンプル」は、現在のブロックのすぐ左側に位置する隣接再構築サンプルのセット（または参照サンプルのセット）を示し、「上部サンプル」は、現在のブロックの上部のすぐ上方（または隣接）に位置する隣接再構築サンプルのセット（または、参照サンプルのセット）を示す。「サンプルセット」は、「左側サンプル」のセットおよび「上部サンプル」のセットのそれぞれの１つの組み合わせを示す。

双予測の場合は、ＬＩＣプロセスは、図９に示された実施例に示されるように、２回適用され得る。図９では、ＬＩＣプロセスは、図９の３００～３４０によって示されるように、参照０予測（ＬＩＳＴ－０）と参照１予測（ＬＩＳＴ＿１）の両方に適用される。次に、図９の３５０において、例えば、初期値の重み付き（Ｐ＝（Ｐ０＋Ｐ１＋１）＞＞１）または双予測重み付き平均（ＢＰＷＡ）：Ｐ＝（ｇ０．Ｐ０＋ｇ１．Ｐ１＋（１＜＜（ｓ－１）））＞＞ｓ）を使用して、２つの予測が組み合わされる。この方法を「方法ａ」と呼ぶことにする。

本明細書で「方法ｂ」と呼ばれ、図１０に示される別の実施形態の実施例では、双予測の場合、２つの予測、すなわち、参照０および参照１の予測は３００において決定され、次いで、図１０の３２０、３３０、３４０、および３７０で単一のＬＩＣプロセスを適用する前に３６０において組み合わされる。

本明細書で「方法ｃ」（方法ｂに基づく方法ｃ）と呼ばれる別の実施形態の実施例では、双予測の場合、ＬＩＣ－０パラメータおよびＬＩＣ－１パラメータは、例えば、以下のように直接導出される。

ＬＩＣパラメータを導出するために使用される、図８に示される左側サンプルおよび上部サンプルの選択において、いくつかの制限を適用することができる。例えば、制限は以下のうちの１つ以上であり得る。
１）右シフトを使用して除算が実装されるように、左側サンプル数と上部サンプル数の合計は２の累乗である必要がある。
２）左側（Ｎ_Ｌ）および上部（Ｎ_Ｔ）のサンプルの数は同じであり、Ｎｓ（Ｎ＝２．Ｎｓ）に等しい。
ｎ＝ｍｉｎ（ｃｕＨｅｉｇｈｔ，ｃｕＷｉｄｔｈ）
ｘ＝ｌｏｇ２（ｎ）
Ｎｓ＝２^ｘ （１０）
３）左側（ｓｔｅｐＶ）または上部（ｓｔｅｐＨ）のサンプル間のステップは次の値に等しい。
ｓｔｅｐＶ＝ｃｕＨｅｉｇｈｔ＞＞ｌｏｇ２（Ｎｓ）（１１）
ｓｔｅｐＨ＝ｃｕＷｉｄｔｈ＞＞ｌｏｇ２（Ｎｓ）
概して、上記のＬＩＣ、ＷＰ、ＢＣＷ、およびＤＭＶＲは別個のツールである。ただし、これらのツールは様々な方法で組み合わされてもよい。本開示の態様によれば、これらのツールを組み合わせることは、改善された、または最適な性能を得るために、これらのツールの少なくとも１つを適合させることを伴い得る。例えば、図１６に示される実施形態は、１６１０において、ＤＭＶＲツールによって提供されるような動きベクトルリファインメントをアクティブ化するかどうかを決定することを伴うことができる。そうでない（１６１０において否定または「いいえ」の結果）場合、ビデオまたはピクチャデータの符号化または復号などの処理は１６４０において継続する。１６１０において肯定の結果（１６１０において「はい」の結果）である場合は、１６２０において、２番目のプロセス（例えば、ＬＩＣ、ＷＰ、またはＢＣＷ）をアクティブ化するかどうかの決定が行われる。そうでない（１６２０において「いいえ」の結果）場合は、処理は１６４０において継続する。１６２０における結果が肯定である（例えば、「はい」）場合は、処理は１６３０において継続し、ツールの組み合わせがアクティブ化された結果として、動きベクトルリファインメントプロセスが以下で説明されるように変更または適合される。

図１７は、図１６に示される実施形態の変形である実施形態の別の実施例を示す。図１７では、１７１０においてＤＭＶＲのアクティブ化が決定され、続いて１７２０においてＬＩＣのアクティブ化が決定される。その他の点では、図１７に示される実施形態の特徴は、図１６の実施形態に関して上で説明したものと同様であり、再度説明されない。

上述のように、本開示の態様は、本明細書に記載されるようなツールを組み合わせるときに改善されたまたは最適な性能を得るために、記載されたツールの少なくとも１つを適合させることを伴い得る。例えば、ＤＭＶＲ予測子を導出するために使用される絶対差分和（ＳＡＤ）アプローチは、ＬＩＣ、ＷＰ、またはＢＣＷなどのツールをＤＭＶＲとの組み合わせに適用するには適さない場合がある。例えば、ＬＩＣ、ＷＰ、またはＢＣＷは、ＤＭＶＲプロセスがＳＡＤ関数を用いてすでに低減し得るかまたは最小化を試み得るいくつかの初期値を補正することができる。エンコーダは、コスト決定アプローチ、またはＳＡＤなどの関数以外の、それとは異なる、もしくはそれに関して変更された関数を使用して、動きベクトル検索アルゴリズムを適用し得る。例えば、ＬＩＣ、ＷＰ、またはＢＣＷが補正、つまり、動き＋（ＬＩＣまたはＷＰまたはＢＣＷ）の組み合わせの結果を最適化することができないものについて、動き検索を最適化する取組みとして、ＬＩＣ、ＷＰ、またはＢＣＷがアクティブ化されたときに平均除去ＳＡＤ（ＭＲＳＡＤ）などのＳＡＤの変更された形式の関数が適用され得る。ただし、ＭＲＳＡＤを使用した動き検索の後にＳＡＤとともにＤＭＶＲを使用することは、非最適であり、場合によっては逆効果でさえあり得る。かかる問題に対処するための１つのアプローチは、これらのツールの組み合わせを防止または禁止することであり得、例えば、ＬＩＣ、ＷＰ、またはＢＣＷがオンであるとき、ＤＭＶＲは許可されない。しかし、そうすることは、ＤＭＶＲの利点が提供されないため、望ましくないか、または最適ではない可能性が高い。

概して、本開示の一態様は、ＬＩＣまたはＷＰまたはＢＣＷなどの照度補償がアクティブ化される場合、ＤＭＶＲなどの動きベクトルリファインメントを改善することを伴うことができる。少なくとも１つの実施形態は、ＤＭＶＲ導出プロセスにおいて絶対値和（ＳＡＤ）を使用する代わりに、ＬＩＣまたはＷＰまたはＢＣＷがＤＭＶＲと組み合わせてアクティブ化されるときに平均除去絶対値和（ＭＲＳＡＤ）を使用することを伴うことができる。ＤＭＶＲ予測が利用可能になると、ＬＩＣプロセスが計算される。

本開示の態様によれば、概して、少なくとも１つの実施形態は、ＬＩＣまたはＷＰまたはＢＣＷがアクティブ化されたときにＤＭＶＲ導出プロセスにおいてＭＲＳＡＤを使用することを伴うことができる。例えば、双予測プロセスの実施形態が図１２に示される。図１２では、１２１０において、プロセスへの入力は、Ｌ０参照リストおよびＬ１参照リストに対する動きベクトルの対である。１２２０においてＤＭＶＲが適用されないと決定された場合、１２５０において「通常の」双予測プロセスが適用され、その後、ＬＩＣが有効化またはアクティブ化されている場合、１２６０においてＬＩＣプロセスが適用される。１２２０においてＤＭＶＲが適用されると決定された場合は、１２３０においてその適用はＬＩＣ条件に依存する。ＬＩＣの代わりに、ＷＰ値またはＢＣＷ値を条件として使用することもできる。ＬＩＣが適用されない場合は、１２４０において、上記のようにＤＭＶＲがＳＡＤを使用して導出され、その後、１２５０において、リファインされた動きベクトルを用いて双予測が行われる。１２３０において決定されたようにＬＩＣが適用される場合は、１２４５においてコスト関数としてＭＲＳＡＤを使用してＤＭＶＲが適用され、その後、１２５０において動き補償が行われる。

図７に示すように、ＭＲＳＡＤの適用が生じることがある。すなわち、まず、５つのポイント（中央およびＰ１～Ｐ４）のＭＲＳＡＤが比較される。中央位置のＭＲＳＡＤが最小であれば、ＤＭＶＲの整数サンプルステージは終了する。そうでなければ、もう１つの位置Ｐ５がチェックされる。次いで、最小のＭＲＳＡＤの位置が、２回目の反復検索の中央位置として選択される。２回目の反復検索のプロセスは、最初の反復検索のプロセスと同じである。最初の反復で計算されたＭＲＳＡＤは、２回目の反復で再利用され得、したがって、３つの追加ポイントのＭＲＳＡＤのみがさらに計算される必要がある。前と同様に、整数サンプル検索の後に、ＭＲＳＡＤ値のパラメトリック誤差面方程式を使用した分数サンプルリファインメントが続く。

同じサイズの２つのブロック間のＭＲＳＡＤは、最初に２つのブロック間の一定のオフセットを除去してから、これら２つのブロック間の差分を計算する。これは、２つのブロック間の一定の変化が差分に大きな影響を与え得る絶対差分和（ＳＡＤ）とは異なる。ＭＲＳＡＤの目的は、照度変化に対してより堅牢であることである。今回の場合、これは、ＬＩＣまたはＷＰまたはＢＣＷプロセスが照度変化を補正するため、この手段を使用することが妥当である。２つのブロックＢ１とＢ２との間の平均差分Ｄは、最初に以下のように計算される。

ここで、ｉはＢに属するブロックピクセル座標であり、Ｎはブロック内のピクセル数である。

次いで、ブロックピクセルの絶対差分から平均差分を引いたものを累積することによって、ＭＲＳＡＤが計算される。

概して、少なくとも１つの実施形態の実施例は、図１３に示された例によって示されるように、ＤＭＶＲプロセスの前にまたはそれと並行して計算されるＬＩＣパラメータを伴うことができる。図１３では、１３１０において２つの動きベクトルの入力を取得した後、ＬＩＣパラメータが１３２５、１３５０、および１３６０において決定され、ＤＭＶＲプロセスが１３２０、１３３０、１３４０、１３４５、１３７０、および１３８０に進む。１３６０において生成されたＬＩＣパラメータは１３９０に提供され、ここで、アクティブ化または有効化された場合にＬＩＣが適用される。図１３の実施例などの実施形態は、ＤＭＶＲプロセスと並行してＬＩＣパラメータを計算することを可能にする。そうすることは、動作の効率を向上させ、および／または性能を向上させ、コストを低減するなどを行い得る。

概して、少なくとも１つの実施形態の別の実施例は、ブロック平均差分Ｄが、ＤＭＶＲプロセスの最初の反復における最初の位置についてのみ計算され、隣接する位置に再利用されることを伴うことができる。そうすることは、各テストされた位置についての平均ブロック差分の計算を回避することを可能にし得、それによって、場合によっては、動作の効率を向上させ、および／または性能を向上させ、コストを低減するなどを可能にし得る。

実施形態の別の実施例が図１５に示される。図１５の実施例は、上記のようなＷＰなどのツールを使用したＤＭＶＲなどの動きベクトルリファインメントを伴う。図１５では、１５１０において、プロセスへの入力は、Ｌ０参照リストおよびＬ１参照リストに対する動きベクトルの対である。１５２０において、動きベクトルリファインメント、例えば、ＤＭＶＲが適用されないと決定された場合（１５２０において「いいえ」）は、１５５０において、参照が重み付けされているかどうかに関する判定が行われる。そうである（１５５０において「はい」）場合、１５６５において双方向重み付き動き補償が生じ、予測ＣＵが出力される。参照が重み付けされていない（１５５０において「いいえ」）場合、１５６０で「通常の」双予測動き補償が適用され、その後、結果として生じる予測ＣＵが出力される。１５２０において、動きベクトルリファインメント、例えば、ＤＭＶＲが適用されると決定された（１５２０において「はい」）場合、１５３０において、その適用は、参照がＷＰなどで重み付けされるかどうかに依存する。重み付けされる（１５３０において「はい」）場合、１５４５において、上記のようにＭＲＳＡＤを使用することに基づいて動きベクトルのリファインメントが導出され、その後、１５５０において、上記のように動作が継続する。１５３０において、参照が重み付けされないと決定された（１５３０で「いいえ」）場合、１５４０において、上記のようにＳＡＤを使用して動きベクトルリファインメントが導出され、その後、１５５０において、上記のように動作が継続する。

より一般的には、実施形態の少なくとも１つの他の実施例は、インジケータ、例えば、情報、またはフラグ、またはインデックスに基づいて変更または適合され、ビットストリームで符号化／復号されるか、または推論される（例えば、前の実施形態のように、ＬＩＣがフラグ上にある場合、真であると推論される）動きベクトルリファインメント、例えば、ＤＭＶＲプロセスを伴うことができる。かかる実施形態の実施例が図１８に示される。図１８では、１８１０において、デコーダ側動きベクトルリファインメントＤＭＶＲのアクティブ化の決定が行われる。ＤＭＶＲプロセスは、上記のようなＳＡＤなどのリファインメント関数を含み得る。１８１０において、ＤＭＶＲプロセスがアクティブ化されると決定された場合、１８２０において、インジケータ、例えば、情報、またはフラグ、またはインデックスに基づいてリファインメント関数が変更され得る。例えば、インジケータは、上記のようにＬＩＣツールがアクティブ化された場合など、リファインメント関数をＳＡＤではなくＭＲＳＡＤに変更することを示し得る。代替的に、インジケータは、ＬＩＣ、ＷＰ、およびＢＣＷなどの１つ以上のツールのうちのどれがＤＭＶＲとともにアクティブ化されるかを示すことが可能であり、ここで、ツールの組み合わせは、上記のようにリファインメント関数の変更をもたらし、例えば、リファインメント関数としてＳＡＤではなくＭＲＳＡＤを選択する。１８２０の後に、ピクチャ情報は、変更されたリファインメント関数を含むＤＭＶＲプロセスに基づいて符号化／復号される。

図１９は、図１８に示される実施形態の変形である実施形態の別の実施例を示す。図１９では、１９１０における動作は、ＤＭＶＲツールによって提供されるようなＤＭＶＲプロセスをアクティブ化するかどうかを決定する。ＤＭＶＲがアクティブ化されない（１９１０において否定または「いいえ」の結果）場合は、１９７０において、ビデオまたはピクチャデータの符号化または復号などの処理に続く。１９１０において肯定の結果（１９１０において「はい」の結果）である場合は、ＤＭＶＲプロセスがアクティブ化される。上記のように、ＤＭＶＲプロセスは、ＳＡＤなどのリファインメント関数を含み得る。１９２０において、図１８に関して上で説明されたようなインジケータが決定され（ビットストリームから推測または読み出される／エンコーダによって決定される）、ここで、インジケータは、リファインメント関数、例えば、ＳＡＤが変更または適合されるかどうかを示す。１９３０において、インジケータ値が検証される。結果が否定の（１９３０で「いいえ」の結果）場合は、１９４０において処理が継続し、ＳＡＤなどのリファインメント関数を含むＤＭＶＲプロセスに進む。１９３０における結果が肯定（例えば、「はい」）の場合は、１９５０において処理が継続し、ここで、リファインメント関数がインジケータに基づいて変更され、例えば、選択されてＭＲＳＡＤになる。変形例では、インジケータは、対応する複数の関数にマッピングされた複数の値を有する関数インデックスであり得、これらの関数は、選択されて、ＤＭＶＲプロセスに含まれるリファインメント関数を変更または適合させることができる。図１９の実施例では、０に等しいインデックスは、ＳＡＤのリファインメント関数の選択を示すか、またはそれに対応することができ、一方、１に等しいインデックスは、ＭＲＳＡＤのリファインメント関数の選択を示すか、またはそれに対応することができる。インジケータまたはインデックスに基づくリファインメント関数の選択により、リファインメント関数を変更する。次いで、１９６０において、変更されたリファインメント関数を含むＤＭＶＲプロセスが生じる。１９７０において、ピクチャ情報は、変更されたリファインメント関数を含むＤＭＶＲプロセスに基づいて符号化／復号される。

本文献では、実施形態、特徴、モデル、アプローチなどの様々な実施例について説明する。かかる実施例の多くは、具体的に説明され、少なくとも個々の特性を示すために、限定的であると思われる方法で説明されることが多い。しかし、これは説明を明確にするためのものであり、用途または範囲を限定するものではない。実際、本明細書に説明される実施形態、特徴などの様々な実施例は、実施形態のさらなる実施例を提供するために、様々な方法で組み合わされ、交換され得る。

概して、本文献に説明され、企図される実施形態の実施例は、多くの異なる形態で実装することができる。上記の図１および図２、ならびに以下で説明される図１４は、いくつかの実施形態を提供するが、他の実施形態が企図され、図１、図２、および図１４の考察は、実装形態の幅を制限しない。少なくとも１つの実施形態は、概して、ビデオ符号化および／またはビデオ復号に関連する実施例を提供し、少なくとも１つの他の実施形態は、概して、生成または符号化されたビットストリームまたは信号を送信することに関する。これらおよび他の実施形態は、方法、装置、説明された方法のいずれかに従ってビデオデータを符号化または復号するための命令を記憶するコンピュータ可読記憶媒体、および／または説明された方法のいずれかに従って生成されるビットストリームまたは信号を記憶するコンピュータ可読記憶媒体として実装することができる。

本出願では、「再構築された」および「復号された」という用語は互換的に使用され得、「ピクセル」および「サンプル」という用語は互換的に使用され得、「画像」、「ピクチャ」、および「フレーム」という用語は互換的に使用され得る。必須ではないが、通常は、「再構築された」という用語は、エンコーダ側において使用される一方で「復号された」は、デコーダ側において使用される。

本開示では、ＨＤＲ（高ダイナミックレンジ）およびＳＤＲ（標準ダイナミックレンジ）という用語が使用される。これらの用語は、多くの場合、ダイナミックレンジの特定の値を当業者に伝える。ただし、ＨＤＲへの言及が「より高いダイナミックレンジ」を意味すると理解され、ＳＤＲへの言及が「より低いダイナミックレンジ」を意味すると理解される追加の実施形態も意図される。かかる追加の実施形態は、「高ダイナミックレンジ」および「標準ダイナミックレンジ」という用語に関連付けられ得ることが多いダイナミックレンジの特定の値によって制約されない。

様々な方法が、本明細書に記載されており、それらの方法のそれぞれは、説明された方法を達成するための１つ以上のステップまたは行為を含む。本方法の正しい動作のために特定の順序のステップまたは行為が必要でない限り、特定のステップおよび／または行為の順序および／または使用は、変更されてもよく、または組み合わせられてもよい。

本文献に説明される様々な方法および他の態様を使用して、図１に示すエンコーダ１００の動き補償および／または動き推定モジュール１７０および１７５、ならびに図２に示すデコーダ２００の動き補償モジュール２７５など、ビデオエンコーダおよび／またはビデオデコーダのモジュールを変更することができる。さらに、本態様は、ＶＶＣまたはＨＥＶＣに限定されず、例えば、既存かまたは将来開発されるかどうかに関わらず、他の標準規格および推奨事項、ならびに任意のそのような標準規格および推奨事項（ＶＶＣおよびＨＥＶＣを含む）の拡張版に適用することができる。特に指示されていない限り、または技術的に除外されていない限り、本文献で説明されている態様は、個別に、または組み合わせて使用できる。

本文献では、例えば、様々な数値が使用される。特定の値は、例示的な目的のためであり、記載された態様は、これらの特定の値に限定されるものではない。

図１４は、様々な態様および実施形態を実装することができるシステムの実施例のブロック図を示す。システム１０００は、以下で説明される様々な構成要素を含むデバイスとして具現化することができ、本文献で説明される態様の１つ以上を実行するように構成されている。このようなデバイスの例には、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家電製品、およびサーバなどの様々な電子デバイスが含まれる。システム１０００の要素は、単独でも組み合わせでも、単一の集積回路、複数のＩＣ、および／または個別の構成要素に具現化され得る。例えば、少なくとも１つの実施形態において、システム１０００の処理およびエンコーダ／デコーダ要素は、複数のＩＣおよび／または個別の構成要素にわたって分散している。様々な実施形態において、システム１０００は、他の同様のシステムに、または他の電子デバイスに、例えば、通信バスを介して、または専用の入力および／もしくは出力ポートを通じて、通信可能に結合される。様々な実施形態において、システム１０００は、本文献に記載の態様のうちの１つ以上を実装するように構成される。

システム１０００は、例えば、本文献に記載の様々な態様を実装するために、読み込まれた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、当技術分野で周知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス、および／または不揮発性メモリデバイス）を含む。システム１０００は、ストレージデバイス１０４０を含み、これには、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブが含まれるがこれらに限定されない、不揮発性メモリおよび／または揮発性メモリが含まれ得る。ストレージデバイス１０４０は、非限定的な例として、内部ストレージデバイス、付属のストレージデバイス、および／またはネットワークアクセス可能なストレージデバイスを含み得る。

システム１０００は、例えば、符号化されたビデオまたは復号されたビデオを提供するようにデータを処理するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、独自のプロセッサおよびメモリを含み得る。エンコーダ／デコーダモジュール１０３０は、符号化機能および／または復号機能を実行するデバイスに含まれ得るモジュール（複数可）を表す。周知のように、デバイスは、符号化および復号モジュールの一方または両方を含み得る。さらに、エンコーダ／デコーダモジュール１０３０は、システム１０００の別個の要素として実装されてもよく、または、当業者には周知であるように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ１０１０内に組み込まれてもよい。

本文献に記載の様々な態様を実行するようにプロセッサ１０１０またはエンコーダ／デコーダ１０３０に読み込まれるプログラムコードは、ストレージデバイス１０４０に格納され、続いて、プロセッサ１０１０による実行のためにメモリ１０２０に読み込まれ得る。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、ストレージデバイス１０４０、およびエンコーダ／デコーダモジュール１０３０のうちの１つ以上は、本文献に記載のプロセスの実行中、様々な項目のうちの１つ以上を記憶することができる。かかる記憶される項目は、入力ビデオ、復号されたビデオまたは復号されたビデオの一部、ビットストリームまたは信号、行列、変数、ならびに方程式、式、演算、および演算ロジックの処理からの中間結果または最終結果を含むことができるが、これらに限定されない。

いくつかの実施形態において、プロセッサ１０１０および／またはエンコーダ／デコーダモジュール１０３０の内部のメモリを使用して、命令を格納し、符号化または復号中に必要とされる処理のために、ワーキングメモリを提供する。しかしながら、他の実施形態において、処理デバイス（例えば、処理デバイスは、プロセッサ１０１０またはエンコーダ／デコーダモジュール１０３０のいずれかであり得る）の外部のメモリは、これらの機能のうちの１つ以上に使用される。外部メモリは、メモリ１０２０および／またはストレージデバイス１０４０であり得、例えば、ダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリであり得る。いくつかの実施形態において、テレビのオペレーティングシステムを記憶するのに外部不揮発性フラッシュメモリが使用される。少なくとも１つの実施形態において、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ＭＰＥＧ－２、ＨＥＶＣ、またはＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）など、ビデオコード化および復号動作に、ワーキングメモリとして使用される。

システム１０００の要素への入力は、ブロック１１３０に示されるような様々な入力デバイスを通して提供され得る。かかる入力デバイスは、これらに限定されないが、（ｉ）例えば、放送局によって無線を介して送信されたＲＦ信号を受信するＲＦ部、（ｉｉ）複合入力端子、（ｉｉｉ）ＵＳＢ入力端子、および／または（ｉｖ）ＨＤＭＩ入力端子を含む。

様々な実施形態において、ブロック１１３０の入力デバイスは、当技術分野で周知であるような関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択する（信号を選択する、またはある周波数帯域に信号を帯域制限する、とも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）（例えば）ある特定の実施形態ではチャネルと称される場合がある信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限する、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調する、（ｖ）誤り訂正を実行する、および（ｖｉ）逆多重化して、所望のデータパケットストリームを選択する要素に関連付けられ得る。様々な実施形態のＲＦ部には、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサを実行する１つ以上の要素が含まれる。ＲＦ部には、例えば、受信された信号をより低い周波数に（例えば、中間周波数またはベースバンドに近い周波数）、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実行するチューナが含まれ得る。１つのセットトップボックスの実施形態において、ＲＦ部およびその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体経由で送信されたＲＦ信号を受信し、フィルタリングし、ダウンコンバートし、所望の周波数帯域に再びフィルタリングすることによって、周波数選択を実行する。様々な実施形態では、上記（および他の）要素の順序が並べ替えられ、これらの要素のうちのいくつかが取り除かれ、かつ／または同様もしくは異なる機能を実行する他の要素が加えられる。要素を加えることには、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ－デジタル変換器を挿入することが含まれ得る。様々な実施形態において、ＲＦ部には、アンテナが含まれる。

また、ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続を介して他の電子デバイスにシステム１０００を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リード・ソロモン誤り訂正が、例えば、別個の入力処理ＩＣ内またはプロセッサ１０１０内で実装され得ることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の態様が、別個のインターフェースＩＣ内またはプロセッサ１０１０内で実装され得る。例えば、出力デバイス上での表示のために、データストリームを処理するように、メモリおよびストレージ要素と組み合わされて動作するプロセッサ１０１０、およびエンコーダ／デコーダ１０３０を含む、様々な処理要素に、復調され、誤り訂正され、かつ逆多重化されたストリームが提供される。

システム１０００の様々な要素は、一体型ハウジング内に提供され得、一体型ハウジング内では、様々な要素は、相互接続されて、好適な接続配置１１４０、例えば、Ｉ２Ｃバス、配線、およびプリント回路基板を含む、当技術分野で周知であるような内部バスを使用して、それらの間でデータを送信することができる。

システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０には、通信チャネル１０６０経由でデータを送受信するように構成されたトランシーバが含まれ得るが、これに限定されない。通信インターフェース１０５０には、モデムまたはネットワークカードが含まれ得るが、これらに限定されるわけではなく、通信チャネル１０６０は、例えば、有線および／または無線媒体内に実装され得る。

様々な実施形態において、データは、ＩＥＥＥ８０２．１１などのＷｉ－Ｆｉネットワークを使用して、システム１０００にストリーミングされる。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合された通信チャネル１０６０および通信インターフェース１０５０を介して受信される。これらの実施形態の通信チャネル１０６０は、通常、アクセスポイントまたはルータに接続され、アクセスポイントまたはルータは、アプリケーションをストリーミングすることおよび他のオーバー・ザ・トップ通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供する。他の実施形態は、入力ブロック１１３０のＨＤＭＩ接続経由でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム１０００に提供する。さらに他の実施形態は、入力ブロック１１３０のＲＦ接続を使用して、ストリーミングされたデータをシステム１０００に提供する。

システム１０００は、ディスプレイ１１００、スピーカ１１１０、および他の周辺デバイス１１２０を含む、様々な出力デバイスに出力信号を提供することができる。他の周辺デバイス１１２０には、様々な実施形態の実施例において、スタンドアローンＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、およびシステム１０００の出力に基づき、機能を提供する他のデバイスのうちの１つ以上が含まれる。様々な実施形態において、システム１０００と、ディスプレイ１１００、スピーカ１１１０、または他の周辺デバイス１１２０との間で、ＡＶリンク、ＣＥＣ、またはユーザの介入の有無に関わらず、デバイス・ツー・デバイス制御を可能にする他の通信プロトコルなどの信号伝達を使用して、制御信号が伝送される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、および１０９０を通して専用接続を介してシステム１０００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１０５０を介して、通信チャネル１０６０を使用してシステム１０００に接続され得る。ディスプレイ１１００およびスピーカ１１１０は、電子デバイス、例えば、テレビ内のシステム１０００の他の構成要素と共に、単一ユニット内に統合され得る。様々な実施形態において、ディスプレイインターフェース１０７０には、ディスプレイドライバ、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップが含まれる。

代替的に、ディスプレイ１１００およびスピーカ１１１０は、例えば、入力１１３０のＲＦ部が別個のセットトップボックスの一部である場合、他の構成要素のうちの１つ以上とは別個であってもよい。ディスプレイ１１００およびスピーカ１１１０が外部構成要素である様々な実施形態において、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力部を含む専用出力接続を介して出力信号が提供され得る。

実施形態は、プロセッサ１０１０によってもしくはハードウェアによって実装されるコンピュータソフトウェアによって、またはハードウェアとソフトウェアとの組み合わせによって、実行されてもよい。非限定的な例として、実施形態は、１つ以上の集積回路によって実装され得る。メモリ１０２０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取り外し可能なメモリなどの任意の適切なデータストレージ技術を使用して実装され得る。プロセッサ１０１０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含し得る。

様々な一般化され、ならびに特定化された実施形態もまた、本開示全体を通して支持され、企図される。本開示による実施形態の実施例は、以下を含むが、これらに限定されない。

概して、実施形態の少なくとも一実施例は、ピクチャ情報を符号化する方法であって、リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、インジケータに基づいてリファインメント関数を変更することと、デコーダ側動きベクトルリファインメントプロセスおよび変更されたリファインメント関数に基づいてピクチャ情報の少なくとも一部を符号化することとを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、ピクチャ情報を復号する方法であって、リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、インジケータに基づいてリファインメント関数を変更することと、デコーダ側動きベクトルリファインメントプロセスおよび変更されたリファインメント関数に基づいてピクチャ情報の少なくとも一部を復号することとを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、ピクチャ情報を符号化する装置であって、リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、インジケータに基づいてリファインメント関数を変更することと、デコーダ側動きベクトルリファインメントプロセスおよび変更されたリファインメント関数に基づいてピクチャ情報の少なくとも一部を符号化することと、を行うように構成された１つ以上のプロセッサを含む、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、ピクチャ情報を復号する装置であって、リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、インジケータに基づいてリファインメント関数を変更することと、デコーダ側動きベクトルリファインメントプロセスおよび変更されたリファインメント関数に基づいてピクチャ情報の少なくとも一部を符号化することと、を行うように構成された１つ以上のプロセッサを含む、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される方法であって、リファインメント関数を変更することが、デコーダ側動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更することを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される装置であって、リファインメント関数を変更するように構成された１つ以上のプロセッサが、デコーダ側動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更するように構成された１つ以上のプロセッサを含む、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される方法であって、コスト関数を変更することが、デコーダ側動きベクトルリファインメントプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用することを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される装置であって、コスト関数を変更するように構成された１つ以上のプロセッサが、デコーダ側動きベクトルリファインメントプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用するように構成された１つ以上のプロセッサを含む、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される方法であって、リファインメント関数がコスト関数を含み、リファインメント関数を変更することが、絶対差分和（ＳＡＤ）コスト関数および平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を含むグループからコスト関数を選択することを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される装置であって、リファインメント関数がコスト関数を含み、リファインメント関数を変更するように構成された１つ以上のプロセッサが、絶対差分和（ＳＡＤ）コスト関数および平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を含むグループからコスト関数を選択するように構成された１つ以上のプロセッサを含む、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書に記載の方法または装置であって、インジケータが、デコーダ側動きベクトルリファインメントプロセスのアクティブ化中に、局所照度補償（ＬＩＣ）プロセス、または重み付き予測プロセス（ＷＰ）、またはコード化ユニット（ＣＵ）レベル重み付き双予測（ＢＣＷ）プロセスのうちの少なくとも１つのアクティブ化を示す情報またはインデックスまたはフラグのうちの１つ以上を含む、方法または装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、ピクチャを符号化する方法であって、動きベクトルリファインメントプロセスおよび動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化および第２のプロセスに基づいて動きベクトルリファインメントプロセスを変更することと、変更された動きベクトルリファインメントプロセスおよび第２のプロセスに基づいてピクチャを符号化することとを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、ピクチャを復号する方法であって、動きベクトルリファインメントプロセスおよび動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化および第２のプロセスに基づいて動きベクトルリファインメントプロセスを変更することと、変更された動きベクトルリファインメントプロセスおよび第２のプロセスに基づいてピクチャを復号することとを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、１つ以上のプロセッサを含むピクチャを符号化する装置であって、１つ以上のプロセッサが、動きベクトルリファインメントプロセスおよび動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化および第２のプロセスに基づいて動きベクトルリファインメントプロセスを変更することと、変更された動きベクトルリファインメントプロセスおよび第２のプロセスに基づいてピクチャを符号化することと、を行うように構成されている、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、ピクチャを復号する装置であって、１つ以上のプロセッサを含み、その１つ以上のプロセッサが、動きベクトルリファインメントプロセスおよび動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化および第２のプロセスに基づいて動きベクトルリファインメントプロセスを変更することと、変更された動きベクトルリファインメントプロセスおよび第２のプロセスに基づいてピクチャを復号することと、を行うように構成されている、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される動きベクトルリファインメントプロセスを含む方法または装置であって、動きベクトルリファインメントプロセスが、復号側の動きベクトルリファインメントプロセス（ＤＭＶＲ）を含む、方法または装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される第２のプロセスを含む方法または装置であって、第２のプロセスが、局所照度補償（ＬＩＣ）プロセス、または重み付き予測プロセス（ＷＰ）、またはコード化ユニット（ＣＵ）レベル重み付き双予測（ＢＣＷ）のうちの少なくとも１つを含む、方法または装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される動きベクトルリファインメントプロセスを変更することを含む方法であって、動きベクトルリファインメントプロセスを変更することが、動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更することを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される動きベクトルリファインメントプロセスを変更するように構成された１つ以上のプロセッサを含む装置であって、動きベクトルリファインメントプロセスを変更するように構成された１つ以上のプロセッサが、動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更するように構成された１つ以上のプロセッサを含む、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更することを含む方法であって、コスト関数を変更することが、動きベクトルリファインメントプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用することを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明される動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更するように構成された１つ以上のプロセッサを含む装置であって、コスト関数を変更するように構成された１つ以上のプロセッサが、動きベクトルリファインメントプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用することを含む、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、ピクチャを符号化する方法であって、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化およびＬＩＣプロセスに基づいてＤＭＶＲプロセスを変更することと、変更されたＤＭＶＲプロセスおよびＬＩＣプロセスに基づいてピクチャを符号化することと含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、ピクチャを復号する方法であって、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化およびＬＩＣプロセスに基づいてＤＭＶＲプロセスを変更することと、変更されたＤＭＶＲプロセスおよびＬＩＣプロセスに基づいてピクチャを復号することとを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、ピクチャを符号化する装置であって、１つ以上のプロセッサを含み、この１つ以上のプロセッサが、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化およびＬＩＣプロセスに基づいてＤＭＶＲプロセスを変更することと、変更されたＤＭＶＲプロセスおよびＬＩＣプロセスに基づいてピクチャを符号化することと、を行うように構成されている、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、ピクチャを復号する装置であって、１つ以上のプロセッサを含み、その１つ以上のプロセッサが、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、アクティブ化およびＬＩＣプロセスに基づいてＤＭＶＲプロセスを変更することと、変更されたＤＭＶＲプロセスとＬＩＣプロセスに基づいてピクチャを復号することと、を行うように構成されている、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明されるＤＭＶＲプロセスを変更することを含む方法であって、ＤＭＶＲプロセスを変更することが、ＤＭＶＲプロセスに関連付けられたコスト関数を変更することを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明されるＤＭＶＲプロセスを変更するように構成された１つ以上のプロセッサを含む装置であって、ＤＭＶＲプロセスを変更するように構成された１つ以上のプロセッサが、動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更するように構成された１つ以上のプロセッサを含む、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明されるＤＭＶＲプロセスに関連付けられたコスト関数を変更することを含む方法であって、コスト関数を変更することが、ＤＭＶＲ中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用することを含む、方法を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書で説明されるＤＭＶＲプロセスに関連付けられたコスト関数を変更するように構成された１つ以上のプロセッサを含む装置であって、ＤＭＶＲプロセスに関連付けられたコスト関数を変更するように構成された１つ以上のプロセッサが、ＤＭＶＲプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用するように構成された１つ以上のプロセッサを含む、装置を伴うことができる。

概して、実施形態の少なくとも一実施例は、命令を含むコンピュータプログラム製品であって、その命令が、コンピュータによって実行されると、コンピュータに、本明細書で説明される方法のいずれか１つ以上を実行させる、コンピュータプログラム製品を伴うことができる。

概して、実施形態の少なくとも一実施例は、実行可能プログラム命令を記憶する、非一時的なコンピュータ可読媒体を伴うことができ、命令は、命令を実行するコンピュータに本明細書に記載の方法のいずれか１つ以上を実行させるためのものである。

概して、実施形態の少なくとも一実施例は、本明細書に記載の方法のいずれか１つ以上に従って生成されたデータを含む信号を伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書に記載の方法のいずれか１つ以上に従って、構文要素および符号化された画像情報を含むようにフォーマットされた、ビットストリームを伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書に記載の装置の任意の実施形態による装置、および（ｉ）信号を受信するように構成されたアンテナであって、その信号が画像情報を表すデータを含む、アンテナと、（ｉｉ）受信信号を、画像情報を表すデータを含む周波数帯域に制限するように構成された帯域リミッタと、（ｉｉｉ）画像情報から画像を表示するように構成されたディスプレイとのうちの少なくとも１つを含む、デバイスを伴うことができる。

概して、実施形態の少なくとも一実施例は、本明細書に記載のデバイスであって、デバイスが、テレビ、テレビ信号受信機、セットトップボックス、ゲートウェイデバイス、モバイルデバイス、携帯電話、タブレット、またはその他の電子デバイスのうちの１つを含む、デバイスを伴うことができる。

この開示を通して、様々な実装形態が復号を伴う。本出願で使用される「復号」は、例えば、受信した符号化されたシーケンスに対して実行されるプロセスのすべてまたは一部を包含して、表示に適した最終出力を生成することができる。様々な実施形態では、そのようなプロセスは、デコーダによって通常実行されるプロセスのうちの１つ以上、例えば、エントロピー復号、逆量子化、逆変換、および差分復号を含む。様々な実施形態では、かかるプロセスはまた、または代替的に、本出願に記載の様々な実装形態のデコーダによって実行されるプロセス、例えば、タイル化された（パックされた）ピクチャからピクチャを抽出することと、使用するアップサンプルフィルタを決定することと、次いでピクチャをアップサンプリングすることと、ピクチャを意図した向きにフリップバックすることと、を含む。

さらなる例として、一実施形態では、「復号」は、エントロピー復号のみを指し、別の実施形態では、「復号」は、差分復号のみを指し、別の実施形態では、「復号」は、エントロピー復号および差分復号の組み合わせを指す。「復号プロセス」という語句が、具体的に動作のサブセットを指すことを意図しているか、または概してより広い復号プロセスを指すことを意図しているかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。

また、様々な実装形態が、符号化を伴う。「復号」に関する上記の考察と同様に、本出願で使用される「符号化」は、符号化されたビットストリームまたは信号を生成するために、例えば、入力ビデオシーケンスに対して実行されるプロセスのすべてまたは一部を包含することができる。様々な実施形態では、そのようなプロセスは、典型的には、エンコーダによって実行される１つ以上のプロセス、例えば、分割、差分符号化、変換、量子化、およびエントロピー符号化を含む。様々な実施形態では、このようなプロセスはまた、または代替的に、本出願に記載の様々な実装形態のエンコーダによって実行されるプロセスを含む。

さらなる例として、一実施形態では、「符号化」は、エントロピー符号化のみを指し、別の実施形態では、「符号化」は、差分符号化のみを指し、別の実施形態では、「符号化」は、差分符号化およびエントロピー符号化の組み合わせを指す。「符号化プロセス」という語句が、具体的に動作のサブセットを指すことを意図しているか、または概してより広い符号化プロセスを指すことを意図しているかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。

本明細書で使用される構文要素は、記述的な用語であることに留意されたい。したがって、それらは、他の構文要素名の使用を排除するものではない。

図がフロー図として提示されている場合、それは、対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されている場合、それは、対応する方法／プロセスのフロー図も提供することを理解されたい。

様々な実施形態は、レート歪み最適化について言及する。特に、符号化プロセスの間、多くの場合に計算の複雑さの制約を考えて、レートと歪みとの間のバランスまたはトレードオフが、通常、考慮される。レート歪みの最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するように定式化される。レート歪みの最適化問題を解決するには、様々なアプローチがある。例えば、アプローチは、コード化および復号後の再構築された信号のコード化コストおよび関連する歪みを完全に評価することを含み、すべての考慮されるモードまたはコード化パラメータ値を含むすべての符号化オプションの広範なテストに基づき得る。符号化の複雑さを軽減するために、より高速なアプローチを使用して、特に、再構築された信号ではなく、予測または予測残差信号に基づいて近似歪みを計算することもできる。可能な符号化オプションの一部にのみ近似歪みを使用し、他の符号化オプションに完全な歪みを使用するなどによって、これら２つのアプローチを組み合わせて使用することもできる。他のアプローチでは、可能な符号化オプションのサブセットのみを評価する。より一般的には、多くのアプローチが、最適化を実行するための様々な技術のうちのいずれかを採用するが、最適化は、必ずしもコード化コストおよび関連する歪みの両方の完全な評価ではない。

本明細書で説明された実装形態および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号に実装され得る。単一の実装形態の文脈でのみ考察された（例えば、方法としてのみ考察された）としても、考察された特徴の実装形態はまた、他の形態（例えば、装置またはプログラム）で実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。それらの方法は、例えば、プロセッサ内に実装することができ、このプロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイス全般を指す。プロセッサは、通信デバイス、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタンス（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなども含む。

「１つの実施形態」もしくは「一実施形態」、または「１つの実装形態」もしくは「一実装形態」、ならびにそれらの他の変形への言及は、実施形態に関連して説明された特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本文献全体にわたって様々な箇所においてみられる、「１つの実施形態では」もしくは「一実施形態では」または「１つの実装形態では」もしくは「一実装形態では」という句、ならびに任意の他の変形の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。

さらに、本明細書は、情報の様々な部分を「取得すること」に言及する場合がある。情報を取得することは、例えば、情報の判断、情報の評価、情報の計算、情報の予測、またはメモリからの情報の検索のうちの１つ以上を含むことができる。

さらに、本文献は、情報の様々な部分に「アクセスすること」に言及する場合がある。情報のアクセスには、例えば、情報の受信、（例えば、メモリからの）情報の検索、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の判断、情報の予測、または情報の評価のうちの１つ以上が含まれ得る。

さらに、本文献は、情報の様々な部分を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることが意図されている。情報の受信には、例えば、情報へのアクセス、または（例えば、メモリからの）情報の検索のうちの１つ以上が含まれ得る。さらに、「受信する」ことは、典型的には、何らかの方法で、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の判断、情報の予測、または情報の評価などの動作中に含まれる。

例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、ならびに「ＡおよびＢのうちの少なくとも１つ」の場合、次の「／」、「および／または」、ならびに「のうちの少なくとも１つ」のいずれかの使用は、最初に挙げた選択肢（Ａ）のみの選択、または２番目に挙げた選択肢（Ｂ）のみの選択、または双方の選択肢（ＡおよびＢ）の選択を網羅することを意図していることが分かるはずである。さらなる例として、「Ａ、Ｂ、および／またはＣ」ならびに「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、そのような言い回しは、最初に挙げた選択肢（Ａ）のみの選択、または２番目に挙げた選択肢（Ｂ）のみの選択、または３番目に挙げた選択肢（Ｃ）のみの選択、または最初および２番目に挙げた選択肢（ＡおよびＢ）のみの選択、または最初および３番目に挙げた選択肢（ＡおよびＣ）のみの選択、または２番目および３番目に挙げた選択肢（ＢおよびＣ）のみの選択、または３つすべての選択肢（ＡおよびＢおよびＣ）の選択、を網羅することを意図している。これは、当業者にとって明らかなように、挙げられる項目の数だけ拡張され得る。

また、本明細書で使用される場合、「信号伝達する」という単語は、とりわけ、対応するデコーダに何かを指示することを指す。例えば、特定の実施形態では、エンコーダは、リファインメントのための複数のパラメータのうちの特定の１つを信号伝達する。このようにして、実施形態では、同じパラメータが、エンコーダ側およびデコーダ側の両方で使用される。したがって、例えば、エンコーダは、特定のパラメータをデコーダに送信することができ（明示的な信号伝達）、その結果、デコーダは、同じ特定のパラメータを使用することができる。逆に、デコーダが既に特定のパラメータならびに他のパラメータを有する場合、信号伝達は、送信（暗黙的な信号伝達）を行わずに使用されて、デコーダが簡単に特定のパラメータを認識して選択するのを可能にすることができる。任意の実際の機能の送信を回避することによって、ビットの節約が、様々な実施形態で実現される。信号伝達は、様々な方法で達成できることが分かるはずである。例えば、１つ以上の構文要素、フラグなどが、様々な実施形態で、対応するデコーダに情報を信号伝達するために使用される。上記は、「信号伝達する」という単語の動詞形に関するものであるが、「信号伝達」という単語はまた、本明細書では、名詞として使用することもできる。

当業者には明らかであるように、実装形態は、例えば、記憶または送信され得る情報を搬送するようにフォーマットされる様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明される実装形態のうちの１つにより生成されたデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームまたは信号を搬送するようにフォーマットされ得る。このような信号は、例えば、（例えば、スペクトルの無線周波数部分を使用する）、電磁波として、またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログまたはデジタル情報とすることができる。信号は、周知のように、様々な異なる有線または無線リンクを介して送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。

様々な実施形態を説明してきた。実施形態は、様々な異なる請求項のカテゴリおよびタイプにわたって、以下の特徴またはエンティティのいずれかを、単独で、または任意の組み合わせで含むことができる。
・エンコーダおよび／またはデコーダにおいて、リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することに基づいて、符号化／復号するピクチャ情報を提供することであって、リファインメント関数がインジケータに基づいて変更される、提供すること。
・エンコーダおよび／またはデコーダにおいて、リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することに基づいて、符号化／復号するピクチャ情報を提供することであって、リファインメント関数がインジケータに基づいて変更され、
〇リファインメント関数が、コスト関数を含むか、または、
〇リファインメント関数を変更することが、デコーダ側動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更することを含むか、または、
〇コスト関数を変更することが、デコーダ側動きベクトルリファインメントプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用することを含むか、または、
〇リファインメント関数を変更することが、絶対差分和（ＳＡＤ）コスト関数および平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を含むグループからコスト関数を選択することを含むか、または、
〇インジケータが、デコーダ側動きベクトルリファインメントプロセスのアクティブ化中に、局所照度補償（ＬＩＣ）プロセス、または重み付き予測プロセス（ＷＰ）、またはコード化ユニット（ＣＵ）レベル重み付き双予測（ＢＣＷ）プロセスのうちの少なくとも１つのアクティブ化を示す情報またはインデックスまたはフラグのうちの１つ以上を含むか、のうちの１つ以上を含む、提供すること。
・エンコーダおよび／またはデコーダにおいて、照度補償がアクティブ化されたときに、動きベクトルリファインメントを適用することを提供すること。
・エンコーダおよび／またはデコーダにおいて、局所照度補償（ＬＩＣ）がアクティブ化されたときに、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）を適用することを提供すること。
・エンコーダおよび／またはデコーダにおいて、照度補償がアクティブ化されたときに、変更されたコスト関数に基づいて動きベクトルリファインメントを適用することを提供すること。
・エンコーダおよび／またはデコーダにおいて、重み付き予測（ＷＰ）がアクティブ化されたときに、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）を適用することを提供すること。
・エンコーダおよび／またはデコーダにおいて、ＷＰがアクティブ化されたときに、変更されたコスト関数に基づいて動きベクトルリファインメントを適用することを提供すること。
・エンコーダおよび／またはデコーダにおいて、ＣＵレベル重み付き双予測（ＢＣＷ）がアクティブ化されたときに、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）を適用することを提供すること。
・エンコーダおよび／またはデコーダにおいて、ＢＣＷがアクティブ化されたときに、変更されたコスト関数に基づいて動きベクトルリファインメントを適用することを提供すること。
・エンコーダおよび／またはデコーダにおいて、局所照度補償（ＬＩＣ）またはＷＰまたはＢＣＷがアクティブ化されたときに、変更されたコスト関数に基づいてデコーダ側動きベクトルリファインメント（ＤＭＶＲ）を適用することを提供すること。
・エンコーダおよび／またはデコーダにおいて、照度補償（例えば、ＬＩＣまたはＷＰまたはＢＣＷ）がアクティブ化されたときに、変更された絶対差分和（ＳＡＤ）コスト関数に基づいて動きベクトルリファインメントを適用することを提供すること。
・エンコーダおよび／またはデコーダにおいて、照度補償がアクティブ化されたときに、変更された絶対差分和（ＳＡＤ）コスト関数に基づいて動きベクトルリファインメントを適用することを提供することであって、動きベクトルリファインメントがデコーダ側動きベクトルリファインメント（ＤＭＶＲ）を含み、変更された絶対差分和コスト関数が平均除去ＳＡＤ（ＭＲＳＡＤ）を含み、照度補償が局所照度補償（ＬＩＣ）またはＷＰまたはＢＣＷを含む、提供すること。
・エンコーダおよび／またはデコーダにおいて、局所照度補償（ＬＩＣ）がアクティブ化されたときに、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）を適用することを提供することであって、ＤＭＶＲ予測が利用可能になるとＬＩＣプロセスが計算される、提供すること。
・エンコーダおよび／またはデコーダにおいて、局所照度補償（ＬＩＣ）またはＷＰまたはＢＣＷがアクティブ化されているかどうかに基づいて、デコーダ側動きベクトルリファインメント（ＤＭＶＲ）を適用することを提供することであって、ＬＩＣまたはＷＰまたはＢＣＷがアクティブ化されたときに、適用されるＤＭＶＲが変更されたコスト関数を適用することを含む、提供すること。
・エンコーダおよび／またはデコーダにおいて、局所照度補償（ＬＩＣ）またはＷＰまたはＢＣＷがアクティブ化されているかどうかに基づいてデコーダ側動きベクトルリファインメント（ＤＭＶＲ）を適用することを提供することであって、ＬＩＣまたはＷＰまたはＢＣＷがアクティブ化され、変更されたコスト関数が平均除去絶対差分和コスト関数を含むときに、適用されるＤＭＶＲが変更されたコスト関数を適用することを含む、提供すること。
・エンコーダおよび／またはデコーダにおいて、ＣＵ、スライス、ＳＰＳ、ＰＰＳレベルでビットストリーム内にコード化されたフラグ／インデックスの値に基づいてデコーダ側動きベクトルリファインメント（ＤＭＶＲ）を適用することを提供することであって、適用されるＤＭＶＲがコード化された情報の値に応じて変更されたコスト関数を適用することを含み、変更されたコスト関数が平均除去絶対差分和コスト関数を含む、提供すること。
・エンコーダおよび／またはデコーダにおいて、改善された圧縮効率を提供することに基づいて照度補償がアクティブ化されたときに、動きベクトルリファインメントを適用することを提供すること。
・本明細書に記載されるように、照度補償がアクティブ化されたときに、エンコーダおよび／またはデコーダが動きベクトルリファインメントを適用することを提供することを可能にする構文要素を信号伝達に挿入すること。
・これらの構文要素に基づいて、デコーダにおいて適用する動きベクトルリファインメントと照度補償との組み合わせを選択すること。
・記載された構文要素、またはその変形のうちの１つ以上を含むビットストリームまたは信号。
・デコーダが、動きベクトルリファインメントおよび照度補償を、エンコーダで使用される方法に対応する方法で提供することを可能にする構文要素を信号伝達に挿入すること。
・記載された構文要素、またはその変形のうちの１つ以上を含むビットストリームまたは信号を、作成および／または送信および／または受信および／または復号すること。
・説明される実施形態のいずれかに従って動きベクトルリファインメントおよび照度補償を適用することを提供する、テレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・説明される実施形態のいずれかに従って動きベクトルリファインメントおよび照度補償を実行し、結果として得られた画像を（例えば、モニタ、スクリーン、または他のタイプのディスプレイを使用して）表示する、テレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・符号化された画像を含む信号を受信するためにチャネルを（例えば、チューナを使用して）同調させ、説明される実施形態のいずれかに従って動きベクトルリファインメントおよび照度補償を実行する、テレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・符号化された画像を含む信号を無線で（例えば、アンテナを使用して）受信し、説明される実施形態のいずれかに従って動きベクトルリファインメントおよび照度補償を実行する、テレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・コンピュータによって実行されたときに、説明される実施形態のいずれかに従って動きベクトルリファインメントおよび照度補償を履行するプログラムコードを記憶する、コンピュータプログラム製品。
・命令を実行するコンピュータに、説明される実施形態のいずれかに従って動きベクトルリファインメントおよび照度補償を履行させる実行可能プログラム命令を含む、非一時的コンピュータ可読媒体。

様々な他の一般化、および特定化された実施形態もまた、本開示全体を通して支持され、企図される。

Claims (35)

1. ピクチャ情報を符号化する方法であって、
   リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、
   インジケータに基づいて前記リファインメント関数を変更することと、
   前記デコーダ側動きベクトルリファインメントプロセスおよび前記変更されたリファインメント関数に基づいて、前記ピクチャ情報の少なくとも一部を符号化することと、を含む方法。
2. ピクチャ情報を復号する方法であって、
   リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、
   インジケータに基づいて前記リファインメント関数を変更することと、
   前記デコーダ側動きベクトルリファインメントプロセスおよび前記変更されたリファインメント関数に基づいて、前記ピクチャ情報の少なくとも一部を復号することと、を含む方法。
3. ピクチャ情報を符号化する装置であって、
   １つ以上のプロセッサを含み、前記１つ以上のプロセッサは、
   リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、
   インジケータに基づいて前記リファインメント関数を変更することと、
   前記デコーダ側動きベクトルリファインメントプロセスおよび前記変更されたリファインメント関数に基づいて、前記ピクチャ情報の少なくとも一部を符号化することと、を行うように構成されている、装置。
4. ピクチャ情報を復号する装置であって、
   １つ以上のプロセッサを含み、前記１つ以上のプロセッサは、
   リファインメント関数を含むデコーダ側動きベクトルリファインメントプロセスのアクティブ化を決定することと、
   インジケータに基づいて前記リファインメント関数を変更することと、
   前記デコーダ側動きベクトルリファインメントプロセスおよび前記変更されたリファインメント関数に基づいて、前記ピクチャ情報の少なくとも一部を符号化することと、を行うように構成されている、装置。
5. 前記リファインメント関数を変更することが、前記デコーダ側動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更することを含む、請求項１または２に記載の方法。
6. 前記リファインメント関数を変更するように構成された前記１つ以上のプロセッサが、前記デコーダ側動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更するように構成された前記１つ以上のプロセッサを含む、請求項３または４に記載の装置。
7. 前記コスト関数を変更することが、前記デコーダ側動きベクトルリファインメントプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用することを含む、請求項５に記載の方法。
8. 前記コスト関数を変更するように構成された前記１つ以上のプロセッサが、前記デコーダ側動きベクトルリファインメントプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用するように構成された前記１つ以上のプロセッサを含む、請求項６に記載の装置。
9. 前記リファインメント関数がコスト関数を含み、
   前記リファインメント関数を変更することが、絶対差分和（ＳＡＤ）コスト関数および平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を含むグループから前記コスト関数を選択することを含む、請求項１、２、または５のいずれか一項に記載の方法。
10. 前記リファインメント関数がコスト関数を含み、
    前記リファインメント関数を変更するように構成された前記１つ以上のプロセッサが、絶対差分和（ＳＡＤ）コスト関数および平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を含むグループから前記コスト関数を選択するように構成された前記１つ以上のプロセッサを含む、請求項３、４、または６のいずれか一項に記載の装置。
11. 前記インジケータが、前記デコーダ側動きベクトルリファインメントプロセスのアクティブ化中の、局所照度補償（ＬＩＣ）プロセス、または重み付き予測プロセス（ＷＰ）、またはコード化ユニット（ＣＵ）レベル重み付き双予測（ＢＣＷ）プロセスのうちの少なくとも１つのアクティブ化を示す、情報、またはインデックス、またはフラグのうちの１つ以上を含む、請求項１～１０のいずれか一項に記載の方法または装置。
12. ピクチャを符号化する方法であって、
    動きベクトルリファインメントプロセスおよび前記動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、
    前記アクティブ化に基づいて前記動きベクトルリファインメントプロセスを変更することと、
    前記変更された動きベクトルリファインメントプロセスに基づいて前記ピクチャを符号化することと、を含む方法。
13. ピクチャを復号する方法であって、
    動きベクトルリファインメントプロセスおよび前記動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、
    前記アクティブ化に基づいて前記動きベクトルリファインメントプロセスを変更することと、
    前記変更された動きベクトルリファインメントプロセスに基づいて前記ピクチャを復号することと、を含む方法。
14. ピクチャを符号化する装置であって、１つ以上のプロセッサを備え、前記１つ以上のプロセッサが、
    動きベクトルリファインメントプロセスおよび前記動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、
    前記アクティブ化に基づいて前記動きベクトルリファインメントプロセスを変更することと、
    前記変更された動きベクトルリファインメントプロセスに基づいて前記ピクチャを符号化することと、を行うように構成されている、装置。
15. ピクチャを復号する装置であって、１つ以上のプロセッサを備え、前記１つ以上のプロセッサが、
    動きベクトルリファインメントプロセスおよび前記動きベクトルリファインメントプロセス以外の第２のプロセスを伴う処理モードのアクティブ化を決定することと、
    前記アクティブ化に基づいて前記動きベクトルリファインメントプロセスを変更することと、
    前記変更された動きベクトルリファインメントプロセスに基づいて前記ピクチャを復号することと、を行うように構成されている、装置。
16. 前記動きベクトルリファインメントプロセスが、復号側動きベクトルリファインメントプロセス（ＤＭＶＲ）を含む、請求項１２もしくは３に記載の方法または請求項１４もしくは１５に記載の装置。
17. 前記第２のプロセスが、局所照度補償（ＬＩＣ）プロセス、または重み付き予測プロセス（ＷＰ）、またはコード化ユニット（ＣＵ）レベル重み付き双予測（ＢＣＷ）プロセスのうちの少なくとも１つを含む、請求項１２～１６のいずれか一項に記載の方法または装置。
18. 前記動きベクトルリファインメントプロセスを変更することが、前記動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更することを含む、請求項１２、１３、１６または１７のいずれか一項に記載の方法。
19. 前記動きベクトルリファインメントプロセスを変更するように構成された前記１つ以上のプロセッサが、前記動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更するように構成された前記１つ以上のプロセッサを含む、請求項１４～１７のいずれか一項に記載の装置。
20. 前記コスト関数を変更することが、前記動きベクトルリファインメントプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用することを含む、請求項１８に記載の方法。
21. 前記動きベクトルリファインメントプロセスに関連付けられた前記コスト関数を変更するように構成された前記１つ以上のプロセッサが、前記動きベクトルリファインメントプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用するように構成された前記１つ以上のプロセッサを含む、請求項１９に記載の装置。
22. ピクチャを符号化する方法であって、
    デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、
    前記アクティブ化に基づいて前記ＤＭＶＲプロセスを変更することと、
    前記変更されたＤＭＶＲプロセスに基づいて前記ピクチャを符号化することと、を含む方法。
23. ピクチャを復号する方法であって、
    デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、
    前記アクティブ化に基づいて前記ＤＭＶＲプロセスを変更することと、
    前記変更されたＤＭＶＲプロセスに基づいて前記ピクチャを復号することと、を含む方法。
24. ピクチャを符号化する装置であって、１つ以上のプロセッサを備え、前記１つ以上のプロセッサが、
    デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、
    前記アクティブ化および前記ＬＩＣプロセスに基づいて前記ＤＭＶＲプロセスを変更することと、
    前記変更されたＤＭＶＲプロセスおよび前記ＬＩＣプロセスに基づいて前記ピクチャを符号化することと、を行うように構成されている、装置。
25. ピクチャを復号する装置であって、１つ以上のプロセッサを備え、前記１つ以上のプロセッサが、
    デコーダ側動きベクトルリファインメント（ＤＭＶＲ）プロセスおよび局所照度補償（ＬＩＣ）プロセスを伴う処理モードのアクティブ化を決定することと、
    前記アクティブ化および前記ＬＩＣプロセスに基づいて前記ＤＭＶＲプロセスを変更することと、
    前記変更されたＤＭＶＲプロセスおよび前記ＬＩＣプロセスに基づいて前記ピクチャを復号することと、を行うように構成されている、装置。
26. 前記ＤＭＶＲプロセスを変更することが、前記ＤＭＶＲプロセスに関連付けられたコスト関数を変更することを含む、請求項２２または２３に記載の方法。
27. 前記ＤＭＶＲプロセスを変更するように構成された前記１つ以上のプロセッサが、前記動きベクトルリファインメントプロセスに関連付けられたコスト関数を変更するように構成された前記１つ以上のプロセッサを含む、請求項２４または２５に記載の装置。
28. 前記コスト関数を変更することが、前記ＤＭＶＲプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用することを含む、請求項２６に記載の方法。
29. 前記ＤＭＶＲプロセスに関連付けられた前記コスト関数を変更するように構成された前記１つ以上のプロセッサが、前記ＤＭＶＲプロセス中に平均除去絶対差分和（ＭＲＳＡＤ）コスト関数を使用するように構成された前記１つ以上のプロセッサを含む、請求項２７に記載の装置。
30. コンピュータによって実行されると、前記コンピュータに請求項１、２、５～７、９、１１、１２、１５または１７のいずれか一項に記載の方法を実行させる命令を含むコンピュータプログラム製品。
31. 実行可能プログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、前記命令を実行するコンピュータに、請求項１、２、５～７、９、１１、１２、１５または１７のいずれか一項に記載の方法を実行させるためのものである、非一時的コンピュータ可読媒体。
32. 請求項１、５～７、９、１１、１５または１７のいずれか一項に記載の方法に従って生成されたデータを含む信号。
33. 請求項１、５～７、９、１１、１５または１７のいずれか一項に記載の方法に従って、構文要素および符号化された画像情報を含むようにフォーマットされたビットストリーム。
34. デバイスであって、
    請求項３～６、８、１０、１３、１４、１６、１８のいずれか一項に記載の装置と、
    （ｉ）信号を受信するように構成されたアンテナであって、前記信号が画像情報を表すデータを含む、アンテナ、（ｉｉ）前記受信した信号を、前記画像情報を表す前記データを含む周波数帯域に制限するように構成された帯域リミッタ、および（ｉｉｉ）前記画像情報からの画像を表示するように構成されたディスプレイのうちの少なくとも１つと、を含むデバイス。
35. 前記デバイスが、テレビ、テレビ信号受信機、セットトップボックス、ゲートウェイデバイス、モバイルデバイス、携帯電話、タブレット、または他の電子デバイスのうちの１つを含む、請求項２３に記載のデバイス。
    

Images