JP2021511698A - 隣接サンプルに応じた線形モデルに基づく映像符号化及び復号のための方法と装置 - Google Patents

Abstract

各種の実装例が記載され、特に、隣接サンプルに応じた線形モデルに基づく映像符号化及び復号の実装例が提示されている。したがって、あるピクチャの中の符号化又は復号対象のブロックについて、少なくとも１つの空間的隣接テンプレートが特定され、その少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて少なくとも１つの線形モデルパラメータが特定される。第一の実施形態において、再構成サンプルの数ＮはＮ＝２ｋに対応し、ｋはｎがブロック幅とブロック高さの合計より小さい最大整数となるように選択される。第二の実施形態において、テンプレート内の第一のサンプルの、そのブロックの左、又は上隣接ラインのサンプル間での相対位置に関するオフセットが特定される。第三の実施形態において、再構成サンプルの数は、ブロックのより大きい寸法においてより大きい数に設定される。

Description

技術分野
本願の実施形態の少なくとも１つは一般に、例えば映像符号化又は復号のための方法又は装置に関し、より詳しくは、符号化又は復号対象のブロックについて、少なくとも１つの線形モデルパラメータを少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて特定するための方法又は装置に関する。

背景
１つ又は複数の実装例のドメイン技術分野は、一般に、映像圧縮に関する。少なくとも幾つかの実施形態は、ＨＥＶＣ（ＨＥＶＣは、High Efficiency Video Codingのことであり、「ITU-T H.265 Telecommunication standardization sector of ITU (10/2014), Series H: Audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, Recommendation ITU-T H.265」に記載されている、通称Ｈ．２６５及びＭＰＥＧ−Ｈ Ｐａｒｔ ２）等の既存の映像圧縮システムと比較した、又はＶＶＣ（Versatile Video Coding、ＪＶＥＴ（Joint Video Experts Team）により開発されている新規格）等の現在開発中の映像圧縮システムと比較した、圧縮効率の向上に関する。

高い圧縮効率を実現するために、画像及び映像コード化方式は通常、動きベクトル予測等の予測を利用し、変換して、映像コンテンツ内の空間的及び時間的冗長性を活用する。一般に、イントラ又はインター予測が使用されてフレーム内又はフレーム間相関が利用され、後に、原画像と予測画像との、多くの場合に予測エラー又は予測残差と呼ばれる差分が変換され、量子化され、エントロピ符号化される。映像を再構成するために、圧縮データは、エントロピ符号化、量子化、変換、及び予測に対応する逆プロセスにより復号される。

高圧縮技術に最近加わったものには、処理対象のブロックの隣接領域に応じた線形モデリングに基づく予測モデルが含まれる。特に、幾つかの予測パラメータが復号プロセス中に処理対象のブロックの空間的隣接領域内にあるサンプルに基づいて計算される。このような空間的隣接領域はすでに再構成されたピクチャサンプルを含み、以下、これをテンプレートと呼ぶ。非限定的な例によれば、空間的隣接領域に基づいて特定された予測パラメータを有するこのような予測モデルには、Cross-component linear model（ＣＣＬＭ）、Local Illumination Compensation（ＬＩＣ）、又はBi-directional Optical flow（ＢＩＯ）が含まれる。復号プロセスでは、幾つかの予測パラメータが、処理対象のブロックの左及び／又は上に局在する幾つかの再構成されたピクチャサンプルに基づいて特定される。それゆえ、符号化又は復号対象のブロックについて、正確な線形モデルを提供するために少なくとも１つの線形モデルパラメータがそれについて特定される、少なくとも１つの空間的隣接テンプレートの特定を最適化することが望ましい。

概要
本発明の目的は、先行技術の欠点の少なくとも１つを克服することである。この目的のために、少なくとも１つの実施形態の一般的態様によれば、映像符号化方法が提供され、これには、あるピクチャの中の符号化対象のブロックについて、少なくとも１つの空間的隣接テンプレートを特定することと、符号化対象のブロックについて、少なくとも１つの線形モデルパラメータを少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて特定することと、特定された少なくとも１つの線形モデルパラメータに基づく線形モデルを使ってブロックを符号化することと、を含み、少なくとも１つの空間的隣接テンプレートを特定することは、少なくとも１つの空間的隣接テンプレート内の再構成サンプルの数ｎを特定することを含み、これはｎ＝２^ｋに対応し、ｋはｎがブロック幅とブロック高さの合計より小さい最大整数となるように選択される。

少なくとも１つの実施形態の他の一般的態様によれば、映像復号方法が提示され、これは、復号対象のブロックについて、少なくとも１つの空間的隣接テンプレートを特定することと、復号対象のブロックについて、少なくとも１つの線形モデルパラメータを少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて特定することと、特定された少なくとも１つの線形モデルパラメータに基づく線形モデルを使ってブロックを復号することと、を含み、少なくとも１つの空間的隣接テンプレートを特定することは、少なくとも１つの空間的隣接テンプレート内の再構成サンプルの数ｎを特定することを含み、これはｎ＝２^ｋに対応し、ｋはｎがブロック幅とブロック高さの合計より小さい最大整数となるように選択される。

少なくとも１つの実施形態の他の一般的態様によれば、映像符号化装置が提示され、これは符号化方法の実施形態の何れか１つを実施するための手段を含む。

少なくとも１つの実施形態の他の一般的態様によれば、映像復号装置が提示され、これは復号方法の実施形態の何れか１つを実施するための手段を含む。

少なくとも１つの実施形態の他の一般的態様によれば、映像符号化装置が提供され、これは１つ又は複数のプロセッサと、少なくとも１つのメモリを含む。１つ又は複数のプロセッサは、符号化方法の実施形態の何れか１つを実行するように構成される。

少なくとも１つの実施形態の他の一般的態様によれば、映像復号装置が提供され、これは１つ又は複数のプロセッサと、少なくとも１つのメモリを含む。１つ又は複数のプロセッサは、復号方法の実施形態の何れか１つを実行するように構成される。

少なくとも１つの実施形態の他の一般的態様によれば、オフセットは、符号化若しくは復号対象のブロックの左隣接ライン（列）のサンプル内の第一のサンプルの相対位置に関して特定されるか、又はオフセットは、符号化若しくは復号対象のブロックの上隣接ライン（行）のサンプルの中の第一のサンプルの相対位置について特定される。

左隣接列の場合、「第一のサンプルの相対位置」は、走査方向の選択に応じて、その列内の参照サンプル間で、その列内の上側／最上位置にあるサンプルに対応するか、又はその列内の参照サンプルの間で、その列内の下側／最下位置にあるサンプルに対応する。同様に、上隣接行の場合、「第一のサンプルの相対位置」は、走査方向の選択に応じて、その行内の参照サンプル間で、その行内の最も左の位置にあるサンプルに対応するか、又はその行内の参照サンプル間で、その行内の最も右の位置にあるサンプルに対応する。

少なくとも１つの実施形態の他の一般的態様によれば、少なくとも１つの空間的隣接テンプレートの再構成サンプルの数は、符号化又は復号対象のブロックの、より大きい寸法においてはより大きいサンプル数に設定される。

少なくとも１つの実施形態の他の一般的態様によれば、少なくとも１つの空間的隣接テンプレートは、符号化若しくは復号対象のブロックの上隣接ラインのサンプルの中の、又は符号化若しくは復号対象のブロックの左隣接ラインのサンプルの中のサンプルを含む。好ましくは、上隣接ラインのサンプル又は左隣接ラインのサンプルがサブサンプリングされる。変形型において、上隣接ラインのサンプル又は左隣接ラインのサンプルは、オフセットから始めてサブサンプリングされる。

変形型によれば、テンプレートのうち、１つの特定のコード化モード（例えば、イントラモード、イントラ／インター複合モード、イントラブロック複製モード、ＩＰＣＭ等）を使用するか、又は１つの特定のコード化パラメータ（例えば、動きベクトル値、フラッグ等）を使って再構成されたサンプルは考慮されず、及び／又はそのテンプレートから除外される。

少なくとも１つの実施形態の他の一般的態様によれば、左隣接ラインの再構成サンプルが利用できない場合、符号化又は復号において線形モデルは暗黙的に無効化され、上隣接ラインの再構成サンプルは利用できない。変形型において、ブロック幅及びブロック高さがある値より低い場合、符号化又は復号において線形モデルは暗黙的に無効化される。

変形型によれば、テンプレートのすべてのサンプルが１つの特定のコード化モードを使って、又は１つの特定のコード化パラメータを使って再構成された場合、線形モデルは暗黙的に無効化される。他の変形型において、テンプレートのサンプルの、１つの特定のコード化モードを使って、又は１つの特定のコード化パラメータを使って再構成された数が閾値を上回った場合、線形モデルは暗黙的に無効化される。

少なくとも１つの実施形態の他の一般的態様によれば、前記ブロック幅及びブロック高さの少なくとも一方は２の冪と等しくない。

少なくとも１つの実施形態の他の一般的態様によれば、前記ブロック幅及びブロック高さは等しくない。

少なくとも１つの実施形態の他の一般的態様によれば、線形モデルは、cross-component linear mode、block based illumination compensation linear model、及びbi-directional optical flowを含む群に属する。

少なくとも１つの実施形態の他の一般的態様によれば、少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づく少なくとも１つの線形モデルパラメータは、符号化又は復号対象のブロックの空間的隣接テンプレートのサンプルと符号化又は復号対象のブロックの参照ブロックの空間的隣接テンプレートのサンプルとの間の歪を最小化することによって得られる。

少なくとも１つの実施形態の他の一般的態様によれば、非一時的コンピュータ可読媒体が提示され、これは、上述の説明の何れかの方法又は装置により生成されるデータコンテンツを含む。

少なくとも１つの実施形態の他の一般的態様によれば、上述の説明の何れかの方法又は装置により生成される映像データを含む信号が提供される。

本願の実施形態の１つ又は複数はまた、上述の方法の何れかにより映像データを符号化又は復号する命令がその上に記憶されたコンピュータ可読記憶媒体を提供する。本願の実施形態はまた、上述の方法により生成されたビットストリームがその上に記憶されたコンピュータ可読記憶媒体を提供する。本願の実施形態はまた、上述の方法により生成されるビットストリームを送信するための方法及び装置を提供する。本願の実施形態はまた、上述の方法の何れかを実行するための命令を含むコンピュータプログラム製品を提供する。

図面の簡単な説明
少なくとも１つの実施形態の一般的態様による線形モデルパラメータ導出で使用される隣接テンプレートの特定を含む例示的な符号化又は復号方法を示す。 先行技術における正方形及び長方形のブロックに関する、隣接の再構成サンプルと動きベクトルで並進移動された対応する参照サンプルからのＬＩＣパラメータの導出を示す。 先行技術における長方形ＣＵに関する左側及び上側参照サンプルの位置の例を示す。 先行技術における長方形ＣＵに関する左側及び上側参照サンプルの位置の例を示す。 先行技術における非長方形の分割（上）及び関連するＯＢＭＣ対角重み付け（下）の例を示す。 先行技術における２つの三角形のＣＵ分割（左）及び関連する予測ユニットペア（右）の例を示す。 先行技術におけるインター及びイントラ予測モードの組合せの場合の多仮説予測の例を示す。 少なくとも１つの実施形態の一般的態様による線形モデルパラメータ導出において使用されるサンプルの最適化された選択を含む例示的な符号化又は復号方法を示す。 少なくとも１つの実施形態の一般的態様によるオフセットを有する長方形ＣＵのための左側及び上側参照サンプルの位置の例を示す。 少なくとも１つの実施形態の一般的態様による少なくとも１つの空間的隣接テンプレートの再構成サンプルの数を示す絵による例である。 少なくとも１つの実施形態の一般的態様による少なくとも１つの空間的隣接テンプレートの再構成サンプルの数を示す絵による例である。 少なくとも１つの実施形態の一般的態様による少なくとも１つの空間的隣接テンプレートの再構成サンプルの数を示す絵による例である。 少なくとも１つの実施形態の一般的態様による少なくとも１つの空間的隣接テンプレートの再構成サンプルの数を示す絵による例である。 少なくとも１つの実施形態の一般的態様による例示的符号化方法を示す。 少なくとも１つの実施形態の一般的態様による復号方法の例を示す。 少なくとも１つの実施形態の一般的態様による再構成サンプル方法の数の特定の例を示す。 少なくとも１つの実施形態の一般的態様による再構成サンプル方法の数の特定の例を示す。 少なくとも１つの実施形態の一般的態様による再構成サンプル方法の数の特定の例を示す。 少なくとも１つの実施形態の一般的態様による再構成サンプル方法の数の特定の例を示す。 実施形態の各種の態様が実装されてよい映像エンコーダのある実施形態のブロック図を示す。 実施形態の各種の態様が実装されてよい映像エンコーダのある実施形態のブロック図を示す。 実施形態の各種の態様が実装されてよい例示的な装置のブロック図を示す。

詳細な説明
図面と説明文は、本願の原理を明瞭に理解するために関係のある要素を示しながら、明瞭にするために典型的な符号化及び／又は復号装置に見られる他の多くの要素は排除されていると理解されたい。第一の、及び第二の、という用語は、本明細書において、各種の要素を説明するために使用され得るが、これらの要素はこれらの用語により限定されるべきではないと理解されたい。これらの用語は、１つの要素を他の要素から区別するためのみに使用されている。

各種の実施形態は、１つのピクチャの符号化／復号に関して説明されている。これらは、ピクチャの一部、例えばスライス若しくはタイル、又はピクチャシーケンス全体の符号化／復号にも応用されてよい。

各種の方法が上述され、方法の各々は記載された方法を実現するための１つ又は複数のステップ又は行為を含む。ステップ又は行為の具体的な順序がその方法の適正な動作に必要でないかぎり、特定のステップ及び／又は行為の順序及び／又は使用は変更又は組み合わせられてよい。

少なくとも幾つかの実施形態は、例えばLocal Illumination Compensationの中で使用される線形モデルを導出するための隣接テンプレートのサンプルの特定を新規なコード化（予測）モデルに適応させることに関する。本願の説明は主として線形モデルとしてＬＩＣに基づいているが、当業者であれば、本願の原理をＣＣＬＭ等のその他の線形モデルに容易に応用するであろう。さらに、本願の説明は平均二乗誤差の差（ＭＳＥ）に基づく歪を最小化する線形モデルに基づくが、本願の原理の少なくとも幾つかの実施形態は、予測サンプルと参照サンプルとの間の差分の集合の中の最小値及び／又は最大値に基づく歪又は予測サンプルと参照サンプルとの間の差分の中央値に基づく歪を最小化する線形モデルにも応用される。

新規のコード化（予測）モードにより、当業者は、予測サンプルが非正方形又は非長方形ブロック（例えば、三角形）の組合せ及び／又は空間的に可変的な重み付け（例えば、多仮説）を使って構築されるコード化モードを考慮する。それゆえ、ＬＩＣのための上側及び左側サンプルの選択をこのようなコード化モードに適応して、正確なＬＩＣモデルを提供することが望ましい。

第１項では、線形モデルパラメータを導出するために使用される参照サンプルの選択に関する幾つかの制限が開示される。

第２項では、ＬＩＣパラメータを導出するために使用される参照サンプルを特定するための改良された方法の幾つかの実施形態が開示される。これらは、ＣＣＬＭ及びＢＩＯの参照サンプルの特定にも応用できる。

第３項では、追加の情報及び包括的実施形態が開示される。

１． 線形モデルパラメータを導出するために使用される参照サンプルの選択に関する制限
１．１ ＬＩＣパラメータを導出するために使用される参照サンプルの選択に関する制限
第一の非限定的な例によれば、線形モデルに基づくLocal Illumination Compensation（ＬＩＣ）を使って、符号化対象のピクチャとその参照ピクチャとの間の輝度変化を、正規化係数ａ及びオフセットｂを用いて補償するために使用される。インターモードでコード化されるcoding unit（ＣＵ）の各々に適応させて有効化又は無効化される。ＬＩＣがあるＣＵに適用される場合、平均二乗誤差（ＭＳＥ）方式が利用されて、対象ＣＵの隣接サンプルとそれらに対応する参照サンプルを使ってパラメータａ及びｂを導出する。より具体的には、参照ピクチャの中のＣＵ（図２のｃｕｒｒｅｎｔ ｂｌｋ）の隣接サンプルと対応するサンプル（対象ＣＵ若しくはｓｕｂ−ＣＵ又は図２のｒｅｆ ｂｌｋの動き情報ＭＶにより特定される）が使用される。ＩＣパラメータは、各予測方向について別々に導出され、適用される。ＬＩＣパラメータは、対象ＣＵの上隣接及び左隣接再構成サンプルｒｅｃ＿ｃｕｒ（ｒ）（図２の右側の隣接再構成サンプルにアクセス）とインター予測により特定される、それらに対応する参照サンプルの上隣接及び左隣接再構成サンプルｒｅｃ＿ｒｅｆ（ｓ）（図２の左側の追加の参照サンプルにアクセス）との間の平均二乗誤差の差（ＭＳＥ）を最小化し、ｓ＝ｒ＋ＭＶであり、ＭＶはインター予測：
ｄｉｓｔ＝Σ_{ｒ∈Ｖｃｕｒ，ｓ∈Ｖｒｅｆ}（ｒｅｃ＿ｃｕｒ（ｒ）−ａ．ｒｅｃ＿ｒｅｆ（ｓ）−ｂ）^２ （式１）
からの動きベクトルである。

（ａ，ｂ）の値は、最小二乗最小化（式２）により得られる：

対象ＣＵについてＬＩＣパラメータがエンコーダ又はデコーダにより得られると、対象ＣＵの予測ｐｒｅｄ（ｃｕｒｒｅｎｔ＿ｂｌｏｃｋ）は以下にある（一方向予測の場合）：
ｐｒｅｄ（ｃｕｒｒｅｎｔ＿ｂｌｏｃｋ）＝ａ×ｒｅｆ＿ｂｌｏｃｋ＋ｂ（式３）
式中、ｃｕｒｒｅｎｔ＿ｂｌｏｃｋは予測される対象ブロック、ｐｒｅｄ（ｃｕｒｒｅｎｔ＿ｂｌｏｃｋ）は対象ブロックの予測であり、そしてｒｅｆ＿ｂｌｏｃｋは通常の動き補償（ＭＶ）プロセスにより構築されて、対象ブロックの一時的な予測に使用される参照ブロックである。

導出で使用される参照サンプルの数であるＮの値は、式２中の和項がとり得る最大整数記憶数(maximum integer storage number)未満のままである（例えば、Ｎ＜２^１６）ようにするか、又は長方形ブロックに対処するために調整される（漸進的に減少される）。したがって、最新技術によるアプローチでは、図３に示されるように、参照サンプルは（サブサンプリングのステップｓｔｅｐＨ又はｓｔｅｐＶで水平及び／又は垂直に）サブサンプリングされてから、ＬＩＣパラメータ（ａ，ｂ）の導出に使用される。

隣接再構成サンプルのセットと参照サンプルのセット（図３のグレーのサンプルを参照のこと）は同じ数と同じパターンを有する。以下において、「左側サンプル」とは対象ブロックの左側にある隣接再構成のセット（又は参照サンプルのセット）を指し、「上側サンプル」とは、対象ブロックの上側にある隣接再構成のセット（又は参照サンプルのセット）を指す。「サンプルセット」とは、「左側サンプル」及び「上側サンプル」セットの一方を指す。好ましくは、「サンプルセット」はブロックの左隣接又は上隣接ラインに属する。

ＬＩＣパラメータの導出に使用される左側及び上側サンプルの選択（図３のグレーのサンプルを参照のこと）において幾つかの制約が適用される。
Ｒ１）左側及び上側サンプル数の合計は２の冪として、右へのシフトを用いて分割が行われるようにすべきである。
Ｒ２）左側（Ｎ_Ｌ）及び上側（Ｎ_Ｔ）サンプルの数は同じであり、Ｎｓ（Ｎ＝２．Ｎｓ）と等しい：
ｎ＝ｍｉｎ（ｃｕＨｅｉｇｈｔ，ｃｕＷｉｄｔｈ）
ｘ＝ｌｏｇ２（ｎ）
Ｎｓ＝２^ｘ （式４）
Ｒ３）左側（ステップＶ）又は上側（ｓｔｅｐＨ）サンプル間のステップは以下と等しい：
ｓｔｅｐＶ＝ｃｕＨｅｉｇｈｔ＞＞ｌｏｇ２（Ｎｓ） （式５）
ｓｔｅｐＨ＝ｃｕＷｉｄｔｈ＞＞ｌｏｇ２（Ｎｓ）

したがって、発明者らは、ＬＩＣパラメータを導出するために使用される参照サンプルの選択に関して、上述の最新技術における幾つかの制限を認めた。これらの制限は以下のとおりである：

ａ）薄い長方形の場合、サンプルセットは最適下限である（Ｒ３）：
「左側サンプル」及び「上側サンプル」セットは、図３に示されるようなバランスのとれていない寸法の長方形のＣＵ（幅が高さよりはるかに大きいか、その逆）の場合、最適下限であってよい。これが最適下限であるのは、上側で使用される「上側サンプル」セットの数は「左側サンプル」セットと比較して非常にスパースであるが、「左側サンプル」は平均して「上側サンプル」よりも対象ＣＵのサンプルに対してより遠く(farer)、その結果、局所的輝度変化を推定するのに、演繹的に、より適さないからである。

ｂ）少なくとも１つのサンプルセットが利用できない長方形ＣＵの場合、サンプルセットは最適下限である：
制約Ｒ２は、１つ（又は２つ）の参照サンプル境界が利用できないケースを考慮しない。これは、図３の右下の例に示されているように、対象ＣＵ（図２−右側）又は参照ＣＵ（図２−左側）が上又は左側のピクチャ（又はスライス若しくはタイル）の境界上にある場合に当てはまり得る。この例では、Ｎｓの選択はｃｕＨｅｉｇｈｔ＝４から行われ、左側サンプルは利用できない。よりよい選択は、例えばＮｓ＝１６であろう。

左上の境界上にあるＣＵの場合、「左側サンプル」及び「上側サンプル」セットはどちらも利用できない。幾つかのコーデックにおいては、再構成サンプルは（１＜＜−ｂｉｔ−ｄｅｐｔｈ−１））と推測され、参照サンプルはパディングにより推測される。

ｃ）２の冪ではないＣＵサイズの場合、サンプル数は最適下限であり得る：
Ｒ１要件はＲ２を通じて得られるが、それによって不必要な制約が加わる。これはＮが、Ｎ＝２．Ｎｓ及びＮｓ＝ｅｘｐ（ｌｏｇ２（ｎ））＝２^Ｘであるため、４で割れるからである。

長方形の１２×４のＣＵの左側及び上側参照サンプルの位置の例を示す図４の例では、このルールによりＮｓ＝４及びＮ＝８となるが、参照サンプルのスパース性を回避するために、Ｎ＝１６のよりよい選択ができるはずである。

ｄ）左上及び右上サンプルの位置は最適下限である：
上方左(above-left)（ｘ＝０；ｙ＝−１）及び上側左(upper-left)（ｘ＝−１；ｙ＝０）のサンプルの位置は、サブサンプリング値（ｓｔｅｐＶ及びｓｔｅｐＨ）にかかわらず、近い。

最終上方右(last above-right)又は最終下側左(last bottom-left)のサンプルの位置は、対象ＣＵの終端右上方(vary last right above)サンプル（ｘ＝ｃｕＷｉｄｔｈ−１；ｙ＝−１）（又は対応する終端下側左(very last bottom-left)（ｘ＝−１；ｙ＝ｃｕＨｅｉｇｈｔ−１））サンプルの位置に対して比較的遠くてよいが。

ｅ）非長方形ＰＵの場合、サンプルセットは最適下限である：
非長方形予測の場合、ＣＵ予測は図５の例に示されているように、２つの非長方形予測（ＰＵ）で構成される。

三角形の分割に関して、図６に示されているように、対象ＣＵのサンプルセットのデフォルト位置は関連するＰＵに適していない場合があり、これはサンプルセットがＰＵサンプルに対して遠く、連続していないことがあるからである。

ｆ）ＭＨの場合、サンプルセットは最適下限である：
多仮説予測の場合、２つの正規予測が加重平均を通じて組み合わせられる。一方がイントラ予測モードで他方がインター予測モードの場合、イントラ予測モードは信号化される（古典的予測モードのサブセット（例えば、４）であり得る）。変形型において、対象ブロックは４つの等しい面積の領域に分割される。領域がイントラ参照サンプルから離れるにつれて重みは漸減する。各重みセットは、イントラ垂直方向予測に関する図７の例に示されているように、（ｗ０＝ｗ＿ｉｎｔｒａ_ｉ，ｗ１＝ｗ＿ｉｎｔｅｒ_ｉ，）で表され、ｉは１〜４であり、（ｗ＿ｉｎｔｒａ_１，ｗ＿ｉｎｔｅｒ_１）＝（６，２）、（ｗ＿ｉｎｔｒａ_２，ｗ＿ｉｎｔｅｒ_２）＝（５，３）、（ｗ＿ｉｎｔｒａ_３，ｗ＿ｉｎｔｅｒ_３）＝（３，５）、及び（ｗ＿ｉｎｔｒａ_４，ｗ＿ｉｎｔｅｒ_４）＝（２，６）であり、対応する領域に適用される。他の変形型では、重みはＣＵ全体にわたり均一であるが、イントラ及びインターについて異なり得る（ｗ＿ｉｎｔｒａ≠ｗ＿ｉｎｔｅｒ）。ＤＣ又はＰｌａｎａｒモードが選択されるか、ＣＵ幅又は高さが４より小さい場合、均一な重みが適用される。

これらの場合、重み（ｗ＿ｉｎｔｅｒ）が低い領域は、その他の領域と比較して、最終的な予測サンプル値にとっての重要性が低い。その結果、これらの第一の領域の隣接参照サンプルを使って、インター予測がより高い重みを有する他の領域について使用されることになるＬＩＣパラメータを導出するのは非効率的であるかもしれない。

均一な重みの場合、ｗ＿ｉｎｔｅｒが閾値を下回ると、ＬＩＣを無効化できる。

１．２ ＬＭパラメータの導出に使用される参照サンプルの選択に関する制限
第二の非限定的な例によれば、コンポーネント間冗長を低減させるために、cross-component linear model（ＣＣＬＭ）予測モードがＪＥＭで使用され、それについて、以下の線形モデルを使って同じＣＵの再構成された輝度サンプルに基づいて色差サンプルが予測される：
ｐｒｅｄ_ｃ（ｉ，ｊ）＝α・ｒｅｃ_Ｌ’（ｉ，ｊ）＋β （式６）
式中、ｐｒｅｄ_ｃ（ｉ，ｊ）はＣＵ内の予測色差サンプルを表し、ｒｅｃ_Ｌ（ｉ，ｊ）は同じＣＵの低解像度処理された再構成輝度サンプルを表す。パラメータα及びβは、対象ブロックの周囲の隣接する再構成輝度サンプルと色差サンプルとの間の回帰誤差（平均二乗誤差）を以下のように最小化することによって導出される：
Ｅｒｒｏｒ＝Σ_ｎ∈Ｎ（Ｃ（ｎ）−α．Ｌ（ｎ）−β）^２ （式７）
これは：

によって解決され、式中、Ｌ（ｎ）は低解像度処理された上隣接及び左隣接再構成輝度サンプルを表し、Ｃ（ｎ）は上隣接及び左隣接再構成色差サンプルを表し、Ｎの値は対象の色差コード化ブロックの幅と高さの最小値の２倍と等しい。正方形のコード化ブロックの場合、上記の２つの式は直接適用される。したがって、ＬＩＣについて説明した制限はＬＭにも当てはまる。

１．３ インター予測の精度向上のために使用される参照サンプルの選択に関する制限
ＪＥＭバージョンに記載されている隣接テンプレートに基づく線形モデルを用いたまた別の非限定的例は、Bi-directional Optical flow（ＢＩＯ）であり、これは双方向予測のためのブロックごとの動き補償の上に実行されるサンプルごとの動き予測精度向上を提供する。

したがって、少なくとも１つの実施形態は、線形モデル（ＬＩＣ、ＬＭ、ＢＩＯ）パラメータの導出に使用される参照サンプルのよりよい選択（数、サブサンプリングステップ、位置）を通じて線形モデルプロセスを改善する。これは、次項で詳細に述べるように、対象ＣＵの形状、コード化モード、及びサイズに応じてこれらのサンプルの選択を行うことによって実現される。

２．ＬＩＣパラメータを導出するために使用される参照サンプルを特定する方法の少なくとも１つの実施形態
第１項に記載の制限に対処するために、少なくとも１つの実施形態の一般的態様は、線形モデルを導出するために使用される空間的隣接部の再構成サンプルの中の改良されたテンプレートを特定することによって、線形モデルの精度を改善することを目指す。当業者であれば、符号化又は復号対象のブロックには、（例えば、画像の第一のブロックについて）利用可能なテンプレートがゼロすなわち無しであるか、１つの利用可能なテンプレート（左又は上画像隣接）、又は再構成画素の２つの利用可能な隣接テンプレート（上及び左側テンプレート）があることがわかるであろう。空間的隣接テンプレートは、処理対象のブロックの上隣接サンプルのラインの中のサンプル又は、処理対象のブロックの左隣接サンプルのラインの中のサンプルを含む。第一の実施形態において、少なくとも１つの空間的隣接テンプレート（すなわち、左側テンプレートと上側テンプレートの両方が利用可能であれば、それらの両方のうち）の再構成サンプルの総数Ｎは、Ｎ＝２^ｋに対応し、ｋは、Ｎがブロック幅及びブロック高さの合計より小さい最大整数であるように選択される。第二の実施形態において、テンプレートのうち、処理対象ブロックの左（又は上）隣接ラインのサンプルの中の第一のサンプルの相対位置に関するオフセットが特定される。第三の実施形態において、少なくとも１つの空間隣接テンプレートの再構成サンプルの数は、処理対象のブロックの大きい方の寸法において、より多いサンプル数に設定される。

これら３つの実施形態と他の幾つかの実施形態は、ＬＩＣパラメータの非限定的例について２．１〜２．７項で説明され、実施形態は各種の実施形態の何れかの組合せによって一体に配置されてよい。特に、上及び左隣接サンプルの重みに関する、又はサンプルオフセットに関する実施形態は、最大、（例えば、ＣＣＬＭの実施形態又はＬＩＣの他の最新技術の代替的実施形態等のように）最小、又は中央値を最小化することに基づいて、線形モデルに十分に適応される。それゆえ、隣接部重み付けに関する実施形態は、テンプレート内のサンプル数に関する実施形態がなくても実装できる。そのほかに、オフセットに関する実施形態は、テンプレート内のサンプル数に関する実施形態がなくても実装できる。

図１は、少なくとも１つの実施形態の一般的態様による線形モデルパラメータ導出において使用される隣接テンプレートを特定することを含む例示的な符号化又は復号方法を示す。

符号化又は復号方法３０１は、少なくとも１つの線形モデルパラメータを、符号化又は復号対象のブロックの少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて特定する。この線形モデルはその後、符号化又は復号方法で使用される。このような線形モデルパラメータは、例えば式３又は６で定義されるモデルのアフィン変換係数を含む。それゆえ、線形モデルは、cross-component linear model、block-based illumination compensation linear model、bi-directional optical flowを含む集合に属する。

まず、ステップ３０２で、方法は、あるピクチャの中の処理対象のブロックについて、後述の実施形態の何れかによる少なくとも１つの空間的隣接テンプレートを特定する。

ステップ３０３で、方法は、処理対象のブロックについて、少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて少なくとも１つの線形モデルパラメータを特定する。少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づく線形モデルパラメータは、ブロックの空間的隣接テンプレートのサンプルと、例えば式１又は７において定義されるブロックに関する参照ブロックの空間的隣接テンプレートのサンプルとの間の歪を最小化することによって得られる。歪は、ＭＳＥ又は他の何れかの方法により推測される。

最後に、ステップ３０４で、方法は、例えばＣＣＬＭ又はＬＩＣに関して開示され、特定されたテンプレートに応答する、特定された少なくとも１つの線形モデルパラメータに基づく線形モデルを適用してブロックを符号化／復号する。

図８は、特定の実施形態による線形モデルパラメータの導出で使用されるサンプルの最適化された選択を含む他の例示的な符号化又は復号方法を示す。

ステップ３０２で、方法は、あるピクチャの中の符号化又は復号対象のブロックについて、少なくとも１つの空間的隣接テンプレートを特定する。図８の実施形態は、上述の各種の実施形態を含む。テンプレートを特定するためのサブステップ３００〜３７０の実施形態の何れも任意選択によるものであり、方法３０１から単独で除外することも、又は何れの順番で処理することもできる。次の可変数が定義される：ｃｕＨｅｉｇｈｔは処理対象のブロックの高さを表し、ｃｕＷｉｄｔｈは処理対象のブロックの幅を表し、テンプレート内のサンプル総数ＮはＮ＝２^ｋ＝Ｎ_Ｌ＋Ｎ_Ｔであり、式中、Ｎ_ＬとＮ_Ｔはそれぞれ左及び上側テンプレート内のサンプル数を表し、ＯｆｆＸ及びＯｆｆＹはそれぞれ上及び左隣接内の上及び左側テンプレート内の第一のサンプルの相対的オフセットを表し、サブサンプリングステップｓｔｅｐＶ、ｓｔｅｐＨは「左側サンプル」セット及び「上側サンプル」セット内の最後のサンプルについて定義される。

サブステップ３００において、左側サンプルの利用可能性が２．４項で説明するようにテストされる。左側サンプルが利用できない場合、ｃｕＨｅｉｇｈｔの値はゼロと等しく、すなわちｃｕＨｅｉｇｈｔ＝０に設定される。すると、次のサブステップで、Ｎの値は２^ｋと等しく設定され、ｋ＝ｃｅｉｌ（ｌｏｇ２（ｃｕＷｉｄｔｈ））、そしてＮ_Ｔ＝Ｎ、Ｎ_Ｌ＝０である。サブステップ３１０で、上側サンプルの利用可能性は、２．４項で説明するようにテストされる。上側サンプルが利用できない場合、ｃｕＷｉｄｔｈの値はゼロと等しく、すなわちｃｕＷｉｄｔｈ＝０に設定される。すると、次のサブステップで、Ｎの値は２^ｋと等しく設定され、ｋ＝ｃｅｉｌ（ｌｏｇ２（ｃｕＨｅｉｇｈｔ））、そしてＮ_Ｔ＝０、Ｎ_Ｌ＝Ｎである。サブステップ３２０では、上側及び左側サンプルの何れの利用可能性も、２．５項で説明するようにテストされない。上及び左側サンプルの両方が利用可能とはかぎらない（又は隣接部において十分なサンプルが利用できない）場合、３９５で、線形モデルを使用する予測を有効化又は無効化する線形モデルフラッグが暗黙的に導出され、これはそのブロックについてはｆａｌｓｅに設定され、そのブロックについて方法は終了する。少なくとも１つのテンプレートが利用可能である場合、サブステップ３３０、３４０、３５０で、それらのテンプレート内のサンプル数Ｎは、２．１項に詳細に記したように特定される。したがって、サブステップ３３０において、値ｋはｋ＝ｃｅｉｌ（ｌｏｇ２（ｃｕＷｉｄｔｈ＋ｃｕＨｅｉｇｈｔ））として特定され、ｃｅｉｌは天井関数であり、ｃｅｉｌｉｎｇ（ｘ）はｘ以上の最小整数を返す。サブステップ３４０で、サブサンプリング値「ｓｕｂ」（同じ方向への２つのサンプル間の距離）は１と等しい。ステップ３５０で、Ｎの値は２^ｋと等しく設定される。すると、サブステップ３６０で、隣接サンプルの中の第一のサンプルに関するオフセット（高さＯｆｆＹ及び／又は幅ＯｆｆＸ）が、２．２項において詳細に記されている変形型の何れかにより特定される。サブステップ３７０で、左側及び上側テンプレート内のサンプル数を表すＮ_Ｌ、Ｎ_Ｔは、２．３項において説明されているように、より大きい寸法においてより多くのサンプルが選択されるように調整される（及びサブサンプリングステップｓｕｂ）。それゆえ、この実施形態によれば、改良されたテンプレートがステップ３０２内の線形モデル導出のために特定される。

ステップ３０３で、方法は、符号化又は復号対象のブロックに関して、少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて少なくとも１つの線形モデルパラメータを特定する。最後に、ステップ３０４で、方法は、特定されたテンプレートに応答して特定された少なくとも１つの線形モデルパラメータに基づいて線形モデルを適用してブロックを符号化／復号する。

２．１ 第一の実施形態：サンプル総数Ｎは２の冪であるが、Ｎ_Ｌ又はＮ_Ｔは必ずしも２の冪ではない
第一の実施形態は、ＬＩＣで使用されるサンプル数ＮをＮ＝２^ｋとなるように調整することを含み、ここでｋは、ブロック幅とブロック高さの合計より小さい最大整数となるように選択される。

有利な点として、この実施形態では、薄い長方形（ケースａ）の場合又はサンプルサイズ又はＣＵサイズが２の冪でない場合（ケースｃ）のサンプルセットを最適化できる。

したがって、ステップ３３０で、値ｋは：
ｋ＝ｃｅｉｌ（ｌｏｇ２（ｃｕＷｉｄｔｈ＋ｃｕＨｅｉｇｈｔ））
として特定され、式中、ｃｅｉｌは天井関数であり、ｃｅｉｌｉｎｇ（ｘ）はｘ以上の最小整数を返す。

ステップ３４０で、サブサンプリング値「ｓｕｂ」（同じ方向への２つのサンプル間の距離）は１と等しい。ステップ３５０で、Ｎの値は２ｋと等しく設定される。実施形態は、前述の制限と両立し、例えば、ｋの値はさらに調整されてよく（漸進的に減少する）及び「ｓｕｂ」の値は相応に増加し３４０、それによって前述のように、式２の和項は最大整数記憶数(maximum integer storage number)より低く保たれる。

２．２ 第二の実施形態：第一の上又は左側サンプルは（ｘ＝０；ｙ＝−１）及び（ｘ＝−１；ｙ＝０）ではない
第二の実施形態は、「上側サンプル」セットの第一のサンプルの相対位置のためのオフセットを特定すること及び／又は「左側サンプル」セットの第一のサンプルの相対位置のためのオフセットを特定することを含む。

有利な点として、この実施形態では、上−左及び上−右サンプルの位置を最適化できる（ケースｄ）。

したがって、ステップ３６０で、「上側サンプル」セットの第一のサンプルの位置と「左側サンプル」セットの第一のサンプルの位置はゼロではなく、図９の左側に示されているように、オフセット（それぞれｏｆｆＸ及びｏｆｆＹ）により移動される。

変形型において、図９の右側に示されているように、「上側サンプル」セットの終端サンプルの位置は（ｘ＝ｃｕＷｉｄｔｈ−１；ｙ＝１）であり、終端「左側サンプル」セットの位置は（ｘ＝−１；ｙ＝ｃｕＨｅｉｇｈｔ−１）である。

他の変形型において、「上側サンプル」セットの第一のサンプルの位置及び「左側サンプル」セットの第一のサンプルの位置に関するオフセットと「上側サンプル」セットの最終サンプルの位置及び「左側サンプル」セットの最終サンプルの位置に関するオフセットが画定される。すると、サブサンプリングステップ（ｓｔｅｐＶ，ｓｔｅｐＨ）が、「上側サンプル」セットの第一のサンプルと「上側サンプル」セットの最終サンプルとの間の幅及び「左側サンプル」セットの第一のサンプルと「左側サンプルセット」の最終サンプルとの間の高さに応じて画定される。

他の変形型において、「ｏｆｆＸ」（又は「ｏｆｆＹ」）の値は「ｓｔｅｐＨ／２」（又は「ｓｔｅｐＶ／２」）と等しく設定される。

他の変形型において、「ｏｆｆＸ，ｏｆｆＹ」の値は、ＬＩＣパラメータ導出に使用される、より近い参照サンプルまでの対象ＣＵの画素の距離の和を最小化する値である：

式中、ｐはＣＵのサンプルであり、ｍｉｎｄｉｓｔｒｅｆ（ｐ）はより近い参照サンプルまでの「ｐ」の距離である。

有利な点として、値（ｏｆｆＸ，ｏｆｆＹ）は、考え得るＣＵサイズ（ｃｕＷｉｄｔｈ；ｃｕＨｅｉｇｈｔ）のセットについて、演繹的に特定し、表にすることができる。

２．３ 第三の実施形態：より大きい寸法にはより多くのサンプル
第三の実施形態は、ブロックのより大きい寸法においてより多数のサンプルを選択することを含む。

有利な点として、この実施形態では、長方形のＣＵの場合に、最大寸法についてより大きいサンプル重みを導入することにより、サンプルセットを最適化できる。

したがって、ステップ３７０で、あるサブサンプリング「ｓｕｂ」の値について、Ａがより大きいＣＵ寸法（Ａ＝Ｌｅｆｔ、Ｎ_Ａ＝Ｎ_Ｌ又はＡ＝Ｔｏｐ、Ｎ_Ａ＝Ｎ_Ｔ）であり、Ｂがその他の寸法である場合、Ｎ_Ａは：
Ｎ_Ａ＝ｃｕＳｉｚｅＡ＞＞（ｓｕｂ−１）
Ｎ_Ｂ＝Ｎ−Ｎ_Ａ （式１１）
と計算される。
式中、Ａ＝Ｔｏｐであれば、ｃｕＳｉｚｅＡ＝ｃｕＷｉｄｔｈ、Ａ＝Ｌｅｆｔであれば、ｃｕＳｉｚｅＡ＝ｃｕＨｅｉｇｈｔである。

２．４ 第四の実施形態：１つのサンプルセットが利用できない
第四の実施形態は、左側サンプルが利用できない場合に、ＬＩＣで使用されるサンプルの数Ｎ（Ｎ＝２^ｋ、ｋはＮがブロック幅より小さい最大整数となるように選択される）を適応させることを含む。第四の実施形態は、上側サンプルが利用できない場合に、ＬＩＣで使用されるサンプルの数Ｎ（Ｎ＝２^ｋ、ｋはＮがブロック高さより小さい最大整数となるように選択される）を適応させることを含む。

各種の変形型によれば、「利用できないサンプル」は以下の場合を含むことができる：
−対象ＣＵがピクチャ又はスライスの境界上にある。
−対象ＣＵが事前に画定されたＶＰＤＵ(Video Processing Data Unit)又はＣＴＵの境界上にある。ＶＰＤＵは事前に画定された最大ハードウェア処理ユニットサイズである場合。

有利な点として、この実施形態では、長方形のＣＵの場合に、少なくとも１つのサンプルセットが利用できないときにサンプルセットを最適化できる（ケースｄ）。

したがって、図８の方法において、少なくとも１つの追加のテストが３００及び３１０に導入され、そこでサンプルの利用可能性がチェックされる。左（３００）又は上（３１０）側サンプルが利用できない場合、Ｎの値は２^ｋと等しく設定され、それぞれｋ＝ｃｅｉｌ（ｌｏｇ２（ｃｕＷｉｄｔｈ））又はｋ＝ｃｅｉｌ（ｌｏｇ２（ｃｕＨｅｉｇｈｔ））であり、また、それぞれ（Ｎ_Ｔ＝Ｎ；Ｎ_Ｌ＝０）又は（Ｎ_Ｌ＝Ｎ；Ｎ_Ｔ＝０）である。

２．５ 第五の実施形態：２つのサンプルセットが利用できない
第四の実施形態は、左側サンプルが利用できず、上側サンプルが利用できない場合に、符号化又は復号時にｆａｌｓｅに設定されたＩＣ−フラッグを導出することを含む。第四の実施形態の変形型は、ブロック幅が第一の値より小さい場合及びブロック高さが第二の値より低い場合に、符号化又は復号時にｆａｌｓｅに設定されたＩＣ−フラッグを導出すること含む。第四の実施形態の他の変形型は、ブロック幅が第一の値より大きい場合及びブロック高さが第二の値より大きい場合に、符号化又は復号時にｆａｌｓｅに設定されたＩＣ−フラッグを導出することを含む。

有利な点として、この実施形態では、ＩＣフラッグが推定され、ビットストリームの中でコード化されないため、圧縮効率が改善される。

ある変形型において、「左側サンプル」及び「上側サンプル」のどちらも利用できない場合、ステップ３２０でＩＣ−フラッグがｆａｌｓｅと推定され、ビットストリームの中でコード化されない。

ある変形型において、１つのサンプルセット（上又は左）が利用できず、他方（それぞれ左又は上）の寸法サイズが閾値より低い（又は高い）場合、ＩＣ−フラッグはｆａｌｓｅと推定され、ビットストリームの中でコード化されない。

ＩＣ導出の変形型によれば、エントロピ符号化及びエントロピ復号もまた、ＬＩＣを使用しないＣＵについてはＬＩＣパラメータフラッグがコード化されないように改良される。

２．６ 非長方形の場合に適応された第六の実施形態
第六の実施形態は、三角形予測の場合にＬＩＣパラメータを導出するためにＰＵ三角形に空間的に連続するサンプルを選択することを含む。第六の実施形態のある変形型は、三角形の分割方向に応じてＬＩＣパラメータを導出するためにＰＵ三角形に空間的に連続するサンプルを選択することを含む。

第六の実施形態の変形型は、三角形予測の場合にブロックの各寸法につき１つである２つのＩＣフラッグをコード化／復号することを含む。

有利な点として、この実施形態では、三角形ＣＵの場合に、空間的に閉じたサンプルを選択することによってサンプルセットを最適化できる。

三角形の予測ユニットの場合（図６参照）、サンプルセットは以下のように変更される：
−ＰＵ三角形に空間的に連続するサンプルのみを使ってＬＩＣパラメータを導出する。例えば、図６（上−左）の三角形の構成の場合、三角形「ａ」（Ｎ＝Ｎ_Ｔ）について「上側サンプル」セットのみ、及び三角形「ｂ」（Ｎ＝Ｎ_Ｌ）について「左側サンプル」セットのみを使用する。図６（下−左）の三角形の構成の場合、三角形「ｃ」について「上側サンプル」と「左側サンプル」の両方を使用し、三角形「ｄ」についてＩＣ−フラッグはｆａｌｓｅと推定される。
−ある変形型において、各ＰＵにつき１つである２つのＩＣ−フラッグがコード化される。三角形「ｄ」の場合、ＩＣ−フラッグはコード化されない。

同じ方策が図５上−右の４つの非長方形分割にも当てはめられてよく、この場合、ＰＵサイズとＣＵサイズが同じである寸法に関するサンプルのみが保持される。これは、非長方形のＰＵ分割３及び５が１のＰＵ三角形と同じサンプルセットを有し、非長方形のＰＵ分割４及び６は２のＰＵ三角形と同じサンプルセットを有することを意味する。

ある変形型において、２つのサンプルセットは、非長方形のＰＵのみに連続するサンプルで構成される。

２つのＩＣフラッグの変形型によれば、エントロピ符号化及びエントロピ復号もまた、２つのフラックを使用しないＣＵについて、ＬＩＣパラメータフラッグがコード化されるように変更される。

２．７ 多仮説の場合に適応される第七の実施形態
第七の実施形態は、多仮説予測の場合、ＬＩＣパラメータの導出のための値より大きいか、それと等しいブレンディング重みを有する領域に空間的に連続するサンプルを選択することを含む。

有利な点として、この実施形態では、多仮説予測ＣＵの場合に、より重い重みを有する参照サンプルを選択することにより、サンプルセットを最適化できる。

サンプルセットは、閾値より高いか、それと等しいｗ＿ｉｎｔｅｒの値を有する領域に連続するサンプルで構成される。閾値はゼロであってよい。

図７には、イントラ予測方向が垂直であり、「閾値」の値が０．５である例を示しており、これはＬＩＣパラメータを導出するために下−左参照サンプルのサブセットを使用する中で判明する。イントラ予測方向が水平である同じ例を導出でき、上−右参照サンプルのサブセットを使ってＬＩＣパラメータを導出する。

ある変形型において、イントラモードがＤＣである場合、ＬＩＣはＭＨについて常に無効化される。ある変形型において、イントラモードがＰｌａｎａｒである場合、ＬＩＣはＭＨについて常に無効化される。ある変形型において、ＬＩＣはＭＨで常に無効化される。

２．８ ＱＴＢＴ分割に適応される第八の実施形態
図１１は、少なくとも１つの実施形態の一般的態様による例示的な符号化方法５００を示す。cross-component linear model（ＣＣＬＭ）予測モード又はLocal Illumination Compensation（ＬＩＣ）としての例示的実施形態について説明したように、方法５００は、符号化対象のブロックの少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて少なくとも１つの線形モデルパラメータを特定する。このような線形モデルパラメータは、例えば、式３又は６で定義されるモデルのアフィン変換係数を含む。それゆえ、線形モデルは、cross-component linear model、block-based illumination compensation linear model、bi-directional optical flowを含む群に属する。図１１の実施形態は、符号化方法に関する図１の実施形態の具体的な実装例である。

この実施形態において、以下の可変数が定義される：Ｈ（ｃｕＨｅｉｇｈｔ）は処理対象のブロックの高さを表し、Ｗ（ｃｕＷｉｄｔｈ）は処理対象のブロックの幅を表し、テンプレート内のサンプル総数ＮはＮ＝２^ｋ＝ＮｕｍＹ＋ＮｕｍＸで、ＮｕｍＹ、ＮｕｍＸ（Ｎ_ＬＮ_Ｔ）はそれぞれ左及び上テンプレート内のサンプル数を表し、Ｙｓｔｅｐ及びＸｓｔｅｐはそれぞれ、左及び上隣接部内のサブサンプリングステップを表す。

まず、５１０で、方法５００は、あるピクチャ内の符号化対象のブロックについて、少なくとも１つの空間的隣接テンプレートを特定する。図１０Ａ〜１０Ｄに示されているように、各種のブロック分割により、空間的隣接テンプレート４０１、４０２は様々な大きさである。図１０Ａは、符号化対象のブロック４００が正方形のブロックであり、幅Ｗと高さＨが２の冪であり、例えばＷ＝Ｈ＝３２である場合を示している。幅Ｗ及び高さＨのユニットは画像サンプルである。それゆえ、再構成サンプルの２つの隣接テンプレート４０１、４０２がブロック４００について特定される。上隣接テンプレート４０１の大きさは３２×１サンプルであり、左隣接テンプレートのサイズは１×３２サンプルである。当業者であれば、画像内のブロックの位置及び復号における走査順序に応じて、符号化又は復号対象のブロックは、再構成ピクセルの隣接プレートを（画像の第一のブロックについて）ゼロ、（左又は上隣接テンプレートでは）１つ、又は２つ有することがわかるであろう。そのほかに、当業者であれば、空間的隣接テンプレート４０１、４０２は、上隣接サンプルのライン４０１の中及び、左隣接サンプルのライン４０２の中の処理対象ブロックの各隣接サンプルを含むことに気付くであろう。上及び左テンプレートを有する一般的ケースについて開示された各種の実施形態は、上又は左の１つの隣接テンプレートのみである場合に容易に適応される。５２０で、方法５００は、符号化対象のブロックについて、符号化の対象のブロックの幅と高さに基づいて、少なくとも１つの空間的隣接テンプレートのうちの２の冪に対応する再構成サンプルの数を特定する。それゆえ、図１０Ａの例示的ケースでは、上隣接テンプレートの再構成サンプルの数ＮｕｍＸと左隣接テンプレートの再構成サンプルの数ＮｕｍＹは３２＝２＾５に設定される。５３０で、方法５００は、符号化対象のブロックについて、少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて少なくとも１つの線形モデルパラメータを特定する。実際、方法は、隣接するサンプルから特定された数ＮｕｍＸ及びＮｕｍＹのサンプルを選択して、処理を行い、線形モデルを導く。例えば、線形モデルパラメータは、隣接テンプレート内のＮｕｍｘ及びＮｕｍＹの再構成サンプルの値に応答して式３又は６で定義されるアフィン変換係数である。少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づく線形モデルパラメータは、符号化又は復号対象のブロックの空間的隣接テンプレートのサンプルと符号化又は復号対象のブロックに関する参照ブロックの空間的隣接テンプレートのサンプルとの間の歪を最小化することによって得られる。最小化を解く式において２＾５により割ることは、右側へのシフトにより容易に実行できる。最後に、５４０で、方法５００は、ＣＣＬＭ又はＬＩＣについて開示したような特定された少なくとも１つの線形モデルパラメータに基づく線形モデルを使ってブロックを符号化する。

図１０Ａは、ブロックの大きさ、及びそれゆえ線形モデル計算で使用される再構成サンプルの数が元々２の冪であり、左及び上隣接領域について等しい例を示している。それゆえ、既知の線形モデルパラメータの特定はこの分割にもよく適応する。しかしながら、図１０Ｂ、１０Ｃ、及び１０Ｄは、線形モデルパラメータの特定では計算が不正確となる、したがって最適下限となる例を示す。

図１０Ｂは、符号化対象のブロック４００が長方形ブロックで、高さＨが３×２＾Ｎ、すなわちＨ＝２４、Ｗ＝３２である場合を示している。図１３で開示される１つの実施形態によれば、上隣接テンプレートの再構成サンプルの数ＮｕｍＸと左隣接テンプレートの再構成サンプルの数ＮｕｍＹは８＝２＾３に設定される。２単語で、左側テンプレートのサンプルはサブサンプリングされて３つのサンプルのうちの１つが保持され、すなわち２４／３＝８であり、上側テンプレートのサンプルはサブサンプリングされて４つのうち１つが保持され、それによって、線形モデルの計算に使用される上隣接テンプレートの再構成サンプルの数ＮｕｍＸと左隣接テンプレートの再構成サンプルの数ＮｕｍＹは等しく、８に設定される。

図１０Ｃは、符号化対象のブロック４００が長方形ブロックで、高さＨが３×２＾Ｎ、すなわちＨ＝２４及びＷ＝３２である場合の他の実施形態を示す。図１４で開示される１つの実施形態によれば、上隣接テンプレートの再構成サンプルの数ＮｕｍＸと左隣接テンプレートの再構成サンプルの数ＮｕｍＹは１６＝２＾４に設定される。２単語で、左側テンプレートのサンプルはサブサンプリングされて３つのサンプルのうち２つが保持され、すなわち２４^＊２／３＝１６であり、上側テンプレートのサンプルはすると、サブサンプリングされて２つのうちの１つが保持され、それによって線形モデルの計算で使用される上隣接テンプレートの再構成サンプルの数ＮｕｍＸと左隣接テンプレートの再構成サンプルの数ＮｕｍＹは等しく、１６に設定される。

図１０Ｄは、符号化対象のブロック４００が長方形のブロックであり、一方の寸法が他方の寸法よりはるかに小さい、すなわちＨ＝８及びＷ＝３２の場合を示している。図９で開示される１つの実施形態によれば、上隣接テンプレートの再構成サンプルの数ＮｕｍＸと左隣接テンプレートの再構成サンプルの数ＮｕｍＹの合計は、３２＝２＾８に設定される。２単語で、最小である左側テンプレートのサンプルは計算の中で保持され、その数ＮｕｍＹ＝８が上側テンプレートのサンプルの数から除外されて、上側テンプレートではＮｕｍＸ＝３２−８＝２４のサンプルが保持され、それによって、線形モデルの計算に使用される上隣接テンプレートの再構成サンプルの数ＮｕｍＸ＝２４と左隣接テンプレートの再構成サンプルの数ＮｕｍＹ＝８の合計は等しく、３２に設定される。

図１２は、少なくとも１つの実施形態の一般的態様による復号方法の例を示す。当業者であれば、同じ原理が復号方法５００及び復号方法７００にも当てはまることがわかるであろう。図１２の実施形態はまた、図１の実施形態の具体的な実装例である。したがって、方法６００は復号対象のブロックの少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて少なくとも１つの線形モデルパラメータを特定する。このような線形モデルパラメータは、例えば、式３又は６で定義されるモデルのアフィン変換係数である。まず、６１０で、方法６００は、あるピクチャ中の復号対象ブロックについて、図１０Ａ〜１０Ｄの例示的実施形態に示されているように、少なくとも１つの空間的隣接テンプレートを特定する。それゆえ、再構成サンプルの２つの隣接テンプレート４０１、４０２がブロック４００について特定される。上隣接テンプレート４０１の大きさはＷ×１サンプルであり、左隣接テンプレートの大きさは１×Ｈサンプルである。６２０で、方法６００は、復号対象のブロックについて、少なくとも１つの空間的隣接テンプレートのうち２の冪に対応する再構成サンプルの数を復号対象のブロックの幅と高さに基づいて特定する。それゆえ、図１０Ａの例示的な場合について、上隣接テンプレートの再構成サンプルの数ＮｕｍＸと左隣接テンプレートの再構成サンプルの数ＮｕｍＹは、３２＝２＾５に設定される。当然、上隣接テンプレートの再構成サンプルの数ＮｕｍＸと左隣接テンプレートの再構成サンプルの数ＮｕｍＹもまた、図１０Ｂ〜１０Ｄで示された各種の実施形態にしたがって特定される。６３０で、方法６００は、復号対象のブロックについて、少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて少なくとも１つの線形モデルパラメータを特定する。例えば、式３又は６で定義されるアフィン変換係数は、隣接テンプレートのＮｕｍＸ及びＮｕｍＹの再構成サンプルの値に基づいて計算される。式中の図１０Ａの例示的例の２＾５により割ることは、右側へのシフトによって容易に実行できる。最後に、６４０で、方法６００は、ＣＣＬＭ又はＬＩＣについて開示したもののように、特定された少なくとも１つの線形モデルパラメータに基づいて、線形モデルを使用するブロックを復号する。

図１３は、特に隣接ブロックが少なくとも３×２＾Ｎの寸法を有する場合に適用される少なくとも１つの実施形態の態様による復号方法５００又は復号方法６００の再構成サンプルの数の特定５２０、６２０の例示的な詳細を示す。当業者であれば、このケースがＱＴＢＴ内の、幅Ｗ又は高さＨ又はＷ、Ｈの両方のサイズが３×２＾Ｎである非対象Coding Unitを考慮すると発生することがわかる。この実施形態によれば、テンプレートのサンプルは、連続的にサブサンプリングされて、３つのうち１つのサンプルが保持され（ＮｕｍｉＸ，ＮｕｍｉＹ）、両方のテンプレート内で同じ数（ＮｕｍＸ、ＮｕｍＹ）が保持される。それゆえ、７１０で、幅Ｗがテストされて、それが３の倍数であるかどうかチェックされ、すなわちＷ％３＝０？、％はモジュロ演算子を表す。符号化又は復号対象のブロックの幅が３の倍数である（分岐Ｙ）、すなわちＷ＝３×２＾Ｎである場合、７３０で、上側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍｉＸは３により割られる。換言すれば、再構成サンプルの数ＮｕｍｉＸは３で割った処理対象のブロックの幅に対応し、すなわちＮｕｍｉＸ＝Ｗ／３である。ある変形型によれば、再構成サンプルの数ＮｕｍｉＸを特定する代わりに、サブサンプリングステップＸｓｔｅｐｉが特定され、Ｘｓｔｅｐｉ＝３である。処理対象のブロックの幅が３の倍数ではない場合（分岐Ｎ）、考慮中のブロック分割に応じて、処理対象ブロックの幅は２の冪であり（Ｗ＝２＾Ｎ）、７４０で、上側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍｉＸは変化せず、すなわちＷに設定される。サブサンプリングの変形型によれば、サブサンプリングステップＸｓｔｅｐｉは１に設定され、すなわちＸｓｔｅｐｉ＝１である。

同じプロセスが、７２０、７５０、及び７６０においてブロックの高さＨにもそれぞれ適用される。７２０で、高さＨがテストされ、それが３の倍数か否かチェックされる。処理対象のブロックの高さが３の倍数である（分岐Ｙ）、すなわちＨ＝３×２＾Ｎである場合、７５０で、左側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍｉＹは３により割られる。処理対象のブロックの高さＨが３の倍数ではない場合（分岐Ｎ）、７６０で、左側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍｉＹは変化せず、すなわちＨに設定される。もちろん、図７に示されていない予備ステップにおいて、上側空間的隣接テンプレートと左側空間的隣接テンプレートの存在がチェックされ、方法は、例えば原因となるブロックが存在しなければ、Ｗ又はＨの値を０に設定することにより、存在する空間的隣接テンプレートに容易に適応されてよい。

次に７７０で、左側の空間的隣接テンプレートのサンプルの数ＮｕｍＹと上側の空間的隣接テンプレートのサンプルの数ＮｕｍＸが正規化されて、両方のテンプレートで同じ数が保持される。処理対象のブロックの幅が処理対象のブロックの高さと等しくない場合、上側の空間的隣接テンプレートの再構成サンプルの特定された数と左側の空間的隣接テンプレートの再構成サンプルの特定された数は、処理対象のブロックの最小寸法に対応する２の冪である同じ値に設定される。この実施形態で実装されているように、７７０で中間数ＮｕｍｉＸ及びＮｕｍｉＹがテストされて、線形モデルパラメータを計算するために同じ数のサンプルを上及び左隣接テンプレートで使用できるか否かがチェックされる。上側空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＸは、中間数ＮｕｍｉＸ及びＮｕｍｉＹの最小値に設定される。サブサンプリングの変形型によれば、中間サブサンプリングステップＸｓｔｅｐｉにＮｕｍｉＸ／ｍｉｎ（ＮｕｍｉＸ，ＮｕｍｉＹ）の比が乗じられ、それゆえ、Ｘｓｔｅｐ＝Ｘｓｔｅｐｉ×ＮｕｍｉＸ／ｍｉｎ（ＮｕｍｉＸ，ＮｕｍｉＹ）となる。そのほかに、左側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＹは中間数ＮｕｍｉＸとＮｕｍｉＹの最小値に設定される。サブサンプリングの変形型によれば、中間サブサンプリングステップＹｓｔｅｐｉにＮｕｍｉＹ／ｍｉｎ（ＮｕｍｉＸ，ＮｕｍｉＹ）の比が乗じられ、それゆえＹｓｔｅｐ＝Ｙｓｔｅｐｉ×ＮｕｍｉＸ／ｍｉｎ（ＮｕｍｉＸ，ＮｕｍｉＹ）となる。サブサンプリングステップは、符号化方法のステップ５３０又は復号方法のステップ６３０で、上側テンプレートに関するＸｓｔｅｐサンプルのうちの１サンプルか又は左側テンプレートに関するＹｓｔｅｐサンプルのうちの１サンプルがそれぞれ線形モデルパラメータを特定する計算で使用されることを特定するために使用される。選択されたサンプルは、テンプレートに沿って規則的に分散させることができ、又は最初のものだけが保持される。サンプルの数の何れの選択も、本願の原理と両立する。当業者であれば、ＳｔｅｐとＮｕｍの値は冗長的であり、本実施形態においては、２つの値のうちの一方だけが特定されてよいことがわかるであろう。

それゆえ、図１３の実施形態は２つの特徴、すなわち大きさ３×２＾Ｎのブロックの正規化と両方の空間的隣接テンプレート内で同じ数を持つための正規化を組み合わせている。このような実施形態の例が図１０Ｂに示されている。Ｗ＝３２及びＨ＝２４で、ステップ７４０及び７５０の後にＮｕｍｉＸ＝３２（Ｘｓｔｅｐｉ＝１）及びＮｕｍｉＹ＝８（Ｙｓｔｅｐｉ＝３）、最後にステップ７７０の後にＮｕｍＸ＝８（Ｘｓｔｅｐ＝４）及びＮｕｍＹ＝８（Ｙｓｔｅｐ＝３）。

したがって、本発明者らは、既存のＪＥＭコーデックのブロック分割の何れかを用いる、サンプル数を２の冪に特定することによって線形モデルパラメータの計算を改善する幾つかの方法に利点の可能性を認めた。

図１４は、隣接ブロックが少なくとも３×２＾Ｎの寸法を有する場合に適応された他の実施形態による符号化方法５００の、又は復号方法６００の再構成サンプルの数の特定５２０、６２０の例示的な詳細を示す。この実施形態によれば、テンプレートのサンプルはサブサンプリングされて３つのうち２つのサンプルが保持され（ＮｕｍｉＸ，ＮｕｍｉＹ）、両方のテンプレートで同じ数が保持される（ＮｕｍＸ，ＮｕｍＹ）。それゆえ、８１０で、幅Ｗがテストされて、それが３の倍数であるかチェックされ、すなわちＷ％３＝０？、％はモジュロ演算子を表す。符号化又は復号対象のブロックの幅が３の倍数である（分岐Ｙ）、すなわちＷ＝３×２＾Ｎである場合、８３０で、上側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍｉＸに２／３が乗じられる。換言すれば、再構成サンプルの数ＮｕｍｉＸは処理対象のブロックの幅に２／３を乗じたものに対応し、すなわちＮｕｍｉＸ＝２×Ｗ／３である。サブサンプリングの変形型によれば、サブサンプリングステップＸｓｔｅｐｉは３／２に設定される。処理対象のブロックの幅が３の倍数でない場合（分岐Ｎ）、考慮されているブロック分割によれば、処理対象のブロックの幅は２の冪であり（Ｗ＝２＾Ｎ）、８４０で、上側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍｉＸは変化せず、すなわちＷに設定される。サブサンプリングの変形型によれば、サブサンプリングステップＸｓｔｅｐｉは１に設定される。

同じプロセスは、８２０、８５０、及び８６０でブロックの高さＨにそれぞれ適用される。８２０で、高さＨがテストされ、それが３の倍数であるかチェックされる。処理対象のブロックの高さが３の倍数である（分岐Ｙ）、すなわちＨ＝３×２＾Ｎである場合、８５０で、左側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍｉＹに２／３が乗じられる。処理対象のブロックの高さＨが３の倍数ではない場合（分岐Ｎ）、左側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍｉＹは変化せず、すなわち、８６０でＨに設定される。次に、８７０で、左側の空間的隣接テンプレートのサンプルの数ＮｕｍＹと上側の空間的隣接テンプレートのサンプルの数ＮｕｍＸは、図７について説明したように、正規化されて両方のテンプレートで同じ数が保持される。処理対象のブロックの幅が処理対象のブロックの高さと等しくない場合、上側の空間的隣接テンプレートの再構成サンプルの特定された数と左側の空間的隣接テンプレートの再構成サンプルの特定された数は、処理対象のブロックの最小寸法に対応する２の冪である同じ値に設定される。この実施形態で実装されているように、８７０で中間数ＮｕｍｉＸ及びＮｕｍｉＹがテストされて、線形モデルパラメータを計算するために同じ数のサンプルを上及び左隣接で使用できるか否かがチェックされる。上側空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＸ、対応する左側空間的隣接テンプレートのＮｕｍＹは、中間数ＮｕｍｉＸ及びＮｕｍｉＹの最小値に設定される。

それゆえ、図１４の実施形態は、２つの特徴、すなわち大きさ３×２＾Ｎのブロックの２／３による正規化と両方の空間的隣接テンプレート内で同じ数を持つための正規化を組み合わせている。このような実施形態の例が図４Ｃに示されている。Ｗ＝３２及びＨ＝２４で、ステップ８４０及び８５０の後にＮｕｍｉＸ＝３２（Ｘｓｔｅｐｉ＝１）及びＮｕｍｉＹ＝１６（Ｙｓｔｅｐｉ＝３／２）、最後にステップ８７０の後にＮｕｍＸ＝１６（Ｘｓｔｅｐ＝２）及びＮｕｍＹ＝１６（Ｙｓｔｅｐ＝３／２）。

したがって、このような実施形態では、前述の実施形態と比較して、線形モデルパラメータの計算で使用されるサンプルの数が増えており、それゆえモデルの精度が向上する。

図１５は、隣接ブロックが少なくとも非正方形の寸法を有する場合、特に一方の寸法が他方よりはるかに大きい場合に適応された他の実施形態による符号化方法５００又は復号方法６００の再構成サンプルの数の特定５２０、６２０の例示的な詳細を示す。しかしながら、この実施形態はまた、１つの寸法（最小寸法）が２の冪と等しくないブロックにより生じる問題も解決する。この実施形態は、大きさ３×２＾Ｎのブロックに関する正規化の特徴を持たずに提示されているが、もちろん、図１６に示されるようにどちらの特徴も両立する。

それゆえ、９７０で、左側の空間的隣接テンプレートのサンプルの数ＮｕｍＹと上側の空間的隣接テンプレートＮｕｍＸがテストされて、両方のテンプレートにおいて同じ数であるか否かがチェックされる。処理対象のブロックの幅が処理対象のブロックの高さと等しい場合（分岐Ｙ）、ブロックは正方形であり、９８０で、上側の空間的隣接テンプレートの再構成サンプルの特定された数と左側の空間的隣接テンプレートの再構成サンプルの特定された数は、高さと幅に対応する２の冪である同じ値に設定される。サブサンプリングは不要であり、Ｘｓｔｅｐ、Ｙｓｔｅｐは１に設定される。処理対象のブロックの幅が処理対象のブロックの高さと等しくない場合（分岐Ｎ）、上側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＸと左側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＹの和は、符号化又は復号対象のブロックの最大寸法に対応する２の冪に設定される。そのために、９７５で最大値がテストされる。ブロック幅がブロック高さより大きい場合（分岐Ｙ）、９９０で、左側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＹはそのブロックの最小寸法であるＨに設定され、上側の空間的隣接テンプレートの再構成サンプルの数ＮｕｍＸはＷ−Ｈに設定され、それによってＮｕｍＸ＋ＮｕｍＹの和は符号化又は復号対象のブロックの最大寸法に対応する２の冪と等しい。したがって、サブサンプリングの変形型の場合、ＸｓｔｅｐはＷ／Ｗ−Ｈ（ＷのサンプルのうちＷ−Ｈが使用される）に設定され、Ｙｓｔｅｐは１に設定される（全サンプルが使用され、すなわち１のうち１）。ブロック幅がブロック高さより小さい（分岐Ｎ）もう一方の場合（分岐Ｎ）、９８５で、上側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＸはそのブロックの最小寸法であるＷに設定され、左側の空間的隣接テンプレートの再構成サンプルの数ＮｕｍＹはＨ−Ｗに設定される。したがって、サブサンプリングの変形型では、Ｘｓｔｅｐは１に設定され、ＹｓｔｅｐはＨ／Ｈ−Ｗに設定される。

それゆえ、図１６の実施形態では、特に幅と高さが大きく異なる場合に、線形モデルの計算におけるサンプルの数が最大化される。図１０Ｄの例により示されるように。Ｗ＝３２且つＨ＝８のとき、ステップ９７０の後、ＮｕｍＸ＝３２−８＝８、ＮｕｍＹ＝８であるが、図１３の実施形態では、使用されるサンプルの数はＮｕｍＸ＝ＮｕｍＹ＝８となり、その結果、本実施形態では合計３２ではなく１６のサンプルが使用される。そのほかに、特筆すべき点として、本実施形態では、より大きい寸法の隣接テンプレート、例えば２．３項で説明したようにＮｕｍＹ＝８と比較してＮｕｍＸ＝２４に、より重要な相対重みが付与される。それゆえ、このような実施形態では、線形モデルの計算においてより大きいテンプレートの重みが増すため、モデルの精度が向上する。

図１６は、少なくとも１つの実施形態の一般的態様による再構成サンプル方法の数の特定の例を示す。図１６の実施形態は、２つの特徴、すなわち大きさ３×２＾Ｎのブロックの正規化と、両方の空間的隣接テンプレート内の数の和が２の冪となるようにするための正規化を組み合わせている。

８３０及び８５０で、テンプレートのサンプルがサブサンプリングされて３つのうちの２つのサンプルが保持される（ＮｕｍｉＸ、ＮｕｍｉＹ）。それゆえ、８１０で、幅Ｗがテストされ、それが３の倍数か否かチェックされる、すなわち、Ｗ％３＝０？。符号化又は復号対象のブロックの幅が３の倍数である（分岐Ｙ）、すなわちＷ＝３×２＾Ｎの場合、８３０で、上側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍｉＸに２／３が乗じられる。サブサンプリングの変形型によれば、サブサンプリングステップＸｓｔｅｐｉは３／２に設定される。処理対象のブロックの幅が３の倍数でない場合（分岐Ｎ）、考慮されるブロック分岐に応じて、処理対象のブロックの幅は２の冪であり（Ｗ＝２＾Ｎ）、１０４０で、上側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍｉＸは変化せず、Ｗに設定される。サブサンプリングの変形型によれば、サブサンプリングステップＸｓｔｅｐｉは１に設定される。同じプロセスがそれぞれ、８２０、８５０、及び８６０でブロックの高さＨに適用される。

次に、９７０で、結果として得られたサンプルの数がテストされ、より大きい寸法があるかチェックされる、すなわちＮｕｍＸｉ＝ＮｕｍＹｉ？。第一の正則化の後のサンプルの数ＮｕｍＸｉとＮｕｍＹｉが等しい場合（分岐Ｙ）、上側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＸと左側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＹは等しく、９８０で２の冪に設定される。第一の正則化の後のサンプルの数ＮｕｍＸｉとＮｕｍＹｉが等しくない場合（分岐Ｎ）、上側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＸと左側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＹの和は、第一の正則化の後のテンプレートの最大寸法に対応する２の冪に設定される。そのために、９７５で最大値がテストされる。上側の空間的隣接の再構成サンプルの特定された数ＮｕｍｉＸが左側の空間的隣接ｔの再構成サンプルの特定された数ＮｕｍｉＹより大きい場合（分岐Ｙ）、９９０で、左側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＹはＮｕｍｉＹに設定され、上側の空間的隣接テンプレートの再構成サンプルの数ＮｕｍＸはＮｕｍｉＸ−ＮｕｍｉＹに設定され、それによって、和ＮｕｍＸ＋ＮｕｍＹは、第一のサブサンプリングの後のテンプレートの最大寸法に対応する２の冪と等しい。もう一方の場合（分岐Ｎ）、９８５で、上側の空間的隣接テンプレートの再構成サンプルの特定された数ＮｕｍＸはＮｕｍｉＸに設定され、左側の空間的隣接テンプレートの再構成サンプルの数ＮｕｍＹはＮｕｍｉＹ−ＮｕｍｉＸに設定される。

３．その他の実施形態及び情報
本願では様々な態様を説明しており、これにはツール、特徴、実施形態、モデル、アプローチ等が含まれる。これらの態様の多くは具体的に説明され、少なくとも個々の特性を示すために、限定的に聞こえるかもしれない方法で説明されていることも多い。しかしながら、これは説明を明瞭にするためであり、本願又はこれらの態様の範囲を限定するものではない。実際に、各種の態様のすべてを組み合わせ、置換して、別の態様を提供することもできる。さらに、これらの態様を本願より以前の出願において述べられている態様と組み合わせ、置換することもできる。

本願で説明され、企図される態様は、様々な形態で実装できる。以下の図１７、１８、及び１９は幾つかの実施形態を提供しているが、その他の実施形態も想定され、図１７、１８、及び１９の議論は実装の幅を限定していない。一般に、態様の少なくとも１つは一般に映像符号化及び復号に関し、少なくとも１つのその他の態様は一般に、生成されるか又は符号化されたビットストリームの送信に関する。これら及びその他の態様は、方法、装置、本願に記載の方法の何れかにより映像データを符号化又は復号する命令をその上に記憶したコンピュータ可読記憶媒体、及び／又は本願に記載の方法の何れかにより生成されたビットストリームがその上に記憶されたコンピュータ可読記憶媒体として実装できる。

本願において、「再構成（された）」及び「復号（された）」という用語は互換的に使用されてよく、「ピクセル」及び「サンプル」という用語は互換的に使用されてよく、「画像」、「ピクチャ」、及び「フレーム」という用語は互換的に使用されてよい。通常、ただし必ずとはかぎらないが、「再構成（された）」という用語はエンコーダ側で使用され、「復号（された）」という用語はデコーダ側で使用される。

本明細書においては各種の方法が記載されており、方法の各々は記載されている方法を実現するための１つ又は複数のステップ又は行為を含む。ステップ又は行為の具体的な順序がその方法の適正な動作に必要でないかぎり、具体的なステップ及び／又は行為の順序及び／又は使用は変更され、又は組み合わせられてもよい。

本願に記載の各種の方法及びその他の態様は例えば、図１７及び図１８に示されるように、ビデオエンコーダ１００及びデコーダ２００の動き補償（１７０、２７５）、動き推定（１７５）、エントロピ符号化、イントラ予測（１６０、２６０）及び／又は復号モジュール（１４５、２３０）等のモジュールを変更するために使用できる。さらに、これらの態様はＶＶＣ又はＨＥＶＣに限定されず、例えば、既存か将来開発されるものかを問わず、その他の規格及び勧告並びにそのような何れかの規格及び勧告（ＶＶＣ及びＨＥＶＣを含む）の延長にも適用できる。特に別段の断りがないかぎり、又は技術的に排除されないかぎり、本願に記載の態様は個別にも組合せでも使用できる。

例えば、本願では様々な数値が使用される。具体的な数値は例示の目的であり、記載されている態様はこれらの具体的な数値に限定されない。

図１７は、エンコーダ１００を示す。このエンコーダ１００の変形型が想定されるが、エンコーダ１００は明瞭にすることを目的として以下に説明されており、必ずしも予想されるすべての変形型が説明されているわけではない。

符号化の前に、映像シーケンスには例えば入力されたカラーピクチャの色変換（例えば、ＲＧＢ ４：４：４からＹＣｂＣｒ ４：２：０への変換）の適用又は入力されたピクチャ成分のリマッピングの実行などの符号化前処理（１０１）が行われて、信号分布をより柔軟に圧縮できるように（例えば、色成分の１つのヒストグラム平坦化を用いる）してよい。メタデータを前処理に関連付け、ビットストリームに取り付けることができる。

エンコーダ１００において、ピクチャは後述のようにエンコーダ要素により符号化される。符号化対象のピクチャは分割され（１０２）、例えばＣＵのユニットで処理される。各ユニットは、例えばイントラ又はインターモードの何れかを使って符号化される。あるユニットがイントラモードで符号化される場合、これはイントラ予測（１６０）を実行する。インターモードでは、動き予測（１７５）及び補償（１７０）が実行される。エンコーダは、イントラモード又はインターモードのどちらをユニットの符号化に使用するかを決定し（１０５）、例えば予測モードフラッグによりイントラ／インターの決定を示す。予測残差は、例えば予測ブロックを原画像ブロックから差し引く（１１０）ことによって計算される。

すると、予測残差は変換（１２５）され、量子化（１３０）される。量子化された変換係数のほか、動きベクトル及びその他のシンタックス要素はエントロピ符号化（１４５）されてビットストリームが出力される。エンコーダは、変換をスキップして、変換されていない残差信号に量子化を直接適用できる。エンコーダは、変換と量子化の両方をバイパスでき、すなわち、残差は、変換又は量子化工程を適用せずに直接コード化される。

エンコーダは、符号化されたブロックを復号して、その後の予測のための参照を提供する。量子化された変換係数は逆量子化（１４０）され、逆変換（１５０）されて、予測残差が復号される。復号された予測残差と予測ブロックが組み合わされ（１５５）、画像ブロックが再構成される。ループ内フィルタ（１６５）が再構成されたピクチャに適用され、例えば非ブロック化／ＳＡＯ(Sample Adaptive Offset)フィルタ処理が実行されて、符号化アーチファクトが低減化される。フィルタ処理後の画像は、参照ピクチャバッファ（１８０）に記憶される。

図１８は、ビデオデコーダ２００のブロック図を示す。デコーダ２００において、ビットストリームは後述のようにデコーダ要素により復号される。ビデオデコーダ２００は一般に、図１７に示される符号化パスの逆の復号パスを実行する。エンコーダ１００もまた一般に、映像データの符号化の一部として映像復号も行う。

特に、デコーダの入力には映像ビットストリームが含まれ、これはビデオエンコーダ１００により生成できる。ビットストリームはまず、エントロピ符号化（２３０）されて、変換係数、動きベクトル、及びその他のコード化情報が得られる。ピクチャ分割情報は、ピクチャがどのように分割されるかを示す。デコーダはしたがって、復号されたピクチャの分割情報に応じてピクチャを分割（２３５）してよい。変換係数は、逆量子化（２４０）され、逆変換（２５０）されて、予測残差が復号される。復号された予測残差と予測されたブロックを組み合わせる（２５５）ことで、画像ブロックが再構成される。予測ブロックは、イントラ予測（２６０）又は動き補償予測（すなわち、インター予測）（２７５）から得る（２７０）ことができる。ループ内フィルタ（２６５）が再構成された画像に適用される。フィルタ処理された画像は、参照ピクチャバッファ（２８０）に保存される。

復号されたピクチャにはさらに、復号後処理（２８５）、例えば逆色変換（例えば、ＹＣｂＣｒ ４：２：０からＲＧＢ ４：４：４への変換）又は、符号化前処理（１０１）で行われたリマッピングプロセスの逆を実行する逆リマッピングを行うことができる。復号後処理は、符号化前処理の中で導出され、ビットストリーム内で信号化されたメタデータを使用できる。

図１９は、各種の態様及び実施形態が実装されるシステムの例のブロック図を示す。システム１０００は、後述の様々なコンポーネントを含む機器として具現化でき、本明細書に記載の態様の１つ又は複数を実行するように構成される。このような機器の例には、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信器、個人用映像記録システム、接続された家電製品、及びサーバ等の各種の電子機器が含まれるが、これらに限定されない。システム１０００の要素は、単独で、又は組み合わせて、１つの集積回路（ＩＣ）、複数のＩＣ、及び／又は個別コンポーネントの中で具現化できる。例えば、少なくとも１つの実施形態において、システム１０００の処理及びエンコーダ／デコーダ要素は複数のＩＣ及び／又は個別コンポーネントに分散される。各種の実施形態において、システム１０００は１つ若しくは複数の他のシステム、又はその他の電子機器に、例えば通信バスを介して、又は専用の入力及び／又は出力ポートを通じて通信可能に連結される。各種の実施形態において、システム１０００は、本明細書に記載の態様の１つ又は複数を実装するように構成される。

システム１０００は、例えば本明細書に記載の各種の態様を実装するためにその中にロードされた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、埋込型メモリ、入力出力インタフェース、及び当該技術分野で知られている他の各種の回路を含むことができる。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１０００は、記憶装置１０４０を含み、これは不揮発性メモリ及び／又は揮発性メモリ、例えば限定されないが、Electrically Erasable Programmable Read-Only Memory（ＥＥＰＲＯＭ）、Read-Only Memory（ＲＯＭ）、Programmable Read-Only Memory（ＰＲＯＭ）、Random Access Memory（ＲＡＭ）、Dynamic Random Access Memory（ＤＲＡＭ）、Static Random Access Memory（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブを含むことができる。記憶装置１０４０は、非限定的な例として、内部記憶装置、外付け記憶装置（取外し可能及び取外し不能記憶装置を含む）、及び／又はネットワークアクセス可能記憶装置を含むことができる。

システム１０００は、例えばデータを処理して符号化された映像又は復号された映像を提供するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は独自のプロセッサ及びメモリを含むことができる。エンコーダ／デコーダモジュール１０３０は、機器の中に含めて符号化及び／又は復号機能を実行することができモジュールを表す。周知のように、機器は符号化及び復号モジュールの一方又は両方を含むことができる。それに加えて、エンコーダ／デコーダモジュール１０３０は、システム１０００の別々の要素として実装でき、又は当業者の間で知られているように、プロセッサ１０１０の中にハードウェア及びソフトウェアの組合せとして組み込むこともできる。

本明細書に記載されている各種の態様を実行するためにプロセッサ１０１０又はエンコーダ／デコーダ１０３０にロードされるプログラムコードは、記憶装置１０４０の中に保存し、その後、プロセッサ１０１０による実行のためにメモリ１０２０にロードできる。各種の実施形態によれば、プロセッサ１０１０、メモリ１０２０、記憶装置１０４０、及びエンコーダ／デコーダモジュール１０３０の１つ又は複数が、本明細書に記載のプロセスの実行中に各種の項目の１つ又は複数を保存できる。このように保存された項目は、入力された映像、復号された映像若しくは復号された映像の一部、ビットストリーム、マトリクス、可変値、並びに等式、数式、演算、及び演算ロジックの処理から得られた中間又は最終結果を含むことができるが、これらに限定されない。

幾つかの実施形態において、プロセッサ１０１０及び／又はエンコーダ／デコーダモジュール１０３０の内部のメモリは、命令を記憶し、符号化又は復号中に必要な処理のためのワーキングメモリを提供するために使用される。しかしながら、他の実施形態において、処理装置の外部メモリ（例えば、処理装置はプロセッサ１０１０又はエンコーダ／デコーダモジュール１０３０の何れかとすることができる）は、これらの機能の１つ又は複数のために使用される。外部メモリは、メモリ１０２０及び／又は記憶装置１０４０、例えばダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリとすることができる。幾つかの実施形態において、外部不揮発性フラッシュメモリは、例えばテレビのオペレーションシステムを記憶するために使用される。少なくとも１つの実施形態において、ＲＡＭ等の高速外部ダイナミック揮発性メモリは、ビデオコード化及び復号動作のため、例えばＭＰＥＧ−２（ＭＰＥＧはMoving Picture Experts Groupを指し、ＭＰＥＧ−２はまた、ＩＳＯ／ＩＥＣ １３８１８とも呼ばれ、１３８１８−１はＨ．２２２としても知られ、１３８１８−２はＨ．２６２としても知られる）、ＨＥＶＣ（ＨＥＶＣはHigh Efficiency Video Codingと呼ばれ、Ｈ．２６５及びＭＰＥＧ−Ｈ Ｐａｒｔ ２としても知られる）、又はＶＶＣ（Versatile Video Codingであり、ＪＶＥＴすなわちJoint Video Experts Teamにより現在開発中の新規格）のためのワーキングメモリとして使用される。

システム１０００の要素への入力は、ブロック１１３０に示される様々な入力装置を通じて提供できる。このような入力装置には、（ｉ）例えば放送装置により無線で送信されるＲＦ信号を受信する無線周波数（ＲＦ）部分、（ｉｉ）コンポーネント（ＣＯＭＰ）入力端子（又はＣＯＭＰ入力端子群）、（ｉｉｉ）Universal Serial Bus (USB)入力端子、及び／又は（ｖｉ）High Definition Multimedia Interface (HDMI(登録商標)）入力端子を含むが、これらに限定されない。図１０に示されていないその他の例は、コンポジット映像を含む。

各種の実施形態において、ブロック１１３０の入力装置は、当該技術分野で知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択し（また、信号を選択する、又は信号をある周波数バンドに帯域制限する、とも言われる）、（ｉｉ）選択された信号をダウンコンバートし、（ｉｉｉ）より狭い周波数バンドに再び帯域制限して、（例えば）特定の実施形態ではチャネルと呼ぶことのできる信号周波数バンドを選択し、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調し、（ｖ）エラー補正を行い、（ｖｉ）データパケットの所望のストリームを選択するためにデマルチプレックスするのに適した要素に関連付けることができる。各種の実施形態のＲＦ部分は、これらの機能を実行するための１つ又は複数の要素、例えば周波数切替器、信号切替器、バンドリミタ、チャネル切替器、フィルタ、ダウンコンバータ、復調器、エラー補正器、及びデマルチプレクサを含む。ＲＦ部分はチューナを含むことができ、これはこれらの機能のうちの各種のものを行い、例えば受信信号をより低い周波数（例えば、中間周波数又はベースバンド周波数付近）又はベースバンドへとダウンコンバートする。１つのセットトップボックスの実施形態では、ＲＦ部分とそれに関連する入力処理要素は、ワイヤ（例えば、ケーブル）媒体上で送信されたＲＦ信号を受信し、フィルタ処理し、ダウンコンバーティングを行い、再びフィルタ処理することにより所望の周波数バンドにすることによる周波数切替を行う。各種の実施形態は、上述の（及びその他の）要素の順序を再配置し、これらの要素の幾つかを排除し、及び／又は同様の、若しくは異なる機能を実行するその他の要素を追加する。要素を追加することは、既存の要素間に要素を挿入すること、例えば増幅器及びアナログ−デジタル変換器を挿入することを含むことができる。各種の実施形態において、ＲＦ部分はアンテナを含む。

それに加えて、USB及び／又はHDMI（登録商標）端子は、システム１０００をUSB及び／又はHDMI（登録商標）コネクタを通じて他の電子機器に接続するためのそれぞれのインタフェースプロセッサを含むことができる。理解すべき点として、入力処理の様々な態様、例えばReed-Solomonエラー補正は、必要に応じて例えば別の入力処理ＩＣの中又はプロセッサ１０１０の中で実装できる。同様に、USB又はHDMI（登録商標）インタフェース処理の態様は、必要に応じて例えば別のインタフェースＩＣの中又はプロセッサ１０１０の中で実装できる。復調され、エラー補正され、デマルチプレックスされたストリームは、例えばプロセッサ１０１０、並びにメモリ及び記憶要素と共に動作して出力装置での提示のために必要に応じてデータストリームを処理するエンコーダ／デコーダ１０３０を含む各種の処理要素に提供される。

システム１０００の各種の要素は、一体のハウジングの中に提供できる。一体のハウジング内では、様々な要素を相互接続し、適当な接続構成、例えばインターＩＣ（Ｉ２Ｃ）バス、ワイヤリング、及びプリント回路基板を含む当該技術分野で知られている内部バスを使って相互にデータ送信できる。

システム１０００は、通信チャネル１０６０を通じた他の機器との通信を可能にする通信インタフェース１０５０を含む。通信インタフェース１０５０は、通信チャネル１０６０上でデータを送受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インタフェース１０５０は、モデム又はネットワークカードを含むことができるがこれらに限定されず、通信チャネル１０６０は例えば有線及び／又は無線媒体で実装できる。

データは、各種の実施形態において、Wi-Fiネットワーク、例えばIEEE 802.11（IEEEはInstitute of Electrical and Electronics Engineersを指す）等の無線ネットワークを使ってシステム１０００へとストリームされ、又はそれ以外に提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適応された通信チャネル１０６０及び通信インタフェース１０５０上で受信される。これらの実施形態の通信チャネル１０６０は典型的に、ストリーミングアプリケーション及びその他のOver The Top通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。その他の実施形態は、ストリームされたデータを、入力ブロック１１３０のHDMI（登録商標）接続上でデータを配信するセットトップボックスを使ってシステム１０００に提供する。また別の実施形態は、ストリームされたデータを、入力ブロック１１３０のＲＦ接続を使ってシステム１０００に提供する。前述のように、各種の実施形態は、非ストリーミング方式でデータを提供する。それに加えて、各種の実施形態は、Wi-Fi以外の無線ネットワーク、例えば移動体通信ネットワーク又はBluetoothネットワークを使用する。

システム１０００は、ディスプレイ１１００、スピーカ１１１０、及びその他の周辺機器１１２０を含む各種の出力装置に出力信号を提供できる。各種の実施形態のディスプレイ１１００は、例えばタッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、カーブドディスプレイ、及び／又はフォルダブルディスプレイのうちの１つ又は複数を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、セルフォン（移動電話）、又はその他の機器のためのものとすることができる。ディスプレイ１１００はまた、他のコンポーネントの中に組み込むことも（例えば、スマートフォンの場合）、又は別々とすることも（例えば、ラップトップ用の外部モニタ）できる。他の周辺機器１１２０は、様々な実施形態の例において、独立型デジタルビデオディスク（又はデジタル・バーサタイル・ディスク）（どちらの用語もＤＶＲ）、ディスクプレイヤ、ステレオシステム、及び／又は照明システムのうちの１つ又は複数を含む。各種の実施形態は、システム１０００の出力に基づく機能を提供する１つ又は複数の周辺機器１１２０を使用する。例えば、ディスクプレイヤは、システム１０００の出力を再生する機能を実行する。

各種の実施形態において、制御信号がシステム１０００とディスプレイ１１００、スピーカ１１１０、又はその他の周辺機器１１２０との間で、AV.Link、Consumer Electronics Control（ＣＥＣ）、又はその他、ユーザの介入の有無を問わず機器間の制御を可能にする通信プロトコル等のシグナリングを使って通信される。出力装置は、それぞれのインタフェース１０７０、１０８０、及び１０９０を通じた専用の接続を介してシステム１０００に通信可能に連結できる。代替的に、出力装置は、通信インタフェース１０５０を介した通信チャネル１０６０を使ってシステム１０００に接続できる。ディスプレイ１１００とスピーカ１１１０は、例えばテレビ等の電子機器の中でシステム１０００の他のコンポーネントと単独ユニットで統合できる。各種の実施形態において、ディスプレイインタフェース１０７０は、ディスプレイドライバ、例えばタイミングコントローラ（Ｔ Ｃｏｎ）チップ等を含む。

ディスプレイ１１００及びスピーカ１１１０は代替的に、例えば入力１１３０のＲＦ部分が別のセットトップボックスの一部である場合、他のコンポーネントの１つ又は複数とは別にすることができる。ディスプレイ１１００及びスピーカ１１１０が外部コンポーネントである各種の実施形態において、出力信号は、例えばHDMI（登録商標）ポート、USBポート、又はＣＯＭＰ出力を含む専用の出力接続を介して提供できる。

実施形態は、プロセッサ１０１０によって若しくはハードウェアによって、又はハードウェアとソフトウェアの組合せによって実装されるコンピュータソフトウェアにより実行できる。非限定的な例として、実施形態は１つ又は複数の集積回路により実装できる。メモリ１０２０は、技術的環境に適した何れの適当な種類のものとすることもでき、非限定的な例として光メモリデバイス、磁気メモリデバイス、半導体系メモリデバイス、固定メモリ、リムーバブルメモリ等の何れかの適当なデータ記憶技術を使って実装できる。プロセッサ１０１０は、技術的環境に適した何れの種類とすることもでき、非限定的な例としてマイクロプロセッサ、汎用コンピュータ、特定用途コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ又は複数を含むことができる。

各種の実装例は復号に関する。「復号」とは、本願で使用されるかぎり、表示に適した最終出力を生成するために、例えば受信した符号化済みシーケンス上で実行されるプロセスの全部又は一部を含むことができる。各種の実施形態において、このようなプロセスは、典型的にデコーダにより実行されるプロセスの１つ又は複数、例えばエントロピ復号、逆量子化、逆変換、及び差分復号を含む。各種の実施形態において、このようなプロセスはまた、又は代替的に、本願に記載の各種の実装例のデコーダによって実行されるプロセスを含み、これは例えばLocal Illumination Compensationパラメータの導出に使用されるサンプルを特定し（前記特定することは、ブロックの形状、コード化モード、及び大きさに基づく）、導出したパラメータによるLocal Illumination Compensationを使ってそのブロックの仮予測を特定することである。

また別の例として、１つの実施形態では「復号」はエントロピ復号のみを指し、他の実施形態では「復号」は差分復号のみを指し、特定の実施形態では「復号」はエントロピ復号と差分復号の組合せを指す。「復号プロセス」という語句が具体的に動作のサブセットを指すか、一般により広い復号プロセスを指すかは、具体的な説明の内容に基づいて明確となり、当業者により十分に理解されると考えられる。

各種の実装例は符号化を含む。「復号」に関する上記の議論と同様に、「符号化」とは、本願で使用されるかぎり、例えば符号化されたビットストリームを生成するために入力された映像シーケンスに対して行われるプロセスの全部又は一部を含むことができる。各種の実施形態において、このようなプロセスは、エンコーダによって典型的に実行されるプロセスの１つ又は複数を含み、これは例えば、分割、差分符号化、変換、量子化、及びエントロピ符号化である。各種の実施形態において、このようなプロセスはまた、又は代替的に、例えば本願に記載の各種の実装例のエンコーダにより実行されるプロセスを含み、これは例えば、Local Illumination Compensationパラメータの導出に使用されるサンプルを特定し（前記特定することは、ブロックの形状、コード化モード、及び大きさに基づく）、導出したパラメータによるLocal Illumination Compensationを使ってそのブロックの仮予測を特定することである。

また別の例として、１つの実施形態では「符号化」はエントロピ符号化のみを指し、他の実施形態では「符号化」は差分符号化のみを指し、他の実施形態では「符号化」は差分符号化とエントロピ復号の組合せを指す。「符号化プロセス」という語句が具体的に動作のサブセットを指すか、一般により広い符号化プロセスを指すかは、具体的な説明の内容に基づいて明確となり、当業者により十分に理解されると考えられる。

例えばＬＩＣフラッグ等のシンタックス要素は、本明細書で使用される限り、説明的な用語であることに留意されたい。したがって、これらはその他のシンタックス要素の名称の使用を排除しない。

図がフロー図として示されている場合、対応する装置のブロック図も提供すると理解すべきである。同様に、図がブロック図として示されている場合、これは対応する方法／プロセスのフロー図も提供すると理解すべきである。

本明細書に記載の実装及び態様は、例えば方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装できる。１つの実装例に関してのみ論じられていたとしても（例えば、方法としてのみ論じられる）、論じられた特徴の実装はまた、他の形態（例えば、装置又はプログラム）においても実装できる。装置は、例えば、適当なハードウェア、ソフトウェア、及びファームウェアにおいて実装できる。方法は、例えばプロセッサにおいて実装でき、これは、例えばコンピュータ、マイクロプロセッサ、集積回路、又はブログラム可能なロジックデバイスを含む処理装置全般を指す。プロセッサはまた通信装置も含み、これは例えば、コンピュータ、セルフォン、携帯情報端末（ＰＤＡ）、及びエンドユーザ間の情報通信を容易にするその他の機器を含む。

「１つの実施形態」又は「ある実施形態」又は「１つの実装例」又は「ある実装例」のほか、他のそれらの変形型への言及は、その実施形態に関連して記載された特定の特徴、構成、特性、その他が少なくとも１つの実施形態に含まれることを意味する。それゆえ、「１つの実施形態において」又は「ある実施形態において」又は「１つの実装例において」又は「ある実装例において」という語句のほか、他のあらゆる変形型が本願の全体を通じた様々な箇所に出現しても、必ずしもすべてが同じ実施形態を指しているとはかぎらない。

追加的に、本願は様々な情報を「特定する」ことに言及しているかもしれない。情報を特定することは、例えば情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから呼び出すことのうちの１つ又は複数を含むことができる。

さらに、本願は様々な情報に「アクセスする」ことに言及しているかもしれない。情報にアクセスすることは、例えば情報を受信すること、情報を（例えばメモリから）呼び出すこと、情報を保存すること、情報を移動させること、情報をコピーすること、情報を計算すること、情報を特定すること、情報を予測すること、又は情報を推定することのうちの１つ又は複数を含むことができる。

追加的に、本願は様々な情報を「受信する」ことに言及しているかもしれない。受信することは、「アクセスする」ことと同様に、広い用語とする。情報を受信することは、例えば情報にアクセスすること又は情報を（例えばメモリから）呼び出すことのうちの１つ又は複数を含むことができる。さらに、「受信する」ことは典型的に、例えば情報を保存すること、情報を処理すること、情報を送信すること、情報を移動させること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を特定すること、情報を予測すること、又は情報を推定すること等の動作中に、ある方法又はその他の方法で含められる。

例えば「Ａ／Ｂ」、「Ａ及び／又はＢ」、及び「Ａ及びＢの少なくとも１つ」の場合の「／」、「及び／又は」、及び「〜の少なくとも１つ」のいずれかの使用は、１番目に挙げられた選択肢（Ａ）のみの選択、又は２番目に挙げられた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含するものとすることを理解されたい。別の例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣの少なくとも１つ」の場合、このような語句は１つ目に挙げられた選択肢（Ａ）のみの選択、又は２番目に挙げられた選択肢（Ｂ）のみの選択、又は３番目に挙げられた選択肢（Ｃ）のみの選択、又は１番目と２番目に挙げられた選択肢（Ａ及びＢ）のみの選択、又は１番目と３番目に挙げられた選択肢（Ａ及びＣ）のみの選択、又は２番目と３番目に挙げられた選択肢（Ｂ及びＣ）のみの選択、又は３つすべての選択肢（Ａ及びＢ及びＣ）の選択を包含するものとする。これは、本願及び関連する分野の当業者には明らかであるとおり、挙げられた何れの数の項目にも当てはめられてよい。

また、本明細書で使用されるかぎり、「信号」という単語は、特に、対応するデコーダに対して何かを示すことを指す。例えば、特定の実施形態において、エンコーダはＬＩＣのための領域別パラメータ選択のための複数のパラメータのうちの特定の１つをシグナリングする。例えば、有効化／無効化ＬＩＣは領域の大きさに依存するかもしれない。このようにして、ある実施形態において、エンコーダ側及びデコーダ側の両方で同じパラメータが使用される。それゆえ、例えば、エンコーダは特定のパラメータをデコーダに送信することができ（明示的シグナリング）、それによってデコーダは同じ特定のパラメータを使用できる。反対に、デコーダがすでに特定のパラメータ及びその他を有している場合、シグナリングは送信せずに使用することにより（暗黙的シグナリング）、単純にデコーダが特定のパラメータを知り、選択できるようにすることができる。各種の実施形態において、何れかの実際の関数の送信を回避することにより、ビット節約が実現される。シグナリングは、様々な方法で行えると理解されたい。例えば、各種の実施形態において、１つ又は複数のシンタックス要素、フラッグ、その他が情報を対応するデコーダに伝達するために使用される。上記の事柄は「シグナリング」という単語の動詞形に関するが、「信号」という用語は本明細書においては名詞としても使用できる。

当業者にとっては明らかであるように、実装例は、例えば保存又は送信可能な情報を運ぶためにフォーマットされた様々な信号を生成できる。情報は例えば、方法を実行する命令、又は説明された実装例の１つにより生成されたデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを運ぶようにフォーマットすることができる。このような信号は、例えば電磁波（例えば、スペクトルの無線周波数部分を使用する）として、又はベースバンド信号としてフォーマットすることができる。フォーマットすることは例えば、データストリームを符号化すること、及び符号化されたデータストリームでキャリアを変調することを含むことができる。信号が運ぶ情報は例えば、アナログ又はデジタル情報とすることができる。信号は、知られているように、様々な異なる有線又は無線リンク上で送信できる。信号は、プロセッサ可読媒体上に保存できる。

多くの実施形態を説明した。これらの実施形態の特徴は、単独でも、何れの組合せでも、各種のクレームカテゴリ及び種類を通じて、提供できる。さらに、実施形態は、以下の特徴、機器、又は態様の１つ又は複数を、各種のクレームカテゴリ及び種類を通じて、単独でも、何れの組合せでも含むことができる：
・デコーダ及び／又はエンコーダにおいて適用されるインター予測プロセスで使用されるLocal Illumination Compensationを変更すること
・デコーダ及び／又はエンコーダにおいて適用されるインター予測プロセスで使用されるLocal Illumination Compensationパラメータの導出を変更すること
・Local Illumination Compensationで使用されるサンプルの特定を新規なコード化（予測）モードに適応させること
・Local Illumination Compensationで使用されるサンプルの特定をＣＵ形状、コード化モード、及び大きさに適応させること
・ＬＩＣで使用されるサンプルの数ｎを適応させること。ｎ＝２^ｋであり、ｋはｎがブロック幅及びブロック高さの合計より小さい最大整数であるように選択される
・上側サンプルセットの第一のサンプルの相対位置に関するオフセットを特定すること、及び／又は左側サンプルセットの第一のサンプルの相対位置に関するオフセットを特定すること
・ブロックの、より大きい寸法ではより多くのサンプルを選択すること
・特定のコード化モードを使って、又は特定のコード化パラメータを使って再構成されたサンプルを選択すること。左側サンプルが利用できず、上側サンプルが利用できない場合、エンコーダ又はデコーダでｆａｌｓｅに設定されたＩＣフラッグを導出すること
・ブロック幅が第一の値より小さい場合及びブロック幅が第二の値より小さい場合、符号化又は復号においてｆａｌｓｅに設定されたＩＣフラッグを導出すること
・三角形予測の場合にブロックの各寸法につき１つの、２つのＩＣフラッグをコード化及び／又は復号すること
・デコーダ及び／又はエンコーダにおいて照明補償方法を有効化又は無効化すること
・シグナリングに、デコーダが使用する照明補償方法を識別できるようにするシンタックス要素を挿入すること
・三角形予測の場合にＬＩＣパラメータを導出するためにＰＵ三角形に空間的に連続するサンプルを選択すること
・三角形分割方向に応じてＬＩＣパラメータを導出するためのサンプルを選択すること
・多仮説予測の場合、ブレンディング重みがＬＩＣパラメータを導出するための値より大きいか又は等しい領域に空間的に連続するサンプルを選択すること
・これらのシンタックス要素に基づいて、デコーダで適用するＱＰ予測方法を選択すること
・デコーダでＬＩＣパラメータの導出方法を適用すること
・本明細書に記載のシンタックス要素又はその変形型の１つ又は複数を含むビットストリーム又は信号
・本明細書に記載の実施形態の何れかにより生成された情報を搬送するシンタックスを含むビットストリーム又は信号
・信号伝達に、デコーダがエンコーダにより使用されるものに対応する方法でＬＩＣを適応させることができるようにするシンタックス要素を挿入すること
・本明細書に記載のシンタックス要素、又はそれらの変形型の１つ又は複数を含むビットストリーム又は信号を生成及び／又は送信及び／又は受信及び／又は復号すること
・本明細書に記載の実施形態の何れかにより生成及び／又は送信及び／又は受信及び／又は復号すること
・本明細書に記載の実施形態の何れかによる方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号
・本明細書に記載の実施形態の何れかによるＬＩＣパラメータの適応を実行するＴＶ、セットトップボックス、セルフォン、タブレット、又はその他の電子機器
・本明細書に記載の実施形態の何れかによるＬＩＣパラメータの適応を実行し、結果として得られた画像を表示する（例えば、モニタ、スクリーン、又はその他の種類のディスプレイを使用する）ＴＶ、セットトップボックス、セルフォン、タブレット、又はその他の電子機器
・符号化された画像を含む信号を受信するチャネルを選択し（例えば、チューナを使用する）、本明細書に記載の実施形態の何れかによるＬＩＣパラメータの適応を実行するＴＶ、セットトップボックス、セルフォン、タブレット、又はその他の電子機器
・符号化された画像を含む信号を無線で受信する（例えば、アンテナを使用する）、本明細書に記載の実施形態の何れかによるＬＩＣパラメータの適応を実行するＴＶ、セットトップボックス、セルフォン、タブレット、又はその他の電子機器。

Claims (15)

1. 映像符号化方法において、
   あるピクチャの中の符号化対象のブロックについて、少なくとも１つの空間的隣接テンプレートを特定することと、
   前記符号化対象のブロックについて、少なくとも１つの線形モデルパラメータを前記少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて特定することと、
   前記特定された少なくとも１つの線形モデルパラメータに基づく線形モデルを使って前記ブロックを符号化することと、
   を含み、
   少なくとも１つの空間的隣接テンプレートを特定することは、前記少なくとも１つの空間的隣接テンプレート内の再構成サンプルの数Ｎを特定することを含み、これはＮ＝２^ｋに対応し、ｋはＮが前記ブロック幅とブロック高さの合計より小さい最大整数となるように選択される方法。
2. 映像復号方法において、
   復号対象のブロックについて、少なくとも１つの空間的隣接テンプレートを特定することと、
   前記復号対象のブロックについて、少なくとも１つの線形モデルパラメータを前記少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて特定することと、
   前記特定された少なくとも１つの線形モデルパラメータに基づく線形モデルを使って前記ブロックを復号することと、
   を含み、少なくとも１つの空間的隣接テンプレートを特定することは、前記少なくとも１つの空間的隣接テンプレート内の再構成サンプルの数Ｎを特定することを含み、これはＮ＝２^ｋに対応し、ｋはＮが前記ブロック幅とブロック高さの合計より小さい最大整数となるように選択される方法。
3. １つ又は複数のプロセッサと、少なくとも１つのメモリと、を含む映像符号化装置において、前記１つ又は複数のプロセッサは、
   あるピクチャの中の符号化対象のブロックについて、少なくとも１つの空間的隣接テンプレートを特定し、
   前記符号化対象のブロックについて、少なくとも１つの線形モデルパラメータを前記少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて特定し、
   前記特定された少なくとも１つの線形モデルパラメータに基づく線形モデルを使って前記ブロックを符号化する
   ように構成され、
   前記１つ又は複数のプロセッサはさらに、前記少なくとも１つの空間的隣接テンプレート内の再構成サンプルの数ｎを特定するように構成され、これはＮ＝２^ｋに対応し、ｋはＮが前記ブロック幅とブロック高さの合計より小さい最大整数となるように選択される装置。
4. １つ又は複数のプロセッサと、少なくとも１つのメモリと、を含む映像復号装置において、前記１つ又は複数のプロセッサは、
   復号対象のブロックについて、少なくとも１つの空間的隣接テンプレートを特定し、
   前記復号対象のブロックについて、少なくとも１つの線形モデルパラメータを前記少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づいて特定し、
   前記特定された少なくとも１つの線形モデルパラメータに基づく線形モデルを使って前記ブロックを復号する
   ように構成され、
   前記１つ又は複数のプロセッサはさらに、前記少なくとも１つの空間的隣接テンプレートの再構成サンプルの数Ｎを特定するように構成され、これはＮ＝２^ｋに対応し、ｋはＮが前記ブロック幅とブロック高さの合計より小さい最大整数となるように選択される装置。
5. 少なくとも１つの空間的隣接テンプレートを特定することは、前記符号化若しくは復号対象のブロックの左隣接ラインのサンプルのうち第一のサンプルの相対位置に関するオフセットを特定すること、又は前記符号化若しくは復号対象のブロックの上隣接ラインのサンプルのうち第一のサンプルの相対位置に関するオフセットを特定することを含む、請求項１若しくは２の方法又は請求項３若しくは４の装置。
6. 前記少なくとも１つの空間的隣接テンプレートの再構成サンプルの前記数は、前記符号化又は復号対象のブロックの最大寸法においてより多いサンプル数に設定される、請求項１若しくは２の方法又は請求項３若しくは４の装置。
7. 左隣接ラインの前記再構成サンプルが利用できず、上隣接ラインの前記再構成サンプルが利用できない場合、前記符号化又は復号において、前記線形モデルを暗黙的に無効化する、請求項１若しくは２の方法又は請求項３若しくは４の装置。
8. 前記ブロック幅が第一の値より小さい場合、及び前記ブロック高さが第二の値より小さい場合、前記符号化又は復号において、前記線形モデルを暗黙的に無効化する、請求項１若しくは２の方法又は請求項３若しくは４の装置。
9. 前記少なくとも１つの空間的隣接テンプレートは、前記符号化若しくは復号対象のブロックの上隣接ラインのサンプルの中の、又は前記符号化若しくは復号対象のブロックの左隣接ラインのサンプルの中のサブサンプリングされたサンプルを含む、請求項１若しくは２の方法又は請求項３若しくは４の装置。
10. 前記ブロック幅及びブロック高さの少なくとも一方は２の冪と等しくない、請求項１若しくは２の方法又は請求項３若しくは４の装置。
11. 前記ブロック幅及びブロック高さは等しくない、請求項１若しくは２の方法又は請求項３若しくは４の装置。
12. 前記線形モデルは、
    −cross-component linear model、
    −block based illumination compensation linear model、
    −bi-directional optical flow
    を含む集合に属する、請求項１若しくは２の方法又は請求項３若しくは４の装置。
13. 前記少なくとも１つの空間的隣接テンプレートの再構成サンプルに基づく前記少なくとも１つの線形モデルパラメータは、前記符号化又は復号対象ブロックの前記空間的隣接テンプレートのサンプルと参照ブロックの前記空間的隣接テンプレートのサンプルとの間の歪を最小化することによって得られる、請求項１若しくは２の方法又は請求項３若しくは４の装置。
14. プロセッサに請求項１による前記映像符号化方法を実行させるための命令がその中に記憶された非一時的プロセッサ可読媒体。
15. プロセッサに請求項２による前記映像復号方法を実行させるための命令がその中に記憶された非一時的プロセッサ可読媒体。

Images