JP2022524055A - 適応ループフィルタ処理のための境界ハンドリング - Google Patents

適応ループフィルタ処理のための境界ハンドリング Download PDF

Info

Publication number
JP2022524055A
JP2022524055A JP2021552913A JP2021552913A JP2022524055A JP 2022524055 A JP2022524055 A JP 2022524055A JP 2021552913 A JP2021552913 A JP 2021552913A JP 2021552913 A JP2021552913 A JP 2021552913A JP 2022524055 A JP2022524055 A JP 2022524055A
Authority
JP
Japan
Prior art keywords
sample
video data
gradient
block
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021552913A
Other languages
English (en)
Other versions
JP7507169B2 (ja
JPWO2020185919A5 (ja
Inventor
セレジン、バディム
フ、ナン
カルチェビチ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2022524055A publication Critical patent/JP2022524055A/ja
Publication of JPWO2020185919A5 publication Critical patent/JPWO2020185919A5/ja
Application granted granted Critical
Publication of JP7507169B2 publication Critical patent/JP7507169B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオエンコーダおよび／またはビデオデコーダが、ビデオデータの再構築ブロックに適応ループフィルタを適用するように構成される。ビデオエンコーダおよび／またはビデオデコーダは、サンプルの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルを使用してビデオデータの再構築ブロック中のサンプルの勾配計算を実施することを含む、ビデオデータの再構築ブロック中のサンプルの勾配の値を決定することと、サンプルの勾配の決定された値に少なくとも部分的に基づいて、ビデオデータの再構築ブロックのための適応ループフィルタを決定することと、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタをビデオデータの再構築ブロックに適用することと、を行うように構成され得る。【選択図】図２

Description

優先権の主張
[0001]本出願は、２０２０年３月１０日に出願された米国出願第１６／８１４，５９７号と、２０１９年３月１１日に出願された米国仮出願第６２／８１６，７２８号との優先権を主張するものであり、それらの各々の内容全体は参照によりその全体が本明細書に組み込まれる、
[0002]本開示は、ビデオ符号化およびビデオ復号に関する。
[0003]デジタルビデオ能力は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタルレコーディングデバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲーム機、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、幅広いデバイスの中に組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャは、フレームと呼ばれることがあり、参照ピクチャは、参照フレームと呼ばれることがある。
[0005]概して、本開示では、ビデオコーディングにおけるユーザのためのフィルタに関係する技法について説明する。特に、ピクチャ、スライス、タイル、またはタイルグループの境界の近くにあるサンプルのブロックのための適応ループフィルタ処理（ＡＬＦ：adaptive loop filtering）を実施するとき、ＡＬＦを実施するために使用されるすべてのサンプルが利用可能であるとは限らないことがある。一例では、境界の近くのサンプルの勾配値を決定するために使用されるサンプルは、それらのサンプルが境界の外側にある場合、利用可能でないことがある。別の例では、ブロックのＡＬＦを実施するための勾配および／または他の情報を決定するために使用されるサンプルのブロックの周りのウィンドウ内の勾配値は、利用可能でないことがある。本開示では、境界の近くのサンプルのそのような勾配（またはラプラシアン値）を決定するための技法、および、境界の外側にあるウィンドウ内の勾配値を決定するための技法について、勾配と、方向性と、これらサンプルのために実施されるＡＬＦとの精度を潜在的に改善し、それにより、サンプルのフィルタ処理されたブロックの主観的および／または客観的品質を潜在的に改善する仕方で、説明する。
[0006]一例では、ビデオをコーディングするための方法は、ビデオデータの再構築ブロックを作成するために、ビデオデータのブロックを再構築することを含む。本方法は、サンプルの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルに対応する利用可能サンプルを使用して、ビデオデータの再構築ブロック中のサンプルのための勾配計算を実施することを含む、ビデオデータの再構築ブロック中のサンプルの勾配の値を決定することをさらに含む。本方法は、サンプルの勾配の決定された値に少なくとも部分的に基づいて、ビデオデータの再構築ブロックのための適応ループフィルタを決定することをさらに含む。本方法は、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタをビデオデータの再構築ブロックに適用することをさらに含む。
[0007]別の例では、装置が、ビデオデータのブロックを記憶するように構成されたメモリを含む。本装置は、メモリと通信している、回路中に実装された１つまたは複数のプロセッサをさらに含み、１つまたは複数のプロセッサは、ビデオデータの再構築ブロックを作成するために、ビデオデータのブロックを再構築することと、サンプルの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルに対応する利用可能サンプルを使用してビデオデータの再構築ブロック中のサンプルの勾配計算を実施することを含む、ビデオデータの再構築ブロック中のサンプルの勾配の値を決定することと、勾配の決定された値に少なくとも部分的に基づいて、ビデオデータの再構築ブロックのための適応ループフィルタを決定することと、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタをビデオデータの再構築ブロックに適用することと、を行うように構成される。
[0008]別の例では、ビデオデータをコーディングするように構成された装置は、ビデオデータの再構築ブロックを作成するために、ビデオデータのブロックを再構築するための手段を含む。本装置は、サンプルの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルに対応する利用可能サンプルを使用してビデオデータの再構築ブロック中のサンプルの勾配計算を実施することを含む、ビデオデータの再構築ブロック中のサンプルの勾配の値を決定するための手段をさらに含む。本装置は、サンプルの勾配の決定された値に少なくとも部分的に基づいて、ビデオデータの再構築ブロックのための適応ループフィルタを決定するための手段をさらに含む。本装置は、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタをビデオデータの再構築ブロックに適用するための手段をさらに含む。
[0009]別の例では、コンピュータ可読記憶媒体は、実行されたとき、データをコーディングするように構成された１つまたは複数のプロセッサに、ビデオデータの再構築ブロックを作成するために、ビデオデータのブロックを再構築することと、サンプルの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルに対応する利用可能サンプルを使用してビデオデータの再構築ブロック中のサンプルの勾配計算を実施することを含む、ビデオデータの再構築ブロック中のサンプルの勾配の値を決定することと、サンプルの勾配の決定された値に少なくとも部分的に基づいて、ビデオデータの再構築ブロックのための適応ループフィルタを決定することと、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタをビデオデータの再構築ブロックに適用することと、を行わせる命令で符号化される。
[0010]１つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。
[0011]本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0012]適応ループフィルタ処理を実施することの一部として、サンプルの分類およびフィルタ処理演算を実施するために利用不可能であるピクチャ、スライス、タイル、またはタイルグループの外側のサンプルの例を示す図。 [0013]利用不可能サンプルを使用した適応ループフィルタ処理のための勾配計算のための技法を示す図。 利用不可能サンプルを使用した適応ループフィルタ処理のための勾配計算のための技法を示す図。 [0014]ブロックの勾配値の計算を示す図。 ブロックの勾配値の計算を示す図。 ブロックの勾配値の計算を示す図。 ブロックの勾配値の計算を示す図。 ブロックの勾配値の計算を示す図。 ブロックの勾配値の計算を示す図。 ブロックの勾配値の計算を示す図。 ブロックの勾配値の計算を示す図。 [0015]例示的な適応ループフィルタを示す図。 [0016]例示的な適応ループフィルタを示す図。 [0017]本開示の技法を実施し得る例示的なビデオエンコーダを示すブロック図。 [0018]本開示の技法を実施し得る例示的なビデオデコーダを示すブロック図。 [0019]本開示の技法を実施するためのフィルタユニットの例示的な実装形態を示す図。 [0020]現在ブロックを復号するための例示的な方法を示すフローチャート。 [0021]ビデオデータをコーディングするための例示的な方法を示すフローチャート。
[0022]本開示では、ループ内コーディングの一部として、後処理段階において、または、ビデオコーディングの予測段階において使用され得るフィルタ処理演算に関係する技法について説明する。本開示の技法は、ＨＥＶＣ（高効率ビデオコーディング）など、既存のビデオコーデック中に実装され得るか、または現在開発中のＨ．２６６規格など、将来のビデオコーディング規格のための効率的なコーディングツールであり得る。
[0023]ビデオコーディングは、一般に、同じピクチャ中のビデオデータのすでにコーディングされたブロックからビデオデータのブロックを予測すること（すなわちイントラ予測）、または異なるピクチャ中のビデオデータのすでにコーディングされたブロックからビデオデータのブロックを予測すること（すなわちインター予測）のいずれかを伴う。いくつかの事例では、ビデオエンコーダはまた、予測ブロックを元のブロックと比較することによって残差データを計算する。したがって、残差データは、予測ブロックと元のブロックとの間の差分を表す。ビデオエンコーダは、残差データを変換および量子化し、変換および量子化された残差データを符号化ビットストリーム中でシグナリングする。ビデオデコーダは、予測ブロック単独よりもぴったり元のビデオブロックに一致する再構築ビデオブロックを生成するために、残差データを予測ブロックに加算する。
[0024]復号ビデオの品質をさらに改善するために、ビデオデコーダは、再構築ビデオブロックに対して１つまたは複数のフィルタ処理演算を実施することができる。これらのフィルタ処理演算の例は、デブロッキングフィルタ処理、サンプル適応オフセット（ＳＡＯ：sample adaptive offset）フィルタ処理、および適応ループフィルタ処理（ＡＬＦ：adaptive loop filtering）を含む。これらのフィルタ処理演算のためのパラメータは、ビデオエンコーダによって決定され、符号化ビデオビットストリーム中で明示的にシグナリングされるか、またはパラメータが符号化ビデオビットストリーム中で明示的にシグナリングされる必要なしにビデオデコーダによって暗黙的に決定されるかのいずれかであり得る。本開示では、ＡＬＦに関係する技法について説明する。ＡＬＦは、後処理段階においてまたはループ内コーディングのために、あるいは予測プロセスにおいて使用され得る。
[0025]ビデオデコーダは、ビデオデータに対してＡＬＦを実施することの一部として、ビデオデータ中のサンプルに対して分類演算（classification operation）を実施し得る。ビデオデータ中のサンプルに対してそのような分類演算を実施するために、ビデオデコーダは、ビデオデータ中のサンプルの各々について、近隣サンプルに少なくとも部分的に基づいてビデオデータ中のサンプルの勾配値（gradient value）を計算することを含む、様々な計算を実施し得る。しかしながら、サンプルが、ピクチャ、スライス、タイル、またはタイルグループの境界上にあるとき、サンプルの勾配値を計算するために使用される１つまたは複数の近隣サンプルは、この１つまたは複数の近隣サンプルがピクチャ、スライス、タイル、またはタイルグループの境界の外側にあるので、利用不可能であり得る。
[0026]一例では、ビデオデコーダは、ピクチャ、スライス、タイル、またはタイルグループの境界の外側にある近隣サンプルを、境界の内側にある最も近いサンプルに置換するために、反復パディングなどの技法を使用し得る。しかしながら、それらの技法は、主観的および／または客観的品質の低下を潜在的にもたらすことがある。たとえば、反復パディングは、実際のサンプル値が使用されたのであれば本来は現れなかったであろう不連続性を再構築ビデオデータに潜在的にもたらすことがある。
[0027]本開示の態様によれば、ビデオデコーダは、フィルタ処理の後のサンプルの主観的および／または客観的品質を潜在的に改善する仕方で、ピクチャ、スライス、タイル、またはタイルグループの境界上のサンプルの勾配値を計算し得る。一例では、ビデオデコーダは、ピクチャ、スライス、タイル、またはタイルグループの境界の外側にある１つまたは複数の近隣サンプルを、勾配方向に沿って、ピクチャ、スライス、タイル、またはタイルグループ内で１つまたは複数の利用不可能サンプルの最も近いサンプルのサンプル値に置換することによって、ピクチャ、スライス、タイル、またはタイルグループの境界上のサンプルの勾配値を計算し得る。ピクチャ、スライス、タイル、またはタイルグループの境界の外側にある１つまたは複数の近隣サンプルを、勾配方向に沿って、ピクチャ、スライス、タイル、またはタイルグループ内で１つまたは複数の利用不可能サンプルの最も近いサンプルのサンプル値に置換することによって、本明細書で説明される技法は、反復パディングなどの技法と比較して、フィルタ処理の後のサンプルの主観的および／または客観的品質を改善し、それにより、上記で説明された潜在的な技術的問題への技術的解決策を提供し得る。
[0028]本開示で使用されるビデオコーディングという用語は、ビデオ符号化またはビデオ復号のいずれかを総称的に指す。同様に、ビデオコーダという用語は、ビデオエンコーダまたはビデオデコーダを総称的に指すことがある。その上、ビデオ復号に関して本開示で説明されるいくつかの技法は、ビデオ符号化にも適用され得、その逆も同様である。たとえば、頻繁に、ビデオエンコーダとビデオデコーダとは、同じプロセスまたは逆のプロセスを実施するように構成される。また、ビデオエンコーダは、一般に、ビデオデータをどのように符号化するべきかを決定するプロセスの一部としてビデオ復号を実施する。
[0029]図１は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング（符号化および／または復号）することを対象とする。概して、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、生の符号化されていないビデオ、符号化されたビデオ、復号された（たとえば、再構築された）ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。
[0030]図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化ビデオデータを提供するソースデバイス１０２を含む。詳細には、ソースデバイス１０２は、コンピュータ可読媒体１１０を介してビデオデータを宛先デバイス１１６に提供する。ソースデバイス１０２と宛先デバイス１１６とは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかであり得る。いくつかの場合には、ソースデバイス１０２と宛先デバイス１１６とは、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。
[0031]図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００と、宛先デバイス１１６のビデオデコーダ３００とは、適応ループフィルタ処理のための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの例を表し、宛先デバイス１１６はビデオ復号デバイスの例を表す。他の例では、ソースデバイスと宛先デバイスとは、他の構成要素または配置を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
[0032]図１に示されているシステム１００は一例にすぎない。概して、どんなデジタルビデオ符号化および／または復号デバイスも、適応ループフィルタ処理のための技法を実施し得る。ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２が宛先デバイス１１６への送信のためにコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示では、データのコーディング（符号化および／または復号）を実施するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、コーディングデバイス、特に、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２と宛先デバイス１１６との各々がビデオ符号化および復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのために、ソースデバイス１０２と宛先デバイス１１６との間の一方向または双方向のビデオ送信をサポートし得る。
[0033]概して、ビデオソース１０４は、ビデオデータ（すなわち、生の符号化されていないビデオデータ）のソースを表し、ビデオデータの連続的な一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためにデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラ、以前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなど、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとして、コンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーィングのためのコーディング順序に並べ替え得る。ビデオエンコーダ２００は、符号化ビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および／または取出しのために、出力インターフェース１０８を介して符号化ビデオデータをコンピュータ可読媒体１１０上に出力し得る。
[0034]ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、生のビデオデータ、たとえば、ビデオソース１０４からの生のビデオ、およびビデオデコーダ３００からの生の復号ビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００とビデオデコーダ３００とによって実行可能なソフトウェア命令を記憶し得る。メモリ１０６とメモリ１２０とは、この例ではビデオエンコーダ２００とビデオデコーダ３００とは別個に示されているが、ビデオエンコーダ２００とビデオデコーダ３００とは、機能的に同様または等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化ビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、生の復号および／または符号化ビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。
[0035]コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化ビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化ビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化ビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を復調し得る。通信媒体は、高周波（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を含み得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。
[0036]いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１２に符号化データを出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介して記憶デバイス１１２からの符号化データにアクセスし得る。記憶デバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。
[0037]いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化ビデオを記憶し得るファイルサーバ１１４または別の中間記憶デバイスに符号化ビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介して、ファイルサーバ１１４から、記憶されたビデオデータにアクセスし得る。ファイルサーバ１１４は、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイトのための）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、コンテンツ配信ネットワークデバイス、またはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。宛先デバイス１１６は、インターネット接続を含む、任意の標準データ接続を通してファイルサーバ１１４から符号化ビデオデータにアクセスし得る。これは、ファイルサーバ１１４に記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、デジタル加入者線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。ファイルサーバ１１４と入力インターフェース１２２とは、ストリーミング送信プロトコル、ダウンロード送信プロトコル、またはそれらの組合せに従って動作するように構成され得る。
[0038]出力インターフェース１０８と入力インターフェース１２２とは、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８と入力インターフェース１２２とがワイヤレス構成要素を含む例では、出力インターフェース１０８と入力インターフェース１２２とは、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなどのセルラー通信規格に従って符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を含むいくつかの例では、出力インターフェース１０８と入力インターフェース１２２とは、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの他のワイヤレス規格に従って符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属する機能を実施するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属する機能を実施するためのＳｏＣデバイスを含み得る。
[0039]本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
[0040]宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４など）から符号化ビデオビットストリームを受信する。符号化ビデオビットストリームは、ビデオブロックまたは他のコード化ユニット（たとえば、スライス、ピクチャ、ピクチャのグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素など、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、復号ビデオデータの復号ピクチャをユーザに表示する。ディスプレイデバイス１１８は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。
[0041]図１には示されていないが、いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは各々、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームをハンドリングするために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットはＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
[0042]ビデオエンコーダ２００とビデオデコーダ３００とは各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダおよび／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００とビデオデコーダ３００との各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として組み込まれ得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話機などのワイヤレス通信デバイスを含み得る。
[0043]ビデオエンコーダ２００とビデオデコーダ３００とは、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５などのビデオコーディング規格あるいはマルチビューおよび／またはスケーラブルビデオコーディング拡張などのそれの拡張に従って動作し得る。代替的に、ビデオエンコーダ２００とビデオデコーダ３００とは、共同探査テストモデル（ＪＥＭ：Joint Exploration Test Model）、または汎用ビデオコーディング（ＶＶＣ：Versatile Video Coding）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６など、他のプロプライエタリまたは業界規格に従って動作し得る。ＶＶＣ規格の最近のドラフトは、Ｂｒｏｓｓら、「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ７）」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３とＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１とのジョイントビデオエキスパーツチーム（ＪＶＥＴ）、第１６回会合：ジュネーブ、ＣＨ、２０１９年１０月１～１１日、ＪＶＥＴ－Ｐ２００１－ｖ９（以下、「ＶＶＣドラフト７」）に記載されている。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
[0044]概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ピクチャのブロックベースのコーディングを実施し得る。「ブロック」という用語は、処理されるべき（たとえば、符号化されるべき、復号されるべき、あるいは符号化および／または復号プロセスにおいて他の方法で使用されるべき）データを含む構造を一般に意味する。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマット付きデータをＹＵＶ表現にコンバートし、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットにコンバートする。代替的に、前処理および後処理ユニット（図示されず）が、これらのコンバージョンを実施し得る。
[0045]本開示では、概して、ピクチャのコーディング（たとえば、符号化および復号）を、ピクチャのデータを符号化または復号するプロセスを含むように言及し得る。同様に、本開示では、ピクチャのブロックのコーディングを、ブロックのデータを符号化または復号するプロセス、たとえば、予測および／または残差コーディングを含むように言及し得る。符号化ビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素の一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成しているシンタックス要素の値をコーディングすることとして理解されたい。
[0046]ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、クワッドツリー構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとを４つの等しい重複しない四角形に区分し、クワッドツリーの各ノードは、０個または４個のいずれかの子ノードを有する。子ノードなしのノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵならびに／あるいは１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差クワッドツリー（ＲＱＴ）は、ＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモードインジケーションなどのイントラ予測情報を含む。
[0047]別の例として、ビデオエンコーダ２００とビデオデコーダ３００とは、ＪＥＭまたはＶＶＣに従って動作するように構成され得る。ＪＥＭまたはＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、クワッドツリーバイナリツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造など、ツリー構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、クワッドツリー区分に従って区分される第１のレベル、およびバイナリツリー区分に従って区分される第２のレベルという、２つのレベルを含む。ＱＴＢＴ構造のルートノードはＣＴＵに対応する。バイナリツリーのリーフノードはコーディングユニット（ＣＵ）に対応する。
[0048]ブロック（たとえば、ＣＴＵまたはＣＵ）は、ピクチャの中で様々な方法でグループ化され得る。一例として、ブリック（brick）は、ピクチャ中の特定のタイル内のＣＴＵ行の矩形領域を参照し得る。タイルは、ピクチャ中の特定のタイル列と特定のタイル行との内のＣＴＵの矩形領域であり得る。タイル列は、ピクチャの高さに等しい高さと、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された幅とを有するＣＴＵの矩形領域を参照する。タイル行は、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された高さと、ピクチャの幅に等しい幅とを有するＣＴＵの矩形領域を参照する。
[0049]いくつかの例では、タイルは複数のブリックに区分され得、それらの各々は、タイル内に１つまたは複数のＣＴＵ行を含み得る。複数のブリックに区分されないタイルもブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。
[0050]ピクチャ中のブリックはまた、スライス中に配置され得る。スライスは、もっぱら単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニット中に含まれていることがあるピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、いくつかの完全なタイル、または１つのタイルの完全なブリックの連続シーケンスのみのいずれかを含む。
[0051]本開示では、たとえば、１６×１６サンプルまたは１６個ずつの１６個のサンプルなど、垂直寸法と水平寸法とに関して、（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル寸法を参照するために「Ｎ×Ｎ」と「Ｎ個ずつのＮ個」とを互換的に使用し得る。一般に、１６×１６ＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×Ｎ ＣＵは、一般に、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵ中のサンプルは、行と列とに配置され得る。さらに、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍのサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。
[0052]ビデオエンコーダ２００は、予測および／または残差情報、ならびに他の情報を表す、ＣＵのためのビデオデータを符号化する。予測情報は、ＣＵについて予測ブロックを形成するためにＣＵがどのように予測されるべきかを示す。残差情報は、概して、符号化の前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差を表す。
[0053]ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通してＣＵについて予測ブロックを形成し得る。インター予測は、概して、前にコーディングされたピクチャのデータからＣＵを予測することを指すが、イントラ予測は、概して、同じピクチャの前にコーディングされたデータからＣＵを予測することを指す。インター予測を実施するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、概して、たとえば、ＣＵと参照ブロックとの間の差分に関して、ＣＵにぴったり一致する参照ブロックを識別するために動き探索を実施し得る。ビデオエンコーダ２００は、参照ブロックが現在ＣＵにぴったり一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在ＣＵを予測し得る。
[0054]ＪＥＭとＶＶＣとのいくつかの例はまた、インター予測モードと考えられ得る、アフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き（perspective motion）、あるいは他の変則の動きタイプなど、非並進の動きを表す２つ以上の動きベクトルを決定し得る。
[0055]イントラ予測を実施するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。ＪＥＭとＶＶＣとのいくつかの例は、様々な方向性モード、ならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在ブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在ブロックに隣接する（nighboring）サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、概して、現在ブロックと同じピクチャ中の現在ブロックの上方、上方および左側、または左側にあり得る。
[0056]ビデオエンコーダ２００は、現在ブロックについて予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードの動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して、動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードの動きベクトルを符号化するために同様のモードを使用し得る。
[0057]ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、当該ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域中に変換データを生成するために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、モード依存非分離可能２次変換（ＭＤＮＳＳＴ：mode-dependent non-separable secondary transform）、信号依存変換（signal dependent transform）、カルーネンレーベ変換（ＫＬＴ）など、第１の変換に続いて２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を生成する。
[0058]上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実施し得る。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減させるために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ２００は、変換係数の一部または全部に関連するビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化中にｎビット値をｍビット値に丸めることがあり、ここで、ｎはｍよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位右シフトを実施し得る。
[0059]量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（したがって、より低い頻度）の変換係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、あらかじめ定義された走査順序を利用して、量子化された変換係数を走査してシリアル化ベクトルを生成し、次いで、当該ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は適応型走査を実施し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化ビデオデータに関連付けられたメタデータを記述するシンタックス要素の値をエントロピー符号化し得る。
[0060]ＣＡＢＡＣを実施するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの近隣値が０値であるか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
[0061]ビデオエンコーダ２００は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータ中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。
[0062]このようにして、ビデオエンコーダ２００は、符号化ビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックの予測および／または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化ビデオデータを復号し得る。
[0063]概して、ビデオデコーダ３００は、ビットストリームの符号化ビデオデータを復号するために、ビデオエンコーダ２００によって実施されたものの逆プロセスを実施する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素の値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ＣＴＵへのピクチャの区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）についての予測および残差情報をさらに定義し得る。
[0064]残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックの残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックの予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関係する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、次いで、（サンプルごとに）予測ブロックと残差ブロックとを組み合わせて（combine）、元のブロックを再生し得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実施することなど、追加の処理を実施し得る。
[0065]本開示の技法によれば、ビデオエンコーダおよび／またはビデオデコーダは、ビデオデータの再構築ブロックを作成するために、ビデオデータのブロックを再構築することと、サンプルの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルに対応する利用可能サンプルを使用して、ビデオデータの再構築ブロック中のサンプルの勾配計算を実施することを含む、ビデオデータの再構築ブロック中の当該サンプルの勾配の値を決定することと、当該サンプルの勾配の決定された値に少なくとも部分的に基づいて、ビデオデータの再構築ブロックのための適応ループフィルタを決定することと、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタをビデオデータの再構築ブロックに適用することとを行うように構成され得る。
[0066]本開示では、一般に、シンタックス要素などの、ある情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、概して、符号化ビデオデータを復号するために使用されるシンタックス要素および／または他のデータの値の通信を指し得る。すなわち、ビデオエンコーダ２００は、ビットストリーム中でシンタックス要素の値をシグナリングし得る。概して、シグナリングは、ビットストリーム中に値を生成することを指す。上述されたように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素を記憶デバイス１１２に記憶するときに起こり得るように、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。
[0067]ビデオコーディングの分野では、再構築および／または復号ビデオ信号の品質を向上させるためにフィルタ処理（たとえば、適応ループフィルタ）を適用することが一般的である。本開示のコンテキストでは、ビデオデータの再構築ブロックは、ビデオエンコーダ２００の再構築ループにおいて再構築されたビデオデータのブロックを指し得るか、またはビデオデコーダ３００によって復号されたビデオデータのブロックを指し得る。いくつかの例では、フィルタは、フィルタ処理されたフレームが将来のフレームの予測のために使用されないポストフィルタとして適用され得るか、またはフィルタは、フィルタ処理されたフレームが将来のフレームを予測するために使用されるループ内フィルタとして適用され得る。フィルタは、たとえば、元の信号と、再構築／復号されたフィルタ処理された信号との間の誤差を最小限に抑えることによって設計され得る。変換係数と同様に、ビデオエンコーダ２００は、次式によってフィルタの係数ｈ（ｋ，ｌ）、ｋ＝－Ｋ，…，Ｋ、ｌ＝－Ｋ，…Ｋを量子化コーディングし得る。
Figure 2022524055000002
ビデオエンコーダ２００は、コーディングされた量子化係数をビデオデコーダ３００に送り得る。正規化ファクタ（ｎｏｒｍＦａｃｔｏｒ）は２nに等しくなり得る。ｎｏｒｍＦａｃｔｏｒの値がより大きいほど、量子化はより正確であり、量子化されたフィルタ係数ｆ（ｋ，ｌ）はより良い性能を提供する。しかしながら、ｎｏｒｍＦａｃｔｏｒのより大きい値は、より多くのビットを送信することを必要とする係数ｆ（ｋ，ｌ）を生成する。
[0068]ビデオデコーダ３００において、復号されたフィルタ係数ｆ（ｋ，ｌ）は、以下のように再構築された画像／ブロックＲ（ｉ，ｊ）に適用され、
Figure 2022524055000003
ここで、ｉとｊとは、フレームまたはブロック内のサンプルの座標である。
[0069]ビデオエンコーダ２００とビデオデコーダ３００とは、様々なＡＬＦフィルタ処理技法を実装するように構成され得る。これらのフィルタ処理技法（たとえば、ＡＬＦ）の態様について次に説明される。
[0070]ループ内ＡＬＦは、ＨＥＶＣ開発段階中に評価されたが、ＡＬＦは、ＨＥＶＣ規格の最終バージョンに含まれなかった。しかしながら、ループ内ＡＬＦはＶＶＣに採用された。例示的な詳細は、Ｍ．Ｋａｒｃｚｅｗｉｃｚ、Ｌ．Ｚｈａｎｇ、Ｗ．－Ｊ．Ｃｈｉｅｎ、Ｘ．Ｌｉ、「ＥＥ２．５： Ｉｍｐｒｏｖｅｍｅｎｔｓ ｏｎ ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３とＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１との探査チーム（ＪＶＥＴ）、Ｄｏｃ．ＪＶＥＴ－Ｂ００６０、第２回会合：サンディエゴ、米国、２０１６年２月２０日～２月２６日と、Ｍ．Ｋａｒｃｚｅｗｉｃｚ、Ｌ．Ｚｈａｎｇ、Ｗ．－Ｊ．Ｃｈｉｅｎ、Ｘ．Ｌｉ、「ＥＥ２．５： Ｉｍｐｒｏｖｅｍｅｎｔｓ ｏｎ ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ」、ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３とＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１との探査チーム（ＪＶＥＴ）、Ｄｏｃ．ＪＶＥＴ－Ｃ００３８、第３回会合：ジュネーブ、ＣＨ、２０１６年５月２６日～６月１日とに記載されたＡＬＦの簡略バージョンである、Ｂ．Ｂｒｏｓｓ、Ｊ．Ｃｈｅｎ、Ｓ．Ｌｉｕ、「ＪＶＥＴ－Ｌ１００１： Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ３）」に見出され得る。
[0071]ＶＶＣでは、ピクチャ中のルーマ成分について、ビデオエンコーダ２００とビデオデコーダ３００とは、ＡＬＦのために７×７ダイヤモンド形フィルタを適用するように構成され得る。ＶＶＣでは、ピクチャ中の両方のクロマ成分（たとえば、ＣｒとＣｂ）について、ビデオエンコーダ２００とビデオデコーダ３００とは、５×５ダイヤモンド形フィルタなど、ＡＬＦ係数の単一のセットを適用するように構成され得る。いくつかの例では、他のフィルタ形が使用されてもよい。
[0072]ビデオデコーダ３００は、各サンプル
Figure 2022524055000004
をフィルタ処理して、式（２）に示されるサンプル値Ｉ’i,jを生じるように構成され得、ここで、Ｌはフィルタ長を示し、ｆm,nはフィルタ係数を表し、ｏはフィルタオフセットを示す。
Figure 2022524055000005
ＶＶＣテストモデル３（ＶＴＭ３）では、ＢＤFによって示されるビット深度は、８に設定された。
[0073]ＶＶＣテストモデル５（ＶＴＭ５．０）では、クリッピングがＡＬＦに導入され、式（２）は、式（２＊）に示されるように修正され、
Figure 2022524055000006
ここで、ｃm,nはクリッピングパラメータである。
[0074]ＡＬＦは、ＶＶＣドラフト４において採用された。ＡＬＦ分類の詳細な説明は、２０１９年５月３０日に出願された米国特許出願第１６／４２７，０１７号に見出され得る。ＶＶＣでは、分類は、「ＣＥ２： Ｓｕｂｓａｍｐｌｅｄ Ｌａｐｌａｃｉａｎ ｃａｌｃｕｌａｔｉｏｎ （Ｔｅｓｔ ６．１， ６．２， ６．３， ａｎｄ ６．４）」、ＪＶＥＴ－Ｌ０１４７、第１２回会合：マカオ、ＣＮ、２０１８年１０月３～１２日に記載されているように、サブサンプリングされた勾配計算を使用して４×４ルーマブロックごとに実施される。加えて、７タップフィルタがルーマサンプルに適用され、５タップフィルタがクロマサンプルに適用される。ＶＶＣドラフト７では、ＡＬＦは、ＣＴＵ間の水平境界に沿ったデブロッキングフィルタおよびＳＡＯへの依存性により、余分のサンプルを記憶するためにバッファの７つのラインを使用する。ラインバッファの使用の詳細な説明は、ＪＶＥＴ－Ｍ０１６４と、ＪＶＥＴ－Ｍ０３０１とに見出され得る。
[0075]ネイバーＣＴＵからのサンプルを記憶するためにラインの数を低減または除去するために、ＪＶＥＴ－Ｍ０１６４、ＪＶＥＴ－Ｍ０３０１、２０１８年１１月２６日に出願された米国特許出願第１６／２００，１９７号、および２０１７年５月２日に発行された米国特許第９，６４１，８６６号など、いくつかの技法が開発されている。
[0076]「Ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ ｗｉｔｈ ｖｉｒｔｕａｌ ｂｏｕｎｄａｒｙ ｐｒｏｃｅｓｓｉｎｇ」、ＪＶＥＴ－Ｍ０１６４、第１３回会合：マラケシュ、ＭＡ、２０１９年１月９～１８日（以下、ＪＶＥＴ－Ｍ０１６４）と、「Ｎｏｎ－ＣＥ： Ｌｏｏｐ ｆｉｌｔｅｒ ｌｉｎｅ ｂｕｆｆｅｒ ｒｅｄｕｃｔｉｏｎ」、ＪＶＥＴ－Ｍ０３０１、第１３回会合：マラケシュ、ＭＡ、２０１９年１月９～１８日（以下、ＪＶＥＴ－Ｍ０３０１）と、米国特許出願第１６／２００，１９７号と、米国特許第９，６４１，８６６号とにおける技法は、ＣＴＵ間の水平境界のみに適用される。ＶＶＣドラフト７では、ピクチャ、スライス、タイル、またはタイルグループの外側のサンプルの利用不可能性により、ピクチャ、スライス、タイル、またはタイルグループの境界における複製されたパディングが適用される。
[0077]ビデオエンコーダ２００とビデオデコーダ３００とは、ビデオデータのブロック（たとえば、ルーマサンプルおよび／またはクロマサンプルのブロック）に適用するためにＡＬＦの複数のクラスのうちの１つを決定するように構成され得る。ＶＴＭ３を実装するとき、ビデオエンコーダ２００とビデオデコーダ３００とは、各４×４ルーマブロックに分類を適用するように構成される。ビデオエンコーダ２００とビデオデコーダ３００とは、ブロックのアクティビティの決定された方向性および量子化値に基づいて、各４×４ブロックを２５個のクラスの中からの１つに分類するように構成され得る。詳細について以下で説明される。
[0078]ビデオエンコーダ２００とビデオデコーダ３００とは、各４×４ルーマブロックに対し、ブロックのサンプルの１Ｄラプラシアン方向と、ブロックのサンプルの２Ｄラプラシアンアクティビティとに基づいて、ブロックのためのＡＬＦの分類（classification）を決定するように構成され得る。一例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ブロックの勾配値（gradient values）を決定するために、４×４ルーマブロックをカバーする８×８ウィンドウ内の１つおきのサンプル（every other sample）の勾配（gradient）の和を計算するように構成され得る。ビデオエンコーダ２００とビデオデコーダ３００とは、ｇvによって示される垂直勾配値、ｇhによって示される水平勾配値、ｇd1によって示される１３５度対角勾配値、およびｇd2によって示される４５度対角勾配値という、４つの勾配値を計算するように構成され得る。
以下の表１は、勾配から決定され得る潜在的な方向性値と、ブロックのサンプル値に関するそれらの物理的意味とを示す。左上座標（ｉ，ｊ）をもつ４×４サブブロックについて、勾配値ｇv、ｇh、ｇd1およびｇd2は、以下のように定義され、
Figure 2022524055000007
ここで、ｋとｌの両方が偶数であるか、またはｋとｌの両方が偶数でない場合、
Figure 2022524055000008
であり、そうでない場合、Ｖk,l＝０であり、
Figure 2022524055000009
ここで、ｋとｌの両方が偶数であるか、またはｋとｌの両方が偶数でない場合、
Figure 2022524055000010
であり、そうでない場合、Ｈk,l＝０であり、
Figure 2022524055000011
ここで、ｋとｌの両方が偶数であるかまたはｋとｌの両方が偶数でない場合、
Figure 2022524055000012
であり、そうでない場合、Ｄ１k,l＝０であり、
Figure 2022524055000013
ここで、ｋとｌの両方が偶数であるかまたはｋとｌの両方が偶数でない場合、
Figure 2022524055000014
であり、そうでない場合、Ｄ２k,l＝０である。
[0079]
Figure 2022524055000015
[0080]方向性Ｄを割り当てるために、ビデオエンコーダ２００とビデオデコーダ３００とは、以下の式（３）においてＲh,vによって示される、水平および垂直勾配値の最大値と最小値との比、および式（４）においてＲd1,d2によって示される、２つの対角勾配の最大値と最小値との比を、２つのしきい値ｔ1およびｔ2を用いて互いに比較するように構成され得る。
Figure 2022524055000016
[0081]水平／垂直勾配および対角勾配の検出された比を比較することによって、ビデオエンコーダ２００とビデオデコーダ３００とは、５つの方向モード、すなわち、両端値を含む［０，４］の範囲内のＤを、以下の式（５）において定義されるように決定し得る。
Figure 2022524055000017
[0082]ビデオエンコーダ２００とビデオデコーダ３００とは、次式のようにブロックのアクティビティ値Ａｃｔを計算し得る。
Figure 2022524055000018
[0083]ビデオエンコーダ２００とビデオデコーダ３００とは、アクティビティ値Ａｃｔを、両端値を含む０～４の範囲にさらに量子化し得、量子化値は
Figure 2022524055000019
として示される。この量子化プロセスについて以下で詳述される。
[0084]例示的な量子化プロセスは次式のように定義され、
Figure 2022524055000020
ここで、ＮＵＭ＿ＥＮＴＲＹは１６に設定され、スケールファクタは２４に設定され、シフトは（３＋内部コード化ビット深度）であり、ＡｃｔｉｖｉｔｙＴｏＩｎｄｅｘ［ＮＵＭ＿ＥＮＴＲＹ］＝｛０，１，２，２，２，２，２，３，３，３，３，３，３，３，３，４｝であり、関数Ｃｌｉｐ＿ｐｏｓｔ（ａ，ｂ）は、ａとｂとのうちのより小さい値を返す。
[0085]アクティビティ値を計算する異なる仕方により、スケールファクタとＡｃｔｉｖｉｔｙＴｏＩｎｄｅｘは両方とも、ＪＥＭ２．０ではＡＬＦ設計と比較して修正され得る。
[0086]例示的な形状変換ベースのＡＬＦ（ＧＡＬＦ）方式では、ビデオエンコーダ２００とビデオデコーダ３００とは、次式のように、ブロックの方向性Ｄと、ブロックのアクティビティの量子化値
Figure 2022524055000021
とに基づいて、各Ｎ×Ｎブロックを２５個のクラスのうちの１つ（Ｃ）に分類するように構成され得る。
Figure 2022524055000022
[0087]一例では、
Figure 2022524055000023
の値は、列ごとに、変数Ａｃｔから導出された０…４に設定される。
Figure 2022524055000024
の新しい値のための最も小さいＡｃｔは、最上行にわたってマークされる（たとえば、０、８１９２、１６３８４、５７３４４、１２２８８０）。たとえば、［１６３８４，５７３４４－１］内の値をもつＡｃｔは、２に等しい
Figure 2022524055000025
内に入る。
[0088]分類（classification）ごとに、ビデオエンコーダ２００は、フィルタ係数の１つのセットをシグナリングするように構成され得る。同じクラスインデックスでマークされたブロックの異なる方向をより良く区別するために、変換なしと、対角と、垂直反転と、回転とを含む、４つの形状変換（geometry transformation）が使用され得る。３つの追加の形状変換の公式の形式は、次式のように表され得る。
Figure 2022524055000026
ここで、Ｋはフィルタのサイズであり、０≦ｋ，ｌ≦Ｋ－１は、ロケーション（０，０）がブロックの左上コーナーにあり、ロケーション（Ｋ－１，Ｋ－１）がブロックの右下コーナーにあるような、係数座標である。ダイヤモンド形フィルタサポートが使用されるとき、フィルタサポートの外側の座標をもつ係数は、０に設定され得ることに留意されたい。形状変換インデックスを示すための１つの技法は、追加のオーバーヘッドを回避するために形状変換を暗黙的に（たとえば、シグナリングなしに）導出することである。ＧＡＬＦのいくつかの例では、変換は、そのブロックのために計算された勾配値に応じてフィルタ係数ｆ（ｋ，ｌ）に適用される。変換と４つの勾配との間の関係が、以下の表２に記載されている。１つまたは複数の例では、変換は、２つの勾配（水平および垂直、または４５度および１３５度勾配）のうちのどの１つがより大きいかに基づく。この比較に基づいて、より正確な方向情報が抽出され得る。したがって、フィルタ係数のオーバーヘッドは増加されないが、変換により、異なるフィルタ処理結果が取得され得る。
[0089]
Figure 2022524055000027
[0090]上記で論じられたように、水平境界ならびに垂直境界の両方を含む、ピクチャ、スライス、タイル、またはタイルグループの境界では、そのような境界の外側のサンプルは、ビデオエンコーダ２００とビデオデコーダ３００とが、ＡＬＦのためにそのような境界に沿ってサンプルに対して分類およびフィルタ処理演算を実施するために利用不可能である。ピクチャの境界は、ビデオデータのフレームの境界であり得るが、スライス、タイル、またはタイルグループの境界は、ビデオデータの同じフレーム内のスライス、タイル、およびタイルグループなど、ビデオデータの単一のフレームの部分を分離する境界であり得、仮想境界と呼ばれることもある。いくつかの例では、本開示の目的では、本明細書で論じられる境界は、同じくスライス／タイル／タイルグループ／ピクチャ境界でないＣＴＵ境界を含まない。
[0091]図２は、適応ループフィルタ処理を実施することの一部として、サンプルの分類およびフィルタ処理演算を実施するために利用不可能であるピクチャ、スライス、タイル、またはタイルグループの外側のサンプルの例を示す。図２に示されているように、サンプル１４２Ａ～１４２Ｄは、ブロック１４６の境界１４０の内側にあり、ここで、ブロック１４６は、ピクチャ、スライス、タイル、またはタイルグループであり得、サンプル１４３Ａ～１４４Ｄは、ブロック１４６の境界１４０の外側にある。特に、サンプル１４２Ａ～１４２Ｄは、サンプル１４２Ａ～２４Ｄが、ブロック１４６の境界１４０の外側にあるサンプル１４３Ａ～１４４Ｄのうちのサンプルにそれぞれ隣接するように、サンプル１４２Ａ～１４２Ｄがブロック１４６のエッジにおけるサンプルであるので、境界１４０に沿ってあると言われる。
[0092]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ブロック１４６の境界１４０の外側のサンプル１４３Ａ～１４４Ｄの使用を必要とする、ブロック１４６のサンプル１４２Ａ～１４２Ｄのための分類およびフィルタ処理演算を実施し得る。たとえば、境界１４０に沿ったサンプル１４２Ａの１つまたは複数の勾配値を計算するために、ビデオエンコーダ２００および３００は、１つまたは複数の勾配値の計算を実施するためにサンプル１４３Ａのうちの１つまたは複数のサンプルを必要とし得る。しかしながら、サンプル１４３Ａ～１４４Ｄは境界１４０の外側にあるので、サンプル１４３Ａ～１４４Ｄは、サンプル１４２Ａ～１４２Ｄのための分類およびフィルタ処理演算を実施するために利用不可能であり得る。
[0093]したがって、いくつかの技法は、サンプル１４２Ａ～１４２Ｄなど、境界１４０に沿ったサンプルのための分類およびフィルタ処理演算を実施するために、境界１４０の外側のサンプルの代わりに、ブロック１４６の境界１４０内の最も近いサンプルを使用する。１つのそのような技法は、反復パディング（repetitive padding）と呼ばれ、境界１４０の水平境界と垂直境界の両方において使用され得る。しかしながら、それらの技法は、主観的（subjective）および／または客観的（objective）品質の低下を潜在的にもたらすことがある。たとえば、反復パディングは、実際のサンプル値が使用されたのであれば本来は現れなかったであろう不連続性を再構築ビデオデータに潜在的にもたらすことがある。
[0094]したがって、反復パディングまたは他の同様の技法などの技法を使用する代わりに、本開示の態様では、フィルタ処理の後のサンプルの主観的および／または客観的品質を潜在的に改善する仕方で、ブロック１４６の境界１４０の外側のサンプル１４３Ａ～１４４Ｄのうちの１つまたは複数のサンプル値を、ブロック１４６内のサンプルのサンプル値に置換することによって、ブロック１４６の境界１４０に沿ってあるサンプル１４２Ａ～１４２Ｄの勾配を決定するための技法について説明する。
[0095]いくつかの態様では、本開示の技法は、ＪＶＥＴ－Ｍ０１６４と、ＪＶＥＴ－Ｍ０３０１と、米国特許出願第１６／２００，１９７号と、米国特許第９，６４１，８６６号との技法を、ブロック１４６の境界１４０など、ピクチャ、スライス、タイル、またはタイルグループの水平および垂直境界に拡張する。説明される技法は、個々に、または任意の組合せで一緒に適用され得る。
[0096]一例では、ビデオエンコーダ２００とビデオデコーダ３００とは、適応ループフィルタ処理を実施することの一部として勾配計算を実施し得る。上記で論じられたように、サンプルは、そのブロックの総ラプラシアンアクティビティと方向性とに基づいて２５個のカテゴリーのうちの１つに分類され得る。一例では、勾配値の計算において、サンプルが、境界１４０の外側にあるなど、現在ピクチャ／スライス／タイル／タイルグループの外にあり、したがって、勾配値の計算のために利用不可能である場合、ビデオエンコーダ２００とビデオデコーダ３００とは、勾配計算を実施するとき、利用不可能サンプルのサンプル値の代わりに、勾配方向に沿った、ブロック１４６などの現在ピクチャ、スライス、タイル、またはタイルグループ中の、利用不可能サンプルに最も近いサンプルのサンプル値を使用し得る。
[0097]図３Ａと図３Ｂとは、利用不可能サンプルを使用した適応ループフィルタ処理のための勾配計算のための技法を示す。適応ループフィルタ処理を実施することの一部として、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプルの勾配値を計算することに基づいて、分類およびフィルタ処理演算を実施し得る。
[0098]図３Ａに示されているように、ブロック１４８は、ピクチャ、スライス、タイル、タイルグループなどであり得、ここで、ブロック１４８の境界の外側のサンプルは、勾配計算を実施するために、ブロック１４８内のサンプルに利用不可能であり得る。ブロック１４８は、たとえば、垂直境界であり得る左境界１５０Ａと、水平境界であり得る上境界１５０Ｂとによって画定され得る。「境界」という用語は、本開示では、ピクチャの境界、またはビデオデータの２つの部分間の境界を示すために使用され、ここで、これらの部分は、同じビデオブロック内にまたは異なるビデオブロック中に存在し得る。したがって、「境界」という用語は、２つのビデオブロックを分離している境界に限定されるように解釈されるべきではなく、ビデオデータの任意の２つの部分を分離し得る仮想境界をも含み得る。いくつかの例では、境界という用語は、同じくスライス／タイル／タイルグループ／ピクチャ境界でないＣＴＵ境界を含まないことがある。
[0099]図３Ａは、ピクチャ／スライス／タイル／タイルグループの上境界および左境界に沿ったサンプルの例を示している。Ｌ［ｙ，ｘ］は、第ｙの行および第ｘの列におけるルーマサンプルである。したがって、図３Ａの例では、サンプルは、ルーマサンプルであり得、Ｌ［ｙ，ｘ］の形式で座標を有することを示され、ここで、ｙはサンプルの垂直座標であり、ｘはサンプルの水平座標であり、ここで、Ｌ［０，０］は、ブロック１４８の左上コーナーにおけるサンプルを示す。したがって、上境界１５０Ｂに沿ったサンプルは、０のｙ座標を有し得、ブロック１４８の左境界１５０Ａに沿ったサンプルは、０のｘ座標を有し得る。
[0100]ブロック１４８内のサンプルについて、および左境界１５０Ａと上境界１５０Ｂとに沿ってある（たとえば、境界１５０内の左上サンプルが（０，０）の座標を有すると仮定すると、それぞれ、０のｘ座標を有するサンプルまたは０のｙ座標を有するサンプル）、ビデオコーダ（たとえば、ビデオエンコーダ２００とビデオデコーダ３００と）は、計算されるべき勾配方向に沿った近隣（neighboring）サンプルに基づいてサンプルの勾配値を計算し得る。たとえば、ビデオコーダは、ブロック１４８内のサンプルについて、水平方向勾配と、垂直方向勾配と、４５度対角方向勾配と、１３５度対角方向勾配とを計算し得る。
[0101]一例では、ビデオエンコーダ２００とビデオデコーダ３００とは、次のように１Ｄラプラシアンを使用して、サンプルの水平勾配と、垂直勾配と、２つの対角勾配との値を計算する。
Figure 2022524055000028
[0102]これらの例では、ｇvは垂直勾配値を表し、ｇhは水平勾配値を表し、ｇd1は１３５度対角勾配値を表し、ｇd2は４５度対角勾配値を表す。さらに、ｋ、ｌは、係数座標であり、Ｒ（ｋ，ｌ）は、再構築ブロックの座標（ｋ，ｌ）におけるサンプルである。
[0103]わかるように、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプルの勾配値を、計算されている勾配値と同じ勾配方向における、当該サンプルの２つの近隣サンプルに少なくとも部分的に基づいて、計算することができる。特に、ビデオエンコーダ２００およびビデオデコーダ３００は、３つの連続する近隣サンプルのうちの中心サンプルについて、４つの方向性勾配値を計算し得る。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、勾配方向に沿った３つの連続する近隣サンプルのうちの中心サンプルであるサンプルの勾配値を計算し得る。しかしながら、３つの連続する近隣サンプルのうちの中心サンプルの近隣サンプルは、同じ勾配方向における近隣サンプルのうちの１つが、ブロック１４８の上境界１５０Ｂの外側にあるかまたは左境界１５０Ａの外側にあり、したがって、上境界１５０Ｂおよび／または左境界１５０Ａによって画定されるピクチャ、スライス、タイル、またはタイルグループ（たとえば、ブロック１４８）の外側にある場合など、ブロック１４８内にあるサンプルの勾配値を計算するために利用不可能であり得る。
[0104]本開示の態様によれば、ビデオエンコーダ２００とビデオデコーダ３００とは、同じ勾配方向に沿った近隣サンプルがサンプルの勾配値を計算するために利用不可能であるかどうかを決定し得、そうである場合、利用不可能サンプルの代わりに、同じ勾配方向に沿った利用可能近隣サンプルを使用し得る。特に、勾配方向に沿った３つの連続する近隣サンプルのうちの中心サンプルであるサンプルの勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、３つの連続する近隣サンプルの中からの２つの非中心サンプルのうちの１つが利用不可能であるかどうかを決定し得、そうである場合、中心サンプルの勾配値を計算するために、利用不可能サンプルを、３つの連続する近隣サンプルの中からの他の非中心サンプル（すなわち、利用可能近隣サンプル）に置換し得る。利用不可能サンプルを利用可能近隣サンプルに置換することは、中心サンプルの勾配値を計算する目的で、利用不可能サンプルのサンプル値を利用可能近隣サンプルのサンプル値に置換することを含む。
[0105]勾配値を計算する目的で、利用不可能サンプルを利用可能近隣サンプルに置換することは、利用不可能サンプルのサンプル値の代わりに、置換サンプルのサンプル値を使用して勾配値を計算することを含み得る。したがって、利用可能近隣サンプルは、勾配値を計算するために使用される３つの連続する近隣サンプルのうちの１つであるので、利用可能近隣サンプルの値は、３つの連続する近隣サンプル中の２つの非中心サンプルを表すために、３つの連続する近隣サンプルのうちの中心サンプルの勾配値を計算するとき、２回使用され得る。
[0106]図３Ａの例では、サンプルがブロック１４８の上境界１５０Ｂの上方にある場合、サンプルは、上境界１５０Ｂに沿ってあるブロック１４８中のサンプルの勾配値を決定する目的には利用不可能である。ビデオエンコーダ２００およびビデオデコーダ３００は、上境界１５０Ｂに接するサンプルの勾配値を計算するために使用される、３つの連続する近隣サンプルのうちの１つが上境界１５０Ｂの上方にあると決定した場合、ビデオエンコーダ２００とビデオデコーダ３００とは、上境界１５０Ｂに接するサンプルの勾配値を計算するために、上境界１５０Ｂの外側にあるサンプルを、３つの連続する近隣サンプルのうちの他の非中心サンプルに置換し得る。
[0107]たとえば、サンプル１５２Ａの垂直勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、垂直勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［０，ｘ］におけるサンプル１５２Ａを取り得る。中心サンプルとしてサンプル１５２Ａをもつ、垂直方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、垂直勾配方向においてサンプル１５２Ａのすぐ下方にあるロケーションＬ［１，ｘ］における近隣サンプル１５２Ｂと、垂直勾配方向においてサンプル１５２Ａのすぐ上方にあるロケーションＬ［－１，ｘ］における近隣サンプル１５２Ｃとである。
[0108]しかしながら、図３Ａに見られ得るように、ロケーションＬ［－１，ｘ］における、サンプル１５２Ａのすぐ上方の近隣サンプル１５２Ｃは、近隣サンプル１５２Ｃがブロック１４８の上境界１５０Ｂの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｃが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１５２Ａの垂直勾配値を決定するために、利用不可能サンプル１５２Ｃを、垂直勾配方向に沿った３つの連続する近隣サンプル１５２Ａ～１５２Ｃのうちの他の非中心サンプルであるサンプル１５２Ｂに置換し得る。図３Ａに示されているように、サンプル１５２Ｃは、サンプル１５２Ｂである、ロケーションＬ［１，ｘ］におけるサンプルに置換される。
[0109]別の例では、サンプル１５２Ｄの４５度対角勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、４５度対角勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［０，ｘ］におけるサンプル１５２Ｄを取り得る。中心サンプルとしてサンプル１５２Ｄをもつ、４５度勾配方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、４５度対角勾配方向においてサンプル１５２Ｄのすぐ右下にあるロケーションＬ［１，ｘ＋１］における近隣サンプル１５２Ｅと、４５度対角勾配方向においてサンプル１５２Ｄのすぐ左上にあるロケーションＬ［－１，ｘ－１］における近隣サンプル１５２Ｆとである。
[0110]しかしながら、図３Ａに見られ得るように、ロケーションＬ［－１，ｘ－１］における、サンプル１５２Ｄのすぐ左上の近隣サンプル１５２Ｆは、それがブロック１４８の上境界１５０Ｂの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｆが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１５２Ｄの４５度対角勾配値を決定するために、利用不可能サンプル１５２Ｆを、４５度対角勾配方向に沿った３つの連続する近隣サンプル１５２Ｄ～１５２Ｆのうちの他の非中心サンプルであるサンプル１５２Ｅに置換し得る。図３Ａに示されているように、サンプル１５２Ｆは、サンプル１５２Ｅである、ロケーションＬ［１，ｘ＋１］におけるサンプルに置換される。
[0111]別の例では、サンプル１５２Ｇの１３５度対角勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、１３５度対角勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［０，ｘ］におけるサンプル１５２Ｇを取り得る。中心サンプルとしてサンプル１５２Ｇをもつ、１３５度勾配方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、１３５度対角勾配方向においてサンプル１５２Ｇのすぐ左下にあるロケーションＬ［１，ｘ－１］における近隣サンプル１５２Ｈと、１３５度対角勾配方向においてサンプル１５２Ｇのすぐ右上にあるロケーションＬ［－１，ｘ＋１］における近隣サンプル１５２Ｉとである。
[0112]しかしながら、図３Ａに見られ得るように、ロケーションＬ［－１，ｘ＋１］における、サンプル１５２Ｇのすぐ右上の近隣サンプル１５２Ｉは、それがブロック１４８の上境界１５０Ｂの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｉが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１５２Ｇの１３５度対角勾配値を決定するために、利用不可能サンプル１５２Ｉを、１３５度対角勾配方向に沿った３つの連続する近隣サンプル１５２Ｇ～１５２Ｉのうちの他の非中心サンプルであるサンプル１５２Ｈに置換し得る。図３Ａに示されているように、サンプル１５２Ｉは、サンプル１５２Ｈである、ロケーションＬ［１，ｘ－１］におけるサンプルに置換される。
[0113]別の例では、サンプル１５２Ｊの水平勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、水平勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［０，ｘ］におけるサンプル１５２Ｊを取り得る。中心サンプルとしてサンプル１５２Ｌをもつ、水平方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、水平勾配方向においてサンプル１５２Ｊのすぐ右にあるロケーションＬ［０，ｘ＋１］における近隣サンプル１５２Ｋと、水平勾配方向においてサンプル１５２Ｊのすぐ左にあるロケーションＬ［０，ｘ－１］における近隣サンプル１５２Ｌとである。サンプル１５２Ｊ～１５２Ｌはすべて、ブロック１４８の内側にあり、左境界１５０Ａまたは上境界１５０Ｂの外側にないので、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１５２Ｊの水平勾配値を計算するためにサンプル１５２Ｊ～１５２Ｌのいずれも置換することが不要であり得る。
[0114]同様に、図３Ａの例では、サンプルがブロック１４８の左境界１５０Ａの左にある場合、サンプルは、左境界１５０Ａに沿ってあるブロック１４８中のサンプルの勾配値を決定する目的には利用不可能である。ビデオエンコーダ２００とビデオデコーダ３００とが、左境界１５０Ａに接するサンプルの勾配値を計算するために使用される３つの連続する近隣サンプルのうちの１つが左境界１５０Ａの左にあると決定した場合、ビデオエンコーダ２００とビデオデコーダ３００とは、左境界１５０Ａに接するサンプルの勾配値を計算するために、左境界１５０Ａの外側にあるサンプルを、３つの連続する近隣サンプルのうちの他の非中心サンプルに置換し得る。
[0115]たとえば、サンプル１５２Ｍの水平勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、水平勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［ｙ，０］におけるサンプル１５２Ｍを取り得る。中心サンプルとしてサンプル１５０Ｍをもつ、水平方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、水平勾配方向においてサンプル１５２Ｍのすぐ右にあるロケーションＬ［ｙ，１］における近隣サンプル１５２Ｎと、水平勾配方向においてサンプル１５２Ｍのすぐ左にあるロケーションＬ［ｙ，－１］における近隣サンプル１５２Ｏとである。
[0116]しかしながら、図３Ａに見られ得るように、ロケーションＬ［ｙ，－１］における、サンプル１５２Ｍのすぐ左の近隣サンプル１５２Ｏは、それがブロック１４８の左境界１５０Ａの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｏが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１５２Ｍの水平勾配値を決定するために、利用不可能サンプル１５２Ｏを、水平勾配方向に沿った３つの連続する近隣サンプル１５２Ｍ～１５２Ｏのうちの他の非中心サンプルであるサンプル１５２Ｎに置換し得る。図３Ａに示されているように、サンプル１５２Ｏは、サンプル１５２Ｎである、ロケーションＬ［ｙ，１］におけるサンプルに置換される。
[0117]別の例では、サンプル１５２Ｐの４５度対角勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、４５度対角勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［ｙ，０］におけるサンプル１５２Ｐを取り得る。中心サンプルとしてサンプル１５２Ｐをもつ、４５度勾配方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、４５度対角勾配方向においてサンプル１５２Ｐのすぐ右下にあるロケーションＬ［ｙ＋１，１］における近隣サンプル１５２Ｑと、４５度対角勾配方向においてサンプル１５２Ｐのすぐ左上にあるロケーションＬ［ｙ－１，－１］における近隣サンプル１５２Ｒとである。
[0118]しかしながら、図３Ａに見られ得るように、ロケーションＬ［ｙ－１，－１］におけるサンプル１５２Ｐのすぐ左上の近隣サンプル１５２Ｒは、それがブロック１４８の左境界１５０Ａの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｒが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１５２Ｐの４５度対角勾配値を決定するために、利用不可能サンプル１５２Ｒを、４５度対角勾配方向に沿った３つの連続する近隣サンプル１５２Ｐ～１５２Ｒのうちの他の非中心サンプルであるサンプル１５２Ｑに置換し得る。図３Ａに示されているように、サンプル１５２Ｒは、サンプル１５２Ｑである、ロケーションＬ［ｙ＋１，１］におけるサンプルに置換される。
[0119]別の例では、サンプル１５２Ｓの１３５度対角勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、１３５度対角勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［ｙ，０］におけるサンプル１５２Ｓを取り得る。中心サンプルとしてサンプル１５２Ｓをもつ、１３５度勾配方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、１３５度対角勾配方向においてサンプル１５２Ｓのすぐ右上にあるロケーションＬ［ｙ－１，１］における近隣サンプル１５２Ｕと、１３５度対角勾配方向においてサンプル１５２Ｓのすぐ左下にあるロケーションＬ［ｙ＋１，－１］における近隣サンプル１５２Ｔとである。
[0120]しかしながら、図３Ａに見られ得るように、ロケーションＬ［ｙ＋１，－１］におけるサンプル１５２Ｓのすぐ左下の近隣サンプル１５２Ｔは、それがブロック１４８の左境界１５０Ａの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｔが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１５２Ｓの１３５度対角勾配値を決定するために、利用不可能サンプル１５２Ｔを、１３５度対角勾配方向に沿った３つの連続する近隣サンプル１５２Ｓ～１５２Ｕのうちの他の非中心サンプルであるサンプル１５２Ｕに置換し得る。図３Ａに示されているように、サンプル１５２Ｔは、サンプル１５２Ｕである、ロケーションＬ［ｙ－１，１］におけるサンプルに置換される。
[0121]別の例では、サンプル１５２Ｊの垂直勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、垂直勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［ｙ，０］におけるサンプル１５２Ｖを取り得る。中心サンプルとしてサンプル１５２Ｖをもつ、垂直方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、垂直勾配方向においてサンプル１５２Ｖのすぐ下にあるロケーションＬ［ｙ＋１，０］における近隣サンプル１５２Ｗと、垂直勾配方向においてサンプル１５２Ｖのすぐ上にあるロケーションＬ［ｙ－１，０］における近隣サンプル１５２Ｘとである。サンプル１５２Ｖ～１５２Ｘはすべて、ブロック１４８の内側にあり、左境界１５０Ａまたは上境界１５０Ｂの外側にないので、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１５２Ｖの垂直勾配値を計算するためにサンプル１５２Ｖ～１５２Ｘのいずれも置換することが不要であり得る。
[0122]本開示のいくつかの態様によれば、左境界１５０Ａまたは上境界１５０Ｂの外側など、境界の外側にある利用不可能サンプルを、同じ勾配方向におけるサンプルに置換する代わりに、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプルの勾配値を計算する目的で、境界の外側にある利用不可能サンプルのサンプル値を、利用可能近隣サンプルのサンプル値に置換するために、ミラーパディングを使用し得る。ミラーパディングは、ビデオエンコーダ２００とビデオデコーダ３００とが、利用不可能サンプルの実際のサンプル値の代わりに、すなわち、それに取って代わって、ブロックの現在の境界の近くのサンプル値をミラーリングするプロセスを指し得る。
[0123]利用不可能サンプルが上境界１５０Ｂなどの水平境界に接する場合、ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプルのサンプル値を、利用不可能サンプルと同じ列上の、および水平境界の内側にあるサンプルのサンプル値に置換するために、ミラーパディングを実施し得る。特に、ビデオエンコーダ２００とビデオデコーダ３００とは、水平境界に接する同じ列上のサンプルからの利用不可能サンプルの垂直距離を決定し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、水平境界に接する同じ列上のサンプルから等しい垂直距離であるが、水平境界に接する同じ列上のサンプルから反対方向にある、利用不可能サンプルと同じ列上の利用可能サンプルを決定し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプルのサンプル値を、水平境界に接する同じ列上のサンプルから反対方向における、利用不可能サンプルと等しい垂直距離である同じ列上の利用可能サンプルのサンプル値に置換し得る。
[0124]図３Ｂの例では、座標系Ｌ［ｙ，ｘ］において、上境界１５０Ｂの外側にあり、したがって利用不可能であるＬ［－１，４］におけるサンプルが与えられれば、ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプルと、Ｌ［０，４］において上境界１５０Ｂに接する同じ列上のサンプルとの間の垂直距離を、１の垂直距離として決定し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、Ｌ［１，４］におけるサンプルが、Ｌ［０，４］におけるサンプルから反対方向における等しい垂直距離である同じ列上にあるサンプルであると決定し得、Ｌ［－１，４］における利用不可能サンプルのサンプル値を、Ｌ［１，４］におけるサンプルのサンプル値に置換し、それにより、Ｌ［－１，４］における利用不可能サンプルのためにミラーパディングを実施し得る。
[0125]たとえば、サンプル１５２Ａの垂直勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、垂直勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［０，ｘ］におけるサンプル１５２Ａを取り得る。中心サンプルとしてサンプル１５２Ａをもつ、垂直方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、垂直勾配方向においてサンプル１５２Ａのすぐ下方にあるロケーションＬ［１，ｘ］における近隣サンプル１５２Ｂと、垂直勾配方向においてサンプル１５２Ａのすぐ上方にあるロケーションＬ［－１，ｘ］における近隣サンプル１５２Ｃとである。
[0126]しかしながら、図３Ｂに見られ得るように、ロケーションＬ［－１，ｘ］におけるサンプル１５２Ａのすぐ上方の近隣サンプル１５２Ｃは、それがブロック１４８の上境界１５０Ｂの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｃが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプル１５２Ｃを置換するためにミラーパディングを実施し得る。特に、ビデオエンコーダ２００とビデオデコーダ３００とは、ロケーションＬ［－１，ｘ］におけるサンプル１５２Ｂは、利用不可能サンプル１５２Ｂと同じ列上にあり、上境界１５０Ｂに接する同じ列上のロケーションＬ［０，ｘ］におけるサンプル１５２Ａから反対方向における、利用不可能サンプル１５２Ｃと等しい垂直距離である、上境界１５０Ｂの内側のサンプルである、と決定し得る。したがって、サンプル１５２Ｃは、サンプル１５２Ｂである、ロケーションＬ［１，ｘ］におけるサンプルに置換される。
[0127]別の例では、サンプル１５２Ｄの４５度対角勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、４５度対角勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［０，ｘ］におけるサンプル１５２Ｄを取り得る。中心サンプルとしてサンプル１５２Ｄをもつ、４５度勾配方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、４５度対角勾配方向においてサンプル１５２Ｄのすぐ右下にあるロケーションＬ［１，ｘ＋１］における近隣サンプル１５２Ｅと、４５度対角勾配方向においてサンプル１５２Ｄのすぐ左上にあるロケーションＬ［－１，ｘ－１］における近隣サンプル１５２Ｆとである。
[0128]しかしながら、図３Ｂに見られ得るように、ロケーションＬ［－１，ｘ－１］における、サンプル１５２Ｄのすぐ左上の近隣サンプル１５２Ｆは、それがブロック１４８の上境界１５０Ｂの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｆが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、ミラーパディングを実施し利用不可能サンプル１５２Ｆを置換し得る。特に、ビデオエンコーダ２００とビデオデコーダ３００とは、ロケーションＬ［１，ｘ－１］におけるサンプル１５３Ａが、利用不可能サンプル１５２Ｆと同じ列上にあり、上境界１５０Ｂに接する同じ列上のロケーションＬ［０，ｘ－１］におけるサンプルから反対方向において、利用不可能サンプル１５２Ｆと等しい垂直距離である、上境界１５０Ｂの内側のサンプルである、と決定し得る。したがって、サンプル１５２Ｆは、サンプル１５３Ａである、ロケーションＬ［１，ｘ－１］におけるサンプルに置換される。
[0129]別の例では、サンプル１５２Ｇの１３５度対角勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、１３５度対角勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［０，ｘ］におけるサンプル１５２Ｇを取り得る。中心サンプルとしてサンプル１５２Ｇをもつ、１３５度勾配方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、１３５度対角勾配方向においてサンプル１５２Ｇのすぐ左下にあるロケーションＬ［１，ｘ－１］における近隣サンプル１５２Ｈと、１３５度対角勾配方向においてサンプル１５２Ｇのすぐ右上にあるロケーションＬ［－１，ｘ＋１］における近隣サンプル１５２Ｉとである。
[0130]しかしながら、図３Ｂに見られ得るように、ロケーションＬ［－１，ｘ＋１］における、サンプル１５２Ｇのすぐ右上の近隣サンプル１５２Ｉは、それがブロック１４８の上境界１５０Ｂの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｉが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプル１５２Ｉを置換するためにミラーパディングを実施し得る。特に、ビデオエンコーダ２００とビデオデコーダ３００とは、ロケーションＬ［１，ｘ＋１］におけるサンプル１５３Ｂが、利用不可能サンプル１５２Ｉと同じ列上にあり、上境界１５０Ｂに接する同じ列上のロケーションＬ［０，ｘ＋１］におけるサンプルから反対方向において、利用不可能サンプル１５２Ｉと等しい垂直距離である、上境界１５０Ｂの内側のサンプルである、と決定し得る。したがって、サンプル１５２Ｉは、サンプル１５３Ｂである、ロケーションＬ［１，ｘ＋１］におけるサンプルに置換される。
[0131]別の例では、サンプル１５２Ｊの水平勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、水平勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［０，ｘ］におけるサンプル１５２Ｊを取り得る。中心サンプルとしてサンプル１５２Ｌをもつ、水平方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、水平勾配方向においてサンプル１５２Ｊのすぐ右にあるロケーションＬ［０，ｘ＋１］における近隣サンプル１５２Ｋと、水平勾配方向においてサンプル１５２Ｊのすぐ左にあるロケーションＬ［０，ｘ－１］における近隣サンプル１５２ｌとである。サンプル１５２Ｊ～１５２Ｌはすべて、ブロック１４８の内側にあり、左境界１５０Ａまたは上境界１５０Ｂの外側にないので、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１５２Ｊの水平勾配値を計算するためにサンプル１５２Ｊ～１５２Ｌのいずれも置換することが不要であり得る。
[0132]同様に、利用不可能サンプルが左境界１５０Ａなどの垂直境界に接する場合、ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプルのサンプル値を、利用不可能サンプルと同じ行上の、および垂直境界の内側にあるサンプルのサンプル値に置換するために、ミラーパディングを実施し得る。特に、ビデオエンコーダ２００とビデオデコーダ３００とは、垂直境界に接する同じ行上のサンプルからの利用不可能サンプルの水平距離を決定し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、垂直境界に接する同じ行上のサンプルから等しい水平距離であるが、垂直境界に接する同じ行上のサンプルから反対方向にある、利用不可能サンプルと同じ行上のサンプルを決定し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプルを、反対方向において垂直境界に接する同じ列上のサンプルから反対方向における利用不可能サンプルと等しい水平距離である同じ行上の利用可能サンプルのサンプル値に置換し得る。
[0133]図３Ｂの例では、座標系Ｌ［ｙ，ｘ］において、左境界１５０Ａの外側にあり、したがって利用不可能であるＬ［ｙ，－１］におけるサンプルが与えられれば、ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプルと、Ｌ［ｙ，０］において左境界１５０Ａに接する同じ行上のサンプルとの間の水平距離を、１の水平距離として決定し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、Ｌ［ｙ，１］におけるサンプルが、Ｌ［ｙ，０］におけるサンプルから反対方向において等しい水平距離である同じ行上にあるサンプルであると決定し得、Ｌ［ｙ，－１］における利用不可能サンプルのサンプル値を、Ｌ［ｙ，１］におけるサンプルのサンプル値に置換し、それにより、Ｌ［ｙ，－１］における利用不可能サンプルのためにミラーパディングを実施し得る。
[0134]たとえば、サンプル１５２Ｍの水平勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、水平勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［ｙ，０］におけるサンプル１５２Ｍを取り得る。中心サンプルとしてサンプル１５０Ｍをもつ、水平方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、水平勾配方向においてサンプル１５２Ｍのすぐ右にあるロケーションＬ［ｙ，１］における近隣サンプル１５２Ｎと、水平勾配方向においてサンプル１５２Ｍのすぐ左にあるロケーションＬ［ｙ，－１］における近隣サンプル１５２Ｏとである。
[0135]しかしながら、図３Ｂに見られ得るように、ロケーションＬ［ｙ，－１］におけるサンプル１５２Ｍのすぐ左の近隣サンプル１５２Ｏは、それがブロック１４８の左境界１５０Ａの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｏが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプル１５２Ｏを置換するためにミラーパディングを実施し得る。特に、ビデオエンコーダ２００とビデオデコーダ３００とは、ロケーションＬ［ｙ，１］におけるサンプル１５２Ｎは、利用不可能サンプル１５２Ｏと同じ行上にあり、左境界１５０Ａに接する同じ行上のロケーションＬ［ｙ，０］におけるサンプルから反対方向における利用不可能サンプル１５２Ｉと等しい垂直距離である、左境界１５０Ａの内側のサンプルである、と決定し得る。したがって、サンプル１５２Ｏは、サンプル１５２Ｎである、ロケーションＬ［ｙ，１］におけるサンプルに置換される。
[0136]別の例では、サンプル１５２Ｐの４５度対角勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、４５度対角勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［ｙ，０］におけるサンプル１５２Ｐを取り得る。中心サンプルとしてサンプル１５２Ｐをもつ、４５度勾配方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、４５度対角勾配方向においてサンプル１５２Ｐのすぐ右下にあるロケーションＬ［ｙ＋１，１］における近隣サンプル１５２Ｑと、４５度対角勾配方向においてサンプル１５２Ｐのすぐ左上にあるロケーションＬ［ｙ－１，－１］における近隣サンプル１５２Ｒとである。
[0137]しかしながら、図３Ｂに見られ得るように、ロケーションＬ［ｙ－１，－１］におけるサンプル１５２Ｐのすぐ左上の近隣サンプル１５２Ｒは、それがブロック１４８の左境界１５０Ａの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｒが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプル１５２Ｒを置換するためにミラーパディングを実施し得る。特に、ビデオエンコーダ２００とビデオデコーダ３００とは、ロケーションＬ［ｙ－１，１］におけるサンプル１５４Ｃは、利用不可能サンプル１５２Ｒと同じ行上にあり、左境界１５０Ａに接する同じ行上のロケーションＬ［ｙ－１，０］におけるサンプルから反対方向における利用不可能サンプル１５２Ｒと等しい垂直距離である、左境界１５０Ａの内側のサンプルである、と決定し得る。したがって、サンプル１５２Ｒは、サンプル１５４Ｃである、ロケーションＬ［ｙ－１，１］におけるサンプルに置換される。
[0138]別の例では、サンプル１５２Ｓの１３５度対角勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、１３５度対角勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［ｙ，０］におけるサンプル１５２Ｓを取り得る。中心サンプルとしてサンプル１５２Ｓをもつ、１３５度勾配方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、１３５度対角勾配方向においてサンプル１５２Ｓのすぐ右上にあるロケーションＬ［ｙ－１，１］における近隣サンプル１５２Ｕと、１３５度対角勾配方向においてサンプル１５２Ｓのすぐ左下にあるロケーションＬ［ｙ＋１，－１］における近隣サンプル１５２Ｔとである。
[0139]しかしながら、図３Ｂに見られ得るように、ロケーションＬ［ｙ＋１，－１］におけるサンプル１５２Ｓのすぐ左下の近隣サンプル１５２Ｔは、それがブロック１４８の左境界１５０Ａの外側にあるので、利用不可能であり得る。本開示の態様によれば、サンプル１５２Ｔが利用不可能であると決定したことに応答して、ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプル１５２Ｔを置換するためにミラーパディングを実施し得る。特に、ビデオエンコーダ２００とビデオデコーダ３００とは、ロケーションＬ［ｙ＋１，１］におけるサンプル１５４Ｄは、利用不可能サンプル１５２Ｔと同じ行上にあり、左境界１５０Ａに接する同じ行上のロケーションＬ［ｙ＋１，０］におけるサンプルから反対方向における利用不可能サンプル１５２Ｔと等しい垂直距離である、左境界１５０Ａの内側のサンプルである、と決定し得る。したがって、サンプル１５２Ｔは、サンプル１５４Ｄである、ロケーションＬ［ｙ＋１，１］におけるサンプルに置換される。
[0140]別の例では、サンプル１５２Ｊの垂直勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、垂直勾配方向に沿った３つの連続するサンプルのうちの中心サンプルとして、ロケーションＬ［ｙ，０］におけるサンプル１５２Ｖを取り得る。中心サンプルとしてサンプル１５２Ｖをもつ、垂直方向に沿った３つの連続するサンプルのうちの他の２つのサンプルは、垂直勾配方向においてサンプル１５２Ｖのすぐ下にあるロケーションＬ［ｙ＋１，０］における近隣サンプル１５２Ｗと、垂直勾配方向においてサンプル１５２Ｖのすぐ上にあるロケーションＬ［ｙ－１，０］における近隣サンプル１５２Ｘとである。サンプル１５２Ｖ～１５２Ｘはすべて、ブロック１４８の内側にあり、左境界１５０Ａまたは上境界１５０Ｂの外側にないので、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１５２Ｖの垂直勾配値を計算するためにサンプル１５２Ｖ～１５２Ｘのいずれも置換することが不要であり得る。
[0141]いくつかの例では、上記で説明されたように、ＡＬＦを実施するために、ビデオエンコーダ２００とビデオデコーダ３００とは、図３Ａおよび図３Ｂにおいて説明された技法を使用して決定されたものなど、サンプルの勾配値に少なくとも部分的に基づいてサンプルの分類を決定し得る。特に、ビデオエンコーダ２００とビデオデコーダ３００とは、勾配値に基づいてビデオデータのブロック（たとえば、ルーマサンプルおよび／またはクロマサンプルのブロック）に適用するためにＡＬＦの複数のクラスのうちの１つを決定するように構成され得る。いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、各４×４ルーマブロックに分類を適用するように構成される。ビデオエンコーダ２００とビデオデコーダ３００とは、各ブロックの適応ループフィルタを選択するために、ブロックのアクティビティの決定された方向性および量子化値に基づいて、各４×４ブロックを２５個のクラスの中からの１つに分類するように構成され得る。詳細について以下のように説明される。
[0142]ビデオエンコーダ２００とビデオデコーダ３００とは、各４×４ルーマブロックについて、ブロックのサンプル（samples）の１Ｄラプラシアン方向と、ブロックのサンプル（samples）の２Ｄラプラシアンアクティビティとに基づいて、ブロックのためのＡＬＦの分類を決定するように構成され得る。一例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ブロックの勾配値を決定するために、４×４ルーマブロックをカバーする８×８ウィンドウ内の１つおきのサンプル（every other sample）の勾配の和を計算するように構成され得る。ビデオエンコーダ２００とビデオデコーダ３００とは、ｇvによって示される垂直勾配値、ｇhによって示される水平勾配値、ｇd1によって示される１３５度対角勾配値、およびｇd2によって示される４５度対角勾配値という、４つの勾配値を計算するように構成され得る。
[0143]図４Ａに示されているように、ビデオエンコーダ２００とビデオデコーダ３００とは、８×８領域中のサンプルの（図４Ａに「Ｄ１」として表されている）勾配値を計算し得る。サンプルの勾配値を計算することは、同サンプルの垂直勾配と、水平勾配と、４５度対角勾配と、１３５度対角勾配との各々の値を計算することを含み得る。
[0144]いくつかの例では、ビデオエンコーダとビデオデコーダ３００とは、８×８領域中のすべてのサンプルの、または８×８領域中のすべてよりも少数のサンプルの勾配値を計算し得る。たとえば、８×８領域中のすべてよりも少数のサンプルの勾配値を計算するために、ビデオエンコーダ２００とビデオデコーダ３００とは、８×８領域中のあらゆるサンプルの代わりに、図４Ａに示されているように、８×８領域中の１つおきのサンプルの勾配値を計算し得る。８×８領域中のあらゆるサンプルの勾配値を決定することとは対照的に、８×８領域中のサンプルのすべてよりも少数の（たとえば、１つおきのサンプルの）勾配値を決定することは、いくつかの例では、「サブサンプリング」と呼ばれることがあり、８×８領域中のサンプルのすべてよりも少数について決定された勾配値は、「サブサンプリングされた勾配」と呼ばれることがある。
[0145]現在のＶＶＣでは、図４Ａにおいて影付きであるように示されている、ブロック１７０などの４×４ブロックは、領域１７２などの８×８周囲ウィンドウ中のサブサンプリングされた勾配を累積する（accumulates）。ブロック１７０の外側の領域１７２の部分は、図４Ａにおいて影付きでないように示されている。一例では、ビデオエンコーダ２００とビデオデコーダ３００とは、領域１７２にわたる垂直勾配と水平勾配との和としてブロック１７０のアクティビティを決定する。ビデオエンコーダ２００とビデオデコーダ３００とは、この値を量子化して、５つのアクティビティ値を生じる。さらに、ビデオエンコーダ２００とビデオデコーダ３００とは、方向性勾配（directional gradient）を比較することによってブロック１７０内の優勢な勾配方向（dominant gradient direction）を決定し、さらに、方向強度（direction strength）が決定され、それにより、５つの方向値を与える。両方の特徴は、２５個のクラスを一緒に生じる（Both features together result in 25 classes.）。
[0146]しかしながら、ブロック１７０の外側の領域１７２の部分は、ブロック１７０の水平境界または垂直境界を越えることもあり、したがって、ブロック１７０の水平境界または垂直境界の外側の勾配は、領域１７２にわたって勾配の和を決定するために利用不可能であり得る。たとえば、ブロック１７０から水平境界または垂直境界の反対側にあるブロック１７０の外側の領域１７２の部分は、水平境界または垂直境界を越える。水平境界と垂直境界との例は、本開示全体にわたって論じられるように、ピクチャ境界、スライス境界、タイル境界、タイルグループ境界などを含み得る。したがって、本開示の態様は、ピクチャ境界（すなわち、ビデオデータのフレームの境界）または仮想境界など、非ＣＴＵ境界に適用可能である。
[0147]この問題を潜在的に克服するための１つの技法は、利用不可能であるサンプルの勾配を決定するためにパディングされたサンプルを使用することを伴う。たとえば、ブロック１７０中の現在サンプルＡのために、ビデオエンコーダ２００とビデオデコーダ３００とが、サンプルＡに対して水平または垂直境界の反対側にあるサンプルＢを必要とする場合、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプルＢの値を、ブロック１７０内のサンプルＡの側上のサンプルＢの最も近いサンプルに置換し得る。そのような置換されたサンプルは、パディングされたサンプルと呼ばれることがある。しかしながら、これらの技法は、主観的および／または客観的品質の低下を潜在的にもたらすことがある。たとえば、パディングは、実際のサンプル値が使用されたのであれば本来は現れなかったであろう不連続性を再構築ビデオデータに潜在的にもたらすことがある。
[0148]本開示の態様によれば、ピクチャ、スライス、タイル、またはタイルグループの境界の外側にある勾配を置換するために、パディングされたサンプルを使用する代わりに、それらの勾配は、ピクチャ、スライス、タイル、またはタイルグループの境界の内側の勾配に置換される。いくつかの例では、境界の外側にある勾配は、境界内の勾配が４×４ブロック１７０の外側にある場合でも、境界内にある勾配に置換され得る。
[0149]図４Ｂに示されているように、勾配が、ピクチャ、スライス、タイル、またはタイルグループの水平境界１７４の外にある場合、ピクチャ、スライス、タイル、またはタイルグループの同じ列上の最も近い勾配が使用される。特に、サンプル１６０Ａ～１６０Ｈは、ブロック１７０から水平境界１７４の反対側にあるので、サンプル１６０Ａ～１６０Ｈは水平境界１７４の外側にある。したがって、サンプル１６０Ａ～１６０Ｈの勾配は、ブロック１７０の８×８周囲領域１７２中のサブサンプリングされた勾配を累積すること（accumulating）に少なくとも部分的に基づいてブロック１７０を分類するために利用不可能である。
[0150]本開示の態様によれば、ビデオエンコーダ２００とビデオデコーダ３００とは、水平境界１７４の外側にある領域１７２中の勾配を、水平境界１７４内にある（すなわち、水平境界１７４の、ブロック１７０と同じ側上にある）領域１７２中の同じ列における最も近い勾配に置換し得る。したがって、図４Ｂの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１６０Ｉからサンプル１６０Ａへポインティングする矢印によって示されるように、水平境界１７４の外側にあるサンプル１６０Ａの勾配を、水平境界１７４の内側にあるサンプル１６０Ｉの勾配に置換し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１６０Ｋからサンプル１６０Ｅへポインティングする矢印によって示されるように、水平境界１７４の外側にあるサンプル１６０Ｅの勾配を、水平境界１７４の内側にあるサンプル１６０Ｋの勾配に置換し得る。
[0151]ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１６２Ａからサンプル１６０Ｂへポインティングする矢印によって示されるように、水平境界１７４の外側にあるサンプル１６０Ｂの勾配を、水平境界１７４の内側にあるサンプル１６２Ａの勾配に置換し得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、サンプル１６２Ｃからサンプル１６０Ｆへポインティングする矢印によって示されるように、水平境界１７４の外側にあるサンプル１６０Ｆの勾配を、水平境界１７４の内側にあるサンプル１６２Ｃの勾配に置換し得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、サンプル１６２Ｂからサンプル１６０Ｃへポインティングする矢印によって示されるように、水平境界１７４の外側にあるサンプル１６０Ｃの勾配を、水平境界１７４の内側にあるサンプル１６２Ｂの勾配に置換し得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、サンプル１６２Ｄからサンプル１６０Ｇへポインティングする矢印によって示されるように、水平境界１７４の外側にあるサンプル１６０Ｇの勾配を、水平境界１７４の内側にあるサンプル１６２Ｄの勾配に置換し得る。
[0152]ビデオエンコーダ２００とビデオデコーダ３００とはまた、サンプル１６０Ｊからサンプル１６０Ｄへポインティングする矢印によって示されるように、水平境界１７４の外側にあるサンプル１６０Ｄの勾配を、水平境界１７４の内側にあるサンプル１６０Ｊの勾配に置換し得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、サンプル１６０Ｌからサンプル１６０Ｈへポインティングする矢印によって示されるように、水平境界１７４の外側にあるサンプル１６０Ｈの勾配を、水平境界１７４の内側にあるサンプル１６０Ｌの勾配に置換し得る。
[0153]図４Ｃに示されているように、勾配が垂直境界１７６の外にある場合、垂直境界１７６によって画定されたピクチャ、スライス、タイル、またはタイルグループ中の同じ行上の最も近い勾配が使用される。特に、サンプル１６０Ａと、サンプル１６０Ｅと、サンプル１６０Ｉと、サンプル１６０Ｋと、サンプル１６０Ｍと、サンプル１６０Ｏと、サンプル１６０Ｑと、サンプル１６０Ｕとは、ブロック１７０から垂直境界１７６の反対側にあるので、サンプル１６０Ａと、サンプル１６０Ｅと、サンプル１６０Ｉと、サンプル１６０Ｋと、サンプル１６０Ｍと、サンプル１６０Ｏと、サンプル１６０Ｑと、サンプル１６０Ｕとは、垂直境界１７６の外側にある。したがって、サンプル１６０Ａと、サンプル１６０Ｅと、サンプル１６０Ｉと、サンプル１６０Ｋと、サンプル１６０Ｍと、サンプル１６０Ｏと、サンプル１６０Ｑと、サンプル１６０Ｕとの勾配は、ブロック１７０の８×８周囲領域１７２中のサブサンプリングされた勾配を累積することに少なくとも部分的に基づいてブロック１７０を分類するために利用不可能である。
[0154]本開示の態様によれば、ビデオエンコーダ２００とビデオデコーダ３００とは、垂直境界１７６の外側にある領域１７２中の勾配を、垂直境界１７６内にある（すなわち、垂直境界１７６の、ブロック１７０と同じ側上にある）領域１７２中の同じ行における最も近い勾配に置換し得る。したがって、図４Ｃの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１６０Ｂからサンプル１６０Ａへポインティングする矢印によって示されるように、垂直境界１７６の外側にあるサンプル１６０Ａの勾配を、垂直境界１７６の内側にあるサンプル１６０Ｂの勾配に置換し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１６０Ｆからサンプル１６０Ｅへポインティングする矢印によって示されるように、垂直境界１７６の外側にあるサンプル１６０Ｅの勾配を、垂直境界１７６の内側にあるサンプル１６０Ｆの勾配に置換し得る。
[0155]ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１６２Ａからサンプル１６０Ｉへポインティングする矢印によって示されるように、垂直境界１７６の外側にあるサンプル１６０Ｉの勾配を、垂直境界１７６の内側にあるサンプル１６２Ａの勾配に置換し得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、サンプル１６２Ｃからサンプル１６０Ｋへポインティングする矢印によって示されるように、垂直境界１７６の外側にあるサンプル１６０Ｋの勾配を、垂直境界１７６の内側にあるサンプル１６２Ｃの勾配に置換し得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、サンプル１６２Ｅからサンプル１６０Ｍへポインティングする矢印によって示されるように、垂直境界１７６の外側にあるサンプル１６０Ｍの勾配を、垂直境界１７６の内側にあるサンプル１６２Ｅの勾配に置換し得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、サンプル１６２Ｇからサンプル１６０Ｏへポインティングする矢印によって示されるように、垂直境界１７６の外側にあるサンプル１６０Ｏの勾配を、垂直境界１７６の内側にあるサンプル１６２Ｇの勾配に置換し得る。
[0156]ビデオエンコーダ２００とビデオデコーダ３００とはまた、サンプル１６０Ｒからサンプル１６０Ｑへポインティングする矢印によって示されるように、垂直境界１７６の外側にあるサンプル１６０Ｑの勾配を、垂直境界１７６の内側にあるサンプル１６０Ｒの勾配に置換し得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、サンプル１６０Ｖからサンプル１６０Ｕへポインティングする矢印によって示されるように、垂直境界１７６の外側にあるサンプル１６０Ｕの勾配を、垂直境界１７６の内側にあるサンプル１６０Ｖの勾配に置換し得る。
[0157]別の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ピクチャ、スライス、タイル、またはタイルグループの外側にある利用不可能勾配を置換するために、ピクチャ、スライス、タイル、またはタイルグループにおける追加の勾配を計算し得る。上記で論じられたように、ビデオエンコーダ２００とビデオデコーダ３００とは、ブロック１７０中の１つおきのサンプルの勾配を計算し、それにより、ブロック１７０中の１６個のサンプルのうちの８つの勾配を計算することを含めて、８×８領域１７２中の１つおきのサンプルの勾配を計算し得る。さらに、図５Ｂおよび図５Ｃに示されているように、水平境界１７４と垂直境界１７６とはそれぞれ、水平境界１７４または垂直境界１７６の外側にある領域１７２中の８つの勾配を利用不可能にし得る。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、ブロック１７０中の８つの追加のサンプルの追加の８つの勾配を計算することによって、８つの利用不可能勾配を置換し得る。
[0158]図４Ｄに示されているように、サンプル１６０Ａ～１６０Ｈは、ブロック１７０から水平境界１７４の反対側にあるので、サンプル１６０Ａ～１６０Ｈは水平境界１７４の外側にある。したがって、サンプル１６０Ａ～１６０Ｈの勾配は、ブロック１７０の８×８周囲領域１７２中のサブサンプリングされた勾配を累積することに少なくとも部分的に基づいてブロック１７０を分類するために利用不可能である。
[0159]本開示の態様によれば、サブサンプリングされた勾配値が計算されるとき、ビデオエンコーダ２００とビデオデコーダ３００とは、ブロック１７０中の８つのサンプルの追加の８つの勾配を計算することによって、利用不可能勾配を置換し得る。たとえば、ビデオエンコーダ２００とビデオデコーダ３００とは、ブロック１７０内のサンプル１６２Ｉ～１６２Ｐの勾配を計算し得、ブロック１７０の分類を実施するためにサンプル１６０Ａ～１６０Ｈの利用不可能勾配の代わりに、サンプル１６２Ｉ～１６２Ｐの勾配を使用し得る。
[0160]同様に、図４Ｅに示されているように、サンプル１６０Ａと、サンプル１６０Ｅと、サンプル１６０Ｉと、サンプル１６０Ｋと、サンプル１６０Ｍと、サンプル１６０Ｏと、サンプル１６０Ｑと、サンプル１６０Ｕとは、ブロック１７０から垂直境界１７６の反対側にあるので、サンプル１６０Ａと、サンプル１６０Ｅと、サンプル１６０Ｉと、サンプル１６０Ｋと、サンプル１６０Ｍと、サンプル１６０Ｏと、サンプル１６０Ｑと、サンプル１６０Ｕとは、垂直境界１７６の外側にある。したがって、サンプル１６０Ａと、サンプル１６０Ｅと、サンプル１６０Ｉと、サンプル１６０Ｋと、サンプル１６０Ｍと、サンプル１６０Ｏと、サンプル１６０Ｑと、サンプル１６０Ｕとの勾配は、ブロック１７０の８×８周囲領域１７２中のサブサンプリングされた勾配を累積することに少なくとも部分的に基づいてブロック１７０を分類するために利用不可能である。
[0161]本開示の態様によれば、サブサンプリングされた勾配値が計算されるとき、ビデオエンコーダ２００とビデオデコーダ３００とは、ブロック１７０中の８つのサンプルの追加の８つの勾配を計算することによって、利用不可能勾配を置換し得る。たとえば、ビデオエンコーダ２００とビデオデコーダ３００とは、ブロック１７０内のサンプル１６２Ｉ～１６２Ｐの勾配を計算し得、ブロック１７０の分類を実施するためにサンプル１６０Ａと、サンプル１６０Ｅと、サンプル１６０Ｉと、サンプル１６０Ｋと、サンプル１６０Ｍと、サンプル１６０Ｏと、サンプル１６０Ｑと、サンプル１６０Ｕとの利用不可能勾配の代わりに、サンプル１６２Ｉ～１６２Ｐの勾配を使用し得る。
[0162]別の例では、勾配が境界の外にある場合、ピクチャ、スライス、タイル、またはタイルグループにおける同じ勾配方向上の最も近い勾配が使用される。これは、水平勾配と、垂直勾配と、対角勾配とに適用可能であり得る。
[0163]図４Ｆに示されているように、領域１７２は、「Ｄ１」として示されている１３５度対角勾配を含み得る。したがって、境界の外側にある勾配は、同じ１３５度対角方向における最も近い勾配に置換され得る。
[0164]図４Ｆでは、水平境界１７４を有する領域１７２について、サンプル１６０Ａ～１６０Ｈは、ブロック１７０から水平境界１７４の反対側にあるので、サンプル１６０Ａ～１６０Ｈは水平境界１７４の外側にある。したがって、サンプル１６０Ａ～１６０Ｈの勾配は、ブロック１７０の８×８周囲領域１７２中のサブサンプリングされた勾配を累積することに少なくとも部分的に基づいてブロック１７０を分類するために利用不可能である。
[0165]本開示の態様によれば、ビデオエンコーダ２００とビデオデコーダ３００とは、水平境界１７４の外側にある領域１７２中の勾配を、水平境界１７４内にある（すなわち、水平境界１７４の、ブロック１７０と同じ側上にある）領域１７２中の同じ勾配方向における最も近い勾配に置換し得る。
[0166]図４Ｆは、「Ｄ１」によってそれぞれ示される１３５度対角勾配を有するものとして領域１７２を示しているので、サンプル１６０Ａ～１６０Ｈの利用不可能勾配の各々は、１３５度対角勾配であり、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１６０Ａ～１６０Ｈの利用不可能勾配の各々を、１３５度対角勾配に沿った最も近い利用可能勾配に置換し得る。
[0167]サンプル１６２Ａは、サンプル１６０Ａおよび１６０Ｅと同じ１３５度対角方向に沿ってある。したがって、サンプル１６０Ａとサンプル１６０Ｅの両方の１３５度対角勾配は、サンプル１６２Ａからサンプル１６０Ａおよび１６０Ｅへポインティングスル矢印によって示されるように、サンプル１６２Ａの１３５度対角勾配に置換され得る。
[0168]サンプル１６２Ｂは、サンプル１６０Ｂおよび１６０Ｆと同じ１３５度対角方向に沿ってある。したがって、サンプル１６０Ｂとサンプル１６０Ｆの両方の１３５度対角勾配は、サンプル１６２Ｂからサンプル１６０Ｂおよび１６０Ｆへポインティングする矢印によって示されるように、サンプル１６２Ｂの１３５度対角勾配に置換され得る。
[0169]サンプル１６０Ｊは、サンプル１６０Ｃおよび１６０Ｇと同じ１３５度対角方向に沿ってある。したがって、サンプル１６０Ｃとサンプル１６０Ｇの両方の１３５度対角勾配は、サンプル１６０Ｊからサンプル１６０Ｃおよび１６０Ｇへポインティングする矢印によって示されるように、サンプル１６０Ｊの１３５度対角勾配に置換され得る。
[0170]図４Ｇに示されているように、領域１７２はまた、「Ｄ２」として示されている４５度対角勾配を含み得る。したがって、境界の外側にある勾配は、同じ４５度対角方向における最も近い勾配に置換され得る。
[0171]図４Ｇでは、水平境界１７４を有する領域１７２について、サンプル１６０Ａ～１６０Ｈは、ブロック１７０から水平境界１７４の反対側にあるので、サンプル１６０Ａ～１６０Ｈは水平境界１７４の外側にある。したがって、サンプル１６０Ａ～１６０Ｈの勾配は、ブロック１７０の８×８周囲領域１７２中のサブサンプリングされた勾配を累積することに少なくとも部分的に基づいてブロック１７０を分類するために利用不可能である。
[0172]本開示の態様によれば、ビデオエンコーダ２００とビデオデコーダ３００とは、水平境界１７４の外側にある領域１７２中の勾配を、水平境界１７４内にある（すなわち、水平境界１７４の、ブロック１７０と同じ側上にある）領域１７２中の同じ勾配方向における最も近い勾配に置換し得る。
[0173]図４Ｇは、「Ｄ２」によってそれぞれ示される４５度対角勾配を有するものとして領域１７２を示しているので、サンプル１６０Ａ～１６０Ｈの利用不可能勾配の各々は、４５度対角勾配であり、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１６０Ａ～１６０Ｈの利用不可能勾配の各々を、４５度対角勾配に沿った最も近い利用可能勾配に置換し得る。
[0174]サンプル１６０Ｉは、サンプル１６０Ｂおよび１６０Ｅと同じ４５度対角方向に沿ってある。したがって、サンプル１６０Ｂとサンプル１６０Ｅの両方の４５度対角勾配は、サンプル１６０Ｉからサンプル１６０Ｂおよび１６０Ｅへの矢印ポインティングによって示されるように、サンプル１６０Ｉの４５度対角勾配に置換され得る。
[0175]サンプル１６２Ａは、サンプル１６０Ｃおよび１６０Ｆと同じ４５度対角方向に沿ってある。したがって、サンプル１６０Ｃとサンプル１６０Ｆの両方の４５度対角勾配は、サンプル１６２Ａからサンプル１６０Ｃおよび１６０Ｆへポインティングする矢印によって示されるように、サンプル１６２Ａの４５度対角勾配に置換され得る。
[0176]サンプル１６２Ｂは、サンプル１６０Ｄおよび１６０Ｇと同じ４５度対角方向に沿ってある。したがって、サンプル１６０Ｄとサンプル１６０Ｇの両方の４５度対角勾配は、サンプル１６２Ｂからサンプル１６０Ｄおよび１６０Ｇへポインティングする矢印によって示されるように、サンプル１６２Ｂの４５度対角勾配に置換され得る。
[0177]サンプル１６０Ｊは、サンプル１６０Ｈと同じ１３５度対角方向に沿ってある。したがって、サンプル１６０Ｈの４５度対角勾配は、サンプル１６０Ｊからサンプル１６０Ｈへポインティングする矢印によって示されるように、サンプル１６０Ｊの４５度対角勾配に置換され得る。
[0178]別の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ピクチャ／スライス／タイル／タイルグループの外側にある勾配を計算するのを控え得る。代わりに、ビデオエンコーダ２００とビデオデコーダ３００とは、領域１７２中のサブサンプリングされた勾配のすべてよりも少数を使用してブロック１７０の分類を実施し得る。
[0179]図４Ｈに示されているように、水平境界１７４を有する領域１７２について、サンプル１６０Ａ～１６０Ｈは、ブロック１７０から水平境界１７４の反対側にあるので、サンプル１６０Ａ～１６０Ｈは水平境界１７４の外側にある。したがって、サンプル１６０Ａ～１６０Ｈの勾配は、ブロック１７０の８×８周囲領域１７２中のサブサンプリングされた勾配を累積することに少なくとも部分的に基づいてブロック１７０を分類するために利用不可能である。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプル１６０Ａ～１６０Ｈの勾配を決定するのを控え得る。代わりに、ビデオエンコーダ２００とビデオデコーダ３００とは、ブロック１７０を分類するためにサンプル１６０Ｉ～１６０Ｘとサンプル１６２Ａ～１６２Ｈとの勾配を計算し得る。
[0180]勾配の数が変更されるので、ビデオエンコーダ２００とビデオデコーダ３００とは、アクティビティおよび分類計算を再正規化し得る。特に、図４Ｈの例におけるビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能である８つのサンプルの勾配を計算しないので、ビデオエンコーダ２００とビデオデコーダ３００とは、領域１７２中で３２個のサンプルの代わりに２４個のサンプルの勾配を計算し得る。
[0181]一例では、勾配値（ｇ）を決定するために、ビデオエンコーダ２００とビデオデコーダ３００とは、垂直勾配（ｇv）と、水平勾配（ｇh）と、１３５度対角勾配（ｇd1）と、４５度対角勾配（ｇd2）とを決定するように構成され得る。さらに、スケーリングファクタに基づいて勾配値（ｇ）をスケーリングして、スケーリングされた勾配値（ｇ’）を生成するために、ビデオエンコーダ２００とビデオデコーダ３００とは、次式を使用して勾配値（ｇ）をスケーリングし得：ｇ’＝ｇ／ｎｕｍ＿ａｖａｉｌａｂｌｅ＿ｓａｍｐｌｅｓ ＊ ｎｕｍ＿ｆｕｌｌ＿ｓａｍｐｌｅｓ、ここで、ｎｕｍ＿ａｖａｉｌａｂｌｅ＿ｓａｍｐｌｅｓは、パディングされないウィンドウ中のサンプルの数（たとえば、仮想境界の、再構築ブロックと同じ側上にあるウィンドウ中の利用可能サンプルの数）を表し、ｎｕｍ＿ｆｕｌｌ＿ｓａｍｐｌｅは、ウィンドウ中のサンプルの総数を表す。たとえば、８つのサンプルの勾配が利用不可能である図４Ｈの例では、ｎｕｍ＿ａｖａｉｌａｂｌｅ＿ｓａｍｐｌｅｓは２４であり得、ｎｕｍ＿ｆｕｌｌ＿ｓａｍｐｌｅｓは３２であり得る。
[0182]上記で説明されたように、ビデオエンコーダ２００とビデオデコーダ３００とは、図４Ａ～図４Ｈに関して説明されたように、領域１７２などの周囲ウィンドウ中で計算されたサブサンプリングされた勾配に基づいて、ブロック１７０など、ビデオデータの再構築ブロックのための適応ループフィルタを決定し得る。一例では、ビデオエンコーダ２００とビデオデコーダ３００とは、周囲ウィンドウ中で計算されたサブサンプリングされた勾配に基づいて、ブロックの方向性とアクティビティインデックスとを決定し得、ブロックの方向性とアクティビティインデックスとに基づいてブロックのための適応ループフィルタを決定し得る。
[0183]図５は、例示的な適応ループフィルタを示す。たとえば、例示的な適応ループフィルタは、ブロック１７０など、ビデオデータの再構築ブロックのための適応ループフィルタのクラスに基づいて、ビデオエンコーダ２００とビデオデコーダ３００とによって選択され得る。図５に示されるように、フィルタ１８４は、７×７ダイヤモンド形フィルタなどの対称フィルタであり得る。他の例では、本技法は、矩形フィルタ、八角形フィルタ、十字形フィルタ、Ｘ字形フィルタ、Ｔ字形フィルタ、または任意の他の対称フィルタを含む、５×５ダイヤモンド形フィルタ、９×９ダイヤモンド形フィルタなどの任意の他の対称フィルタに等しく適用可能であり得る。フィルタ１８４のフィルタサポート１８０Ａは、水平境界１８２内にあるサンプルに対応し、したがって、利用可能であり得、一方、フィルタ１８４のフィルタサポート１８０Ｂは、水平境界１８２の外側にあるサンプルに対応し、したがって、利用不可能であり得る。
[0184]一例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ビデオデータの再構築ブロックのサンプルをフィルタ処理するために、非対称部分フィルタ（asymmetric partial filter）を使用し得る。この場合、ビデオエンコーダ２００とビデオデコーダ３００とは、サンプルをフィルタ処理するために利用可能サンプルに対応するタップのみをフィルタ処理し、それにより、対応するサンプルが利用可能でないフィルタタップをスキップし得る。ビデオエンコーダ２００とビデオデコーダ３００とは、以下で説明されるように、対応するサンプルが利用可能でないフィルタタップのスキップにより、再正規化（renormalization）を実施し得る。
[0185]本開示の態様によれば、ビデオコーダは、ＡＬＦを実施することの一部として、フィルタ処理されたサンプルを生成するために、ビデオエンコーダ２００とビデオデコーダ３００とが再構築サンプルに適用し得る非対称部分フィルタとして、フィルタ１８４の利用可能フィルタサポート１８０Ａを使用し得る。フィルタ１８４の利用可能フィルタサポート１８０Ａを使用することによって、ビデオエンコーダ２００とビデオデコーダ３００とは、フィルタサポート１８０Ｂなどにおいて、対応するサンプルが利用可能でないフィルタタップをスキップし得る。部分フィルタは、フィルタ処理プロセスのために典型的に使用される１つまたは複数のフィルタ係数を使用しないフィルタである。このようにして、フィルタは、対応するサンプルが利用可能でないフィルタタップをスキップしながら、フィルタのための利用可能サンプルから生成され得る。ビデオエンコーダ２００とビデオデコーダ３００とは、非対称部分フィルタを再正規化し得る。
[0186]通常、選択されたフィルタのフィルタ係数は、フィルタの適用を通してビデオデータを追加または削除しないように、合計すると（フィルタ係数が正規化されたことを意味する）１になる。（最初に選択されたフィルタからの１つまたは複数のフィルタ係数の削除により、この場合も「部分」フィルタと呼ばれる）部分フィルタを決定するために、選択されたフィルタのフィルタ係数をスキップまたは削除することによって、得られた部分フィルタは、（部分フィルタのフィルタ係数が合計すると１にならないことを意味する）非正規になる。その結果、ビデオエンコーダ２００とビデオデコーダ３００とは、部分フィルタ内のフィルタ係数の各々をスケーリングすることなどによって、フィルタ係数が合計すると１になるように、部分フィルタ内に含まれる複数のフィルタ係数を再正規化し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、次いで、ビデオデータのフィルタ処理された第１のブロックを生成するために、ビデオデータの第１のブロックの境界の近くに、再正規化された部分フィルタを適用し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、ビデオデータの他のブロックを再構築する際に参照ビデオデータとして使用するために、ビデオデータのこのフィルタ処理された第１のブロックを記憶し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、フィルタ処理されたサンプルを生成するために、ブロック１７０中など、たとえば、ビデオデータの再構築ブロック中のサンプルに、生成されたフィルタを適用し得る。
[0187]一例では、ビデオエンコーダ２００とビデオデコーダ３００とは、利用不可能サンプルに対応するフィルタ係数を、利用可能サンプルに対応するフィルタ係数に置換するために、ミラーサンプルパディングを使用し得る。ミラーパディングでは、利用不可能サンプルに対応する（たとえば、反転されたとき、それと同じサイズおよび同じ形状を有する）フィルタのフィルタサポートは、利用可能サンプルに対応するフィルタの対応するフィルタサポートに置換され得る。
図５の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、フィルタサポート１８０Ｂのフィルタ係数の代わりにフィルタサポート１８０Ｃのフィルタ係数が使用されるように、フィルタサポート１８０Ｂを、たとえば、利用可能サンプルに対応するフィルタ１８４のフィルタサポート１８０Ｃに置換するためにミラーパディングを実施することによって、対称フィルタを生成し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、フィルタ処理されたサンプルを生成するために、ブロック１７０中など、たとえば、ビデオデータの再構築ブロック中のサンプルに、生成されたフィルタを適用し得る。
[0188]別の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ビデオデータのブロックをフィルタ処理するために、対称部分フィルタを使用し得る。この場合、ビデオエンコーダ２００とビデオデコーダ３００とは、対応するサンプルが利用可能でないフィルタタップをスキップし得るだけでなく、ビデオエンコーダ２００とビデオデコーダ３００とは、対称部分フィルタを生成するために、利用可能サンプルに対応する１つまたは複数のフィルタタップをさらにスキップし得る。ビデオエンコーダ２００とビデオデコーダ３００とは、上記で説明されたように、フィルタタップのスキップにより、再正規化を実施し得る。
[0189]図６は、例示的な適応ループフィルタを示す。図６に示されているように、フィルタ１９４のフィルタサポート１９０Ａは水平境界１９２内にあり、一方、フィルタ１９４のフィルタサポート１９０Ｂは、水平境界１９２の外側にあり、したがって、利用不可能であり得る。本開示の態様によれば、ビデオコーダは、対称部分フィルタを生成するために、フィルタ１９４の利用可能フィルタサポート１９０Ａを使用し得る。特に、ビデオコーダは、フィルタ１９４から利用可能フィルタサポート１９０Ａのフィルタサポート１９０Ｄを打ち切ること（truncating）などによって、対称部分フィルタとして、フィルタ１９４の利用可能フィルタサポート１９０Ａの対称部分１９０Ｃを決定し得、ここで、フィルタ１９４のフィルタサポート１９０Ｄは、フィルタ１９４の利用不可能フィルタサポート１９０Ｂに対応する（たとえば、反転されたとき、それと同じサイズおよび同じ形状を有する）。たとえば、図６において、１９０Ｂおよび１９０Ｄ中の各サンプルは、１９０Ｃ中の最も近いサンプルに置換される。Ｃ１におけるサンプルは、Ｃ５におけるサンプルに置換され、Ｃ０とＣ２とにおけるサンプルは、Ｃ６におけるサンプルに置換され、Ｃ３におけるサンプルは、Ｃ７におけるサンプルに置換される。
[0190]このようにして、ビデオエンコーダ２００とビデオデコーダ３００とは、対応するサンプルが利用可能でないフィルタタップをスキップしながら、フィルタの利用可能サンプルからフィルタを生成し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、たとえば、対称部分フィルタのフィルタ係数が合計すると１になるように、対称部分フィルタを再正規化し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、フィルタ処理されたサンプルを生成するために、ブロック１７０中など、たとえば、ビデオデータの再構築ブロック中のサンプルに、生成されたフィルタを適用し得る。
[0191]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、重み付き加算を含む、ビデオデータのフィルタ処理を実施し得る。特に、重み付き加算は、フィルタ処理中に１つまたは複数の利用不可能サンプル（たとえば、本開示全体にわたって説明されるような、ピクチャ／スライス／タイル／タイルグループの外のサンプル）を使用するサンプルのためのフィルタ処理プロセスの後に、加重平均化プロセスが追加される。最終的なＡＬＦ出力サンプルは、フィルタ処理されたサンプルと、ＡＬＦ入力サンプルと（たとえば、それぞれ、ＡＬＦの後のサンプルと、ＡＬＦより前のビデオデータの再構築ブロックのサンプルと）の加重平均化（weighted averaging）である。ビデオエンコーダ２００とビデオデコーダ３００とは、ＡＬＦより前のビデオデータの再構築ブロックのサンプルのサンプル値に第１の重みを適用（すなわち、乗算）し得、ＡＬＦの後のサンプルのサンプル値に第２の重みを適用（すなわち、乗算）し得、ここで、これらの２つの重みは合計すると１になる。ビデオエンコーダ２００とビデオデコーダ３００とは、２つの重み付きサンプルを合計し、この合計を２で除算して、サンプルの加重平均を決定し得る。
[0192]一例では、フィルタ処理されたサンプルのための重みは、すべてのサンプルについて固定であり得る。たとえば、すべてのサンプルについて、第１の重みが第１の値に固定され、第２の重みが第２の値に固定されたとき、およびこれらの２つの重みが合計すると１になる場合、ビデオエンコーダ２００とビデオデコーダ３００とは、各サンプルについて、ＡＬＦより前のサンプルのサンプル値に第１の重みを適用し、ＡＬＦの後のサンプルのサンプル値に第２の重みを適用し、これらの２つの重み付きサンプルを合計し、この合計を２で除算して、サンプルの最終値を生成し得る。
[0193]別の例では、フィルタ処理されたサンプルのための重みは、フィルタ処理プロセス中に使用される利用不可能サンプルの数に依存し得る。フィルタ処理プロセス中に使用される利用不可能サンプルの数が大きくなるほど、ＡＬＦの後のビデオデータの再構築ブロックのサンプルに適用される重みと比較して、ＡＬＦより前の同じサンプルに適用される重みはより大きくなる。たとえば、ＡＬＦ中のサンプルのフィルタ処理プロセス中に利用不可能サンプルが使用されない場合、ＡＬＦより前のサンプルに適用されるべき第１の重みは０であり得、ＡＬＦの後のサンプルに適用されるべき第２の重みは１であり得る。一方、第１の重みは、サンプルのフィルタ処理プロセス中に使用される利用不可能サンプルの数に従って増加し得、第２の重みは、対応して、フィルタ処理プロセス中に使用される利用不可能サンプルの数に従って減少し得る。
[0194]別の例では、フィルタ処理されたサンプルのための重みは、シーケンス／ピクチャ／スライス／タイル／タイルグループ／ＣＴＵレベルにおいてなど、適応的にシグナリングされ得る。たとえば、エンコーダ２００は、シーケンス／ピクチャ／スライス／タイル／タイルグループ／ＣＴＵレベルにおいてなど、第１の重みと第２の重みの両方をデコーダ３００に適応的にシグナリングし得る。
[0195]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、フィルタ処理のために利用不可能サンプル（たとえば、ピクチャ、スライス、タイル、またはタイルグループの外のサンプル）を使用するサンプルのためのフィルタ処理を条件付きで無効にし得る。一例では、現在のフィルタ処理されるべきサンプルについて、利用不可能サンプルに対応する係数の絶対和が、利用可能サンプルに対応する係数の絶対和のしきい値倍よりも大きい場合、ビデオエンコーダ２００とビデオデコーダ３００とは、現在サンプルのためのフィルタを無効にし得る。このしきい値は、固定であるか、適応的に決定されるか、または（たとえば、ビデオエンコーダ２００によってビデオデコーダ３００に送られるビットストリーム中で）シグナリングされ得る。しきい値の例は、０．６を含むか、または０と１との間など、任意の好適な値であり得る。
[0196]図７は、本開示の技法を実施し得る例示的なビデオエンコーダ２００を示すブロック図である。図７は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものと考えられるべきではない。説明の目的で、本開示では、ＪＥＭと、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）と、ＨＥＶＣ（ＩＴＵ－Ｔ Ｈ．２６５）との技法によるビデオエンコーダ２００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオ符号化デバイスによって実施され得る。
[0197]図７の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ）２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つまたは複数のプロセッサまたは処理回路において実装され得る。たとえば、ビデオエンコーダ２００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはＦＰＧＡのプロセッサ、ＡＳＩＣの一部として実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。いくつかの例では、ビデオエンコーダ２００は、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスの一部であり得る。
[0198]ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０に記憶されたビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用する参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0199]本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在ブロックのビデオデータ）を記憶する参照メモリとして理解されたい。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的記憶を提供し得る。
[0200]図７の様々なユニットは、ビデオエンコーダ２００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作にプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされる回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは概してイミュータブルである。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。
[0201]ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示されず）が、そのような命令を記憶し得る。
[0202]ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット２０４とモード選択ユニット２０２とに提供し得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべきである生のビデオデータであり得る。
[0203]モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。
[0204]モード選択ユニット２０２は、概して、符号化パラメータの組合せと、そのような組合せについての得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵの予測モード、ＣＵの残差データの変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、最終的に、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを選択し得る。
[0205]ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに区分し、１つまたは複数のＣＴＵをスライス内にカプセル化し得る。モード選択ユニット２０２は、上記で説明されたＨＥＶＣのＱＴＢＴ構造またはクワッドツリー構造など、ツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明されたように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、一般に「ビデオブロック」または「ブロック」と呼ばれることもある。
[0206]概して、モード選択ユニット２０２はまた、現在ブロック（たとえば、現在ＣＵ、またはＨＥＶＣでは、ＰＵとＴＵとの重複する部分）についての予測ブロックを生成するように、それの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在ブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶されている１つまたは複数の以前のコード化ピクチャ）中で１つまたは複数のぴったり一致する参照ブロックを識別するために動き探索を実施し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在ブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、概して、現在ブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実施し得る。動き推定ユニット２２２は、現在ブロックに最もぴったり一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。
[0207]動き推定ユニット２２２は、現在ピクチャ中の現在ブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測では、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが分数サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックの値を補間し得る。その上、双方向インター予測では、動き補償ユニット２２４は、それぞれの動きベクトルによって識別された２つの参照ブロックについてデータを取り出し、たとえば、サンプルごとの平均化または加重平均化を通して、取り出されたデータを組み合わせ得る。
[0208]別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット２２６は、現在ブロックに近接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、近隣サンプルの値を概して数学的に組み合わせ、現在ブロックにわたって規定の方向にこれらの計算された値をポピュレートして、予測ブロックを生成し得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在ブロックに対する近隣サンプルの平均を計算し、予測ブロックのサンプルごとにこの得られた平均を含むように予測ブロックを生成し得る。
[0209]モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在ブロックの生の非コード化バージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在ブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在ブロックについての残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ）を使用して残差ブロックを生成するために、残差ブロック中のサンプル値の間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実施する１つまたは複数の減算器回路を使用して形成され得る。
[0210]モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと、対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００とビデオデコーダ３００とは、様々なサイズを有するＰＵをサポートし得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指すことがあり、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指すことがある。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測のための２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測のための２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称的ＰＵサイズとをサポートし得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズの非対称的区分をサポートし得る。
[0211]モード選択ユニット２０２がＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。
[0212]いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなど、他のビデオコーディング技法では、モード選択ユニット２０２は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在ブロックについて予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成せず、代わりに、選択されたパレットに基づいてブロックを再構築すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるためにこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。
[0213]上記で説明されたように、残差生成ユニット２０４は、現在ブロックと、対応する予測ブロックとについて、ビデオデータを受信する。残差生成ユニット２０４は、次いで、現在ブロックについて残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在ブロックとの間のサンプルごとの差分を計算する。
[0214]変換処理ユニット２０６は、変換係数のブロック（本明細書では「変換係数ブロック」と呼ばれる）を生成するために、残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、複数の変換、たとえば、１次変換および２次変換、たとえば回転変換を残差ブロックに実施し得る。いくつかの例では、変換処理ユニット２０６は、変換を残差ブロックに適用しない。
[0215]量子化ユニット２０８は、量子化された変換係数ブロックを生成するために、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在ブロックに関連付けられた量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵに関連付けられたＱＰ値を調整することによって、現在ブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失を導入することがあり、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有し得る。
[0216]逆量子化ユニット２１０と逆変換処理ユニット２１２とは、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化された変換係数ブロックに逆量子化と逆変換とを適用し得る。再構築ユニット２１４は、再構築された残差ブロックと、モード選択ユニット２０２によって生成された予測ブロックとに基づいて、（ある程度のひずみを潜在的にもっているものの）現在ブロックに対応する再構築ブロックを生成し得る。たとえば、再構築ユニット２１４は、再構築されたブロックを生成するために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。
[0217]フィルタユニット２１６は、ＣＵに関連する再構築コーディングブロックに対して１つまたは複数のＳＡＯ、ＧＡＬＦ、ＡＬＦ、および／またはデブロッキング動作を実施し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。いくつかの例では、フィルタユニット２１６の動作はスキップされてよい。
[0218]特に、フィルタユニット２１６は、上記で説明された本開示のＡＬＦおよびＧＡＬＦ技法を実施するように構成され得る。たとえば、フィルタユニット２１６は、再構築コーディングブロック中のサンプルの勾配の値を決定すること、当該決定することは、サンプルの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルを使用して、サンプルの勾配計算を実施することを含み、サンプルの勾配の決定された値に少なくとも部分的に基づいて、再構築コーディングブロックのための適応ループフィルタを決定することと、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタを再構築コーディングブロックに適用することとを行うように構成され得る。
[0219]いくつかの例では、フィルタユニット２１６は、本開示の技法などに従って、
再構築コーディングブロックをカバーするウィンドウについて勾配値（gradient values）を決定すること、該ウィンドウは、ビデオデータの再構築ブロックのサンプルと、ビデオデータの再構築ブロックを囲むサンプルとを含み、該決定することは、利用不可能サンプルを使用して勾配計算を実施することを含み、と、該ウィンドウについて決定された勾配値（gradient values）に少なくとも部分的に基づいて、再構築コーディングブロックのための適応ループフィルタを決定することと、を行うように構成され得る。これは、たとえば、本開示の技法などに従って、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内のサンプルの利用不可能勾配値を、境界の内側にある１つまたは複数の勾配値に置換することを含み得、ここで、ピクチャ、スライス、タイル、またはタイルグループのうちの１つは、再構築コーディングブロックを含む。
[0220]いくつかの例では、フィルタユニット２１６は、ウィンドウの勾配値（gradient values）に、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内のサンプルの利用不可能勾配値を含めるのを控えるように構成され得、ここで、ピクチャ、スライス、タイル、またはタイルグループのうちの１つは、ビデオデータの再構築ブロックを含む。フィルタユニット２１６は、ウィンドウの勾配値に、ウィンドウ内のサンプルの利用不可能勾配値を含めないことにより、ウィンドウの勾配値を正規化し得る。
[0221]いくつかの例では、フィルタユニット２１６は、利用不可能サンプルに対応するフィルタサポートを利用する適応ループフィルタに応答して、利用不可能サンプルに対応するフィルタサポートを使用しない、当該適応ループフィルタからの部分フィルタを決定するように構成され得、ここで、部分フィルタは、非対称部分フィルタまたは対称部分フィルタのうちの１つを含む。他の例では、フィルタユニット２１６は、利用不可能サンプルに対応するフィルタサポートを利用する適応ループフィルタに応答して、利用不可能サンプルに対応するフィルタサポートを置換するために、ミラーパディングを実施することように構成され得る。
[0222]いくつかの例では、フィルタユニット２１６は、再構築コーディングブロックの特定のサンプルについての１つまたは複数の勾配値を決定することが、１つまたは複数の利用不可能サンプルを使用して、特定のサンプルのための１つまたは複数の勾配計算を実施することを含むかどうか、あるいは、ビデオデータの再構築ブロックをカバーするウィンドウについて勾配値を決定することが、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここで、ビデオデータの再構築ブロックが、境界の内側にある、のうちの少なくとも１つに少なくとも部分的に基づいて、再構築コーディングブロックの特定のサンプルのフィルタ処理を条件付きで無効にするように構成され得る。
[0223]いくつかの例では、フィルタユニット２１６は、再構築コーディングブロック中の特定のサンプルについて１つまたは複数の勾配値を決定することが、１つまたは複数の利用不可能サンプルを使用して特定のサンプルのための１つまたは複数の勾配計算を実施することを含むかどうか、あるいは、ビデオデータの再構築ブロックをカバーするウィンドウの勾配値を決定することが、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここで、ビデオデータの再構築ブロックが、境界の内側にある、のうちの少なくとも１つに少なくとも部分的に基づいて、再構築ブロック中の特定のサンプルと、ビデオデータのフィルタ処理されたブロックのサンプルとの加重平均を決定することように構成され得る。
[0224]ビデオエンコーダ２００は、再構築ブロックをＤＰＢ２１８に記憶する。たとえば、フィルタユニット２１６の動作が必要とされない例において、再構築ユニット２１４は、再構築ブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が必要とされる例では、フィルタユニット２１６は、フィルタ処理された再構築ブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２と動き補償ユニット２２４とは、後で符号化されるピクチャのブロックをインター予測するために、再構築（および潜在的にフィルタ処理）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。加えて、イントラ予測ユニット２２６は、現在ピクチャ中の他のブロックをイントラ予測するために、現在ピクチャのＤＰＢ２１８中の再構築ブロックを使用し得る。
[0225]概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報、またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化データを生成するために、ビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化演算を実施し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
[0226]ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０がビットストリームを出力し得る。
[0227]上記で説明された動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されたい。上記で説明されたように、いくつかの例では、ルーマコーディングブロックとクロマコーディングブロックとは、ＣＵのルーマ成分とクロマ成分とである。いくつかの例では、ルーマコーディングブロックとクロマコーディングブロックとは、ＰＵのルーマ成分とクロマ成分とである。
[0228]いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。そうではなく、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされ得、参照ピクチャは同じであってよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックとクロマコーディングブロックについて同じであってよい。
[0229]ビデオエンコーダ２００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数の処理ユニットとを含む、ビデオデータを符号化するように構成されたデバイスの例を表し、１つまたは複数の処理ユニットは、ビデオデータの再構築ブロックを作成するために、ビデオデータのブロックを再構築することと、サンプルの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルを使用して、ビデオデータの再構築ブロック中のサンプルの勾配計算を実施することを含む、ビデオデータの再構築ブロック中のサンプルの勾配の値を決定することと、サンプルの勾配の決定された値に少なくとも部分的に基づいて、ビデオデータの再構築ブロックのための適応ループフィルタを決定することと、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタをビデオデータの再構築ブロックに適用することと、を行うように構成される。
[0230]図８は、本開示の技法を実施し得る例示的なビデオデコーダ３００を示すブロック図である。図８は、説明の目的で提供されており、本開示において広く例示され、説明される技法に対する限定ではない。
[0231]図４の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つまたは複数のプロセッサ中にあるいは処理回路中に実装され得る。たとえば、ビデオデコーダ３００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはＦＰＧＡのプロセッサ、ＡＳＩＣの一部として実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。いくつかの例では、ビデオデコーダ３００は、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスの一部であり得る。
[0232]予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能構成要素を含み得る。
[0233]ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化ビデオビットストリームからの符号化ビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、概して、ビデオデコーダ３００が符号化ビデオビットストリームの後続のデータまたはピクチャを復号するときに出力しおよび／または参照ビデオデータとして使用し得る復号ピクチャを記憶する。ＣＰＢメモリ３２０とＤＰＢ３１４とは、ＳＤＲＡＭを含むＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０とＤＰＢ３１４とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0234]追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化ビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０を用いて上記で論じられたデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全部が、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。
[0235]図８に示されている様々なユニットは、ビデオデコーダ３００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図７と同様に、固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作にプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされる回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。
[0236]ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行されるソフトウェアによって実施される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。
[0237]エントロピー復号ユニット３０２は、ＣＰＢから符号化ビデオデータを受信し、ビデオデータをエントロピー復号してシンタックス要素を再生し得る。予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２とは、ビットストリームから抽出されたシンタックス要素に基づいて復号ビデオデータを生成し得る。
[0238]概して、ビデオデコーダ３００は、ブロックごとにピクチャを再構築する。ビデオデコーダ３００は、各ブロックに対して個々に再構築演算を実施し得る（ここで、現在再構築されているブロック、すなわち、現在復号されているブロックは、「現在ブロック」と呼ばれることがある）。
[0239]エントロピー復号ユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ（ＱＰ）および／または変換モードインジケーションなどの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度と、同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたＱＰを使用し得る。逆量子化ユニット３０６は、量子化された変換係数を逆量子化するために、たとえば、ビット単位の左シフト演算を実施し得る。逆量子化ユニット３０６は、それにより、変換係数を含む変換係数ブロックを形成し得る。
[0240]逆量子化ユニット３０６が変換係数ブロックを形成した後に、逆変換処理ユニット３０８は、現在ブロックに関連する残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。
[0241]さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、予測情報シンタックス要素が、現在ブロックがインター予測されることを示す場合、動き補償ユニット３１６は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそれから取り出すべきＤＰＢ３１４中の参照ピクチャ、ならびに現在ピクチャ中の現在ブロックのロケーションに対して参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図７）に関して説明されたのと実質的に同様である様式でインター予測プロセスを実施し得る。
[0242]別の例として、予測情報シンタックス要素が、現在ブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図７）に関して説明されたのと実質的に同様である様式でイントラ予測プロセスを実施し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在ブロックに対する近隣サンプルのデータを取り出し得る。
[0243]再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して現在ブロックを再構築し得る。たとえば、再構築ユニット３１０は、現在ブロックを再構築するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。
[0244]フィルタユニット３１２は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット３１２は、再構築されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット３１２の動作は、すべての例において必ずしも実施されるとは限らない。特に、フィルタユニット３１２は、上記で説明された本開示のＡＬＦおよびＧＡＬＦ技法を実施するように構成され得る。たとえば、フィルタユニット３１２は、サンプルの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルを使用して、再構築コーディングブロック中のサンプル（sample）の勾配計算を実施することを含む、サンプルサンプル（sample）の勾配の値を決定することと、サンプルについて勾配の決定された値に少なくとも部分的に基づいて、再構築コーディングブロックのための適応ループフィルタを決定することと、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタを再構築コーディングブロックに適用することと、を行うように構成され得る。
[0245]いくつかの例では、フィルタユニット３１２は、本開示の技法などに従って、再構築コーディングブロックをカバーするウィンドウの勾配値を決定すること、ウィンドウは、ビデオデータの再構築ブロックのサンプルと、ビデオデータの再構築ブロックを囲むサンプルとを含み、当該決定することは、利用不可能サンプルを使用して勾配計算を実施することを含み、と、ウィンドウの決定された勾配値に少なくとも部分的に基づいて、再構築コーディングブロックのための適応ループフィルタを決定することと、を行うように構成され得る。これは、たとえば、本開示の技法などに従って、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内のサンプルの利用不可能勾配値を、境界の内側にある１つまたは複数の勾配値に置換することを含み得、ここで、ピクチャ、スライス、タイル、またはタイルグループのうちの１つは、再構築コーディングブロックを含む。
[0246]いくつかの例では、フィルタユニット３１２は、ウィンドウの勾配値に、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内のサンプルの利用不可能勾配値を含めるのを控えるように構成され得、ここで、ピクチャ、スライス、タイル、またはタイルグループのうちの１つは、ビデオデータの再構築ブロックを含む。フィルタユニット２１６は、ウィンドウの勾配値に、ウィンドウ内のサンプルの利用不可能勾配値を含めないことにより、ウィンドウの勾配値を正規化し得る。
[0247]いくつかの例では、フィルタユニット３１２は、利用不可能サンプルに対応するフィルタサポートを利用する適応ループフィルタに応答して、利用不可能サンプルに対応するフィルタサポートを使用しない、適応ループフィルタからの部分フィルタを決定するように構成され得、ここで、部分フィルタは、非対称部分フィルタまたは対称部分フィルタのうちの１つを含む。他の例では、フィルタユニット２１６は、利用不可能サンプルに対応するフィルタサポートを利用する適応ループフィルタに応答して、利用不可能サンプルに対応するフィルタサポートを置換するために、ミラーパディングを実施するように構成され得る。
[0248]いくつかの例では、フィルタユニット３１２は、再構築コーディングブロックの特定のサンプルの１つまたは複数の勾配値を決定することが、１つまたは複数の利用不可能サンプルを使用して特定のサンプルのための１つまたは複数の勾配計算を実施することを含むかどうか、あるいは、ビデオデータの再構築ブロックをカバーするウィンドウの勾配値を決定することが、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここで、ビデオデータの再構築ブロックが、境界の内側にある、のうちの少なくとも１つに少なくとも部分的に基づいて、再構築コーディングブロックの特定のサンプルのフィルタ処理を条件付きで無効にするように構成され得る。
[0249]いくつかの例では、フィルタユニット３１２は、再構築ブロック中の特定のサンプルの１つまたは複数の勾配値を決定することが、１つまたは複数の利用不可能サンプルを使用して特定のサンプルのための１つまたは複数の勾配計算を実施することを含むかどうか、あるいは、ビデオデータの再構築ブロックをカバーするウィンドウの勾配値を決定することが、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここで、ビデオデータの再構築ブロックが、境界の内側にある、のうちの少なくとも１つに少なくとも部分的に基づいて、再構築ブロック中の特定のサンプルとビデオデータのフィルタ処理されたブロックのサンプルとの加重平均を決定するように構成され得る。
[0250]ビデオデコーダ３００は、再構築ブロックをＤＰＢ３１４に記憶し得る。たとえば、フィルタユニット３１２の動作が実施されない例において、再構築ユニット３１０は、再構築ブロックをＤＰＢ３１４に記憶し得る。フィルタユニット３１２の動作が実施される例では、フィルタユニット３１２は、フィルタ処理された再構築ブロックをＤＰＢ３１４に記憶し得る。上記で論じられたように、ＤＰＢ３１４は、イントラ予測のための現在ピクチャのサンプルおよび後続の動き補償のための以前に復号されたピクチャなど、参照情報を予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢ３１４からの復号ピクチャ（たとえば、復号ビデオ）を、後続のプレゼンテーションのために、図１のディスプレイデバイス１１８などのディスプレイデバイス上に出力し得る。
[0251]このようにして、ビデオデコーダ３００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数の処理ユニットとを含む、ビデオ復号デバイスの例を表し、１つまたは複数の処理ユニットは、ビデオデータの再構築ブロックを作成するために、ビデオデータのブロックを再構築することと、ビデオデータの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルを使用してビデオデータの再構築ブロック中のサンプルの勾配計算を実施することを含む、ビデオデータの再構築ブロック中のサンプルの勾配の値を決定することと、サンプルの勾配の決定された値に少なくとも部分的に基づいて、ビデオデータの再構築ブロックのための適応ループフィルタを決定することと、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタをビデオデータの再構築ブロックに適用することと、を行うように構成される。
[0252]図９は、本開示の技法を実施するためのフィルタユニットの例示的な実装形態を示す。フィルタユニット２１６および３１２は、場合によってはビデオエンコーダ２００またはビデオデコーダ３００の他の構成要素とともに、本開示の技法を実施し得る。図９の例では、フィルタユニット２１６とフィルタユニット３１２とは、デブロックフィルタ３４２と、ＳＡＯ３４４フィルタと、ＡＬＦ／ＧＬＡＦフィルタ３４６とを含む。ＳＡＯフィルタ３４４は、たとえば、ブロックのサンプルのためのオフセット値を決定するように構成され得る。
[0253]フィルタユニット２１６とフィルタユニット３１２とは、より少数のフィルタを含み得、および／または追加のフィルタを含み得る。さらに、図９に示されている特定のフィルタは、異なる順序で実装され得る。サンプル遷移を平滑化するか、または他の方法でビデオ品質を改善するために、（コーディングループ中のまたはコーディングループ後のいずれかの）他のループフィルタも使用され得る。
[0254]デブロックフィルタ３４２は、ビデオデータの再構築ブロックのデブロッキングフィルタ処理を実施するように構成され得る。ＳＡＯフィルタ３４４は、デブロックフィルタ３４２によって出力された、ビデオデータのデブロックされた再構築ブロックのＳＡＯフィルタ処理を実施するように構成され得る。ＡＬＦ／ＧＡＬＦフィルタ３４６は、ＳＡＯフィルタ３４４によって出力された、ビデオデータのデブロックおよびＳＡＯフィルタ処理された再構築ブロックのＡＬＦまたはＧＡＬＦを実施するように構成され得る。
[0255]特に、ＡＬＦ／ＧＡＬＦフィルタ３４６は、サンプルの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルを使用して、ビデオデータのデブロックおよびＳＡＯフィルタ処理された再構築ブロック中のサンプルの勾配計算を実施することを含む、ビデオデータのデブロックおよびＳＡＯフィルタ処理された再構築ブロック中のサンプルの勾配の値を決定することと、サンプルの勾配の決定された値に少なくとも部分的に基づいて、ビデオデータのデブロックおよびＳＡＯフィルタ処理された再構築ブロックのための適応ループフィルタを決定することと、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタをビデオデータのデブロックおよびＳＡＯフィルタ処理された再構築ブロックに適用することと、を行うように構成され得る。
[0256]いくつかの例では、ＡＬＧ／ＧＡＬＦフィルタ３４６は、本開示の技法などに従って、ビデオデータのデブロックおよびＳＡＯフィルタ処理された再構築ブロックをカバーするウィンドウの勾配値を決定すること、ウィンドウが、ビデオデータの再構築ブロックのサンプルと、ビデオデータの再構築ブロックを囲むサンプルとを含み、該決定することは、利用不可能サンプルを使用して勾配計算を実施することを含み、と、ウィンドウの決定された勾配値に少なくとも部分的に基づいて、ビデオデータのデブロックおよびＳＡＯフィルタ処理された再構築ブロックのための適応ループフィルタを決定することと、を行うように構成され得る。これは、たとえば、本開示の技法などに従って、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内のサンプルの利用不可能勾配値を、境界の内側にある１つまたは複数の勾配値に置換することを含み得、ここで、ピクチャ、スライス、タイル、またはタイルグループのうちの１つは、ビデオデータのデブロックおよびＳＡＯフィルタ処理された再構築ブロックを含む。
[0257]いくつかの例では、ＡＬＧ／ＧＡＬＦフィルタ３４６は、ウィンドウの勾配値（gradient values）に、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内のサンプルの利用不可能勾配値を含めるのを控えるように構成され得、ここで、ピクチャ、スライス、タイル、またはタイルグループのうちの１つは、ビデオデータの再構築ブロックを含む。ＡＬＧ／ＧＡＬＦフィルタ３４６は、ウィンドウの勾配値に、ウィンドウ内のサンプルの利用不可能勾配値を含めないことにより、ウィンドウの勾配値を正規化し得る。
[0258]いくつかの例では、ＡＬＧ／ＧＡＬＦフィルタ３４６は、利用不可能サンプルに対応するフィルタサポートを利用する適応ループフィルタに応答して、利用不可能サンプルに対応するフィルタサポートを使用しない、適応ループフィルタからの部分フィルタを決定するように構成され得、ここで、部分フィルタは、非対称部分フィルタまたは対称部分フィルタのうちの１つを含む。他の例では、ＡＬＧ／ＧＡＬＦフィルタ３４６は、利用不可能サンプルに対応するフィルタサポートを利用する適応ループフィルタに応答して、利用不可能サンプルに対応するフィルタサポートを置換するために、ミラーパディングを実施することように構成され得る。
[0259]いくつかの例では、ＡＬＧ／ＧＡＬＦフィルタ３４６は、ビデオデータのデブロックおよびＳＡＯフィルタ処理された再構築ブロックの特定のサンプルの１つまたは複数の勾配値を決定することが、１つまたは複数の利用不可能サンプルを使用して特定のサンプルのための１つまたは複数の勾配計算を実施することを含むかどうか、あるいは、ビデオデータの再構築ブロックをカバーするウィンドウの勾配値を決定することが、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここで、ビデオデータの再構築ブロックは、境界の内側にある、のうちの少なくとも１つに少なくとも部分的に基づいて、ビデオデータのデブロックおよびＳＡＯフィルタ処理された再構築ブロックの特定のサンプルのフィルタ処理を条件付きで無効にするように構成され得る。
[0260]いくつかの例では、ＡＬＧ／ＧＡＬＦフィルタ３４６は、再構築ブロック中の特定のサンプルと、ビデオデータのフィルタ処理されたブロックのサンプルとの加重平均を決定するように構成され得、該決定することは、特定のサンプルの１つまたは複数の勾配値を決定することが、１つまたは複数の利用不可能サンプルを使用して特定のサンプルのための１つまたは複数の勾配計算を実施することを含むかどうか、あるいは、ビデオデータの再構築ブロックをカバーするウィンドウの勾配値を決定することが、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここで、ビデオデータの再構築ブロックが、境界の内側にある、のうちの少なくとも１つに少なくとも部分的に基づく。
[0261]所与のフレームまたはピクチャ中の復号ビデオブロックは、次いで、ＤＰＢ３１４に記憶され、ＤＰＢ３１４は、その後の動き補償のために使用される参照ピクチャを記憶する。ＤＰＢ３１４は、図１のディスプレイデバイス１１８など、ディスプレイデバイス上に後で提示するための復号ビデオを記憶する追加メモリの一部であり得るか、または追加メモリとは別個であり得る。
[0262]図１０は、ビデオデータの現在ブロックを復号するための例示的な方法を示すフローチャートである。現在ブロックは現在ＣＵを含み得る。ビデオデコーダ３００（図１および図８）に関して説明されるが、他のデバイスが図１０の方法と同様の方法を実施するように構成され得ることを理解されたい。
[0263]ビデオデコーダ３００は、エントロピー符号化された予測情報、および現在ブロックに対応する残差ブロックの係数についてのエントロピー符号化されたデータなど、現在ブロックについてのエントロピー符号化されたデータを受信し得る（３７０）。ビデオデコーダ３００は、エントロピー符号化されたデータをエントロピー復号して、現在ブロックについての予測情報を決定し、残差ブロックの係数を再生し得る（３７２）。ビデオデコーダ３００は、現在ブロックのための予測ブロックを計算するために、たとえば、現在ブロックについての予測情報によって示されるイントラ予測またはインター予測モードを使用して、現在ブロックを予測し得る（３７４）。ビデオデコーダ３００は、次いで、量子化された変換係数のブロックを作成するために、再生された係数を逆走査し得る（３７６）。ビデオデコーダ３００は、次いで、変換係数を逆量子化し、逆変換して、残差ブロックを生成し得る（３７８）。ビデオデコーダ３００は、最終的に、予測ブロックと残差ブロックとを組み合わせることによって現在ブロックを復号し得る（３８０）。
[0264]いくつかの例では、ビデオデコーダ３００は、デブロックフィルタ処理、ＳＡＯフィルタ処理、およびＡＬＦフィルタ処理など、復号ブロックのフィルタ処理を実施し得る。たとえば、ＡＬＦフィルタ処理を実施することの一部として、ビデオデコーダ３００は、サンプルの再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルに対応する利用可能サンプルを使用して、再構築コーディングブロック中のサンプルの勾配計算を実施することを含む、再構築コーディングブロックのサンプルの勾配の値を決定することと、サンプルの勾配の決定された値に少なくとも部分的に基づいて、再構築コーディングブロックのための適応ループフィルタを決定することと、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタを再構築コーディングブロックに適用することと、を行い得る。
[0265]いくつかの例では、ＡＬＦフィルタ処理を実施することの一部として、ビデオデコーダ３００は、本開示の技法などに従って、再構築コーディングブロックをカバーするウィンドウについて勾配値を決定すること、ウィンドウは、ビデオデータの再構築ブロックのサンプルと、ビデオデータの再構築ブロックを囲むサンプルとを含み、該決定することは、利用不可能サンプルを使用して勾配計算を実施することを含み、と、ウィンドウの決定された勾配値に少なくとも部分的に基づいて、再構築コーディングブロックのための適応ループフィルタを決定することと、を行い得る。これは、たとえば、本開示の技法などに従って、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ内のサンプルの利用不可能勾配値を、境界の内側にある１つまたは複数の勾配値に置換することを含み得、ここで、ピクチャ、スライス、タイル、またはタイルグループのうちの１つは、再構築コーディングブロックを含む。
[0266]図１１は、ビデオデータをコーディングするための例示的な方法を示すフローチャートである。本方法は、ビデオエンコーダ２００（図１および図７）ならびに／またはビデオデコーダ３００（図１および図８）によって実施され得る。ビデオエンコーダ２００とビデオデコーダ３００とに関して説明されるが、他のデバイスが図１１の方法と同様の方法を実施するように構成され得ることを理解されたい。いくつかの例では、図１１の技法は、実施された図７のフィルタユニット２１６および／または図８のフィルタユニット３１２であり得る。他の例では、図１１の技法は、ビデオエンコーダ２００および／またはビデオデコーダ３００の１つまたは複数の他の構造ユニットによって実施され得る。
[0267]図１１の例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ビデオデータの再構築ブロック１７０を作成するために、ビデオデータのブロックを再構築し得る（４００）。たとえば、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ビデオデータの再構築ブロックに対してＡＬＦを実施するより前に、ビデオデータの再構築ブロックにデブロッキングまたはＳＡＯフィルタ処理を実施し得る。
[0268]ビデオエンコーダ２００および／またはビデオデコーダ３００は、サンプルデータの再構築ブロック１７０を含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルに対応する利用可能サンプルを使用して、ビデオデータの再構築ブロック１７０中のサンプルの勾配計算を実施することを含む、ビデオデータの再構築ブロック１７０中のサンプルの勾配の値を決定し得る（４０２）。
[0269]いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、利用不可能サンプルの代わりに、サンプルの勾配の勾配方向に沿った利用可能近隣サンプルを使用してサンプルの勾配計算を実施し得る。いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、利用不可能近隣サンプルに対応する利用可能近隣サンプルを決定することために、ミラーパディングを実施し得、利用可能近隣サンプルを使用してサンプルの勾配計算を実施し得る。
[0270]いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ビデオデータの再構築ブロック１７０をカバーするウィンドウ１７２の勾配値を決定し得、ウィンドウは、ビデオデータの再構築ブロック１７０のサンプルと、ビデオデータの再構築ブロック１７０を囲むサンプルとを含む。
[0271]ビデオエンコーダ２００および／またはビデオデコーダ３００は、勾配の決定された値に少なくとも部分的に基づいて、ビデオデータの再構築ブロック１７０のための適応ループフィルタを決定し得る（４０４）。
[0272]いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ウィンドウの決定された勾配値に少なくとも部分的に基づいて、ビデオデータの再構築ブロック１７０のための適応ループフィルタを決定し得る。
[0273]いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ１７２内のサンプルの利用不可能勾配値を、境界の内側にある１つまたは複数の勾配値に置換し得、ここで、ピクチャ、スライス、タイル、またはタイルグループのうちの１つは、ビデオデータの再構築ブロック１７０を含む。
[0274]いくつかの例では、境界は水平境界１７４を含み、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ウィンドウ１７２内のおよび水平境界１７４の外側のサンプルの勾配値を、ウィンドウ１７２内のおよび水平境界１７４の外側のサンプルと同じ列上にある水平境界１７４内のサンプルの最も近い勾配値として決定し得る。
[0275]いくつかの例では、境界垂直境界１７６を含み、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ウィンドウ１７２内のおよび垂直境界１７６の外側のサンプルの勾配値を、ウィンドウ１７２内のおよび垂直境界１７６の外側のサンプルと同じ行上にある垂直境界１７６内のサンプルの最も近い勾配値として決定し得る。
[0276]いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ウィンドウ１７２内のおよび境界の外側のサンプルの対角勾配値を、ウィンドウ１７２内のおよび境界の外側のサンプルの対角勾配値と同じ勾配方向にある境界内のサンプルの最も近い対角勾配値として決定し得る。
[0277]いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、境界の外側にあるウィンドウ１７２内のサンプルの利用不可能勾配値を置換するために、ビデオデータの再構築ブロック１７０内の追加のサンプルの追加の勾配値を決定し得る。
[0278]いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ウィンドウ１７２の勾配値に、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ１７２内のサンプルの利用不可能勾配値を含めるのを控えること、ここで、ピクチャ、スライス、タイル、またはタイルグループのうちの１つが、ビデオデータの再構築ブロック１７０を含み、と、ウィンドウ１７２の勾配値を正規化することと、を行い得る。
[0279]ビデオエンコーダ２００および／またはビデオデコーダ３００は、ビデオデータのフィルタ処理されたブロックを生成するために、決定された適応ループフィルタをビデオデータの再構築ブロック１７０に適用し得る（４０６）。
[0280]いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、利用不可能サンプルに対応するフィルタサポートを利用する適応ループフィルタに応答して、利用不可能サンプルに対応するフィルタサポートを使用しない、適応ループフィルタからの部分フィルタを決定し得、ここで、部分フィルタは、非対称部分フィルタまたは対称部分フィルタのうちの１つを含む。
[0281]いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、利用不可能サンプルに対応するフィルタサポートを利用する適応ループフィルタに応答して、利用不可能サンプルに対応するフィルタサポートを置換するために、ミラーパディングを実施し得る。
[0282]いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ビデオデータの再構築ブロック１７０のサンプルの勾配値を決定することが、利用不可能サンプルを使用して勾配計算を実施することを含むかどうか、あるいは、ビデオデータの再構築ブロック１７０をカバーするウィンドウ１７２の勾配値を決定することが、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ１７２内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここで、ビデオデータの再構築ブロック１７０が、境界の内側にある、のうちの少なくとも１つに少なくとも部分的に基づいて、ビデオデータの再構築ブロック１７０のサンプルのフィルタ処理を、条件付きで無効にし得る。
[0283]いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、再構築ブロック中のサンプルの勾配値を決定することが、利用不可能サンプルを使用して勾配計算を実施することを含むかどうか、あるいは、ビデオデータの再構築ブロック１７０をカバーするウィンドウ１７２の勾配値を決定することが、ピクチャ、スライス、タイル、またはタイルグループのうちの１つの境界の外側にあるウィンドウ１７２内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここで、ビデオデータの再構築ブロック１７０が、境界の内側にある、のうちの少なくとも１つに少なくとも部分的に基づいて、再構築ブロック中のサンプルとビデオデータのフィルタ処理されたブロックのサンプルとの加重平均を決定し得る。
[0284]いくつかの例では、ビデオエンコーダ２００は、ビデオデータを符号化し、ビデオデータのフィルタ処理されたブロックを復号ピクチャバッファ２１８に記憶し得る。いくつかの例では、ビデオエンコーダ２００は、カメラを用いて、ビデオデータのブロックを含むピクチャをキャプチャし得る。
[0285]いくつかの例では、ビデオデコーダ３００は、ビデオデータを復号し得、ビデオデータのフィルタ処理されたブロックを復号ピクチャバッファ３１４に記憶し得る。いくつかの例では、ビデオデコーダ３００は、ビデオデータのフィルタ処理されたブロックを含むピクチャを表示し得る。
[0286]本開示の例示的な説明は以下を含む。
[0287]例１： ビデオデータを復号する方法であって、該方法は、サンプルのブロックを取得することと、サンプルのブロックの現在サンプルの勾配を決定することと、決定された勾配に基づいて、サンプルのためのフィルタを決定することとを備える。
[0288]例２： 現在サンプルの勾配を決定することは、利用不可能サンプルを使用して勾配計算を実施することを備える、例１による方法。
[0289]例３： 利用不可能サンプルは、サンプルのブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つまたは複数の境界の外側のサンプルを備える、例１による方法。
[0290]例４： サンプルのブロック中の利用可能サンプルの値に基づいて、利用不可能サンプルの値を決定することをさらに備える、例２または３による方法。
[0291]例５： サンプルのブロック中の利用可能サンプルの値に基づいて、利用不可能サンプルの値を決定することは、現在サンプルの勾配の方向に基づいて、使用されるべき利用可能サンプルを決定することを備える、例４による方法。
[0292]例６： 方向は４５度方向を備える、例５による方法。
[0293]例７： 方向は１３５度方向を備える、例５による方法。
[0294]例８： 方向は９０度方向を備える、例５による方法。
[0295]例９： 方向は０度方向を備える、例５による方法。
[0296]例１０： サンプルは、ピクチャ、スライス、タイル、またはタイルグループの垂直境界に隣接する、例１～９のいずれかによる方法。
[0297]例１１： サンプルは、ピクチャ、スライス、タイル、またはタイルグループの水平境界に隣接する、例１～９のいずれかによる方法。
[0298]例１２： サンプルは、サブブロックのサンプルであり、サンプルの勾配を決定することは、サブブロックの勾配を決定することを備える、例１～１１のいずれかによる方法。
[0299]例１３： サブブロックは、４×４ブロックを備える、例１２による方法。
[0300]例１４： サンプルは、ルーマサンプルを備える、例１～１３のいずれかによる方法。
[0301]例１５： 決定された勾配に基づいて、現在サンプルのためのフィルタを選択することと、利用不可能サンプルに対応するフィルタサポートを利用する選択されたフィルタに応答して、部分フィルタを使用して現在サンプルをフィルタ処理することとをさらに備える、例１～１４のいずれかによる方法。
[0302]例１６： 部分フィルタは、対称部分フィルタを備える、例１５による方法。
[0303]例１７： 部分フィルタは、非対称部分フィルタを備える、例１５による方法。
[0304]例１８： 決定されたフィルタを使用してサンプルをフィルタ処理することをさらに備える、例１～１７のいずれかによる方法。
[0305]例１９： 復号する方法が、ビデオ符号化プロセスの一部として実施される、例１～１５のいずれかによる方法。
[0306]例２０： ビデオデータを復号するためのデバイスであって、デバイスは、ビデオデータを記憶するように構成されたメモリと、例１～１８で説明されるいずれかの技法および／または本開示で説明されるいずれかの技法を使用してビデオデータを復号するように構成された１つまたは複数のプロセッサとを備える。
[0307]例２１： デバイスは、符号化ビデオデータを受信するように構成された受信機をさらに備えるワイヤレス通信デバイスを備える、例２０によるデバイス。
[0308]例２２： ワイヤレス通信デバイスは、電話ハンドセットを備え、受信機が、ワイヤレス通信規格に従って、符号化ビデオデータを備える信号を復調するように構成された、例２１によるデバイス。
[0309]例２３： １つまたは複数のプロセッサによって実行されたとき、例１～１９で説明されるいずれかの技法および／または本開示で説明されるいずれかの技法を使用してビデオデータを１つまたは複数のプロセッサに復号させる命令を記憶するコンピュータ可読記憶媒体。
[0310]例２４： ビデオデータを復号するための装置であって、装置が、例１～１９で説明されるいずれかの技法を使用してビデオデータを復号するための手段、および／または本開示で説明されるいずれかの技法を使用してビデオデータを復号するための手段を備える。
[0311]例２５： ビデオデータを符号化するためのデバイスであって、デバイスが、ビデオデータを記憶するように構成されたメモリと、例１～１９で説明されるいずれかの技法および／または本開示で説明されるいずれかの技法を使用してビデオデータを符号化するように構成された１つまたは複数のプロセッサとを備える。
[0312]例２６： デバイスは、符号化ビデオデータを送信するように構成された送信機をさらに備えるワイヤレス通信デバイスを備える、例２５のデバイス。
[0313]例２７： ワイヤレス通信デバイスは、電話ハンドセットを備え、送信機は、ワイヤレス通信規格に従って、符号化ビデオデータを備える信号を変調するように構成された、例２６のデバイス。
[0314]例２８： １つまたは複数のプロセッサによって実行されたとき、例１～１９で説明されるいずれかの技法および／または本開示で説明されるいずれかの技法を使用してビデオデータを１つまたは複数のプロセッサに符号化させる命令を記憶するコンピュータ可読記憶媒体。
[0315]例２９： ビデオデータを復号するための装置であって、装置が、
[0316]例１～１９で説明されるいずれかの技法を使用してビデオデータを符号化するための手段、および／または本開示で説明されるいずれかの技法を使用してビデオデータを符号化するための手段を備える。
[0317]本開示のいくつかの態様について、例示のために、ＨＥＶＣと、ＨＥＶＣの拡張と、開発中のＶＶＣ規格とに関して説明された。ただし、本開示で説明される技法は、まだ開発されていない他の規格またはプロプライエタリビデオコーディングプロセスを含む、他のビデオコーディングプロセスのために有用であり得る。
[0318]本開示で説明されるビデオコーダは、ビデオエンコーダまたはビデオデコーダを指し得る。同様に、ビデオコーディングユニットは、ビデオエンコーダまたはビデオデコーダを指し得る。同様に、ビデオコーディングは、適用可能なとき、ビデオ符号化またはビデオ復号を指し得る。本開示では、「に基づいて」という句は、のみに基づいて、に少なくとも部分的に基づいて、または、に何らかのやり方で基づいて、を示し得る。本開示は、１つまたは複数のサンプルブロックと、サンプルの１つまたは複数のブロックのサンプルをコーディングするために使用されるシンタックス構造とを指すために、「ビデオユニット」、または「ビデオブロック」、または「ブロック」という用語を使用し得る。例示的なタイプのビデオユニットは、ＣＴＵ、ＣＵ、ＰＵ、変換ユニット（ＴＵ）、マクロブロック、マクロブロック区分などを含み得る。いくつかのコンテキストでは、ＰＵの説明は、マクロブロックまたはマクロブロックパーティションの説明と交換され得る。例示的なタイプのビデオブロックは、コーディングツリーブロック、コーディングブロック、およびビデオデータの他のタイプのブロックを含み得る。
[0319]本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
[0320]上記例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。
[0321]１つまたは複数の例において、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的な有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示において説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0322]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含むのではなく、代わりに、非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書において使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
[0323]本開示で説明される機能は、固定機能および／またはプログラマブル処理回路によって実施され得る。たとえば、命令は、固定機能および／またはプログラマブル処理回路によって実行され得る。命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書において使用される「プロセッサ」および「処理回路」という用語は、前述の構造、または本明細書において説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。処理回路は、様々な仕方で他の構成要素に結合され得る。たとえば、処理回路は、内部デバイス相互接続、ワイヤードまたはワイヤレスネットワーク接続を介して他の構成要素に結合され得る。
[0324]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明されたが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。そうではなく、上記で説明されたように、様々なユニットは、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。
[0325]様々な例について説明された。これらおよび他の例は、以下の特許請求の範囲内に入る。

Claims (30)

  1. ビデオデータをコーディングする方法であって、
    ビデオデータの再構築ブロックを作成するために、ビデオデータのブロックを再構築することと、
    ビデオデータの前記再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルに対応する利用可能サンプルを使用して、ビデオデータの前記再構築ブロック中のサンプルについて勾配計算を実施することを含む、ビデオデータの前記再構築ブロック中の前記サンプルの勾配の値を決定することと、
    前記サンプルの前記勾配の前記決定された値に少なくとも部分的に基づいて、ビデオデータの前記再構築ブロックのための適応ループフィルタを決定することと、
    ビデオデータのフィルタ処理されたブロックを生成するために、前記決定された適応ループフィルタをビデオデータの前記再構築ブロックに適用することと、
    を備える、方法。
  2. 前記利用不可能サンプルに対応する前記利用可能サンプルを使用して前記サンプルの前記勾配計算を実施することは、
    前記利用不可能サンプルの代わりに、前記サンプルの前記勾配の勾配方向に沿った利用可能近隣サンプルを使用して、前記サンプルの前記勾配計算を実施すること、
    を備える、請求項１に記載の方法。
  3. 前記利用不可能サンプルを使用して前記サンプルの前記勾配計算を実施することは、
    前記利用不可能サンプルに対応する前記利用可能サンプルを決定するために、ミラーパディングを実施することと、
    前記利用可能近隣サンプルを使用して前記サンプルの前記勾配計算を実施することと、
    を備える、請求項１に記載の方法。
  4. ビデオデータの前記再構築ブロック中の前記サンプルの前記勾配の前記値を決定することは、ビデオデータの前記再構築ブロックをカバーするウィンドウについて勾配値を決定することを含み、前記ウィンドウは、ビデオデータの前記再構築ブロックのサンプルと、ビデオデータの前記再構築ブロックを囲むサンプルとを含み、
    前記サンプルの前記勾配の前記決定された値に少なくとも部分的に基づいて、ビデオデータの前記再構築ブロックのための前記適応ループフィルタを決定することは、前記ウィンドウの前記決定された勾配値に少なくとも部分的に基づいて、ビデオデータの前記再構築ブロックのための前記適応ループフィルタを決定することを含む、
    請求項１に記載の方法。
  5. ビデオデータの前記再構築ブロックをカバーする前記ウィンドウについて前記勾配値を決定することは、
    前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの１つの境界の外側にある、前記ウィンドウ内のサンプルの利用不可能勾配値を、前記境界の内側にある１つまたは複数の勾配値に置換すること、ここにおいて、前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの前記１つは、ビデオデータの前記再構築ブロックを含む、
    を備える、請求項４に記載の方法。
  6. 前記境界は水平境界を備え、前記境界の外側にある前記ウィンドウ内の前記サンプルの前記利用不可能勾配値を、前記境界の内側にある前記１つまたは複数の勾配値に置換することは、
    前記ウィンドウ内のおよび前記水平境界の外側のサンプルの勾配値を、前記ウィンドウ内のおよび前記水平境界の外側の前記サンプルと同じ列上にある前記水平境界内のサンプルの最も近い勾配値として決定すること、
    を備える、請求項５に記載の方法。
  7. 前記境界は垂直境界を備え、前記境界の外側にある前記ウィンドウ内の前記サンプルの前記利用不可能勾配値を、前記境界の内側にある前記１つまたは複数の勾配値に置換することは、
    前記ウィンドウ内のおよび前記垂直境界の外側のサンプルの勾配値を、前記ウィンドウ内のおよび前記垂直境界の外側の前記サンプルと同じ行上にある前記垂直境界内のサンプルの最も近い勾配値として決定すること、
    を備える、請求項５に記載の方法。
  8. 前記境界の外側にある前記ウィンドウ内の前記サンプルの前記利用不可能勾配値を、前記境界の内側にある前記１つまたは複数の勾配値に置換することは、
    前記ウィンドウ内のおよび前記境界の外側のサンプルの対角勾配値を、前記ウィンドウ内のおよび前記境界の外側の前記サンプルの前記対角勾配値と同じ勾配方向にある前記境界内のサンプルの最も近い対角勾配値として決定すること、
    を備える、請求項５に記載の方法。
  9. 前記境界の外側にある前記ウィンドウ内の前記サンプルの前記利用不可能勾配値を、前記境界の内側にある前記１つまたは複数の勾配値に置換することは、
    前記境界の外側にある前記ウィンドウ内の前記サンプルの前記利用不可能勾配値を置換するために、ビデオデータの前記再構築ブロック内の追加のサンプルについて追加の勾配値を決定すること、
    を備える、請求項５に記載の方法。
  10. ビデオデータの前記再構築ブロックをカバーする前記ウィンドウについて前記勾配値を決定することは、
    前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの１つの境界の外側にある、前記ウィンドウ内のサンプルの利用不可能勾配値を、前記ウィンドウの前記勾配値に含めるのを控えることと、ここにおいて、前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの前記１つは、ビデオデータの前記再構築ブロックを含み、
    前記ウィンドウの前記勾配値を正規化することと、
    を備える、請求項４に記載の方法。
  11. 前記ウィンドウの前記決定された勾配値に少なくとも部分的に基づいて、ビデオデータの前記再構築ブロックのための前記適応ループフィルタを決定することは、
    利用不可能サンプルに対応するフィルタサポートを利用する前記適応ループフィルタに応答して、前記利用不可能サンプルに対応する前記フィルタサポートを使用しない、前記適応ループフィルタからの部分フィルタを決定すること、ここにおいて、前記部分フィルタは、非対称部分フィルタまたは対称部分フィルタのうちの１つを備え、
    を備える、請求項４に記載の方法。
  12. 前記ウィンドウの前記決定された勾配値に少なくとも部分的に基づいて、ビデオデータの前記再構築ブロックのための前記適応ループフィルタを決定することは、
    利用不可能サンプルに対応するフィルタサポートを利用する前記適応ループフィルタに応答して、前記利用不可能サンプルに対応する前記フィルタサポートを置換するために、ミラーパディングを実施すること、
    を備える、請求項４に記載の方法。
  13. ビデオデータの前記フィルタ処理されたブロックを生成するために、前記決定された適応ループフィルタをビデオデータの前記再構築ブロックに適用することは、
    ビデオデータの前記再構築ブロックの特定のサンプルのフィルタ処理を、
    前記特定のサンプルの１つまたは複数の勾配値を決定することが、１つまたは複数の利用不可能サンプルを使用して前記特定のサンプルのための１つまたは複数の勾配計算を実施することを含むかどうか、あるいは、
    ビデオデータの前記再構築ブロックをカバーする前記ウィンドウの前記勾配値を決定することが、前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの１つの境界の外側にある、前記ウィンドウ内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここにおいて、ビデオデータの前記再構築ブロックは、前記境界の内側にある、
    のうちの少なくとも１つに少なくとも部分的に基づいて、条件付きで無効にすること、
    をさらに備える、請求項４に記載の方法。
  14. ビデオデータの前記フィルタ処理されたブロックを生成するために、前記決定された適応ループフィルタをビデオデータの前記再構築ブロックに適用することは、
    ビデオデータの前記再構築ブロック中の特定のサンプルと、ビデオデータの前記フィルタ処理されたブロックのサンプルとの加重平均を、
    前記特定のサンプルの１つまたは複数の勾配値を決定することが、１つまたは複数の利用不可能サンプルを使用して前記特定のサンプルのための１つまたは複数の勾配計算を実施することを含むかどうか、あるいは、
    ビデオデータの前記再構築ブロックをカバーする前記ウィンドウの前記勾配値を決定することが、前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの１つの境界の外側にある、前記ウィンドウ内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここにおいて、ビデオデータの前記再構築ブロックは、前記境界の内側にある、
    のうちの少なくとも１つに少なくとも部分的に基づいて決定すること、
    をさらに備える、請求項４に記載の方法。
  15. ビデオデータをコーディングするように構成された装置であって、
    ビデオデータのブロックを記憶するように構成されたメモリと、
    前記メモリと通信している、回路中に実装された１つまたは複数のプロセッサと、を備え、前記１つまたは複数のプロセッサは、
    ビデオデータの再構築ブロックを作成するために、ビデオデータの前記ブロックを再構築することと、
    ビデオデータの前記再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルに対応する利用可能サンプルを使用して、ビデオデータの前記再構築ブロック中のサンプルの勾配計算を実施することを含む、ビデオデータの前記再構築ブロック中の前記サンプルの勾配の値を決定することと、
    前記勾配の前記決定された値に少なくとも部分的に基づいて、ビデオデータの前記再構築ブロックのための適応ループフィルタを決定することと、
    ビデオデータのフィルタ処理されたブロックを生成するために、前記決定された適応ループフィルタをビデオデータの前記再構築ブロックに適用することと、
    を行うように構成された、装置。
  16. 前記利用不可能サンプルに対応する前記利用可能サンプルを使用して前記サンプルの前記勾配計算を実施するために、前記１つまたは複数のプロセッサは、
    前記利用不可能サンプルの代わりに、前記サンプルの前記勾配の勾配方向に沿った利用可能近隣サンプルを使用して、前記サンプルの前記勾配計算を実施する
    ように構成された、請求項１５に記載の装置。
  17. 前記利用不可能サンプルに対応する前記利用可能サンプルを使用して前記サンプルの前記勾配計算を実施するために、前記１つまたは複数のプロセッサは、
    前記利用不可能サンプルに対応する利用可能近隣サンプルを決定することために、ミラーパディングを実施することと、
    前記利用可能近隣サンプルを使用して前記サンプルの前記勾配計算を実施することと、
    を行うように構成された、請求項１５に記載の装置。
  18. ビデオデータの前記再構築ブロック中の前記サンプルの前記勾配の前記値を決定するために、前記１つまたは複数のプロセッサは、ビデオデータの前記再構築ブロックをカバーするウィンドウについて勾配値を決定するようにさらに構成され、前記ウィンドウは、ビデオデータの前記再構築ブロックのサンプルと、ビデオデータの前記再構築ブロックを囲むサンプルとを含み、
    前記サンプルの前記勾配の前記決定された値に少なくとも部分的に基づいて、ビデオデータの前記再構築ブロックのための適応ループフィルタを決定するために、前記１つまたは複数のプロセッサは、前記ウィンドウの前記決定された勾配値に少なくとも部分的に基づいて、ビデオデータの前記再構築ブロックのための前記適応ループフィルタを決定するようにさらに構成された、
    請求項１５に記載の装置。
  19. ビデオデータの前記再構築ブロックをカバーする前記ウィンドウについて前記勾配値を決定するために、前記１つまたは複数のプロセッサは、
    前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの１つの境界の外側にある、前記ウィンドウ内のサンプルの利用不可能勾配値を、前記境界の内側にある１つまたは複数の勾配値に置換すること、ここにおいて、前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの前記１つは、ビデオデータの前記再構築ブロックを含む、
    を行うようにさらに構成された、請求項１８に記載の装置。
  20. 前記境界は水平境界を備え、前記境界の外側にある前記ウィンドウ内の前記サンプルの前記利用不可能勾配値を、前記境界の内側にある前記１つまたは複数の勾配値に置換するために、前記１つまたは複数のプロセッサは、
    前記ウィンドウ内のおよび前記水平境界の外側のサンプルの勾配値を、前記ウィンドウ内のおよび前記水平境界の外側の前記サンプルと同じ列上にある前記水平境界内のサンプルの最も近い勾配値として決定する、
    ようにさらに構成された、請求項１９に記載の装置。
  21. 前記境界は垂直境界を備え、前記境界の外側にある前記ウィンドウ内の前記サンプルの前記利用不可能勾配値を、前記境界の内側にある前記１つまたは複数の勾配値に置換するために、前記１つまたは複数のプロセッサは、
    前記ウィンドウ内のおよび前記垂直境界の外側のサンプルの勾配値を、前記ウィンドウ内のおよび前記垂直境界の外側の前記サンプルと同じ行上にある前記垂直境界内のサンプルの最も近い勾配値として決定する、
    ようにさらに構成された、請求項１９に記載の装置。
  22. 前記境界の外側にある前記ウィンドウ内の前記サンプルの前記利用不可能勾配値を、前記境界の内側にある前記１つまたは複数の勾配値に置換するために、前記１つまたは複数のプロセッサは、
    前記ウィンドウ内のおよび前記境界の外側のサンプルの対角勾配値を、前記ウィンドウ内のおよび前記境界の外側の前記サンプルの前記対角勾配値と同じ勾配方向にある前記境界内のサンプルの最も近い対角勾配値として決定する、
    ようにさらに構成された、請求項１９に記載の装置。
  23. 前記境界の外側にある前記ウィンドウ内の前記サンプルの前記利用不可能勾配値を、前記境界の内側にある前記１つまたは複数の勾配値に置換するために、前記１つまたは複数のプロセッサは、
    前記境界の外側にある前記ウィンドウ内の前記サンプルの前記利用不可能勾配値を置換するために、ビデオデータの前記再構築ブロック内の追加のサンプルについて追加の勾配値を決定するようにさらに構成された、
    請求項１９に記載の装置。
  24. ビデオデータの前記再構築ブロックをカバーする前記ウィンドウについて前記勾配値を決定するために、前記１つまたは複数のプロセッサは、
    前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの１つの境界の外側にある、前記ウィンドウ内のサンプルの利用不可能勾配値を、前記ウィンドウの前記勾配値に含めるのを控えることと、ここにおいて、前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの前記１つは、ビデオデータの前記再構築ブロックを含み、
    前記ウィンドウの前記勾配値を正規化することと、
    を行うようにさらに構成された、請求項１８に記載の装置。
  25. 前記ウィンドウの前記決定された勾配値に少なくとも部分的に基づいて、ビデオデータの前記再構築ブロックのための前記適応ループフィルタを決定するために、前記１つまたは複数のプロセッサは、
    利用不可能サンプルに対応するフィルタサポートを利用する前記適応ループフィルタに応答して、前記利用不可能サンプルに対応する前記フィルタサポートを使用しない、前記適応ループフィルタからの部分フィルタを決定すること、ここにおいて、前記部分フィルタは、非対称部分フィルタまたは対称部分フィルタのうちの１つを備え、
    を行うようにさらに構成された、請求項１８に記載の装置。
  26. 前記ウィンドウの前記決定された勾配値に少なくとも部分的に基づいて、ビデオデータの前記再構築ブロックのための前記適応ループフィルタを決定するために、前記１つまたは複数のプロセッサは、
    利用不可能サンプルに対応するフィルタサポートを利用する前記適応ループフィルタに応答して、前記利用不可能サンプルに対応する前記フィルタサポートを置換するために、ミラーパディングを実施するようにさらに構成された、請求項１８に記載の装置。
  27. ビデオデータの前記フィルタ処理されたブロックを生成するために、前記決定された適応ループフィルタをビデオデータの前記再構築ブロックに適用するために、前記１つまたは複数のプロセッサは、
    ビデオデータの前記再構築ブロックの特定のサンプルのフィルタ処理を、
    前記特定のサンプルのある１つまたは複数の勾配値を決定することが、１つまたは複数の利用不可能サンプルを使用して前記特定のサンプルのための１つまたは複数の勾配計算を実施することを含むかどうか、あるいは、
    ビデオデータの前記再構築ブロックをカバーする前記ウィンドウの前記勾配値を決定することが、前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの１つの境界の外側にある、前記ウィンドウ内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここにおいて、ビデオデータの前記再構築ブロックは、前記境界の内側にあり、
    のうちの少なくとも１つに少なくとも部分的に基づいて、条件付きで無効にするようにさらに構成された、請求項１８に記載の装置。
  28. ビデオデータの前記フィルタ処理されたブロックを生成するために、前記決定された適応ループフィルタをビデオデータの前記再構築ブロックに適用するために、前記１つまたは複数のプロセッサは、
    前記再構築ブロック中の特定のサンプルと、ビデオデータの前記フィルタ処理されたブロックのサンプルとの加重平均を、
    前記特定のサンプルの１つまたは複数の勾配値を決定することが、１つまたは複数の利用不可能サンプルを使用して前記特定のサンプルのための１つまたは複数の勾配計算を実施することを含むかどうか、あるいは、
    ビデオデータの前記再構築ブロックをカバーする前記ウィンドウの前記勾配値を決定することが、前記ピクチャ、前記スライス、前記タイル、または前記タイルグループのうちの１つの境界の外側にある、前記ウィンドウ内の１つまたは複数のサンプルの１つまたは複数の勾配値を決定することを含むかどうか、ここにおいて、ビデオデータの前記再構築ブロックは、前記境界の内側にある、
    のうちの少なくとも１つに少なくとも部分的に基づいて決定するようにさらに構成された、請求項１８に記載の装置。
  29. 前記装置は、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、請求項１５に記載の装置。
  30. 実行されたとき、ビデオデータをコーディングするように構成された１つまたは複数のプロセッサに、
    ビデオデータの再構築ブロックを作成するために、ビデオデータのブロックを再構築することと、
    ビデオデータの前記再構築ブロックを含むピクチャ、スライス、タイル、またはタイルグループのうちの１つの外側にある利用不可能サンプルに対応する利用可能サンプルを使用して、ビデオデータの前記再構築ブロック中のサンプルについて勾配計算を実施することを含む、ビデオデータの前記再構築ブロック中の前記サンプルの勾配の値を決定することと、
    前記サンプルの前記勾配の前記決定された値に少なくとも部分的に基づいて、ビデオデータの前記再構築ブロックのための適応ループフィルタを決定することと、
    ビデオデータのフィルタ処理されたブロックを生成するために、前記決定された適応ループフィルタをビデオデータの前記再構築ブロックに適用することと、
    を行わせる命令を記憶する非一時的コンピュータ可読記憶媒体。
JP2021552913A 2019-03-11 2020-03-11 適応ループフィルタ処理のための境界ハンドリング Active JP7507169B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962816728P 2019-03-11 2019-03-11
US62/816,728 2019-03-11
US16/814,597 US11910024B2 (en) 2019-03-11 2020-03-10 Boundary handling for adaptive loop filtering
US16/814,597 2020-03-10
PCT/US2020/022132 WO2020185919A1 (en) 2019-03-11 2020-03-11 Boundary handling for adaptive loop filtering

Publications (3)

Publication Number Publication Date
JP2022524055A true JP2022524055A (ja) 2022-04-27
JPWO2020185919A5 JPWO2020185919A5 (ja) 2023-02-24
JP7507169B2 JP7507169B2 (ja) 2024-06-27

Family

ID=72423568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021552913A Active JP7507169B2 (ja) 2019-03-11 2020-03-11 適応ループフィルタ処理のための境界ハンドリング

Country Status (14)

Country Link
US (1) US11910024B2 (ja)
EP (1) EP3939321A1 (ja)
JP (1) JP7507169B2 (ja)
KR (1) KR20210135246A (ja)
CN (1) CN113557743A (ja)
AU (1) AU2020234574A1 (ja)
BR (1) BR112021017449A2 (ja)
CA (1) CA3131117A1 (ja)
CL (1) CL2021002356A1 (ja)
CO (1) CO2021011792A2 (ja)
IL (1) IL285638B1 (ja)
MX (1) MX2021010859A (ja)
SG (1) SG11202108952SA (ja)
WO (1) WO2020185919A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11044473B2 (en) * 2018-12-21 2021-06-22 Qualcomm Incorporated Adaptive loop filtering classification in video coding
US11153598B2 (en) * 2019-06-04 2021-10-19 Tencent America LLC Method and apparatus for video coding using a subblock-based affine motion model
CN118138754A (zh) 2019-06-14 2024-06-04 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
CN113994671B (zh) 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
JP7291846B2 (ja) 2019-07-09 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングのためのサンプル決定
KR102648121B1 (ko) 2019-07-11 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서의 샘플 패딩
CN117676168A (zh) 2019-07-15 2024-03-08 北京字节跳动网络技术有限公司 自适应环路滤波中的分类
EP4018652A4 (en) 2019-09-22 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. FILLING METHOD IN AN ADAPTIVE LOOP FILTER
JP7326600B2 (ja) * 2019-09-27 2023-08-15 北京字節跳動網絡技術有限公司 異なるビデオユニット間の適応ループフィルタリング
JP7454042B2 (ja) 2019-10-10 2024-03-21 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
BR112022008487A2 (pt) * 2019-11-04 2022-09-20 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador e meio de gravação não transitório legível por computador
US11425405B2 (en) * 2019-11-15 2022-08-23 Qualcomm Incorporated Cross-component adaptive loop filter in video coding
CN116325734A (zh) * 2020-09-23 2023-06-23 北京达佳互联信息技术有限公司 具有虚拟边界的跨分量样点自适应偏移中的色度编解码增强
WO2024002168A1 (en) * 2022-06-28 2024-01-04 Douyin Vision (Beijing) Co., Ltd. Padding methods for adaptive loop filter in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019107994A1 (ko) * 2017-11-29 2019-06-06 한국전자통신연구원 루프내 필터링을 이용한 영상 부호화/복호화 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548041B2 (en) 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US9525884B2 (en) 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
US9641866B2 (en) 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
US20130107973A1 (en) 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
WO2013174254A1 (en) 2012-05-21 2013-11-28 Mediatek Singapore Pte. Ltd. Method and apparatus of inter-layer filtering for scalable video coding
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
CN116527887A (zh) 2016-08-01 2023-08-01 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
US10721469B2 (en) 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding
CN118042154A (zh) * 2018-01-25 2024-05-14 三星电子株式会社 使用基于子块的运动补偿进行视频信号处理的方法和装置
US11451773B2 (en) 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019107994A1 (ko) * 2017-11-29 2019-06-06 한국전자통신연구원 루프내 필터링을 이용한 영상 부호화/복호화 방법 및 장치
JP2021505074A (ja) * 2017-11-29 2021-02-15 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ループ内フィルタリングを用いた画像符号化／復号化方法及び装置

Also Published As

Publication number Publication date
CN113557743A (zh) 2021-10-26
KR20210135246A (ko) 2021-11-12
TW202042553A (zh) 2020-11-16
AU2020234574A1 (en) 2021-09-16
IL285638A (en) 2021-09-30
WO2020185919A1 (en) 2020-09-17
CO2021011792A2 (es) 2021-09-20
US11910024B2 (en) 2024-02-20
SG11202108952SA (en) 2021-09-29
CA3131117A1 (en) 2020-09-17
JP7507169B2 (ja) 2024-06-27
US20200296425A1 (en) 2020-09-17
BR112021017449A2 (pt) 2021-11-16
EP3939321A1 (en) 2022-01-19
MX2021010859A (es) 2021-10-22
IL285638B1 (en) 2024-06-01
CL2021002356A1 (es) 2022-06-10

Similar Documents

Publication Publication Date Title
JP7507169B2 (ja) 適応ループフィルタ処理のための境界ハンドリング
US11032572B2 (en) Low-frequency non-separable transform signaling based on zero-out patterns for video coding
KR20220020266A (ko) 비디오 코딩에서 저주파수 분리불가능한 변환을 위한 변환 및 마지막 유의 계수 위치 시그널링
US11057622B2 (en) Position dependent intra prediction combination with non-square block diagonals
US11677984B2 (en) Low-frequency non-separable transform (LFNST) signaling
US11134251B2 (en) Video coding in triangular prediction unit mode using different chroma formats
JP2022521809A (ja) ビデオコーディングにおける係数領域ブロック差分パルスコード変調
US11140418B2 (en) Block-based adaptive loop filter design and signaling
CN114424570B (zh) 用于视频编解码的变换单元设计
TW202112135A (zh) 用於視訊寫碼之色度內預測單元
US20220215593A1 (en) Multiple neural network models for filtering during video coding
JP2022500903A (ja) ビデオコーディングのためのメモリ消費を低減した適応ループフィルタパラメータの時間予測
CN114402620A (zh) 用于视频编解码的交叉分量自适应环路滤波的比特移位
CN114175643B (zh) 调色板和预测模式信令
JP2023507099A (ja) ビデオコーディングにおけるマルチプル変換選択シグナリングに対する係数グループベースの制限
CN115462072A (zh) 视频译码中的高级去块滤波(dbf)、自适应环路滤波(alf)和采样自适应偏移(sao)控制以及自适应参数集(aps)数量约束
TWI845635B (zh) 用於自適應迴路濾波之邊界處理
TWI845688B (zh) 用於視訊寫碼之合併模式寫碼
TW202418805A (zh) 視頻編解碼複雜性降低的幀內預測融合
KR20230123947A (ko) 고정 필터들을 갖는 적응적 루프 필터

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240617