JP2014533012A - クロマ成分のための適応ループフィルタ処理 - Google Patents

クロマ成分のための適応ループフィルタ処理 Download PDF

Info

Publication number
JP2014533012A
JP2014533012A JP2014537242A JP2014537242A JP2014533012A JP 2014533012 A JP2014533012 A JP 2014533012A JP 2014537242 A JP2014537242 A JP 2014537242A JP 2014537242 A JP2014537242 A JP 2014537242A JP 2014533012 A JP2014533012 A JP 2014533012A
Authority
JP
Japan
Prior art keywords
adaptive loop
chroma
loop filtering
block
luma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014537242A
Other languages
English (en)
Other versions
JP5922245B2 (ja
Inventor
チョン、イン・スク
ワン、シャンリン
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014533012A publication Critical patent/JP2014533012A/ja
Application granted granted Critical
Publication of JP5922245B2 publication Critical patent/JP5922245B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、適応ループフィルタにおいてクロマ成分をフィルタ処理する際により多くのフレキシビリティを可能にするための技法を提案する。一例では、適応ループフィルタ処理のための方法は、ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、ピクセルのブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することとを含み、ルーマ適応ループフィルタ処理とクロマ適応ループフィルタ処理の両方のためのフィルタ係数がブロックベースモードまたは領域ベースモードから導出される。本方法は、ピクセルのブロックに対してルーマ適応ループフィルタ処理を実行することを判断することと、ピクセルのブロックに対してクロマ適応ループフィルタ処理を実行することを判断することであって、クロマ適応ループフィルタ処理を実行することを判断することが、ルーマ適応ループフィルタ処理を実行することを判断することとは無関係に実行される、判断することとをさらに含み得る。

Description

本出願は、その内容全体が参照により本明細書に組み込まれる、2011年10月21日に出願された米国仮出願第61/550,259号の利益を主張する。
本開示は、ビデオコーディングに関し、より詳細には、ビデオコーディングプロセスにおけるクロマ成分のための適応ループフィルタ処理のための技法に関する。
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信、受信および記憶するための、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part10,アドバンストビデオコーディング(AVC:Advanced Video Coding)によって定義された規格、現在開発中の高効率ビデオコーディング(HEVC:High Efficiency Video Coding)規格、およびそのような規格の拡張に記載されているビデオ圧縮技法のような、ビデオ圧縮技法を実装する。
ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的予測および/または時間的予測を含む。ブロックベースのビデオコーディングの場合、ビデオフレームまたはスライスはブロックに区分され得る。各ブロックはさらに区分され得る。イントラコード化(I)フレームまたはスライス中のブロックは、同じフレームまたはスライス中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。インターコード化(PまたはB)フレームまたはスライス中のブロックは、同じフレームまたはスライス中の隣接ブロック中の参照サンプルに対する空間的予測、あるいは他の参照フレーム中の参照サンプルに対する時間的予測を使用し得る。空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。最初は2次元アレイに構成される、量子化された変換係数は、特定の順序で走査されて、エントロピーコーディングのための変換係数の1次元ベクトルが生成され得る。
概して、本開示では、ビデオデータをコーディングするための技法について説明する。特に、本開示では、ビデオコーディングのための適応ループフィルタ(ALF:adaptive loop filter)プロセスのための技法について説明する。本開示は、ALFプロセスにおいてクロマ成分をフィルタ処理する際により多くのフレキシビリティを可能にするための技法を提案する。
本開示の一例では、ビデオコーディングプロセスにおける適応ループフィルタ処理のための方法が開示される。本方法は、ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、ピクセルのブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することとを含み、ルーマ適応ループフィルタ処理とクロマ適応ループフィルタ処理の両方のためのフィルタ係数がブロックベースモード(block-based mode)または領域ベースモード(region-based mode)から導出される。ピクセルのブロックのクロマ成分は、4:2:0、4:2:2または4:4:4ピクセルフォーマットであり得る。
本開示の別の例では、本方法は、ピクセルのブロックに対してルーマ適応ループフィルタ処理を実行することを判断することと、ピクセルのブロックに対してクロマ適応ループフィルタ処理を実行することを判断することであって、クロマ適応ループフィルタ処理を実行することを判断することが、ルーマ適応ループフィルタ処理を実行することを判断することとは無関係に実行される、判断することとをさらに含み得る。クロマ適応ループフィルタ処理を実行することを判断することは、CUレベルALFオン/オフフラグをシグナリングすることまたは受信することを含み得る。
本開示の別の例では、ルーマ適応ループフィルタ処理のためのフィルタ情報は、クロマ適応ループフィルタ処理のために使用される。フィルタ情報は、CUレベルオン/オフマップ、フィルタ係数、および/またはブロックベース分類を含み得る。
本開示の別の例では、クロマ適応ループフィルタ処理のためのフィルタ係数は、ルーマ適応ループフィルタ処理のためのフィルタ係数から予測される。
本開示の別の例では、クロマ適応ループフィルタ処理を実行することが、ピクセルのブロックのCrクロマ成分のためのCrクロマ適応ループフィルタ処理を実行することと、ピクセルのブロックのためのCbクロマ成分のためのCbクロマ適応ループフィルタ処理を実行することとを含み得る。Crクロマ適応ループフィルタ処理のためのフィルタ情報は、Cbクロマ適応ループフィルタ処理のために使用され得る。フィルタ情報は、CUレベルオン/オフマップ、フィルタ係数、および/またはブロックベース分類を含む。本開示の別の例では、Cbクロマ適応ループフィルタ処理のためのフィルタ係数は、Crクロマ適応ループフィルタ処理のためのフィルタ係数から予測される。
また、本開示の技法について、技法を実行するように構成された装置およびデバイス、ならびに1つまたは複数のプロセッサに技法を実行させ得る命令を記憶するコンピュータ可読記憶媒体に関して説明する。
1つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになろう。
例示的なビデオ符号化および復号システムを示すブロック図。 適応ループフィルタのための領域ベース分類を示す概念図。 適応ループフィルタのためのブロックベース分類を示す概念図。 例示的なコーディングユニット(CU:coding unit)レベルALFオン/オフフラグマップを示す概念図。 別の例示的なコーディングユニット(CU)レベルALFオン/オフフラグマップを示す概念図。 例示的なビデオエンコーダを示すブロック図。 例示的なビデオデコーダを示すブロック図。 本開示の技法による例示的な符号化方法を示すフローチャート。 本開示の技法による例示的な復号方法を示すフローチャート。
詳細な説明
概して、本開示では、ビデオデータをコーディングするための技法について説明する。特に、本開示では、ビデオコーディングプロセスにおけるクロマ成分の適応ループフィルタ処理(ALF:adaptive loop filtering)のための技法について説明する。
ALFを適用するための以前の技法では、ピクセルのルーマ成分とクロマ成分とを別様に扱った。特に、ルーマ成分のローカル領域またはアクティビティに基づいて、ルーマ成分のために使用するために、複数の可能なALFの中から特定のALFが選定される。したがって、ルーマ成分のためのALFはフレキシブルであり、ビデオの特定のシーンに、より適合される。一方、クロマ成分のためにただ1つのALFが使用され、それの使用は使用されているルーマALFに依存する。クロマ成分のためにただ1つのALFを使用すること、ならびにルーマ成分のためのALFと無関係にクロマ成分のためのALFを適用しないことは、クロマサンプリングフォーマットとも呼ばれる、4:2:0ピクセルサンプリングフォーマットのためのALFの品質を限定し得る。したがって、本開示は、ALFにおいてクロマ成分をフィルタ処理する際により多くのフレキシビリティを可能にするための技法を提案する。他の例では、クロマ成分のALFのための本開示の技法は4:2:0ピクセルフォーマットだけに限定されない。本開示のALF技法は、4:2:2および4:4:4ピクセルフォーマットなど、他のピクセルフォーマットのクロマ成分に適用され得る。
デジタルビデオデバイスは、デジタルビデオ情報をより効率的に符号化および復号するためのビデオ圧縮技法を実装する。ビデオ圧縮は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的(フレーム内(intra-frame))予測および/または時間的(フレーム間(inter-frame))予測技法を適用し得る。
ITU−T Video Coding Experts Group(VCEG)とISO/IEC Motion Picture Experts Group(MPEG)とのJoint Collaboration Team on Video Coding(JCT−VC)によって開発されている新しいビデオコーディング規格、すなわち、高効率ビデオコーディング(HEVC)がある。「HEVC Working Draft 8」または「WD8」と呼ばれるHEVC規格の最近のドラフトは、2012年10月15日現在、http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zipからダウンロード可能である、ドキュメントJCTVC−J1003、Brossら、「High efficiency video coding (HEVC) text specification draft 6」、ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11のJoint Collaborative Team on Video Coding(JCT−VC)、第10回会合:Stockholm,SE、2012年7月11〜20日に記載されている。
HEVCによるビデオコーディングの場合、一例として、ビデオフレームはコーディングユニットに区分され得る。コーディングユニット(CU)は、概して、ビデオ圧縮のために様々なコーディングツールが適用される基本ユニットとして働く画像領域を指す。CUは、通常、Yとして示されることがあるルミナンス成分と、CrおよびCbとして示されることがある2つのクロマ成分とを有する。ビデオサンプリングフォーマットに応じて、サンプルの数で表されるCrおよびCb成分のサイズは、Y成分のサイズと同じであるかまたはそれとは異なり得る。CUは、一般に方形であり、たとえば、ITU−T H.264などの他のビデオコーディング規格の下で、いわゆるマクロブロックと同様であると見なされ得る。
CU中のピクセルのルーマ成分とクロマ成分とは異なるサブサンプリングフォーマットでコーディングされ得る。HEVCのための1つの提案では、ピクセルのルーマ成分およびクロマ成分は4:2:0フォーマットでコーディングされる。4:2:0ピクセルフォーマットでは、ピクセルのあらゆる4×2ブロックについて、8つのルーマ成分(各行に4つ)および2つのクロマ成分(たとえば、4×2ブロックの第1の行中に1つのCrクロマ成分と1つのCbクロマ成分)がある。4×2ブロックの第2の行はクロマ情報を有しないことになる。したがって、ピクセルの4×2ブロックでは、クロマ成分は1/2水平解像度および1/2垂直解像度でサンプリングされる。ただし、ビデオコーディング技法は4:2:0のクロマサブサンプリングに限定されない。4:2:2および4:4:4を含む、他のサブサンプリングフォーマットが使用され得る。4:2:2ピクセルフォーマットでは、ピクセルのあらゆる4×2ブロックについて、8つのルーマ成分(各行に4つ)および4つのクロマ成分(たとえば、4×2ブロックの第1の行および第2の行の各々中に1つのCrクロマ成分と1つのCbクロマ成分)がある。したがって、4:2:2フォーマットでは、クロマ成分は1/2水平解像度および全垂直解像度でサンプリングされる。4:4:4ピクセルフォーマットはクロマ成分のサブサンプリングを伴わない。すなわち、ピクセルの4×2ブロックの場合、8つのルーマ成分、8つのCr成分、および8つのCb成分がある。
より良好なコーディング効率を達成するために、コーディングユニットは、ビデオコンテンツに応じて可変サイズを有し得る。さらに、コーディングユニットは、予測または変換のためにより小さいブロックに分割され得る。具体的には、各コーディングユニットは、予測ユニット(PU)と変換ユニット(TU)とにさらに区分され得る。PUは、ITU−T H.264などの他のビデオコーディング規格の下でのいわゆるパーティションと同様であると見なされ得る。TUは、変換係数を生成するために変換が適用される残差データのブロックを指す。
本開示では、例示のために、開発中のHEVC規格の現在提案されている態様のいくつかに従うコーディングについて説明する。ただし、本開示で説明する技法は、H.264または他の規格に従って定義されるビデオコーディングプロセスあるいはプロプライエタリビデオコーディングプロセスなど、他のビデオコーディングプロセスのために有用であり得る。
HEVCの規格化の取り組みは、HEVCテストモデル(HM)と呼ばれるビデオコーディングデバイスのモデルに基づく。HMは、たとえば、ITU−T H.264/AVCによるデバイスに勝るビデオコーディングデバイスのいくつかの能力を仮定する。たとえば、H.264は9つのイントラ予測符号化モードを与えるが、HMは35個ものイントラ予測符号化モードを与える。
HMによれば、CUは、1つまたは複数の予測ユニット(PU:prediction unit)および/または1つまたは複数の変換ユニット(TU:transform unit)を含み得る。ビットストリーム内のシンタックスデータは、ピクセルの数に関して最大CUである最大コーディングユニット(LCU)を定義し得る。概して、CUは、CUがサイズの差異を有しないことを除いて、H.264のマクロブロックと同様の目的を有する。したがって、CUはサブCUに分割され得る。概して、本開示におけるCUへの言及は、ピクチャの最大コーディングユニットまたはLCUのサブCUを指すことがある。LCUはサブCUに分割され得、各サブCUはさらにサブCUに分割され得る。ビットストリームのシンタックスデータは、CU深さと呼ばれる、LCUが分割され得る最大回数を定義し得る。それに応じて、ビットストリームは最小コーディングユニット(SCU:smallest coding unit)をも定義し得る。本開示ではまた、CU、PU、またはTUのいずれかを指すために「ブロック」、「パーティション」、または「部分」という用語を使用する。概して、「部分」は、ビデオフレームの任意のサブセットを指し得る。
LCUは4分木データ構造に関連付けられ得る。概して、4分木データ構造はCUごとに1つのノードを含み、ルートノードはLCUに対応する。CUが4つのサブCUに分割された場合、CUに対応するノードは4つのリーフノードを含み、リーフノードの各々はサブCUのうちの1つに対応する。4分木データ構造の各ノードは、対応するCUのシンタックスデータを与え得る。たとえば、4分木のノードは、そのノードに対応するCUがサブCUに分割されるかどうかを示す分割フラグを含み得る。CUのシンタックス要素は、再帰的に定義され得、CUがサブCUに分割されるかどうかに依存し得る。CUがさらに分割されない場合、そのCUはリーフCUと呼ばれる。
その上、リーフCUのTUもそれぞれの4分木データ構造に関連付けられ得る。すなわち、リーフCUは、リーフCUがどのようにTUに区分されるかを示す4分木を含み得る。本開示では、LCUがどのように区分されるかを示す4分木をCU4分木と呼び、リーフCUがどのようにTUに区分されるかを示す4分木をTU4分木と呼ぶ。TU4分木のルートノードは概してリーフCUに対応し、CU4分木のルートノードは概してLCUに対応する。分割されないTU4分木のTUはリーフTUと呼ばれる。
リーフCUは、1つまたは複数の予測ユニット(PU)を含み得る。概して、PUは、対応するCUの全部または一部分を表し、そのPUの参照サンプルを取り出すためのデータを含み得る。たとえば、PUがインターモード符号化されるとき、PUは、PUの動きベクトルを定義するデータを含み得る。動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度(たとえば、1/4ピクセル精度もしくは1/8ピクセル精度)、動きベクトルがポイントする参照フレーム、および/または動きベクトルの参照リスト(たとえば、リスト0もしくはリスト1)を記述し得る。(1つまたは複数の)PUを定義するリーフCUのデータはまた、たとえば、CUを1つまたは複数のPUに区分することを記述し得る。区分モードは、CUが予測コーディングされないか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるかに応じて異なり得る。イントラコーディングの場合、PUは、以下で説明するリーフ変換ユニットと同じように扱われ得る。
ブロック(たとえば、ビデオデータの予測ユニット(PU))をコーディングするために、ブロックの予測子(predictor)が最初に導出される。予測子は、イントラ(I)予測(すなわち、空間的予測)またはインター(PまたはB)予測(すなわち、時間的予測)のいずれかを通して導出され得る。したがって、いくつかの予測ユニットは、同じフレーム中の隣接参照ブロックに関する空間的予測を使用してイントラコーディング(I)され得、他の予測ユニットは、他のフレーム中の参照ブロックに関してインターコーディング(PまたはB)され得る。予測のために使用される参照ブロックは、いわゆる整数ピクセル位置における実際のピクセル値を参照サンプルとして含むか、または分数ピクセル位置(fractional pixel positions)における補間によって生成された合成ピクセル値を参照サンプルとして含み得る。
予測子が識別されると、元のビデオデータブロックとそれの予測子との間の差分が計算される。この差分は、予測残差とも呼ばれ、コード化されるべきブロックのピクセルと、参照ブロックの(上述のように、整数精度ピクセルまたは補間分数精度ピクセル(interpolated fractional-precision pixels)であり得る)対応する参照サンプル、すなわち、予測子との間のピクセル差分を指す。より良好な圧縮を達成するために、予測残差(すなわち、ピクセル差分値のアレイ)は、概して、たとえば、離散コサイン変換(DCT)、整数変換、カルーネンレーベ(Karhunen-Loeve)(K−L)変換、または他の変換を使用してピクセル(すなわち、空間)領域から変換領域に変換される。変換領域は、たとえば、周波数領域であり得る。
インター予測を使用してPUをコーディングすることは、現在のブロックと参照フレーム中のブロックとの間の動きベクトルを計算することを伴う。動きベクトルは、動き推定(または動き探索)と呼ばれるプロセスを通して計算される。動きベクトルは、たとえば、参照フレームの参照サンプルに対する、現在のフレーム中の予測ユニットの変位(displacement)を示し得る。参照サンプルは、絶対値差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of squared difference)、または他の差分メトリックによって判断され得るピクセル差分に関して、コーディングされているPUを含むCUの部分にぴったり一致することがわかるブロックであり得る。参照サンプルは、参照フレームまたは参照スライス内のどこにでも発生し得る。いくつかの例では、参照サンプルは、全体的にまたは部分的に補間され、分数ピクセル位置において発生し得る。現在の部分に最も良く一致する参照フレームの部分を見つけると、エンコーダは、現在の部分のための現在の動きベクトルを、現在の部分から参照フレーム中の一致する部分までの(たとえば、現在の部分の中心から一致する部分の中心までの)ロケーションの差分として判断する。
いくつかの例では、エンコーダは、符号化ビデオビットストリーム中で、各部分について動きベクトルをシグナリングし得る。シグナリングされた動きベクトルは、ビデオデータを復号するために、デコーダによって動き補償を実行するために使用される。
現在の部分について動きベクトルを判断するために動き推定が実行されると、エンコーダは、参照フレーム中の一致する部分を現在の部分と比較する。この比較は、一般に、上述のように、現在の部分から参照フレーム中の(「参照サンプル」と通常呼ばれる)部分を減算することを伴い、いわゆる残差データを生じる。残差データは、現在の部分と参照サンプルとの間のピクセル差分値を示す。エンコーダは、次いで、この残差データを空間領域から、周波数領域などの変換領域に変換する。通常、エンコーダは、この変換を達成するために、残差データに離散コサイン変換(DCT)を適用する。得られた変換係数は異なる周波数を表し、エネルギーの大部分が、通常、数個の低周波係数(low frequency coefficients)に集中するので、エンコーダは、残差データの圧縮を可能にするためにこの変換を実行する。
一般に、得られた変換係数は、特に変換係数が最初に量子化される(丸められる)場合、エントロピーコーディングを可能にする方法で一緒にグループ化される。エンコーダは、次いで、ランレングス(run-length)コーディングされた量子化変換係数をさらに圧縮するために統計的ロスレス(またはいわゆる「エントロピー」)符号化を実行する。ロスレスエントロピーコーディングを実行した後に、エンコーダは、符号化ビデオデータを含むビットストリームを生成する。
ビデオ符号化プロセスはまた、いわゆる「再構成ループ」を含み得、それによって、符号化されたビデオブロックが復号され、後でコーディングされるビデオブロックのための参照フレームとして使用するために参照フレームバッファ中に記憶される。参照フレームバッファは復号ピクチャバッファ(decoded picture buffer)またはDPBとも呼ばれる。再構成されたビデオブロックは、参照フレームバッファ中に記憶する前にしばしばフィルタ処理される。フィルタ処理は、通常、たとえば、ブロックベースのビデオコーディングに共通のブロッキネスまたは他のアーティファクトを低減するために使用される。ブロッキネスを低減し、および/または他の方法でビデオ品質を改善することができる、望ましいレベルのビデオブロックフィルタ処理を促進するために、(フィルタタップと呼ばれることがある)フィルタ係数が定義または選択され得る。フィルタ係数のセットは、たとえば、ビデオブロックのエッジまたはビデオブロック内の他のロケーションに沿ってフィルタ処理がどのように適用されるかを定義し得る。異なるフィルタ係数は、ビデオブロックの異なるピクセルに対する異なるレベルのフィルタ処理を生じ得る。フィルタ処理は、たとえば、不要なアーティファクトをなくすのを助けるために、隣接ピクセル値の強度の差を平滑化またはシャープ化し得る。
一例として、コード化ビデオデータのブロック間のアピアランス(appearance)を改善する(たとえば、エッジを平滑化する)ために、デブロッキングフィルタが使用され得る。別の例示的なフィルタは、画質およびコーディング効率を改善するためにピクセルの再構成されたブロックにオフセットを加算するために使用されるサンプル適応オフセット(SAO:sample adaptive offset)フィルタである。HEVCのための1つの提案において再構成ループ中で使用される別のタイプのフィルタは、適応ループフィルタ(ALF)である。ALFは、一般に、デブロッキングフィルタの後に実行される。ALFは、ビデオコーディング圧縮プロセスによって低下するピクセルの忠実度(fidelity)を回復する。ALFは、ソースフレーム中の元のピクセル値と再構成されたフレームの元のピクセル値との間の平均自乗誤差を最小限に抑えようと試みる。また、ALFは、符号化プロセス中に適用されたのと同じ様式で、ビデオデコーダの出力において適用される。集合的に、再構成ループ中で使用されるフィルタは「ループフィルタ」と呼ばれることがある。ループフィルタは、1つまたは複数のデブロッキングフィルタ、SAOフィルタ、およびALFを含み得る。さらに、再構成ループにおいて使用する他のタイプのフィルタも可能である。
本開示では、ALFのための技法を提示する。特に、本開示では、クロマ成分のALFのための技法を提示する。本開示の1つまたは複数の例では、クロマ成分のためのALFが、ルーマ成分のためのALFとは無関係に適用され得る。本開示の他の例では、クロマ成分のための特定のALFが、ブロックベースまたは領域ベース分類の使用によって、複数のALFのグループから判断される。
図1は、本開示の例による、ビデオコーディングプロセスにおける適応ループフィルタ処理のための技法を利用するように構成され得る例示的なビデオ符号化および復号システム10を示すブロック図である。図1に示すように、システム10は、通信チャネル16を介して符号化ビデオを宛先デバイス14に送信するソースデバイス12を含む。符号化ビデオデータはまた、記憶媒体34またはファイルサーバ36に記憶され得、必要に応じて宛先デバイス14によってアクセスされ得る。記憶媒体またはファイルサーバに記憶されたとき、ビデオエンコーダ20は、コード化ビデオデータを記憶媒体に記憶するための、ネットワークインターフェース、コンパクトディスク(CD)、Blu−ray(登録商標)またはデジタルビデオディスク(DVD)バーナーまたはスタンピングファシリティデバイス、あるいは他のデバイスなど、別のデバイスにコード化ビデオデータを与え得る。同様に、ネットワークインターフェース、CDまたはDVDリーダーなど、ビデオデコーダ30とは別個のデバイスが、記憶媒体からコード化ビデオデータを取り出し、取り出されたデータをビデオデコーダ30に与え得る。
ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆるスマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソールなどを含む、多種多様なデバイスのいずれかを備え得る。多くの場合、そのようなデバイスはワイヤレス通信が可能であり得る。したがって、通信チャネル16は、符号化ビデオデータの送信に好適なワイヤレスチャネル、ワイヤードチャネル、またはワイヤレスチャネルとワイヤードチャネルとの組合せを備え得る。同様に、ファイルサーバ36は、インターネット接続を含む任意の標準データ接続を介して宛先デバイス14によってアクセスされ得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、または両方の組合せを含み得る。
本開示の例による、ビデオコーディングプロセスにおける適応ループフィルタ処理のための技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、および/またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
図1の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、変調器/復調器22と、送信機24とを含む。ソースデバイス12において、ビデオソース18は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例、あるいは符号化ビデオデータがローカルディスクに記憶された適用例に適用され得る。
キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化されたビデオ情報は、ワイヤレス通信プロトコルなどの通信規格に従ってモデム22によって変調され、送信機24を介して宛先デバイス14に送信され得る。モデム22は、信号変調のために設計された様々なミキサ、フィルタ、増幅器または他の構成要素を含み得る。送信機24は、増幅器、フィルタ、および1つまたは複数のアンテナを含む、データを送信するために設計された回路を含み得る。
ビデオエンコーダ20によって符号化された、キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオはまた、後で消費するために記憶媒体34またはファイルサーバ36に記憶され得る。記憶媒体34は、Blu−rayディスク、DVD、CD−ROM、フラッシュメモリ、または符号化ビデオを記憶するための任意の他の好適なデジタル記憶媒体を含み得る。記憶媒体34に記憶された符号化ビデオは、次いで、復号および再生のために宛先デバイス14によってアクセスされ得る。
ファイルサーバ36は、符号化ビデオを記憶することと、その符号化ビデオを宛先デバイス14に送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、ローカルディスクドライブ、または符号化ビデオデータを記憶することと、符号化ビデオデータを宛先デバイスに送信することとが可能な他のタイプのデバイスを含む。ファイルサーバ36からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。ファイルサーバ36は、インターネット接続を含む任意の標準データ接続を介して宛先デバイス14によってアクセスされ得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル(たとえば、Wi−Fi接続)、ワイヤード接続(たとえば、DSL、ケーブルモデム、イーサネット(登録商標)、USBなど)、または両方の組合せを含み得る。
図1の例では、宛先デバイス14は、受信機26と、モデム28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。宛先デバイス14の受信機26はチャネル16を介して情報を受信し、モデム28はその情報を復調して、ビデオデコーダ30のための復調されたビットストリームを生成する。チャネル16を介して通信される情報は、ビデオデータを復号する際にビデオデコーダ30が使用する、ビデオエンコーダ20によって生成された様々なシンタックス情報を含み得る。そのようなシンタックスはまた、記憶媒体34またはファイルサーバ36に記憶された符号化ビデオデータとともに含まれ得る。ビデオエンコーダ20およびビデオデコーダ30の各々は、ビデオデータを符号化または復号することが可能であるそれぞれのエンコーダデコーダ(コーデック)の一部を形成し得る。
ディスプレイデバイス32は、宛先デバイス14と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス14は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス14はディスプレイデバイスであり得る。概して、ディスプレイデバイス32は、復号されたビデオデータをユーザに対して表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
図1の例では、通信チャネル16は、無線周波数(RF)スペクトルあるいは1つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体、あるいはワイヤレス媒体とワイヤード媒体との任意の組合せを備え得る。通信チャネル16は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信チャネル16は、概して、ワイヤード媒体またはワイヤレス媒体の任意の好適な組合せを含む、ビデオデータをソースデバイス12から宛先デバイス14に送信するのに好適な任意の通信媒体、または様々な通信媒体の集合体を表す。通信チャネル16は、ソースデバイス12から宛先デバイス14への通信を可能にするのに有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
ビデオエンコーダ20およびビデオデコーダ30は、現在開発中のHEVC規格などのビデオ圧縮規格に従って動作し得、HEVCテストモデル(HM)に準拠し得る。代替的に、ビデオエンコーダ20およびビデオデコーダ30は、代替的にMPEG−4,Part10,Advanced Video Coding(AVC)と呼ばれるITU−T H.264規格など、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。他の例にはMPEG−2およびITU−T H.263がある。
図1には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、また、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するための適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、MUX−DEMUXユニットはITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、1つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
ビデオエンコーダ20は、ビデオコーディングプロセスにおける適応ループフィルタ処理のための本開示の技法のいずれかまたはすべてを実装し得る。同様に、ビデオデコーダ30は、ビデオコーディングプロセスにおける適応ループフィルタ処理のためのこれらの技法のいずれかまたはすべてを実装し得る。本開示で説明するビデオコーダは、ビデオエンコーダまたはビデオデコーダを指し得る。同様に、ビデオコーディングユニットは、ビデオエンコーダまたはビデオデコーダを指し得る。このコンテキストでは、ビデオコーディングユニットは、物理的ハードウェアであり、上記で説明したCUデータ構造とは異なる。同様に、ビデオコーディングはビデオ符号化またはビデオ復号を指し得る。
本開示の一例では、ビデオエンコーダ20は、ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、ピクセルのブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することとを行うように構成され得、ルーマ適応ループフィルタ処理とクロマ適応ループフィルタ処理の両方のためのフィルタ係数がブロックベースモードまたは領域ベースモードから導出される。
同様に、本開示の別の例では、ビデオエンコーダ30は、ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、ピクセルのブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することとを行うように構成され得、ルーマ適応ループフィルタ処理とクロマ適応ループフィルタ処理の両方のためのフィルタ係数がブロックベースモードまたは領域ベースモードから導出される。
HEVCのための1つのALF提案では、2つの適応モード(すなわち、ブロックベース適応モードおよび領域ベース適応モード)が提案されている。領域ベース適応モードの場合、フレームは16個の領域に分割され、各領域は線形フィルタ係数の1つのセット(複数のAC係数および1つのDC係数)を有することができる。他の例では、より多いまたはより少ない領域が使用され得る。領域は、他の領域と同じフィルタ係数を共有し得る。図2は、適応ループフィルタのための領域ベース分類を示す概念図である。図2に示すように、フレーム120は16個の領域に分割され、各領域は複数のCUを含み得る。これらの16個の領域の各々は、その領域によって使用される線形フィルタ係数の特定のセットを示す番号(0〜15)によって表される。番号(0〜15)は、ビデオエンコーダとビデオデコーダの両方において記憶されるフィルタ係数の所定のセットに対するインデックス番号であり得る。すなわち、各番号(0〜15)は、フィルタ係数の複数のセットの特定の1つに対するインデックスであり得る。一例では、ビデオエンコーダは、符号化ビデオビットストリーム中で、特定の領域のためのビデオエンコーダによって使用されるフィルタ係数のセットのインデックス番号をシグナリングし得る。シグナリングされたインデックスに基づいて、ビデオデコーダは、その領域のための復号プロセスにおいて使用するために、フィルタ係数の複数の異なるセットの中からフィルタ係数の同じ所定のセットを取り出し得る。他の例では、フィルタ係数は、たとえば、エンコーダによって、デコーダによって受信された符号化ビットストリーム中のシンタックス要素として、領域ごとに明示的にシグナリングされる。
ブロックベース適応モードの場合、フレームは4×4ブロックに分割され、各4×4ブロックは、方向およびアクティビティ情報を使用してメトリックを計算することによって、1つのクラスを導出する。クラスごとに、線形フィルタ係数の1つのセット(複数のAC係数および1つのDC係数)が使用され得、1つのクラスは他のクラスと同じフィルタ係数を共有することができる。図3は、適応ループフィルタのためのブロックベース分類を示す概念図である。
方向およびアクティビティの計算、ならびに方向およびアクティビティに基づいて得られたメトリックは、以下のように示される。
・方向
Figure 2014533012
・アクティビティ
Figure 2014533012
・メトリック
Figure 2014533012
Hor_act(i,j)は、概して、現在のピクセル(i,j)の水平アクティビティを指し、Vert_act(i,j)は、概して、現在のピクセル(i,j)の垂直アクティビティを指す。X(i、j)は、概して、ピクセル(i,j)のピクセル値を指し、ただし、iおよびjは、フレームまたはブロック内の現在のピクセルの水平および垂直座標を示す。このコンテキストでは、アクティビティは、概して、あるロケーションにおけるピクセル間の勾配(gradient)または分散(variance)である。
Bは、4×4ブロックの水平アクティビティを指し、これは、この例では、ピクセル(1,1)、(1,2)、(2,1)、および(2,2)のための水平アクティビティの和に基づいて判断される。VBは、4×4ブロックの垂直アクティビティを指し、これは、この例では、ピクセル(1,1)、(1,2)、(2,1)、および(2,2)のための垂直アクティビティの和に基づいて判断される。「<<1」は、2での乗算の演算(a multiply by two operation)を表す。HBおよびVBの値に基づいて、方向が判断され得る。一例として、HBの値がVBの値の2倍よりも大きい場合、方向は、垂直アクティビティよりも多くの水平アクティビティに対応し得る、方向1(すなわち水平)であると判断され得る。VBの値がHBの値の2倍よりも大きい場合、方向は、水平アクティビティよりも多くの垂直アクティビティに対応し得る、方向2(すなわち垂直)であると判断され得る。他の場合、方向は、水平アクティビティも垂直アクティビティも支配的でないことを意味する、方向0(すなわち方向なし)であると判断され得る。他の標示(labels)と比も使用され得るので、様々な方向のための標示と、それらの方向を判断するために使用された比とは、一例を構成するにすぎない。
4×4ブロックのためのアクティビティ(LB)は、水平アクティビティと垂直アクティビティとの和として判断され得る。LBの値は範囲に分類され得る。この特定の例はN個の範囲を示す。すなわち、任意の数の範囲が使用され得る。アクティビティと方向との組合せに基づいて、ピクセルの4×4ブロックのためのフィルタが選択され得る。一例として、フィルタは、アクティビティおよび方向とフィルタとの2次元マッピングに基づいて選択され得るか、またはアクティビティと方向とが組み合わせられて単一のメトリックになり得、その単一のメトリックが使用されてフィルタが選択され得る(たとえば、メトリック=Activity+N*Direction)。
図3に戻ると、ブロック140はピクセルの4×4ブロックを表す。この例では、16個のピクセルのうちの4つのみが、ブロックベースALFのためのアクティビティおよび方向メトリックを計算するために使用される。4つのピクセルは、ピクセル141と標示されたピクセル(1,1)、ピクセル142と標示されたピクセル(2,1)、ピクセル143と標示されたピクセル(1,2)、およびピクセル144と標示されたピクセル(2,2)である。ピクセル141の水平アクティビティ(すなわちhor_act(1,1))は、たとえば、左の隣接ピクセルと右の隣接ピクセルとに基づいて判断される。右の隣接ピクセルはピクセル145と標示され、左の隣接ピクセルはピクセル146と標示されている。ピクセル142の垂直アクティビティ(すなわちver_act(2,1))は、たとえば、上の隣接ピクセルと下の隣接ピクセルとに基づいて判断される。下の隣接ピクセルはピクセル147と標示され、上の隣接ピクセルはピクセル148と標示されている。同様にして、ピクセル143および144について水平および垂直アクティビティが計算され得る。
HEVCのための前の適応ループフィルタ提案では、ピクセルの特定のブロック内のルーマ成分およびクロマ成分は、異なる適応ループフィルタを使用する。ルーマ成分の場合、上記の領域またはブロックベース適応ALFが使用される。領域またはブロックベース適応ALFは、複数のフィルタ(たとえば、最大16個のフィルタ)を利用し得る。さらに、ルーマALFを使用するという決定は、CUレベルALFオン/オフ決定フラグを使用して、CUごとに行われ得る。クロマ成分の場合、ただ1つのフィルタが使用される。クロマ成分のためにALFを使用するという決定は、ルーマALFと無関係に制御されない。代わりに、ルーマALFフィルタが使用可能にされるとき(すなわち、CUレベルALFフラグがオンであるとき)のみクロマALFフィルタは使用可能にされる。
図4に、CUレベルALFオン/オフ決定フラグの使用の概念マップを示す。ピクチャ160は、コーディングのために複数のCUに分けられる。図4の例では、理解しやすいように、CUを同等のサイズであるとして示した。ただし、CUは異なるサイズであり得る。たとえば、HEVCにおけるCUは、4分木構造に従って区分され得る。
図4では、網目模様(hashed marking)のCU163は、オンであるALFフラグ(たとえば、ALFフラグ=1)でコーディングされている。したがって、HEVCのための前の提案によれば、ビデオエンコーダとデコーダの両方は、そのCU中のピクセルのルーマ成分とクロマ成分の両方にALFを適用することになる。ビデオデコーダが復号プロセスにおいて同じALF係数を適用し得るように、ビデオエンコーダは、符号化ビデオビットストリームにおいて使用されるALF係数または使用されるALF係数を示すインデックスをさらにシグナリングし得る。模様がないCU165は、オフであるALFフラグ(たとえば、ALFフラグ=0)でコーディングされている。この場合、そのCU中のルーマ成分にもピクセル成分にもALFは適用されない。
クロマ成分のためのただ1つのALFを使用すること、ならびにルーマ成分のためのALFと無関係にクロマ成分のためのALFを適用しないことは、4:2:0ピクセルフォーマットについてのALFの品質を限定し得る。したがって、本開示は、ALFにおいてクロマ成分をフィルタ処理する際により多くのフレキシビリティを可能にするための技法を提案する。他の例では、クロマ成分のALFのための本開示の技法は4:2:0ピクセルフォーマットだけに限定されない。本開示のALF技法は、4:2:2および4:4:4ピクセルフォーマットなど、他のピクセルフォーマットのクロマ成分に適用され得る。
一例では、本開示では、クロマ成分のためのALFは、ルーマ成分のためのALFとは無関係に制御されることを提案する。1つの特定の例では、ルーマALFとクロマALFの両方は、それら自体の、独立したCUレベルALFオン/オフ決定フラグを有し得る。すなわち、ALFを用いてルーマ成分をフィルタ処理することはCUレベルルーマALFオン/オフフラグを用いて示され、ALFを用いてクロマ成分をフィルタ処理することはCUレベルクロマALFオン/オフフラグを用いて示される。
図5に、ルーマおよびクロマCUレベルALFオン/オフ決定フラグの使用の概念マップを示す。ピクチャ170は、コーディングのために複数のCUに分けられる。この場合も、図5の例では、理解しやすいように、CUを同等のサイズであるとして示した。ただし、CUは異なるサイズであり得る。たとえば、HEVCにおけるCUは、4分木構造に従って区分され得る。
図5では、斜線模様(uni-directional hashed marking)のCU173は、オンであるルーマALFフラグ(たとえば、ルーマALFフラグ=1)のみでコーディングされている。CU173の場合、クロマALFフラグはオフである(たとえば、クロマALFフラグ=0)。CU173の場合、ALFはピクセルのルーマ成分にのみ適用される。ALFはクロマ成分に適用されない。格子模様(checkerboard marking)のCU175の場合、クロマALFフラグのみがオンである(たとえば、クロマALFフラグ=1)。CU175の場合、ルーマALFフラグはオフである(たとえば、ルーマALFフラグ=0)。したがって、CU175の場合、ALFはピクセルのクロマ成分にのみ適用される。ALFはルーマ成分に適用されない。網目模様(bi-directional diagonal marking)のCU177の場合、ルーマALFフラグとクロマALFフラグの両方がオンである(たとえば、ルーマALFフラグ=1およびクロマALFフラグ=1)。したがって、CU177の場合、ALFは、ピクセルのルーマ成分とクロマ成分の両方に適用される。網目模様(bi-directional hashed marking)のCU179の場合、ルーマALFフラグとクロマALFフラグの両方がオフである(たとえば、ルーマALFフラグ=0およびクロマALFフラグ=0)。したがって、CU179の場合、ALFは、ピクセルのルーマ成分にもクロマ成分にも適用されない。
図5からわかるように、ルーマ成分とクロマ成分とについて独立したCUレベルALF決定フラグを使用することは、ルーマ成分のみがALFを用いてフィルタ処理される状況と、クロマ成分のみがALFを用いてフィルタ処理される状況と、ルーマ成分とクロマ成分の両方がALFを用いてフィルタ処理される状況と、ルーマ成分もクロマ成分もALFを用いてフィルタ処理されない状況とを考慮に入れる(allow)。したがって、ALFのピクセル成分への適用は、より多くのフレキシビリティを伴って適用され得る。この概念は、ALFをCr成分およびCb成分個々に独立して適用することにさらに拡張され得ることに留意されたい。すなわち、Cr成分とCb成分の両方に適用される単一のクロマALFフラグを有するのではなく、個々のCr ALFフラグおよびCb ALFフラグが、ALFのCr成分への適用およびCb成分への適用を独立して示すために使用され得る。
本開示の別の例では、クロマALFは、任意のサブサンプリングフォーマットについて、ルーマALFによって使用されるのと同じまたは同様の領域またはブロックベース適応ALFを使用し得る。すなわち、クロマALFをただ1つのフィルタに制限することの代わりに、クロマ成分のためのALFは、図2および図3に関して上記で説明した領域またはブロックベース分類ALF技法に従って判断され得る。いくつかの例では、領域またはブロックベース適応ALFは、両方のクロマ成分(すなわち、CrおよびCb)に適用され得る。他の例では、領域またはブロックベース適応ALFはただ1つのクロマ成分(すなわち、CrまたはCb)に適用され得、別のALFは他のクロマ成分(たとえば、単一のALF)に適用され得る。すなわち、Cr成分およびCb成分は、同じ領域またはブロックベース分類技法を使用し、最終的にフィルタ係数の同じ判断されたセットによってフィルタ処理され得る。別の例では、Cr成分およびCb成分のためのALFは、独立して判断され得る。
ルーマ成分のために使用されるALF技法をクロマ成分に拡張することは、クロマALFを定義するために符号化ビデオビットストリーム中でシグナリングされ得る情報の量を増加させ得る。したがって、本開示の別の例では、クロマALFのために使用されるそのような情報を記憶および/またはシグナリングするために必要とされるフィルタ情報(たとえば、CUレベルALFオン/オフフラグ、フィルタ係数、領域またはブロックベース分類など)の量を低減するための技法が提案される。1つの一般的な例として、ルーマALFのためのフィルタ情報はクロマALFのために使用され得る。たとえば、ルーマALFのためのフィルタ情報は、クロマALFのためのフィルタ情報のための予測子としてコピーまたは使用され得る。
一例では、ルーマALFのためのCUレベルオン/オフフラグのマップ(すなわち、どのCUが使用可能なルーマALFを有するかを示すシンタックス)が、クロマALFによって使用され得る。すなわち、クロマ成分が領域またはブロックベース適応ALFを使用する状況では、ルーマ成分のためのCUレベルALFフラグはクロマ成分によっても使用され得る。この状況では、クロマALFを使用するという決定はルーマALFと無関係でない。ただし、使用される実際のフィルタは異なることがある。たとえば、ルーマ成分は、領域ベース適応ALFに従ってフィルタ処理され得るが、クロマ成分は、ブロックベース適応ALFに従ってフィルタ処理され、逆もまた同じである。別の例として、ルーマ成分とクロマ成分の両方は同じタイプのALF(すなわち、領域ベースまたはブロックベース)を使用し得るが、ルーマ成分とクロマ成分とに対して異なるフィルタ係数が判断され得る。
別の例では、ルーマALFが使用する領域またはブロックベース分類に従って判断された実際のフィルタ係数は、クロマALFのためにも使用され得る。この例では、ルーマALFとクロマALFの両方がそれらのそれぞれのCUレベルオン/オフフラグ(たとえば、ルーマALFフラグおよびクロマALFフラグ)によって使用可能であるとして示される状況では、フィルタ係数は共有され得る。すなわち、クロマALFがルーマALFとは無関係にオンおよびオフにされることが可能な場合でも、ルーマALFとクロマALFの両方が使用可能にされる状況では、フィルタ係数は共有され得る。別の例では、クロマALFがルーマALFのCUレベルオン/オフフラグも共有する例では、ルーマALFのフィルタ係数はクロマALFによって共有され得る。
本開示の別の例では、追加のフィルタ情報がルーマALFとクロマALFとの間で共有され得る。たとえば、ルーマALFのために使用されるブロックベース分類は、クロマALFによっても使用され得る。フィルタ係数を共有する場合と同様に、クロマALFがルーマALFとCUレベルオン/オフフラグを共有する場合、またはクロマALFが独立したCUレベル/オンオフフラグを有するとき、ブロックベース分類の共有が行われ得る。
さらに別の例では、クロマALFのためのフィルタ係数は、ルーマALFのフィルタ係数から予測され得る。この例では、ビデオエンコーダにおいて、ルーマALFとクロマALFの両方のためのフィルタ係数は、独立して計算され得る。ルーマALFのためのフィルタ係数が、次いで、符号化ビデオビットストリーム中でシグナリングされる。クロマALF係数をもシグナリングすることの代わりに、ルーマALF係数とクロマALF係数との間の差分が計算され、シグナリングされる。ルーマALF係数とクロマALF係数との間の差分は、一般に、クロマALF係数自体をシグナリングすることよりも少ないデータ(たとえば、より少ないビット)を備え、したがってコーディング効率を改善することになる。ビデオデコーダにおいて、クロマALF係数を再構成するために、ルーマALF係数とクロマALF係数との間の受信した差分は、受信したルーマALF係数に加算され得る。Cr成分とCb成分の両方が同じフィルタ係数を使用するとき、またはCr成分とCb成分とがフィルタ係数の異なるセットを使用する状況では、この技法が使用され得る。Cr成分とCb成分とがフィルタ係数の異なるセットを使用する状況では、各セットはルーマALF係数から予測され得る。
上記のように、いくつかの例では、クロマALFは、Crクロマ成分のための別個のCrクロマALFとCbクロマ成分のための別個のCbクロマALFとからなり得る。ルーマALFとクロマALFとの間のフィルタ情報を共有することに関係する上記で説明した技法と同様に、フィルタ情報はCrクロマALFとCbクロマALFとの間でも共有され得る。
一例では、CrクロマALFのためのCUレベルオン/オフフラグのマップ(すなわち、どのCUが使用可能なCrクロマALFを有するかを示すシンタックス)が、CbクロマALFによって使用され得る。別の例では、CrクロマALFによって使用されるフィルタ係数はCbクロマALFのために使用され得る。また別の例では、CrクロマALFのために使用されるブロックベース分類はCbクロマALFによって使用され得る。さらに別の例では、CbクロマALFのためのフィルタ係数はCrクロマALFのフィルタ係数から予測され得、逆もまた同じである。
図6は、本開示で説明するビデオコーディングプロセスにおける適応ループフィルタ処理のための技法を使用し得るビデオエンコーダ20の例を示すブロック図である。ビデオエンコーダ20について、例示のためにHEVCコーディングのコンテキストにおいて説明するが、適応ループフィルタ処理を必要とし得る他のコーディング規格または方法に関して本開示を限定するものではない。ビデオエンコーダ20は、ビデオフレーム内のCUのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレーム内のビデオデータの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの現在のフレームと前にコーディングされたフレームとの間の時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモードは、いくつかの空間ベースのビデオ圧縮モードのいずれかを指し得る。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースのビデオ圧縮モードのいずれかを指し得る。
図6に示すように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図6の例では、ビデオエンコーダ20は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測モジュール46と、参照フレームバッファ64と、加算器50と、変換モジュール52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換モジュール60と、加算器62と、ALFユニット43とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタも含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器62の出力をフィルタ処理することになる。
符号化プロセス中に、ビデオエンコーダ20は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロック、たとえば、最大コーディングユニット(LCU:largest coding unit)に分割され得る。動き推定ユニット42および動き補償ユニット44は、時間圧縮を与えるために、1つまたは複数の参照フレーム中の1つまたは複数のブロックに対する受信したビデオブロックのインター予測コーディングを実行する。イントラ予測モジュール46は、空間圧縮を与えるために、コーディングされるべきブロックと同じフレームまたはスライス中の1つまたは複数の隣接ブロックに対する受信したビデオブロックのイントラ予測コーディングを実行し得る。
モード選択ユニット40は、たとえば、各モードについてのレートひずみ結果に基づいて、コーディングモードのうちの1つ、すなわち、イントラまたはインターを選択し得、得られたイントラまたはインター予測ブロック(たとえば、予測ユニット(PU))を、残差ブロックデータを生成するために加算器50に与え、参照フレーム中で使用する符号化ブロックを再構成するために加算器62に与える。加算器62は、以下でより詳細に説明するように、予測ブロックを、そのブロックについての、逆変換モジュール60からの逆量子化され逆変換されたデータと合成して、符号化ブロックを再構成する。いくつかのビデオフレームはIフレームに指定され得、Iフレーム中のすべてのブロックはイントラ予測モードで符号化される。場合によっては、たとえば、動き推定ユニット42によって実行された動き探索によって得られたブロックの予測が不十分であったとき、イントラ予測モジュール46は、PフレームまたはBフレーム中のブロックのイントラ予測符号化を実行し得る。
動き推定ユニット42と動き補償ユニット44とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定(または動き探索)は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照フレームの参照サンプルに対する、現在のフレーム中の予測ユニットの変位を示し得る。動き推定ユニット42は、予測ユニットを参照フレームバッファ64に記憶された参照フレームの参照サンプルと比較することによってインターコード化フレームの予測ユニットの動きベクトルを計算する。参照サンプルは、絶対値差分和(SAD)、2乗差分和(SSD)、または他の差分メトリックによって判断され得るピクセル差分に関して、コーディングされているPUを含むCUの部分にぴったり一致することがわかるブロックであり得る。参照サンプルは、参照フレームまたは参照スライス内のどこにでも発生し得、必ずしも、参照フレームまたはスライスのブロック(たとえば、コーディングユニット)境界において発生するとは限らない。いくつかの例では、参照サンプルは分数ピクセル位置において発生し得る。
動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56と動き補償ユニット44とに送る。動きベクトルによって識別される参照フレームの部分は参照サンプルと呼ばれることがある。動き補償ユニット44は、たとえば、PUの動きベクトルによって識別される参照サンプルを取り出すことによって、現在のCUの予測ユニットについての予測値を計算し得る。
イントラ予測モジュール46は、動き推定ユニット42と動き補償ユニット44とによって実行されるインター予測の代替として、受信ブロックに対してイントラ予測を実行し得る。イントラ予測モジュール46は、隣接する、前にコーディングされたブロック、たとえば、ブロックについての左から右へ、上から下への符号化順序を仮定すると、現在のブロックの上、右上、左上、または左のブロックに対して受信ブロックを予測し得る。イントラ予測モジュール46は多種多様なイントラ予測モードで構成され得る。たとえば、イントラ予測モジュール46は、符号化されているCUのサイズに基づいて、一定数の方向性(directional)予測モード、たとえば、35個の方向性予測モードで構成され得る。
イントラ予測モジュール46は、たとえば、様々なイントラ予測モードの誤差値を計算し、最も低い誤差値を生じるモードを選択することによって、イントラ予測モードを選択し得る。方向性予測モードは、空間的に隣接するピクセルの値を合成し、その合成された値をPU中の1つまたは複数のピクセル位置に適用するための機能を含み得る。PU中のすべてのピクセル位置の値が計算されると、イントラ予測モジュール46は、PUと符号化されるべき受信ブロックとの間のピクセル差分に基づいて予測モードの誤差値を計算し得る。イントラ予測モジュール46は、許容できる誤差値を生じるイントラ予測モードが発見されるまでイントラ予測モードをテストし続け得る。イントラ予測モジュール46は、次いで、PUを加算器50に送り得る。
ビデオエンコーダ20は、コーディングされている元のビデオブロックから、動き補償ユニット44またはイントラ予測モジュール46によって計算された予測データを減算することによって残差ブロックを形成する。加算器50は、この減算演算を実行する1つまたは複数の構成要素を表す。残差ブロックはピクセル差分値の2次元行列に対応し得、残差ブロック中の値の数は、残差ブロックに対応するPU中のピクセルの数と同じである。残差ブロック中の値は、PU中のコロケートピクセルの値と、コーディングされるべき元のブロック中のコロケートピクセルの値との間の差分、すなわち、誤差に対応し得る。差分は、コーディングされるブロックのタイプに応じてクロマ差分またはルーマ差分であり得る。
変換モジュール52は、残差ブロックから1つまたは複数の変換ユニット(TU)を形成し得る。変換モジュール52は、複数の変換の中から変換を選択する。変換は、ブロックサイズ、コーディングモードなど、1つまたは複数のコーディング特性に基づいて選択され得る。変換モジュール52は、次いで、選択された変換をTUに適用して、変換係数の2次元アレイを備えるビデオブロックを生成する。変換モジュール52は、選択された変換パーティションを符号化ビデオビットストリーム中でシグナリングし得る。
変換モジュール52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、次いで、その変換係数を量子化し得る。エントロピー符号化ユニット56が、次いで、走査モードに従って、行列中の量子化された変換係数の走査を実行し得る。本開示では、エントロピー符号化ユニット56が走査を実行するものとして説明する。ただし、他の例では、量子化ユニット54などの他の処理ユニットが走査を実行し得ることを理解されたい。
変換係数が1次元アレイに走査されると、エントロピー符号化ユニット56は、CAVLC、CABAC、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC:syntax-based context-adaptive binary arithmetic coding)、または別のエントロピーコーディング方法などのエントロピーコーディングを係数に適用し得る。
CAVLCを実行するために、エントロピー符号化ユニット56は、送信されるべきシンボルの可変長コードを選択し得る。VLCのコードワードは、相対的により短いコードがより可能性が高いシンボルに対応し、より長いコードがより可能性が低いシンボルに対応するように構築され得る。このようにして、VLCの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。
CABACを実行するために、エントロピー符号化ユニット56は、送信されるべきシンボルを符号化するために、あるコンテキストに適用すべきコンテキストモデルを選択し得る。コンテキストは、たとえば、隣接値が非0であるか否かに関係し得る。エントロピー符号化ユニット56はまた、選択された変換を表す信号など、シンタックス要素をエントロピー符号化し得る。本開示の技法によれば、エントロピー符号化ユニット56は、コンテキストモデル選択のために使用されるファクタの中でも、たとえば、イントラ予測モードのためのイントラ予測方向、シンタックス要素に対応する係数の走査位置、ブロックタイプ、および/または変換タイプに基づいて、これらのシンタックス要素を符号化するために使用されるコンテキストモデルを選択し得る。
エントロピー符号化ユニット56によるエントロピーコーディングの後に、得られた符号化ビデオは、ビデオデコーダ30などの別のデバイスに送信されるか、あるいは後で送信するかまたは取り出すためにアーカイブされ得る。
場合によっては、エントロピー符号化ユニット56またはビデオエンコーダ20の別のユニットは、エントロピーコーディングに加えて、他のコーディング機能を実行するように構成され得る。たとえば、エントロピー符号化ユニット56は、CUおよびPUのコード化ブロックパターン(CBP:coded block pattern)値を判断するように構成され得る。また、場合によっては、エントロピー符号化ユニット56は、係数のランレングスコーディングを実行し得る。
逆量子化ユニット58および逆変換モジュール60は、それぞれ逆量子化および逆変換を適用して、たとえば参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き補償ユニット44は、残差ブロックを参照フレームバッファ64のフレームのうちの1つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、再構成された残差ブロックに1つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器62は、再構成された残差ブロックを、動き補償ユニット44によって生成された動き補償予測ブロックに加算して、再構成されたビデオブロックを生成する。
ALFユニット43は、次いで、上記で説明した技法による適応ループフィルタ処理を実行し得る。一例では、ALFユニット43は、領域またはブロックベース分類技法を使用して再構成ブロックのクロマ成分のためのフィルタ係数を判断するように構成され得る。別の例では、クロマALFを適用するという決定は、CUレベルにおいて行われ得、ルーマ成分にALFを適用するという決定とは無関係に行われ得る。ルーマ成分とクロマ成分の両方のために判断された実際のALFフィルタ情報は、符号化ビデオビットストリーム中でシグナリングされ得る。フィルタ情報は、実際のフィルタ係数、フィルタ係数を示すインデックス、ブロックまたは領域ベース分類、および/またはCUレベルオン/オフ決定フラグを含み得る。いくつかの例では、クロマALFフィルタ係数はルーマALFフィルタ係数から予測され得る。
フィルタ処理された再構成ビデオブロックは、次いで、参照フレームバッファ64に記憶される。再構成ビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために動き推定ユニット42および動き補償ユニット44によって参照ブロックとして使用され得る。
図7は、符号化ビデオシーケンスを復号するビデオデコーダ30の一例を示すブロック図である。図7の例では、ビデオデコーダ30は、エントロピー復号ユニット70と、動き補償ユニット72と、イントラ予測モジュール74と、逆量子化ユニット76と、逆変換ユニット78と、参照フレームバッファ82と、ALFユニット79と、加算器80とを含む。ビデオデコーダ30は、いくつかの例では、ビデオエンコーダ20(図6参照)に関して説明した符号化パスとは概して逆の(reciprocal)復号パスを実行し得る。
エントロピー復号ユニット70は、変換係数の1次元アレイを取り出すために、符号化ビットストリームに対してエントロピー復号プロセスを実行する。使用されるエントロピー復号プロセスは、ビデオエンコーダ20によって使用されたエントロピーコーディング(たとえば、CABAC、CAVLCなど)に依存する。エンコーダによって使用されたエントロピーコーディングプロセスは、符号化ビットストリーム中でシグナリングされるか、または所定のプロセスであり得る。
いくつかの例では、エントロピー復号ユニット70(または逆量子化ユニット76)は、ビデオエンコーダ20のエントロピー符号化ユニット56(または量子化ユニット54)によって使用された走査モードをミラーリングする走査を使用して受信値を走査し得る。係数の走査は逆量子化ユニット76において実行され得るが、走査については、例示のために、エントロピー復号ユニット70によって実行されるものとして説明する。さらに、説明しやすいように別個の機能ユニットとして示されているが、ビデオデコーダ30のエントロピー復号ユニット70、逆量子化ユニット76、および他のユニットの構造および機能は互いに高度に統合され得る。
逆量子化ユニット76は、ビットストリーム中で与えられ、エントロピー復号ユニット70によって復号された、量子化変換係数を逆量子化(inverse quantize)、すなわち、逆量子化(de-quantize)する。逆量子化プロセスは、たとえば、HEVCのために提案されたプロセスまたはH.264復号規格によって定義されたプロセスと同様の、従来のプロセスを含み得る。逆量子化プロセスは、量子化の程度を判断し、同様に、適用されるべき逆量子化の程度を判断するための、CUについてビデオエンコーダ20によって計算される量子化パラメータQPの使用を含み得る。逆量子化ユニット76は、係数が1次元アレイから2次元アレイに変換される前または変換された後に変換係数を逆量子化し得る。
逆変換モジュール78は、逆量子化された変換係数に逆変換を適用する。いくつかの例では、逆変換モジュール78は、ビデオエンコーダ20からのシグナリングに基づいて、あるいはブロックサイズ、コーディングモードなどの1つまたは複数のコーディング特性から変換を推論することによって、逆変換を判断し得る。いくつかの例では、逆変換モジュール78は、現在のブロックを含むLCUのための4分木のルートノードにおけるシグナリングされた変換に基づいて、現在のブロックに適用すべき変換を判断し得る。代替的に、変換は、LCU4分木中のリーフノードCUのためのTU4分木のルートにおいてシグナリングされ得る。いくつかの例では、逆変換モジュール78は、逆変換モジュール78が、復号されている現在のブロックの変換係数に2つ以上の逆変換を適用する、カスケード逆変換を適用し得る。
イントラ予測モジュール74は、シグナリングされたイントラ予測モードと、現在のフレームの前に復号されたブロックからのデータとに基づいて、現在のフレームの現在のブロックについての予測データを生成し得る。
取り出された動き予測方向、参照フレームインデックス、および計算された現在の動きベクトルに基づいて、動き補償ユニットは現在の部分の動き補償ブロックを生成する。これらの動き補償ブロックは、本質的に、残差データを生成するために使用される予測ブロックを再現する。
動き補償ユニット72は、動き補償ブロックを生成し、場合によっては、補間フィルタに基づいて補間を実行し得る。サブピクセル精度をもつ動き推定に使用されるべき補間フィルタの識別子は、シンタックス要素中に含まれ得る。動き補償ユニット72は、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。動き補償ユニット72は、受信されたシンタックス情報に従って、ビデオエンコーダ20によって使用された補間フィルタを判断し、その補間フィルタを使用して予測ブロックを生成し得る。
さらに、動き補償ユニット72およびイントラ予測モジュール74は、HEVCの例では、(たとえば、4分木によって与えられる)シンタックス情報の一部を使用して、符号化ビデオシーケンスの(1つまたは複数の)フレームを符号化するために使用されたLCUのサイズを判断し得る。動き補償ユニット72およびイントラ予測モジュール74はまた、シンタックス情報を使用して、符号化ビデオシーケンスのフレームの各CUがどのように分割されるか(および、同様に、サブCUがどのように分割されるか)を記述する分割情報を判断し得る。シンタックス情報はまた、各分割がどのように符号化されるかを示すモード(たとえば、イントラまたはインター予測、およびイントラ予測の場合はイントラ予測符号化モード)と、各インター符号化PUについての1つまたは複数の参照フレーム(および/またはそれらの参照フレームの識別子を含んでいる参照リスト)と、符号化ビデオシーケンスを復号するための他の情報とを含み得る。
加算器80は、残差ブロックを、動き補償ユニット72またはイントラ予測モジュール74によって生成される対応する予測ブロックと合成して、復号ブロックを形成する。ALFユニット79は、次いで、上記で説明した技法による適応ループフィルタ処理を実行する。一例では、ALFユニット79は、領域またはブロックベース分類技法を使用して再構成ブロックのクロマ成分のためのフィルタ係数を判断するように構成され得る。別の例では、クロマALFを適用するという決定は、CUレベルにおいて行われ得、ルーマ成分にALFを適用するという決定とは無関係に行われ得る。ルーマ成分とクロマ成分の両方のために判断された実際のALFフィルタ情報は、符号化ビデオビットストリーム中で受信され得る。フィルタ情報は、実際のフィルタ係数、フィルタ係数を示すインデックス、ブロックまたは領域ベース分類、および/またはCUレベルオン/オフ決定フラグを含み得る。いくつかの例では、クロマALFフィルタ係数はルーマALFフィルタ係数から予測され得る。
所望される場合、ブロッキネスアーティファクトを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。復号ビデオブロックは、次いで、参照フレームバッファ82に記憶され、参照フレームバッファ82は、その後の動き補償のための参照ブロックを与え、また、(図1のディスプレイデバイス32などの)ディスプレイデバイス上での提示のために復号ビデオを生成する。
図8は、本開示の技法による例示的なビデオ符号化方法を示すフローチャートである。図8に示す方法は、ALFユニット43を含む、ビデオエンコーダ20の1つまたは複数の機能ユニットによって実行され得る。ビデオエンコーダ20は、符号化ビデオデータを作成するためにビデオデータを符号化し(820)、再構成ビデオデータを作成するために符号化ビデオデータを再構成する(822)ように構成され得る。再構成ビデオデータは、ピクセルの1つまたは複数のブロックを含み得る。
本開示の技法によれば、1つの随意の例では、ビデオエンコーダ20は、ピクセルのブロックに対してルーマ適応ループフィルタ処理を実行することを判断することと、ピクセルのブロックに対してクロマ適応ループフィルタ処理を実行することを判断することであって、クロマ適応ループフィルタ処理を実行することを判断することが、ルーマ適応ループフィルタ処理を実行することを判断することとは無関係に実行される、判断すること(824)とを行うように構成され得る。クロマ適応ループフィルタ処理を実行することを判断することは、クロマ成分のためのクロマCUレベルALFオン/オフフラグの値を判断することを含み得る。本開示の他の例では、ルーマおよびクロマ適応ループフィルタ処理は一緒に実行される。この場合、別個のクロマCUレベルALFオン/オフフラグが判断されシグナリングされる必要はないが、代わりに、クロマALFはルーマCUレベルALFオン/オフフラグを共有し得る。
ビデオエンコーダ20は、ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、ピクセルのブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することとを行うようにさらに構成され得、ルーマ適応ループフィルタ処理とクロマ適応ループフィルタ処理の両方のためのフィルタ係数がブロックベースモードまたは領域ベースモードから導出される(826)。ただ単一のALFを使用するのではなく、クロマ適応ループフィルタ処理が領域またはブロックベースモード分類に基づいて実行されることを可能にすることによって、クロマ成分のためのALFを実行する際により多くのフレキシビリティが達成される。クロマ成分のための領域またはブロックベース技法は、4:2:0クロマサブサンプリングフォーマットのみに限定されず、4:2:0、4:2:2または4:4:4フォーマットを含む任意のクロマフォーマットに適用され得る。
ビデオエンコーダ20は、たとえば、符号化ビデオビットストリーム中でシンタックス要素として、ルーマ適応フィルタ処理に関係するフィルタ情報およびクロマ適応ループフィルタ処理に関係するフィルタ情報のうちの1つまたは複数をシグナリングする(828)ようにさらに構成され得る。フィルタ情報は、CUレベルオン/オフフラグ、フィルタ係数、および/またはブロックベース分類を含み得る。いくつかの例では、ルーマALFとクロマALFの両方のためのフィルタ情報が別個にシグナリングされる。他の例では、ルーマALFのフィルタ情報はクロマALFのために共有される。すなわち、ルーマALF情報のみが判断されシグナリングされ、クロマALFはビデオエンコーダとビデオデコーダの両方で同じ情報を使用する。他の例では、クロマALFは、Cr成分ALFとCb成分ALFの両方からなる。この例では、Cr成分またはCb成分のうちの一方のフィルタ情報が他方の成分のALFと共有され得る。
本開示の他の例では、クロマALF係数の全体をシグナリングするのではなく、クロマALFのためのフィルタ係数はルーマALFから予測される。したがって、フィルタ情報をシグナリングすることは、ルーマALF係数および、クロマ係数のための、ルーマALF係数とクロマALF係数との間の差分をシグナリングすることを含み得る。このようにして、クロマ係数の値は、所与のクロマ係数のための差分を対応するルーマ係数の値に加算することによって得られ得る。
図9は、本開示の技法による例示的なビデオ復号方法を示すフローチャートである。図9に示す方法は、ALFユニット79を含む、ビデオデコーダ30の1つまたは複数の機能ユニットによって実行され得る。ビデオデコーダ30は、ルーマALFに関係するフィルタ情報およびクロマALFに関係するフィルタ情報のうちの1つまたは複数を受信すること(920)と、符号化ビデオデータを受信すること(922)と、復号ビデオデータを作成するために、符号化ビデオデータを復号すること(924)とを行うように構成され得る。復号ビデオデータは、ピクセルの1つまたは複数のブロックを含み得る。
受信フィルタ情報は、CUレベルオン/オフフラグ、フィルタ係数、および/またはブロックベース分類を含み得る。いくつかの例では、ルーマALFとクロマALFの両方のためのフィルタ情報が別個に受信される。他の例では、ルーマALFのフィルタ情報はクロマALFのために共有される。すなわち、ルーマALF情報のみが受信され、クロマALFはビデオデコーダにおいて同じ情報を使用する。他の例では、クロマALFは、Cr成分ALFとCb成分ALFの両方からなる。この例では、Cr成分またはCb成分のうちの一方のフィルタ情報が他方の成分のALFと共有され得る。
本開示の他の例では、クロマALF係数の全体を受信するのではなく、クロマALFのためのフィルタ係数はルーマALFから予測される。したがって、フィルタ情報を受信することは、ルーマALF係数、およびルーマALF係数とクロマALF係数との間の差分を受信することを含み得る。受信した差分を受信ルーマALF係数に加算することによって、クロマALF係数は再構成され得る。
本開示の技法によれば、1つの随意の例では、ビデオエンコーダ30は、ピクセルのブロックに対してルーマ適応ループフィルタ処理を実行することを判断することと、ピクセルのブロックに対してクロマ適応ループフィルタ処理を実行するかどうかを判断することであって、クロマ適応ループフィルタ処理を実行することを判断することが、ルーマ適応ループフィルタ処理を実行することを判断することとは無関係に実行される、判断すること(926)とを行うように構成され得る。クロマ適応ループフィルタ処理を実行することを判断することは、クロマ成分のための受信クロマCUレベルALFオン/オフフラグの値を判断することを含み得る。本開示の他の例では、ルーマおよびクロマ適応ループフィルタ処理は一緒に実行される。この場合、別個のクロマCUレベルALFオン/オフフラグは受信されないが、代わりに、クロマALFはクロマALFを実行すべきか否かの判断を行うために受信ルーマCUレベルALFオン/オフフラグを共有し得る。
ビデオデコーダ30は、ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、ピクセルのブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することとを行うようにさらに構成され得、ルーマ適応ループフィルタ処理とクロマ適応ループフィルタ処理の両方のためのフィルタ係数がブロックベースモードまたは領域ベースモードから導出される(928)。ただ単一のALFを使用するのではなく、クロマ適応ループフィルタ処理が領域またはブロックベースモード分類に基づいて実行されることを可能にすることによって、クロマ成分のためのALFを実行する際により多くのフレキシビリティが達成される。クロマ成分のための領域またはブロックベース技法は、4:2:0クロマサブサンプリングフォーマットのみに限定されず、4:2:0、4:2:2または4:4:4フォーマットを含む任意のクロマフォーマットに適用され得る。クロマALFのために使用される、実際のフィルタ係数、あるいは領域またはブロックベース分類は、符号化ビデオビットストリーム中の受信フィルタ情報の一部として示され得る。
1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、データ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つまたは複数のコンピュータあるいは1つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびBlu−ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)などの1つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび/またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素中に十分に実装され得る。
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明した1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]ビデオコーディングプロセスにおける適応ループフィルタ処理の方法であって、
ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、
ピクセルの前記ブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することと、
ブロックベース分類モードおよび領域ベース分類モードのうちの1つに基づいて、前記ルーマ適応ループフィルタ処理と前記クロマ適応ループフィルタ処理の両方のためのフィルタ係数を導出することと
を備える、方法。
[2]ピクセルの前記ブロックの前記ルーマ成分および前記クロマ成分が、4:2:0、4:2:2または4:4:4フォーマットである、[1]に記載の方法。
[3]ピクセルの前記ブロックに対してルーマ適応ループフィルタ処理を実行すべきかどうかを判断することと、
ピクセルの前記ブロックに対してクロマ適応ループフィルタ処理を実行すべきかどうかを判断することであって、クロマ適応ループフィルタ処理を実行すべきかどうかを判断することが、ルーマ適応ループフィルタ処理を実行すべきかどうかを判断することとは無関係に実行される、判断することと
をさらに含む、[1]に記載の方法。
[4]クロマ適応ループフィルタ処理を実行することを判断することが、CUレベルALFオン/オフフラグの値を判断することを含む、[3]に記載の方法。
[5]クロマ適応ループフィルタ処理のためにルーマ適応ループフィルタ処理のフィルタ情報を共有すること
をさらに備える、[1]に記載の方法。
[6]前記フィルタ情報が、CUレベルオン/オフフラグ、フィルタ係数、および/またはブロックベース分類を含む、[5]に記載の方法。
[7]ルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマ適応ループフィルタ処理のための前記フィルタ係数を予測すること
をさらに備える、[1]に記載の方法。
[8]クロマ適応ループフィルタ処理のための前記フィルタ係数を予測することが、差分を作成するためにルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマフィルタ係数を減算することを含む、[7]に記載の方法。
[9]クロマ適応ループフィルタ処理を実行することが、ピクセルの前記ブロックのCrクロマ成分のためのCrクロマ適応ループフィルタ処理を実行することと、ピクセルの前記ブロックのためのCbクロマ成分のためのCbクロマ適応ループフィルタ処理を実行することとを含む、[1]に記載の方法。
[10]Cbクロマ適応ループフィルタ処理のためにCrクロマ適応ループフィルタ処理のフィルタ情報を共有すること
をさらに備える、[9]に記載の方法。
[11]前記フィルタ情報が、CUレベルオン/オフマップ、フィルタ係数、および/またはブロックベース分類を含む、[10]に記載の方法。
[12]前記CUレベルオン/オフマップがCUレベルオン/オフフラグの値を含み、1の値をもつCUレベルオン/オフフラグは、ALFがピクセルの前記ブロックのために実行されることを示し、値0をもつCUレベルオン/オフフラグは、ALFがピクセルの前記ブロックのために実行されないことを示す、[11]に記載の方法。
[13]Crクロマ適応ループフィルタ処理のための前記フィルタ係数からCbクロマ適応ループフィルタ処理のための前記フィルタ係数を予測すること
をさらに備える、[9]に記載の方法。
[14]前記ビデオコーディングプロセスがビデオ符号化プロセスであり、前記方法が、
符号化ビデオデータを作成するためにビデオデータを符号化することと、
再構成ビデオデータを作成するために前記符号化ビデオデータを再構成することであって、ピクセルの前記ブロックが再構成ビデオデータである、再構成することと、
前記ルーマ適応フィルタ処理に関係するフィルタ情報および前記クロマ適応ループフィルタ処理に関係するフィルタ情報のうちの1つまたは複数をシグナリングすることと
をさらに備える、[1]に記載の方法。
[15]前記ビデオコーディングプロセスがビデオ復号プロセスであり、前記方法が、
前記ルーマ適応フィルタ処理に関係するフィルタ情報および前記クロマ適応ループフィルタ処理に関係するフィルタ情報のうちの1つまたは複数を受信することと、
符号化ビデオデータを受信することと、
復号ビデオデータを作成するために前記符号化ビデオデータを復号することであって、ピクセルの前記ブロックが復号ビデオデータである、復号することと
をさらに備える、[1]に記載の方法。
[16]ビデオコーディングプロセスにおいて適応ループフィルタ処理を実行するように構成された装置であって、
ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、
ピクセルの前記ブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することと、
ブロックベース分類モードおよび領域ベース分類モードのうちの1つに基づいて、前記ルーマ適応ループフィルタ処理と前記クロマ適応ループフィルタ処理の両方のためのフィルタ係数を導出することと
を行うように構成されたビデオコーダ
を備える、装置。
[17]ピクセルの前記ブロックの前記ルーマ成分および前記クロマ成分が、4:2:0、4:2:2または4:4:4フォーマットである、[16]に記載の装置。
[18]前記ビデオコーダが、
ピクセルの前記ブロックに対してルーマ適応ループフィルタ処理を実行すべきかどうかを判断することと、
ピクセルの前記ブロックに対してクロマ適応ループフィルタ処理を実行すべきかどうかを判断することであって、クロマ適応ループフィルタ処理を実行すべきかどうかを判断することが、ルーマ適応ループフィルタ処理を実行すべきかどうかを判断することとは無関係に実行される、判断することと
を行うようにさらに構成された、[16]に記載の装置。
[19]前記ビデオコーダが、CUレベルALFオン/オフフラグの値を判断するようにさらに構成された、[18]に記載の装置。
[20]前記ビデオコーダが、
クロマ適応ループフィルタ処理のためにルーマ適応ループフィルタ処理のフィルタ情報を共有すること
を行うようにさらに構成された、[16]に記載の装置。
[21]前記フィルタ情報が、CUレベルオン/オフフラグ、フィルタ係数、および/またはブロックベース分類を含む、[20]に記載の装置。
[22]前記ビデオコーダが、
ルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマ適応ループフィルタ処理のための前記フィルタ係数を予測すること
を行うようにさらに構成された、[16]に記載の装置。
[23]前記ビデオコーダが、
差分を作成するためにルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマフィルタ係数を減算すること
を行うようにさらに構成された、[22]に記載の装置。
[24]前記ビデオコーダが、ピクセルの前記ブロックのCrクロマ成分のためのCrクロマ適応ループフィルタ処理を実行することと、ピクセルの前記ブロックのためのCbクロマ成分のためのCbクロマ適応ループフィルタ処理を実行することとを行うようにさらに構成された、[16]に記載の装置。
[25]前記ビデオコーダが、
Cbクロマ適応ループフィルタ処理のためにCrクロマ適応ループフィルタ処理のフィルタ情報を共有すること
を行うようにさらに構成された、[24]に記載の装置。
[26]前記フィルタ情報が、CUレベルオン/オフマップ、フィルタ係数、および/またはブロックベース分類を含む、[25]に記載の装置。
[27]前記CUレベルオン/オフマップがCUレベルオン/オフフラグの値を含み、1の値をもつCUレベルオン/オフフラグは、ALFがピクセルの前記ブロックのために実行されることを示し、値0をもつCUレベルオン/オフフラグは、ALFがピクセルの前記ブロックのために実行されないことを示す、[26]に記載の装置。
[28]前記ビデオコーダが、
Crクロマ適応ループフィルタ処理のための前記フィルタ係数からCbクロマ適応ループフィルタ処理のための前記フィルタ係数を予測すること
を行うようにさらに構成された、[24]に記載の装置。
[29]前記ビデオコーダがビデオエンコーダであり、前記ビデオエンコーダが、
符号化ビデオデータを作成するためにビデオデータを符号化することと、
再構成ビデオデータを作成するために前記符号化ビデオデータを再構成することであって、ピクセルの前記ブロックが再構成ビデオデータである、再構成することと、
前記ルーマ適応フィルタ処理に関係するフィルタ情報および前記クロマ適応ループフィルタ処理に関係するフィルタ情報のうちの1つまたは複数をシグナリングすることと
を行うようにさらに構成された、[16]に記載の装置。
[30]前記ビデオコーダがビデオデコーダであり、前記ビデオデコーダが、
前記ルーマ適応フィルタ処理に関係するフィルタ情報および前記クロマ適応ループフィルタ処理に関係するフィルタ情報のうちの1つまたは複数を受信することと、
符号化ビデオデータを受信することと、
復号ビデオデータを作成するために前記符号化ビデオデータを復号することであって、ピクセルの前記ブロックが復号ビデオデータである、復号することと
を行うようにさらに構成された、[16]に記載の装置。
[31]ビデオコーディングプロセスにおいて適応ループフィルタ処理を実行するように構成された装置であって、
ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行するための手段と、
ピクセルの前記ブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行するための手段と、
ブロックベース分類モードおよび領域ベース分類モードのうちの1つに基づいて、前記ルーマ適応ループフィルタ処理と前記クロマ適応ループフィルタ処理の両方のためのフィルタ係数を導出するための手段と
を備える、装置。
[32]ピクセルの前記ブロックの前記ルーマ成分および前記クロマ成分が、4:2:0、4:2:2または4:4:4フォーマットである、[31]に記載の装置。
[33]ピクセルの前記ブロックに対してルーマ適応ループフィルタ処理を実行すべきかどうかを判断するための手段と、
ピクセルの前記ブロックに対してクロマ適応ループフィルタ処理を実行すべきかどうかを判断するための手段であって、クロマ適応ループフィルタ処理を実行すべきかどうかを判断することが、ルーマ適応ループフィルタ処理を実行すべきかどうかを判断することとは無関係に実行される、判断するための手段と
をさらに含む、[31]に記載の装置。
[34]クロマ適応ループフィルタ処理を実行することを判断するための前記手段が、CUレベルALFオン/オフフラグの値を判断するための手段を含む、[33]に記載の装置。
[35]クロマ適応ループフィルタ処理のためにルーマ適応ループフィルタ処理のフィルタ情報を共有するための手段
をさらに備える、[31]に記載の装置。
[36]前記フィルタ情報が、CUレベルオン/オフフラグ、フィルタ係数、および/またはブロックベース分類を含む、[35]に記載の装置。
[37]ルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマ適応ループフィルタ処理のための前記フィルタ係数を予測するための手段
をさらに備える、[31]に記載の装置。
[38]クロマ適応ループフィルタ処理のための前記フィルタ係数を予測するための前記手段が、差分を作成するためにルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマフィルタ係数を減算するための手段を含む、[37]に記載の装置。
[39]命令を記憶するコンピュータ可読記憶媒体であって、前記命令が、実行されたとき、ビデオコーディングプロセスにおいて適応ループフィルタ処理を実行するように構成されたデバイスの1つまたは複数のプロセッサに、
ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、
ピクセルの前記ブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することと、
ブロックベース分類モードおよび領域ベース分類モードのうちの1つに基づいて、前記ルーマ適応ループフィルタ処理と前記クロマ適応ループフィルタ処理の両方のためのフィルタ係数を導出することと
を行わせる、コンピュータ可読記憶媒体。
[40]ピクセルの前記ブロックの前記ルーマ成分および前記クロマ成分が、4:2:0、4:2:2または4:4:4フォーマットである、[39]に記載のコンピュータ可読記憶媒体。
[41]前記命令がさらに、前記1つまたは複数のプロセッサに、
ピクセルの前記ブロックに対してルーマ適応ループフィルタ処理を実行すべきかどうかを判断することと、
ピクセルの前記ブロックに対してクロマ適応ループフィルタ処理を実行すべきかどうかを判断することであって、クロマ適応ループフィルタ処理を実行すべきかどうかを判断することが、ルーマ適応ループフィルタ処理を実行すべきかどうかを判断することとは無関係に実行される、判断することと
を行わせる、[39]に記載のコンピュータ可読記憶媒体。
[42]クロマ適応ループフィルタ処理を実行することを判断することが、CUレベルALFオン/オフフラグの値を判断することを含む、[41]に記載のコンピュータ可読記憶媒体。
[43]前記命令がさらに、前記1つまたは複数のプロセッサに、
クロマ適応ループフィルタ処理のためにルーマ適応ループフィルタ処理のフィルタ情報を共有すること
を行わせる、[39]に記載のコンピュータ可読記憶媒体。
[44]前記フィルタ情報が、CUレベルオン/オフフラグ、フィルタ係数、および/またはブロックベース分類を含む、[43]に記載のコンピュータ可読記憶媒体。
[45]前記命令がさらに、前記1つまたは複数のプロセッサに、
ルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマ適応ループフィルタ処理のための前記フィルタ係数を予測すること
を行わせる、[39]に記載のコンピュータ可読記憶媒体。
[46]クロマ適応ループフィルタ処理のための前記フィルタ係数を予測することが、差分を作成するためにルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマフィルタ係数を減算することを含む、[45]に記載のコンピュータ可読記憶媒体。

Claims (46)

  1. ビデオコーディングプロセスにおける適応ループフィルタ処理の方法であって、
    ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、
    ピクセルの前記ブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することと、
    ブロックベース分類モードおよび領域ベース分類モードのうちの1つに基づいて、前記ルーマ適応ループフィルタ処理と前記クロマ適応ループフィルタ処理の両方のためのフィルタ係数を導出することと
    を備える、方法。
  2. ピクセルの前記ブロックの前記ルーマ成分および前記クロマ成分が、4:2:0、4:2:2または4:4:4フォーマットである、請求項1に記載の方法。
  3. ピクセルの前記ブロックに対してルーマ適応ループフィルタ処理を実行すべきかどうかを判断することと、
    ピクセルの前記ブロックに対してクロマ適応ループフィルタ処理を実行すべきかどうかを判断することであって、クロマ適応ループフィルタ処理を実行すべきかどうかを判断することが、ルーマ適応ループフィルタ処理を実行すべきかどうかを判断することとは無関係に実行される、判断することと
    をさらに含む、請求項1に記載の方法。
  4. クロマ適応ループフィルタ処理を実行することを判断することが、CUレベルALFオン/オフフラグの値を判断することを含む、請求項3に記載の方法。
  5. クロマ適応ループフィルタ処理のためにルーマ適応ループフィルタ処理のフィルタ情報を共有すること
    をさらに備える、請求項1に記載の方法。
  6. 前記フィルタ情報が、CUレベルオン/オフフラグ、フィルタ係数、および/またはブロックベース分類を含む、請求項5に記載の方法。
  7. ルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマ適応ループフィルタ処理のための前記フィルタ係数を予測すること
    をさらに備える、請求項1に記載の方法。
  8. クロマ適応ループフィルタ処理のための前記フィルタ係数を予測することが、差分を作成するためにルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマフィルタ係数を減算することを含む、請求項7に記載の方法。
  9. クロマ適応ループフィルタ処理を実行することが、ピクセルの前記ブロックのCrクロマ成分のためのCrクロマ適応ループフィルタ処理を実行することと、ピクセルの前記ブロックのためのCbクロマ成分のためのCbクロマ適応ループフィルタ処理を実行することとを含む、請求項1に記載の方法。
  10. Cbクロマ適応ループフィルタ処理のためにCrクロマ適応ループフィルタ処理のフィルタ情報を共有すること
    をさらに備える、請求項9に記載の方法。
  11. 前記フィルタ情報が、CUレベルオン/オフマップ、フィルタ係数、および/またはブロックベース分類を含む、請求項10に記載の方法。
  12. 前記CUレベルオン/オフマップがCUレベルオン/オフフラグの値を含み、1の値をもつCUレベルオン/オフフラグは、ALFがピクセルの前記ブロックのために実行されることを示し、値0をもつCUレベルオン/オフフラグは、ALFがピクセルの前記ブロックのために実行されないことを示す、請求項11に記載の方法。
  13. Crクロマ適応ループフィルタ処理のための前記フィルタ係数からCbクロマ適応ループフィルタ処理のための前記フィルタ係数を予測すること
    をさらに備える、請求項9に記載の方法。
  14. 前記ビデオコーディングプロセスがビデオ符号化プロセスであり、前記方法が、
    符号化ビデオデータを作成するためにビデオデータを符号化することと、
    再構成ビデオデータを作成するために前記符号化ビデオデータを再構成することであって、ピクセルの前記ブロックが再構成ビデオデータである、再構成することと、
    前記ルーマ適応フィルタ処理に関係するフィルタ情報および前記クロマ適応ループフィルタ処理に関係するフィルタ情報のうちの1つまたは複数をシグナリングすることと
    をさらに備える、請求項1に記載の方法。
  15. 前記ビデオコーディングプロセスがビデオ復号プロセスであり、前記方法が、
    前記ルーマ適応フィルタ処理に関係するフィルタ情報および前記クロマ適応ループフィルタ処理に関係するフィルタ情報のうちの1つまたは複数を受信することと、
    符号化ビデオデータを受信することと、
    復号ビデオデータを作成するために前記符号化ビデオデータを復号することであって、ピクセルの前記ブロックが復号ビデオデータである、復号することと
    をさらに備える、請求項1に記載の方法。
  16. ビデオコーディングプロセスにおいて適応ループフィルタ処理を実行するように構成された装置であって、
    ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、
    ピクセルの前記ブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することと、
    ブロックベース分類モードおよび領域ベース分類モードのうちの1つに基づいて、前記ルーマ適応ループフィルタ処理と前記クロマ適応ループフィルタ処理の両方のためのフィルタ係数を導出することと
    を行うように構成されたビデオコーダ
    を備える、装置。
  17. ピクセルの前記ブロックの前記ルーマ成分および前記クロマ成分が、4:2:0、4:2:2または4:4:4フォーマットである、請求項16に記載の装置。
  18. 前記ビデオコーダが、
    ピクセルの前記ブロックに対してルーマ適応ループフィルタ処理を実行すべきかどうかを判断することと、
    ピクセルの前記ブロックに対してクロマ適応ループフィルタ処理を実行すべきかどうかを判断することであって、クロマ適応ループフィルタ処理を実行すべきかどうかを判断することが、ルーマ適応ループフィルタ処理を実行すべきかどうかを判断することとは無関係に実行される、判断することと
    を行うようにさらに構成された、請求項16に記載の装置。
  19. 前記ビデオコーダが、CUレベルALFオン/オフフラグの値を判断するようにさらに構成された、請求項18に記載の装置。
  20. 前記ビデオコーダが、
    クロマ適応ループフィルタ処理のためにルーマ適応ループフィルタ処理のフィルタ情報を共有すること
    を行うようにさらに構成された、請求項16に記載の装置。
  21. 前記フィルタ情報が、CUレベルオン/オフフラグ、フィルタ係数、および/またはブロックベース分類を含む、請求項20に記載の装置。
  22. 前記ビデオコーダが、
    ルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマ適応ループフィルタ処理のための前記フィルタ係数を予測すること
    を行うようにさらに構成された、請求項16に記載の装置。
  23. 前記ビデオコーダが、
    差分を作成するためにルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマフィルタ係数を減算すること
    を行うようにさらに構成された、請求項22に記載の装置。
  24. 前記ビデオコーダが、ピクセルの前記ブロックのCrクロマ成分のためのCrクロマ適応ループフィルタ処理を実行することと、ピクセルの前記ブロックのためのCbクロマ成分のためのCbクロマ適応ループフィルタ処理を実行することとを行うようにさらに構成された、請求項16に記載の装置。
  25. 前記ビデオコーダが、
    Cbクロマ適応ループフィルタ処理のためにCrクロマ適応ループフィルタ処理のフィルタ情報を共有すること
    を行うようにさらに構成された、請求項24に記載の装置。
  26. 前記フィルタ情報が、CUレベルオン/オフマップ、フィルタ係数、および/またはブロックベース分類を含む、請求項25に記載の装置。
  27. 前記CUレベルオン/オフマップがCUレベルオン/オフフラグの値を含み、1の値をもつCUレベルオン/オフフラグは、ALFがピクセルの前記ブロックのために実行されることを示し、値0をもつCUレベルオン/オフフラグは、ALFがピクセルの前記ブロックのために実行されないことを示す、請求項26に記載の装置。
  28. 前記ビデオコーダが、
    Crクロマ適応ループフィルタ処理のための前記フィルタ係数からCbクロマ適応ループフィルタ処理のための前記フィルタ係数を予測すること
    を行うようにさらに構成された、請求項24に記載の装置。
  29. 前記ビデオコーダがビデオエンコーダであり、前記ビデオエンコーダが、
    符号化ビデオデータを作成するためにビデオデータを符号化することと、
    再構成ビデオデータを作成するために前記符号化ビデオデータを再構成することであって、ピクセルの前記ブロックが再構成ビデオデータである、再構成することと、
    前記ルーマ適応フィルタ処理に関係するフィルタ情報および前記クロマ適応ループフィルタ処理に関係するフィルタ情報のうちの1つまたは複数をシグナリングすることと
    を行うようにさらに構成された、請求項16に記載の装置。
  30. 前記ビデオコーダがビデオデコーダであり、前記ビデオデコーダが、
    前記ルーマ適応フィルタ処理に関係するフィルタ情報および前記クロマ適応ループフィルタ処理に関係するフィルタ情報のうちの1つまたは複数を受信することと、
    符号化ビデオデータを受信することと、
    復号ビデオデータを作成するために前記符号化ビデオデータを復号することであって、ピクセルの前記ブロックが復号ビデオデータである、復号することと
    を行うようにさらに構成された、請求項16に記載の装置。
  31. ビデオコーディングプロセスにおいて適応ループフィルタ処理を実行するように構成された装置であって、
    ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行するための手段と、
    ピクセルの前記ブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行するための手段と、
    ブロックベース分類モードおよび領域ベース分類モードのうちの1つに基づいて、前記ルーマ適応ループフィルタ処理と前記クロマ適応ループフィルタ処理の両方のためのフィルタ係数を導出するための手段と
    を備える、装置。
  32. ピクセルの前記ブロックの前記ルーマ成分および前記クロマ成分が、4:2:0、4:2:2または4:4:4フォーマットである、請求項31に記載の装置。
  33. ピクセルの前記ブロックに対してルーマ適応ループフィルタ処理を実行すべきかどうかを判断するための手段と、
    ピクセルの前記ブロックに対してクロマ適応ループフィルタ処理を実行すべきかどうかを判断するための手段であって、クロマ適応ループフィルタ処理を実行すべきかどうかを判断することが、ルーマ適応ループフィルタ処理を実行すべきかどうかを判断することとは無関係に実行される、判断するための手段と
    をさらに含む、請求項31に記載の装置。
  34. クロマ適応ループフィルタ処理を実行することを判断するための前記手段が、CUレベルALFオン/オフフラグの値を判断するための手段を含む、請求項33に記載の装置。
  35. クロマ適応ループフィルタ処理のためにルーマ適応ループフィルタ処理のフィルタ情報を共有するための手段
    をさらに備える、請求項31に記載の装置。
  36. 前記フィルタ情報が、CUレベルオン/オフフラグ、フィルタ係数、および/またはブロックベース分類を含む、請求項35に記載の装置。
  37. ルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマ適応ループフィルタ処理のための前記フィルタ係数を予測するための手段
    をさらに備える、請求項31に記載の装置。
  38. クロマ適応ループフィルタ処理のための前記フィルタ係数を予測するための前記手段が、差分を作成するためにルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマフィルタ係数を減算するための手段を含む、請求項37に記載の装置。
  39. 命令を記憶するコンピュータ可読記憶媒体であって、前記命令が、実行されたとき、ビデオコーディングプロセスにおいて適応ループフィルタ処理を実行するように構成されたデバイスの1つまたは複数のプロセッサに、
    ピクセルのブロックのルーマ成分のためのルーマ適応ループフィルタ処理を実行することと、
    ピクセルの前記ブロックのクロマ成分のためのクロマ適応ループフィルタ処理を実行することと、
    ブロックベース分類モードおよび領域ベース分類モードのうちの1つに基づいて、前記ルーマ適応ループフィルタ処理と前記クロマ適応ループフィルタ処理の両方のためのフィルタ係数を導出することと
    を行わせる、コンピュータ可読記憶媒体。
  40. ピクセルの前記ブロックの前記ルーマ成分および前記クロマ成分が、4:2:0、4:2:2または4:4:4フォーマットである、請求項39に記載のコンピュータ可読記憶媒体。
  41. 前記命令がさらに、前記1つまたは複数のプロセッサに、
    ピクセルの前記ブロックに対してルーマ適応ループフィルタ処理を実行すべきかどうかを判断することと、
    ピクセルの前記ブロックに対してクロマ適応ループフィルタ処理を実行すべきかどうかを判断することであって、クロマ適応ループフィルタ処理を実行すべきかどうかを判断することが、ルーマ適応ループフィルタ処理を実行すべきかどうかを判断することとは無関係に実行される、判断することと
    を行わせる、請求項39に記載のコンピュータ可読記憶媒体。
  42. クロマ適応ループフィルタ処理を実行することを判断することが、CUレベルALFオン/オフフラグの値を判断することを含む、請求項41に記載のコンピュータ可読記憶媒体。
  43. 前記命令がさらに、前記1つまたは複数のプロセッサに、
    クロマ適応ループフィルタ処理のためにルーマ適応ループフィルタ処理のフィルタ情報を共有すること
    を行わせる、請求項39に記載のコンピュータ可読記憶媒体。
  44. 前記フィルタ情報が、CUレベルオン/オフフラグ、フィルタ係数、および/またはブロックベース分類を含む、請求項43に記載のコンピュータ可読記憶媒体。
  45. 前記命令がさらに、前記1つまたは複数のプロセッサに、
    ルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマ適応ループフィルタ処理のための前記フィルタ係数を予測すること
    を行わせる、請求項39に記載のコンピュータ可読記憶媒体。
  46. クロマ適応ループフィルタ処理のための前記フィルタ係数を予測することが、差分を作成するためにルーマ適応ループフィルタ処理のための前記フィルタ係数からクロマフィルタ係数を減算することを含む、請求項45に記載のコンピュータ可読記憶媒体。
JP2014537242A 2011-10-21 2012-10-18 クロマ成分のための適応ループフィルタ処理 Expired - Fee Related JP5922245B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161550259P 2011-10-21 2011-10-21
US61/550,259 2011-10-21
US13/653,950 US9807403B2 (en) 2011-10-21 2012-10-17 Adaptive loop filtering for chroma components
US13/653,950 2012-10-17
PCT/US2012/060814 WO2013059461A1 (en) 2011-10-21 2012-10-18 Adaptive loop filtering for chroma components

Publications (2)

Publication Number Publication Date
JP2014533012A true JP2014533012A (ja) 2014-12-08
JP5922245B2 JP5922245B2 (ja) 2016-05-24

Family

ID=48135967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014537242A Expired - Fee Related JP5922245B2 (ja) 2011-10-21 2012-10-18 クロマ成分のための適応ループフィルタ処理

Country Status (6)

Country Link
US (1) US9807403B2 (ja)
EP (1) EP2769548A1 (ja)
JP (1) JP5922245B2 (ja)
KR (1) KR101617107B1 (ja)
CN (1) CN103891293B (ja)
WO (1) WO2013059461A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123768A1 (ja) * 2017-12-22 2019-06-27 ソニー株式会社 画像処理装置及び画像処理方法
JP2019519141A (ja) * 2016-05-09 2019-07-04 クゥアルコム・インコーポレイテッドQualcomm Incorporated フィルタ処理情報のシグナリング
JP2022522577A (ja) * 2019-03-08 2022-04-20 キヤノン株式会社 アダプティブループフィルタ
WO2024058595A1 (ko) * 2022-09-16 2024-03-21 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2661879B1 (en) * 2011-01-03 2019-07-10 HFI Innovation Inc. Method of filter-unit based in-loop filtering
KR101156667B1 (ko) 2011-12-06 2012-06-14 주식회사 에이디알에프코리아 통신 시스템의 필터 계수 설정 방법
US9380302B2 (en) * 2012-02-27 2016-06-28 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
TWI652935B (zh) 2012-09-28 2019-03-01 Vid衡器股份有限公司 視訊編碼方法及裝置
US9743091B2 (en) * 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
EP3114835B1 (en) 2014-03-04 2020-04-22 Microsoft Technology Licensing, LLC Encoding strategies for adaptive switching of color spaces
BR122022001646B1 (pt) 2014-03-04 2023-03-07 Microsoft Technology Licensing, Llc Dispositivo de memória ou armazenamento legível por computador, método e sistema de computador
RU2648276C1 (ru) 2014-03-27 2018-03-23 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Корректировка квантования/масштабирования и обратного квантования/масштабирования при переключении цветовых пространств
US10687069B2 (en) 2014-10-08 2020-06-16 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
US10158836B2 (en) * 2015-01-30 2018-12-18 Qualcomm Incorporated Clipping for cross-component prediction and adaptive color transform for video coding
US10972728B2 (en) 2015-04-17 2021-04-06 Interdigital Madison Patent Holdings, Sas Chroma enhancement filtering for high dynamic range video coding
EP3142363A1 (en) * 2015-09-08 2017-03-15 Thomson Licensing Methods and devices for encoding and decoding a sequence of pictures, and corresponding computer program product and computer-readable medium
US20170085886A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Variable partition size for block prediction mode for display stream compression (dsc)
US20180041778A1 (en) * 2016-08-02 2018-02-08 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
WO2018120230A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 图像滤波方法、装置以及设备
WO2018170801A1 (zh) * 2017-03-22 2018-09-27 华为技术有限公司 图像滤波方法及装置
US10440396B2 (en) * 2017-03-28 2019-10-08 Qualcomm Incorporated Filter information sharing among color components
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
CN111615828B (zh) 2017-11-29 2023-01-10 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
WO2019194647A1 (ko) * 2018-04-06 2019-10-10 가온미디어 주식회사 필터 정보 기반의 적응적 루프 필터링 방법, 그를 이용한 영상 부호화 및 복호화 방법
GB2573797A (en) * 2018-05-17 2019-11-20 Canon Kk A filter
CN117896531A (zh) 2018-09-05 2024-04-16 华为技术有限公司 色度块预测方法以及设备
WO2020094153A1 (en) * 2018-11-09 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Component based loop filter
CN112235577B (zh) * 2018-12-13 2021-08-20 华为技术有限公司 色度块的预测方法和装置
WO2020177134A1 (zh) * 2019-03-07 2020-09-10 Oppo广东移动通信有限公司 环路滤波实现方法、装置及计算机存储介质
US11683487B2 (en) * 2019-03-26 2023-06-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) with adaptive parameter set (APS) in video coding
KR102630411B1 (ko) 2019-04-20 2024-01-29 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 조인트 코딩을 위한 구문 요소의 시그널링
US11368684B2 (en) * 2019-04-23 2022-06-21 Qualcomm Incorporated Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters
WO2020231238A1 (ko) * 2019-05-16 2020-11-19 엘지전자 주식회사 크로마 포멧에 기반하여 필터 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11019334B2 (en) * 2019-05-17 2021-05-25 Qualcomm Incorporated Multiple adaptive loop filter sets for video coding
CN113785574B (zh) * 2019-05-30 2022-10-11 北京字节跳动网络技术有限公司 色度分量的自适应环路滤波
WO2020259538A1 (en) * 2019-06-27 2020-12-30 Mediatek Inc. Method and apparatus of cross-component adaptive loop filtering for video coding
CN117221538A (zh) 2019-07-08 2023-12-12 Lg电子株式会社 解码和编码设备、数据发送设备及计算机可读存储介质
WO2021006633A1 (ko) * 2019-07-08 2021-01-14 엘지전자 주식회사 인루프 필터링 기반 비디오 또는 영상 코딩
KR20220019241A (ko) 2019-07-08 2022-02-16 엘지전자 주식회사 적응적 루프 필터 기반 비디오 또는 영상 코딩
WO2021006654A1 (ko) * 2019-07-09 2021-01-14 엘지전자 주식회사 적응적 루프 필터 기반 비디오 또는 영상 코딩
EP3997868A4 (en) 2019-08-10 2023-02-22 Beijing Bytedance Network Technology Co., Ltd. BUFFER MANAGEMENT DURING SUBPICTURE DECODING
EP4011070A4 (en) * 2019-08-16 2022-11-23 Huawei Technologies Co., Ltd. APS ALF CONSTRAINTS IN VIDEO CODING
US11962767B2 (en) 2019-08-29 2024-04-16 Lg Electronics Inc. Apparatus and method for coding image
EP4024859A4 (en) * 2019-08-29 2023-08-23 LG Electronics Inc. DEVICE AND METHOD FOR ENCODING VIDEO BASED ON FILTERING
EP4014497A4 (en) 2019-09-14 2022-11-30 ByteDance Inc. QUANTIZE PARAMETER FOR CHROMINANCE UNBLOCKING FILTERING
US11343493B2 (en) * 2019-09-23 2022-05-24 Qualcomm Incorporated Bit shifting for cross-component adaptive loop filtering for video coding
CN112584179B (zh) * 2019-09-27 2023-03-28 腾讯美国有限责任公司 视频编解码方法、计算机系统以及可读存储介质
CN114556952A (zh) 2019-10-02 2022-05-27 北京字节跳动网络技术有限公司 包括子图片的视频比特流中的条带级信令通知
CN114651442A (zh) * 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
CN114556924B (zh) 2019-10-14 2024-01-26 字节跳动有限公司 视频处理中色度残差的联合编解码与滤波的方法、装置及介质
CN117676135A (zh) 2019-10-18 2024-03-08 北京字节跳动网络技术有限公司 子图片与环路滤波之间的相互影响
JP7389252B2 (ja) 2019-10-29 2023-11-29 北京字節跳動網絡技術有限公司 クロスコンポーネント適応ループフィルタ
US20220408085A1 (en) * 2019-11-22 2022-12-22 Electronics And Telecommunications Research Institute Adaptive in-loop filtering method and device
EP4055827A4 (en) 2019-12-09 2023-01-18 ByteDance Inc. USING QUANTIFICATION GROUPS IN VIDEO CODING
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换
KR20210118769A (ko) * 2020-03-23 2021-10-01 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN115152226A (zh) * 2020-03-26 2022-10-04 交互数字Vc控股法国公司 视频编码中的信令编码参数
EP4131970A4 (en) * 2020-04-03 2023-03-29 Peking University VIDEO CODING AND DECODING METHOD AND DEVICE, AND STORAGE MEDIA
US11792412B2 (en) * 2020-04-15 2023-10-17 Qualcomm Incorporated Adaptive loop filtering for color format support
CN111866506A (zh) * 2020-06-07 2020-10-30 咪咕文化科技有限公司 图像编码方法、装置、设备及可读存储介质
CN111654710B (zh) * 2020-06-07 2022-06-03 咪咕文化科技有限公司 图像滤波方法、装置、设备及存储介质
WO2024016981A1 (en) * 2022-07-20 2024-01-25 Mediatek Inc. Method and apparatus for adaptive loop filter with chroma classifier for video coding
WO2024067188A1 (en) * 2022-09-28 2024-04-04 Mediatek Inc. Method and apparatus for adaptive loop filter with chroma classifiers by transpose indexes for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001999A1 (ja) * 2008-07-04 2010-01-07 株式会社 東芝 動画像符号化/復号化方法及び装置
WO2010076856A1 (ja) * 2009-01-05 2010-07-08 株式会社 東芝 動画像符号化方法及び動画像復号化方法
WO2010113524A1 (ja) * 2009-04-03 2010-10-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103781152B (zh) 2003-02-03 2018-02-16 索尼株式会社 无线通信系统,无线通信设备和无线通信方法
US7376277B2 (en) * 2004-06-15 2008-05-20 Pegasus Imaging Corporation Data transform for improved compression of multicomponent images
CN101076124B (zh) 2006-05-18 2010-09-08 北京大学深圳研究生院 去块滤波器
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
KR20090129926A (ko) 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
DK2663076T3 (en) 2009-04-20 2016-12-05 Dolby Laboratories Licensing Corp Filter Selection for video preprocessing of video applications
WO2011043797A2 (en) 2009-10-05 2011-04-14 Thomson Licensing Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
KR101750046B1 (ko) 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
EP2559238B1 (en) 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US20120039383A1 (en) 2010-08-12 2012-02-16 Mediatek Inc. Coding unit synchronous adaptive loop filter flags
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
US10080016B2 (en) 2011-01-14 2018-09-18 Sony Corporation Codeword space reduction for intra chroma mode signaling for HEVC
WO2013042884A1 (ko) * 2011-09-19 2013-03-28 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
US20130113880A1 (en) 2011-11-08 2013-05-09 Jie Zhao High Efficiency Video Coding (HEVC) Adaptive Loop Filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001999A1 (ja) * 2008-07-04 2010-01-07 株式会社 東芝 動画像符号化/復号化方法及び装置
WO2010076856A1 (ja) * 2009-01-05 2010-07-08 株式会社 東芝 動画像符号化方法及び動画像復号化方法
WO2010113524A1 (ja) * 2009-04-03 2010-10-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JPN6015017885; Ching-Yeh Chen,Chih-Ming Fu,Chia-Yang Tsai,Yu-Wen Huang,Shawmin Lei,Marta Karczewicz,In Suk Chong,To: 'CE8 Subtest 2:Adaptation between Block-based and Region-based Filter Selection' Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO *
JPN6015017886; Tomoo Yamakage,Takashi Watanabe,Takeshi Chujoh,Ching-Yeh Chen,Chih-Ming Fu,Chia-Yang Tsai,Yu-Wen Hua: 'CE8.1: Block based Adaptive Loop Filter by MediaTek, Qualcomm and Toshiba' Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC&#x300 *
JPN6016010099; Ching-Yeh Chen,Chih-Ming Fu,Chia-Yang Tsai,Yu-Wen Huang,Shawmin Lei: 'CE8 Subtest 2:Adaptation between Pixel-based and Region-based Filter Selection' Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Me JCTVC- *
JPN6016010100; Ching-Yeh Chen,Chih-Ming Fu,Chia-Yang Tsai,Yu-Wen Huang,Shawmin Lei,Marta Karczewicz,In Suk Chong,To: 'CE8 Subset2:A Joint Proposal on Improving the Adaptive Loop Filter in TMuC0.9 by Media Tek,Qualcomm,' Joint Collaborative Team on Video Coding(JCT-VC) o&#xFF *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019519141A (ja) * 2016-05-09 2019-07-04 クゥアルコム・インコーポレイテッドQualcomm Incorporated フィルタ処理情報のシグナリング
WO2019123768A1 (ja) * 2017-12-22 2019-06-27 ソニー株式会社 画像処理装置及び画像処理方法
JP2022522577A (ja) * 2019-03-08 2022-04-20 キヤノン株式会社 アダプティブループフィルタ
JP2023015248A (ja) * 2019-03-08 2023-01-31 キヤノン株式会社 アダプティブループフィルタ
JP7256874B2 (ja) 2019-03-08 2023-04-12 キヤノン株式会社 アダプティブループフィルタ
JP7391170B2 (ja) 2019-03-08 2023-12-04 キヤノン株式会社 アダプティブループフィルタ
WO2024058595A1 (ko) * 2022-09-16 2024-03-21 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Also Published As

Publication number Publication date
CN103891293A (zh) 2014-06-25
WO2013059461A1 (en) 2013-04-25
KR101617107B1 (ko) 2016-04-29
JP5922245B2 (ja) 2016-05-24
US9807403B2 (en) 2017-10-31
CN103891293B (zh) 2018-02-06
EP2769548A1 (en) 2014-08-27
KR20140079498A (ko) 2014-06-26
US20130101018A1 (en) 2013-04-25

Similar Documents

Publication Publication Date Title
JP5922245B2 (ja) クロマ成分のための適応ループフィルタ処理
JP5922244B2 (ja) ビデオコーディングにおいて適応ループフィルタとマージされたサンプル適応オフセット
JP5876156B2 (ja) ビデオコーディングにおけるスライス境界またはタイル境界の周辺のループフィルタ処理
JP5960309B2 (ja) マッピングされた変換と走査モードとを使用するビデオコード化
AU2012273109B2 (en) Parallelization friendly merge candidates for video coding
JP6174123B2 (ja) ビデオコーディングにおける量子化パラメータ(qp)コーディング
US9596461B2 (en) Loop filtering across constrained intra block boundaries in video coding
KR101671080B1 (ko) 비디오 코딩에서 비정방형 변환 유닛들 및 예측 유닛들
JP5766874B2 (ja) 方向性パーティションを用いたイントラ予測モードコーディング
JP5886440B2 (ja) イントラ予測ビデオコーディングにおける非正方形変換
JP5784830B2 (ja) ビデオコード化のための複数領域走査順序
US20140092983A1 (en) Coded block flag coding for 4:2:2 sample format in video coding
JP6105048B2 (ja) ビデオコーディングのための変換係数のコーディングにおけるグループフラグ
JP2014516217A (ja) サンプル適応オフセットのためのオフセットタイプおよび係数シグナリング方法
KR20170016994A (ko) 일원화된 병합 모드 및 적응적 모션 벡터 예측 모드 후보 선택
CN113170141A (zh) 帧间预测方法和相关装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160413

R150 Certificate of patent or registration of utility model

Ref document number: 5922245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees