JP2018530246A - ビデオコーディングのために位置依存の予測組合せを使用する改善されたビデオイントラ予測 - Google Patents

ビデオコーディングのために位置依存の予測組合せを使用する改善されたビデオイントラ予測 Download PDF

Info

Publication number
JP2018530246A
JP2018530246A JP2018515932A JP2018515932A JP2018530246A JP 2018530246 A JP2018530246 A JP 2018530246A JP 2018515932 A JP2018515932 A JP 2018515932A JP 2018515932 A JP2018515932 A JP 2018515932A JP 2018530246 A JP2018530246 A JP 2018530246A
Authority
JP
Japan
Prior art keywords
values
unfiltered
prediction
filtered
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018515932A
Other languages
English (en)
Other versions
JP6903644B2 (ja
JP2018530246A5 (ja
Inventor
サイド、アミール
ジャオ、シン
チェン、ジャンレ
カルチェビチ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018530246A publication Critical patent/JP2018530246A/ja
Publication of JP2018530246A5 publication Critical patent/JP2018530246A5/ja
Application granted granted Critical
Publication of JP6903644B2 publication Critical patent/JP6903644B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Abstract

ビデオコーディングにおいて位置依存の予測組合せを使用する改善されたビデオイントラ予測に対する技法について説明する。高効率ビデオ符号化では、35個の線形予測子のセットがイントラコーディングを行うために使用され、予測は、選択された予測子モードとブロックサイズとに応じて隣接「基準」ピクセルのフィルタ処理されていないセットまたはフィルタ処理されたセットのいずれかから計算され得る。本開示の技法は、改善された予測、したがって、小さい残差を介してより良い圧縮を達成するために基準ピクセルのフィルタ処理されていないセットとフィルタ処理されたセットとの両方の重み付け組合せを使用し、予測値のすべてのセットの効果的な並列計算を可能にし、予測値自体にではなく基準ピクセルのセットだけにフィルタ処理を適用することを介して低複雑度を維持し得る。

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、2015年9月29日に出願された米国仮特許出願第62/234,645号の利益を主張する。
[0002]本開示は、ビデオコーディングに関する。
[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262またはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、ITU−T H.264/MPEG−4、Part 10、アドバンストビデオコーディング(AVC)、およびITU−T H.265、高効率ビデオコーディング(HEVC)によって定義された規格、およびそのような規格の拡張を含む様々な規格に記載されているビデオコーディング技法などのビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的(ピクチャ内)予測および/または時間的(ピクチャ間)予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス(たとえば、ビデオフレームまたはビデオフレームの一部分)は、ツリーブロック、コーディングユニット(CU)および/またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャは、フレームと呼ばれることがあり、参照ピクチャは、参照フレームと呼ばれることがある。
[0005]空間的予測または時間的予測により、コーディングされるべきブロックのための予測ブロックが生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングされたブロックと予測ブロックとの間の差を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数が生じ得、その残差変換係数は、次いで量子化され得る。最初に2次元アレイで構成される量子化された変換係数は、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。
[0006]概して、本開示では、ビデオコーディングにおいて位置依存の予測組合せを使用する改善されたビデオイントラ予測に関する技法について説明する。本技法は、HEVCの拡張または次世代のビデオコーディング規格などの高度なビデオコーデックのコンテキストにおいて使用され得る。HEVCでは、たとえば、35個の線形予測子のセットがイントラコーディングを行うために使用され、予測は、選択された予測子モードとブロックサイズとに応じて隣接「基準」ピクセルのフィルタ処理されていないセットまたはフィルタ処理されたセットのいずれかから計算され得る。本開示の技法は、(たとえば、改善された予測、したがって、小さい残差を介して)より良い圧縮を達成するために基準ピクセルのフィルタ処理されていないセットとフィルタ処理されたセットとの両方の重み付け組合せを使用し、予測値のすべてのセットの効果的な並列計算を可能にし、(たとえば、予測値自体にではなく基準ピクセルのセットだけにフィルタ処理を適用することを介して)低複雑度を維持し得る。
[0007]一例では、本開示は、ビデオデータを復号する方法を対象とし、本方法は、ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、隣接ブロック中の現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、重みの第1のセットを乗算したフィルタ処理された基準アレイ中の複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算したフィルタ処理されていない基準アレイ中の複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて現在のブロックのピクセルのセットに関連する予測値のセットを計算することと、予測値の計算されたセットに基づいて現在のブロックを再構成することとを備える。
[0008]別の例では、本開示は、ビデオデータを符号化する方法を対象とし、本方法は、ピクチャの現在のブロックを受信することと、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、隣接ブロック中の現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、現在のブロックのための予測ブロックを生成することと、ここにおいて、生成することが、重みの第1のセットを乗算したフィルタ処理された基準アレイ中の複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算したフィルタ処理されていない基準アレイ中の複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、現在のブロックと予測ブロックとの間の差に基づいて残差ブロックを生成することと、ビットストリーム中の残差ブロックを表すデータを符号化することとを備える。
[0009]別の例では、本開示は、ビデオデータを復号するためのデバイスを対象とし、本デバイスは、メモリと、メモリと通信している1つまたは複数のプロセッサとを備える。1つまたは複数のプロセッサは、ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、隣接ブロック中の現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、重みの第1のセットを乗算したフィルタ処理された基準アレイ中の複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算したフィルタ処理されていない基準アレイ中の複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて現在のブロックのピクセルのセットに関連する予測値のセットを計算することと、予測値の計算されたセットに基づいて現在のブロックを再構成することとを行うように構成される。
[0010]別の例では、本開示は、ビデオデータを符号化するためのデバイスを対象とし、本デバイスは、メモリと、メモリと通信している1つまたは複数のプロセッサとを備える。1つまたは複数のプロセッサは、ピクチャの現在のブロックを受信することと、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、隣接ブロック中の現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、現在のブロックのための予測ブロックを生成することと、ここにおいて、生成することが、重みの第1のセットを乗算したフィルタ処理された基準アレイ中の複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算したフィルタ処理されていない基準アレイ中の複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、現在のブロックと予測ブロックとの間の差に基づいて残差ブロックを生成することと、ビットストリーム中の残差ブロックを表すデータを符号化することとを行うように構成される。
[0011]別の例では、本開示は、ビデオデータをオブ復号するためのデバイスを対象とし、本デバイスは、ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号するための手段と、隣接ブロック中の現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成するための手段と、隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成するための手段と、重みの第1のセットを乗算したフィルタ処理された基準アレイ中の複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算したフィルタ処理されていない基準アレイ中の複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて現在のブロックのピクセルのセットに関連する予測値のセットを計算するための手段と、予測値の計算されたセットに基づいて現在のブロックを再構成するための手段とを備える。
[0012]別の例では、本開示は、ビデオデータを符号化するためのデバイスを対象とし、本デバイスは、ピクチャの現在のブロックを受信するための手段と、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号するための手段と、隣接ブロック中の現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成するための手段と、隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成するための手段と、現在のブロックのための予測ブロックを生成するための手段と、ここにおいて、生成することが、重みの第1のセットを乗算したフィルタ処理された基準アレイ中の複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算したフィルタ処理されていない基準アレイ中の複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、現在のブロックと予測ブロックとの間の差に基づいて残差ブロックを生成するための手段と、ビットストリーム中の残差ブロックを表すデータを符号化するための手段とを備える。
[0013]さらなる一例では、本開示は、実行されたとき、1つまたは複数のプロセッサに、ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、隣接ブロック中の現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、重みの第1のセットを乗算したフィルタ処理された基準アレイ中の複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算したフィルタ処理されていない基準アレイ中の複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて現在のブロックのピクセルのセットに関連する予測値のセットを計算することと、予測値の計算されたセットに基づいて現在のブロックを再構成することとを行わせる、ビデオデータを処理するための命令を記憶した非一時的コンピュータ可読媒体を対象とする。
[0014]さらなる例では、本開示は、実行されたとき、1つまたは複数のプロセッサに、ピクチャの現在のブロックを受信することと、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、隣接ブロック中の現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、現在のブロックのための予測ブロックを生成することと、ここにおいて、生成することが、重みの第1のセットを乗算したフィルタ処理された基準アレイ中の複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算したフィルタ処理されていない基準アレイ中の複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、現在のブロックと予測ブロックとの間の差に基づいて残差ブロックを生成することと、ビットストリーム中の残差ブロックを表すデータを符号化することとを行わせる、ビデオデータを処理するための命令を記憶した非一時的コンピュータ可読媒体を対象とする。
[0015]1つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。
[0016]本開示で説明する技法を利用し得るフレーム内コーディングにおいて予測されるべきである4×4のピクセルのブロックを示す図。 [0017]ブロックサイズに基づく方向予測子のためのフィルタ設定を示す図。 [0018]本開示の技法による、フィルタ処理されていない基準を使用する4×4のブロックの予測を示す図。 [0019]本開示の技法による、フィルタ処理された基準を使用する4×4のブロックの予測を示す図。 [0020]本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0021]本開示で説明する技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0022]本開示で説明する技法を実装し得るビデオデコーダの一例を示すブロック図。 [0023]本開示の技法による、例示的な方法を示すフローチャート。 [0024]本開示の技法による、例示的な方法を示すフローチャート。
[0025]概して、本開示では、ビデオコーディングにおいて位置依存の予測組合せを使用する改善されたビデオイントラ予測に関する技法について説明する。本技法は、HEVCの拡張または次世代のビデオコーディング規格などの高度なビデオコーデックのコンテキストにおいて使用され得る。
[0026]本開示の技法は、概して、「SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Infrastructure of audiovisual services−Coding of moving video」、高効率ビデオコーディング、ITU−T H.265、2013年4月に記載されている高効率ビデオコーディング(HEVC)とも呼ばれるITU−T H.265に関して説明される。ただし、これらの技法は、HEVCの拡張および他の規格の拡張を含む他のビデオコーディング規格に適用され得る。他のビデオコーディング規格の例としては、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262またはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、および、スケーラブルビデオコーディング(SVC)拡張とマルチビュービデオコーディング(MVC)拡張とを含むITU−T H.264/MPEG−4、Part 10、アドバンストビデオコーディング(AVC)がある。
[0027]H.265規格は、最近、ITU−Tビデオコーディングエキスパートグループ(VCEG:Video Coding Experts Group)とISO/IECモーションピクチャエキスパートグループ(MPEG:Motion Picture Experts Group)とのジョイントコラボレーションチームオンビデオコーディング(JCT−VC:Joint Collaboration Team on Video Coding)によって確定された。以後HEVC WDと呼ばれる、最新のHEVCドラフト仕様は、http://phenix.int−evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC−N1003−v1.zipから入手可能である。
[0028]また、HEVCのマルチビュー拡張MV−HEVCがJCT−3Vによって開発された。MV−HEVC WD8と呼ばれる、MV−HEVCのワーキングドラフト(WD)の例が、phenix.it−sudparis.eu/jct2/doc_end_user/documents/8_Valencia/wg11/JCT3V−H1002−v5.zipから入手可能である。SHVCと称するHEVCのスケーラブル拡張も、JCT−VCによって開発された。SHVC WD6と呼ばれるSHVCのワーキングドラフト(WD)の例が、phenix.it−sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC−Q1008−v2.zipから入手可能である。
[0029]HEVCビデオ圧縮規格では、フレーム内予測は、予測されるべきブロックに隣接する4N+1個のピクセルのグループ、すなわち、基準ピクセルを使用してN×N個のピクセルをもつブロックに適用される。それらの基準ピクセルは、再構成された値を有し、ブロック予測が計算されるときにエンコーダおよびデコーダにおいて知られている。たとえば、図1に、HEVCによって使用されるフレーム内コーディング方法で予測されるべき4×4のピクセルのブロックを示す。予測されるべきピクセル90を白い正方形として示し、基準ピクセル92をグレーの正方形として示す。
[0030]イントラ予測は、1つの画像内の隣接ピクセルを使用して空間的冗長性を低減または除去するために採用されるコーディングツールである。正確な予測方向を発見し、効果的に冗長性を除去するために、HEVCは、各PUに対して最大35個の予測モードを使用し得る。予測子モード(平面、DC、または方向)とブロックサイズとに応じて予測のために使用される値の2つのセットがあり得る。モードごとに、予測のために基準ピクセルのフィルタ処理されていないバージョンまたはフィルタ処理されたバージョンのいずれかが使用され得る。たとえば、HEVCは、イントラ予測においてフィルタ処理された基準ピクセルを使用すべきか、またはフィルタ処理されていない基準ピクセルを使用すべきかを決定するための固定表を定義する。
[0031]図2は、ブロックサイズに基づく方向予測のためのフィルタ設定を定義するグラフ表現を示す概念図である。図2に、予測モード(たとえば、方向予測モード)が特定のブロックサイズ(たとえば、8×8、16×16、および32×32)に基準サンプルフィルタ処理を使用する円を示す。図2に、予測モードが特定のブロックサイズにフィルタ処理されていない基準サンプルを使用するグレーの「×」を示す。たとえば、予測モード2、18、および34は、ブロックサイズにかかわらずフィルタ処理された基準ピクセルを使用し得、モード10および26は、ブロックサイズにかかわらずフィルタ処理されていない基準ピクセルを利用し得、モード3〜8、12〜17、19〜24、および28〜33は、8×8のサイズのブロックではフィルタ処理されていない基準ピクセルを利用し得るが、16×16および32×32のサイズのブロックではフィルタ処理された基準ピクセルを使用し、モード9、11、25、および27は、8×8および16×16のサイズのブロックではフィルタ処理されていない基準ピクセルを利用し、32×32のサイズのブロックではフィルタ処理された基準ピクセルを利用する。さらに、3つのタップ(1/4、1/2、1/4)をもつ、使用され得るある種のローパスフィルタがあり得る。
[0032]現在の方法は、過去に使用された低解像度ビデオにより好適であり得、ここで、最良圧縮は、たいてい小さいブロック(たとえば、4×4または8×8)で達成される。しかしながら、より最近の傾向は、1080×1920のHDビデオまたは2160×3840のUHDビデオを有することである。それらの解像度では、より大きいブロックサイズを使用する予測が、より効率的であり、より良い圧縮を獲得し得る。
[0033]より良い圧縮を獲得するために、それらのより大きいブロック中の基準のより強いローパスフィルタ処理が利用され得る。しかしながら、それらの場合、単一のローパスフィルタザットは、所与のブロックサイズのすべてのブロックのための予測を最適化し、最適なフィルタは、各ブロック中のテクスチャによって変動する。
[0034]現在のHEVC規格を実装するビデオデバイスは、フィルタ処理された基準またはフィルタ処理されていない基準のいずれかに基づく予測を使用し、これは、そのデータがエンコーダおよびデコーダにおいて容易に利用可能であり得るとしても、それらの2つの場合からの情報を組み合わせる方法をサポートしない。
[0035]ビデオエンコーダまたはビデオデコーダなどのビデオコーディングデバイスは、位置依存の予測組合せ(PDPC:position-dependent prediction combination)を実行するために本開示の技法を使用し得、すなわち、フィルタ処理された基準値およびフィルタ処理されていない基準値と、予測されたピクセルの位置とに基づいてどのように予測を組み合わせるのかを定義する1つまたは複数のパラメータ化式を使用し得る。本開示では、エンコーダが、(たとえば、レートひずみ分析を使用することを介して)各々をテストし、デコーダに最適なパラメータ(たとえば、テストされたそれらのパラメータの中から最良のレートひずみパフォーマンスを生じるパラメータ)をシグナリングすることができるようないくつかのパラメータのセットについて説明する。
[0036]図3に、本開示の技法による、フィルタ処理されていない基準(r)を使用する4×4のブロック(p)の予測を示す。図4に、本開示の技法による、フィルタ処理された基準(s)を使用する4×4のブロック(q)の予測を示す。図3および図4の両方に、4×4のピクセルブロックと17個(4×4+1)のそれぞれの基準値とを示すが、本開示の技法は、任意のブロックサイズおよび任意の数の基準値に適用され得る。
[0037]位置依存の予測組合せを実行するビデオコーダは、フィルタ処理された(q)予測とフィルタ処理されていない(p)予測との間の組合せを利用し得、したがって、コーディングされるべき現在のブロックのための予測ブロックは、フィルタ処理された(s)基準アレイとフィルタ処理されていない(r)基準アレイとの両方からのピクセル値を使用して計算され得る。
[0038]PDPCの技法の一例では、それぞれ、フィルタ処理されていない基準rおよびフィルタ処理された基準sのみを使用して計算されるピクセル予測の任意の2つのセット、pr[x,y]およびqs[x,y]が与えられれば、v[x,y]によって示されるピクセルの組み合わされた予測値は、以下のように定義される。
ここで、c[x,y]は、組合せパラメータのセットである。重みc[x,y]の値は、0と1との間の値になり得る。重みc[x,y]と(1−c[x,y])との和は、1に等しくなり得る。
[0039]いくつかの例では、ブロック中のピクセルの数と同じ大きさのパラメータのセットを有することは実際的でないことがある。そのような例では、c[x,y]は、パラメータのはるかに小さいセットに、それらのパラメータからすべての組合せ値を計算するための式を加えたものよって定義され得る。そのような例では、以下の式が使用され得る。
ここで、
、dv、dh∈{1,2}は、予測パラメータであり、Nは、ブロックサイズであり、
および
は、それぞれ、フィルタ処理されていない基準およびフィルタ処理された基準を使用して、特定のモードについて、HEVC規格に従ってザを使用して計算される予測値であり、
は、予測パラメータによって定義される(すなわち、
および
に割り当てられる全体的な重みに1を加えさせるための)正規化ファクタである。
[0040]式2は、あらゆるビデオコーディング規格について以下の式2Aに一般化され得る。
ここで、
、dv、dh∈{1,2}は、予測パラメータであり、Nは、ブロックサイズであり、
および
は、それぞれ、フィルタ処理されていない基準およびフィルタ処理された基準を使用して、特定のモードについて、ビデオコーディング規格(あるいはビデオコーディング方式またはアルゴリズム)に従ってザを使用して計算される予測値であり、
は、予測パラメータによって定義される(すなわち、
および
に割り当てられる全体的な重みに1を加えさせるための)正規化ファクタである。
[0041]これらの予測パラメータは、使用される予測モードのタイプ(たとえば、HEVCのDC、平面、および33方向モード)に従って予測された項の最適な線形結合を与えるために重みを含み得る。たとえば、HEVCは、35個の予測モードを含んでいる。ルックアップテーブルは、予測モードの各々のための予測パラメータ
、dv、およびdhの各々の値(すなわち、各予測モードのための
、dv、およびdhの35個の値)を用いて構築され得る。そのような値は、ビデオをもつビットストリーム中に符号化され得るか、または前もってエンコーダおよびデコーダによって知られる定数値であり得、ファイルまたはビットストリーム中で送信される必要がないことがある。
、dv、およびdhの値は、トレーニングビデオのセットに最良の圧縮を与える予測パラメータの値を発見することによって最適化トレーニングアルゴリズムによって決定され得る。別の例では、(たとえば、ルックアップテーブル中に)予測モードごとに複数のあらかじめ定義された予測パラメータセットがあり、(パラメータ自体でなく)選択される予測パラメータセットが、符号化ファイルまたはビットストリーム中でデコーダに送信される。別の例では、
、dv、およびdhの値は、ビデオエンコーダによってオンザフライで生成され、符号化ファイルまたはビットストリーム中でデコーダに送信され得る。
[0042]別の例では、HEVC予測を使用する代わりに、これらの技法を実行するビデオコーディングデバイスは、33方向予測の代わりに65方向予測を使用するバージョンのようなHEVCの変更バージョンを使用し得る。実際は、任意のタイプのフレーム内予測が使用され得る。
[0043]別の例では、式は、計算を容易にするために選定され得る。たとえば、我々は、以下のタイプの予測子を使用することができる。
ここで、
および
である。
[0044]そのような手法は、HEVC(または他の)予測の線形性を活用し得る。あらかじめ定義されたセットからのフィルタkのインパルス応答としてhを定義すると、我々が、
を有し、ここで、「*」が畳み込みを表す場合、
すなわち、線形的に組み合わされた予測は、線形的に組み合わされた基準から計算され得る。
[0045]式4、6および8は、あらゆるビデオコーディング規格について以下の式4A、6A、および8Aに一般化され得るされ得る。
ここで、
および
である。
そのような手法は、コーディング規格の予測の線形性を活用し得る。あらかじめ定義されたセットからのフィルタkのインパルス応答としてhを定義すると、我々が、
を有し、ここで、「*」が畳み込みを表す場合、
すなわち、線形的に組み合わされた予測は、線形的に組み合わされた基準から計算され得る。
[0046]一例では、予測機能は、入力としてのみ基準ベクトル(たとえば、rおよびs)を使用し得る。この例では、基準がフィルタ処理されていても、フィルタ処理されていなくても基準ベクトルの挙動は変化しない。rとsとが等しい(たとえば、あるフィルタ処理されていない基準rが、別のフィルタ処理された基準sと偶然同じである)場合、フィルタ処理された基準とフィルタ処理されていない基準とに適用される予測関数は等しくなり、たとえば(p(x,y,r)としても記述される)pr[x,y]は、(p(x,y,s)としても記述されるps[x,y]に等しくなる。さらに、ピクセル予測pおよびqは、均等物であり得る(たとえば、同じ入力を仮定すれば同じ出力を生成し得る)。そのような例では、式(1)〜(8)は、ピクセル予測q[x,y]を置き換えるピクセル予測p[x,y]で書き直され得る。
[0047]別の例では、予測(たとえば、関数のセット)は、基準がフィルタ処理された情報に応じて変化し得る。この例では、関数の異なるセットを示し得る(たとえば、pr[x,y]およびqs[x,y])。この場合、rとsとが等しいとしても、pr[x,y]とqs[x,y]とは等しくないことがある。言い換えれば、入力がフィルタ処理されたのかどうかに応じて同じ入力が異なる出力を作成することができる。そのような例では、p[x,y]をq[x,y]と置き換えることができないことがある。
[0048]示した予測式の利点は、パラメータ化式を用いて、トレーニングなどの技法を使用して、異なるタイプのビデオテクスチャに対して最適なパラメータのセット(すなわち、予測精度を最適化するセット)が決定され得ることである。この手法は、次に、いくつかの例では、テクスチャのいくつかの典型的なタイプについて予測子パラメータのいくつかのセットを計算し、エンコーダが各セットからの予測子をテストし、最良の圧縮をもたらすセットをサイド情報として符号化する圧縮方式を有することによって拡張され得る。
[0049]図5は、PDPCを含む、本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システム10を示すブロック図である。図5に示すように、復号システム10は、宛先デバイス14によって後で復号されるべき符号化ビデオデータを提供するソースデバイス12を含む。具体的には、ソースデバイス12は、コンピュータ可読媒体16を介して宛先デバイス14にビデオデータを提供する。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス12および宛先デバイス14は、ワイヤレス通信のために装備され得る。
[0050]宛先デバイス14は、コンピュータ可読媒体16を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体16は、ソースデバイス12から宛先デバイス14に符号化ビデオデータを移動させることが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体16は、ソースデバイス12が、符号化ビデオデータを宛先デバイス14にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信標準規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路などの、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成することができる。通信媒体は、ソースデバイス12から宛先デバイス14への通信を容易にするのに有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含むことができる。
[0051]いくつかの例では、符号化されたデータは、出力インターフェース22からストレージデバイスに出力され得る。同様に、符号化されたデータは、入力インターフェースによってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、Blu−ray(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイスは、ソースデバイス12によって生成された符号化されたビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介してストレージデバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス14に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブがある。宛先デバイス14は、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、または、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに適した、両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
[0052]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH:dynamic adaptive streaming over HTTP)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の応用など、様々なマルチメディア応用のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、復号システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
[0053]図5の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを含む。宛先デバイス14は、入力インターフェース28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。本開示によれば、ソースデバイス12のビデオエンコーダ20は、位置依存の予測組合せを使用する改善されたビデオイントラ予測に関する技法など、本開示で説明する技法を適用するように構成され得る。本開示によれば、宛先デバイス14のビデオデコーダ30は、位置依存の予測組合せを使用する改善されたビデオイントラ予測に関係する技法など、本開示で説明する技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは他の構成要素または構成を含み得る。たとえば、ソースデバイス12は、外部カメラなどの外部ビデオソース18からビデオデータを受信し得る。同様に、宛先デバイス14は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
[0054]上述のように、ソースデバイス12は出力インターフェース22を含み、宛先デバイス14は入力インターフェース28を含む。いくつかの例では、出力インターフェース22は送信機を表し、入力インターフェース28は受信機を表す。他の例では、出力インターフェース22および入力インターフェース28は、トランシーバ(すなわち、ワイヤレスにデータ信号を送信することと受信することの両方が可能なインターフェース)の例を表す。トランシーバは、ワイヤレス信号中でビデオデータを送信および受信するように構成され得る。たとえば、出力インターフェース22は、トランシーバとして実装されたとき、符号化ビデオデータを含むデータ信号(たとえば、コンピュータ可読媒体16)を送り得、入力インターフェース28は、トランシーバとして実装されたとき、符号化ビデオデータを含むデータ信号(たとえば、コンピュータ可読媒体16)を受信し得る。上記で説明したように、ビデオエンコーダ20は符号化ビデオデータを出力インターフェース22に与え得、入力インターフェース28は符号化ビデオデータをビデオデコーダ30に与え得る。
[0055]図5の図示の復号システム10は一例にすぎない。本開示で説明する技法は、任意のデジタルビデオ符号化および/または復号デバイスによって実行され得る。概して、本開示の技法はビデオ符号化デバイスによって実行されるが、本技法はまた、一般に「コーデック」と呼ばれるビデオエンコーダ/デコーダによって実行され得る。さらに、本開示の技法はまた、ビデオプリプロセッサによって実行され得る。ソースデバイス12および宛先デバイス14は、ソースデバイス12が宛先デバイス14に送信するためのコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、デバイス12、14は、デバイス12、14の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、復号システム10は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ビデオデバイス12、14の間の一方向または双方向のビデオ送信をサポートし得る。
[0056]ソースデバイス12のビデオソース18は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース18は、ソースビデオとしてコンピュータグラフィックスベースのデータ、または、ライブビデオ、アーカイブされたビデオ、およびコンピュータ生成ビデオの組合せを生成し得る。場合によっては、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、上述のように、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。各場合において、キャプチャされたビデオ、前にキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダ20によって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェース22によってコンピュータ可読媒体16上に出力され得る。
[0057]コンピュータ可読媒体16は、ワイヤレスブロードキャストもしくはワイヤードネットワーク送信などの一時媒体、または、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu−rayディスク、もしくは他のコンピュータ可読媒体などの記憶媒体(すなわち、非一時的記憶媒体)を含み得る。いくつかの例では、ネットワークサーバ(図示せず)は、たとえば、ネットワーク送信を介して、ソースデバイス12から符号化ビデオデータを受信し、その符号化ビデオデータを宛先デバイス14に与え得る。同様に、ディスクスタンピング設備などの媒体製造設備のコンピューティングデバイスは、ソースデバイス12から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを製造し得る。したがって、コンピュータ可読媒体16は、様々な例において、様々な形態の1つまたは複数のコンピュータ可読媒体を含むことが理解され得る。
[0058]宛先デバイス14の入力インターフェース28はコンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ビデオエンコーダ20によって定義され、またビデオデコーダ30によって使用される、ブロックおよび他のコード化ユニット、たとえば、GOPの特性および/または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス32は、復号ビデオデータをユーザに対して表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0059]ビデオエンコーダ20とビデオデコーダ30とは、上記で説明した規格などのビデオコーディング規格に従って動作し、いくつかの例では、ITU−T H.265とも呼ばれる高効率ビデオコーディング(HEVC)規格またはHEVC規格の拡張に従って、あるいは次世代のビデオコーディング規格に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例としては、MPEG−2およびITU−T H.263がある。図5には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は、それぞれ、オーディオエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、MUX−DEMUXユニットはITU H.223マルチプレクサプロトコルなどのプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0060]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法がソフトウェアで部分的に実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアで命令を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は、1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
[0061]概して、ビデオフレームまたはピクチャは、ルーマサンプルとクロマサンプルの両方を含み得る最大コーディングユニット(LCU)としても知られる、ツリーブロックのシーケンスに分割され得る。ビットストリーム内のシンタックスデータが、ピクセルの数に関して最大コーディングユニットであるLCUのサイズを定義し得る。スライスは、コーディング順序で、いくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、1つまたは複数のスライスに区分され得る。各ツリーブロックは、4分木データ構造に従ってコーディングユニット(CU)に分割され得る。概して、4分木データ構造はCUごとに1つのノードを含み、ルートノードはツリーブロックに対応する。CUが4つのサブCUに分割された場合、CUに対応するノードは4つのリーフノードを含み、リーフノードの各々はサブCUのうちの1つに対応する。
[0062]4分木データ構造の各ノードは、対応するCUのシンタックスデータを与え得る。たとえば、4分木内のノードは、そのノードに対応するCUがサブCUに分割されるか否かを示すスプリットフラグを含み得る。CUのシンタックス要素は、再帰的に定義され得、CUがサブCUに分割されるか否かに依存し得る。CUがさらに分割されない場合、そのCUはリーフCUと呼ばれる。本開示では、元のリーフCUの明示的分割が存在しない場合でも、リーフCUの4つのサブCUをリーフCUとも呼ぶ。たとえば、16×16サイズのCUがさらに分割されない場合、その16×16CUが決して分割されなくても、4つの8×8サブCUはリーフCUとも呼ばれる。
[0063]CUは、CUがサイズの特異性を有しないことを別にすれば、H.264規格のマクロブロックと同様の目的を有する。たとえば、ツリーブロックは、(サブCUとも呼ばれる)4つの子ノードに分割され得、各子ノードは、今度は親ノードとなり、別の4つの子ノードに分割され得る。4分木のリーフノードと呼ばれる、最終の、分割されていない子ノードは、リーフCUとも呼ばれるコーディングノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大CU深度と呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、また、コーディングノードの最小サイズを定義し得る。それに応じて、ビットストリームはまた、最小コーディングユニット(SCU)を定義し得る。本開示では、HEVCのコンテキストにおけるCU、予測ユニット(PU)、または変換ユニット(TU)、あるいは他の規格のコンテキストにおける同様のデータ構造(たとえば、H.264/AVCにおけるマクロブロックおよびそれのサブブロック)のいずれかを指すために「ブロック」という用語を使用する。
[0064]CUは、コーディングノードと、コーディングノードに関連する予測ユニット(PU)および変換ユニット(TU)とを含む。CUのサイズは、コーディングノードのサイズに対応し、概して形状が正方形である。CUのサイズは、8×8ピクセルから最大サイズ、たとえば、64×64以上のピクセルをもつツリーブロックのサイズまでに及び得る。各CUは、1つまたは複数のPUと1つまたは複数のTUとを含み得る。CUに関連付けられたシンタックスデータは、たとえば、1つまたは複数のPUへのCUの区分を記述し得る。区分モードは、CUがスキップであるのか、または直接モード符号化されるのか、イントラ予測モード符号化されるのか、またはインター予測モード符号化されるのかの間で異なり得る。PUは、形状が非正方形になるように区分され得る。CUに関連するシンタックスデータはまた、たとえば、4分木に従うCUの1つまたは複数のTUへの区分を記述し得る。TUは、形状が正方形または非正方形(たとえば、矩形)であり得る。
[0065]HEVC規格は、CUごとに異なり得る、TUに従う変換を可能にする。TUは、一般に、区分されたLCUのために定義された所与のCU内のPUのサイズに基づいてサイズ決定されるが、これは常にそうであるとは限らない。TUは、一般に、PUと同じサイズであるかまたはPUよりも小さい。いくつかの例では、CUに対応する残差サンプルは、「残差4分木」(RQT:residual quad tree)として知られる4分木構造を使用してより小さいユニットに再分割され得る。RQTのリーフノードは、変換ユニット(TU)と呼ばれることがある。TUに関連するピクセル差分値は、変換係数を生成するために変換され得、その変換係数は量子化され得る。
[0066]リーフCUは1つまたは複数のPUを含み得る。概して、PUは、対応するCUの全部または一部分に対応する空間エリアを表し、そのPUの参照サンプルを取り出しおよび/または生成するためのデータを含み得る。その上、PUは、予測に関係するデータを含む。たとえば、PUがイントラモード符号化されるとき、PUのためのデータは、PUに対応するTUのためのイントラ予測モードを記述するデータを含み得る残差4分木(RQT)中に含まれ得る。RQTは変換ツリーと呼ばれることもある。いくつかの例では、イントラ予測モードは、RQTの代わりに、リーフCUシンタックス中でシグナリングされ得る。別の例として、PUがインターモード符号化されるとき、PUは、PUのための、1つまたは複数の動きベクトルなど、動き情報を定義するデータを含み得る。PUのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルについての解像度(たとえば、1/4ピクセル精度または1/8ピクセル精度)、動きベクトルが指す参照ピクチャ、および/または動きベクトルのための参照ピクチャリスト(たとえば、リスト0、リスト1、またはリストC)を記述し得る。
[0067]1つまたは複数のPUを有するリーフCUはまた、1つまたは複数のTUを含み得る。変換ユニットは、上で論じたように、RQT(TU4分木構造とも称する)を使用して指定され得る。たとえば、分割フラグは、リーフCUが4つの変換ユニットに分割されるのかどうかを示し得る。次いで、各変換ユニットは、さらなるサブTUにさらに分割され得る。TUがさらに分割されないとき、それはリーフTUと呼ばれることがある。概して、イントラコーディングの場合、リーフCUに属するすべてのリーフTUは同じイントラ予測モードを共有する。すなわち、概して、リーフCUのすべてのTUの予測値を計算するために同じイントラ予測モードが適用される。イントラコーディングでは、ビデオエンコーダは、イントラ予測モードを使用して各リーフTUの残差値を、TUに対応するCUの一部と元のブロックとの間の差分として計算し得る。TUは、必ずしもPUのサイズに制限されるとは限らない。したがって、TUは、PUよりも大きいことも小さいこともある。イントラコーディングでは、PUは、同じCUのための対応するリーフTUとコロケートされ得る。いくつかの例では、リーフTUの最大サイズは、対応するリーフCUのサイズに対応し得る。
[0068]その上、リーフCUのTUはまた、上述のように残差4分木(RQT)または変換ツリーと呼ばれる、それぞれの4分木データ構造に関連付けられ得る。すなわち、リーフCUは、そのリーフCUがTUにどのように区分されるかを示す4分木を含み得る。TU4分木のルートノードは概してリーフCUに対応し、CU4分木のルートノードは概してツリーブロック(またはLCU)に対応する。分割されないRQTのTUはリーフTUと呼ばれる。概して、本開示では、別段に明記されていない限り、リーフCUおよびリーフTUに言及するためにそれぞれCUおよびTUという用語を使用する。
[0069]ビデオシーケンスは、通常、一連のビデオフレームまたはピクチャを含む。ピクチャのグループ(GOP)は、概して、ビデオピクチャのうちの一連の1つまたは複数を備える。GOPは、GOP中に含まれるいくつかのピクチャを記述するシンタックスデータを、GOPのヘッダ中、ピクチャのうちの1つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は、通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、CU内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し、指定のコーディング規格に応じてサイズが異なり得る。
[0070]一例として、予測は様々なサイズのPUについて実行され得る。特定のCUのサイズが2N×2Nであると仮定すると、イントラ予測が、2N×2NまたはN×NのPUサイズに対して実行され得、インター予測が、2N×2N、2N×N、N×2N、またはN×Nの対称的なPUサイズに対して実行され得る。インター予測のための非対称区分は、2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズについても実行され得る。非対称区分では、CUの一方向は区分されないが、他の方向は25%と75%とに区分される。25%の区分に対応するCUの部分は、「n」とその後ろに付く「Up」、「Down」、「Left」、または「Right」という表示によって示される。したがって、たとえば、「2N×nU」は、上部で2N×0.5N PU、および下部で2N×1.5N PUに水平に区分される2N×2N CUを指す。
[0071]本開示の技法によれば、ビデオエンコーダ20とビデオデコーダ30とは、フィルタ処理された基準値のセットとフィルタ処理されていない基準値のセットとの線形結合を使用してビデオデータのブロックをイントラ予測するように構成され得、ここで、基準値は、以前に復号された隣接ピクセルに対応する。すなわち、ビデオエンコーダ20とビデオデコーダ30とは、フィルタ処理された基準値のセットを形成するために隣接ピクセルに1つまたは複数のフィルタを適用し、フィルタ処理されていない基準値として隣接ピクセル自体を使用し得る。さらに、線形結合は、フィルタ処理された基準値とフィルタ処理されていない基準値とに重みおよび/または他の予測パラメータのそれぞれのセットを適用することを含み得る。たとえば、ビデオエンコーダ20とビデオデコーダ30とは、上記で説明した式(1)、(2)および(4)のいずれかを使用して予測ブロックを計算し得る。
[0072]より詳細には、以下でより詳細に説明するように、ビデオエンコーダ20は、概して、これらの技法を使用してビデオデータを予測し、次いで、符号化し、また、イントラ予測中に使用されるべき予測パラメータを決定し、次いで、シグナリングし得る。ビデオデコーダ30は、同様に、そのような予測パラメータがビットストリーム中に符号化されているときにビットストリームから予測パラメータを取り出し、次いで、ビデオデータを予測し、復号し、再構成するためにこれらの技法を適用する。
[0073]本開示では、「N×N」および「N by N」は、垂直方向の寸法および水平方向の寸法に関するビデオブロックのピクセル寸法、たとえば、16x16ピクセルまたは16×16(16 by 16)ピクセルを指すために互換的に使用され得る。概して、16×16ブロックは、垂直方向に16ピクセル(y=16)、および水平方向に16ピクセル(x=16)を有する。同様に、N×Nブロックは、概して、垂直方向にNピクセルを有し、水平方向にNピクセルを有し、ここで、Nは非負整数値を表す。ブロック中のピクセルは行および列に配列され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはN×Mピクセルを備え得、ここで、Mは必ずしもNに等しいとは限らない。
[0074]CUのPUを使用したイントラ予測コーディングまたはインター予測コーディングに続いて、ビデオエンコーダ20は、CUのTUのための残差データを計算し得る。PUは、(ピクセル領域とも呼ばれる)空間領域において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備え得、TUは、変換、たとえば、残差ビデオデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルとPUに対応する予測値との間のピクセル差に対応し得る。ビデオエンコーダ20は、CUのための残差データを表す量子化された変換係数を含むようにTUを形成し得る。すなわち、ビデオエンコーダ20は、(残差ブロックの形態の)残差データを計算し、変換係数のブロックを生成するために残差ブロックを変換し、次いで、被量子化変換係数を形成するために変換係数を量子化し得る。ビデオエンコーダ20は、量子化された変換係数を含むTU、ならびに他のシンタックス情報(たとえば、TUのための分割情報)を形成し得る。
[0075]上述のように、変換係数を生成するための任意の変換の後に、ビデオエンコーダ20は、変換係数の量子化を実行し得る。量子化は、一般に、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、量子化中にnビット値がmビット値に切り捨てられ得、ただし、nはmよりも大きい。
[0076]量子化の後に、ビデオエンコーダ20は、変換係数を走査して、量子化変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、アレイの前部により高いエネルギー(したがって、より低い周波数)係数を配置し、アレイの後部により低いエネルギー(したがって、より高い周波数)係数を配置するように設計され得る。いくつかの例では、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化された変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ20は適応型走査を実行し得る。量子化された変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ20は、たとえば、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディングまたは別のエントロピー符号化方法に従って、1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30によって使用するための、符号化ビデオデータに関連付けられたシンタックス要素をエントロピー符号化し得る。
[0077]CABACを実行するために、ビデオエンコーダ20は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が非ゼロであるか否かに関係し得る。CAVLCを実行するために、ビデオエンコーダ20は、送信されるべきシンボルのための可変長コードを選択し得る。VLC中のコードワードは、比較的より短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、VLCの使用は、たとえば、送信されるべき各シンボルのための等長コードワードを使用することに勝るビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
[0078]概して、ビデオデコーダ30は、符号化データを復号するためにビデオエンコーダ20によって実行されるものと、相反するが、実質的に同様のプロセスを実行する。たとえば、ビデオデコーダ30は、残差ブロックを再生するために、受信されたTUの係数を逆量子化および逆変換する。ビデオデコーダ30は、予測されたブロックを形成するために、シグナリングされた予測モード(イントラ予測またはインター予測)を使用する。次いで、ビデオデコーダ30は、元のブロックを再生するために予測されたブロックと残差ブロックとを(ピクセルごとに)組み合わせる。ブロック境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実行することなどの追加の処理が実行され得る。さらに、ビデオデコーダ30は、ビデオエンコーダ20のCABAC符号化プロセスに相反するが、それと実質的に同様の様式でCABACを使用してシンタックス要素を復号し得る。
[0079]ビデオエンコーダ20はさらに、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、およびGOPベースのシンタックスデータなどのシンタックスデータを、たとえば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、またはGOPヘッダ中でビデオデコーダ30に送り得る。GOPシンタックスデータは、それぞれのGOP中のいくつかのフレームを記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用された符号化/予測モードを示し得る。
[0080]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、適用可能なとき、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダまたはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれもが合成ビデオエンコーダ/デコーダ(コーデック)の一部として組み込まれ得る。ビデオエンコーダ20および/またはビデオデコーダ30を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備え得る。
[0081]図6は、位置依存の予測組合せを使用する改善されたビデオイントラ予測に関係する技法など、本開示で説明する技法を実装し得るビデオエンコーダ20の一例を示すブロック図である。本開示によれば、ビデオエンコーダ20は、位置依存の予測組合せを使用する改善されたビデオイントラ予測に関係する技法など、本開示で説明する技法を適用するように構成され得る。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオの時間冗長性を低減または除去するために時間的予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースコーディングモードのいずれかを指すことがある。単方向予測(Pモード)または双予測(Bモード)などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指し得る。
[0082]図6に示すように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図2の例では、ビデオエンコーダ20は、モード選択ユニット40と、(復号ピクチャバッファ(DPB)と呼ばれることもある)参照ピクチャメモリ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。モード選択ユニット40は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測ユニット46と、分割ユニット48とを含む。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換ユニット60と、加算器62とを含む。ローパスフィルタ66は、基準ピクチャメモリ64からピクチャ情報を受信し得、モード選択ユニット40(およびイントラ予測ユニット46)が使用するための基準サンプルを前フィルタ処理することができる。デブロッキングフィルタ(図6に図示せず)も、再構成されたビデオからブロッキネスアーティファクトを除去するために、ブロック境界をフィルタ処理するために含まれ得る。所望される場合、デブロッキングフィルタは、通常、加算器62の出力をフィルタ処理することになる。追加のフィルタ(ループ内またはループ後)もデブロッキングフィルタおよびローパスフィルタ66に加えて使用され得る。
[0083]符号化プロセス中に、ビデオエンコーダ20は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット42および動き補償ユニット44は、時間的予測を行うために、1つまたは複数の参照フレーム中の1つまたは複数のブロックに対する受信されたビデオブロックのインター予測符号化を実行する。代替的に、イントラ予測ユニット246は、空間的予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の1つまたは複数の隣接ブロックに対する受信されたビデオブロックのイントラ予測符号化を実行し得る。ビデオエンコーダ20は、たとえば、ビデオデータのブロックごとに適切なコーディングモードを選択するために複数のコーディングパスを実行し得る。
[0084]ローパスフィルタ66は、すべてのブロックに適用されるか、または、いくつかの例では、あるサイズを上回るブロック(たとえば、HEVCでは4×4よりも大きいブロック)に適用され得る。いくつかの例では、ローパスフィルタ66は、基準ピクセルだけに適用され得る。3タップのローパスフィルタがビデオデータのブロックに適用され得る。しかしながら、説明する技法に基づいて任意の数のタイプのローパスフィルタが使用され得ることを、当業者は認識されよう。
[0085]本開示の例では、強いフィルタが、基準値一部のブロックまたは全部のブロックに適用され得、予測式において使用するためにフィルタ処理されていない基準ピクセルおよび/またはローパスフィルタ処理された基準ピクセルと組み合わされ得る。そのようなフィルタの使用に関するさらなる詳細とイントラ予測ユニット46によって実行される得られたイントラ予測について、以下で説明する。
[0086]その上、区分ユニット48は、前のコーディングパスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。たとえば、区分ユニット48は、最初にフレームまたはスライスをLCUに区分し、レートひずみ分析(たとえば、レートひずみ最適化)に基づいて、LCUの各々をサブCUに区分し得る。モード選択ユニット40は、さらに、LCUのサブCUへの区分を示す4分木データ構造を生成し得る。4分木のリーフノードCUは、1つまたは複数のPUと1つまたは複数のTUとを含み得る。
[0087]モード選択ユニット40は、たとえば、誤差結果に基づいて予測モード、すなわち、イントラまたはインターのうちの1つを選択し得、残差データを生成するために、得られた予測されたブロックを加算器50に与え、参照フレームとして使用するための符号化ブロックを再構成するために、得られた予測されたブロックを加算器62に与える。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット56に与える。
[0088]動き推定ユニット42および動き補償ユニット44は、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット42によって実行される動き推定は、動きベクトルを生成する処理であり、ビデオブロックに対する動きを推定する。動きベクトルは、たとえば、現在のフレーム内でコーディングされている現在のブロック(または、他のコード化ユニット)に対する、参照フレーム内の予測ブロック(または、他のコード化ユニット)に対する、現在のビデオフレーム内またはピクチャ内のビデオブロックのPUの変位を示し得る。予測ブロックは、絶対差の合計(SAD:sum of absolute difference)、二乗差の合計(SSD:sum of square difference)、または他の差メトリックによって決定され得るピクセル差に関する、コーディングされるブロックとよく一致することがわかったブロックである。いくつかの例では、ビデオエンコーダ20は、参照ピクチャメモリ64に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ20は、参照ピクチャの4分の1ピクセル位置、8分の1ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット42は、フルピクセル位置と分数ピクセル位置とに対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
[0089]動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス内のビデオブロックのPUについての動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択され得、それらの各々が、参照ピクチャメモリ64に記憶された1つまたは複数の参照ピクチャを識別する。動き推定ユニット42は、エントロピー符号化ユニット56と動き補償ユニット44とに計算された動きベクトルを送る。
[0090]動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することに関与し得る。この場合も、いくつかの例では、動き推定ユニット42と動き補償ユニット44とは機能的に統合され得る。現在のビデオブロックのPUのための動きベクトルを受信すると、動き補償ユニット44は、参照ピクチャリストのうちの1つにおいて動きベクトルが指す予測ブロックの位置を特定し得る。加算器50は、以下で説明するように、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。概して、動き推定ユニット42はルーマ成分に対して動き推定を実行し、動き補償ユニット44は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
[0091]イントラ予測ユニット46は、上記で説明したように、動き推定ユニット42と動き補償ユニット44とによって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測ユニット46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット46は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測ユニット46(または、いくつかの例では、モード選択ユニット40)は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
[0092]イントラ予測ユニット46は、位置依存の予測協調を使用して選択された予測子モードとブロックサイズとに応じて隣接「基準」ピクセルのフィルタ処理されていないセットまたはフィルタ処理されたセットから予測を実行し得る。フィルタ処理された基準ピクセルは、ローパスフィルタ66を介してフィルタ処理され得る。イントラ予測ユニット46は、ピクセルの組み合わされた予測値を計算するためにいくつかの例示的な式(1)〜(8)のうちの1つまたは複数を使用し得る。
[0093]一例では、イントラ予測ユニット46は、それぞれ、フィルタ処理されていない基準rおよびフィルタ処理された基準sのみを使用して計算されるピクセル予測の任意の2つのセット、pr[x,y]およびqs[x,y]が与えられたら、上記で定義した式(1)を介してv[x,y]によって示されるピクセルの組み合わされた予測値を計算し得る。
[0094]別の例では、イントラ予測ユニット46は、より小さいパラメータセットをもつ式を利用し得る。そのような例では、c[x,y]は、パラメータのはるかに小さいセットに、それらのパラメータからすべての組合せ値を計算するための式を加えたものよって定義され得る。そのような例では、上記で定義した式(2)がイントラ予測ユニット46によって使用され得る。
[0095]別の例では、式は、計算を容易にするために選定され得る。たとえば、イントラ予測ユニット46は、上記の式(4)において定義されている予測子を使用し得る。そのような手法は、上記の式(7)および(8)に示すHEVC(または他の)予測の線形性を活用し得る。
[0096]イントラ予測ユニット46は、(たとえば、最良のレートひずみ特性を有する)予測に最も適合するイントラ予測ユニット46によって使用される予測式に対応する予測パラメータ(たとえば、c[x,y]、
、dv、および/またはdh)を選択し得る。
[0097]たとえば、モード選択ユニット40は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードおよび予測パラメータを選択し得る。レートひずみ分析を使用して、モード選択ユニット40は、概して、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ(または誤差)の量、ならびに符号化されたブロックを生成するために使用されるビットレート(すなわち、ビット数)を決定する。モード選択ユニット40は、どのイントラ予測モードがブロックに関する最良のレートひずみの値を示すかを決定するために、様々な符号化ブロックに関するひずみおよびレートから比を計算し得る。たとえば、イントラ予測ユニット46は、フィルタ処理された基準値とフィルタ処理されていない基準値とを組み合わせるパラメータ化式のセットの各々をテストし得る。イントラ予測ユニット46は、どのモードおよびパラメータがブロックについて最良のレートひずみ値を示すのかを決定するためにパラメータのセットの各々(または複数)をテストし得る。
[0098]一例では、モード選択ユニット40は、予測モードの各々のための予測パラメータを含んでいる表を利用し得る。モード選択ユニット40は、各位置依存の予測組合せ(PDPC)方法についてならびにPDPCを使用しない場合のレートひずみ結果を計算し得る。モード選択ユニット40は、次いで、最良のレートひずみ値を示す予測モードと予測パラメータ(または予測パラメータの欠如)とを選択し得る。加速技法が使用されない一例では、モード選択ユニット40によって実行されるテストの数は、(予測子モードの数)×(PDPCパラメータセットの数+1)に等しくなることになる。
[0099]ブロックのためのイントラ予測モードを選択した後、モード選択ユニット40は、ブロックのための選択されたイントラ予測モードとPDPC予測パラメータとを示す情報をエントロピー符号化ユニット56に与え得る。エントロピー符号化ユニット56は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、予測パラメータ(予測パラメータ値または予測パラメータのあらかじめ定義されたセットに対応する単一の値のいずれか)、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを送信ビットストリーム中に含み得る。ビデオエンコーダ20は、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、ブロックヘッダ、または他のそのようなデータのうちの1つまたは複数中に予測パラメータを含め得る。
[0100]ビデオエンコーダ20は、コーディングされている元のビデオブロックから、モード選択ユニット40からの予測データを減算することによって、残差ビデオブロックを形成する。加算器50は、この減算演算を実行する1つの構成要素または複数の構成要素を表す。変換処理ユニット52は、離散コサイン変換(DCT)または概念的に同様の変換などの変換を残差ブロックに適用し、変換係数値を備えるビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、離散サイン変換(DST)、または他のタイプの変換が、DCTの代わりに使用され得る。いずれの場合も、変換処理ユニット52は、変換を残差ブロックに適用し、変換係数のブロックを生成する。変換は、残差情報をピクセル領域から周波数領域などの変換領域に変換し得る。変換処理ユニット52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連付けられたビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。
[0101]量子化の後に、エントロピー符号化ユニット56は、量子化変換係数を走査し、エントロピー符号化する。たとえば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディングまたは別のエントロピーコーディング技法を実行し得る。コンテキストベースエントロピーコーディングの場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット56によるエントロピーコーディングに続いて、符号化ビットストリームは、別のデバイス(たとえば、ビデオデコーダ30)に送信されるか、あるいは後で送信するかまたは取り出すためにアーカイブされ得る。
[0102]逆量子化ユニット58および逆変換ユニット60は、ピクセル領域において残差ブロックを再構成するために、それぞれ逆量子化および逆変換を適用する。特に、加算器62は、参照ピクチャメモリ64に記憶するための再構成されたビデオブロックを生成するために、動き補償ユニット44またはイントラ予測ユニット46によって前に生成された動き補償予測ブロックに、再構成された残差ブロックを加算する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために動き推定ユニット42および動き補償ユニット44によって参照ブロックとして使用され得る。
[0103]ビデオエンコーダ20は、概して、コード化ビデオシーケンス中の各ピクチャの各ブロックを符号化するために、上記で説明したプロセスを使用する。さらに、いくつかの例では、ビデオエンコーダ20は、ピクチャの各々を割り当てるべき時間レイヤを決定し得る。さらに、ビデオエンコーダ20は、他のレイヤ、たとえば、他のビュー、スケーラブルビデオコーディングレイヤなどのピクチャを符号化するように構成され得る。いずれの場合も、ビデオエンコーダ20は、(たとえば、様々なビデオ次元の)1つまたは複数のレイヤについて、各ピクチャが属するレイヤを示すデータをさらに符号化し得る。
[0104]図7は、本開示で説明する技法を実装し得るビデオデコーダ30の一例を示すブロック図である。本開示によれば、ビデオデコーダ30は、位置依存の予測組合せを使用する改善されたビデオイントラ予測に関する技法など、本開示で説明する技法を適用するように構成され得る。図7の例では、ビデオデコーダ30は、エントロピー復号ユニット70と、動き補償ユニット72と、イントラ予測ユニット74と、逆量子化ユニット76と、逆変換ユニット78と、参照ピクチャメモリ82と、ローパスフィルタ84と、加算器80とを含む。ビデオデコーダ30は、いくつかの例では、ビデオエンコーダ20(図6)に関して説明した符号化パスに概して相反する復号パスを実行し得る。動き補償ユニット72は、エントロピー復号ユニット70(直接とローパスフィルタ84を介してとの両方)から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モードインジケータと予測パラメータとに基づいて予測データを生成し得る。
[0105]復号プロセス中に、ビデオデコーダ30は、符号化されたビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化されたビデオビットストリームをビデオエンコーダ20から受け取る。ビデオデコーダ30のエントロピー復号ユニット70は、量子化された係数と、動きベクトルまたはイントラ予測モードインジケータと、PDPC予測パラメータと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット70は、動きベクトルと他のシンタックス要素とを動き補償ユニット72に転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
[0106]ビデオスライスが、イントラコード化(I)スライスとしてコーディングされるとき、イントラ予測ユニット274は、現在のフレームまたはピクチャの以前に復号されたブロックから、シグナリングされたイントラ予測モード、予測パラメータおよびデータに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。現在のフレームまたはピクチャの復号ブロックの一部または全部は、イントラ予測ユニット74が使用するためにローパスフィルタ84を介してフィルタ処理される。
[0107]イントラ予測ユニット74は、位置依存の予測協調を使用して選択された予測子モードとブロックサイズとに応じて隣接「基準」ピクセルのフィルタ処理されていないセットまたはフィルタ処理されたセットから予測を実行し得る。フィルタ処理された基準ピクセルは、ローパスフィルタ84を介してフィルタ処理され得る。イントラ予測ユニット74は、ピクセルの組み合わされた予測値を計算するために上記で定義したいくつかの例示的な式(1)〜(8)のうちの1つまたは複数を使用し得る。
[0108]一例では、イントラ予測ユニット74は、それぞれ、フィルタ処理されていない基準rおよびフィルタ処理された基準sのみを使用して計算されるピクセル予測の任意の2つのセット、pr[x,y]およびqs[x,y]が与えられたら、上記で定義した式(1)を介してv[x,y]によって示されるピクセルの組み合わされた予測値を計算し得る。
[0109]別の例では、イントラ予測ユニット74は、より小さいパラメータセットをもつ式を利用し得る。そのような例では、c[x,y]は、パラメータのはるかに小さいセットに、それらのパラメータからすべての組合せ値を計算するための式を加えたものよって定義され得る。そのような例では、上記で定義した式(2)がイントラ予測ユニット74によって使用され得る。
[0110]別の例では、式は、計算を容易にするために選定され得る。たとえば、イントラ予測ユニット74は、上記の式(4)において定義されている予測子を使用し得る。そのような手法は、上記の式(7)および(8)に示すHEVC(または他の)予測の線形性を活用し得る。
[0111]イントラ予測ユニット74は、予測ブロックを計算するためにイントラ予測ユニット74によって使用される予測式と対応する復号予測パラメータ(たとえば、c[x,y]、
、dv、および/またはdh)を使用し得る。
[0112]ビデオフレームが、インターコード化(すなわち、B、PまたはGPB)スライスとしてコーディングされるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストの1つの中の参照ピクチャのうちの1つから生成され得る。ビデオデコーダ30は、参照ピクチャメモリ82に記憶された参照ピクチャに基づくデフォルトの構成技法を使用して参照フレームリストのリスト0およびリスト1を構成し得る。動き補償ユニット72は、動きベクトルと他のシンタックス要素とをパースすることによって現在のビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックの予測ブロックを生成する。たとえば、動き補償ユニット72は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえば、イントラまたはインター予測)と、インター予測スライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)と、スライスのための参照ピクチャリストのうちの1つまたは複数のための構築情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のうちのいくつかを使用する。
[0113]動き補償ユニット72はまた、補間フィルタに基づいて、補間を実行し得る。動き補償ユニット72は、参照ブロックのサブ整数ピクセルのための補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用された補間フィルタを決定し、予測ブロックを生成するために補間フィルタを使用し得る。
[0114]逆量子化ユニット76は、ビットストリーム中で与えられ、エントロピー復号ユニット70によって復号された、量子化変換係数を逆量子化(inverse quantize)、すなわち、逆量子化(de-quantize)する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオデコーダ30によって計算される量子化パラメータQPYの使用を含み得る。
[0115]逆変換ユニット78は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆DCT、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
[0116]動き補償ユニット72またはイントラ予測ユニット74が、動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオブロックについての予測ブロックを生成した後、ビデオデコーダ30は、動き補償ユニット72またはイントラ予測ユニット74によって生成された対応する予測ブロックを逆変換ユニット78からの残差ブロックに加算することによって、復号ビデオブロックを形成する。加算器80は、この加算演算を実行する1つまたは複数の構成要素を表す。望まれる場合に、デブロッキングフィルタも、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタ処理するために適用され得る。他のループフィルタ(コーディングループ内またはコーディングループの後のいずれであれ)も、ピクセル推移を平滑化し、または他の形でビデオ品質を改善するために、使用され得る。所与のフレームまたはピクチャの復号ビデオブロックは、次いで、参照ピクチャメモリ82に記憶され、この参照ピクチャメモリ82は後続の動き補償のために使用される参照ピクチャを記憶する。参照ピクチャメモリ82はまた、復号ビデオを、図5のディスプレイデバイス32などのディスプレイデバイス上に後で提示するために記憶する。
[0117]ビデオデコーダ30は、概して、コード化ビデオシーケンス中の各ピクチャの各ブロックを復号するために、上記で説明したプロセスを使用する。さらに、いくつかの例では、ビデオデコーダ30は、ピクチャが割り当てられる時間レイヤを示すデータを復号し得る。さらに、ビデオデコーダ30は、他のレイヤ、たとえば、他のビュー、スケーラブルビデオコーディングレイヤなどのピクチャを復号するように構成され得る。いずれの場合も、ビデオデコーダ30は、(たとえば、様々なビデオ次元の)1つまたは複数のレイヤについて、各ピクチャが属するレイヤを示すデータをさらに復号し得る。
[0118]図8は、本開示の技法による、例示的な方法を示すフローチャートである。本開示の一例では、ビデオエンコーダ20中のイントラ予測ユニット46は、ラスタ走査順序で現在のピクチャのブロックを符号化するように構成され得る(100)。ビデオエンコーダ20は、現在のピクチャの現在のブロックをイントラ予測することを決定するようにさらに構成され得る(102)。ビデオエンコーダ20は、現在のブロックの近隣にある復号ブロックからフィルタ処理された基準値を形成するようにさらに構成され得る(104)。ローパスフィルタ66は、上記の基準値をフィルタ処理するように構成され得る。ビデオエンコーダ20は、現在のブロックをイントラ予測するための予測パラメータを決定するようにさらに構成され得る(106)。予測パラメータを決定することは、最適であるパラメータセットを決定するために様々なパラメータを通してロッピングすることを含み得る。追加の例は、すべての予測パラメータのサブセットを選択することと、最適であるパラメータセットを選択するためにサブセットの各パラメータ組合せを検査することとを含む。最適なパラメータセットの選択は、レートひずみ分析に基づき得る。
[0119]ビデオエンコーダ20は、予測ブロックを形成するために予測パラメータを使用したフィルタ処理された基準値とフィルタ処理されていない基準値とを使用して現在のブロックをイントラ予測するようにさらに構成され得る(108)。一例では、ビデオエンコーダ20は、重みの第1のセットを乗算したフィルタ処理された基準アレイ中の複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算したフィルタ処理されていない基準アレイ中の複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいてピクセルのセットに関連する予測値のセットを計算することによって、予測ブロックを生成するように構成され得る。一例では、予測値のセットを計算することは、異なるパラメータ値を用いて複数回予測値のセットを計算することと、異なるパラメータ値の最適なパラメータセットを選択することとを備える。ビデオエンコーダ20は、上記で説明したパラメトリック式(1)〜(8)のいずれかを介して予測ブロックを生成するように構成され得る。
[0120]ビデオエンコーダ20は、予測ブロックと元のブロックとの間の差を表す残差ブロックを計算するようにさらに構成され得る(110)。ビデオエンコーダ20は、残差ブロックを変換し、量子化するようにさらに構成され得る(112)。ビデオエンコーダ20は、量子化変換係数と、予測パラメータと、現在のブロックのためのイントラ予測モードの指示とをエントロピー符号化するようにさらに構成され得る(114)。ビデオエンコーダ20は、エントロピー符号化された量子化変換係数と、予測パラメータと、現在のブロックのためのイントラ予測モードの指示とをもつビットストリームを生成するようにさらに構成され得る。
[0121]図9は、本開示の技法による、例示的な方法を示すフローチャートである。本開示の一例では、ビデオデコーダ30中のイントラ予測ユニット74は、ラスタ走査順序で現在のピクチャのブロックを復号するように構成され得る(200)。ビデオデコーダ30は、量子化変換係数と、予測パラメータと、現在のブロックのためのイントラ予測モードの指示とをエントロピー復号するようにさらに構成され得る(202)。
[0122]ビデオデコーダ30は、残差ブロックを逆量子化するようにさらに構成され得る(204)。
[0123]ビデオデコーダ30は、現在のブロックの近隣にある復号ブロックからフィルタ処理された基準値を形成するようにさらに構成され得る(206)。
[0124]ビデオデコーダ30は、予測ブロックを形成するために復号予測パラメータを使用したフィルタ処理された基準値とフィルタ処理されていない基準値とを使用して現在のブロックをイントラ予測するようにさらに構成され得る(208)。一例では、ビデオデコーダ30は、重みの第1のセットを乗算したフィルタ処理された基準アレイ中の複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算したフィルタ処理されていない基準アレイ中の複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいてピクセルのセットに関連する予測値のセットを計算するように構成され得る。一例では、重みの第1のセットと重みの第2のセットとは、ピクセルのセットの予測ピクセルの位置に基づいて変動する。別の例では、第1の重みに関連する予測値のセットの第1の予測値とフィルタ処理された基準アレイとの間の第1の距離が、第2の重みに関連する予測値のセットの第2の予測値とフィルタ処理された基準アレイとの間の第2の距離よりも大きい場合、重みの第1のセット内の第1の重みは重みの第1のセットの第2の重みよりも大きい。そのような例では、基準ピクセルからより遠くにある予測ブロック内の予測ピクセル、フィルタ処理された基準ピクセルの重みはより大きくなる。
[0125]さらなる一例では、ビデオデコーダ30は、フィルタ処理されていない基準アレイ中の複数のフィルタ処理されていない基準値に基づいてフィルタ処理されていない予測値のセットを計算することと、フィルタ処理された基準アレイ中の複数のフィルタ処理された基準値に基づいてフィルタ処理された予測値のセットを計算することとを行うように構成され得る。フィルタ処理されていない予測値のセットとフィルタ処理された予測値のセットとは、ビットストリームから復号された1つまたは複数の方向予測子パラメータ(たとえば、上記の図2において説明したHEVC方向予測モードなどの方向予測モード)に基づき得る。
[0126]一例では、ビデオデコーダ30は、上記で説明したようにパラメトリック式(1)〜(8)を介して予測値のセットを計算するように構成され得る。
[0127]ビデオデコーダ30は、予測値の計算されたセットに基づいてビデオブロックを再構成するようにさらに構成され得る(210)。
[0128]上記例に応じて、本明細書で説明した技法のいずれかのいくつかの行為またはイベントが、異なるシーケンスで実行され得、全体的に追加、マージ、または除外され得る(たとえば、すべての説明された行為またはイベントが本技法の実施のために必要であるとは限らない)ことを認識されたい。さらに、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実行され得る。
[0129]1つまたは複数の例では、説明する機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的な有形コンピュータ可読記憶媒体、あるいは(2)信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび/またはデータ構造を取り出すために、1つまたは複数のコンピュータあるいは1つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
[0130]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMもしくは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびBlu−rayディスク(disc)を含み、ここで、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
[0131]命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、あるいは他の等価な集積回路またはディスクリート論理回路など、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実装に好適な任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成されるか、または複合コーデックに組み込まれる、専用のハードウェアモジュールおよび/またはソフトウェアモジュール内で提供され得る。また、本技法は、1つまたは複数の回路または論理要素で十分に実装され得る。
[0132]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置で実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明した1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされ得るか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。
[0133]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
[0133]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
ビデオデータを復号する方法であって、
ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することと、
予測値の前記計算されたセットに基づいて前記現在のブロックを再構成することと
を備える方法。
[C2]
重みの前記第1のセットと重みの前記第2のセットとが、ピクセルの前記セットの予測ピクセルの位置に基づいて変動する、C1に記載の方法。
[C3]
前記第1の重みに関連する予測値の前記セットの第1の予測値と前記フィルタ処理された基準アレイとの間の第1の距離が、前記第2の重みに関連する予測値の前記セットの第2の予測値と前記フィルタ処理された基準アレイとの間の第2の距離よりも大きいとき、重みの前記第1のセット内の第1の重みが重みの前記第1のセットの第2の重みよりも大きい、C2に記載の方法。
[C4]
前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値に基づいてフィルタ処理されていない予測値のセットを計算することと、
前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値に基づいてフィルタ処理された予測値のセットを計算することと、
ここにおいて、予測値の前記セットを計算することが、フィルタ処理されていない予測値の前記セットとフィルタ処理された予測値の前記セットとを使用して予測値の前記セットを計算することを備える、
をさらに備える、C1に記載の方法。
[C5]
フィルタ処理されていない予測値の前記セットとフィルタ処理された予測値の前記セットとがイントラコーディング方向モードに基づく、C4に記載の方法。
[C6]
予測値の前記セットを計算することが、以下のパラメトリック式を介して予測値の前記セットを計算することを備える、
[数32]
ここにおいて、xは、前記現在のブロックのピクセルの列識別子を表し、yは、前記現在のブロックの前記ピクセルの行識別子を表し、v[x,y]は、xおよびyによって定義される位置における前記現在のブロックの前記ピクセルの組み合わされた予測値を表し、p r [x,y]は、前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの前記1つまたは複数を表し、q s [x,y]は、前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値の前記1つまたは複数を表し、cは、重みの前記第2のセットを表し、1−cは、重みの前記第1のセットを表す、C1に記載の方法。
[C7]
予測値の前記セットを計算することが、以下のパラメトリック式を介して予測値の前記セットを計算することを備える、
[数33]
ここで、xが、前記現在のブロックのピクセルの列識別子を表し、yが、前記現在のブロックのピクセルの行識別子を表し、v[x,y]が、組み合わされた予測値を表し、rが、前記フィルタ処理されていない基準アレイを表し、重みの前記第2のセットが、予測パラメータである
[数34]
、d v 、およびd h を備え、Nが、前記現在のブロックのサイズであり、
[数35]
が、ビデオコーディング規格のフィルタ処理されていない予測に従って計算される前記複数のフィルタ処理されていない基準値を表し、
[数36]
が、前記ビデオコーディング規格のフィルタ処理された予測に従って計算される前記複数のフィルタ処理された基準値を表し、重みの前記第1のセットが、正規化ファクタを表すb[x,y]を備え、min()が、最小値関数を表す、C1に記載の方法。
[C8]
[数37]
である、C7に記載の方法。
[C9]
予測値の前記セットを計算することが、以下のパラメトリック式を介して予測値の前記セットを計算することを備える、
[数38]
ここで、
[数39]
、および
[数40]
であり、
ここで、xが、前記現在のブロックのピクセルの列識別子を表し、yが、前記現在のブロックのピクセルの行識別子を表し、v[x,y]が、組み合わされた予測値を表し、rが、前記フィルタ処理されていない基準アレイを表し、重みの前記第2のセットが、予測パラメータである
[数41]
、d v 、およびd h を備え、重みの前記第1のセットが、b[x,y]を備え、
[数42]
が、ビデオコーディング規格のフィルタ処理されていない予測に従って計算される前記複数のフィルタ処理されていない基準値を表し、
[数43]
が、前記ビデオコーディング規格のフィルタ処理された予測に従って計算される前記複数のフィルタ処理された基準値を表す、C1に記載の方法。
[C10]
ビデオデータを符号化する方法であって、
ピクチャの現在のブロックを受信することと、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、
ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
前記現在のブロックのための予測ブロックを生成することと、ここにおいて、生成することが、重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、
前記現在のブロックと前記予測ブロックとの間の差に基づいて残差ブロックを生成することと、
ビットストリーム中の前記残差ブロックを表すデータを符号化することと
を備える方法。
[C11]
予測値の前記セットを前記計算することが、
異なるパラメータ値を使用して予測値の複数のセットを計算することと、
予測値の最適なセットとして予測値の前記セットのうちの1つを選択することと
を備える、C10に記載の方法。
[C12]
予測値の前記最適なセットとして予測値の前記セットのうちの前記1つを選択することが、
予測値の前記複数のセットに対してレートひずみ分析を実行することと、
予測値の前記複数のセットの中から最良のレートひずみパフォーマンスをもたらす予測値の前記セットのうちの前記1つを選択することと
を備える、C11に記載の方法。
[C13]
前記現在のブロックのための予測ブロックを生成することが、
前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数、あるいは前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの前記1つまたは複数に基づいて前記現在のブロックのピクセルのセットに関連する予測値の第2のセットを計算することと、
予測値の前記第2のセットに対して第2のレートひずみ分析を実行することと、
予測値の前記第2のセットと予測値の前記最適なセットとのうちの1つを選択することと
をさらに備える、C12に記載の方法。
[C14]
前記ビットストリーム中の予測値の前記セットのうちの前記選択された1つに対応する前記パラメータ値を符号化することをさらに備える、C11に記載の方法。
[C15]
ビデオデータを復号するためのデバイスであって、
ピクチャに関連するビデオデータを記憶するように構成されたメモリと、
前記メモリと通信し、
ビデオデータの前記ピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することと、
予測値の前記計算されたセットに基づいて前記現在のブロックを再構成することと
を行うように構成された1つまたは複数のプロセッサと
を備えるデバイス。
[C16]
重みの前記第1のセットと重みの前記第2のセットとが、ピクセルの前記セットの予測ピクセルの位置に基づいて変動する、C15に記載のデバイス。
[C17]
前記第1の重みに関連する予測値の前記セットの第1の予測値と前記フィルタ処理された基準アレイとの間の第1の距離が、前記第2の重みに関連する予測値の前記セットの第2の予測値と前記フィルタ処理された基準アレイとの間の第2の距離よりも大きいとき、重みの前記第1のセット内の第1の重みが重みの前記第1のセットの第2の重みよりも大きい、C16に記載のデバイス。
[C18]
前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値に基づいてフィルタ処理されていない予測値のセットを計算することと、
前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値に基づいてフィルタ処理された予測値のセットを計算することと
を行うように構成された前記1つまたは複数のプロセッサ、
ここにおいて、予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサが、フィルタ処理されていない予測値の前記セットとフィルタ処理された予測値の前記セットとを使用して予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサを備える、C15に記載のデバイス。
[C19]
フィルタ処理されていない予測値の前記セットとフィルタ処理された予測値の前記セットとがイントラコーディング方向モードに基づく、C18に記載のデバイス。
[C20]
予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサが、以下のパラメトリック式を介して予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサを備える、
[数44]
ここにおいて、xは、前記現在のブロックのピクセルの列識別子を表し、yは、前記現在のブロックの前記ピクセルの行識別子を表し、v[x,y]は、xおよびyによって定義される位置における前記現在のブロックの前記ピクセルの組み合わされた予測値を表し、p r [x,y]は、前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの前記1つまたは複数を表し、q s [x,y]は、前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値の前記1つまたは複数を表し、cは、重みの前記第2のセットを表し、1−cは、重みの前記第1のセットを表す、C15に記載のデバイス。
[C21]
予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサが、以下のパラメトリック式を介して予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサを備える、
[数45]
ここで、xが、前記現在のブロックのピクセルの列識別子を表し、yが、前記現在のブロックのピクセルの行識別子を表し、v[x,y]が、組み合わされた予測値を表し、rが、前記フィルタ処理されていない基準アレイを表し、重みの前記第2のセットが、予測パラメータである
[数46]
、d v 、およびd h を備え、Nが、前記現在のブロックのサイズであり、
[数47]
が、ビデオコーディング規格のフィルタ処理されていない予測に従って計算される前記複数のフィルタ処理されていない基準値を表し、
[数48]
が、前記ビデオコーディング規格のフィルタ処理された予測に従って計算される前記複数のフィルタ処理された基準値を表し、重みの前記第1のセットが、正規化ファクタを表すb[x,y]を備え、min()が、最小値関数を表す、C15に記載のデバイス。
[C22]
[数49]
である、C21に記載のデバイス。
[C23]
予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサが、以下のパラメトリック式を介して予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサを備える、
[数50]
ここで、
[数51]
、および
[数52]
であり、
ここで、xが、前記現在のブロックのピクセルの列識別子を表し、yが、前記現在のブロックのピクセルの行識別子を表し、v[x,y]が、組み合わされた予測値を表し、rが、前記フィルタ処理されていない基準アレイを表し、重みの前記第2のセットが、予測パラメータである
[数53]
、d v 、およびd h を備え、重みの前記第1のセットが、b[x,y]を備え、
[数54]
が、ビデオコーディング規格のフィルタ処理されていない予測に従って計算される前記複数のフィルタ処理されていない基準値を表し、
[数55]
が、前記ビデオコーディング規格のフィルタ処理された予測に従って計算される前記複数のフィルタ処理された基準値を表す、C15に記載のデバイス。
[C24]
前記デバイスが、前記復号ビデオブロックを備える前記ピクチャを表示するように構成されたディスプレイを備える、C15に記載のデバイス。
[C25]
前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、C15に記載のデバイス。
[C26]
ビデオデータを符号化するためのデバイスであって、
ピクチャに関連するビデオを記憶するように構成されたメモリと、
前記メモリと通信し、
前記ピクチャの現在のブロックを受信することと、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、
ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
前記現在のブロックのための予測ブロックを生成することと、ここにおいて、生成することが、重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、
前記現在のブロックと前記予測ブロックとの間の差に基づいて残差ブロックを生成することと、
ビットストリーム中の前記残差ブロックを表すデータを符号化することと
を行うように構成された1つまたは複数のプロセッサと
を備えるデバイス。
[C27]
予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサが、
異なるパラメータ値を使用して予測値の複数のセットを計算することと、
予測値の最適なセットとして予測値の前記セットのうちの1つを選択することと
を行うように構成された前記1つまたは複数のプロセッサを備える、C26に記載のデバイス。
[C28]
予測値の前記最適なセットとして予測値の前記セットのうちの前記1つを選択するように構成された前記1つまたは複数のプロセッサが、
予測値の前記複数のセットに対してレートひずみ分析を実行することと、
予測値の前記複数のセットの中から最良のレートひずみパフォーマンスをもたらす予測値の前記セットのうちの前記1つを選択することと
を行うように構成された前記1つまたは複数のプロセッサを備える、C27に記載のデバイス。
[C29]
前記現在のブロックのための予測ブロックを生成するように構成された前記1つまたは複数のプロセッサが、
前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数、あるいは前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの前記1つまたは複数に基づいて前記現在のブロックのピクセルのセットに関連する予測値の第2のセットを計算することと、
予測値の前記第2のセットに対して第2のレートひずみ分析を実行することと、
予測値の前記第2のセットと予測値の前記最適なセットとのうちの1つを選択することと
を行うように構成された前記1つまたは複数のプロセッサをさらに備える、C28に記載のデバイス。
[C30]
前記ビットストリーム中の予測値の前記セットのうちの前記選択された1つに対応する前記パラメータ値を符号化するように構成された前記1つまたは複数のプロセッサ、C27に記載のデバイス。
[C31]
前記デバイスが、前記ビデオブロックを備える前記ピクチャをキャプチャするように構成されたカメラを備える、C26に記載のデバイス。
[C32]
前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、C26に記載のデバイス。
[C33]
ビデオデータを復号するためのデバイスであって、
ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号するための手段と、
前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成するための手段と、
前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成するための手段と、
重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算するための手段と、
予測値の前記計算されたセットに基づいて前記現在のブロックを再構成するための手段と
を備えるデバイス。
[C34]
ビデオデータを符号化するためのデバイスであって、
ピクチャの現在のブロックを受信するための手段と、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、
ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号するための手段と、
前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成するための手段と、
前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成するための手段と、
前記現在のブロックのための予測ブロックを生成するための手段と、ここにおいて、生成することが、重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、
前記現在のブロックと前記予測ブロックとの間の差に基づいて残差ブロックを生成するための手段と、
ビットストリーム中の前記残差ブロックを表すデータを符号化するための手段と
を備えるデバイス。
[C35]
実行されたとき、1つまたは複数のプロセッサに、
ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することと、
予測値の前記計算されたセットに基づいて前記現在のブロックを再構成することと
を行わせる、ビデオデータを処理するための命令を記憶した非一時的コンピュータ可読媒体。
[C36]
実行されたとき、1つまたは複数のプロセッサに、
ピクチャの現在のブロックを受信することと、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、
ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
前記現在のブロックのための予測ブロックを生成することと、ここにおいて、生成することが、重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、
前記現在のブロックと前記予測ブロックとの間の差に基づいて残差ブロックを生成することと、
ビットストリーム中の前記残差ブロックを表すデータを符号化することと
を行わせる、ビデオデータを処理するための命令を記憶した非一時的コンピュータ可読媒体。

Claims (36)

  1. ビデオデータを復号する方法であって、
    ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
    前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
    前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
    重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することと、
    予測値の前記計算されたセットに基づいて前記現在のブロックを再構成することと
    を備える方法。
  2. 重みの前記第1のセットと重みの前記第2のセットとが、ピクセルの前記セットの予測ピクセルの位置に基づいて変動する、請求項1に記載の方法。
  3. 前記第1の重みに関連する予測値の前記セットの第1の予測値と前記フィルタ処理された基準アレイとの間の第1の距離が、前記第2の重みに関連する予測値の前記セットの第2の予測値と前記フィルタ処理された基準アレイとの間の第2の距離よりも大きいとき、重みの前記第1のセット内の第1の重みが重みの前記第1のセットの第2の重みよりも大きい、請求項2に記載の方法。
  4. 前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値に基づいてフィルタ処理されていない予測値のセットを計算することと、
    前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値に基づいてフィルタ処理された予測値のセットを計算することと、
    ここにおいて、予測値の前記セットを計算することが、フィルタ処理されていない予測値の前記セットとフィルタ処理された予測値の前記セットとを使用して予測値の前記セットを計算することを備える、
    をさらに備える、請求項1に記載の方法。
  5. フィルタ処理されていない予測値の前記セットとフィルタ処理された予測値の前記セットとがイントラコーディング方向モードに基づく、請求項4に記載の方法。
  6. 予測値の前記セットを計算することが、以下のパラメトリック式を介して予測値の前記セットを計算することを備える、
    ここにおいて、xは、前記現在のブロックのピクセルの列識別子を表し、yは、前記現在のブロックの前記ピクセルの行識別子を表し、v[x,y]は、xおよびyによって定義される位置における前記現在のブロックの前記ピクセルの組み合わされた予測値を表し、pr[x,y]は、前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの前記1つまたは複数を表し、qs[x,y]は、前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値の前記1つまたは複数を表し、cは、重みの前記第2のセットを表し、1−cは、重みの前記第1のセットを表す、請求項1に記載の方法。
  7. 予測値の前記セットを計算することが、以下のパラメトリック式を介して予測値の前記セットを計算することを備える、
    ここで、xが、前記現在のブロックのピクセルの列識別子を表し、yが、前記現在のブロックのピクセルの行識別子を表し、v[x,y]が、組み合わされた予測値を表し、rが、前記フィルタ処理されていない基準アレイを表し、重みの前記第2のセットが、予測パラメータである
    、dv、およびdhを備え、Nが、前記現在のブロックのサイズであり、
    が、ビデオコーディング規格のフィルタ処理されていない予測に従って計算される前記複数のフィルタ処理されていない基準値を表し、
    が、前記ビデオコーディング規格のフィルタ処理された予測に従って計算される前記複数のフィルタ処理された基準値を表し、重みの前記第1のセットが、正規化ファクタを表すb[x,y]を備え、min()が、最小値関数を表す、請求項1に記載の方法。
  8. である、請求項7に記載の方法。
  9. 予測値の前記セットを計算することが、以下のパラメトリック式を介して予測値の前記セットを計算することを備える、
    ここで、
    、および
    であり、
    ここで、xが、前記現在のブロックのピクセルの列識別子を表し、yが、前記現在のブロックのピクセルの行識別子を表し、v[x,y]が、組み合わされた予測値を表し、rが、前記フィルタ処理されていない基準アレイを表し、重みの前記第2のセットが、予測パラメータである
    、dv、およびdhを備え、重みの前記第1のセットが、b[x,y]を備え、
    が、ビデオコーディング規格のフィルタ処理されていない予測に従って計算される前記複数のフィルタ処理されていない基準値を表し、
    が、前記ビデオコーディング規格のフィルタ処理された予測に従って計算される前記複数のフィルタ処理された基準値を表す、請求項1に記載の方法。
  10. ビデオデータを符号化する方法であって、
    ピクチャの現在のブロックを受信することと、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、
    ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
    前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
    前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
    前記現在のブロックのための予測ブロックを生成することと、ここにおいて、生成することが、重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、
    前記現在のブロックと前記予測ブロックとの間の差に基づいて残差ブロックを生成することと、
    ビットストリーム中の前記残差ブロックを表すデータを符号化することと
    を備える方法。
  11. 予測値の前記セットを前記計算することが、
    異なるパラメータ値を使用して予測値の複数のセットを計算することと、
    予測値の最適なセットとして予測値の前記セットのうちの1つを選択することと
    を備える、請求項10に記載の方法。
  12. 予測値の前記最適なセットとして予測値の前記セットのうちの前記1つを選択することが、
    予測値の前記複数のセットに対してレートひずみ分析を実行することと、
    予測値の前記複数のセットの中から最良のレートひずみパフォーマンスをもたらす予測値の前記セットのうちの前記1つを選択することと
    を備える、請求項11に記載の方法。
  13. 前記現在のブロックのための予測ブロックを生成することが、
    前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数、あるいは前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの前記1つまたは複数に基づいて前記現在のブロックのピクセルのセットに関連する予測値の第2のセットを計算することと、
    予測値の前記第2のセットに対して第2のレートひずみ分析を実行することと、
    予測値の前記第2のセットと予測値の前記最適なセットとのうちの1つを選択することと
    をさらに備える、請求項12に記載の方法。
  14. 前記ビットストリーム中の予測値の前記セットのうちの前記選択された1つに対応する前記パラメータ値を符号化することをさらに備える、請求項11に記載の方法。
  15. ビデオデータを復号するためのデバイスであって、
    ピクチャに関連するビデオデータを記憶するように構成されたメモリと、
    前記メモリと通信し、
    ビデオデータの前記ピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
    前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
    前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
    重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することと、
    予測値の前記計算されたセットに基づいて前記現在のブロックを再構成することと
    を行うように構成された1つまたは複数のプロセッサと
    を備えるデバイス。
  16. 重みの前記第1のセットと重みの前記第2のセットとが、ピクセルの前記セットの予測ピクセルの位置に基づいて変動する、請求項15に記載のデバイス。
  17. 前記第1の重みに関連する予測値の前記セットの第1の予測値と前記フィルタ処理された基準アレイとの間の第1の距離が、前記第2の重みに関連する予測値の前記セットの第2の予測値と前記フィルタ処理された基準アレイとの間の第2の距離よりも大きいとき、重みの前記第1のセット内の第1の重みが重みの前記第1のセットの第2の重みよりも大きい、請求項16に記載のデバイス。
  18. 前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値に基づいてフィルタ処理されていない予測値のセットを計算することと、
    前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値に基づいてフィルタ処理された予測値のセットを計算することと
    を行うように構成された前記1つまたは複数のプロセッサ、
    ここにおいて、予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサが、フィルタ処理されていない予測値の前記セットとフィルタ処理された予測値の前記セットとを使用して予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサを備える、請求項15に記載のデバイス。
  19. フィルタ処理されていない予測値の前記セットとフィルタ処理された予測値の前記セットとがイントラコーディング方向モードに基づく、請求項18に記載のデバイス。
  20. 予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサが、以下のパラメトリック式を介して予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサを備える、
    ここにおいて、xは、前記現在のブロックのピクセルの列識別子を表し、yは、前記現在のブロックの前記ピクセルの行識別子を表し、v[x,y]は、xおよびyによって定義される位置における前記現在のブロックの前記ピクセルの組み合わされた予測値を表し、pr[x,y]は、前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの前記1つまたは複数を表し、qs[x,y]は、前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値の前記1つまたは複数を表し、cは、重みの前記第2のセットを表し、1−cは、重みの前記第1のセットを表す、請求項15に記載のデバイス。
  21. 予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサが、以下のパラメトリック式を介して予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサを備える、
    ここで、xが、前記現在のブロックのピクセルの列識別子を表し、yが、前記現在のブロックのピクセルの行識別子を表し、v[x,y]が、組み合わされた予測値を表し、rが、前記フィルタ処理されていない基準アレイを表し、重みの前記第2のセットが、予測パラメータである
    、dv、およびdhを備え、Nが、前記現在のブロックのサイズであり、
    が、ビデオコーディング規格のフィルタ処理されていない予測に従って計算される前記複数のフィルタ処理されていない基準値を表し、
    が、前記ビデオコーディング規格のフィルタ処理された予測に従って計算される前記複数のフィルタ処理された基準値を表し、重みの前記第1のセットが、正規化ファクタを表すb[x,y]を備え、min()が、最小値関数を表す、請求項15に記載のデバイス。
  22. である、請求項21に記載のデバイス。
  23. 予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサが、以下のパラメトリック式を介して予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサを備える、
    ここで、
    、および
    であり、
    ここで、xが、前記現在のブロックのピクセルの列識別子を表し、yが、前記現在のブロックのピクセルの行識別子を表し、v[x,y]が、組み合わされた予測値を表し、rが、前記フィルタ処理されていない基準アレイを表し、重みの前記第2のセットが、予測パラメータである
    、dv、およびdhを備え、重みの前記第1のセットが、b[x,y]を備え、
    が、ビデオコーディング規格のフィルタ処理されていない予測に従って計算される前記複数のフィルタ処理されていない基準値を表し、
    が、前記ビデオコーディング規格のフィルタ処理された予測に従って計算される前記複数のフィルタ処理された基準値を表す、請求項15に記載のデバイス。
  24. 前記デバイスが、前記復号ビデオブロックを備える前記ピクチャを表示するように構成されたディスプレイを備える、請求項15に記載のデバイス。
  25. 前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、請求項15に記載のデバイス。
  26. ビデオデータを符号化するためのデバイスであって、
    ピクチャに関連するビデオを記憶するように構成されたメモリと、
    前記メモリと通信し、
    前記ピクチャの現在のブロックを受信することと、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、
    ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
    前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
    前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
    前記現在のブロックのための予測ブロックを生成することと、ここにおいて、生成することが、重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、
    前記現在のブロックと前記予測ブロックとの間の差に基づいて残差ブロックを生成することと、
    ビットストリーム中の前記残差ブロックを表すデータを符号化することと
    を行うように構成された1つまたは複数のプロセッサと
    を備えるデバイス。
  27. 予測値の前記セットを計算するように構成された前記1つまたは複数のプロセッサが、
    異なるパラメータ値を使用して予測値の複数のセットを計算することと、
    予測値の最適なセットとして予測値の前記セットのうちの1つを選択することと
    を行うように構成された前記1つまたは複数のプロセッサを備える、請求項26に記載のデバイス。
  28. 予測値の前記最適なセットとして予測値の前記セットのうちの前記1つを選択するように構成された前記1つまたは複数のプロセッサが、
    予測値の前記複数のセットに対してレートひずみ分析を実行することと、
    予測値の前記複数のセットの中から最良のレートひずみパフォーマンスをもたらす予測値の前記セットのうちの前記1つを選択することと
    を行うように構成された前記1つまたは複数のプロセッサを備える、請求項27に記載のデバイス。
  29. 前記現在のブロックのための予測ブロックを生成するように構成された前記1つまたは複数のプロセッサが、
    前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数、あるいは前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの前記1つまたは複数に基づいて前記現在のブロックのピクセルのセットに関連する予測値の第2のセットを計算することと、
    予測値の前記第2のセットに対して第2のレートひずみ分析を実行することと、
    予測値の前記第2のセットと予測値の前記最適なセットとのうちの1つを選択することと
    を行うように構成された前記1つまたは複数のプロセッサをさらに備える、請求項28に記載のデバイス。
  30. 前記ビットストリーム中の予測値の前記セットのうちの前記選択された1つに対応する前記パラメータ値を符号化するように構成された前記1つまたは複数のプロセッサ、請求項27に記載のデバイス。
  31. 前記デバイスが、前記ビデオブロックを備える前記ピクチャをキャプチャするように構成されたカメラを備える、請求項26に記載のデバイス。
  32. 前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、請求項26に記載のデバイス。
  33. ビデオデータを復号するためのデバイスであって、
    ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号するための手段と、
    前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成するための手段と、
    前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成するための手段と、
    重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算するための手段と、
    予測値の前記計算されたセットに基づいて前記現在のブロックを再構成するための手段と
    を備えるデバイス。
  34. ビデオデータを符号化するためのデバイスであって、
    ピクチャの現在のブロックを受信するための手段と、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、
    ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号するための手段と、
    前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成するための手段と、
    前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成するための手段と、
    前記現在のブロックのための予測ブロックを生成するための手段と、ここにおいて、生成することが、重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、
    前記現在のブロックと前記予測ブロックとの間の差に基づいて残差ブロックを生成するための手段と、
    ビットストリーム中の前記残差ブロックを表すデータを符号化するための手段と
    を備えるデバイス。
  35. 実行されたとき、1つまたは複数のプロセッサに、
    ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
    前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
    前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
    重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することと、
    予測値の前記計算されたセットに基づいて前記現在のブロックを再構成することと
    を行わせる、ビデオデータを処理するための命令を記憶した非一時的コンピュータ可読媒体。
  36. 実行されたとき、1つまたは複数のプロセッサに、
    ピクチャの現在のブロックを受信することと、フィルタ処理された基準アレイが、複数のフィルタ処理された基準値を備え、フィルタ処理されていない基準アレイが、複数のフィルタ処理されていない基準値を備える、
    ビデオデータのピクチャ中の現在のブロックに対する隣接ブロックを復号することと、
    前記隣接ブロック中の前記現在のブロックに対する隣接ピクセルのフィルタ処理されたバージョンを備える複数のフィルタ処理された基準値を備えるフィルタ処理された基準アレイを形成することと、
    前記隣接ピクセルのフィルタ処理されていないバージョンに対応する複数のフィルタ処理されていない基準値を備えるフィルタ処理されていない基準アレイを形成することと、
    前記現在のブロックのための予測ブロックを生成することと、ここにおいて、生成することが、重みの第1のセットを乗算した前記フィルタ処理された基準アレイ中の前記複数のフィルタ処理された基準値のうちの1つまたは複数と重みの第2のセットを乗算した前記フィルタ処理されていない基準アレイ中の前記複数のフィルタ処理されていない基準値のうちの1つまたは複数との線形結合に基づいて前記現在のブロックのピクセルのセットに関連する予測値のセットを計算することを備える、
    前記現在のブロックと前記予測ブロックとの間の差に基づいて残差ブロックを生成することと、
    ビットストリーム中の前記残差ブロックを表すデータを符号化することと
    を行わせる、ビデオデータを処理するための命令を記憶した非一時的コンピュータ可読媒体。
JP2018515932A 2015-09-29 2016-09-22 ビデオコーディングのために位置依存の予測組合せを使用する改善されたビデオイントラ予測 Active JP6903644B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562234645P 2015-09-29 2015-09-29
US62/234,645 2015-09-29
US15/272,034 US10425648B2 (en) 2015-09-29 2016-09-21 Video intra-prediction using position-dependent prediction combination for video coding
US15/272,034 2016-09-21
PCT/US2016/053126 WO2017058635A1 (en) 2015-09-29 2016-09-22 Improved video intra-prediction using position-dependent prediction combination for video coding

Publications (3)

Publication Number Publication Date
JP2018530246A true JP2018530246A (ja) 2018-10-11
JP2018530246A5 JP2018530246A5 (ja) 2019-10-10
JP6903644B2 JP6903644B2 (ja) 2021-07-14

Family

ID=58407611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018515932A Active JP6903644B2 (ja) 2015-09-29 2016-09-22 ビデオコーディングのために位置依存の予測組合せを使用する改善されたビデオイントラ予測

Country Status (10)

Country Link
US (2) US10425648B2 (ja)
EP (1) EP3357247B1 (ja)
JP (1) JP6903644B2 (ja)
KR (1) KR20180063201A (ja)
CN (2) CN113612997A (ja)
BR (1) BR112018006408B1 (ja)
CA (1) CA3000373C (ja)
ES (1) ES2779461T3 (ja)
TW (1) TWI766844B (ja)
WO (1) WO2017058635A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11805258B2 (en) 2017-09-28 2023-10-31 Samsung Electronics Co., Ltd. Image encoding and decoding method and apparatus generating an angular intra prediction mode

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142326A1 (ko) * 2016-02-16 2017-08-24 삼성전자 주식회사 비디오 부호화 방법 및 장치, 그 복호화 방법 및 장치
US10455228B2 (en) 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
CN109691099B (zh) * 2016-09-13 2023-10-27 韩国电子通信研究院 视频编码/解码方法和装置以及在其中存储比特流的记录介质
US20190215521A1 (en) * 2016-09-22 2019-07-11 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
US10506228B2 (en) 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
JP7036628B2 (ja) * 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11146795B2 (en) * 2017-03-10 2021-10-12 Qualcomm Incorporated Intra filtering flag in video coding
TWI683573B (zh) * 2017-03-10 2020-01-21 聯發科技股份有限公司 用於視訊編解碼中具有畫面內方向預測模式之內含畫面內編解碼工具設定的方法和裝置
US10728548B2 (en) * 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
CA3106617C (en) 2017-04-21 2023-11-07 Zenimax Media Inc. Systems and methods for rendering & pre-encoded load estimation based encoder hinting
US10638126B2 (en) 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
US10805641B2 (en) 2017-06-15 2020-10-13 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding
EP3627836A4 (en) * 2017-06-21 2021-04-07 LG Electronics Inc. METHOD AND DEVICE FOR DECODING IMAGES ACCORDING TO INTRAPREDICTION IN AN IMAGE ENCODING SYSTEM
US11172221B2 (en) * 2017-06-26 2021-11-09 Interdigital Madison Patent Holdings, Sas Method and apparatus for intra prediction with multiple weighted references
WO2019009748A1 (en) 2017-07-05 2019-01-10 Huawei Technologies Co., Ltd. DEVICES AND METHODS FOR VIDEO CODING
EP3652936A1 (en) 2017-07-05 2020-05-20 Huawei Technologies Co., Ltd. Devices and methods for video coding
WO2019054200A1 (ja) * 2017-09-15 2019-03-21 ソニー株式会社 画像処理装置および方法
US10965941B2 (en) * 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
EP3487177A1 (en) * 2017-11-21 2019-05-22 Thomson Licensing Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
US11611757B2 (en) 2018-04-02 2023-03-21 Qualcomm Incorproated Position dependent intra prediction combination extended with angular modes
EP3554071A1 (en) * 2018-04-12 2019-10-16 InterDigital VC Holdings, Inc. Method and apparatus for intra prediction using a composite reference array
WO2019199142A1 (ko) * 2018-04-13 2019-10-17 엘지전자 주식회사 인트라 예측 방법을 결정하기 위한 영상 코딩 방법 및 장치
AU2019269346B2 (en) * 2018-05-14 2023-07-27 Interdigital Vc Holdings, Inc. Block shape adaptive intra prediction directions for quadtree-binary tree
EP3815361A1 (en) 2018-06-26 2021-05-05 InterDigital VC Holdings, Inc. Multiple reference intra prediction using variable weights
US11277644B2 (en) * 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US10567752B2 (en) 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
US11128872B2 (en) * 2018-07-16 2021-09-21 Qualcomm Incorporated Position dependent intra prediction combination with wide angle intra prediction
US10911765B2 (en) * 2018-08-01 2021-02-02 Tencent America LLC Method and apparatus for video coding
US10491893B1 (en) * 2018-08-29 2019-11-26 Tencent America LLC Method and apparatus for multi-line intra prediction
CN112740676A (zh) * 2018-09-21 2021-04-30 交互数字Vc控股公司 帧内变换译码和广角帧内预测的协调
GB2577337A (en) * 2018-09-24 2020-03-25 Sony Corp Image data encoding and decoding
CA3114816C (en) 2018-10-12 2023-08-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video image component prediction method and apparatus, and computer storage medium
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
US11310515B2 (en) * 2018-11-14 2022-04-19 Tencent America LLC Methods and apparatus for improvement for intra-inter prediction mode
AU2019390215B2 (en) * 2018-11-26 2023-04-06 Huawei Technologies Co., Ltd. Method of intra predicting a block of a picture
CN113228656B (zh) * 2018-12-21 2023-10-31 北京字节跳动网络技术有限公司 使用多项式模型的帧间预测
BR112021011723A2 (pt) * 2018-12-21 2021-08-31 Huawei Technologies Co., Ltd. Método e aparelho de predição intra e codificador, decodificador, programa de computador, mídia de armazenamento não transitória, e fluxo de bits
WO2020162737A1 (ko) 2019-02-08 2020-08-13 주식회사 윌러스표준기술연구소 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
WO2020175965A1 (ko) * 2019-02-28 2020-09-03 주식회사 윌러스표준기술연구소 인트라 예측 기반 비디오 신호 처리 방법 및 장치
KR20210130809A (ko) * 2019-03-05 2021-11-01 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 하이브리드 비디오 코딩 도구를 위한 사용 사례 기반 컨텍스트 모델 선택
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
EP3939312A4 (en) * 2019-03-11 2022-04-27 Tencent America Llc PDPC INTER MODE IMPROVEMENT
EP3939275A4 (en) * 2019-03-11 2022-06-22 Telefonaktiebolaget Lm Ericsson (Publ) VIDEO ENCODING WITH GOP-BASED TEMPORAL FILTRATION
US11445174B2 (en) * 2019-05-06 2022-09-13 Tencent America LLC Method and apparatus for video coding
CN114073087A (zh) * 2019-05-10 2022-02-18 弗劳恩霍夫应用研究促进协会 基于矩阵的内预测
US11197009B2 (en) * 2019-05-30 2021-12-07 Hulu, LLC Processing sub-partitions in parallel using reference pixels
US11202070B2 (en) 2019-05-30 2021-12-14 Hulu, LLC Parallel bi-directional intra-coding of sub-partitions
US11134275B2 (en) * 2019-06-04 2021-09-28 Tencent America LLC Method and apparatus for performing primary transform based on filtering of blocks
US11039156B2 (en) 2019-06-11 2021-06-15 Tencent America LLC Unified position dependent prediction combination process
EP4005210A1 (en) * 2019-07-22 2022-06-01 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding with matrix based intra-prediction
CN114145021A (zh) * 2019-07-22 2022-03-04 交互数字Vc控股公司 用于利用基于矩阵的帧内预测的视频编码和解码的方法和装置
CN117376556A (zh) 2019-08-14 2024-01-09 北京字节跳动网络技术有限公司 位置相关帧内预测样点滤波
EP3997872A4 (en) 2019-08-14 2022-10-26 Beijing Bytedance Network Technology Co., Ltd. WEIGHTING FACTORS FOR FILTERING PREDICTION SAMPLES IN INTRA MODE
MX2021011036A (es) 2019-09-24 2021-10-13 Guangdong Oppo Mobile Telecommunications Corp Ltd Procedimientos de determinacion del valor de prediccion, codificador, decodificador y medio de almacenamiento informatico.
EP4029251A4 (en) * 2019-10-08 2022-11-16 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ADAPTIVE ADJUSTMENT OF PRECISION OF WEIGHTING PREDICTION PARAMETERS
US11671592B2 (en) * 2019-12-09 2023-06-06 Qualcomm Incorporated Position-dependent intra-prediction combination for angular intra-prediction modes for video coding
CN111193934A (zh) * 2020-04-10 2020-05-22 杭州雄迈集成电路技术股份有限公司 一种帧内预测方法、系统、计算机设备及可读存储介质
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012102929A1 (en) * 2011-01-28 2012-08-02 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US20120207216A1 (en) * 2009-10-22 2012-08-16 Zhejiang Uiniversity Video and image encoding/decoding system based on spatial domain prediction
WO2014050971A1 (ja) * 2012-09-28 2014-04-03 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2014518031A (ja) * 2011-04-25 2014-07-24 エルジー エレクトロニクス インコーポレイティド イントラ予測方法とそれを利用した符号化器及び復号化器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0120009D0 (en) * 2001-08-15 2001-10-10 Uws Ventures Ltd Cause and effect diagnosis
US9154807B2 (en) * 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US9282344B2 (en) * 2011-11-04 2016-03-08 Qualcomm Incorporated Secondary boundary filtering for video coding
US9020294B2 (en) * 2012-01-18 2015-04-28 Dolby Laboratories Licensing Corporation Spatiotemporal metrics for rate distortion optimization
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
WO2015057947A1 (en) * 2013-10-17 2015-04-23 Huawei Technologies Co., Ltd. Improved reference pixel selection and filtering for intra coding of depth map
JPWO2017068856A1 (ja) * 2015-10-21 2018-08-09 シャープ株式会社 予測画像生成装置、画像復号装置および画像符号化装置
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US10674165B2 (en) * 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
US20190089952A1 (en) * 2017-09-19 2019-03-21 Futurewei Technologies, Inc. Bidirectional Weighted Intra Prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120207216A1 (en) * 2009-10-22 2012-08-16 Zhejiang Uiniversity Video and image encoding/decoding system based on spatial domain prediction
WO2012102929A1 (en) * 2011-01-28 2012-08-02 Qualcomm Incorporated Pixel level adaptive intra-smoothing
JP2014518031A (ja) * 2011-04-25 2014-07-24 エルジー エレクトロニクス インコーポレイティド イントラ予測方法とそれを利用した符号化器及び復号化器
WO2014050971A1 (ja) * 2012-09-28 2014-04-03 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAID, A. ET AL.: "Position dependent intra prediction combination", ITU TELECOMMUNICATION STANDARDIZATION SECTOR STUDY PERIOD 2013-2016, [COM16 - C1046 - E], JPN6020039187, 30 September 2015 (2015-09-30), pages 1 - 5, XP044149683, ISSN: 0004366703 *
YEH, CHIA-HUNG ET AL.: "Predictive Texture Synthesis-Based Intra Coding Scheme for Advanced Video Coding", IEEE TRANSACTIONS ON MULTIMEDIA, vol. Volume: 17, Issue: 9, JPN6020039188, 24 June 2015 (2015-06-24), pages 1508 - 1514, ISSN: 0004366702 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11805258B2 (en) 2017-09-28 2023-10-31 Samsung Electronics Co., Ltd. Image encoding and decoding method and apparatus generating an angular intra prediction mode

Also Published As

Publication number Publication date
BR112018006408A2 (pt) 2018-10-09
US20170094285A1 (en) 2017-03-30
EP3357247B1 (en) 2019-12-18
JP6903644B2 (ja) 2021-07-14
WO2017058635A1 (en) 2017-04-06
TW201729595A (zh) 2017-08-16
EP3357247A1 (en) 2018-08-08
KR20180063201A (ko) 2018-06-11
BR112018006408B1 (pt) 2023-12-26
US10425648B2 (en) 2019-09-24
CN108141608A (zh) 2018-06-08
CN113612997A (zh) 2021-11-05
CA3000373C (en) 2024-01-16
CN108141608B (zh) 2021-08-24
US20190373267A1 (en) 2019-12-05
CA3000373A1 (en) 2017-04-06
ES2779461T3 (es) 2020-08-17
TWI766844B (zh) 2022-06-11

Similar Documents

Publication Publication Date Title
JP6903644B2 (ja) ビデオコーディングのために位置依存の予測組合せを使用する改善されたビデオイントラ予測
JP5932050B2 (ja) ビデオコーディングにおけるクロマ成分のための変換ユニットパーティショニング
JP6081499B2 (ja) 変換係数コーディングのためのコンテキスト導出における走査ベーススライディングウィンドウ
JP5869108B2 (ja) メモリ効率的コンテキストモデリング
JP5869122B2 (ja) ビデオコーディングにおける予測データのバッファリング
JP6151446B2 (ja) ビデオコーディングのための高精度明示的重み付け予測
JP2018125863A (ja) ビデオプロパティの指示
JP6352314B2 (ja) 異なるアスペクト比を伴う空間スケーラビリティのためのレイヤ間の参照ピクチャの構築
JP6293756B2 (ja) スケーラブルビデオ符号化における変換基準の調整
JP6239609B2 (ja) ビデオコーディングのための長期参照ピクチャをシグナリングすること
JP2018537908A (ja) ビデオデータの符号情報をコーディングすること
JP2017513342A (ja) ゼロアウトされた係数を使用した低複雑な順変換のためのシステムおよび方法
JP2017523685A (ja) イントラブロックコピーイングのためのブロックベクトルコーディング
JP6042526B2 (ja) ビデオコーディングのための最後の位置コーディングのためのコンテキストの導出
JP6199371B2 (ja) ビデオ・コーディングのためのインタ・レイヤ・テクスチャ予測
JP2017522795A (ja) ビットストリームパーティションのためのhrdパラメータを信号伝達すること
JP2016534644A (ja) イントラブロックコピーのための残差予測
JP6352391B2 (ja) Shvcのための複数のベースレイヤ参照ピクチャ
JP2015533462A (ja) ビデオコーディングのための参照ピクチャステータス
JP2016501483A (ja) ビデオコーディングにおけるhevc拡張用の多重レイヤの低複雑度サポート
JP2016509436A (ja) レイヤ間シンタックス予測制御
JP2017514353A (ja) メッシュベースの計算を使用した低複雑な順変換のためのシステムおよび方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190830

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210623

R150 Certificate of patent or registration of utility model

Ref document number: 6903644

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150