JP2022514885A - モードおよびサイズに依存したブロックレベル制限の方法および装置 - Google Patents

モードおよびサイズに依存したブロックレベル制限の方法および装置 Download PDF

Info

Publication number
JP2022514885A
JP2022514885A JP2021535825A JP2021535825A JP2022514885A JP 2022514885 A JP2022514885 A JP 2022514885A JP 2021535825 A JP2021535825 A JP 2021535825A JP 2021535825 A JP2021535825 A JP 2021535825A JP 2022514885 A JP2022514885 A JP 2022514885A
Authority
JP
Japan
Prior art keywords
block
intra
picture
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021535825A
Other languages
English (en)
Other versions
JP7277586B2 (ja
Inventor
アレクセイ・コンスタンチノヴィチ・フィリッポフ
ヴァシリー・アレクセーヴィチ・ルフィツキー
ジエンレ・チェン
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2022514885A publication Critical patent/JP2022514885A/ja
Priority to JP2023076274A priority Critical patent/JP2023100834A/ja
Application granted granted Critical
Publication of JP7277586B2 publication Critical patent/JP7277586B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ブロックの複数のサンプルからの1つのサンプルについて、DCイントラ予測モード、平面イントラ予測モード、および角度イントラ予測モードのうちの1つから選択されたイントラ予測モードを使用して、イントラ予測によって1つまたは複数の参照サンプル値から予測されたサンプル値を決定するステップと、イントラ予測モードと、ブロックの高さ、ブロックの幅、または両方のうちの1つとに基づいて、第1の重みを決定するステップと、イントラ予測モードと、ブロックの高さ、ブロックの幅、または両方のうちの1つとに基づいて、第2の重みを決定するステップと、第1の重みを用いて上の参照サンプル値を、かつ第2の重みを用いて左の参照サンプル値を重み付けすることによって、上の参照サンプル値および左の参照サンプル値の重み付きの和として追加の値を計算するステップと、予測されたサンプル値をサンプル重み付け係数によって乗算して、重み付きの予測されたサンプル値をもたらすステップと、重み付きの予測されたサンプル値に追加の値を加算して、正規化されていない修正済みの予測されたサンプル値をもたらすステップと、正規化されていない修正済みの予測されたサンプル値の整数表現の算術右シフトによって、正規化されていない修正済みの予測されたサンプル値を正規化して、正規化された修正済みの予測されたサンプル値をもたらすステップとを備える、ピクチャのブロックをイントラ予測する方法。

Description

関連出願への相互参照
この特許出願は、2018年12月21日に出願された米国仮特許出願第62/784,345号の優先権を主張する。上述の特許出願の開示は、その全体が参照によりここに組み込まれる。
本出願(開示)の実施形態は、一般に、ピクチャ処理の分野に、より詳細には、位置に依存した予測組み合わせを有するイントラ予測に関する。
ビデオコーディング(ビデオエンコードおよびビデオデコード)は、広い範囲のデジタルビデオアプリケーション、例えば、放送デジタルTV、インターネットおよびモバイルネットワーク上でのビデオ伝送、ビデオチャットのようなリアルタイム会話型アプリケーション、ビデオ会議、DVDおよびBlu-ray(登録商標)ディスク、ビデオコンテンツ収集および編集システム、およびセキュリティアプリケーションのカムコーダにおいて使用される。比較的短いビデオでさえ描写するために必要とされるビデオデータの量は、かなりである可能性があり、これは、限定された帯域幅容量を有する通信ネットワークを渡ってデータがストリーミングされ、またはそうでなく伝達されることになるときに、困難をもたらし得る。従って、ビデオデータは、一般に、現代の電気通信ネットワークを渡って伝達される前に圧縮される。メモリリソースが限定され得るので、ビデオが記憶デバイスにおいて記憶されるとき、ビデオのサイズも問題である可能性がある。ビデオ圧縮デバイスは、しばしば、伝送または記憶の前に、ソースにおいてソフトウェアおよび／またはハードウェアを使用してビデオデータをコーディングし、それにより、デジタルビデオ画像を表現するために必要とされるデータの量を減らす。圧縮されたデータは、次いで、ビデオデータをデコードするビデオ復元デバイスによって宛先において受信される。限定されたネットワークリソース、およびより高いビデオ品質の増加さえしている需要を有して、ピクチャ品質においてほとんどないし全く犠牲なしで圧縮率を改善する、改善された圧縮および復元技法が望ましい。
上記で論じた課題に鑑みて、本開示は、上記で述べた課題を軽減または解決するための解決策を提供する。
本出願の実施形態は、独立請求項に従って、ピクチャのブロックをイントラ予測するための装置および方法を提供する。
上記および他の目的は、独立請求項の主題によって達成される。さらなる実装形態が、従属請求項、説明、および図から明らかである。
本開示は、
ブロックの複数のサンプルからの1つのサンプルについて、
DCイントラ予測モード、平面イントラ予測モード、および角度イントラ予測モードのうちの1つから選択されたイントラ予測モードを使用して、イントラ予測によって1つまたは複数の参照サンプル値から予測されたサンプル値を決定するステップと、
イントラ予測モードと、ブロックの高さ、ブロックの幅、または両方のうちの1つとに基づいて、第1の重みを決定するステップと、
イントラ予測モードと、ブロックの高さ、ブロックの幅、または両方のうちの1つとに基づいて、第2の重みを決定するステップと、
第1の重みを用いて上の参照サンプル値を、かつ第2の重みを用いて左の参照サンプル値を重み付けすることによって、上の参照サンプル値および左の参照サンプル値の重み付きの和として追加の値を計算するステップと、
予測されたサンプル値をサンプル重み付け係数によって乗算して、重み付きの予測されたサンプル値をもたらすステップと、
重み付きの予測されたサンプル値に追加の値を加算して、正規化されていない修正済みの予測されたサンプル値をもたらすステップと、
正規化されていない修正済みの予測されたサンプル値の整数表現の算術右シフトによって、正規化されていない修正済みの予測されたサンプル値を正規化して、正規化された修正済みの予測されたサンプル値をもたらすステップとを備える、ピクチャのブロックをイントラ予測する方法を提供する。
ここで、特に、第1の重みおよび第2の重みは異なってよい。
前の態様それ自体による方法の可能な一実装形態では、方法は、ブロックの複数のサンプルの各サンプルを備える、ピクチャについてのブロックをイントラ予測することを備える。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、
第1の重みを決定することおよび第2の重みを決定することは、イントラ予測モードと、ブロックの高さ、ブロックの幅、または両方のうちの1つとに基づいて、スケーリング係数を決定することを備え、第1の重みおよび第2の重みは、それぞれ、スケーリング係数に基づいて決定される。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、
第1の重みを決定するステップは、ブロックの高さ、およびイントラ予測モードに基づいて、nScaleYと表記される垂直スケーリング係数を決定するステップを備え、第1の重みは、垂直スケーリング係数nScaleYに基づいて決定され、
第2の重みを決定するステップは、ブロックの幅、およびイントラ予測モードに基づいて、nScaleXと表記される水平スケーリング係数を決定するステップであって、第2の重みが、水平スケーリング係数nScaleXに基づいて決定される、ステップと、正規化されていない予測されたサンプル値の整数表現の算術右シフトによって、正規化されていない予測されたサンプル値を正規化して、正規化された予測されたサンプル値をもたらすステップとを備える。
ここで、第1の重みの決定は、垂直スケーリング係数を決定することを備え、第2の重みの決定は、水平スケーリング係数を決定することを備え、ここで、イントラ予測モードのタイプに依存して、これらの係数が異なってよいことが理解されるべきである。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、nScaleXおよびnScaleYは、それぞれ、モードクラスインデックスに依存して導出され、モードクラスインデックスは、イントラ予測モードのグループを使用して導出される。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、モードクラスインデックスは、以下の表、すなわち、
Figure 2022514885000001
のうちの1つに従って、イントラ予測モードの特定のグループにマッピングされ、
ここで、DC_IDXは、1のイントラ予測モードインデックスを有するDCモードを表し、HOR_IDXおよびVER_IDXは、それぞれ、18および50のイントラ予測モードインデックスを有する水平および垂直モードを表し、VDIA_IDXは、66のイントラ予測モードインデックスを有する対角モードを表す。
ここで、異なるクラスへの、イントラ予測モードのグループの異なるマッピングが表される。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、nScaleXおよびnScaleYは、以下のマッピング、すなわち、
Figure 2022514885000002
に従って導出され、
ここで、nTbWおよびnTbHは、それぞれ、予測ブロックの幅および高さを表記し、「>>」は右シフト演算を表記し、
ここで、Floorはフロア関数であり、Log2は、ある数の2を底とする自然対数を戻し、Minは、その引数の最小を戻し、「>>」は右シフト演算を表記する。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、モードクラスインデックスは、以下の表、すなわち、
Figure 2022514885000003
に従って、イントラ予測モードの特定のグループにマッピングされる。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、nScaleXおよびnScaleYは、以下のマッピング、すなわち、
Figure 2022514885000004
に従って導出され、
ここで、nTbWおよびnTbHは、それぞれ、予測ブロックの幅および高さを表記し、「>>」は右シフト演算を表記し、
ここで、Floorはフロア関数であり、Log2は、ある数の2を底とする自然対数を戻し、Minは、その引数の最小を戻し、「>>」は右シフト演算を表記し、
invAngleは、以下、すなわち、
Figure 2022514885000005
のようにintraPredAngleを使用して導出される逆角度パラメータであり、
ここで、intraPredAngleは、ルックアップテーブル(LUT)を使用して、変数predModeIntraによって与えられるイントラ予測モードから導出される角度パラメータである。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、LUTは、以下の表、すなわち、
Figure 2022514885000006
によって与えられる。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、正規化されていない修正済みの予測されたサンプル値を正規化することは、予測されたサンプル値を、
P(x,y)=Clip1Cmp((wL×R-1,y+wT×Rx,-1-wTL×R-1,-1+(64-wl-wT+wTL)×P(x,y)+32))>>6)
として算出することを備え、
ここで、
P(x,y)は、正規化されていない修正済みの予測されたサンプル値であり、
Rx,-1、R-1,yは、各サンプルの上および左に位置する最も近くの参照サンプルの値を表現し、
wL=V>>((x<<1)>>nScaleX)は水平重み付け係数であり、
wT=V>>((y<<1)>>nScaleY)は垂直重み付け係数であり、
Vは基本値であり、
xは各サンプルの水平座標であり、
yはサンプルの垂直座標であり、
ここで、clip1Cmpは、以下のように設定され、すなわち、
cIdxが0に等しい場合、clip1CmpがClip1Yに等しく設定され、
そうでない場合、clip1CmpがClip1Cに等しく設定され、
ここで、cIdxは、現在のブロックの色成分を指定する変数であり、
Clip1Y(x)=Clip3(0,(1<<BitDepthY) - 1, x)であり、
Clip1C(x)=Clip3(0,(1<<BitDepthC) - 1, x)であり、
Figure 2022514885000007
であり、
ここで、BitDepthYはルーマサンプルのビット深度であり、
ここで、BitDepthCはルーマサンプルのビット深度である。
前の態様それ自体による方法の可能な一実装形態では、平面モードについてwTL=0であるが、水平モードについてwTL=wTであり、垂直モードについてwTL=wLである。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、正規化されていない修正済みの予測されたサンプル値を正規化することは、正規化された修正済みの予測されたサンプル値を、
Figure 2022514885000008
として算出することを備え、
ここで、
Figure 2022514885000009
は、正規化された修正済みの予測されたサンプル値であり、
P(x,y)は、正規化されていない修正済みの予測されたサンプル値であり、
Rx,-1、R-1,yは、各サンプルの上および左に位置する最も近くの参照サンプルの値を表現し、
wL=V>>((x<<1)>>nScaleX)は水平重み付け係数であり、
wT=V>>((y<<1)>>nScaleY)は垂直重み付け係数であり、
xは各サンプルの水平座標であり、
yはサンプルの垂直座標である。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、
サンプルの中で与えられるブロックの幅およびブロックの高さの和が、それぞれ、64サンプルよりも大きく、かつ
イントラ予測モードが斜行非対角であるか、またはイントラ予測モードが平面イントラ予測モードであるかのいずれかであるならば、
各サンプルは更新されない。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、intraPredModeが2またはVDIA_IDXに等しくなく、かつ以下のこと、すなわち、intraPredModeがVDIA_IDX-numModesより小さくない、またはintraPredModeが2+numModesより大きくない、のうちの1つが真であるならば、intraPredModeは斜行非対角である。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、ピクチャはビデオシーケンスの一部である。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、
正規化された修正済みの予測されたサンプル値に残差値を加算して、再構成されたサンプル値をもたらすステップをさらに備える。
本開示は、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するための処理回路を備えるエンコーダ(20)をさらに提供する。
本開示は、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するための処理回路を備えるデコーダ(30)をさらに提供する。
本開示は、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するためのプログラムコードを備えるコンピュータプログラムをさらに提供する。
本開示は、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するためのプログラムコードを備えるコンピュータプログラム製品をさらに提供し得る。
本開示は、
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶した非一時的コンピュータ可読記憶媒体と
を備えるデコーダをさらに提供し、プログラミングは、プロセッサによって実行されたとき、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するようにデコーダを構成する。
本開示は、
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶した非一時的コンピュータ可読記憶媒体と
を備えるエンコーダをさらに提供し、プログラミングは、プロセッサによって実行されたとき、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するようにエンコーダを構成する。
1つまたは複数の実施形態の詳細が、添付の図面および以下の説明において記載される。他の特徴、目的、および利点は、説明、図面、および請求項から明らかになるであろう。
以下では、発明の実施形態が、添付の図および図面を参照して、より詳細に説明される。
発明の実施形態を実現するように構成されたビデオコーディングシステムの一例を概略的に例示する。 発明の実施形態を実現するように構成されたビデオコーディングシステムの別の例を概略的に例示する。 発明の実施形態を実現するように構成されたビデオエンコーダの一例を概略的に例示する。 発明の実施形態を実現するように構成されたビデオデコーダの例示の構造を概略的に例示する。 エンコード装置またはデコード装置の一例を概略的に例示する。 エンコード装置またはデコード装置の別の例を概略的に例示する。 HEVCにおける角度イントラ予測方向および関連するイントラ予測モードを概略的に例示する。 JEMにおける角度イントラ予測方向および関連するイントラ予測モードを概略的に例示する。 VTM-3.0およびVVC仕様ドラフトv.3における角度イントラ予測方向および関連するイントラ予測モードを概略的に例示する。 VTM-3.0およびVVC仕様ドラフトv.3における角度イントラ予測方向および関連するイントラ予測モードを概略的に例示する。 4×4ブロックの内側の(0,0)および(1,0)位置についてのDCモードPDPC重みの一例を概略的に例示する。 主要参照側の参照サンプルからブロックをイントラ予測する一例を概略的に例示する。 4×4ブロックの内側の(0,0)および(1,0)位置についてのDCモードPDPC重みの一例を例示する。 垂直および水平スケーリング係数を決定する方法の一例を概略的に例示する。 垂直および水平スケーリング係数を決定する方法の一例を概略的に例示する。 垂直および水平スケーリング係数を決定する方法の代替の例を概略的に例示する。
以下では、同一の参照符号は、明示的にそうでなく指定されないならば、同一のまたは少なくとも機能的に等価な特徴を指す。
以下の説明では、開示の部分を形成し、発明の実施形態の特定の態様または本発明の実施形態が使用され得る特定の態様を例示として表す、添付の図への参照が行われる。発明の実施形態が、他の態様において使用され、図の中に描写されていない構造的または論理的な変更を備え得ることが理解される。従って、以下の詳細な説明は限定する意味で受け取られるべきでなく、本発明の範囲は添付の請求項によって定義される。
例えば、説明される方法に関する開示が、その方法を実行するように構成された対応するデバイスまたはシステムについても当てはまり得るとともに逆も同様であることが理解される。例えば、1つまたは複数の特定の方法のステップが説明されるならば、そのような1つまたは複数のユニットが明示的に説明されない、または図の中に例示されないとしても、対応するデバイスは、説明される1つまたは複数の方法のステップを実行するための1つまたは複数のユニット、例えば、機能ユニット(例えば、1つまたは複数のステップを実行する1つのユニット、または複数のステップのうちの1つまたは複数を各々が実行する複数のユニット)を含んでよい。一方、例えば、1つまたは複数のユニット、例えば、機能ユニットに基づいて、特定の装置が説明されるならば、そのような1つまたは複数のステップが明示的に説明されない、または図の中に例示されないとしても、対応する方法は、1つまたは複数のユニットの機能を実行するための1つのステップ(例えば、1つまたは複数のユニットの機能を実行する1つのステップ、または複数のユニットのうちの1つまたは複数の機能を各々が実行する複数のステップ)を含んでよい。さらに、特にそうでなく注記されないならば、ここで説明される様々な例示的な実施形態および／または態様の特徴が互いに組み合わせられてよいことが理解される。
ビデオコーディングは、典型的に、ビデオまたはビデオシーケンスを形成する、ピクチャのシーケンスの処理を指す。用語「ピクチャ」の代わりに、ビデオコーディングの分野では用語「フレーム」または「画像」が同義語として使用され得る。ビデオコーディング(または、一般にコーディング)は、2つの部分、ビデオエンコードおよびビデオデコードを備える。ビデオエンコードは、ソース側において実行され、典型的に、ビデオピクチャを表現するために要求されるデータの量を(より効率的な記憶および／または伝送のために)減少させるために、(例えば、圧縮によって)元のビデオピクチャを処理することを備える。ビデオデコードは、宛先側において実行され、典型的に、ビデオピクチャを再構成するための、エンコーダと比較して逆の処理を備える。ビデオピクチャ(または、一般にピクチャ)の「コーディング」に言及する実施形態は、ビデオピクチャまたはそれぞれのビデオシーケンスの「エンコード」または「デコード」に関すると理解されるものである。エンコード部分とデコード部分の組み合わせは、CODEC(Coding and Decoding(コーディングおよびデコード))とも呼ばれる。
損失のないビデオコーディングの場合には、元のビデオピクチャは再構成されることが可能であり、すなわち、(記憶または伝送の間に伝送損失または他のデータ損失がないと仮定すると)再構成されたビデオピクチャは元のビデオピクチャと同じ品質を有する。損失のあるビデオコーディングの場合には、ビデオピクチャを表現するデータの量を減少させるために、例えば、量子化によって、さらなる圧縮が実行され、ビデオピクチャは、デコーダにおいて完全に再構成されることが可能でなく、すなわち、再構成されたビデオピクチャの品質は元のビデオピクチャの品質と比較して、より低い、またはより悪い。
いくつかのビデオコーディング規格は、「損失のあるハイブリッドビデオコーデック」のグループに属する(すなわち、サンプル領域における空間および時間予測と、変換領域において量子化を適用するための2D変換コーディングとを組み合わせる)。ビデオシーケンスの各ピクチャは、典型的に、重複しないブロックのセットに区分され、コーディングは、典型的に、ブロックレベルにおいて実行される。言い換えれば、エンコーダにおいて、ビデオは、典型的に、例えば、空間(イントラピクチャ)予測および／または時間(インターピクチャ)予測を使用して予測ブロックを生成し、現在のブロック(現在処理されている／処理されるべきブロック)から予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換し、変換領域において残差ブロックを量子化して伝送されるべきデータの量を減少させること(圧縮)によって、ブロック(ビデオブロック)レベルにおいて処理され、すなわちエンコードされ、一方、デコーダにおいて、エンコーダと比較して逆の処理が、エンコードされ、または圧縮されたブロックに適用されて表現のために現在のブロックを再構成する。さらに、エンコーダは、後続のブロックを処理する、すなわちコーディングするために、両方が同一の予測(例えば、イントラおよびインター予測)および／または再構成を生成するように、デコーダ処理ループを二重化する。
以下では、ビデオコーディングシステム10、ビデオエンコーダ20、およびビデオデコーダ30の実施形態が、図1～図3に基づいて説明される。
図1Aは、この本出願の技法を利用し得る例示のコーディングシステム10、例えば、ビデオコーディングシステム10(または短縮してコーディングシステム10)を例示する概略ブロック図である。ビデオコーディングシステム10のビデオエンコーダ20(または短縮してエンコーダ20)およびビデオデコーダ30(または短縮してデコーダ30)は、本出願において説明される様々な例による技法を実行するように構成され得るデバイスの例を表現する。
図1Aに表されたように、コーディングシステム10は、例えば、エンコードされたピクチャデータ13をデコードするための宛先デバイス14に、エンコードされたピクチャデータ21を提供するように構成されたソースデバイス12を備える。
ソースデバイス12は、エンコーダ20を備え、加えて、すなわち任意選択で、ピクチャソース16、プリプロセッサ(または、前処理ユニット)18、例えば、ピクチャプリプロセッサ18、および通信インターフェースまたは通信ユニット22を備えてよい。
ピクチャソース16は、任意の種類のピクチャキャプチャデバイス、例えば、実世界ピクチャをキャプチャするためのカメラ、および／または任意の種類のピクチャ生成デバイス、例えば、コンピュータアニメーション化されたピクチャを生成するためのコンピュータグラフィックスプロセッサ、または実世界ピクチャ、コンピュータ生成されたピクチャ(例えば、スクリーンコンテンツ、仮想現実(virtual reality(VR))ピクチャ)、および／またはそれらの任意の組み合わせ(例えば、拡張現実(augmented reality(AR))ピクチャ)を取得および／または提供するための任意の種類の他のデバイスを備え、またはそれらであってよい。ピクチャソースは、上述のピクチャのうちのいずれかを記憶する任意の種類のメモリまたは記憶装置であってよい。
プリプロセッサ18、および前処理ユニット18によって実行される処理と区別して、ピクチャまたはピクチャデータ17は、未処理ピクチャまたは未処理ピクチャデータ17とも呼ばれ得る。
プリプロセッサ18は、(未処理)ピクチャデータ17を受信し、ピクチャデータ17において前処理を実行して、前処理されたピクチャ19または前処理されたピクチャデータ19を取得するように構成される。プリプロセッサ18によって実行される前処理は、例えば、トリミング、(例えば、RGBからYCbCrへの)カラーフォーマット変換、色補正、またはノイズ除去を備えてよい。前処理ユニット18が任意選択の構成要素であり得ることが理解されることが可能である。
ビデオエンコーダ20は、前処理されたピクチャデータ19を受信し、エンコードされたピクチャデータ21を提供するように構成される(さらなる詳細が、例えば、図2に基づいて、以下で説明されるであろう)。
ソースデバイス12の通信インターフェース22は、エンコードされたピクチャデータ21を受信し、記憶または直接の再構成のために、通信チャネル13上で別のデバイス、例えば、宛先デバイス14または任意の他のデバイスへ、エンコードされたピクチャデータ21(または、それらのさらに処理された任意のバージョン)を伝送するように構成され得る。
宛先デバイス14は、デコーダ30(例えば、ビデオデコーダ30)を備え、加えて、すなわち任意選択で、通信インターフェースまたは通信ユニット28、ポストプロセッサ32(または、後処理ユニット32)、およびディスプレイデバイス34を備えてよい。
宛先デバイス14の通信インターフェース28は、例えば、ソースデバイス12から直接に、または任意の他のソース、例えば、記憶デバイス、例えば、エンコードされたピクチャデータ記憶デバイスから、エンコードされたピクチャデータ21(または、それらのさらに処理された任意のバージョン)を受信し、エンコードされたピクチャデータ21をデコーダ30に提供するように構成される。
通信インターフェース22および通信インターフェース28は、ソースデバイス12と宛先デバイス14の間の直接の通信リンク、例えば、直接の有線または無線接続を介して、または任意の種類のネットワーク、例えば、有線または無線ネットワークまたはそれらの任意の組み合わせ、または任意の種類のプライベートおよびパブリックネットワーク、またはそれらの任意の種類の組み合わせを介して、エンコードされたピクチャデータ21またはエンコードされたデータ13を伝送または受信するように構成され得る。
通信インターフェース22は、例えば、適切なフォーマット、例えば、パケットの中に、エンコードされたピクチャデータ21をパッケージ化し、かつ／または通信リンクまたは通信ネットワーク上での伝送のために任意の種類の伝送エンコードまたは処理を使用してエンコードされたピクチャデータを処理するように構成され得る。
通信インターフェース22の相手側を形成する通信インターフェース28は、例えば、伝送されたデータを受信し、任意の種類の対応する伝送デコードまたは処理および／またはパッケージ除去を使用して伝送データを処理してエンコードされたピクチャデータ21を取得するように構成され得る。
通信インターフェース22と通信インターフェース28の両方が、ソースデバイス12から宛先デバイス14を指し示す、図1Aの中の通信チャネル13についての矢印によって示されるような単方向の通信インターフェース、または双方向の通信インターフェースとして構成されてよく、例えば、通信リンクおよび／またはデータ伝送、例えば、エンコードされたピクチャデータ伝送に関する、任意の他の情報を肯定応答および交換するために、例えば、接続をセットアップするために、メッセージを送信し、受信するように構成されてよい。
デコーダ30は、エンコードされたピクチャデータ21を受信し、デコードされたピクチャデータ31またはデコードされたピクチャ31を提供するように構成される(さらなる詳細は、例えば、図3または図5に基づいて、以下で説明されるであろう)。
宛先デバイス14のポストプロセッサ32は、デコードされたピクチャデータ31(再構成されたピクチャデータとも呼ばれる)、例えば、デコードされたピクチャ31を後処理して、後処理されたピクチャデータ33、例えば、後処理されたピクチャ33を取得するように構成される。後処理ユニット32によって実行される後処理は、例えば、ディスプレイデバイス34による、例えば、表示のためにデコードされたピクチャデータ31を準備するための、例えば、(例えば、YCbCrからRGBへの)カラーフォーマット変換、色補正、トリミング、または再サンプリング、または任意の他の処理を備えてよい。
宛先デバイス14のディスプレイデバイス34は、例えば、ユーザまたは閲覧者に、ピクチャを表示するための後処理されたピクチャデータ33を受信するように構成される。ディスプレイデバイス34は、再構成されたピクチャを表現するための任意の種類のディスプレイ、例えば、統合型または外部のディスプレイまたはモニタであってよく、またはそれを備えてよい。ディスプレイは、例えば、液晶ディスプレイ(liquid crystal display(LCD))、有機発光ダイオード(organic light emitting diode(OLED))ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロLEDディスプレイ、液晶オンシリコン(liquid crystal on silicon(LCoS))、デジタル光プロセッサ(digital light processor(DLP))、または任意の種類の他のディスプレイを備えてよい。
図1Aはソースデバイス12および宛先デバイス14を別個のデバイスとして描写するが、デバイスの実施形態はまた、ソースデバイス12または対応する機能と、宛先デバイス14または対応する機能の、両方または両方の機能を備えてよい。そのような実施形態では、ソースデバイス12または対応する機能、および宛先デバイス14または対応する機能は、同じハードウェアおよび／またはソフトウェアを使用して、または別個のハードウェアおよび／またはソフトウェアまたはそれらの任意の組み合わせによって、実現され得る。
説明に基づいて当業者に対して明らかになることになるように、異なるユニットの機能または図1Aに表されたようなソースデバイス12および／または宛先デバイス14内の機能の存在および(正確な)分割は、実際のデバイスおよび適用に依存して変わり得る。
エンコーダ20(例えば、ビデオエンコーダ20)またはデコーダ30(例えば、ビデオデコーダ30)、またはエンコーダ20とデコーダ30の両方は、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(digital signal processor(DSP))、特定用途向け集積回路(application-specific integrated circuit(ASIC))、フィールドプログラマブルゲートアレイ(field-programmable gate array(FPGA))、個別論理、ハードウェア、専用のビデオコーディング、またはそれらの任意の組み合わせのような、図1Bに表されたような処理回路を介して実現され得る。エンコーダ20は、図2のエンコーダ20に関して論じられるような様々なモジュールおよび／またはここで説明される任意の他のエンコーダシステムまたはサブシステムを具現するために、処理回路46を介して実現され得る。デコーダ30は、図3のデコーダ30に関して論じられるような様々なモジュールおよび／またはここで説明される任意の他のデコーダシステムまたはサブシステムを具現するために、処理回路46を介して実現され得る。処理回路は、後で論じられるような様々な演算を実行するように構成され得る。図5に表されたように、技法が部分的にソフトウェアで実現されるならば、デバイスは、ソフトウェアのための命令を、適した非一時的コンピュータ可読記憶媒体に記憶してよく、この開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアで命令を実行してよい。ビデオエンコーダ20およびビデオデコーダ30のいずれかは、例えば、図1Bに表されたように、組み合わせられたエンコーダ／デコーダ(CODEC)の部分として単一のデバイス内に統合され得る。
ソースデバイス12および宛先デバイス14は、任意の種類のハンドヘルドまたは固定のデバイス、例えば、ノートブックまたはラップトップコンピュータ、モバイルフォン、スマートフォン、タブレットまたはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、(コンテンツサービスサーバまたはコンテンツ配信サーバのような)ビデオストリーミングデバイス、放送受信機デバイス、放送送信機デバイス、または同様のものを含む、広い範囲のデバイスのうちのいずれかを備えてよく、オペレーティングシステムを使用しなくてよく、または任意の種類のオペレーティングシステムを使用してもよい。いくつかの場合、ソースデバイス12および宛先デバイス14は無線通信のために装備されてよい。従って、ソースデバイス12および宛先デバイス14は無線通信デバイスであってよい。
いくつかの場合、図1Aに例示されたビデオコーディングシステム10は単に一例であり、本出願の技法は、エンコードおよびデコードデバイスの間の任意のデータ通信を必ずしも含まず、ビデオコーディング設定(例えば、ビデオエンコードまたはビデオデコード)に適用されてよい。他の例では、データは、ローカルメモリから取り出され、ネットワーク上でストリーミングされ、または同様である。ビデオエンコードデバイスは、データをエンコードしてメモリに記憶してよく、かつ／またはビデオデコードデバイスは、データをメモリから取り出してデコードしてよい。いくつかの例では、互いに通信しないが、単にデータをメモリにエンコードし、かつ／またはデータをメモリから取り出してデコードするデバイスによって、エンコードおよびデコードが実行される。
説明の便宜のため、例えば、高効率ビデオコーディング(High-Efficiency Video Coding(HEVC))への、またはITU-Tビデオコーディングエキスパートグループ(Video Coding Experts Group(VCEG))とISO/IECモーション・ピクチャ・エキスパート・グループ(Motion Picture Experts Group(MPEG))のビデオコーディング共同研究部会(Joint Collaboration Team on Video Coding(JCT-VC))によって策定された次世代ビデオコーディング規格である、多用途ビデオコーディング(Versatile Video Coding(VVC))の参照ソフトウェアへの参照によって、発明の実施形態がここで説明される。発明の実施形態がHEVCまたはVVCに限定されないことを、この技術分野の当業者は理解するであろう。
エンコーダおよびエンコード方法
図2は、本出願の技法を実現するように構成される例示のビデオエンコーダ20の概略ブロック図を表す。図2の例では、ビデオエンコーダ20は、入力201(または入力インターフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、および逆変換処理ユニット212、再構成ユニット214、ループフィルタユニット220、デコードされたピクチャバッファ(decoded picture buffer(DPB))230、モード選択ユニット260、エントロピーエンコードユニット270、および出力272(または出力インターフェース272)を備える。モード選択ユニット260は、インター予測ユニット244、イントラ予測ユニット254、および区分ユニット262を含んでよい。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(表されていない)を含んでよい。図2に表されたようなビデオエンコーダ20は、ハイブリッドビデオエンコーダ、またはハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれ得る。
残差計算ユニット204、変換処理ユニット206、量子化ユニット208、モード選択ユニット260は、エンコーダ20の順方向信号経路を形成するとして言及されてよく、一方、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、バッファ216、ループフィルタ220、デコードされたピクチャバッファ(decoded picture buffer(DPB))230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオエンコーダ20の逆方向信号経路を形成するとして言及されてよく、ビデオエンコーダ20の逆方向信号経路はデコーダの信号経路に対応する(図3の中のビデオデコーダ30を見られたい)。逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループフィルタ220、デコードされたピクチャバッファ(decoded picture buffer(DPB))230、インター予測ユニット244、およびイントラ予測ユニット254はまた、ビデオエンコーダ20の「ビルトインデコーダ」を形成することが言及される。
ピクチャおよびピクチャ区分(ピクチャおよびブロック)
エンコーダ20は、ピクチャ17(またはピクチャデータ17)、例えば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを、例えば、入力201を介して受信するように構成され得る。受信されるピクチャまたはピクチャデータはまた、前処理されたピクチャ19(または前処理されたピクチャデータ19)であってよい。簡潔さの目的のために、以下の説明はピクチャ17に言及する。ピクチャ17は、現在のピクチャ、または(同じビデオシーケンス、すなわち、やはり現在のピクチャを備えるビデオシーケンスの他のピクチャ、例えば、前にエンコードされ、かつ／またはデコードされたピクチャから現在のピクチャを区別するために、特にビデオコーディングにおいて)コーディングされるべきピクチャとも呼ばれ得る。
(デジタル)ピクチャは、強度値を有するサンプルの2次元のアレイまたは行列であるか、またはそのように見なされることが可能である。アレイ内のサンプルは、ピクセル(ピクチャ要素の短い形式)またはペルとも呼ばれ得る。アレイまたはピクチャの水平および垂直方向(または軸)におけるサンプルの数は、ピクチャのサイズおよび／または解像度を定義する。色の表現のために、典型的に、3つの色成分が採用され、すなわち、ピクチャは、3つのサンプルアレイが表現され、またはそれらを含んでよい。RBGフォーマットまたは色空間で、ピクチャは、対応する赤、緑、および青のサンプルアレイを備える。しかし、ビデオコーディングでは、各ピクセルは、典型的に、ルミナンスおよびクロミナンスのフォーマットまたは色空間、例えば、YCbCrで表現され、YCbCrは、Y(時々、代わりにLも使用される)によって示されるルミナンス成分、およびCbおよびCrによって示される2つのクロミナンス成分を備える。ルミナンス(または短縮してルーマ)成分Yは、輝度または(例えば、グレースケールピクチャにおけるような)グレーレベル強度を表現し、一方、2つのクロミナンス(または短縮してクロマ)成分CbおよびCrは、色度または色情報成分を表現する。従って、YCbCrフォーマットでのピクチャは、ルミナンスサンプル値(Y)のルミナンスサンプルアレイ、およびクロミナンス値(CbおよびCr)の2つのクロミナンスサンプルアレイを備える。RGBフォーマットでのピクチャは、YCbCrフォーマットにコンバートされ、または変換されてよく、逆も同様であり、プロセスは色変換またはコンバートとしても知られる。ピクチャがモノクロであるならば、ピクチャはルミナンスサンプルアレイのみを備えてよい。従って、ピクチャは、例えば、モノクロフォーマットでのルーマサンプルのアレイ、または4:2:0、4:2:2、および4:4:4カラーフォーマットでの、ルーマサンプルのアレイおよびクロマサンプルの2つの対応するアレイであってよい。
ビデオエンコーダ20の実施形態は、ピクチャ17を複数の(典型的に重複しない)ピクチャブロック203に区分するように構成されたピクチャ区分ユニット(図2に描写されない)を備えてよい。これらのブロックは、ルートブロック、マクロブロック(H.264/AVC)、またはコーディングツリーブロック(coding tree block(CTB))またはコーディングツリーユニット(coding tree unit(CTU))(H.265/HEVCおよびVVC)とも呼ばれ得る。ピクチャ区分ユニットは、ビデオシーケンスの全てのピクチャについて同じブロックサイズ、およびブロックサイズを定義する対応するグリッドを使用し、またはピクチャまたはピクチャのサブセットまたはグループの間でブロックサイズを変更し、各ピクチャを対応するブロックに区分するように構成され得る。
さらなる実施形態では、ビデオエンコーダは、ピクチャ17のブロック203、例えば、ピクチャ17を形成する1つの、いくつかの、または全てのブロックを、直接に受信するように構成され得る。ピクチャブロック203は、現在のピクチャブロック、またはコーディングされるべきピクチャブロックとも呼ばれ得る。
ピクチャ17のように、ピクチャブロック203は再び、強度値(サンプル値)を有するサンプルの、しかしピクチャ17よりも小さい寸法の、2次元のアレイまたは行列であるか、またはそのように見なされることが可能である。言い換えれば、ブロック203は、例えば、1つのサンプルアレイ(例えば、モノクロピクチャ17の場合にはルーマアレイ、またはカラーピクチャの場合にはルーマまたはクロマアレイ)、または3つのサンプルアレイ(例えば、カラーピクチャ17の場合にはルーマおよび2つのクロマアレイ)、または適用されるカラーフォーマットに依存して任意の他の数および／または種類のアレイを備えてよい。ブロック203の水平および垂直方向(または軸)におけるサンプルの数は、ブロック203のサイズを定義する。従って、ブロックは、例えば、サンプルのM×N(M列×N行)アレイ、または変換係数のM×Nアレイであってよい。
図2に表されたようなビデオエンコーダ20の実施形態は、ピクチャ17をブロックごとにエンコードするように構成されてよく、例えば、エンコードおよび予測がブロック203ごとに実行される。
残差計算
残差計算ユニット204は、例えば、サンプルごとに(ピクセルごとに)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を減算することによって、ピクチャブロック203および予測ブロック265(予測ブロック265についてのさらなる詳細は後で提供される)に基づいて残差ブロック205(残差205とも呼ばれる)を計算して、サンプル領域における残差ブロック205を取得するように構成され得る。
変換
変換処理ユニット206は、残差ブロック205のサンプル値において変換、例えば、離散コサイン変換(discrete cosine transform(DCT))または離散サイン変換(discrete sine transform(DST))を適用して、変換領域における変換係数207を取得するように構成され得る。変換係数207は、変換残差係数とも呼ばれ、変換領域における残差ブロック205を表現してよい。
変換処理ユニット206は、H.265/HEVCについて指定された変換のようなDCT/DSTの整数近似を適用するように構成され得る。直交DCT変換と比較して、そのような整数近似は、典型的に、ある係数によってスケーリングされる。順および逆変換によって処理される残差ブロックのノルムを維持するために、変換プロセスの部分として追加のスケーリング係数が適用される。スケーリング係数は、典型的に、スケーリング係数がシフト演算のために2の累乗であること、変換係数のビット深度、確度と実装コストの間のトレードオフなどのような、ある制限に基づいて選ばれる。例えば、逆変換処理ユニット212による、例えば、逆変換(および、例えば、ビデオデコーダ30における逆変換処理ユニット312による、対応する逆変換)について特定のスケーリング係数が指定され、エンコーダ20における、例えば、変換処理ユニット206による、順変換について対応するスケーリング係数が、それに応じて指定され得る。
ビデオエンコーダ20の実施形態(それぞれ、変換処理ユニット206)は、例えば、直接に、またはエントロピーエンコードユニット270を介してエンコードされ、または圧縮された、変換パラメータ、例えば、1つまたは複数の変換のタイプを出力するように構成されてよく、それによって、例えば、ビデオデコーダ30は、デコードのために変換パラメータを受信して使用し得る。
量子化
量子化ユニット208は、例えば、スカラー量子化またはベクトル量子化を適用することによって、変換係数207を量子化して量子化された係数209を取得するように構成され得る。量子化された係数209は、量子化された変換係数209または量子化された残差係数209とも呼ばれ得る。
量子化プロセスは、変換係数207のいくつかまたは全てに関連付けられたビット深度を減少させ得る。例えば、nビットの変換係数は、量子化の間にmビットの変換係数に切り捨てられてよく、ここでnはmよりも大きい。量子化の程度は、量子化パラメータ(Quantization Parameter(QP))を調整することによって修正され得る。例えば、スカラー量子化について、より細かいかまたはより粗い量子化を達成するために、異なるスケーリングが適用され得る。より小さい量子化ステップサイズは、より細かい量子化に対応し、一方、より大きい量子化ステップサイズは、より粗い量子化に対応する。適用可能な量子化ステップサイズは、量子化パラメータ(QP)によって示され得る。量子化パラメータは、例えば、適用可能な量子化ステップサイズの予め定義されたセットへのインデックスであってよい。例えば、小さい量子化パラメータは、細かい量子化(小さい量子化ステップサイズ)に対応してよく、大きい量子化パラメータは、粗い量子化(大きい量子化ステップサイズ)に対応してよく、またはその逆も同様である。量子化は、量子化ステップサイズによる除算を含んでよく、例えば、逆量子化ユニット210による、対応するおよび／または逆の逆量子化は、量子化ステップサイズによる乗算を含んでよい。いくつかの規格、例えば、HEVCによる実施形態は、量子化パラメータを使用して量子化ステップサイズを決定するように構成され得る。一般に、量子化ステップサイズは、除算を含む式の固定点近似を使用して、量子化パラメータに基づいて計算され得る。量子化ステップサイズおよび量子化パラメータについての式の固定点近似において使用されるスケーリングの故に修正され得る、残差ブロックのノルムを復元するために、量子化および逆量子化について追加のスケーリング係数が導入されてよい。1つの例示の実装では、逆変換および逆量子化のスケーリングが組み合わせられ得る。代替として、カスタマイズされた量子化テーブルが使用され、例えば、ビットストリーム内で、エンコーダからデコーダにシグナリングされてよい。量子化は損失のある演算であり、増加する量子化ステップサイズとともに損失が増加する。
ビデオエンコーダ20の実施形態(それぞれ、量子化ユニット208)は、例えば、直接に、またはエントロピーエンコードユニット270を介してエンコードされた、量子化パラメータ(QP)を出力するように構成されてよく、それによって、例えば、ビデオデコーダ30は、デコードのために量子化パラメータを受信し、適用し得る。
逆量子化
逆量子化ユニット210は、例えば、量子化ユニット208と同じ量子化ステップサイズに基づいて、またはそれを使用して、量子化ユニット208によって適用される量子化方式の逆を適用することによって、量子化された係数において量子化ユニット208の逆量子化を適用して逆量子化された係数211を取得するように構成される。逆量子化された係数211は、逆量子化された残差係数211とも呼ばれ、量子化による損失に起因して典型的には変換係数と同一でないが、変換係数207に対応し得る。
逆変換
逆変換処理ユニット212は、変換処理ユニット206によって適用される変換の逆変換、例えば、逆離散コサイン変換(DCT)または逆離散サイン変換(DST)、または他の逆変換を適用して、サンプル領域における再構成された残差ブロック213(または、対応する逆量子化された係数213)を取得するように構成される。再構成された残差ブロック213は、変換ブロック213とも呼ばれ得る。
再構成
再構成ユニット214(例えば、加算器または合算器214)は、例えば、再構成された残差ブロック213のサンプル値と予測ブロック265のサンプル値を、サンプルごとに、加算することによって、変換ブロック213(すなわち、再構成された残差ブロック213)を予測ブロック265に加算してサンプル領域における再構成されたブロック215を取得するように構成される。
フィルタ処理
ループフィルタユニット220(または、短縮して「ループフィルタ」220)は、再構成されたブロック215をフィルタ処理してフィルタ処理されたブロック221を取得するように、または一般に、再構成されたサンプルをフィルタ処理してフィルタ処理されたサンプルを取得するように構成される。ループフィルタユニットは、例えば、ピクセル遷移を平滑化し、またはそうでなくビデオ品質を改善するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(Sample-Adaptive Offset(SAO))フィルタ、または1つまたは複数の他のフィルタ、例えば、バイラテラルフィルタ、適応ループフィルタ(Adaptive Loop Filter(ALF))、鮮鋭化、平滑化フィルタ、または協調フィルタ、またはそれらの任意の組み合わせのような1つまたは複数のループフィルタを備えてよい。ループフィルタユニット220はループ内フィルタであるとして図2に表されているが、他の構成では、ループフィルタユニット220は、ポストループフィルタとして実現されてよい。フィルタ処理されたブロック221は、フィルタ処理された再構成されたブロック221とも呼ばれ得る。
ビデオエンコーダ20の実施形態(それぞれ、ループフィルタユニット220)は、例えば、直接に、またはエントロピーエンコードユニット270を介してエンコードされた、(サンプル適応オフセット情報のような)ループフィルタパラメータを出力するように構成されてよく、それによって、例えば、デコーダ30は、デコードのために同じループフィルタパラメータまたはそれぞれのループフィルタを受信し、適用し得る。
デコードされたピクチャバッファ
デコードされたピクチャバッファ(DPB)230は、ビデオエンコーダ20によってビデオデータをエンコードするための、参照ピクチャまたは一般に参照ピクチャデータを記憶するメモリであってよい。DPB 230は、同期DRAM(synchronous DRAM(SDRAM))を含むダイナミックランダムアクセスメモリ(dynamic random access memory(DRAM))、磁気抵抗RAM(magnetoresistive RAM(MRAM))、抵抗性RAM(resistive RAM(RRAM(登録商標)))、または他のタイプのメモリデバイスのような、様々なメモリデバイスのうちのいずれかによって形成され得る。デコードされたピクチャバッファ(DPB)230は、1つまたは複数のフィルタ処理されたブロック221を記憶するように構成され得る。デコードされたピクチャバッファ230は、以前にフィルタ処理された他のブロック、例えば、同じ現在のピクチャの、または異なるピクチャの、以前に再構成され、フィルタ処理されたブロック221、例えば、以前に再構成されたピクチャを記憶するようにさらに構成されてよく、例えば、インター予測のために、以前に再構成され、すなわちデコードされた完全なピクチャ(および、対応する参照ブロックおよびサンプル)、および／または部分的に再構成された現在のピクチャ(および、対応する参照ブロックおよびサンプル)を提供し得る。例えば、再構成されたブロック215が、ループフィルタユニット220によってフィルタ処理されていない、または再構成されたブロックまたはサンプルのさらに処理された任意の他のバージョンであるならば、デコードされたピクチャバッファ(DPB)230はまた、1つまたは複数のフィルタ処理されていない再構成されたブロック215、または一般に、フィルタ処理されていない再構成されたサンプルを記憶するように構成されてもよい。
モード選択(区分および予測)
モード選択ユニット260は、区分ユニット262、インター予測ユニット244、およびイントラ予測ユニット254を備え、元のピクチャデータ、例えば、元のブロック203(現在のピクチャ17の現在のブロック203)、および同じ(現在の)ピクチャの、かつ／または1つまたは複数の以前にデコードされたピクチャからの、例えば、デコードされたピクチャバッファ230または他のバッファ(例えば、表されていないラインバッファ)からの、再構成されたピクチャデータ、例えば、フィルタ処理された、および／またはフィルタ処理されていない再構成されたサンプルまたはブロックを受信または取得するように構成される。再構成されたピクチャデータは、予測ブロック265または予測子265を取得するために、予測、例えば、インター予測またはイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、(区分を含まない)現在のブロック予測モードについて区分、および予測モード(例えば、イントラまたはインター予測モード)を決定または選択し、残差ブロック205の計算のために、かつ再構成されたブロック215の再構成のために使用される、対応する予測ブロック265を生成するように構成され得る。
モード選択ユニット260の実施形態は、最も良い整合、または言い換えれば最小残差(最小残差は、伝送または記憶のためのより良い圧縮を意味する)、または最小シグナリングオーバーヘッド(最小シグナリングオーバーヘッドとは、伝送または記憶のためのより良い圧縮を意味する)を提供し、または両方を考慮し、または釣り合わせる、区分および予測モードを(例えば、モード選択ユニット260によってサポートされ、またはモード選択ユニット260に対して利用可能なものから)選択するように構成され得る。モード選択ユニット260は、レート歪み最適化(Rate Distortion Optimization(RDO))に基づいて区分および予測モードを決定する、すなわち、最小のレート歪みを提供する予測モードを選択するように構成され得る。この文脈における「最も良い」、「最小の」、「最適な」などのような用語は、全体的な「最も良い」、「最小の」、「最適な」などを必ずしも指さず、しきい値または他の制限を上回るまたは下回る値のような、終了または選択の基準の充足を指してもよく、潜在的に「準最適な選択」に導くが、複雑さおよび処理時間を減少させる。
言い換えれば、区分ユニット262は、例えば、4分木区分(quad-tree-partitioning(QT))、バイナリ区分(binary partitioning(BT))、またはトリプルツリー区分(triple-tree-partitioning(TT))、またはそれらの任意の組み合わせを反復的に使用して、ブロック203をより小さいブロック区分または(再びブロックを形成する)サブブロックに区分し、例えば、ブロック区分またはサブブロックの各々について予測を実行するように構成されてよく、モード選択は、区分されるブロック203のツリー構造の選択を備え、予測モードは、ブロック区分またはサブブロックの各々に適用される。
以下では、例示のビデオエンコーダ20によって実行される(例えば、区分ユニット260による)区分および(インター予測ユニット244およびイントラ予測ユニット254による)予測処理が、より詳細に説明されるであろう。
区分
区分ユニット262は、現在のブロック203をより小さい区分、例えば、正方形または長方形のサイズのより小さいブロックに、区分(または分割)し得る。これらのより小さいブロック(サブブロックとも呼ばれ得る)は、いっそう小さい区分にさらに区分され得る。これは、ツリー区分または階層的ツリー区分とも呼ばれ、例えば、ルートツリーレベル0(階層レベル0、深度0)におけるルートブロックは、再帰的に区分され、例えば、次に低いツリーレベルの2つ以上のブロック、例えば、ツリーレベル1(階層レベル1、深度1)におけるノードに区分されてよく、これらのブロックは再び、例えば、終了基準が充足され、例えば、最大ツリー深度または最小ブロックサイズが到達されたので区分が終了されるまで、次に低いレベル、例えば、ツリーレベル2(階層レベル2、深度2)などの2つ以上のブロックに区分されてよい。さらに区分されないブロックは、ツリーのリーフブロックまたはリーフノードとも呼ばれる。2つの区分への区分を使用するツリーは2分木(Binary-Tree(BT))と呼ばれ、3つの区分への区分を使用するツリーは3分木(Ternary-Tree(TT))と呼ばれ、4つの区分への区分を使用するツリーは4分木(Quad-Tree(QT))と呼ばれる。
前に述べたように、ここで使用される用語「ブロック」は、ピクチャの一部分、特に正方形または長方形の部分であってよい。例えば、HEVCおよびVVCを参照すると、ブロックは、コーディングツリーユニット(coding tree unit(CTU))、コーディングユニット(coding unit(CU))、予測ユニット(prediction unit(PU))、および変換ユニット(transform unit(TU))、および／または対応するブロック、例えば、コーディングツリーブロック(coding tree block(CTB))、コーディングブロック(coding block(CB))、変換ブロック(transform block(TB))、または予測ブロック(prediction block(PB))であってよく、またはそれらに対応し得る。
例えば、コーディングツリーユニット(CTU)は、3つのサンプルアレイを有するピクチャのルーマサンプルのCTB、クロマサンプルの2つの対応するCTB、またはモノクロピクチャまたは3つの別個の色平面を使用してコーディングされるピクチャのサンプルのCTB、およびサンプルをコーディングするために使用されるシンタックス構造であってよく、またはそれらを備えてもよい。それに対応して、コーディングツリーブロック(CTB)は、CTBへの成分の分割が区分であるようなNのいくつかの値についてサンプルのN×Nブロックであってよい。コーディングユニット(CU)は、3つのサンプルアレイを有するピクチャのルーマサンプルのコーディングブロック、クロマサンプルの2つの対応するコーディングブロック、またはモノクロピクチャまたは3つの別個の色平面を使用してコーディングされるピクチャのサンプルのコーディングブロック、およびサンプルをコーディングするために使用されるシンタックス構造であってよく、またはそれらを備えてもよい。それに対応して、コーディングブロック(CB)は、コーディングブロックへのCTBの分割が区分であるようなMおよびNのいくつかの値についてサンプルのM×Nブロックであってよい。
例えば、HEVCによる実施形態では、コーディングツリーユニット(CTU)は、コーディングツリーとして表記される4分木構造を使用することによってCUに分割され得る。ピクチャエリアを、(時間的な)インターピクチャ予測を使用してコーディングすべきか、または(空間的な)イントラピクチャ予測を使用してコーディングすべきかの決定は、CUレベルにおいて行われる。各CUは、PU分割タイプに従って1つ、2つ、または4つのPUにさらに分割されることが可能である。1つのPUの内部では、同じ予測プロセスが適用され、関連する情報がPUごとにデコーダへ伝送される。PU分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、CUは、CUについてのコーディングツリーと類似の別の4分木構造に従って変換ユニット(TU)に区分されることが可能である。
例えば、多用途ビデオコーディング(VVC)と呼ばれる、現在策定中の最新のビデオコーディング規格による実施形態では、4分木および2分木(Quad-Tree and Binary Tree(QTBT))区分が、コーディングブロックを区分するために使用される。QTBTブロック構造において、CUは、正方形または長方形のいずれかの形状を有することができる。例えば、コーディングツリーユニット(CTU)は、4分木構造によって最初に区分される。4分木リーフノードは、2分木または3分木(またはトリプルツリー)構造によってさらに区分される。区分するツリーリーフノードは、コーディングユニット(CU)と呼ばれ、そのセグメント化は、さらなる区分なしで予測および変換処理のために使用される。これは、CU、PU、およびTUがQTBTコーディングブロック構造において同じブロックサイズを有することを意味する。並行して、複数の区分、例えば、トリプルツリー区分が、QTBTブロック構造と一緒に使用されることも提案された。
一例では、ビデオエンコーダ20のモード選択ユニット260は、ここで説明される区分技法の任意の組み合わせを実行するように構成され得る。
上記で説明されたように、ビデオエンコーダ20は、(予め決定された)予測モードのセットから、最も良いまたは最適な予測モードを決定または選択するように構成される。予測モードのセットは、例えば、イントラ予測モードおよび／またはインター予測モードを備えてよい。
イントラ予測
イントラ予測モードのセットは、例えば、HEVCにおいて定義されるように、35個の異なるイントラ予測モード、例えば、DC(または平均)モードおよび平面モードのような無方向性モード、または方向性モードを備えてよく、または、例えば、VVCについて定義されるように、67個の異なるイントラ予測モード、例えば、DC(または平均)モードおよび平面モードのような無方向性モード、または方向性モードを備えてよい。
VTM(Versatile Test Model(多用途テストモデル))バージョン3.0は、93個のイントラ予測モード、ならびに4タップサブピクセルイントラ補間フィルタ処理、および位置に依存した予測組み合わせ(position-dependent prediction combination(PDPC))を含む、いくつかのイントラ平滑化ツールを使用する。PDPCは、DC、平面、または角度イントラ予測モードを使用するイントラ予測の結果である予測されたサンプルの修正の、統一されたメカニズムとして提案されている。
イントラ予測ユニット254は、イントラ予測モードのセットのイントラ予測モードに従ってイントラ予測ブロック265を生成するために、同じ現在のピクチャの隣接ブロックの再構成されたサンプルを使用するように構成される。
イントラ予測ユニット254(または一般にモード選択ユニット260)は、エンコードされたピクチャデータ21への包含のためにシンタックス要素266の形式でイントラ予測パラメータ(または一般にブロックのための選択されたイントラ予測モードを示す情報)をエントロピーエンコードユニット270に出力するようにさらに構成され、それによって、例えば、ビデオデコーダ30は、デコードのために予測パラメータを受信および使用し得る。
インター予測
インター予測モードのセット(または可能なインター予測モード)は、利用可能な参照ピクチャ(すなわち、例えば、DBP 230に記憶されている、少なくとも部分的にデコードされた以前のピクチャ)、および他のインター予測パラメータ、例えば、最も良く整合する参照ブロックを探索するために参照ピクチャ全体が使用されるか、または参照ピクチャの一部のみ、例えば、現在のブロックのエリアの周囲の探索ウィンドウエリアが使用されるか、および／または、例えば、ピクセル補間、例えば、ハーフ／セミペルおよび／またはクォーターペル補間が適用されるか否かに依存する。
上記の予測モードに加えて、スキップモードおよび／または直接モードが適用されてよい。
インター予測ユニット244は、動き推定(motion estimation(ME))ユニットおよび動き補償(motion compensation(MC))ユニット(両方とも図2に表されていない)を含んでよい。動き推定ユニットは、動き推定のために、ピクチャブロック203(現在のピクチャ17の現在のピクチャブロック203)およびデコードされたピクチャ231、または少なくとも1つまたは複数の以前に再構成されたブロック、例えば、1つまたは複数の他の／異なる以前にデコードされたピクチャ231の再構成されたブロックを、受信または取得するように構成され得る。例えば、ビデオシーケンスは、現在のピクチャおよび以前にデコードされたピクチャ231を備えてよく、または言い換えれば、現在のピクチャおよび以前にデコードされたピクチャ231は、ビデオシーケンスを形成するピクチャのシーケンスの一部であってよく、またはそれらを形成してよい。
エンコーダ20は、例えば、複数の他のピクチャのうちの同じまたは異なるピクチャの複数の参照ブロックから参照ブロックを選択し、参照ピクチャ(または参照ピクチャインデックス)、および／または参照ブロックの位置(x、y座標)と現在のブロックの位置との間のオフセット(空間オフセット)を、インター予測パラメータとして動き推定ユニットに提供するように構成され得る。このオフセットは動きベクトル(motion vector(MV))とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得し、例えば受信し、インター予測パラメータに基づいて、またはそれを使用して、インター予測を実行してインター予測ブロック265を取得するように構成される。動き補償ユニットによって実行される動き補償は、動き推定によって決定された動き／ブロックベクトルに基づいて予測ブロックをフェッチまたは生成すること、おそらくサブピクセル精度への補間を実行することを伴ってよい。補間フィルタ処理は、知られているピクセルサンプルから追加のピクセルサンプルを生成してよく、従って、ピクチャブロックをコーディングするために使用され得る候補予測ブロックの数を潜在的に増加させる。現在のピクチャブロックのPUについての動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうちの1つの中で動きベクトルが指し示す予測ブロックを位置付け得る。
動き補償ユニットはまた、ビデオスライスのピクチャブロックをデコードする際のビデオデコーダ30による使用のために、ブロックおよびビデオスライスに関連付けられたシンタックス要素を生成し得る。
エントロピーコーディング
エントロピーエンコードユニット270は、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および／または他のシンタックス要素において、例えば、エントロピーエンコードアルゴリズムまたは方式(例えば、可変長コーディング(variable length coding(VLC))方式、コンテキスト適応VLC方式(context adaptive VLC scheme(CAVLC))、算術コーディング方式、2値化、コンテキスト適応バイナリ算術コーディング(context adaptive binary arithmetic coding(CABAC))、シンタックスベースのコンテキスト適応バイナリ算術コーディング(syntax-based context-adaptive binary arithmetic coding(SBAC))、確率区間区分エントロピー(probability interval partitioning entropy(PIPE))コーディング、または別のエントロピーエンコード方法論または技法)、またはバイパス(圧縮なし)を適用して、例えば、エンコードされたビットストリーム21の形式で、出力272を介して出力されることが可能であるエンコードされたピクチャデータ21を取得するように構成され、それによって、例えば、ビデオデコーダ30は、デコードのためにパラメータを受信および使用し得る。エンコードされたビットストリーム21は、ビデオデコーダ30へ伝送され、またはビデオデコーダ30による後の伝送または取り出しのためにメモリに記憶され得る。
ビデオエンコーダ20の他の構造的変形が、ビデオストリームをエンコードするために使用されることが可能である。例えば、非変換ベースのエンコーダ20が、あるブロックまたはフレームについて変換処理ユニット206なしで直接に残差信号を量子化することができる。別の実装では、エンコーダ20は、単一のユニットの中に組み合わせられた量子化ユニット208および逆量子化ユニット210を有することができる。
デコーダおよびデコード方法
図3は、この本出願の技法を実現するように構成されるビデオデコーダ30の一例を表す。ビデオデコーダ30は、例えば、エンコーダ20によってエンコードされた、エンコードされたピクチャデータ21(例えば、エンコードされたビットストリーム21)を受信して、デコードされたピクチャ331を取得するように構成される。エンコードされたピクチャデータまたはビットストリームは、エンコードされたピクチャデータをデコードするための情報、例えば、エンコードされたビデオスライスのピクチャブロックを表現するデータ、および関連付けられたシンタックス要素を備える。
図3の例では、デコーダ30は、エントロピーデコードユニット304、逆量子化ユニット310、逆変換処理ユニット312、再構成ユニット314(例えば、合算器314)、ループフィルタ320、デコードされたピクチャバッファ(DBP)330、インター予測ユニット344、およびイントラ予測ユニット354を備える。インター予測ユニット344は、動き補償ユニットであってよく、またはそれを含んでもよい。ビデオデコーダ30は、いくつかの例では、図2からのビデオエンコーダ100に関して説明されたエンコードパスとは一般に相補的なデコードパスを実行し得る。
エンコーダ20に関して説明されたように、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループフィルタ220、デコードされたピクチャバッファ(DPB)230、インター予測ユニット344、およびイントラ予測ユニット354は、ビデオエンコーダ20の「ビルトインデコーダ」を形成するとしても言及される。従って、逆量子化ユニット310は逆量子化ユニット110と機能において同一であってよく、逆変換処理ユニット312は逆変換処理ユニット212と機能において同一であってよく、再構成ユニット314は再構成ユニット214と機能において同一であってよく、ループフィルタ320はループフィルタ220と機能において同一であってよく、デコードされたピクチャバッファ330はデコードされたピクチャバッファ230と機能において同一であってよい。従って、ビデオ20エンコーダのそれぞれのユニットおよび機能について提供された説明は、それに対応してビデオデコーダ30のそれぞれのユニットおよび機能に適用される。
エントロピーデコード
エントロピーデコードユニット304は、ビットストリーム21(または一般にエンコードされたピクチャデータ21)を構文解析し、例えば、エンコードされたピクチャデータ21へのエントロピーデコードを実行して、例えば、量子化された係数309および／またはデコードされたコーディングパラメータ(図3に表されていない)、例えば、インター予測パラメータ(例えば、参照ピクチャインデックスおよび動きベクトル)、イントラ予測パラメータ(例えば、イントラ予測モードまたはインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および／または他のシンタックス要素のうちのいずれかまたは全てを取得するように構成される。エントロピーデコードユニット304は、エンコーダ20のエントロピーエンコードユニット270に関して説明されたようなエンコード方式に対応するデコードアルゴリズムまたは方式を適用するように構成され得る。エントロピーデコードユニット304は、モード選択ユニット360にインター予測パラメータ、イントラ予測パラメータ、および／または他のシンタックス要素を、デコーダ30の他のユニットに他のパラメータを提供するようにさらに構成され得る。ビデオデコーダ30は、ビデオスライスレベルおよび／またはビデオブロックレベルにおいてシンタックス要素を受信し得る。
逆量子化
逆量子化ユニット310は、(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)エンコードされたピクチャデータ21から量子化パラメータ(quantization parameter(QP))(または一般に逆量子化に関する情報)および量子化された係数を受信し、量子化パラメータに基づいて、デコードされた量子化された係数309において逆量子化を適用して、変換係数311とも呼ばれ得る逆量子化された係数311を取得するように構成され得る。逆量子化プロセスは、量子化の程度、および同様に、適用されるべき逆量子化の程度を決定するために、ビデオスライスの中のビデオブロックごとにビデオエンコーダ20によって決定された量子化パラメータの使用を含んでよい。
逆変換
逆変換処理ユニット312は、変換係数311とも呼ばれる逆量子化された係数311を受信し、サンプル領域において再構成された残差ブロック213を取得するために逆量子化された係数311に変換を適用するように構成され得る。再構成された残差ブロック213は、変換ブロック313とも呼ばれ得る。変換は、逆変換、例えば、逆DCT、逆DST、逆整数変換、または概念的に類似の逆変換プロセスであってよい。逆変換処理ユニット312は、逆量子化された係数311に適用されるべき変換を決定するために、(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)エンコードされたピクチャデータ21から変換パラメータまたは対応する情報を受信するようにさらに構成され得る。
再構成
再構成ユニット314(例えば、加算器または合算器314)は、例えば、再構成された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを加算することによって、予測ブロック365に再構成された残差ブロック313を加算して、サンプル領域において再構成されたブロック315を取得するように構成され得る。
フィルタ処理
(コーディングループ内またはコーディングループの後のいずれかの)ループフィルタユニット320は、例えば、ピクセル遷移を平滑化し、またはビデオ品質をそうでなく改善するために、再構成されたブロック315をフィルタ処理してフィルタ処理されたブロック321を取得するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(sample-adaptive offset(SAO))フィルタ、または1つまたは複数の他のフィルタ、例えば、バイラテラルフィルタ、適応ループフィルタ(adaptive loop filter(ALF))、鮮鋭化、平滑化フィルタ、または協調フィルタ、またはそれらの任意の組み合わせのような1つまたは複数のループフィルタを備えてよい。ループフィルタユニット320はループ内フィルタであるとして図3に表されているが、他の構成では、ループフィルタユニット320はポストループフィルタとして実現されてもよい。
デコードされたピクチャバッファ
ピクチャのデコードされたビデオブロック321は、次いで、他のピクチャについての後続の動き補償のために、かつ／または出力されるそれぞれ表示のために、参照ピクチャとしてデコードされたピクチャ331を記憶するデコードされたピクチャバッファ330に記憶される。
デコーダ30は、ユーザへの提示または閲覧のために、例えば、出力312を介してデコードされたピクチャ311を出力するように構成される。
予測
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一であってよく、イントラ予測ユニット354は、機能においてインター予測ユニット254と同一であってよく、区分および／または予測パラメータ、またはエンコードされたピクチャデータ21から(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)受信されたそれぞれの情報に基づいて、分割または区分決定および予測を実行する。モード選択ユニット360は、(フィルタ処理された、またはフィルタ処理されていない)再構成されたピクチャ、ブロック、またはそれぞれのサンプルに基づいて、ブロックごとに予測(イントラまたはインター予測)を実行して、予測ブロック365を取得するように構成され得る。
イントラコーディングされた(I)スライスとしてビデオスライスがコーディングされるとき、モード選択ユニット360のイントラ予測ユニット354は、シグナリングされたイントラ予測モード、および現在のピクチャの以前にデコードされたブロックからのデータに基づいて、現在のビデオスライスのピクチャブロックについて予測ブロック365を生成するように構成される。インターコーディングされた(すなわち、BまたはP)スライスとしてビデオピクチャがコーディングされるとき、モード選択ユニット360のインター予測ユニット344(例えば、動き補償ユニット)は、動きベクトル、およびエントロピーデコードユニット304から受信された他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックについて予測ブロック365を作り出すように構成される。インター予測について、予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから作り出されてよい。ビデオデコーダ30は、DPB 330に記憶された参照ピクチャに基づいてデフォルトの構成技法を使用して、参照フレームリスト、リスト0およびリスト1を構成し得る。
モード選択ユニット360は、動きベクトルおよび他のシンタックス要素を構文解析することによって、現在のビデオスライスのビデオブロックについて予測情報を決定し、予測情報を使用して、デコードされている現在のビデオブロックについて予測ブロックを作り出すように構成される。例えば、モード選択ユニット360は、受信されたシンタックス要素のうちのいくつかを使用して、現在のビデオスライス内のビデオブロックをデコードするために、ビデオスライスのビデオブロックをコーディングするために使用された予測モード(例えば、イントラまたはインター予測)、インター予測スライスタイプ(例えば、Bスライス、Pスライス、またはGPBスライス)、スライスについての参照ピクチャリストのうちの1つまたは複数についての構成情報、スライスのインターエンコードされたビデオブロックごとの動きベクトル、スライスのインターコーディングされたビデオブロックごとのインター予測ステータス、および他の情報を決定する。
ビデオデコーダ30の他の変形が、エンコードされたピクチャデータ21をデコードするために使用されることが可能である。例えば、デコーダ30は、ループフィルタ処理ユニット320なしで出力ビデオストリームを作り出すことができる。例えば、非変換ベースのデコーダ30が、あるブロックまたはフレームについて逆変換処理ユニット312なしで直接に残差信号を逆量子化することができる。別の実装では、ビデオデコーダ30は、単一のユニットの中に組み合わせられた逆量子化ユニット310および逆変換処理ユニット312を有することができる。
エンコーダ20およびデコーダ30において、現在のステップの処理結果がさらに処理され、次いで、次のステップに出力されてよいことが理解されるべきである。例えば、補間フィルタ処理、動きベクトル導出、またはループフィルタ処理の後、補間フィルタ処理、動きベクトル導出、またはループフィルタ処理の処理結果において、クリップまたはシフトのようなさらなる演算が実行されてよい。
現在のブロックの導出された動きベクトル(アフィンモードの制御点動きベクトル、アフィン、平面、ATMVPモードにおけるサブブロック動きベクトル、時間動きベクトルなどを含むが、それらに限定されない)に、さらなる演算が適用され得ることが注記されるべきである。例えば、動きベクトルの値は、その表現ビットに従って予め定義された範囲に制限される。動きベクトルの表現ビットがbitDepthであるならば、範囲は-2^(bitDepth-1)～2^(bitDepth-1)-1であり、ここで「^」はべき乗を意味する。例えば、bitDepthが16に等しく設定されるならば、範囲は-32768～32767であり、bitDepthが18に等しく設定されるならば、範囲は-131072～131071である。例えば、導出される動きベクトル(例えば、1つの8×8ブロック内の4つの4×4サブブロックのMV)の値は、4つの4×4サブブロックMVの整数部分の間の最大差が、1ピクセルより大きくない、のような、Nピクセルより大きくないように制限される。ここで、bitDepthに従って動きベクトルを制限するための2つの方法を提供する。
方法1:フロー演算によってオーバーフローMSB(最上位ビット)を除去する。
ux = ( mvx + 2bitDepth ) % 2bitDepth (1)
mvx = ( ux >= 2bitDepth-1 ) ? ( ux - 2bitDepth ) : ux (2)
uy = ( mvy + 2bitDepth ) % 2bitDepth (3)
mvy = ( uy >= 2bitDepth-1 ) ? ( uy - 2bitDepth ) : uy (4)
ここで、mvxは画像ブロックまたはサブブロックの動きベクトルの水平成分であり、mvyは画像ブロックまたはサブブロックの動きベクトルの垂直成分であり、uxおよびuyは中間値を示す。
例えば、mvxの値が-32769であるならば、式(1)および(2)を適用した後、結果として生じる値は32767である。コンピュータシステムでは、10進数は2の補数として記憶される。-32769の2の補数は1,0111,1111,1111,1111(17ビット)であり、次いで、MSBが廃棄され、そのため、結果として生じる2の補数は、式(1)および(2)を適用することによる出力と同じである0111,1111,1111,1111である(10進数は32767である)。
ux = ( mvpx + mvdx +2bitDepth ) % 2bitDepth (5)
mvx = ( ux >= 2bitDepth-1 ) ? ( ux - 2bitDepth ) : ux (6)
uy = ( mvpy + mvdy +2bitDepth ) % 2bitDepth (7)
mvy = ( uy >= 2bitDepth-1 ) ? ( uy - 2bitDepth ) : uy (8)
式(5)～(8)に表されたように、その演算は、mvpとmvdの合算の間に適用され得る。
方法2:値をクリッピングすることによってオーバーフローMSBを除去する。
vx = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vx)
vy = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vy)
ここで、vxは画像ブロックまたはサブブロックの動きベクトルの水平成分であり、vyは画像ブロックまたはサブブロックの動きベクトルの垂直成分であり、x、y、およびzは、MVクリッピングプロセスの3つの入力値に対応し、関数Clip3の定義は以下の通りである。
Figure 2022514885000010
図4は、開示の一実施形態によるビデオコーディングデバイス400の概略図である。ビデオコーディングデバイス400は、ここで説明されるような開示される実施形態を実現するために適している。一実施形態では、ビデオコーディングデバイス400は、図1Aのビデオデコーダ30のようなデコーダ、または図1Aのビデオエンコーダ20のようなエンコーダであってよい。
ビデオコーディングデバイス400は、データを受信するための入口ポート410(または入力ポート410)および受信機ユニット(Rx)420、データを処理するためのプロセッサ、論理ユニット、または中央処理ユニット(CPU)430、データを伝送するための送信機ユニット(Tx)440および出口ポート450(または出力ポート450)、およびデータを記憶するためのメモリ460を備える。ビデオコーディングデバイス400はまた、光信号または電気信号の出口または入口のために入口ポート410、受信機ユニット420、送信機ユニット440、および出口ポート450に結合された、光電気(optical-to-electrical(OE))構成要素および電気光(electrical-to-optical(EO))構成要素を備えてよい。
プロセッサ430は、ハードウェアおよびソフトウェアによって実現される。プロセッサ430は、1つまたは複数のCPUチップ、(例えば、マルチコアプロセッサとしての)コア、FPGA、ASIC、およびDSPとして実現され得る。プロセッサ430は、入口ポート410、受信機ユニット420、送信機ユニット440、出口ポート450、およびメモリ460と通信している。プロセッサ430は、コーディングモジュール470を備える。コーディングモジュール470は、上記で説明された開示された実施形態を実現する。例えば、コーディングモジュール470は、様々なコーディング演算を実現、処理、準備、または提供する。従って、コーディングモジュール470の包含は、ビデオコーディングデバイス400の機能にかなりの改善を提供し、ビデオコーディングデバイス400の異なる状態への変換をもたらす。代替として、コーディングモジュール470は、メモリ460に記憶され、プロセッサ430によって実行される命令として実現される。
メモリ460は、1つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを備えてよく、実行のためにそのようなプログラムが選択されるときにプログラムを記憶するために、かつプログラム実行の間に読み取られる命令およびデータを記憶するために、オーバーフローデータ記憶デバイスとして使用されてよい。メモリ460は、例えば、揮発性および／または不揮発性であってよく、リードオンリメモリ(read-only memory(ROM))、ランダムアクセスメモリ(random access memory(RAM))、3値連想メモリ(ternary content-addressable memory(TCAM))、および／またはスタティックランダムアクセスメモリ(static random-access memory(SRAM))であってよい。
図5は、例示的な実施形態による、図1からのソースデバイス12および宛先デバイス14のいずれかまたは両方として使用され得る装置500の簡略化されたブロック図である。
装置500内のプロセッサ502は中央処理ユニットであることが可能である。代替として、プロセッサ502は、現存する、または今後開発される、情報を操作または処理することが可能な任意の他のタイプのデバイスまたは複数のデバイスであることが可能である。開示される実装は、表されているように単一のプロセッサ、例えば、プロセッサ502を用いて実施されることが可能であるが、速度および効率における利点は、1つより多くのプロセッサを使用して達成されることが可能である。
装置500内のメモリ504は、一実装ではリードオンリメモリ(ROM)デバイスまたはランダムアクセスメモリ(RAM)デバイスであることが可能である。任意の他の適したタイプの記憶デバイスが、メモリ504として使用されることが可能である。メモリ504は、バス512を使用してプロセッサ502によってアクセスされるコードおよびデータ506を含むことができる。メモリ504は、オペレーティングシステム508およびアプリケーションプログラム510をさらに含むことができ、アプリケーションプログラム510は、プロセッサ502がここで説明される方法を実行することを可能にする少なくとも1つのプログラムを含む。例えば、アプリケーションプログラム510は、アプリケーション1からNを含むことができ、アプリケーション1からNは、ここで説明される方法を実行するビデオコーディングアプリケーションをさらに含む。
装置500はまた、ディスプレイ518のような1つまたは複数の出力デバイスを含むことができる。ディスプレイ518は、一例では、ディスプレイを、タッチ入力を感知するように動作可能なタッチ感応性要素と組み合わせる、タッチ感応性ディスプレイであってよい。ディスプレイ518は、バス512を介してプロセッサ502に結合されることが可能である。
ここでは単一のバスとして描写されているが、装置500のバス512は複数のバスからなることが可能である。さらに、2次記憶514が、装置500の他の構成要素に直接に結合されることが可能であり、またはネットワークを介してアクセスされることが可能であり、メモリカードのような単一の統合されたユニット、または複数のメモリカードのような複数のユニットを備えることができる。従って、装置500は広く様々な構成で実現されることが可能である。
イントラ予測モードに依存して、簡略化されたPDPCの特定の実装が異なって実行されることが可能である。
平面、DC、HOR/VERイントラ予測モード(図7および図8の中で、それぞれ、0、1、18、50として表記される)について、以下のステップが実行される。
(x,y)において位置する予測されたサンプルP(x,y)が以下のように計算される。
P(x,y)=Clip1Cmp((wL×R-1,y+wT×Rx,-1-wTL×R-1,-1+(64-wl-wT+wTL)×P(x,y)+32))>>6) (1)
ここで、Rx,-1、R-1,yは、現在のサンプル(x,y)の上および左において位置する参照サンプルを表現し、R-1,-1は、現在のブロックの左上コーナーに位置する参照サンプルを表現し、関数clip1Cmpは以下のように設定される。
- cIdxが0に等しいならば、clip1CmpはClip1Yに等しく設定される。
- そうでないならば、clip1CmpはClip1Cに等しく設定される。
Clip1Y(x)=Clip3(0,(1<<BitDepthY)-1,x)
Clip1C(x)=Clip3(0,(1<<BitDepthC)-1,x)
Figure 2022514885000011
BitDepthYはルーマサンプルのビット深度である。
BitDepthCはルーマサンプルのビット深度である。
BitDepthYおよびBitDepthCは、ビットストリームのシーケンスパラメータセット(sequence parameter set(SPS))内でシグナリングされることが可能である。
Clip1Y(x)およびClip1C(x)の代替の定義が可能である。特に、F. Galpin、P. Bordes、およびF. Le Leannecによって、寄稿JVET-C0040「Adaptive Clipping in JEM2.0」に説明されたように、Clip1Cmp(x)=Clip3(minC,maxC,x)であり、
ここで、minCは、成分ID Cについて現在のスライス内で使用される低い方のクリッピング限度であり、
maxCは、成分ID Cについて現在のスライス内で使用される高い方のクリッピング限度であり、
Cは、色成分(たとえば、ルーマについてY、クロマについてCbおよびCr)であり、
「x>>y」は、xの2の補数整数表現の、2進数のy桁だけの算術右シフトである。この関数は、yの非負の整数値のみについて定義される。右シフトの結果として最上位ビット(MSB)にシフトされるビットは、そのシフト演算の前のxのMSBに等しい値を有する。
DCモード重みは、以下のように計算される。
wT=32>>((y<<1)>>shift)
wL=32>>((x<<1)>>shift)
wTL=-(wL>>4)-(wT>>4)
ここで、shift=(log2(width)+log2(height)+2)>>2である。
平面モードについてwTL=0であるが、水平モードについてwTL=wTであり垂直モードについてwTL=wLである。1つの4×4ブロックの内側の(0,0)および(1,0)位置についてのDCモードPDPC重み(wL,wT,wTL)が図9に表されている。
対角(図7および図8の中で2および66として表記される)および隣接モード(図7または図8の中の58以上および10以下の方向性モード)について、処理は、同じ式(1)を使用して、以下で説明するように実行される。
図10Aは、右上対角モードへのPDPCの拡張のための参照サンプルRx,-1、R-1,y、およびR-1,-1の定義を例示する。予測サンプルpred(x',y')は、予測ブロック内の(x',y')において位置する。参照サンプルRx,-1の座標xは、
x=x'+y'+1
によって与えられ、参照サンプルR-1,yの座標yは、同様に
y=x'+y'+1
によって与えられる。
右上対角モードのためのPDPC重みは、
wT=16>>((y'<<1)>>shift)
wL=16>>((x'<<1)>>shift)
wTL=0
である。
同様に、図10Bは、左下対角モードへのPDPCの拡張のための参照サンプルRx,-1、R-1,y、およびR-1,-1の定義を例示する。参照サンプルRx,-1の座標xは、
x=x'+y'+1
によって与えられ、参照サンプルR-1,yの座標yは、
y=x'+y'+1
である。
右上対角モードのためのPDPC重みは、
wT=16>>((y'<<1)>>shift)
wL=16>>((x'<<1)>>shift)
wTL=0
である。
隣接右上対角モードの場合が図10Cに例示される。隣接右上対角モードのためのPDPC重みは、
wT=32>>((y'<<1)>>shift)
wL=0
wTL=0
である。
同様に、隣接左下対角モードの場合が図10Dに例示される。隣接左下対角モードのためのPDPC重みは、
wL=32>>((x'<<1)>>shift)
wT=0
wTL=0
である。
最後の2つの場合についての参照サンプル座標は、角度モードイントラ予測のためにすでに使用されているテーブルを使用して算出される。分数参照サンプル座標が計算されるならば、参照サンプルの線形補間が使用される。
VVC仕様において指定されるように、簡略化されたPDPCが実行されることが可能である。さらに、以下の表記が使用される。
Figure 2022514885000012
は、逆角度の値であり、
Round(x)=Sign(x)*Floor(Abs(x)+0.5)
Figure 2022514885000013
Floor(x)は、x以下の最大の整数であり、
Log2(x)は、2を底とするxの対数である。
intraPredAngleは、Table 6(表11)の中で指定される角度パラメータであり、
A=C ? B : Dは、3元割当て演算であり、ここで、条件Cが真であるならば、AはBに等しく設定される。
そうでなく、条件Cが偽であるならば、AはDに等しく設定される。
INTRA_PLANARは、平面イントラ予測モード()であり、
INTRA_DCは、DCイントラ予測モードであり、
INTRA_ANGULARXXは、方向性イントラ予測モードのうちの1つであり、ここで、XXは、図8に表されたその数および対応する方向を表記する。
ここで用語が説明されないならば、その定義がVVC仕様またはHEVC/H.265規格仕様において見出されることが可能であることが理解される。
上記の表記が与えられると、簡略化されたPDPCのステップは以下のように定義されることが可能である。
このプロセスへの入力は、
- イントラ予測モードpredModeIntra、
- 変換ブロック幅を指定する変数nTbW、
- 変換ブロック高さを指定する変数nTbH、
- 参照サンプル幅を指定する変数refW、
- 参照サンプル高さを指定する変数refH、
- 予測されたサンプルpredSamples[x][y]、ここでx=0..nTbW-1、y=0..nTbH-1、
- 隣接サンプルp[x][y]、ここでx=-1、y=-1..refH-1、およびx=0..refW-1、y=-1、
- 現在のブロックの色成分を指定する変数cIdx
である。
このプロセスの出力は、修正済みの予測されたサンプルpredSamples[x][y]、ここでx=0..nTbW-1、y=0..nTbH-1である。
cIdxの値に依存して、関数clip1Cmpは以下のように設定される。
- cIdxが0に等しいならば、clip1CmpはClip1Yに等しく設定される。
- そうでないならば、clip1CmpはClip1Cに等しく設定される。
変数nScaleは、((Log2(nTbW)+Log2(nTbH)-2)>>2)に設定される。
参照サンプルアレイmainRef[x]およびsideRef[y]、ここでx=0..refW-1およびy=0..refH-1、は、以下のように導出される。
mainRef[x]=p[x][-1]
sideRef[y]=p[-1][y]
変数refL[x][y]、refT[x][y]、wT[y]、wL[x]、およびwTL[x][y]、ここでx=0..nTbW-1、y=0..nTbH-1、は、以下のように導出される。
- predModeIntraがINTRA_PLANAR、INTRA_DC、INTRA_ANGULAR18、またはINTRA_ANGULAR50に等しいならば、以下が適用される。
refL[x][y]=p[-1][y]
refT[x][y]=p[x][-1]
wT[y]=32>>((y<<1)>>nScale)
wL[x]=32>>((x<<1)>>nScale)
wTL[x][y]=(predModeIntra==INTRA_DC) ? ((wL[x]>>4)+(wT[y]>>4)) : 0
- そうでなく、predModeIntraがINTRA_ANGULAR2またはINTRA_ANGULAR66に等しいならば、以下が適用される。
refL[x][y]=p[-1][x+y+1]
refT[x][y]=p[x+y+1][-1]
wT[y]=(32>>1)>>((y<<1)>>nScale)
wL[x]=(32>>1)>>((x<<1)>>nScale)
wTL[x][y]=0
- そうでなく、predModeIntraがINTRA_ANGULAR10以下であるならば、以下の順序付けされたステップが適用される。
1.変数dXPos[y]、dXFrac[y]、dXInt[y]、およびdX[x][y]は、invAngleを使用して以下のように導出される。
dXPos[y]=((y+1)*invAngle+2)>>2
dXFrac[y]=dXPos[y]&63
dXInt[y]=dXPos[y]>>6
dX[x][y]=x+dXInt[y]
2.変数refL[x][y]、refT[x][y]、wT[y]、wL[x]、およびwTL[x][y]は、以下のように導出される。
refL[x][y]=0
refT[x][y]=(dX[x][y]<refW-1) ? ((64-dXFrac[y])*mainRef[dX[x][y]]+
dXFrac[y]*mainRef[dX[x][y]+1]+32)>>6 : 0 (式1)
wT[y]=(dX[x][y]<refW-1) ? 32>>((y<<1)>>nScale) : 0
wL[x]=0
wTL[x][y]=0
- そうでなく、predModeIntraがINTRA_ANGULAR58(図8を見られたい)以上であるならば、以下の順序付けされたステップが適用される。
1.変数dYPos[x]、dYFrac[x]、dYInt[x]、およびdY[x][y]は、intraPredModeに依存して、以下において指定されるようにinvAngleを使用して以下のように導出される。
dYPos[x]=((x+1)*invAngle+2)>>2
dYFrac[x]=dYPos[x]&63
dYInt[x]=dYPos[x]>>6
dY[x][y]=y+dYInt[x]
2.変数refL[x][y]、refT[x][y]、wT[y]、wL[x]、およびwTL[x][y]は、以下のように導出される。
refL[x][y]=(dY[x][y]<refH-1) ? ((64-dYFrac[x])*sideRef[dY[x][y]]+
+ dYFrac[x]*sideRef[dY[x][y]+1]+32)>>6 : 0 (式2)
refT[x][y]=0
wT[y]=0
wL[x]=(dY[x][y]< refH-1) ? 32>>((x<<1)>>nScale) : 0
wTL[x][y]=0
- そうでないならば、refL[x][y]、refT[x][y]、wT[y]、wL[x]、およびwTL[x][y]はすべて、0に等しく設定される。
修正済みの予測されたサンプルpredSamples[x][y]、ここでx=0..nTbW-1、y=0..nTbH-1)、の値は、以下のように導出される。
predSamples[x][y]=clip1Cmp((refL[x][y]*wL[x]+refT[x][y]*wT[y]-
p[-1][-1]*wTL[x][y]+(64-wL[x]-wT[y]+wTL[x][y])*predSamples[x][y]+32)>>6)
上記の割当て式1では、簡略化されたPDPCは、線形補間ではなく最近傍補間を使用し得る。
refT[x][y]=(dX[x][y]<refW-1) ? mainRef[dX[x][y]] : 0
同様に、割当て式2も最近傍補間を使用することができる。
refL[x][y]=(dY[x][y]<refH-1) ? sideRef[dY[x][y]] : 0
したがって、エンコーダおよびデコーダ側の両方において、提案される方法は、入力データとして以下を使用する。
(図7および図8に表されたpredModeIntraとしてさらに表記される)方向性イントラ予測モード、
(log2(nTbW)+Log2(nTbH))>>1に等しく設定されるブロックサイズパラメータnTbS、ここで、nTbWおよびnTbHは、それぞれ、予測されたブロックの幅および高さを表記し、「>>」は右シフト演算を表記する。
提案される方法の使用を可能にする、VVC仕様の修正は、簡略化されたPDPCを記述するセクションの中で「隣接サンプルp[x][y]」を「参照サンプルp[x][y]」で置換することを備え得る。
角度パラメータintraPredAngleは、5ビットに等しい分数部分の長さを有する固定小数点表現での、予測されたサンプルの2つの隣接する行の間のサブピクセルオフセットを表記する。このパラメータはイントラ予測モードから導出されることが可能であり、predModeIntraから導出される。predModeIntraからのintraPredAngleの例示的な導出は、たとえば、Table 1(表6)に表されたように、LUTを用いて定義されることが可能である。
Figure 2022514885000014
この発明では、方向性、平面、またはDCイントラ予測モードを使用して参照サンプルから取得された予測されたサンプルを更新することが提案される。更新手順のステップが図11に表されている。第1のステップ1101は、ブロック形状およびサイズに依存してスケール値nScaleXおよびnScaleYを計算することである。この計算の実装形態は、さらに図13において説明される。
ステップ1103および1104は、すべての予測されたサンプル位置にわたってループ内で実行される。ループ反復子xおよびyの初期化がステップ1102において実行され、反復子の境界検査がステップ1105および1107によって実行され、反復子インクリメントがステップ1106および1108において実行される。ステップ1108は、反復子xおよびyを次の行の始めにリセットし、すなわち、xは0に等しく設定され、行反復子yは1だけインクリメントされる。
ステップ1103は、位置に依存した重み値wL[x]およびwT[y]を計算することからなる。これらの重み値は、基本値Vを右シフトすることによって取得される。ステップ4の右シフト演算を用いて値Vが接続される。この右シフトがsに設定されるならば、Vの実際的な値は、たとえば、2s、2s-1または2sとして定義されることが可能である。図11に表された例示的な実施形態では、sの値は6に等しく設定され、Vの値は32、すなわち、25に等しく設定される。
最新式の方法とは対照的に、ステップ1103におけるwL[x]およびwT[y]は、それぞれ、スケールnScaleXおよびnScaleYの異なる値を使用する。これらの重み値wL[x]およびwT[y]は、予測されたサンプルの修正済みの値を計算するためにステップ1104においてさらに使用される。
予測されたサンプル更新の代替の実施形態が図12において与えられる。この実施形態では、重みwT[y]は、行ごとに1回だけ、すなわち、反復子yがインクリメントされるときに、再計算される。
QTBTおよびMTT区分に起因して、予測ブロックは、非正方形(一般に、長方形)の形状であり得る。しかしながら、最新式のPDPCは、予測ブロックの幅と高さとの潜在的な非同一性を考慮しない。予測されたブロックの左および上側までの距離の値にだけ基づく重み付けメカニズムは、予測されたブロックのアスペクト比が1とは異なるならば、予測されたサンプルが平滑過ぎることに導き得る。本開示では、イントラ予測モードを使用して、ブロックサイズおよびブロックアスペクト比の影響を釣り合わせることが提案される。イントラ予測モードによって提供される方向性情報を使用して、PDPC平滑化の影響の伝搬距離および方向性を決定することが可能である。したがって、イントラ予測モードのグループを導入すること、およびグループの各々について専用の重みスケーリング適合を適用することが提案される。この場合、細長い予測ブロックでさえ、側部の長さに従って平滑化を使用し、ここで、それはイントラ予測モードおよび予測ブロック寸法に従って適切である。
提案される発明では、重みwT[y]およびwL[x]を導出するときに別個のnScale値を使用することが示唆される。詳細には、上記の説明(ステップ1103)において以下の式が使用される(したがって、Vの値は16または32のいずれかに設定される)。
wT[y]=V>>((y<<1)>>nScaleY)
wL[x]=V>>((x<<1)>>nScaleX)
スケールの計算(ステップ1101)は、図14に表されたように実行されることが可能である。これは、図12に表された計算と比較して代替の計算である。第1のステップ1301は、たとえば、ビットストリームから構文解析することによって、予測されたブロックのイントラ予測モードの値intraPredAngleを得ることである。次のステップ1302は、イントラ予測モードをグループのうちの1つに分類することからなる。
斜行非対角なイントラ予測モードのさらなる定義が、さらに使用される。
intraPredModeが2またはVDIA_IDXに等しくなく、以下、すなわち、intraPredModeがVDIA_IDX-numModesより小さくない、またはintraPredModeが2+numModesより大きくない、のうちの1つが真であるならば、intraPredModeは斜行非対角である。
例示的な分類がTable 2(表7)の中で与えられる。
Figure 2022514885000015
モードクラスインデックスに依存して、nScaleXおよびnScaleYの導出は異なることが可能である。ステップ1303、...、1312は、Table 3(表8)に表された導出式へのクラスインデックスのマッピングを表現する。
Figure 2022514885000016
代替の分類が、Table 4(表9)、Table 5(表10)、およびTable 6(表11)の中で与えられる。
Figure 2022514885000017
Figure 2022514885000018
Figure 2022514885000019
Table 6(表11)では、対角モードについてだけでなく、非分数のintraPredAngle値(すなわち、Table 1(表6)の中の32の倍数)を有する広角度モードについても、クラス1が指定される。
この発明に暗示されることが可能である追加の制限は、ブロックサイズおよびイントラ予測モード(intraPredMode)に対する条件のある組み合わせの場合において予測されたサンプル更新ステップを適用しないことである。
予め定義されたパラメータnumModesが8に等しいと仮定すると、特定の実装は、PDPCを無効化する、すなわち、予測されたサンプル更新を実行しない、次の条件を備えてよい。
- ブロックの幅およびブロックの高さの和が、64サンプルよりも大きく、かつintraPredModeが斜行非対角であるか、またはそれがPLANAR_IDXに等しいかのいずれかである。
発明の特定の実装は、圧縮性能の改善を証明し得る。Table 4(表9)およびTable 3(表8)によって説明されるVTM-3.0ソフトウェアへの修正は、以下の圧縮性能改善(Table 7(表12))をもたらす。
Figure 2022514885000020
別の実施形態では、nScaleの値は、イントラ予測モードから導出される逆角度の値に依存して設定される。この実施形態によれば、イントラ予測モードの値(predModeIntra)に従ってnScale係数の値を取得するために、以下のステップが実行される。
- predModeIntra予測モード値に基づいてintraPredAngleパラメータの値を導出し、
- intraPredAngleパラメータに基づいて逆角度の値(invAngle)を導出し、
- ブロックのサイズおよびinvAngle値に基づいてnScale係数の値を取得する。
predModeIntra予測モード値に基づくintraPredAngleパラメータの値の導出は、ルックアップテーブルからフェッチすることとして実現されることが可能である。例示的なルックアップテーブルがTable 8(表13)の中で与えられる。
Figure 2022514885000021
逆角度パラメータinvAngleは、以下のようにintraPredAngleに基づいて導出される。
Figure 2022514885000022
Table 9(表14)およびTable 10(表15)は、predModeIntraおよびinvAngleの値に基づいてnScale値を指定するために使用される。
Figure 2022514885000023
Figure 2022514885000024
図15は、Table 9(表14)およびTable 10(表15)の中で与えられる分類に従って本発明のステップを表す。図13において「intraPredAngle」として表記された変数は、図15において「predModeIntra」として表記されている。この変数は、PDPCフィルタ処理プロセスに入力される予測されたサンプル値を取得するためのイントラ予測モードを示す。predModeIntraの値とイントラ予測方向との間の対応が、図8に表される。
この発明の実施形態はビデオコーディングに基づいて主に説明されているが、コーディングシステム10、エンコーダ20、およびデコーダ30(および、それに対応してシステム10)の実施形態、ならびにここで説明される他の実施形態は、また、静止ピクチャ処理またはコーディング、すなわち、ビデオコーディングにおけるように、先行するかまたは連続した任意のピクチャから独立した、個々のピクチャの処理またはコーディングのために構成され得ることが留意されるべきである。一般に、ピクチャ処理コーディングが単一のピクチャ17に限定される場合では、インター予測ユニット244(エンコーダ)および344(デコーダ)のみは、利用可能でなくてよい。ビデオエンコーダ20およびビデオデコーダ30のすべての他の機能(ツールまたは技術とも呼ばれる)は、静止ピクチャ処理、たとえば、残差計算204/304、変換206、量子化208、逆量子化210/310、(逆)変換212/312、区分262/362、イントラ予測254/354、および／またはループフィルタ処理220、320、ならびにエントロピーコーディング270およびエントロピーデコード304のために等しく使用され得る。
たとえば、エンコーダ20およびデコーダ30の実施形態、ならびに、たとえば、エンコーダ20およびデコーダ30を参照してここで説明される関数は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実現され得る。ソフトウェアにおいて実現されるならば、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体において記憶され、または通信媒体上で送信され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、1つの場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含んでよい。このようにして、コンピュータ可読媒体は、一般に、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波のような通信媒体に対応し得る。データ記憶媒体は、この開示において説明される技法の実装のための命令、コード、および／またはデータ構造を取り出すために、1つまたは複数のコンピュータまたは1つまたは複数のプロセッサによってアクセスされることが可能である任意の利用可能な媒体であってよい。コンピュータプログラム製品はコンピュータ可読媒体を含んでよい。
例として、かつ限定でなく、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶、磁気ディスク記憶もしくは他の磁気記憶デバイス、フラッシュメモリ、または命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用されることが可能であり、コンピュータによってアクセスされることが可能である任意の他の媒体を備えることができる。また、任意の接続が、適切に、コンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信されるならば、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることが理解されるべきである。ここで使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、一方、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記のものの組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積されたもしくは個別の論理回路のような、1つまたは複数のプロセッサによって実行され得る。したがって、ここで使用される用語「プロセッサ」は、上記の構造またはここで説明される技法の実装のために適した任意の他の構造のうちのいずれかを指し得る。加えて、いくつかの態様では、ここで説明される機能は、エンコードおよびデコードするために構成された専用のハードウェアおよび／またはソフトウェアモジュール内で提供され、または組み合わせられたコーデック内に組み込まれ得る。また、技法は、1つまたは複数の回路または論理要素内で完全に実現されることが可能である。
この開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、広く様々なデバイスまたは装置内で実現され得る。様々な構成要素、モジュール、またはユニットは、開示される技法を実行するように構成されたデバイスの機能的態様を強調するためにこの開示において説明されるが、異なるハードウェアユニットによる実現を必ずしも要求しない。むしろ、上記で説明されたように、様々なユニットが、コーデックハードウェアユニット内で組み合わせられ、あるいは上記で説明されたような1つまたは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって、適したソフトウェアおよび／またはファームウェアと併せて提供され得る。
本開示は、以下のさらなる態様を備える。
ブロックの複数のサンプルからの各サンプルについて、
DCイントラ予測モード、平面イントラ予測モード、および角度イントラ予測モードのうちの1つを使用して、イントラ予測によって1つまたは複数の参照サンプル値から予測されたサンプル値を決定するステップと、
予測されたサンプル値をサンプル重み付け係数によって乗算して、重み付きの予測されたサンプル値をもたらすステップと、
ブロックの高さ、およびイントラ予測モードに基づいて、垂直スケーリング係数(nScaleY)を決定するステップと、
ブロックの幅、およびイントラ予測モードに基づいて、水平スケーリング係数(nScaleX)を決定するステップと、
垂直スケーリング係数(nScaleY)に基づいて、第1の重みを決定するステップと、
水平スケーリング係数(nScaleX)に基づいて、第2の重みを決定するステップと、
第1の重みを用いて上の参照サンプル値を、かつ第2の重みを用いて左の参照サンプル値を重み付けすることによって、上の参照サンプル値および左の参照サンプル値の重み付きの和として追加の値を計算するステップと、
重み付きの予測されたサンプル値に追加の値を加算して、正規化されていない予測されたサンプル値をもたらすステップと、
正規化されていない予測されたサンプル値の整数表現の算術右シフトによって、正規化されていない予測されたサンプル値を正規化して、正規化された予測されたサンプル値をもたらすステップとを備える、ピクチャのブロックをイントラ予測する方法の第1の態様。
ピクチャがビデオシーケンスの一部である、第1の態様による方法の第2の態様。
正規化されていない予測されたサンプル値を正規化することが、正規化された予測されたサンプル値を、
Figure 2022514885000025
として算出することを備え、
ここで、
Figure 2022514885000026
が、正規化された予測されたサンプル値であり、
P(x,y)が、正規化されていない予測されたサンプル値であり、
Rx,-1、R-1,yが、各サンプルの上および左に位置する最も近くの参照サンプルの値を表現し、
wL=V>>((x<<1)>>nScaleX)が水平重み付け係数であり、
wT=V>>((y<<1)>>nScaleY)が垂直重み付け係数であり、
xがサンプルの水平座標であり、
yがサンプルの垂直座標である、第1または第2の態様による方法の第3の態様。
ブロックの幅およびブロックの高さの和が、64サンプルよりも大きく、かつintraPredModeが斜行非対角であるか、またはそれがPLANAR_IDXに等しいかのいずれかであるならば、各サンプルが更新されない、前の態様のうちのいずれか1つによる方法の第4の態様。
第1から第4の態様のうちのいずれか1つによる方法を実行するための処理回路を備えるエンコーダ(20)の第5の態様。
第1から第4の態様のうちのいずれか1つによる方法を実行するための処理回路を備えるデコーダ(30)の第6の態様。
第1から第4の態様のうちのいずれか1つによる方法を実行するためのプログラムコードを備えるコンピュータプログラム製品の第7の態様。
デコーダであって、
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶した非一時的コンピュータ可読記憶媒体とを備え、プログラミングが、プロセッサによって実行されたとき、第1から第4の態様のうちのいずれか1つによる方法を実行するようにデコーダを構成する、デコーダの第8の態様。
エンコーダであって、
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶した非一時的コンピュータ可読記憶媒体とを備え、プログラミングが、プロセッサによって実行されたとき、第1から第4の態様のうちのいずれか1つによる方法を実行するようにエンコーダを構成する、エンコーダの第9の態様。
10 ビデオコーディングシステム
12 ソースデバイス
13 通信チャネル
14 宛先デバイス
16 ピクチャソース
17 ピクチャデータ
18 プリプロセッサ
19 前処理されたピクチャデータ
20 エンコーダ
21 エンコードされたピクチャデータ
22 通信インターフェース
28 通信インターフェース
30 デコーダ
31 デコードされたピクチャデータ
32 ポストプロセッサ
33 後処理されたピクチャデータ
34 ディスプレイデバイス
46 処理回路
201 入力
203 ピクチャブロック
204 残差計算ユニット
205 残差ブロック
206 変換処理ユニット
207 変換係数
208 量子化ユニット
209 量子化された係数
210 逆量子化ユニット
211 逆量子化係数、逆量子化残差係数
212 逆変換処理ユニット
213 再構成された残差ブロック
214 再構成ユニット
215 再構成されたブロック
220 ループフィルタ
221 フィルタ処理されたブロック
230 デコードされたピクチャバッファ
231 デコードされたピクチャ
244 インター予測ユニット
254 イントラ予測ユニット
260 モード選択ユニット
262 区分ユニット
265 予測ブロック
266 シンタックス要素
270 エントロピーエンコードユニット
272 出力
304 エントロピーデコードユニット
309 量子化された係数
310 逆量子化ユニット
311 逆量子化された係数
312 逆変換処理ユニット
313 再構成された残差ブロック
314 再構成ユニット
315 再構成されたブロック
320 ループフィルタ
321 フィルタ処理されたブロック
330 デコードされたピクチャバッファ
331 デコードされたピクチャ
344 インター予測ユニット
354 イントラ予測ユニット
360 モード選択ユニット
365 予測ブロック
400 ビデオコーディングデバイス
410 入口ポート
420 受信機ユニット
430 プロセッサ
440 送信機ユニット
450 出口ポート
460 メモリ
470 コーディングモジュール
500 装置
502 プロセッサ
504 メモリ
506 コードおよびデータ
508 オペレーティングシステム
510 アプリケーションプログラム
512 バス
514 2次記憶
518 ディスプレイ
本出願(開示)の実施形態は、一般に、ピクチャ処理の分野に、より詳細には、位置に依存した予測組み合わせを有するイントラ予測に関する。
ビデオコーディング(ビデオエンコードおよびビデオデコード)は、広い範囲のデジタルビデオアプリケーション、例えば、放送デジタルTV、インターネットおよびモバイルネットワーク上でのビデオ伝送、ビデオチャットのようなリアルタイム会話型アプリケーション、ビデオ会議、DVDおよびBlu-ray(登録商標)ディスク、ビデオコンテンツ収集および編集システム、およびセキュリティアプリケーションのカムコーダにおいて使用される。比較的短いビデオでさえ描写するために必要とされるビデオデータの量は、かなりである可能性があり、これは、限定された帯域幅容量を有する通信ネットワークを渡ってデータがストリーミングされ、またはそうでなく伝達されることになるときに、困難をもたらし得る。従って、ビデオデータは、一般に、現代の電気通信ネットワークを渡って伝達される前に圧縮される。メモリリソースが限定され得るので、ビデオが記憶デバイスにおいて記憶されるとき、ビデオのサイズも問題である可能性がある。ビデオ圧縮デバイスは、しばしば、伝送または記憶の前に、ソースにおいてソフトウェアおよび／またはハードウェアを使用してビデオデータをコーディングし、それにより、デジタルビデオ画像を表現するために必要とされるデータの量を減らす。圧縮されたデータは、次いで、ビデオデータをデコードするビデオ復元デバイスによって宛先において受信される。限定されたネットワークリソース、およびより高いビデオ品質の増加さえしている需要を有して、ピクチャ品質においてほとんどないし全く犠牲なしで圧縮率を改善する、改善された圧縮および復元技法が望ましい。
上記で論じた課題に鑑みて、本開示は、上記で述べた課題を軽減または解決するための解決策を提供する。
本出願の実施形態は、独立請求項に従って、ピクチャのブロックをイントラ予測するための装置および方法を提供する。
上記および他の目的は、独立請求項の主題によって達成される。さらなる実装形態が、従属請求項、説明、および図から明らかである。
本開示は、
ブロックの複数のサンプルからの1つのサンプルについて、
DCイントラ予測モード、平面イントラ予測モード、および角度イントラ予測モードのうちの1つから選択されたイントラ予測モードを使用して、イントラ予測によって1つまたは複数の参照サンプル値から予測されたサンプル値を決定するステップと、
イントラ予測モードと、ブロックの高さ、ブロックの幅、または両方のうちの1つとに基づいて、第1の重みを決定するステップと、
イントラ予測モードと、ブロックの高さ、ブロックの幅、または両方のうちの1つとに基づいて、第2の重みを決定するステップと、
第1の重みを用いて上の参照サンプル値を、かつ第2の重みを用いて左の参照サンプル値を重み付けすることによって、上の参照サンプル値および左の参照サンプル値の重み付きの和として追加の値を計算するステップと、
予測されたサンプル値をサンプル重み付け係数によって乗算して、重み付きの予測されたサンプル値をもたらすステップと、
重み付きの予測されたサンプル値に追加の値を加算して、正規化されていない修正済みの予測されたサンプル値をもたらすステップと、
正規化されていない修正済みの予測されたサンプル値の整数表現の算術右シフトによって、正規化されていない修正済みの予測されたサンプル値を正規化して、正規化された修正済みの予測されたサンプル値をもたらすステップとを備える、ピクチャのブロックをイントラ予測する方法を提供する。
ここで、特に、第1の重みおよび第2の重みは異なってよい。
前の態様それ自体による方法の可能な一実装形態では、方法は、ブロックの複数のサンプルの各サンプルを備える、ピクチャについてのブロックをイントラ予測することを備える。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、
第1の重みを決定することおよび第2の重みを決定することは、イントラ予測モードと、ブロックの高さ、ブロックの幅、または両方のうちの1つとに基づいて、スケーリング係数を決定することを備え、第1の重みおよび第2の重みは、それぞれ、スケーリング係数に基づいて決定される。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、
第1の重みを決定するステップは、ブロックの高さ、およびイントラ予測モードに基づいて、nScaleYと表記される垂直スケーリング係数を決定するステップを備え、第1の重みは、垂直スケーリング係数nScaleYに基づいて決定され、
第2の重みを決定するステップは、ブロックの幅、およびイントラ予測モードに基づいて、nScaleXと表記される水平スケーリング係数を決定するステップであって、第2の重みが、水平スケーリング係数nScaleXに基づいて決定される、ステップと、正規化されていない予測されたサンプル値の整数表現の算術右シフトによって、正規化されていない予測されたサンプル値を正規化して、正規化された予測されたサンプル値をもたらすステップとを備える。
ここで、第1の重みの決定は、垂直スケーリング係数を決定することを備え、第2の重みの決定は、水平スケーリング係数を決定することを備え、ここで、イントラ予測モードのタイプに依存して、これらの係数が異なってよいことが理解されるべきである。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、nScaleXおよびnScaleYは、それぞれ、モードクラスインデックスに依存して導出され、モードクラスインデックスは、イントラ予測モードのグループを使用して導出される。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、モードクラスインデックスは、以下の表、すなわち、
Figure 2022514885000052
のうちの1つに従って、イントラ予測モードの特定のグループにマッピングされ、
ここで、DC_IDXは、1のイントラ予測モードインデックスを有するDCモードを表し、HOR_IDXおよびVER_IDXは、それぞれ、18および50のイントラ予測モードインデックスを有する水平および垂直モードを表し、VDIA_IDXは、66のイントラ予測モードインデックスを有する対角モードを表す。
ここで、異なるクラスへの、イントラ予測モードのグループの異なるマッピングが表される。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、nScaleXおよびnScaleYは、以下のマッピング、すなわち、
Figure 2022514885000053
に従って導出され、
ここで、nTbWおよびnTbHは、それぞれ、予測ブロックの幅および高さを表記し、「>>」は右シフト演算を表記し、
ここで、Floorはフロア関数であり、Log2は、ある数の2を底とする自然対数を戻し、Minは、その引数の最小を戻し、「>>」は右シフト演算を表記する。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、モードクラスインデックスは、以下の表、すなわち、
Figure 2022514885000054
に従って、イントラ予測モードの特定のグループにマッピングされる。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、nScaleXおよびnScaleYは、以下のマッピング、すなわち、
Figure 2022514885000055
に従って導出され、
ここで、nTbWおよびnTbHは、それぞれ、予測ブロックの幅および高さを表記し、「>>」は右シフト演算を表記し、
ここで、Floorはフロア関数であり、Log2は、ある数の2を底とする自然対数を戻し、Minは、その引数の最小を戻し、「>>」は右シフト演算を表記し、
invAngleは、以下、すなわち、
Figure 2022514885000056
のようにintraPredAngleを使用して導出される逆角度パラメータであり、
ここで、intraPredAngleは、ルックアップテーブル(LUT)を使用して、変数predModeIntraによって与えられるイントラ予測モードから導出される角度パラメータである。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、LUTは、以下の表、すなわち、
Figure 2022514885000057
によって与えられる。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、正規化されていない修正済みの予測されたサンプル値を正規化することは、予測されたサンプル値を、
P(x,y)=Clip1Cmp((wL×R-1,y+wT×Rx,-1-wTL×R-1,-1+(64-wl-wT+wTL)×P(x,y)+32))>>6)
として算出することを備え、
ここで、
P(x,y)は、正規化されていない修正済みの予測されたサンプル値であり、
Rx,-1、R-1,yは、各サンプルの上および左に位置する最も近くの参照サンプルの値を表現し、
wL=V>>((x<<1)>>nScaleX)は水平重み付け係数であり、
wT=V>>((y<<1)>>nScaleY)は垂直重み付け係数であり、
Vは基本値であり、
xは各サンプルの水平座標であり、
yはサンプルの垂直座標であり、
ここで、clip1Cmpは、以下のように設定され、すなわち、
cIdxが0に等しい場合、clip1CmpがClip1Yに等しく設定され、
そうでない場合、clip1CmpがClip1Cに等しく設定され、
ここで、cIdxは、現在のブロックの色成分を指定する変数であり、
Clip1Y(x)=Clip3(0,(1<<BitDepthY) - 1, x)であり、
Clip1C(x)=Clip3(0,(1<<BitDepthC) - 1, x)であり、
Figure 2022514885000058
であり、
ここで、BitDepthYはルーマサンプルのビット深度であり、
ここで、BitDepthCはルーマサンプルのビット深度である。
前の態様それ自体による方法の可能な一実装形態では、平面モードについてwTL=0であるが、水平モードについてwTL=wTであり、垂直モードについてwTL=wLである。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、正規化されていない修正済みの予測されたサンプル値を正規化することは、正規化された修正済みの予測されたサンプル値を、
Figure 2022514885000059
として算出することを備え、
ここで、
Figure 2022514885000060
は、正規化された修正済みの予測されたサンプル値であり、
P(x,y)は、正規化されていない修正済みの予測されたサンプル値であり、
Rx,-1、R-1,yは、各サンプルの上および左に位置する最も近くの参照サンプルの値を表現し、
wL=V>>((x<<1)>>nScaleX)は水平重み付け係数であり、
wT=V>>((y<<1)>>nScaleY)は垂直重み付け係数であり、
xは各サンプルの水平座標であり、
yはサンプルの垂直座標である。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、
サンプルの中で与えられるブロックの幅およびブロックの高さの和が、それぞれ、64サンプルよりも大きく、かつ
イントラ予測モードが斜行非対角であるか、またはイントラ予測モードが平面イントラ予測モードであるかのいずれかであるならば、
各サンプルは更新されない。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、intraPredModeが2またはVDIA_IDXに等しくなく、かつ以下のこと、すなわち、intraPredModeがVDIA_IDX-numModesより小さくない、またはintraPredModeが2+numModesより大きくない、のうちの1つが真であるならば、intraPredModeは斜行非対角である。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、ピクチャはビデオシーケンスの一部である。
前の態様の先行する任意の実装または前の態様それ自体による方法の可能な一実装形態では、
正規化された修正済みの予測されたサンプル値に残差値を加算して、再構成されたサンプル値をもたらすステップをさらに備える。
本開示は、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するための処理回路を備えるエンコーダ(20)をさらに提供する。
本開示は、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するための処理回路を備えるデコーダ(30)をさらに提供する。
本開示は、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するためのプログラムコードを備えるコンピュータプログラムをさらに提供する。
本開示は、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するためのプログラムコードを備えるコンピュータプログラム製品をさらに提供し得る。
本開示は、
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶した非一時的コンピュータ可読記憶媒体と
を備えるデコーダをさらに提供し、プログラミングは、プロセッサによって実行されたとき、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するようにデコーダを構成する。
本開示は、
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶した非一時的コンピュータ可読記憶媒体と
を備えるエンコーダをさらに提供し、プログラミングは、プロセッサによって実行されたとき、先行する任意の態様の先行する任意の実装または先行する任意の態様それ自体による方法を実行するようにエンコーダを構成する。
1つまたは複数の実施形態の詳細が、添付の図面および以下の説明において記載される。他の特徴、目的、および利点は、説明、図面、および請求項から明らかになるであろう。
以下では、発明の実施形態が、添付の図および図面を参照して、より詳細に説明される。
発明の実施形態を実現するように構成されたビデオコーディングシステムの一例を概略的に例示する。 発明の実施形態を実現するように構成されたビデオコーディングシステムの別の例を概略的に例示する。 発明の実施形態を実現するように構成されたビデオエンコーダの一例を概略的に例示する。 発明の実施形態を実現するように構成されたビデオデコーダの例示の構造を概略的に例示する。 エンコード装置またはデコード装置の一例を概略的に例示する。 エンコード装置またはデコード装置の別の例を概略的に例示する。 HEVCにおける角度イントラ予測方向および関連するイントラ予測モードを概略的に例示する。 JEMにおける角度イントラ予測方向および関連するイントラ予測モードを概略的に例示する。 VTM-3.0およびVVC仕様ドラフトv.3における角度イントラ予測方向および関連するイントラ予測モードを概略的に例示する。 VTM-3.0およびVVC仕様ドラフトv.3における角度イントラ予測方向および関連するイントラ予測モードを概略的に例示する。 4×4ブロックの内側の(0,0)および(1,0)位置についてのDCモードPDPC重みの一例を概略的に例示する。 主要参照側の参照サンプルからブロックをイントラ予測する一例を概略的に例示する。 4×4ブロックの内側の(0,0)および(1,0)位置についてのDCモードPDPC重みの一例を例示する。 垂直および水平スケーリング係数を決定する方法の一例を概略的に例示する。 垂直および水平スケーリング係数を決定する方法の一例を概略的に例示する。 垂直および水平スケーリング係数を決定する方法の代替の例を概略的に例示する。
以下では、同一の参照符号は、明示的にそうでなく指定されないならば、同一のまたは少なくとも機能的に等価な特徴を指す。
以下の説明では、開示の部分を形成し、発明の実施形態の特定の態様または本発明の実施形態が使用され得る特定の態様を例示として表す、添付の図への参照が行われる。発明の実施形態が、他の態様において使用され、図の中に描写されていない構造的または論理的な変更を備え得ることが理解される。従って、以下の詳細な説明は限定する意味で受け取られるべきでなく、本発明の範囲は添付の請求項によって定義される。
例えば、説明される方法に関する開示が、その方法を実行するように構成された対応するデバイスまたはシステムについても当てはまり得るとともに逆も同様であることが理解される。例えば、1つまたは複数の特定の方法のステップが説明されるならば、そのような1つまたは複数のユニットが明示的に説明されない、または図の中に例示されないとしても、対応するデバイスは、説明される1つまたは複数の方法のステップを実行するための1つまたは複数のユニット、例えば、機能ユニット(例えば、1つまたは複数のステップを実行する1つのユニット、または複数のステップのうちの1つまたは複数を各々が実行する複数のユニット)を含んでよい。一方、例えば、1つまたは複数のユニット、例えば、機能ユニットに基づいて、特定の装置が説明されるならば、そのような1つまたは複数のステップが明示的に説明されない、または図の中に例示されないとしても、対応する方法は、1つまたは複数のユニットの機能を実行するための1つのステップ(例えば、1つまたは複数のユニットの機能を実行する1つのステップ、または複数のユニットのうちの1つまたは複数の機能を各々が実行する複数のステップ)を含んでよい。さらに、特にそうでなく注記されないならば、ここで説明される様々な例示的な実施形態および／または態様の特徴が互いに組み合わせられてよいことが理解される。
ビデオコーディングは、典型的に、ビデオまたはビデオシーケンスを形成する、ピクチャのシーケンスの処理を指す。用語「ピクチャ」の代わりに、ビデオコーディングの分野では用語「フレーム」または「画像」が同義語として使用され得る。ビデオコーディング(または、一般にコーディング)は、2つの部分、ビデオエンコードおよびビデオデコードを備える。ビデオエンコードは、ソース側において実行され、典型的に、ビデオピクチャを表現するために要求されるデータの量を(より効率的な記憶および／または伝送のために)減少させるために、(例えば、圧縮によって)元のビデオピクチャを処理することを備える。ビデオデコードは、宛先側において実行され、典型的に、ビデオピクチャを再構成するための、エンコーダと比較して逆の処理を備える。ビデオピクチャ(または、一般にピクチャ)の「コーディング」に言及する実施形態は、ビデオピクチャまたはそれぞれのビデオシーケンスの「エンコード」または「デコード」に関すると理解されるものである。エンコード部分とデコード部分の組み合わせは、CODEC(Coding and Decoding(コーディングおよびデコード))とも呼ばれる。
損失のないビデオコーディングの場合には、元のビデオピクチャは再構成されることが可能であり、すなわち、(記憶または伝送の間に伝送損失または他のデータ損失がないと仮定すると)再構成されたビデオピクチャは元のビデオピクチャと同じ品質を有する。損失のあるビデオコーディングの場合には、ビデオピクチャを表現するデータの量を減少させるために、例えば、量子化によって、さらなる圧縮が実行され、ビデオピクチャは、デコーダにおいて完全に再構成されることが可能でなく、すなわち、再構成されたビデオピクチャの品質は元のビデオピクチャの品質と比較して、より低い、またはより悪い。
いくつかのビデオコーディング規格は、「損失のあるハイブリッドビデオコーデック」のグループに属する(すなわち、サンプル領域における空間および時間予測と、変換領域において量子化を適用するための2D変換コーディングとを組み合わせる)。ビデオシーケンスの各ピクチャは、典型的に、重複しないブロックのセットに区分され、コーディングは、典型的に、ブロックレベルにおいて実行される。言い換えれば、エンコーダにおいて、ビデオは、典型的に、例えば、空間(イントラピクチャ)予測および／または時間(インターピクチャ)予測を使用して予測ブロックを生成し、現在のブロック(現在処理されている／処理されるべきブロック)から予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換し、変換領域において残差ブロックを量子化して伝送されるべきデータの量を減少させること(圧縮)によって、ブロック(ビデオブロック)レベルにおいて処理され、すなわちエンコードされ、一方、デコーダにおいて、エンコーダと比較して逆の処理が、エンコードされ、または圧縮されたブロックに適用されて表現のために現在のブロックを再構成する。さらに、エンコーダは、後続のブロックを処理する、すなわちコーディングするために、両方が同一の予測(例えば、イントラおよびインター予測)および／または再構成を生成するように、デコーダ処理ループを二重化する。
以下では、ビデオコーディングシステム10、ビデオエンコーダ20、およびビデオデコーダ30の実施形態が、図1～図3に基づいて説明される。
図1Aは、この本出願の技法を利用し得る例示のコーディングシステム10、例えば、ビデオコーディングシステム10(または短縮してコーディングシステム10)を例示する概略ブロック図である。ビデオコーディングシステム10のビデオエンコーダ20(または短縮してエンコーダ20)およびビデオデコーダ30(または短縮してデコーダ30)は、本出願において説明される様々な例による技法を実行するように構成され得るデバイスの例を表現する。
図1Aに表されたように、コーディングシステム10は、例えば、エンコードされたピクチャデータ13をデコードするための宛先デバイス14に、エンコードされたピクチャデータ21を提供するように構成されたソースデバイス12を備える。
ソースデバイス12は、エンコーダ20を備え、加えて、すなわち任意選択で、ピクチャソース16、プリプロセッサ(または、前処理ユニット)18、例えば、ピクチャプリプロセッサ18、および通信インターフェースまたは通信ユニット22を備えてよい。
ピクチャソース16は、任意の種類のピクチャキャプチャデバイス、例えば、実世界ピクチャをキャプチャするためのカメラ、および／または任意の種類のピクチャ生成デバイス、例えば、コンピュータアニメーション化されたピクチャを生成するためのコンピュータグラフィックスプロセッサ、または実世界ピクチャ、コンピュータ生成されたピクチャ(例えば、スクリーンコンテンツ、仮想現実(virtual reality(VR))ピクチャ)、および／またはそれらの任意の組み合わせ(例えば、拡張現実(augmented reality(AR))ピクチャ)を取得および／または提供するための任意の種類の他のデバイスを備え、またはそれらであってよい。ピクチャソースは、上述のピクチャのうちのいずれかを記憶する任意の種類のメモリまたは記憶装置であってよい。
プリプロセッサ18、および前処理ユニット18によって実行される処理と区別して、ピクチャまたはピクチャデータ17は、未処理ピクチャまたは未処理ピクチャデータ17とも呼ばれ得る。
プリプロセッサ18は、(未処理)ピクチャデータ17を受信し、ピクチャデータ17において前処理を実行して、前処理されたピクチャ19または前処理されたピクチャデータ19を取得するように構成される。プリプロセッサ18によって実行される前処理は、例えば、トリミング、(例えば、RGBからYCbCrへの)カラーフォーマット変換、色補正、またはノイズ除去を備えてよい。前処理ユニット18が任意選択の構成要素であり得ることが理解されることが可能である。
ビデオエンコーダ20は、前処理されたピクチャデータ19を受信し、エンコードされたピクチャデータ21を提供するように構成される(さらなる詳細が、例えば、図2に基づいて、以下で説明されるであろう)。
ソースデバイス12の通信インターフェース22は、エンコードされたピクチャデータ21を受信し、記憶または直接の再構成のために、通信チャネル13上で別のデバイス、例えば、宛先デバイス14または任意の他のデバイスへ、エンコードされたピクチャデータ21(または、それらのさらに処理された任意のバージョン)を伝送するように構成され得る。
宛先デバイス14は、デコーダ30(例えば、ビデオデコーダ30)を備え、加えて、すなわち任意選択で、通信インターフェースまたは通信ユニット28、ポストプロセッサ32(または、後処理ユニット32)、およびディスプレイデバイス34を備えてよい。
宛先デバイス14の通信インターフェース28は、例えば、ソースデバイス12から直接に、または任意の他のソース、例えば、記憶デバイス、例えば、エンコードされたピクチャデータ記憶デバイスから、エンコードされたピクチャデータ21(または、それらのさらに処理された任意のバージョン)を受信し、エンコードされたピクチャデータ21をデコーダ30に提供するように構成される。
通信インターフェース22および通信インターフェース28は、ソースデバイス12と宛先デバイス14の間の直接の通信リンク、例えば、直接の有線または無線接続を介して、または任意の種類のネットワーク、例えば、有線または無線ネットワークまたはそれらの任意の組み合わせ、または任意の種類のプライベートおよびパブリックネットワーク、またはそれらの任意の種類の組み合わせを介して、エンコードされたピクチャデータ21またはエンコードされたデータ13を伝送または受信するように構成され得る。
通信インターフェース22は、例えば、適切なフォーマット、例えば、パケットの中に、エンコードされたピクチャデータ21をパッケージ化し、かつ／または通信リンクまたは通信ネットワーク上での伝送のために任意の種類の伝送エンコードまたは処理を使用してエンコードされたピクチャデータを処理するように構成され得る。
通信インターフェース22の相手側を形成する通信インターフェース28は、例えば、伝送されたデータを受信し、任意の種類の対応する伝送デコードまたは処理および／またはパッケージ除去を使用して伝送データを処理してエンコードされたピクチャデータ21を取得するように構成され得る。
通信インターフェース22と通信インターフェース28の両方が、ソースデバイス12から宛先デバイス14を指し示す、図1Aの中の通信チャネル13についての矢印によって示されるような単方向の通信インターフェース、または双方向の通信インターフェースとして構成されてよく、例えば、通信リンクおよび／またはデータ伝送、例えば、エンコードされたピクチャデータ伝送に関する、任意の他の情報を肯定応答および交換するために、例えば、接続をセットアップするために、メッセージを送信し、受信するように構成されてよい。
デコーダ30は、エンコードされたピクチャデータ21を受信し、デコードされたピクチャデータ31またはデコードされたピクチャ31を提供するように構成される(さらなる詳細は、例えば、図3または図5に基づいて、以下で説明されるであろう)。
宛先デバイス14のポストプロセッサ32は、デコードされたピクチャデータ31(再構成されたピクチャデータとも呼ばれる)、例えば、デコードされたピクチャ31を後処理して、後処理されたピクチャデータ33、例えば、後処理されたピクチャ33を取得するように構成される。後処理ユニット32によって実行される後処理は、例えば、ディスプレイデバイス34による、例えば、表示のためにデコードされたピクチャデータ31を準備するための、例えば、(例えば、YCbCrからRGBへの)カラーフォーマット変換、色補正、トリミング、または再サンプリング、または任意の他の処理を備えてよい。
宛先デバイス14のディスプレイデバイス34は、例えば、ユーザまたは閲覧者に、ピクチャを表示するための後処理されたピクチャデータ33を受信するように構成される。ディスプレイデバイス34は、再構成されたピクチャを表現するための任意の種類のディスプレイ、例えば、統合型または外部のディスプレイまたはモニタであってよく、またはそれを備えてよい。ディスプレイは、例えば、液晶ディスプレイ(liquid crystal display(LCD))、有機発光ダイオード(organic light emitting diode(OLED))ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロLEDディスプレイ、液晶オンシリコン(liquid crystal on silicon(LCoS))、デジタル光プロセッサ(digital light processor(DLP))、または任意の種類の他のディスプレイを備えてよい。
図1Aはソースデバイス12および宛先デバイス14を別個のデバイスとして描写するが、デバイスの実施形態はまた、ソースデバイス12または対応する機能と、宛先デバイス14または対応する機能の、両方または両方の機能を備えてよい。そのような実施形態では、ソースデバイス12または対応する機能、および宛先デバイス14または対応する機能は、同じハードウェアおよび／またはソフトウェアを使用して、または別個のハードウェアおよび／またはソフトウェアまたはそれらの任意の組み合わせによって、実現され得る。
説明に基づいて当業者に対して明らかになることになるように、異なるユニットの機能または図1Aに表されたようなソースデバイス12および／または宛先デバイス14内の機能の存在および(正確な)分割は、実際のデバイスおよび適用に依存して変わり得る。
エンコーダ20(例えば、ビデオエンコーダ20)またはデコーダ30(例えば、ビデオデコーダ30)、またはエンコーダ20とデコーダ30の両方は、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(digital signal processor(DSP))、特定用途向け集積回路(application-specific integrated circuit(ASIC))、フィールドプログラマブルゲートアレイ(field-programmable gate array(FPGA))、個別論理、ハードウェア、専用のビデオコーディング、またはそれらの任意の組み合わせのような、図1Bに表されたような処理回路を介して実現され得る。エンコーダ20は、図2のエンコーダ20に関して論じられるような様々なモジュールおよび／またはここで説明される任意の他のエンコーダシステムまたはサブシステムを具現するために、処理回路46を介して実現され得る。デコーダ30は、図3のデコーダ30に関して論じられるような様々なモジュールおよび／またはここで説明される任意の他のデコーダシステムまたはサブシステムを具現するために、処理回路46を介して実現され得る。処理回路は、後で論じられるような様々な演算を実行するように構成され得る。図5に表されたように、技法が部分的にソフトウェアで実現されるならば、デバイスは、ソフトウェアのための命令を、適した非一時的コンピュータ可読記憶媒体に記憶してよく、この開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアで命令を実行してよい。ビデオエンコーダ20およびビデオデコーダ30のいずれかは、例えば、図1Bに表されたように、組み合わせられたエンコーダ／デコーダ(CODEC)の部分として単一のデバイス内に統合され得る。
ソースデバイス12および宛先デバイス14は、任意の種類のハンドヘルドまたは固定のデバイス、例えば、ノートブックまたはラップトップコンピュータ、モバイルフォン、スマートフォン、タブレットまたはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、(コンテンツサービスサーバまたはコンテンツ配信サーバのような)ビデオストリーミングデバイス、放送受信機デバイス、放送送信機デバイス、または同様のものを含む、広い範囲のデバイスのうちのいずれかを備えてよく、オペレーティングシステムを使用しなくてよく、または任意の種類のオペレーティングシステムを使用してもよい。いくつかの場合、ソースデバイス12および宛先デバイス14は無線通信のために装備されてよい。従って、ソースデバイス12および宛先デバイス14は無線通信デバイスであってよい。
いくつかの場合、図1Aに例示されたビデオコーディングシステム10は単に一例であり、本出願の技法は、エンコードおよびデコードデバイスの間の任意のデータ通信を必ずしも含まず、ビデオコーディング設定(例えば、ビデオエンコードまたはビデオデコード)に適用されてよい。他の例では、データは、ローカルメモリから取り出され、ネットワーク上でストリーミングされ、または同様である。ビデオエンコードデバイスは、データをエンコードしてメモリに記憶してよく、かつ／またはビデオデコードデバイスは、データをメモリから取り出してデコードしてよい。いくつかの例では、互いに通信しないが、単にデータをメモリにエンコードし、かつ／またはデータをメモリから取り出してデコードするデバイスによって、エンコードおよびデコードが実行される。
説明の便宜のため、例えば、高効率ビデオコーディング(High-Efficiency Video Coding(HEVC))への、またはITU-Tビデオコーディングエキスパートグループ(Video Coding Experts Group(VCEG))とISO/IECモーション・ピクチャ・エキスパート・グループ(Motion Picture Experts Group(MPEG))のビデオコーディング共同研究部会(Joint Collaboration Team on Video Coding(JCT-VC))によって策定された次世代ビデオコーディング規格である、多用途ビデオコーディング(Versatile Video Coding(VVC))の参照ソフトウェアへの参照によって、発明の実施形態がここで説明される。発明の実施形態がHEVCまたはVVCに限定されないことを、この技術分野の当業者は理解するであろう。
エンコーダおよびエンコード方法
図2は、本出願の技法を実現するように構成される例示のビデオエンコーダ20の概略ブロック図を表す。図2の例では、ビデオエンコーダ20は、入力201(または入力インターフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、および逆変換処理ユニット212、再構成ユニット214、ループフィルタユニット220、デコードされたピクチャバッファ(decoded picture buffer(DPB))230、モード選択ユニット260、エントロピーエンコードユニット270、および出力272(または出力インターフェース272)を備える。モード選択ユニット260は、インター予測ユニット244、イントラ予測ユニット254、および区分ユニット262を含んでよい。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(表されていない)を含んでよい。図2に表されたようなビデオエンコーダ20は、ハイブリッドビデオエンコーダ、またはハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれ得る。
残差計算ユニット204、変換処理ユニット206、量子化ユニット208、モード選択ユニット260は、エンコーダ20の順方向信号経路を形成するとして言及されてよく、一方、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、バッファ216、ループフィルタ220、デコードされたピクチャバッファ(decoded picture buffer(DPB))230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオエンコーダ20の逆方向信号経路を形成するとして言及されてよく、ビデオエンコーダ20の逆方向信号経路はデコーダの信号経路に対応する(図3の中のビデオデコーダ30を見られたい)。逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループフィルタ220、デコードされたピクチャバッファ(decoded picture buffer(DPB))230、インター予測ユニット244、およびイントラ予測ユニット254はまた、ビデオエンコーダ20の「ビルトインデコーダ」を形成することが言及される。
ピクチャおよびピクチャ区分(ピクチャおよびブロック)
エンコーダ20は、ピクチャ17(またはピクチャデータ17)、例えば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを、例えば、入力201を介して受信するように構成され得る。受信されるピクチャまたはピクチャデータはまた、前処理されたピクチャ19(または前処理されたピクチャデータ19)であってよい。簡潔さの目的のために、以下の説明はピクチャ17に言及する。ピクチャ17は、現在のピクチャ、または(同じビデオシーケンス、すなわち、やはり現在のピクチャを備えるビデオシーケンスの他のピクチャ、例えば、前にエンコードされ、かつ／またはデコードされたピクチャから現在のピクチャを区別するために、特にビデオコーディングにおいて)コーディングされるべきピクチャとも呼ばれ得る。
(デジタル)ピクチャは、強度値を有するサンプルの2次元のアレイまたは行列であるか、またはそのように見なされることが可能である。アレイ内のサンプルは、ピクセル(ピクチャ要素の短い形式)またはペルとも呼ばれ得る。アレイまたはピクチャの水平および垂直方向(または軸)におけるサンプルの数は、ピクチャのサイズおよび／または解像度を定義する。色の表現のために、典型的に、3つの色成分が採用され、すなわち、ピクチャは、3つのサンプルアレイが表現され、またはそれらを含んでよい。RBGフォーマットまたは色空間で、ピクチャは、対応する赤、緑、および青のサンプルアレイを備える。しかし、ビデオコーディングでは、各ピクセルは、典型的に、ルミナンスおよびクロミナンスのフォーマットまたは色空間、例えば、YCbCrで表現され、YCbCrは、Y(時々、代わりにLも使用される)によって示されるルミナンス成分、およびCbおよびCrによって示される2つのクロミナンス成分を備える。ルミナンス(または短縮してルーマ)成分Yは、輝度または(例えば、グレースケールピクチャにおけるような)グレーレベル強度を表現し、一方、2つのクロミナンス(または短縮してクロマ)成分CbおよびCrは、色度または色情報成分を表現する。従って、YCbCrフォーマットでのピクチャは、ルミナンスサンプル値(Y)のルミナンスサンプルアレイ、およびクロミナンス値(CbおよびCr)の2つのクロミナンスサンプルアレイを備える。RGBフォーマットでのピクチャは、YCbCrフォーマットにコンバートされ、または変換されてよく、逆も同様であり、プロセスは色変換またはコンバートとしても知られる。ピクチャがモノクロであるならば、ピクチャはルミナンスサンプルアレイのみを備えてよい。従って、ピクチャは、例えば、モノクロフォーマットでのルーマサンプルのアレイ、または4:2:0、4:2:2、および4:4:4カラーフォーマットでの、ルーマサンプルのアレイおよびクロマサンプルの2つの対応するアレイであってよい。
ビデオエンコーダ20の実施形態は、ピクチャ17を複数の(典型的に重複しない)ピクチャブロック203に区分するように構成されたピクチャ区分ユニット(図2に描写されない)を備えてよい。これらのブロックは、ルートブロック、マクロブロック(H.264/AVC)、またはコーディングツリーブロック(coding tree block(CTB))またはコーディングツリーユニット(coding tree unit(CTU))(H.265/HEVCおよびVVC)とも呼ばれ得る。ピクチャ区分ユニットは、ビデオシーケンスの全てのピクチャについて同じブロックサイズ、およびブロックサイズを定義する対応するグリッドを使用し、またはピクチャまたはピクチャのサブセットまたはグループの間でブロックサイズを変更し、各ピクチャを対応するブロックに区分するように構成され得る。
さらなる実施形態では、ビデオエンコーダは、ピクチャ17のブロック203、例えば、ピクチャ17を形成する1つの、いくつかの、または全てのブロックを、直接に受信するように構成され得る。ピクチャブロック203は、現在のピクチャブロック、またはコーディングされるべきピクチャブロックとも呼ばれ得る。
ピクチャ17のように、ピクチャブロック203は再び、強度値(サンプル値)を有するサンプルの、しかしピクチャ17よりも小さい寸法の、2次元のアレイまたは行列であるか、またはそのように見なされることが可能である。言い換えれば、ブロック203は、例えば、1つのサンプルアレイ(例えば、モノクロピクチャ17の場合にはルーマアレイ、またはカラーピクチャの場合にはルーマまたはクロマアレイ)、または3つのサンプルアレイ(例えば、カラーピクチャ17の場合にはルーマおよび2つのクロマアレイ)、または適用されるカラーフォーマットに依存して任意の他の数および／または種類のアレイを備えてよい。ブロック203の水平および垂直方向(または軸)におけるサンプルの数は、ブロック203のサイズを定義する。従って、ブロックは、例えば、サンプルのM×N(M列×N行)アレイ、または変換係数のM×Nアレイであってよい。
図2に表されたようなビデオエンコーダ20の実施形態は、ピクチャ17をブロックごとにエンコードするように構成されてよく、例えば、エンコードおよび予測がブロック203ごとに実行される。
残差計算
残差計算ユニット204は、例えば、サンプルごとに(ピクセルごとに)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を減算することによって、ピクチャブロック203および予測ブロック265(予測ブロック265についてのさらなる詳細は後で提供される)に基づいて残差ブロック205(残差205とも呼ばれる)を計算して、サンプル領域における残差ブロック205を取得するように構成され得る。
変換
変換処理ユニット206は、残差ブロック205のサンプル値において変換、例えば、離散コサイン変換(discrete cosine transform(DCT))または離散サイン変換(discrete sine transform(DST))を適用して、変換領域における変換係数207を取得するように構成され得る。変換係数207は、変換残差係数とも呼ばれ、変換領域における残差ブロック205を表現してよい。
変換処理ユニット206は、H.265/HEVCについて指定された変換のようなDCT/DSTの整数近似を適用するように構成され得る。直交DCT変換と比較して、そのような整数近似は、典型的に、ある係数によってスケーリングされる。順および逆変換によって処理される残差ブロックのノルムを維持するために、変換プロセスの部分として追加のスケーリング係数が適用される。スケーリング係数は、典型的に、スケーリング係数がシフト演算のために2の累乗であること、変換係数のビット深度、確度と実装コストの間のトレードオフなどのような、ある制限に基づいて選ばれる。例えば、逆変換処理ユニット212による、例えば、逆変換(および、例えば、ビデオデコーダ30における逆変換処理ユニット312による、対応する逆変換)について特定のスケーリング係数が指定され、エンコーダ20における、例えば、変換処理ユニット206による、順変換について対応するスケーリング係数が、それに応じて指定され得る。
ビデオエンコーダ20の実施形態(それぞれ、変換処理ユニット206)は、例えば、直接に、またはエントロピーエンコードユニット270を介してエンコードされ、または圧縮された、変換パラメータ、例えば、1つまたは複数の変換のタイプを出力するように構成されてよく、それによって、例えば、ビデオデコーダ30は、デコードのために変換パラメータを受信して使用し得る。
量子化
量子化ユニット208は、例えば、スカラー量子化またはベクトル量子化を適用することによって、変換係数207を量子化して量子化された係数209を取得するように構成され得る。量子化された係数209は、量子化された変換係数209または量子化された残差係数209とも呼ばれ得る。
量子化プロセスは、変換係数207のいくつかまたは全てに関連付けられたビット深度を減少させ得る。例えば、nビットの変換係数は、量子化の間にmビットの変換係数に切り捨てられてよく、ここでnはmよりも大きい。量子化の程度は、量子化パラメータ(Quantization Parameter(QP))を調整することによって修正され得る。例えば、スカラー量子化について、より細かいかまたはより粗い量子化を達成するために、異なるスケーリングが適用され得る。より小さい量子化ステップサイズは、より細かい量子化に対応し、一方、より大きい量子化ステップサイズは、より粗い量子化に対応する。適用可能な量子化ステップサイズは、量子化パラメータ(QP)によって示され得る。量子化パラメータは、例えば、適用可能な量子化ステップサイズの予め定義されたセットへのインデックスであってよい。例えば、小さい量子化パラメータは、細かい量子化(小さい量子化ステップサイズ)に対応してよく、大きい量子化パラメータは、粗い量子化(大きい量子化ステップサイズ)に対応してよく、またはその逆も同様である。量子化は、量子化ステップサイズによる除算を含んでよく、例えば、逆量子化ユニット210による、対応するおよび／または逆の逆量子化は、量子化ステップサイズによる乗算を含んでよい。いくつかの規格、例えば、HEVCによる実施形態は、量子化パラメータを使用して量子化ステップサイズを決定するように構成され得る。一般に、量子化ステップサイズは、除算を含む式の固定点近似を使用して、量子化パラメータに基づいて計算され得る。量子化ステップサイズおよび量子化パラメータについての式の固定点近似において使用されるスケーリングの故に修正され得る、残差ブロックのノルムを復元するために、量子化および逆量子化について追加のスケーリング係数が導入されてよい。1つの例示の実装では、逆変換および逆量子化のスケーリングが組み合わせられ得る。代替として、カスタマイズされた量子化テーブルが使用され、例えば、ビットストリーム内で、エンコーダからデコーダにシグナリングされてよい。量子化は損失のある演算であり、増加する量子化ステップサイズとともに損失が増加する。
ビデオエンコーダ20の実施形態(それぞれ、量子化ユニット208)は、例えば、直接に、またはエントロピーエンコードユニット270を介してエンコードされた、量子化パラメータ(QP)を出力するように構成されてよく、それによって、例えば、ビデオデコーダ30は、デコードのために量子化パラメータを受信し、適用し得る。
逆量子化
逆量子化ユニット210は、例えば、量子化ユニット208と同じ量子化ステップサイズに基づいて、またはそれを使用して、量子化ユニット208によって適用される量子化方式の逆を適用することによって、量子化された係数において量子化ユニット208の逆量子化を適用して逆量子化された係数211を取得するように構成される。逆量子化された係数211は、逆量子化された残差係数211とも呼ばれ、量子化による損失に起因して典型的には変換係数と同一でないが、変換係数207に対応し得る。
逆変換
逆変換処理ユニット212は、変換処理ユニット206によって適用される変換の逆変換、例えば、逆離散コサイン変換(DCT)または逆離散サイン変換(DST)、または他の逆変換を適用して、サンプル領域における再構成された残差ブロック213(または、対応する逆量子化された係数213)を取得するように構成される。再構成された残差ブロック213は、変換ブロック213とも呼ばれ得る。
再構成
再構成ユニット214(例えば、加算器または合算器214)は、例えば、再構成された残差ブロック213のサンプル値と予測ブロック265のサンプル値を、サンプルごとに、加算することによって、変換ブロック213(すなわち、再構成された残差ブロック213)を予測ブロック265に加算してサンプル領域における再構成されたブロック215を取得するように構成される。
フィルタ処理
ループフィルタユニット220(または、短縮して「ループフィルタ」220)は、再構成されたブロック215をフィルタ処理してフィルタ処理されたブロック221を取得するように、または一般に、再構成されたサンプルをフィルタ処理してフィルタ処理されたサンプルを取得するように構成される。ループフィルタユニットは、例えば、ピクセル遷移を平滑化し、またはそうでなくビデオ品質を改善するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(Sample-Adaptive Offset(SAO))フィルタ、または1つまたは複数の他のフィルタ、例えば、バイラテラルフィルタ、適応ループフィルタ(Adaptive Loop Filter(ALF))、鮮鋭化、平滑化フィルタ、または協調フィルタ、またはそれらの任意の組み合わせのような1つまたは複数のループフィルタを備えてよい。ループフィルタユニット220はループ内フィルタであるとして図2に表されているが、他の構成では、ループフィルタユニット220は、ポストループフィルタとして実現されてよい。フィルタ処理されたブロック221は、フィルタ処理された再構成されたブロック221とも呼ばれ得る。
ビデオエンコーダ20の実施形態(それぞれ、ループフィルタユニット220)は、例えば、直接に、またはエントロピーエンコードユニット270を介してエンコードされた、(サンプル適応オフセット情報のような)ループフィルタパラメータを出力するように構成されてよく、それによって、例えば、デコーダ30は、デコードのために同じループフィルタパラメータまたはそれぞれのループフィルタを受信し、適用し得る。
デコードされたピクチャバッファ
デコードされたピクチャバッファ(DPB)230は、ビデオエンコーダ20によってビデオデータをエンコードするための、参照ピクチャまたは一般に参照ピクチャデータを記憶するメモリであってよい。DPB 230は、同期DRAM(synchronous DRAM(SDRAM))を含むダイナミックランダムアクセスメモリ(dynamic random access memory(DRAM))、磁気抵抗RAM(magnetoresistive RAM(MRAM))、抵抗性RAM(resistive RAM(RRAM(登録商標)))、または他のタイプのメモリデバイスのような、様々なメモリデバイスのうちのいずれかによって形成され得る。デコードされたピクチャバッファ(DPB)230は、1つまたは複数のフィルタ処理されたブロック221を記憶するように構成され得る。デコードされたピクチャバッファ230は、以前にフィルタ処理された他のブロック、例えば、同じ現在のピクチャの、または異なるピクチャの、以前に再構成され、フィルタ処理されたブロック221、例えば、以前に再構成されたピクチャを記憶するようにさらに構成されてよく、例えば、インター予測のために、以前に再構成され、すなわちデコードされた完全なピクチャ(および、対応する参照ブロックおよびサンプル)、および／または部分的に再構成された現在のピクチャ(および、対応する参照ブロックおよびサンプル)を提供し得る。例えば、再構成されたブロック215が、ループフィルタユニット220によってフィルタ処理されていない、または再構成されたブロックまたはサンプルのさらに処理された任意の他のバージョンであるならば、デコードされたピクチャバッファ(DPB)230はまた、1つまたは複数のフィルタ処理されていない再構成されたブロック215、または一般に、フィルタ処理されていない再構成されたサンプルを記憶するように構成されてもよい。
モード選択(区分および予測)
モード選択ユニット260は、区分ユニット262、インター予測ユニット244、およびイントラ予測ユニット254を備え、元のピクチャデータ、例えば、元のブロック203(現在のピクチャ17の現在のブロック203)、および同じ(現在の)ピクチャの、かつ／または1つまたは複数の以前にデコードされたピクチャからの、例えば、デコードされたピクチャバッファ230または他のバッファ(例えば、表されていないラインバッファ)からの、再構成されたピクチャデータ、例えば、フィルタ処理された、および／またはフィルタ処理されていない再構成されたサンプルまたはブロックを受信または取得するように構成される。再構成されたピクチャデータは、予測ブロック265または予測子265を取得するために、予測、例えば、インター予測またはイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、(区分を含まない)現在のブロック予測モードについて区分、および予測モード(例えば、イントラまたはインター予測モード)を決定または選択し、残差ブロック205の計算のために、かつ再構成されたブロック215の再構成のために使用される、対応する予測ブロック265を生成するように構成され得る。
モード選択ユニット260の実施形態は、最も良い整合、または言い換えれば最小残差(最小残差は、伝送または記憶のためのより良い圧縮を意味する)、または最小シグナリングオーバーヘッド(最小シグナリングオーバーヘッドとは、伝送または記憶のためのより良い圧縮を意味する)を提供し、または両方を考慮し、または釣り合わせる、区分および予測モードを(例えば、モード選択ユニット260によってサポートされ、またはモード選択ユニット260に対して利用可能なものから)選択するように構成され得る。モード選択ユニット260は、レート歪み最適化(Rate Distortion Optimization(RDO))に基づいて区分および予測モードを決定する、すなわち、最小のレート歪みを提供する予測モードを選択するように構成され得る。この文脈における「最も良い」、「最小の」、「最適な」などのような用語は、全体的な「最も良い」、「最小の」、「最適な」などを必ずしも指さず、しきい値または他の制限を上回るまたは下回る値のような、終了または選択の基準の充足を指してもよく、潜在的に「準最適な選択」に導くが、複雑さおよび処理時間を減少させる。
言い換えれば、区分ユニット262は、例えば、4分木区分(quad-tree-partitioning(QT))、バイナリ区分(binary partitioning(BT))、またはトリプルツリー区分(triple-tree-partitioning(TT))、またはそれらの任意の組み合わせを反復的に使用して、ブロック203をより小さいブロック区分または(再びブロックを形成する)サブブロックに区分し、例えば、ブロック区分またはサブブロックの各々について予測を実行するように構成されてよく、モード選択は、区分されるブロック203のツリー構造の選択を備え、予測モードは、ブロック区分またはサブブロックの各々に適用される。
以下では、例示のビデオエンコーダ20によって実行される(例えば、区分ユニット260による)区分および(インター予測ユニット244およびイントラ予測ユニット254による)予測処理が、より詳細に説明されるであろう。
区分
区分ユニット262は、現在のブロック203をより小さい区分、例えば、正方形または長方形のサイズのより小さいブロックに、区分(または分割)し得る。これらのより小さいブロック(サブブロックとも呼ばれ得る)は、いっそう小さい区分にさらに区分され得る。これは、ツリー区分または階層的ツリー区分とも呼ばれ、例えば、ルートツリーレベル0(階層レベル0、深度0)におけるルートブロックは、再帰的に区分され、例えば、次に低いツリーレベルの2つ以上のブロック、例えば、ツリーレベル1(階層レベル1、深度1)におけるノードに区分されてよく、これらのブロックは再び、例えば、終了基準が充足され、例えば、最大ツリー深度または最小ブロックサイズが到達されたので区分が終了されるまで、次に低いレベル、例えば、ツリーレベル2(階層レベル2、深度2)などの2つ以上のブロックに区分されてよい。さらに区分されないブロックは、ツリーのリーフブロックまたはリーフノードとも呼ばれる。2つの区分への区分を使用するツリーは2分木(Binary-Tree(BT))と呼ばれ、3つの区分への区分を使用するツリーは3分木(Ternary-Tree(TT))と呼ばれ、4つの区分への区分を使用するツリーは4分木(Quad-Tree(QT))と呼ばれる。
前に述べたように、ここで使用される用語「ブロック」は、ピクチャの一部分、特に正方形または長方形の部分であってよい。例えば、HEVCおよびVVCを参照すると、ブロックは、コーディングツリーユニット(coding tree unit(CTU))、コーディングユニット(coding unit(CU))、予測ユニット(prediction unit(PU))、および変換ユニット(transform unit(TU))、および／または対応するブロック、例えば、コーディングツリーブロック(coding tree block(CTB))、コーディングブロック(coding block(CB))、変換ブロック(transform block(TB))、または予測ブロック(prediction block(PB))であってよく、またはそれらに対応し得る。
例えば、コーディングツリーユニット(CTU)は、3つのサンプルアレイを有するピクチャのルーマサンプルのCTB、クロマサンプルの2つの対応するCTB、またはモノクロピクチャまたは3つの別個の色平面を使用してコーディングされるピクチャのサンプルのCTB、およびサンプルをコーディングするために使用されるシンタックス構造であってよく、またはそれらを備えてもよい。それに対応して、コーディングツリーブロック(CTB)は、CTBへの成分の分割が区分であるようなNのいくつかの値についてサンプルのN×Nブロックであってよい。コーディングユニット(CU)は、3つのサンプルアレイを有するピクチャのルーマサンプルのコーディングブロック、クロマサンプルの2つの対応するコーディングブロック、またはモノクロピクチャまたは3つの別個の色平面を使用してコーディングされるピクチャのサンプルのコーディングブロック、およびサンプルをコーディングするために使用されるシンタックス構造であってよく、またはそれらを備えてもよい。それに対応して、コーディングブロック(CB)は、コーディングブロックへのCTBの分割が区分であるようなMおよびNのいくつかの値についてサンプルのM×Nブロックであってよい。
例えば、HEVCによる実施形態では、コーディングツリーユニット(CTU)は、コーディングツリーとして表記される4分木構造を使用することによってCUに分割され得る。ピクチャエリアを、(時間的な)インターピクチャ予測を使用してコーディングすべきか、または(空間的な)イントラピクチャ予測を使用してコーディングすべきかの決定は、CUレベルにおいて行われる。各CUは、PU分割タイプに従って1つ、2つ、または4つのPUにさらに分割されることが可能である。1つのPUの内部では、同じ予測プロセスが適用され、関連する情報がPUごとにデコーダへ伝送される。PU分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、CUは、CUについてのコーディングツリーと類似の別の4分木構造に従って変換ユニット(TU)に区分されることが可能である。
例えば、多用途ビデオコーディング(VVC)と呼ばれる、現在策定中の最新のビデオコーディング規格による実施形態では、4分木および2分木(Quad-Tree and Binary Tree(QTBT))区分が、コーディングブロックを区分するために使用される。QTBTブロック構造において、CUは、正方形または長方形のいずれかの形状を有することができる。例えば、コーディングツリーユニット(CTU)は、4分木構造によって最初に区分される。4分木リーフノードは、2分木または3分木(またはトリプルツリー)構造によってさらに区分される。区分するツリーリーフノードは、コーディングユニット(CU)と呼ばれ、そのセグメント化は、さらなる区分なしで予測および変換処理のために使用される。これは、CU、PU、およびTUがQTBTコーディングブロック構造において同じブロックサイズを有することを意味する。並行して、複数の区分、例えば、トリプルツリー区分が、QTBTブロック構造と一緒に使用されることも提案された。
一例では、ビデオエンコーダ20のモード選択ユニット260は、ここで説明される区分技法の任意の組み合わせを実行するように構成され得る。
上記で説明されたように、ビデオエンコーダ20は、(予め決定された)予測モードのセットから、最も良いまたは最適な予測モードを決定または選択するように構成される。予測モードのセットは、例えば、イントラ予測モードおよび／またはインター予測モードを備えてよい。
イントラ予測
イントラ予測モードのセットは、例えば、HEVCにおいて定義されるように、35個の異なるイントラ予測モード、例えば、DC(または平均)モードおよび平面モードのような無方向性モード、または方向性モードを備えてよく、または、例えば、VVCについて定義されるように、67個の異なるイントラ予測モード、例えば、DC(または平均)モードおよび平面モードのような無方向性モード、または方向性モードを備えてよい。
VTM(Versatile Test Model(多用途テストモデル))バージョン3.0は、93個のイントラ予測モード、ならびに4タップサブピクセルイントラ補間フィルタ処理、および位置に依存した予測組み合わせ(position-dependent prediction combination(PDPC))を含む、いくつかのイントラ平滑化ツールを使用する。PDPCは、DC、平面、または角度イントラ予測モードを使用するイントラ予測の結果である予測されたサンプルの修正の、統一されたメカニズムとして提案されている。
イントラ予測ユニット254は、イントラ予測モードのセットのイントラ予測モードに従ってイントラ予測ブロック265を生成するために、同じ現在のピクチャの隣接ブロックの再構成されたサンプルを使用するように構成される。
イントラ予測ユニット254(または一般にモード選択ユニット260)は、エンコードされたピクチャデータ21への包含のためにシンタックス要素266の形式でイントラ予測パラメータ(または一般にブロックのための選択されたイントラ予測モードを示す情報)をエントロピーエンコードユニット270に出力するようにさらに構成され、それによって、例えば、ビデオデコーダ30は、デコードのために予測パラメータを受信および使用し得る。
インター予測
インター予測モードのセット(または可能なインター予測モード)は、利用可能な参照ピクチャ(すなわち、例えば、DBP 230に記憶されている、少なくとも部分的にデコードされた以前のピクチャ)、および他のインター予測パラメータ、例えば、最も良く整合する参照ブロックを探索するために参照ピクチャ全体が使用されるか、または参照ピクチャの一部のみ、例えば、現在のブロックのエリアの周囲の探索ウィンドウエリアが使用されるか、および／または、例えば、ピクセル補間、例えば、ハーフ／セミペルおよび／またはクォーターペル補間が適用されるか否かに依存する。
上記の予測モードに加えて、スキップモードおよび／または直接モードが適用されてよい。
インター予測ユニット244は、動き推定(motion estimation(ME))ユニットおよび動き補償(motion compensation(MC))ユニット(両方とも図2に表されていない)を含んでよい。動き推定ユニットは、動き推定のために、ピクチャブロック203(現在のピクチャ17の現在のピクチャブロック203)およびデコードされたピクチャ231、または少なくとも1つまたは複数の以前に再構成されたブロック、例えば、1つまたは複数の他の／異なる以前にデコードされたピクチャ231の再構成されたブロックを、受信または取得するように構成され得る。例えば、ビデオシーケンスは、現在のピクチャおよび以前にデコードされたピクチャ231を備えてよく、または言い換えれば、現在のピクチャおよび以前にデコードされたピクチャ231は、ビデオシーケンスを形成するピクチャのシーケンスの一部であってよく、またはそれらを形成してよい。
エンコーダ20は、例えば、複数の他のピクチャのうちの同じまたは異なるピクチャの複数の参照ブロックから参照ブロックを選択し、参照ピクチャ(または参照ピクチャインデックス)、および／または参照ブロックの位置(x、y座標)と現在のブロックの位置との間のオフセット(空間オフセット)を、インター予測パラメータとして動き推定ユニットに提供するように構成され得る。このオフセットは動きベクトル(motion vector(MV))とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得し、例えば受信し、インター予測パラメータに基づいて、またはそれを使用して、インター予測を実行してインター予測ブロック265を取得するように構成される。動き補償ユニットによって実行される動き補償は、動き推定によって決定された動き／ブロックベクトルに基づいて予測ブロックをフェッチまたは生成すること、おそらくサブピクセル精度への補間を実行することを伴ってよい。補間フィルタ処理は、知られているピクセルサンプルから追加のピクセルサンプルを生成してよく、従って、ピクチャブロックをコーディングするために使用され得る候補予測ブロックの数を潜在的に増加させる。現在のピクチャブロックのPUについての動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうちの1つの中で動きベクトルが指し示す予測ブロックを位置付け得る。
動き補償ユニットはまた、ビデオスライスのピクチャブロックをデコードする際のビデオデコーダ30による使用のために、ブロックおよびビデオスライスに関連付けられたシンタックス要素を生成し得る。
エントロピーコーディング
エントロピーエンコードユニット270は、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および／または他のシンタックス要素において、例えば、エントロピーエンコードアルゴリズムまたは方式(例えば、可変長コーディング(variable length coding(VLC))方式、コンテキスト適応VLC方式(context adaptive VLC scheme(CAVLC))、算術コーディング方式、2値化、コンテキスト適応バイナリ算術コーディング(context adaptive binary arithmetic coding(CABAC))、シンタックスベースのコンテキスト適応バイナリ算術コーディング(syntax-based context-adaptive binary arithmetic coding(SBAC))、確率区間区分エントロピー(probability interval partitioning entropy(PIPE))コーディング、または別のエントロピーエンコード方法論または技法)、またはバイパス(圧縮なし)を適用して、例えば、エンコードされたビットストリーム21の形式で、出力272を介して出力されることが可能であるエンコードされたピクチャデータ21を取得するように構成され、それによって、例えば、ビデオデコーダ30は、デコードのためにパラメータを受信および使用し得る。エンコードされたビットストリーム21は、ビデオデコーダ30へ伝送され、またはビデオデコーダ30による後の伝送または取り出しのためにメモリに記憶され得る。
ビデオエンコーダ20の他の構造的変形が、ビデオストリームをエンコードするために使用されることが可能である。例えば、非変換ベースのエンコーダ20が、あるブロックまたはフレームについて変換処理ユニット206なしで直接に残差信号を量子化することができる。別の実装では、エンコーダ20は、単一のユニットの中に組み合わせられた量子化ユニット208および逆量子化ユニット210を有することができる。
デコーダおよびデコード方法
図3は、この本出願の技法を実現するように構成されるビデオデコーダ30の一例を表す。ビデオデコーダ30は、例えば、エンコーダ20によってエンコードされた、エンコードされたピクチャデータ21(例えば、エンコードされたビットストリーム21)を受信して、デコードされたピクチャ331を取得するように構成される。エンコードされたピクチャデータまたはビットストリームは、エンコードされたピクチャデータをデコードするための情報、例えば、エンコードされたビデオスライスのピクチャブロックを表現するデータ、および関連付けられたシンタックス要素を備える。
図3の例では、デコーダ30は、エントロピーデコードユニット304、逆量子化ユニット310、逆変換処理ユニット312、再構成ユニット314(例えば、合算器314)、ループフィルタ320、デコードされたピクチャバッファ(DBP)330、インター予測ユニット344、およびイントラ予測ユニット354を備える。インター予測ユニット344は、動き補償ユニットであってよく、またはそれを含んでもよい。ビデオデコーダ30は、いくつかの例では、図2からのビデオエンコーダ100に関して説明されたエンコードパスとは一般に相補的なデコードパスを実行し得る。
エンコーダ20に関して説明されたように、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループフィルタ220、デコードされたピクチャバッファ(DPB)230、インター予測ユニット344、およびイントラ予測ユニット354は、ビデオエンコーダ20の「ビルトインデコーダ」を形成するとしても言及される。従って、逆量子化ユニット310は逆量子化ユニット110と機能において同一であってよく、逆変換処理ユニット312は逆変換処理ユニット212と機能において同一であってよく、再構成ユニット314は再構成ユニット214と機能において同一であってよく、ループフィルタ320はループフィルタ220と機能において同一であってよく、デコードされたピクチャバッファ330はデコードされたピクチャバッファ230と機能において同一であってよい。従って、ビデオ20エンコーダのそれぞれのユニットおよび機能について提供された説明は、それに対応してビデオデコーダ30のそれぞれのユニットおよび機能に適用される。
エントロピーデコード
エントロピーデコードユニット304は、ビットストリーム21(または一般にエンコードされたピクチャデータ21)を構文解析し、例えば、エンコードされたピクチャデータ21へのエントロピーデコードを実行して、例えば、量子化された係数309および／またはデコードされたコーディングパラメータ(図3に表されていない)、例えば、インター予測パラメータ(例えば、参照ピクチャインデックスおよび動きベクトル)、イントラ予測パラメータ(例えば、イントラ予測モードまたはインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および／または他のシンタックス要素のうちのいずれかまたは全てを取得するように構成される。エントロピーデコードユニット304は、エンコーダ20のエントロピーエンコードユニット270に関して説明されたようなエンコード方式に対応するデコードアルゴリズムまたは方式を適用するように構成され得る。エントロピーデコードユニット304は、モード選択ユニット360にインター予測パラメータ、イントラ予測パラメータ、および／または他のシンタックス要素を、デコーダ30の他のユニットに他のパラメータを提供するようにさらに構成され得る。ビデオデコーダ30は、ビデオスライスレベルおよび／またはビデオブロックレベルにおいてシンタックス要素を受信し得る。
逆量子化
逆量子化ユニット310は、(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)エンコードされたピクチャデータ21から量子化パラメータ(quantization parameter(QP))(または一般に逆量子化に関する情報)および量子化された係数を受信し、量子化パラメータに基づいて、デコードされた量子化された係数309において逆量子化を適用して、変換係数311とも呼ばれ得る逆量子化された係数311を取得するように構成され得る。逆量子化プロセスは、量子化の程度、および同様に、適用されるべき逆量子化の程度を決定するために、ビデオスライスの中のビデオブロックごとにビデオエンコーダ20によって決定された量子化パラメータの使用を含んでよい。
逆変換
逆変換処理ユニット312は、変換係数311とも呼ばれる逆量子化された係数311を受信し、サンプル領域において再構成された残差ブロック213を取得するために逆量子化された係数311に変換を適用するように構成され得る。再構成された残差ブロック213は、変換ブロック313とも呼ばれ得る。変換は、逆変換、例えば、逆DCT、逆DST、逆整数変換、または概念的に類似の逆変換プロセスであってよい。逆変換処理ユニット312は、逆量子化された係数311に適用されるべき変換を決定するために、(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)エンコードされたピクチャデータ21から変換パラメータまたは対応する情報を受信するようにさらに構成され得る。
再構成
再構成ユニット314(例えば、加算器または合算器314)は、例えば、再構成された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを加算することによって、予測ブロック365に再構成された残差ブロック313を加算して、サンプル領域において再構成されたブロック315を取得するように構成され得る。
フィルタ処理
(コーディングループ内またはコーディングループの後のいずれかの)ループフィルタユニット320は、例えば、ピクセル遷移を平滑化し、またはビデオ品質をそうでなく改善するために、再構成されたブロック315をフィルタ処理してフィルタ処理されたブロック321を取得するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(sample-adaptive offset(SAO))フィルタ、または1つまたは複数の他のフィルタ、例えば、バイラテラルフィルタ、適応ループフィルタ(adaptive loop filter(ALF))、鮮鋭化、平滑化フィルタ、または協調フィルタ、またはそれらの任意の組み合わせのような1つまたは複数のループフィルタを備えてよい。ループフィルタユニット320はループ内フィルタであるとして図3に表されているが、他の構成では、ループフィルタユニット320はポストループフィルタとして実現されてもよい。
デコードされたピクチャバッファ
ピクチャのデコードされたビデオブロック321は、次いで、他のピクチャについての後続の動き補償のために、かつ／または出力されるそれぞれ表示のために、参照ピクチャとしてデコードされたピクチャ331を記憶するデコードされたピクチャバッファ330に記憶される。
デコーダ30は、ユーザへの提示または閲覧のために、例えば、出力312を介してデコードされたピクチャ311を出力するように構成される。
予測
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一であってよく、イントラ予測ユニット354は、機能においてインター予測ユニット254と同一であってよく、区分および／または予測パラメータ、またはエンコードされたピクチャデータ21から(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)受信されたそれぞれの情報に基づいて、分割または区分決定および予測を実行する。モード選択ユニット360は、(フィルタ処理された、またはフィルタ処理されていない)再構成されたピクチャ、ブロック、またはそれぞれのサンプルに基づいて、ブロックごとに予測(イントラまたはインター予測)を実行して、予測ブロック365を取得するように構成され得る。
イントラコーディングされた(I)スライスとしてビデオスライスがコーディングされるとき、モード選択ユニット360のイントラ予測ユニット354は、シグナリングされたイントラ予測モード、および現在のピクチャの以前にデコードされたブロックからのデータに基づいて、現在のビデオスライスのピクチャブロックについて予測ブロック365を生成するように構成される。インターコーディングされた(すなわち、BまたはP)スライスとしてビデオピクチャがコーディングされるとき、モード選択ユニット360のインター予測ユニット344(例えば、動き補償ユニット)は、動きベクトル、およびエントロピーデコードユニット304から受信された他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックについて予測ブロック365を作り出すように構成される。インター予測について、予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから作り出されてよい。ビデオデコーダ30は、DPB 330に記憶された参照ピクチャに基づいてデフォルトの構成技法を使用して、参照フレームリスト、リスト0およびリスト1を構成し得る。
モード選択ユニット360は、動きベクトルおよび他のシンタックス要素を構文解析することによって、現在のビデオスライスのビデオブロックについて予測情報を決定し、予測情報を使用して、デコードされている現在のビデオブロックについて予測ブロックを作り出すように構成される。例えば、モード選択ユニット360は、受信されたシンタックス要素のうちのいくつかを使用して、現在のビデオスライス内のビデオブロックをデコードするために、ビデオスライスのビデオブロックをコーディングするために使用された予測モード(例えば、イントラまたはインター予測)、インター予測スライスタイプ(例えば、Bスライス、Pスライス、またはGPBスライス)、スライスについての参照ピクチャリストのうちの1つまたは複数についての構成情報、スライスのインターエンコードされたビデオブロックごとの動きベクトル、スライスのインターコーディングされたビデオブロックごとのインター予測ステータス、および他の情報を決定する。
ビデオデコーダ30の他の変形が、エンコードされたピクチャデータ21をデコードするために使用されることが可能である。例えば、デコーダ30は、ループフィルタ処理ユニット320なしで出力ビデオストリームを作り出すことができる。例えば、非変換ベースのデコーダ30が、あるブロックまたはフレームについて逆変換処理ユニット312なしで直接に残差信号を逆量子化することができる。別の実装では、ビデオデコーダ30は、単一のユニットの中に組み合わせられた逆量子化ユニット310および逆変換処理ユニット312を有することができる。
エンコーダ20およびデコーダ30において、現在のステップの処理結果がさらに処理され、次いで、次のステップに出力されてよいことが理解されるべきである。例えば、補間フィルタ処理、動きベクトル導出、またはループフィルタ処理の後、補間フィルタ処理、動きベクトル導出、またはループフィルタ処理の処理結果において、クリップまたはシフトのようなさらなる演算が実行されてよい。
現在のブロックの導出された動きベクトル(アフィンモードの制御点動きベクトル、アフィン、平面、ATMVPモードにおけるサブブロック動きベクトル、時間動きベクトルなどを含むが、それらに限定されない)に、さらなる演算が適用され得ることが注記されるべきである。例えば、動きベクトルの値は、その表現ビットに従って予め定義された範囲に制限される。動きベクトルの表現ビットがbitDepthであるならば、範囲は-2^(bitDepth-1)～2^(bitDepth-1)-1であり、ここで「^」はべき乗を意味する。例えば、bitDepthが16に等しく設定されるならば、範囲は-32768～32767であり、bitDepthが18に等しく設定されるならば、範囲は-131072～131071である。例えば、導出される動きベクトル(例えば、1つの8×8ブロック内の4つの4×4サブブロックのMV)の値は、4つの4×4サブブロックMVの整数部分の間の最大差が、1ピクセルより大きくない、のような、Nピクセルより大きくないように制限される。ここで、bitDepthに従って動きベクトルを制限するための2つの方法を提供する。
方法1:フロー演算によってオーバーフローMSB(最上位ビット)を除去する。
ux = ( mvx + 2bitDepth ) % 2bitDepth (1)
mvx = ( ux >= 2bitDepth-1 ) ? ( ux - 2bitDepth ) : ux (2)
uy = ( mvy + 2bitDepth ) % 2bitDepth (3)
mvy = ( uy >= 2bitDepth-1 ) ? ( uy - 2bitDepth ) : uy (4)
ここで、mvxは画像ブロックまたはサブブロックの動きベクトルの水平成分であり、mvyは画像ブロックまたはサブブロックの動きベクトルの垂直成分であり、uxおよびuyは中間値を示す。
例えば、mvxの値が-32769であるならば、式(1)および(2)を適用した後、結果として生じる値は32767である。コンピュータシステムでは、10進数は2の補数として記憶される。-32769の2の補数は1,0111,1111,1111,1111(17ビット)であり、次いで、MSBが廃棄され、そのため、結果として生じる2の補数は、式(1)および(2)を適用することによる出力と同じである0111,1111,1111,1111である(10進数は32767である)。
ux = ( mvpx + mvdx +2bitDepth ) % 2bitDepth (5)
mvx = ( ux >= 2bitDepth-1 ) ? ( ux - 2bitDepth ) : ux (6)
uy = ( mvpy + mvdy +2bitDepth ) % 2bitDepth (7)
mvy = ( uy >= 2bitDepth-1 ) ? ( uy - 2bitDepth ) : uy (8)
式(5)～(8)に表されたように、その演算は、mvpとmvdの合算の間に適用され得る。
方法2:値をクリッピングすることによってオーバーフローMSBを除去する。
vx = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vx)
vy = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vy)
ここで、vxは画像ブロックまたはサブブロックの動きベクトルの水平成分であり、vyは画像ブロックまたはサブブロックの動きベクトルの垂直成分であり、x、y、およびzは、MVクリッピングプロセスの3つの入力値に対応し、関数Clip3の定義は以下の通りである。
Figure 2022514885000061
図4は、開示の一実施形態によるビデオコーディングデバイス400の概略図である。ビデオコーディングデバイス400は、ここで説明されるような開示される実施形態を実現するために適している。一実施形態では、ビデオコーディングデバイス400は、図1Aのビデオデコーダ30のようなデコーダ、または図1Aのビデオエンコーダ20のようなエンコーダであってよい。
ビデオコーディングデバイス400は、データを受信するための入口ポート410(または入力ポート410)および受信機ユニット(Rx)420、データを処理するためのプロセッサ、論理ユニット、または中央処理ユニット(CPU)430、データを伝送するための送信機ユニット(Tx)440および出口ポート450(または出力ポート450)、およびデータを記憶するためのメモリ460を備える。ビデオコーディングデバイス400はまた、光信号または電気信号の出口または入口のために入口ポート410、受信機ユニット420、送信機ユニット440、および出口ポート450に結合された、光電気(optical-to-electrical(OE))構成要素および電気光(electrical-to-optical(EO))構成要素を備えてよい。
プロセッサ430は、ハードウェアおよびソフトウェアによって実現される。プロセッサ430は、1つまたは複数のCPUチップ、(例えば、マルチコアプロセッサとしての)コア、FPGA、ASIC、およびDSPとして実現され得る。プロセッサ430は、入口ポート410、受信機ユニット420、送信機ユニット440、出口ポート450、およびメモリ460と通信している。プロセッサ430は、コーディングモジュール470を備える。コーディングモジュール470は、上記で説明された開示された実施形態を実現する。例えば、コーディングモジュール470は、様々なコーディング演算を実現、処理、準備、または提供する。従って、コーディングモジュール470の包含は、ビデオコーディングデバイス400の機能にかなりの改善を提供し、ビデオコーディングデバイス400の異なる状態への変換をもたらす。代替として、コーディングモジュール470は、メモリ460に記憶され、プロセッサ430によって実行される命令として実現される。
メモリ460は、1つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを備えてよく、実行のためにそのようなプログラムが選択されるときにプログラムを記憶するために、かつプログラム実行の間に読み取られる命令およびデータを記憶するために、オーバーフローデータ記憶デバイスとして使用されてよい。メモリ460は、例えば、揮発性および／または不揮発性であってよく、リードオンリメモリ(read-only memory(ROM))、ランダムアクセスメモリ(random access memory(RAM))、3値連想メモリ(ternary content-addressable memory(TCAM))、および／またはスタティックランダムアクセスメモリ(static random-access memory(SRAM))であってよい。
図5は、例示的な実施形態による、図1からのソースデバイス12および宛先デバイス14のいずれかまたは両方として使用され得る装置500の簡略化されたブロック図である。
装置500内のプロセッサ502は中央処理ユニットであることが可能である。代替として、プロセッサ502は、現存する、または今後開発される、情報を操作または処理することが可能な任意の他のタイプのデバイスまたは複数のデバイスであることが可能である。開示される実装は、表されているように単一のプロセッサ、例えば、プロセッサ502を用いて実施されることが可能であるが、速度および効率における利点は、1つより多くのプロセッサを使用して達成されることが可能である。
装置500内のメモリ504は、一実装ではリードオンリメモリ(ROM)デバイスまたはランダムアクセスメモリ(RAM)デバイスであることが可能である。任意の他の適したタイプの記憶デバイスが、メモリ504として使用されることが可能である。メモリ504は、バス512を使用してプロセッサ502によってアクセスされるコードおよびデータ506を含むことができる。メモリ504は、オペレーティングシステム508およびアプリケーションプログラム510をさらに含むことができ、アプリケーションプログラム510は、プロセッサ502がここで説明される方法を実行することを可能にする少なくとも1つのプログラムを含む。例えば、アプリケーションプログラム510は、アプリケーション1からNを含むことができ、アプリケーション1からNは、ここで説明される方法を実行するビデオコーディングアプリケーションをさらに含む。
装置500はまた、ディスプレイ518のような1つまたは複数の出力デバイスを含むことができる。ディスプレイ518は、一例では、ディスプレイを、タッチ入力を感知するように動作可能なタッチ感応性要素と組み合わせる、タッチ感応性ディスプレイであってよい。ディスプレイ518は、バス512を介してプロセッサ502に結合されることが可能である。
ここでは単一のバスとして描写されているが、装置500のバス512は複数のバスからなることが可能である。さらに、2次記憶514が、装置500の他の構成要素に直接に結合されることが可能であり、またはネットワークを介してアクセスされることが可能であり、メモリカードのような単一の統合されたユニット、または複数のメモリカードのような複数のユニットを備えることができる。従って、装置500は広く様々な構成で実現されることが可能である。
イントラ予測モードに依存して、簡略化されたPDPCの特定の実装が異なって実行されることが可能である。
平面、DC、HOR/VERイントラ予測モード(図7および図8の中で、それぞれ、0、1、18、50として表記される)について、以下のステップが実行される。
(x,y)において位置する予測されたサンプルP(x,y)が以下のように計算される。
P(x,y)=Clip1Cmp((wL×R-1,y+wT×Rx,-1-wTL×R-1,-1+(64-wl-wT+wTL)×P(x,y)+32))>>6) (1)
ここで、Rx,-1、R-1,yは、現在のサンプル(x,y)の上および左において位置する参照サンプルを表現し、R-1,-1は、現在のブロックの左上コーナーに位置する参照サンプルを表現し、関数clip1Cmpは以下のように設定される。
- cIdxが0に等しいならば、clip1CmpはClip1Yに等しく設定される。
- そうでないならば、clip1CmpはClip1Cに等しく設定される。
Clip1Y(x)=Clip3(0,(1<<BitDepthY)-1,x)
Clip1C(x)=Clip3(0,(1<<BitDepthC)-1,x)
Figure 2022514885000062
BitDepthYはルーマサンプルのビット深度である。
BitDepthCはルーマサンプルのビット深度である。
BitDepthYおよびBitDepthCは、ビットストリームのシーケンスパラメータセット(sequence parameter set(SPS))内でシグナリングされることが可能である。
Clip1Y(x)およびClip1C(x)の代替の定義が可能である。特に、F. Galpin、P. Bordes、およびF. Le Leannecによって、寄稿JVET-C0040「Adaptive Clipping in JEM2.0」に説明されたように、Clip1Cmp(x)=Clip3(minC,maxC,x)であり、
ここで、minCは、成分ID Cについて現在のスライス内で使用される低い方のクリッピング限度であり、
maxCは、成分ID Cについて現在のスライス内で使用される高い方のクリッピング限度であり、
Cは、色成分(たとえば、ルーマについてY、クロマについてCbおよびCr)であり、
「x>>y」は、xの2の補数整数表現の、2進数のy桁だけの算術右シフトである。この関数は、yの非負の整数値のみについて定義される。右シフトの結果として最上位ビット(MSB)にシフトされるビットは、そのシフト演算の前のxのMSBに等しい値を有する。
DCモード重みは、以下のように計算される。
wT=32>>((y<<1)>>shift)
wL=32>>((x<<1)>>shift)
wTL=-(wL>>4)-(wT>>4)
ここで、shift=(log2(width)+log2(height)+2)>>2である。
平面モードについてwTL=0であるが、水平モードについてwTL=wTであり垂直モードについてwTL=wLである。1つの4×4ブロックの内側の(0,0)および(1,0)位置についてのDCモードPDPC重み(wL,wT,wTL)が図9に表されている。
対角(図7および図8の中で2および66として表記される)および隣接モード(図7または図8の中の58以上および10以下の方向性モード)について、処理は、同じ式(1)を使用して、以下で説明するように実行される。
図10Aは、右上対角モードへのPDPCの拡張のための参照サンプルRx,-1、R-1,y、およびR-1,-1の定義を例示する。予測サンプルpred(x',y')は、予測ブロック内の(x',y')において位置する。参照サンプルRx,-1の座標xは、
x=x'+y'+1
によって与えられ、参照サンプルR-1,yの座標yは、同様に
y=x'+y'+1
によって与えられる。
右上対角モードのためのPDPC重みは、
wT=16>>((y'<<1)>>shift)
wL=16>>((x'<<1)>>shift)
wTL=0
である。
同様に、図10Bは、左下対角モードへのPDPCの拡張のための参照サンプルRx,-1、R-1,y、およびR-1,-1の定義を例示する。参照サンプルRx,-1の座標xは、
x=x'+y'+1
によって与えられ、参照サンプルR-1,yの座標yは、
y=x'+y'+1
である。
右上対角モードのためのPDPC重みは、
wT=16>>((y'<<1)>>shift)
wL=16>>((x'<<1)>>shift)
wTL=0
である。
隣接右上対角モードの場合が図10Cに例示される。隣接右上対角モードのためのPDPC重みは、
wT=32>>((y'<<1)>>shift)
wL=0
wTL=0
である。
同様に、隣接左下対角モードの場合が図10Dに例示される。隣接左下対角モードのためのPDPC重みは、
wL=32>>((x'<<1)>>shift)
wT=0
wTL=0
である。
最後の2つの場合についての参照サンプル座標は、角度モードイントラ予測のためにすでに使用されているテーブルを使用して算出される。分数参照サンプル座標が計算されるならば、参照サンプルの線形補間が使用される。
VVC仕様において指定されるように、簡略化されたPDPCが実行されることが可能である。さらに、以下の表記が使用される。
Figure 2022514885000063
は、逆角度の値であり、
Round(x)=Sign(x)*Floor(Abs(x)+0.5)
Figure 2022514885000064
Floor(x)は、x以下の最大の整数であり、
Log2(x)は、2を底とするxの対数である。
intraPredAngleは、Table 6(表11)の中で指定される角度パラメータであり、
A=C ? B : Dは、3元割当て演算であり、ここで、条件Cが真であるならば、AはBに等しく設定される。
そうでなく、条件Cが偽であるならば、AはDに等しく設定される。
INTRA_PLANARは、平面イントラ予測モード()であり、
INTRA_DCは、DCイントラ予測モードであり、
INTRA_ANGULARXXは、方向性イントラ予測モードのうちの1つであり、ここで、XXは、図8に表されたその数および対応する方向を表記する。
ここで用語が説明されないならば、その定義がVVC仕様またはHEVC/H.265規格仕様において見出されることが可能であることが理解される。
上記の表記が与えられると、簡略化されたPDPCのステップは以下のように定義されることが可能である。
このプロセスへの入力は、
- イントラ予測モードpredModeIntra、
- 変換ブロック幅を指定する変数nTbW、
- 変換ブロック高さを指定する変数nTbH、
- 参照サンプル幅を指定する変数refW、
- 参照サンプル高さを指定する変数refH、
- 予測されたサンプルpredSamples[x][y]、ここでx=0..nTbW-1、y=0..nTbH-1、
- 隣接サンプルp[x][y]、ここでx=-1、y=-1..refH-1、およびx=0..refW-1、y=-1、
- 現在のブロックの色成分を指定する変数cIdx
である。
このプロセスの出力は、修正済みの予測されたサンプルpredSamples[x][y]、ここでx=0..nTbW-1、y=0..nTbH-1である。
cIdxの値に依存して、関数clip1Cmpは以下のように設定される。
- cIdxが0に等しいならば、clip1CmpはClip1Yに等しく設定される。
- そうでないならば、clip1CmpはClip1Cに等しく設定される。
変数nScaleは、((Log2(nTbW)+Log2(nTbH)-2)>>2)に設定される。
参照サンプルアレイmainRef[x]およびsideRef[y]、ここでx=0..refW-1およびy=0..refH-1、は、以下のように導出される。
mainRef[x]=p[x][-1]
sideRef[y]=p[-1][y]
変数refL[x][y]、refT[x][y]、wT[y]、wL[x]、およびwTL[x][y]、ここでx=0..nTbW-1、y=0..nTbH-1、は、以下のように導出される。
- predModeIntraがINTRA_PLANAR、INTRA_DC、INTRA_ANGULAR18、またはINTRA_ANGULAR50に等しいならば、以下が適用される。
refL[x][y]=p[-1][y]
refT[x][y]=p[x][-1]
wT[y]=32>>((y<<1)>>nScale)
wL[x]=32>>((x<<1)>>nScale)
wTL[x][y]=(predModeIntra==INTRA_DC) ? ((wL[x]>>4)+(wT[y]>>4)) : 0
- そうでなく、predModeIntraがINTRA_ANGULAR2またはINTRA_ANGULAR66に等しいならば、以下が適用される。
refL[x][y]=p[-1][x+y+1]
refT[x][y]=p[x+y+1][-1]
wT[y]=(32>>1)>>((y<<1)>>nScale)
wL[x]=(32>>1)>>((x<<1)>>nScale)
wTL[x][y]=0
- そうでなく、predModeIntraがINTRA_ANGULAR10以下であるならば、以下の順序付けされたステップが適用される。
1.変数dXPos[y]、dXFrac[y]、dXInt[y]、およびdX[x][y]は、invAngleを使用して以下のように導出される。
dXPos[y]=((y+1)*invAngle+2)>>2
dXFrac[y]=dXPos[y]&63
dXInt[y]=dXPos[y]>>6
dX[x][y]=x+dXInt[y]
2.変数refL[x][y]、refT[x][y]、wT[y]、wL[x]、およびwTL[x][y]は、以下のように導出される。
refL[x][y]=0
refT[x][y]=(dX[x][y]<refW-1) ? ((64-dXFrac[y])*mainRef[dX[x][y]]+
dXFrac[y]*mainRef[dX[x][y]+1]+32)>>6 : 0 (式1)
wT[y]=(dX[x][y]<refW-1) ? 32>>((y<<1)>>nScale) : 0
wL[x]=0
wTL[x][y]=0
- そうでなく、predModeIntraがINTRA_ANGULAR58(図8を見られたい)以上であるならば、以下の順序付けされたステップが適用される。
1.変数dYPos[x]、dYFrac[x]、dYInt[x]、およびdY[x][y]は、intraPredModeに依存して、以下において指定されるようにinvAngleを使用して以下のように導出される。
dYPos[x]=((x+1)*invAngle+2)>>2
dYFrac[x]=dYPos[x]&63
dYInt[x]=dYPos[x]>>6
dY[x][y]=y+dYInt[x]
2.変数refL[x][y]、refT[x][y]、wT[y]、wL[x]、およびwTL[x][y]は、以下のように導出される。
refL[x][y]=(dY[x][y]<refH-1) ? ((64-dYFrac[x])*sideRef[dY[x][y]]+
+ dYFrac[x]*sideRef[dY[x][y]+1]+32)>>6 : 0 (式2)
refT[x][y]=0
wT[y]=0
wL[x]=(dY[x][y]< refH-1) ? 32>>((x<<1)>>nScale) : 0
wTL[x][y]=0
- そうでないならば、refL[x][y]、refT[x][y]、wT[y]、wL[x]、およびwTL[x][y]はすべて、0に等しく設定される。
修正済みの予測されたサンプルpredSamples[x][y]、ここでx=0..nTbW-1、y=0..nTbH-1)、の値は、以下のように導出される。
predSamples[x][y]=clip1Cmp((refL[x][y]*wL[x]+refT[x][y]*wT[y]-
p[-1][-1]*wTL[x][y]+(64-wL[x]-wT[y]+wTL[x][y])*predSamples[x][y]+32)>>6)
上記の割当て式1では、簡略化されたPDPCは、線形補間ではなく最近傍補間を使用し得る。
refT[x][y]=(dX[x][y]<refW-1) ? mainRef[dX[x][y]] : 0
同様に、割当て式2も最近傍補間を使用することができる。
refL[x][y]=(dY[x][y]<refH-1) ? sideRef[dY[x][y]] : 0
したがって、エンコーダおよびデコーダ側の両方において、提案される方法は、入力データとして以下を使用する。
(図7および図8に表されたpredModeIntraとしてさらに表記される)方向性イントラ予測モード、
(log2(nTbW)+Log2(nTbH))>>1に等しく設定されるブロックサイズパラメータnTbS、ここで、nTbWおよびnTbHは、それぞれ、予測されたブロックの幅および高さを表記し、「>>」は右シフト演算を表記する。
提案される方法の使用を可能にする、VVC仕様の修正は、簡略化されたPDPCを記述するセクションの中で「隣接サンプルp[x][y]」を「参照サンプルp[x][y]」で置換することを備え得る。
角度パラメータintraPredAngleは、5ビットに等しい分数部分の長さを有する固定小数点表現での、予測されたサンプルの2つの隣接する行の間のサブピクセルオフセットを表記する。このパラメータはイントラ予測モードから導出されることが可能であり、predModeIntraから導出される。predModeIntraからのintraPredAngleの例示的な導出は、たとえば、Table 1(表6)に表されたように、LUTを用いて定義されることが可能である。
Figure 2022514885000065
この発明では、方向性、平面、またはDCイントラ予測モードを使用して参照サンプルから取得された予測されたサンプルを更新することが提案される。更新手順のステップが図11に表されている。第1のステップ1101は、ブロック形状およびサイズに依存してスケール値nScaleXおよびnScaleYを計算することである。この計算の実装形態は、さらに図13において説明される。
ステップ1103および1104は、すべての予測されたサンプル位置にわたってループ内で実行される。ループ反復子xおよびyの初期化がステップ1102において実行され、反復子の境界検査がステップ1105および1107によって実行され、反復子インクリメントがステップ1106および1108において実行される。ステップ1108は、反復子xおよびyを次の行の始めにリセットし、すなわち、xは0に等しく設定され、行反復子yは1だけインクリメントされる。
ステップ1103は、位置に依存した重み値wL[x]およびwT[y]を計算することからなる。これらの重み値は、基本値Vを右シフトすることによって取得される。ステップ4の右シフト演算を用いて値Vが接続される。この右シフトがsに設定されるならば、Vの実際的な値は、たとえば、2s、2s-1または2sとして定義されることが可能である。図11に表された例示的な実施形態では、sの値は6に等しく設定され、Vの値は32、すなわち、25に等しく設定される。
最新式の方法とは対照的に、ステップ1103におけるwL[x]およびwT[y]は、それぞれ、スケールnScaleXおよびnScaleYの異なる値を使用する。これらの重み値wL[x]およびwT[y]は、予測されたサンプルの修正済みの値を計算するためにステップ1104においてさらに使用される。
予測されたサンプル更新の代替の実施形態が図12において与えられる。この実施形態では、重みwT[y]は、行ごとに1回だけ、すなわち、反復子yがインクリメントされるときに、再計算される。
QTBTおよびMTT区分に起因して、予測ブロックは、非正方形(一般に、長方形)の形状であり得る。しかしながら、最新式のPDPCは、予測ブロックの幅と高さとの潜在的な非同一性を考慮しない。予測されたブロックの左および上側までの距離の値にだけ基づく重み付けメカニズムは、予測されたブロックのアスペクト比が1とは異なるならば、予測されたサンプルが平滑過ぎることに導き得る。本開示では、イントラ予測モードを使用して、ブロックサイズおよびブロックアスペクト比の影響を釣り合わせることが提案される。イントラ予測モードによって提供される方向性情報を使用して、PDPC平滑化の影響の伝搬距離および方向性を決定することが可能である。したがって、イントラ予測モードのグループを導入すること、およびグループの各々について専用の重みスケーリング適合を適用することが提案される。この場合、細長い予測ブロックでさえ、側部の長さに従って平滑化を使用し、ここで、それはイントラ予測モードおよび予測ブロック寸法に従って適切である。
提案される発明では、重みwT[y]およびwL[x]を導出するときに別個のnScale値を使用することが示唆される。詳細には、上記の説明(ステップ1103)において以下の式が使用される(したがって、Vの値は16または32のいずれかに設定される)。
wT[y]=V>>((y<<1)>>nScaleY)
wL[x]=V>>((x<<1)>>nScaleX)
スケールの計算(ステップ1101)は、図14に表されたように実行されることが可能である。これは、図12に表された計算と比較して代替の計算である。第1のステップ1301は、たとえば、ビットストリームから構文解析することによって、予測されたブロックのイントラ予測モードの値intraPredAngleを得ることである。次のステップ1302は、イントラ予測モードをグループのうちの1つに分類することからなる。
斜行非対角なイントラ予測モードのさらなる定義が、さらに使用される。
intraPredModeが2またはVDIA_IDXに等しくなく、以下、すなわち、intraPredModeがVDIA_IDX-numModesより小さくない、またはintraPredModeが2+numModesより大きくない、のうちの1つが真であるならば、intraPredModeは斜行非対角である。
例示的な分類がTable 2(表7)の中で与えられる。
Figure 2022514885000066
モードクラスインデックスに依存して、nScaleXおよびnScaleYの導出は異なることが可能である。ステップ1303、...、1312は、Table 3(表8)に表された導出式へのクラスインデックスのマッピングを表現する。
Figure 2022514885000067
代替の分類が、Table 4(表9)、Table 5(表10)、およびTable 6(表11)の中で与えられる。
Figure 2022514885000068
Figure 2022514885000069
Figure 2022514885000070
Table 6(表11)では、対角モードについてだけでなく、非分数のintraPredAngle値(すなわち、Table 1(表6)の中の32の倍数)を有する広角度モードについても、クラス1が指定される。
この発明に暗示されることが可能である追加の制限は、ブロックサイズおよびイントラ予測モード(intraPredMode)に対する条件のある組み合わせの場合において予測されたサンプル更新ステップを適用しないことである。
予め定義されたパラメータnumModesが8に等しいと仮定すると、特定の実装は、PDPCを無効化する、すなわち、予測されたサンプル更新を実行しない、次の条件を備えてよい。
- ブロックの幅およびブロックの高さの和が、64サンプルよりも大きく、かつintraPredModeが斜行非対角であるか、またはそれがPLANAR_IDXに等しいかのいずれかである。
発明の特定の実装は、圧縮性能の改善を証明し得る。Table 4(表9)およびTable 3(表8)によって説明されるVTM-3.0ソフトウェアへの修正は、以下の圧縮性能改善(Table 7(表12))をもたらす。
Figure 2022514885000071
別の実施形態では、nScaleの値は、イントラ予測モードから導出される逆角度の値に依存して設定される。この実施形態によれば、イントラ予測モードの値(predModeIntra)に従ってnScale係数の値を取得するために、以下のステップが実行される。
- predModeIntra予測モード値に基づいてintraPredAngleパラメータの値を導出し、
- intraPredAngleパラメータに基づいて逆角度の値(invAngle)を導出し、
- ブロックのサイズおよびinvAngle値に基づいてnScale係数の値を取得する。
predModeIntra予測モード値に基づくintraPredAngleパラメータの値の導出は、ルックアップテーブルからフェッチすることとして実現されることが可能である。例示的なルックアップテーブルがTable 8(表13)の中で与えられる。
Figure 2022514885000072
逆角度パラメータinvAngleは、以下のようにintraPredAngleに基づいて導出される。
Figure 2022514885000073
Table 9(表14)およびTable 10(表15)は、predModeIntraおよびinvAngleの値に基づいてnScale値を指定するために使用される。
Figure 2022514885000074
Figure 2022514885000075
図15は、Table 9(表14)およびTable 10(表15)の中で与えられる分類に従って本発明のステップを表す。図13において「intraPredAngle」として表記された変数は、図15において「predModeIntra」として表記されている。この変数は、PDPCフィルタ処理プロセスに入力される予測されたサンプル値を取得するためのイントラ予測モードを示す。predModeIntraの値とイントラ予測方向との間の対応が、図8に表される。
この発明の実施形態はビデオコーディングに基づいて主に説明されているが、コーディングシステム10、エンコーダ20、およびデコーダ30(および、それに対応してシステム10)の実施形態、ならびにここで説明される他の実施形態は、また、静止ピクチャ処理またはコーディング、すなわち、ビデオコーディングにおけるように、先行するかまたは連続した任意のピクチャから独立した、個々のピクチャの処理またはコーディングのために構成され得ることが留意されるべきである。一般に、ピクチャ処理コーディングが単一のピクチャ17に限定される場合では、インター予測ユニット244(エンコーダ)および344(デコーダ)のみは、利用可能でなくてよい。ビデオエンコーダ20およびビデオデコーダ30のすべての他の機能(ツールまたは技術とも呼ばれる)は、静止ピクチャ処理、たとえば、残差計算204/304、変換206、量子化208、逆量子化210/310、(逆)変換212/312、区分262/362、イントラ予測254/354、および／またはループフィルタ処理220、320、ならびにエントロピーコーディング270およびエントロピーデコード304のために等しく使用され得る。
たとえば、エンコーダ20およびデコーダ30の実施形態、ならびに、たとえば、エンコーダ20およびデコーダ30を参照してここで説明される関数は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実現され得る。ソフトウェアにおいて実現されるならば、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体において記憶され、または通信媒体上で送信され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、1つの場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含んでよい。このようにして、コンピュータ可読媒体は、一般に、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波のような通信媒体に対応し得る。データ記憶媒体は、この開示において説明される技法の実装のための命令、コード、および／またはデータ構造を取り出すために、1つまたは複数のコンピュータまたは1つまたは複数のプロセッサによってアクセスされることが可能である任意の利用可能な媒体であってよい。コンピュータプログラム製品はコンピュータ可読媒体を含んでよい。
例として、かつ限定でなく、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶、磁気ディスク記憶もしくは他の磁気記憶デバイス、フラッシュメモリ、または命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用されることが可能であり、コンピュータによってアクセスされることが可能である任意の他の媒体を備えることができる。また、任意の接続が、適切に、コンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信されるならば、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることが理解されるべきである。ここで使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、一方、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記のものの組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積されたもしくは個別の論理回路のような、1つまたは複数のプロセッサによって実行され得る。したがって、ここで使用される用語「プロセッサ」は、上記の構造またはここで説明される技法の実装のために適した任意の他の構造のうちのいずれかを指し得る。加えて、いくつかの態様では、ここで説明される機能は、エンコードおよびデコードするために構成された専用のハードウェアおよび／またはソフトウェアモジュール内で提供され、または組み合わせられたコーデック内に組み込まれ得る。また、技法は、1つまたは複数の回路または論理要素内で完全に実現されることが可能である。
この開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、広く様々なデバイスまたは装置内で実現され得る。様々な構成要素、モジュール、またはユニットは、開示される技法を実行するように構成されたデバイスの機能的態様を強調するためにこの開示において説明されるが、異なるハードウェアユニットによる実現を必ずしも要求しない。むしろ、上記で説明されたように、様々なユニットが、コーデックハードウェアユニット内で組み合わせられ、あるいは上記で説明されたような1つまたは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって、適したソフトウェアおよび／またはファームウェアと併せて提供され得る。
本開示は、以下のさらなる態様を備える。
ブロックの複数のサンプルからの各サンプルについて、
DCイントラ予測モード、平面イントラ予測モード、および角度イントラ予測モードのうちの1つを使用して、イントラ予測によって1つまたは複数の参照サンプル値から予測されたサンプル値を決定するステップと、
予測されたサンプル値をサンプル重み付け係数によって乗算して、重み付きの予測されたサンプル値をもたらすステップと、
ブロックの高さ、およびイントラ予測モードに基づいて、垂直スケーリング係数(nScaleY)を決定するステップと、
ブロックの幅、およびイントラ予測モードに基づいて、水平スケーリング係数(nScaleX)を決定するステップと、
垂直スケーリング係数(nScaleY)に基づいて、第1の重みを決定するステップと、
水平スケーリング係数(nScaleX)に基づいて、第2の重みを決定するステップと、
第1の重みを用いて上の参照サンプル値を、かつ第2の重みを用いて左の参照サンプル値を重み付けすることによって、上の参照サンプル値および左の参照サンプル値の重み付きの和として追加の値を計算するステップと、
重み付きの予測されたサンプル値に追加の値を加算して、正規化されていない予測されたサンプル値をもたらすステップと、
正規化されていない予測されたサンプル値の整数表現の算術右シフトによって、正規化されていない予測されたサンプル値を正規化して、正規化された予測されたサンプル値をもたらすステップとを備える、ピクチャのブロックをイントラ予測する方法の第1の態様。
ピクチャがビデオシーケンスの一部である、第1の態様による方法の第2の態様。
正規化されていない予測されたサンプル値を正規化することが、正規化された予測されたサンプル値を、
Figure 2022514885000076
として算出することを備え、
ここで、
Figure 2022514885000077
が、正規化された予測されたサンプル値であり、
P(x,y)が、正規化されていない予測されたサンプル値であり、
Rx,-1、R-1,yが、各サンプルの上および左に位置する最も近くの参照サンプルの値を表現し、
wL=V>>((x<<1)>>nScaleX)が水平重み付け係数であり、
wT=V>>((y<<1)>>nScaleY)が垂直重み付け係数であり、
xがサンプルの水平座標であり、
yがサンプルの垂直座標である、第1または第2の態様による方法の第3の態様。
ブロックの幅およびブロックの高さの和が、64サンプルよりも大きく、かつintraPredModeが斜行非対角であるか、またはそれがPLANAR_IDXに等しいかのいずれかであるならば、各サンプルが更新されない、前の態様のうちのいずれか1つによる方法の第4の態様。
第1から第4の態様のうちのいずれか1つによる方法を実行するための処理回路を備えるエンコーダ(20)の第5の態様。
第1から第4の態様のうちのいずれか1つによる方法を実行するための処理回路を備えるデコーダ(30)の第6の態様。
第1から第4の態様のうちのいずれか1つによる方法を実行するためのプログラムコードを備えるコンピュータプログラム製品の第7の態様。
デコーダであって、
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶した非一時的コンピュータ可読記憶媒体とを備え、プログラミングが、プロセッサによって実行されたとき、第1から第4の態様のうちのいずれか1つによる方法を実行するようにデコーダを構成する、デコーダの第8の態様。
エンコーダであって、
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶した非一時的コンピュータ可読記憶媒体とを備え、プログラミングが、プロセッサによって実行されたとき、第1から第4の態様のうちのいずれか1つによる方法を実行するようにエンコーダを構成する、エンコーダの第9の態様。
10 ビデオコーディングシステム
12 ソースデバイス
13 通信チャネル
14 宛先デバイス
16 ピクチャソース
17 ピクチャデータ
18 プリプロセッサ
19 前処理されたピクチャデータ
20 エンコーダ
21 エンコードされたピクチャデータ
22 通信インターフェース
28 通信インターフェース
30 デコーダ
31 デコードされたピクチャデータ
32 ポストプロセッサ
33 後処理されたピクチャデータ
34 ディスプレイデバイス
46 処理回路
201 入力
203 ピクチャブロック
204 残差計算ユニット
205 残差ブロック
206 変換処理ユニット
207 変換係数
208 量子化ユニット
209 量子化された係数
210 逆量子化ユニット
211 逆量子化係数、逆量子化残差係数
212 逆変換処理ユニット
213 再構成された残差ブロック
214 再構成ユニット
215 再構成されたブロック
220 ループフィルタ
221 フィルタ処理されたブロック
230 デコードされたピクチャバッファ
231 デコードされたピクチャ
244 インター予測ユニット
254 イントラ予測ユニット
260 モード選択ユニット
262 区分ユニット
265 予測ブロック
266 シンタックス要素
270 エントロピーエンコードユニット
272 出力
304 エントロピーデコードユニット
309 量子化された係数
310 逆量子化ユニット
311 逆量子化された係数
312 逆変換処理ユニット
313 再構成された残差ブロック
314 再構成ユニット
315 再構成されたブロック
320 ループフィルタ
321 フィルタ処理されたブロック
330 デコードされたピクチャバッファ
331 デコードされたピクチャ
344 インター予測ユニット
354 イントラ予測ユニット
360 モード選択ユニット
365 予測ブロック
400 ビデオコーディングデバイス
410 入口ポート
420 受信機ユニット
430 プロセッサ
440 送信機ユニット
450 出口ポート
460 メモリ
470 コーディングモジュール
500 装置
502 プロセッサ
504 メモリ
506 コードおよびデータ
508 オペレーティングシステム
510 アプリケーションプログラム
512 バス
514 2次記憶
518 ディスプレイ

Claims (21)

  1. ピクチャのブロックをイントラ予測する方法であって、前記ブロックの複数のサンプルからの1つのサンプルについて、
    DCイントラ予測モード、平面イントラ予測モード、および角度イントラ予測モードのうちの1つから選択されたイントラ予測モードを使用して、イントラ予測によって1つまたは複数の参照サンプル値から予測されたサンプル値を決定するステップと、
    前記イントラ予測モードと、前記ブロックの高さ、前記ブロックの幅、または両方のうちの1つとに基づいて、第1の重みを決定するステップと、
    前記イントラ予測モードと、前記ブロックの前記高さ、前記ブロックの前記幅、または両方のうちの1つとに基づいて、第2の重みを決定するステップと、
    前記第1の重みを用いて上の参照サンプル値を、かつ前記第2の重みを用いて左の参照サンプル値を重み付けすることによって、前記上の参照サンプル値および前記左の参照サンプル値の重み付きの和として追加の値を計算するステップと、
    前記予測されたサンプル値をサンプル重み付け係数によって乗算して、重み付きの予測されたサンプル値をもたらすステップと、
    前記重み付きの予測されたサンプル値に前記追加の値を加算して、正規化されていない修正済みの予測されたサンプル値をもたらすステップと、
    前記正規化されていない修正済みの予測されたサンプル値の整数表現の算術右シフトによって、前記正規化されていない修正済みの予測されたサンプル値を正規化して、正規化された修正済みの予測されたサンプル値をもたらすステップと
    を備える方法。
  2. 前記方法が、前記ブロックの前記複数のサンプルのうちの各サンプルを備える、前記ピクチャについての前記ブロックをイントラ予測するステップを備える、請求項1に記載の方法。
  3. 前記第1の重みを決定するステップおよび前記第2の重みを決定するステップが、前記イントラ予測モードと、前記ブロックの前記高さ、前記ブロックの前記幅、または両方のうちの1つとに基づいて、スケーリング係数を決定するステップを備え、前記第1の重みおよび前記第2の重みが、それぞれ、前記スケーリング係数に基づいて決定される、
    請求項1または2に記載の方法。
  4. 前記第1の重みを決定するステップが、前記ブロックの前記高さ、および前記イントラ予測モードに基づいて、nScaleYと表記される垂直スケーリング係数を決定するステップを備え、前記第1の重みが、前記垂直スケーリング係数nScaleYに基づいて決定され、
    前記第2の重みを決定するステップが、前記ブロックの前記幅、および前記イントラ予測モードに基づいて、nScaleXと表記される水平スケーリング係数を決定するステップであって、前記第2の重みが、前記水平スケーリング係数nScaleXに基づいて決定される、ステップと、
    前記正規化されていない予測されたサンプル値の整数表現の算術右シフトによって、前記正規化されていない予測されたサンプル値を正規化して、正規化された予測されたサンプル値をもたらすステップとを備える、
    請求項1から3のいずれか一項に記載の方法。
  5. nScaleXおよびnScaleYが、それぞれ、モードクラスインデックスに依存して導出され、前記モードクラスインデックスが、イントラ予測モードのグループを使用して導出される、請求項4に記載の方法。
  6. 前記モードクラスインデックスが、以下の表、すなわち、
    Figure 2022514885000027
     のうちの1つに従って、イントラ予測モードの特定のグループにマッピングされ、
    ここで、DC_IDXが、1のイントラ予測モードインデックスを有するDCモードを表し、HOR_IDXおよびVER_IDXが、それぞれ、18および50のイントラ予測モードインデックスを有する水平および垂直モードを表し、VDIA_IDXが、66のイントラ予測モードインデックスを有する対角モードを表す、請求項5に記載の方法。
  7. nScaleXおよびnScaleYが、以下のマッピング、すなわち、
    Figure 2022514885000028
     に従って導出され、
    ここで、nTbWおよびnTbHが、それぞれ、前記予測されたブロックの幅および高さを表記し、「>>」が右シフト演算を表記し、
    ここで、Floorがフロア関数であり、Log2が、ある数の2を底とする自然対数を戻し、Minが、その引数の最小を戻し、「>>」が右シフト演算を表記する、請求項4に記載の方法。
  8. 前記モードクラスインデックスが、以下の表、すなわち、
    Figure 2022514885000029
     に従って、イントラ予測モードの特定のグループにマッピングされる、請求項5に記載の方法。
  9. nScaleXおよびnScaleYが、以下のマッピング、すなわち、
    Figure 2022514885000030
     に従って導出され、
    ここで、nTbWおよびnTbHが、それぞれ、前記予測されたブロックの幅および高さを表記し、「>>」が右シフト演算を表記し、
    ここで、Floorがフロア関数であり、Log2が、ある数の2を底とする自然対数を戻し、Minが、その引数の最小を戻し、「>>」が右シフト演算を表記し、
    invAngleが、以下、すなわち、
    Figure 2022514885000031
     のようにintraPredAngleを使用して導出される逆角度パラメータであり、
    intraPredAngleが、ルックアップテーブル(LUT)を使用して、変数predModeIntraによって与えられる前記イントラ予測モードから導出される角度パラメータである、請求項8に記載の方法。
  10. 前記LUTが、以下の表、すなわち、
    Figure 2022514885000032
     によって与えられる、請求項8に記載の方法。
  11. 前記正規化されていない修正済みの予測されたサンプル値を正規化することが、前記予測されたサンプル値を、
    P(x,y)=Clip1Cmp((wL×R-1,y+wT×Rx,-1-wTL×R-1,-1+(64-wl-wT+wTL)×P(x,y)+32))>>6)
    として算出することを備え、
    ここで、
    P(x,y)が、前記正規化されていない修正済みの予測されたサンプル値であり、
    Rx,-1、R-1,yが、前記各サンプルの上および左に位置する最も近くの参照サンプルの値を表現し、
    wL=V>>((x<<1)>>nScaleX)が水平重み付け係数であり、
    wT=V>>((y<<1)>>nScaleY)が垂直重み付け係数であり、
    Vが基本値であり、
    xが前記各サンプルの水平座標であり、
    yが前記サンプルの垂直座標であり、
    ここで、clip1Cmpが、以下のように設定され、すなわち、
    cIdxが0に等しい場合、clip1CmpがClip1Yに等しく設定され、
    そうでない場合、clip1CmpがClip1Cに等しく設定され、
    ここで、cIdxが、現在のブロックの色成分を指定する変数であり、
    Clip1Y(x)=Clip3(0,(1<<BitDepthY)-1,x)であり、
    Clip1C(x)=Clip3(0,(1<<BitDepthC)-1,x)であり、
    Figure 2022514885000033
     であり、
    ここで、BitDepthYがルーマサンプルのビット深度であり、
    ここで、BitDepthCがルーマサンプルのビット深度である、請求項4から10のいずれか一項に記載の方法。
  12. 平面モードについてwTL=0であるが、水平モードについてwTL=wTであり、垂直モードについてwTL=wLである、請求項11に記載の方法。
  13. 前記正規化されていない修正済みの予測されたサンプル値を正規化することが、前記正規化された修正済みの予測されたサンプル値を、
    Figure 2022514885000034
     として算出することを備え、
    ここで、
    Figure 2022514885000035
     が、前記正規化された修正済みの予測されたサンプル値であり、
    P(x,y)が、前記正規化されていない修正済みの予測されたサンプル値であり、
    Rx,-1、R-1,yが、前記各サンプルの上および左に位置する最も近くの参照サンプルの値を表現し、
    wL=V>>((x<<1)>>nScaleX)が水平重み付け係数であり、
    wT=V>>((y<<1)>>nScaleY)が垂直重み付け係数であり、
    Vが基本値であり、
    xが前記各サンプルの水平座標であり、
    yが前記サンプルの垂直座標である、請求項4から10のいずれか一項に記載の方法。
  14. サンプルの中で与えられる前記ブロックの幅および前記ブロックの高さの和が、それぞれ、64サンプルよりも大きく、かつ
    前記イントラ予測モードが斜行非対角であるか、または前記イントラ予測モードが平面イントラ予測モードであるかのいずれかであるならば、
    前記各サンプルが更新されない、請求項1から13のいずれか一項に記載の方法。
  15. intraPredModeが2またはVDIA_IDXに等しくなく、かつ以下のこと、すなわち、intraPredModeがVDIA_IDX-numModesより小さくない、またはintraPredModeが2+numModesより大きくない、のうちの1つが真であるならば、intraPredModeが斜行非対角である、請求項14に記載の方法。
  16. 前記正規化された修正済みの予測されたサンプル値に残差値を加算して、再構成されたサンプル値をもたらすステップをさらに備える、請求項1から15のいずれか一項に記載の方法。
  17. 請求項1から16のいずれか一項に記載の方法を実行するための処理回路を備えるエンコーダ(20)。
  18. 請求項1から16のいずれか一項に記載の方法を実行するための処理回路を備えるデコーダ(30)。
  19. 請求項1から16のいずれか一項に記載の方法を実行するためのプログラムコードを備えるコンピュータプログラム。
  20. デコーダであって、
    1つまたは複数のプロセッサと、
    前記プロセッサに結合され、前記プロセッサによる実行のためのプログラミングを記憶した非一時的コンピュータ可読記憶媒体とを備え、前記プログラミングが、前記プロセッサによって実行されたとき、請求項1から16のいずれか一項に記載の方法を実行するように前記デコーダを構成する、デコーダ。
  21. エンコーダであって、
    1つまたは複数のプロセッサと、
    前記プロセッサに結合され、前記プロセッサによる実行のためのプログラミングを記憶した非一時的コンピュータ可読記憶媒体とを備え、前記プログラミングが、前記プロセッサによって実行されたとき、請求項1から16のいずれか一項に記載の方法を実行するように前記エンコーダを構成する、エンコーダ。
JP2021535825A 2018-12-21 2019-12-23 モードおよびサイズに依存したブロックレベル制限の方法および装置 Active JP7277586B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023076274A JP2023100834A (ja) 2018-12-21 2023-05-02 モードおよびサイズに依存したブロックレベル制限の方法および装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862784345P 2018-12-21 2018-12-21
US62/784,345 2018-12-21
PCT/RU2019/050253 WO2020130889A1 (en) 2018-12-21 2019-12-23 Method and apparatus of mode- and size-dependent block-level restrictions

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023076274A Division JP2023100834A (ja) 2018-12-21 2023-05-02 モードおよびサイズに依存したブロックレベル制限の方法および装置

Publications (2)

Publication Number Publication Date
JP2022514885A true JP2022514885A (ja) 2022-02-16
JP7277586B2 JP7277586B2 (ja) 2023-05-19

Family

ID=71101526

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021535825A Active JP7277586B2 (ja) 2018-12-21 2019-12-23 モードおよびサイズに依存したブロックレベル制限の方法および装置
JP2023076274A Pending JP2023100834A (ja) 2018-12-21 2023-05-02 モードおよびサイズに依存したブロックレベル制限の方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023076274A Pending JP2023100834A (ja) 2018-12-21 2023-05-02 モードおよびサイズに依存したブロックレベル制限の方法および装置

Country Status (12)

Country Link
US (1) US20220124368A1 (ja)
EP (2) EP4307673A3 (ja)
JP (2) JP7277586B2 (ja)
KR (1) KR20210091322A (ja)
CN (4) CN114885157A (ja)
AU (1) AU2019401170B2 (ja)
BR (1) BR112021011723A2 (ja)
CA (1) CA3122769A1 (ja)
IL (1) IL284220A (ja)
MX (1) MX2021007092A (ja)
WO (1) WO2020130889A1 (ja)
ZA (1) ZA202104005B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020149620A1 (ko) * 2019-01-14 2020-07-23 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN114071161B (zh) * 2020-07-29 2023-03-31 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
WO2022211715A1 (en) * 2021-03-31 2022-10-06 Telefonaktiebolaget Lm Ericsson (Publ) Smooth surface prediction
WO2024043745A1 (ko) * 2022-08-25 2024-02-29 엘지전자 주식회사 Mrl(multi reference line)을 이용한 인트라 예측 모드에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170272748A1 (en) * 2016-03-21 2017-09-21 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1374429A4 (en) * 2001-03-05 2009-11-11 Intervideo Inc SYSTEMS AND METHOD FOR CODING AND DECODING REDUNDANT MOTION VECTORS IN COMPRESSED VIDEO BITSTRAMS
JP4050754B2 (ja) * 2005-03-23 2008-02-20 株式会社東芝 ビデオエンコーダ及び動画像信号の符号化方法
US8503536B2 (en) * 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US7995649B2 (en) * 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
CN101573982B (zh) * 2006-11-03 2011-08-03 三星电子株式会社 利用运动矢量跟踪编码/解码图像的方法和装置
EP2182732A1 (en) * 2008-10-28 2010-05-05 Panasonic Corporation Switching between scans in image coding
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
CN102695061B (zh) * 2011-03-20 2015-01-21 华为技术有限公司 一种权重因子的确定方法和装置,以及一种帧内加权预测方法和装置
CN102291584B (zh) * 2011-09-01 2013-04-17 西安电子科技大学 帧内图像亮度块预测装置及方法
JP6101709B2 (ja) * 2012-01-18 2017-03-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 映像復号化装置
WO2017035831A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Adaptive inter prediction
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
WO2017214920A1 (zh) * 2016-06-16 2017-12-21 北京大学深圳研究生院 帧内预测参考像素点滤波控制方法、装置及编码器
US10674165B2 (en) * 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
CN107071417B (zh) * 2017-04-10 2019-07-02 电子科技大学 一种用于视频编码的帧内预测方法
US10491893B1 (en) * 2018-08-29 2019-11-26 Tencent America LLC Method and apparatus for multi-line intra prediction
GB2577337A (en) * 2018-09-24 2020-03-25 Sony Corp Image data encoding and decoding
US20200162737A1 (en) * 2018-11-16 2020-05-21 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
US11057622B2 (en) * 2018-12-13 2021-07-06 Qualcomm Incorporated Position dependent intra prediction combination with non-square block diagonals
US11363284B2 (en) * 2019-05-09 2022-06-14 Qualcomm Incorporated Upsampling in affine linear weighted intra prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170272748A1 (en) * 2016-03-21 2017-09-21 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding
JP2019509684A (ja) * 2016-03-21 2019-04-04 クアルコム，インコーポレイテッド ビデオコーディングにおける別々の輝度−色差枠組みを用いた色差予測のために輝度情報を使用すること

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALEXEY FILIPPOV, VASILY RUFITSKIY, JIANLE CHEN, JINHO LEE, JUNGWON KANG: "Non-CE3: On block size restrictions for PDPC with disabled linear filtering for PDPC in the case of", JVET-M JVET-M0832-V1, JPN6022038011, 17 October 2019 (2019-10-17), pages 1 - 4, ISSN: 0004871440 *
BENJAMIN BROSS, JIANLE CHEN, SHAN LIU: "Versatile Video Coding (Draft 3) [online]", JVET-L JVET-L1001-V6, JPN6022038009, 17 October 2019 (2019-10-17), pages 1 - 10, ISSN: 0004871438 *
GEERT VAN DER AUWERA (QUALCOMM), JIN HEO (LGE), ALEXEY FILIPPOV (HUAWEI): "Description of Core Experiment 3: Intra Prediction and Mode Coding [online]", JVET-J JVET-J1023, JPN6022038008, 17 October 2019 (2019-10-17), pages 1 - 44, ISSN: 0004871437 *
JINHO LEE, HAHYUN LEE, SUNG-CHANG LIM, JUNGWON KANG, HUI YONG KIM: "CE3-related: Simplification of PDPC [online]", JVET-L JVET-L0152-V3, JPN6022038010, 17 October 2019 (2019-10-17), pages 1 - 7, ISSN: 0004871439 *

Also Published As

Publication number Publication date
JP2023100834A (ja) 2023-07-19
CN112889286A (zh) 2021-06-01
EP4307673A2 (en) 2024-01-17
EP3881549A1 (en) 2021-09-22
CN114885157A (zh) 2022-08-09
EP3881549B1 (en) 2024-03-06
CA3122769A1 (en) 2020-06-25
CN112889286B (zh) 2022-04-19
CN114885159A (zh) 2022-08-09
ZA202104005B (en) 2022-07-27
IL284220A (en) 2021-08-31
KR20210091322A (ko) 2021-07-21
CN114885158A (zh) 2022-08-09
AU2019401170A1 (en) 2021-06-24
AU2019401170B2 (en) 2023-03-30
EP4307673A3 (en) 2024-02-14
EP3881549A4 (en) 2022-06-22
CN114885158B (zh) 2023-10-20
WO2020130889A1 (en) 2020-06-25
CN114885159B (zh) 2023-10-20
US20220124368A1 (en) 2022-04-21
BR112021011723A2 (pt) 2021-08-31
JP7277586B2 (ja) 2023-05-19
MX2021007092A (es) 2021-08-11

Similar Documents

Publication Publication Date Title
EP3932076B1 (en) An encoder, a decoder and corresponding methods for intra prediction
JP7366149B2 (ja) 行列ベースのイントラ予測と二次変換コア選択を調和させるエンコーダ、デコーダ、および対応する方法
JP7454633B2 (ja) パレット符号化を使用するエンコード装置、デコード装置および対応する方法
JP7277586B2 (ja) モードおよびサイズに依存したブロックレベル制限の方法および装置
CA3136587A1 (en) An encoder, a decoder and corresponding methods using an adaptive loop filter
JP2022507985A (ja) ピクチャのブロックのイントラ予測の方法
US11758137B2 (en) Encoder, decoder and corresponding methods using DCT2 enabled high level flag
KR20210139446A (ko) 인트라 스무딩을 위한 방법 및 장치
KR20210099148A (ko) 위치 의존적 예측 조합을 위한 모드 및 크기 의존적 블록 레벨 제한 방법 및 장치
JP2022515003A (ja) コンパクトなｍｖストレージを用いるエンコーダ、デコーダ、及び対応する方法
JP2022523967A (ja) イントラ・サブ・パーティション・コーディング・モードのための方法及び装置
WO2020139173A1 (en) Method and apparatus for intra prediction
WO2021037053A1 (en) An encoder, a decoder and corresponding methods of cabac coding for the indices of geometric partition flag
KR102626200B1 (ko) Cbf 플래그들의 효율적인 시그널링의 방법
KR20220065880A (ko) 아핀 모션 보상에서 dct 기반 보간 필터 및 향상된 쌍선형 보간 필터의 사용
KR20210094057A (ko) 비디오 코딩에서 크로마 인트라 예측을 위한 방법 및 장치
KR20210072099A (ko) 서브블록 병합 후보를 위한 개별적인 병합 목록 및 비디오 코딩을 위한 인트라-인터 기술 조화
JP2021536697A (ja) ビデオ・エンコーダ、ビデオ・デコーダ及び対応する方法
KR20210145824A (ko) 제산 없는 인트라 예측을 위한 방법 및 장치
CA3128913A1 (en) An encoder, a decoder and corresponding methods using intra mode coding for intra prediction
WO2020162797A1 (en) Method and apparatus of intra prediction mode signaling
JP2022531544A (ja) 平面モードのためのイントラ予測における複雑さ減少のエンコーダ、デコーダ、および対応する方法
KR20210122800A (ko) 인트라 서브 파티션 코딩 모드 도구로부터 서브 파티션의 크기를 제한하는 인코더, 디코더 및 대응하는 방법
JP2022514922A (ja) 予測コーディングのための補間フィルタ処理の方法および装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R150 Certificate of patent or registration of utility model

Ref document number: 7277586

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150