JP2019521555A - イントラ予測されたピクチャのブロックを復号する方法及び装置並びに対応するコード化方法及びコード化装置 - Google Patents

イントラ予測されたピクチャのブロックを復号する方法及び装置並びに対応するコード化方法及びコード化装置 Download PDF

Info

Publication number
JP2019521555A
JP2019521555A JP2018558411A JP2018558411A JP2019521555A JP 2019521555 A JP2019521555 A JP 2019521555A JP 2018558411 A JP2018558411 A JP 2018558411A JP 2018558411 A JP2018558411 A JP 2018558411A JP 2019521555 A JP2019521555 A JP 2019521555A
Authority
JP
Japan
Prior art keywords
block
decoding
blocks
reference blocks
luma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2018558411A
Other languages
English (en)
Other versions
JP2019521555A5 (ja
Inventor
ルリアネック,ファブリス
ポワリエ,タンギ
アーバン,ファブリス
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド, インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2019521555A publication Critical patent/JP2019521555A/ja
Publication of JP2019521555A5 publication Critical patent/JP2019521555A5/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

複数の基準ブロックを復号すること(S120)、前述の複数の基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングすること(S130)、及び前述の複数のフィルタリングされた基準ブロックからイントラ予測することによって前述の現在のブロックを復号すること(S140)を含む、ピクチャの現在のブロックを復号する方法を開示する。

Description

以下、イントラ予測されたピクチャのブロックを符号化する方法及び装置を開示する。対応する復号方法及び復号装置を更に開示する。
現在のピクチャの現在のブロックをコード化する最新式の方法は通常、予測因子(predictor)を得るためにブロックを予測すること、現在のブロックから予測因子を減算することによって残差ブロックを求めること、及び残差ブロックをストリーム内に符号化することを含む。現在のブロックは、既にコード化され再構築されている基準ブロックと呼ばれる1つ又は複数の他のブロックから予測される。それらの1つ又は複数の他のブロックは現在のピクチャに属し(イントラコード化)又は現在のピクチャと異なる別のピクチャに属する(インタコード化)。現在のブロックを複数の基準ブロックから予測する場合、予測因子がブロッキングアーティファクトに見舞われる場合がある。図1は複数の基準ブロック、つまり空間的に隣接する灰色のブロックからイントラ予測されたかかる現在のブロックBを示す。
現在のピクチャの現在のブロックをコード化する最新式の方法は通常、インループフィルタリングステップを含む。一例としてH.265ビデオコード化規格では、デブロッキングフィルタを使用するフィルタリングステップがコード化ループ内に含まれる。サンプル適応オフセット(SAO)フィルタリング等の他のフィルタリングステップが含まれる場合もある。H.265デブロッキングフィルタは、予測及び変換ブロックの境界、即ちブロックの外部境域における不連続性を減じる。しかしピクチャ内には幾らかの不連続性が残る。従って、コード化方法のコード化効率を高めるためにインループフィルタリングを更に改善する必要がある。
ピクチャの現在のブロックを復号する方法であって、
複数の基準ブロックを復号すること、
前述の複数の復号された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングすること、及び
前述の複数のフィルタリングされた基準ブロックからイントラ予測することによって前述の現在のブロックを復号すること
を含む、方法を開示する。
複数の基準ブロックを復号する手段と、
前述の複数の復号された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングする手段と、
前述の複数のフィルタリングされた基準ブロックからイントラ予測することによって前述の現在のブロックを復号する手段と
を含む、復号装置を開示する。
少なくともストリームにアクセスするように構成されている通信インタフェースと、
アクセスされたストリームから複数の基準ブロックを復号し、
前述の複数の復号された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングし、
前述の複数のフィルタリングされた基準ブロックからイントラ予測することによってアクセスされたストリームから前述の現在のブロックを復号する
ように構成されている少なくとも1個のプロセッサと
を含む、復号装置を開示する。
実行時に、
複数の基準ブロックを復号し、
前述の複数の復号された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングし、
前述の複数のフィルタリングされた基準ブロックからイントラ予測することによって前述の現在のブロックを復号する
ように少なくとも1個のプロセッサに指示する、開示された命令を記憶する非一時的コンピュータ可読媒体。
ピクチャの現在のブロックを符号化する方法であって、
複数の基準ブロックを符号化し再構築すること、
前述の複数の再構築された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングすること、及び
前述の複数のフィルタリングされた基準ブロックからイントラ予測することによって前述の現在のブロックを符号化すること
を含む、方法。
複数の基準ブロックを符号化し、再構築する手段と、
前述の複数の再構築された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングする手段と、
前述の複数のフィルタリングされた基準ブロックからイントラ予測することによって前述の現在のブロックを符号化する手段と
を含む、コード化装置。
ピクチャの現在のブロックにアクセスするように構成されている通信インタフェースと、
複数の基準ブロックをストリーム内に符号化し再構築し、
前述の複数の再構築された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングし、
前述の複数のフィルタリングされた基準ブロックからイントラ予測することによってアクセスされた現在のブロックを前述のストリーム内に符号化する
ように構成されている少なくとも1個のプロセッサと
を含む、コード化装置を開示する。
実行時に、
複数の基準ブロックを符号化し再構築し、
前述の複数の再構築された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングし、
前述の複数のフィルタリングされた基準ブロックからイントラ予測することによってアクセスされた現在のブロックを符号化する
ように少なくとも1個のプロセッサに指示する命令を記憶する、非一時的コンピュータ可読媒体を開示する。
特定の態様によれば、各基準ブロックは同じ変換が適用されるブロックであり、前述の現在のブロックは同じ変換が適用されるブロックである。
特定の態様によれば、前述の現在のブロックがクロマブロックであり、前述の複数の基準ブロックが前述のクロマブロックと同じ位置に配置される複数のルマブロックである。
特定の態様によれば、前述の複数の基準ブロックが前述の現在のブロックと空間的に隣接する複数のブロックである。
複数の基準ブロックからイントラ予測された現在のブロックBを示す。 4分木分解(quad-tree decomposition)に従って複数のブロックに分割された或るピクチャの一部分のルマ成分を左側に示し、4分木分解に従って複数のブロックに分割された同じピクチャの一部分のクロマ成分を右側に示す。 複数のルマブロックBからのイントラ予測により再構築されたクロマブロックB内に作成され得る境域、即ち分割線を示す。 再構築されたルマサンプルからのクロマブロックの予測を示す。 空間的に隣接するブロックBe及びBfから水平方向に従ってイントラ予測されるブロックBを示す。 空間的に隣接するブロックBa、Bb、Bd、Be、Bfから角度方向に従ってイントラ予測されるブロックBを示す。 特定の且つ非限定的な実施形態による、復号されたブロックを得るためにストリームからピクチャのブロックを復号するように構成されている受信機の例示的アーキテクチャを示し、ブロックは複数の、即ち少なくとも2つの基準ブロックからイントラ予測される。 特定の且つ非限定的な実施形態による、復号されたブロックを得るためにストリームからピクチャのブロックを復号する方法の流れ図を示し、ブロックは複数の、即ち少なくとも2つの基準ブロックからイントラ予測される。 特定の且つ非限定的な実施形態による、復号されたブロックを得るためにストリームからピクチャのブロックを復号する方法の流れ図を示し、ブロックは同じ位置に配置される複数のルマブロック(基準ブロック)から予測されるクロマブロックである。 特定の且つ非限定的な実施形態による、復号されたブロックを得るためにストリームからピクチャのブロックを復号する方法の流れ図を示し、ブロックは同じ位置に配置される複数のルマブロック(基準ブロック)から予測されるクロマブロックである。 特定の且つ非限定的な実施形態による、復号されたブロックを得るためにストリームからピクチャのブロックを復号する方法の流れ図を示し、ブロックは同じ位置に配置される複数のルマブロック(基準ブロック)から予測されるクロマブロックである。 特定の且つ非限定的な実施形態による、復号されたブロックを得るためにストリームからピクチャのブロックを復号する方法の流れ図を示し、ブロックは複数の空間的に隣接するブロック(基準ブロック)から予測されるクロマブロック又はルマブロックである。 特定の且つ非限定的な実施形態による、ピクチャのブロックをストリーム内にコード化するように構成されている送信機の例示的アーキテクチャを示し、ブロックは複数の、即ち少なくとも2つの基準ブロックからイントラ予測される。 特定の且つ非限定的な実施形態による、ピクチャのブロックをストリーム内にコード化する方法の流れ図を示し、ブロックは複数の、即ち少なくとも2つの基準ブロックからイントラ予測される。 ブロック内のフィルタリングされる境域を示す。 平面モードに従って空間的に隣接するブロックBa、Bb、Bd、Be、Bfからイントラ予測されるブロックBを示す。 複数の変換ブロックに分割されるコード化ツリーブロックを示す。
典型的な符号化及び/又は復号装置に見られる他の多くの要素を明瞭にするために排除する一方、本原理を明確に理解することに関連する要素を例示するために図面及び説明を単純化していることを理解すべきである。本明細書では様々な要素を説明するために第1の及び第2のという用語を使用する場合があるが、これらの要素はこれらの用語によって限定されるべきではないことが理解されよう。これらの用語は或る要素を別の要素と区別するために使用するに過ぎない。
本原理によれば、ブロックとはサンプル値に関連するサンプル、例えばルマサンプルやクロマサンプルを含むピクチャの正方形部分又は矩形部分である。用語の便宜上、これらの用語をルマ及びクロマと呼ぶ。但し、開示する方法及び装置は例えばRGB等の別の色表現にも適用され得る。従って全ての実施形態において、ルマは第1の成分で置換することができクロマは第2の成分で置換することができる。
以下、「再構築する」という語と「復号する」という語とは区別なく使用することができる。必ずではないが通常、「再構築する」は符号器側で使用されるのに対し「復号する」は復号器側で使用される。
図2は、第1の4分木分解に従って複数のブロックに分割されたピクチャのルマ成分を左側に示す。図2は、第1の4分木分解と異なる第2の4分木分解に従って複数のブロックに分割されたピクチャのクロマ成分を右側に示す。
これらのブロックはH.265の意味の範囲内で変換ブロック(TB)又は予測ブロック(PB)とすることができる。TBは、残差信号をコード化するために同じ変換が適用される色成分のサンプルの矩形ブロックである。以下、同じ変換が適用されるかかるブロックを指示するためにTBを使用する。PBは、同一の予測(例えば動き補償予測のための同じ動きパラメータ)が適用される色成分のサンプルの矩形ブロックである。HEVCでは、コード化ツリー構造に沿ってコード化ツリーブロック(CTB)をコード化ブロック(CB)へと再帰的に細分する。その後、CBを複数のTBへと区分化することができる。CBをTBに区分化することは4分木手法に基づいて再帰的に行われる。CBをそれ以上区分化しない場合、そのCBはTBと見なされる。ブロックのそれぞれの種類(即ちTB、PB、CB、CTB)にユニット(即ち変換ユニットTU、予測ユニットPU、コード化ユニットCU、及びコード化ツリーユニットCTUのそれぞれ)が対応する。ユニットは全ての色成分、例えばルマ成分及び2つのクロマ成分に関係する情報を含む。一例としてカラーピクチャの場合、CTUはルマサンプルのCTB及びクロマサンプルの対応する2つのCTBを含む。同じように、カラーピクチャの場合CUはルマサンプルのCB及びクロマサンプルの対応する2つのCBを含む。
H.265と異なる他の実装形態では、残差信号をコード化するために同じ変換が適用されるサンプルの矩形ブロックとしてコード化ブロック(CB)及び/又は予測ブロック(PB)が定められる場合、ブロックはCB及び/又はPBでも良い。
図2では、破線で囲んである複数のルマブロックBが、同じく破線で囲んである単一のクロマブロックBと同じ位置に配置されている。同じ位置に配置されるとは、ブロックBとブロックBとがカラーフォーマット(4:4:4、4:2:0、...)に応じてことによるとダウンサンプリングにかけられるピクチャの同じ部分を覆うことを意味する。クロマブロックBは例えばCBであり、各ルマブロックBは例えばTBであり、複数のブロックBはクロマCBと同じ位置に配置されるルマCBを形成する。図2では、クロマ成分がルマ成分に対してダウンサンプリングされている。但し、本原理はルマ成分とクロマ成分とが同じ分解能を有する場合にも適用されることが理解されよう。クロマ成分及びルマ成分を分割するために異なる4分木分解を使用することにより、クロマブロックBをルマ成分から、より正確には同じ位置に配置されるルマ成分のブロックBからイントラ予測する場合にブロッキングアーティファクトが現れる場合がある。ブロッキングアーティファクトが予測因子内で作り出されると、これらのアーティファクトは予測因子から導出される残差ブロック内に、従って再構築された/復号されたブロック内にも通常現れる。
図3は、複数のルマブロックBからのイントラ予測により再構築されたクロマブロックB内に作成され得る境域、即ち分割線を示す。このイントラ予測モードは文献ではLMモード(LMは「線形モード」の略)とも名付けられている。このモードは、パラメータα及びβを用いてクロマサンプルを線形に予測するために、再構築されたルマサンプルrecを用いた成分間の相関を活用する。オーバヘッドシグナリングを回避するために、パラメータα及びβは、符号器及び復号器の両方において空間的に隣接する再構築されたルマサンプル及びクロマサンプルから導出することができる。変形例では、パラメータα及びβが符号器においてソースのルマサンプル及びクロマサンプルから導出され、符号化され、復号器に伝送され得る。
図4はLMモードを示す。クロマブロックBが、ブロックBの再構築されたルマサンプルrecから予測される。
H.265デブロッキングフィルタはクロマブロックBの外部境域しかフィルタリングせず、従って同じ位置に配置される再構築されたルマサンプルから予測を行う場合クロマブロックB内のブロッキングアーティファクトを減らさない。実際、H.265規格は、ピクチャが再構築/復号された後で変換ブロック又は予測ブロックの外部境域に適用されるプロセスとしてデブロッキングフィルタを規定する。
図5は、空間的に隣接するブロックBe及びBfから水平の予測方向に従ってイントラ予測されるブロックB(例えばルマTB又はクロマTB)を示す。
最新式のビデオコード化規格(例えばH.264やH.265)は空間的イントラ予測モードを定める。このモードによれば、ブロックBはこうして既に再構築/復号されている空間的に隣接するブロックから予測される。予測は予測方向に従って行われる。H.264ビデオコード化規格では9個の予測方向が定められている一方、H.265では33個の予測方向が定められている。予測因子の最初のライン(L1)をブロックBeから導出する。予測因子の最後のライン(L2)をブロックBfから導出する。その結果、予測因子内に境域が現れ得る。図5ではこの境域を破線で示す。境域が予測因子の内側にある場合、その境域は残差ブロック内に、従って再構築された/復号されたブロック内にも現れる。
図6は、空間的に隣接するブロックBa、Bb、Bd、Be、Bfから角度方向に従ってイントラ予測されるブロックB(例えばTB)を示す。予測の角度方向をたどる境域が予測因子内に現れ得る。図6ではこの境域を破線で示す。
図14は、平面予測モードに従って空間的に隣接するブロックBa、Bb、Bd、Be、Bf(空間的に隣接するTB)からイントラ予測されるブロックB(例えばTB)を示す。画素Pは、空間的に隣接するブロックの4つの画素(4個の黒い四角形で示す)の線形結合によって平面モードに従って予測される。予測因子内に水平の境域と垂直の境域とが現れ得る。図14ではこの境域を破線で示す。
H.265デブロッキングフィルタはブロックBの外部境域しかフィルタリングせず、従って複数の隣接ブロックから空間的予測を行う場合ブロックB内のブロッキングアーティファクトを減らさない。実際、H.265デブロッキングフィルタは、ピクチャが再構築/復号された後で変換ブロック又は予測ブロックの外部境域しかフィルタリングしない。
図7は、特定の且つ非限定的な実施形態による、復号されたブロックを得るためにストリームからピクチャのブロックを復号するように構成されている受信機100の例示的アーキテクチャを示し、ブロックは複数の、即ち少なくとも2つの基準ブロックからイントラ予測される。
受信機100は、内蔵メモリ1030(例えばRAM、ROM、及び/又はEPROM)と共に、例えばCPU、GPU、及び/又はDSP(デジタル信号プロセッサの英語の頭字語)を含み得る1個又は複数個のプロセッサ1000を含む。受信機100は、出力情報を表示し且つ/又は利用者がコマンド及び/若しくはデータを入力することを可能にするようにそれぞれ適合される1つ又は複数の通信インタフェース1010(例えばキーボード、マウス、タッチパッド、ウェブカメラ)と、受信機100の外部にあり得る電源1020とを含む。受信機100は、1つ又は複数のネットワークインタフェース(不図示)も含み得る。復号器モジュール1040は、復号機能を実行するために装置内に含まれ得るモジュールを表す。加えて、復号器モジュール1040は受信機100の別個の要素として実装することができ、又は当業者に知られているようにハードウェアとソフトウェアとの組合せとしてプロセッサ1000内に組み込まれても良い。
ストリームはソースから得ることができる。異なる実施形態によれば、ソースはこれだけに限定されないが、
− ローカルメモリ、例えばビデオメモリ、RAM、フラッシュメモリ、ハードディスク、
− 記憶域インタフェース、例えば大容量記憶域、ROM、光ディスク、又は磁気支持とのインタフェース、
− 通信インタフェース、例えば有線インタフェース(例えばバスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース)や無線インタフェース(IEEE 802.11インタフェースやBluetooth(登録商標)インタフェース等)、及び
− ピクチャ捕捉回路(例えばCCD(即ち電荷結合素子)やCMOS(即ち相補型金属酸化膜半導体)等のセンサ)
であり得る。
異なる実施形態によれば、復号されたブロックは宛先、例えばディスプレイ装置に送信することができる。一例として、復号されたブロックはリモートメモリ又はローカルメモリ、例えばビデオメモリ、RAM、ハードディスク内に記憶される。変形例では、復号されたブロックが記憶域インタフェース、例えば大容量記憶域、ROM、フラッシュメモリ、光ディスク、磁気支持とのインタフェースに送信され、且つ/又は通信インタフェース、例えば二地点間リンク、通信バス、一地点対多地点間リンク、ブロードキャストネットワークへのインタフェース上で伝送される。
特定の且つ非限定的な実施形態によれば、受信機100がメモリ1030内に記憶されるコンピュータプログラムを更に含む。コンピュータプログラムは、受信機100によって、具体的にはプロセッサ1000によって実行されるときに図8、図9A、図9B、図9C、及び図10の何れか1つに関して記載する復号方法を受信機が実行することを可能にする命令を含む。変形例によれば、コンピュータプログラムが非一時的デジタルデータ支持上で、例えば全て当技術分野で知られているHDD、CD−ROM、DVD、読取専用及び/又はDVDドライブ及び/又はDVDリード/ライトドライブ等の外部記憶媒体上で受信機100の外部に記憶される。従って受信機100はコンピュータプログラムを読み出す機構を含む。更に受信機100は、対応するユニバーサルシリアルバス(USB)ポート(不図示)経由で1つ又は複数のUSB型記憶装置(例えば「メモリスティック」)にアクセスすることができる。
例示的且つ非限定的な実施形態によれば、受信機100はこれだけに限定されないが、
− モバイル装置、
− 通信装置、
− ゲーム機、
− セットトップボックス、
− TVセット、
− タブレット(又はタブレットコンピュータ)、
− ラップトップ、
− ビデオプレーヤ、例えばBlu-rayプレーヤやDVDプレーヤ、
− ディスプレイ、及び
− 復号チップ又は復号装置
であり得る。
以下の図8、図9A、図9B、図9C、図10、及び図12では、モジュールは区別可能な物理ユニットに関連してもしなくても良い機能ユニットである。例えばこれらのモジュール又はこれらのモジュールの一部は、固有のコンポーネント若しくは回路内にまとめることができ、又はソフトウェアの機能に寄与し得る。逆に、一部のモジュールはことによると別々の物理エンティティで構成され得る。本開示に適合する機器は純粋なハードウェアを使用して、例えばASIC、FPGA、VLSI(それぞれ「特定用途向け集積回路」、「書替え可能ゲートアレイ」、「超大規模集積回路」)等の専用ハードウェアを使用して実装され、装置に埋め込まれる幾つかの集積電子部品から実装され、又はハードウェアコンポーネントとソフトウェアコンポーネントとの混合から実装される。
図8は、特定の且つ非限定的な実施形態による、復号されたブロックを得るためにストリームからピクチャのブロックを復号する方法の流れ図を示し、ブロックは複数の、即ち少なくとも2つの基準ブロックからイントラ予測される。
この方法はステップS100で始まる。ステップS110で、受信機がストリームにアクセスする。ステップS120で、受信機がストリームから複数の基準ブロックを復号する。基準ブロックを復号することは、ストリームから残差ブロックを復号すること、符号器側で使用されたのと逆の変換を使用して残差ブロックを変換すること、及び変換されたブロックに予測因子を加えて復号されたブロックを得ることを含む。復号することは、変換するステップの前に量子化パラメータを使用して残差ブロックを逆量子化することを更に含み得る。一例として、基準ブロックのそれぞれは同じ変換が適用されるブロック、例えばTBである。
ステップS130で、受信機が、ステップS120で復号した複数の基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングする。そのために、デブロッキングフィルタは2015年4月に発行され「High Efficiency Video Coding」と題された文献の8.7.2節の中で定められたH.265デブロッキングフィルタとすることができる。但し、本原理はH.264型のデブロッキングフィルタ又はより広範に任意のデブロッキングフィルタにも当てはまることが理解されよう。
H.265型のデブロッキングフィルタは、縁から離れた領域に関連する量子化パラメータに基づいて縁をフィルタリングする。かかるデブロッキングフィルタは境界強度パラメータBsも利用する。本原理によれば、H.265デブロッキングは、予測に使用する前に基準ブロックの縁もフィルタリングするように適合され得る。
こうして図13に示すように、デブロッキングは縁の4つのサンプル部分に実行される。図13は2つの部分P及びQを線引きする縁を示す。p及びqはサンプルを表す。以下の基準、つまり1)境界強度Bsがゼロを上回ること、及び2)縁の両側の信号の変動が指定の閾値を下回る、つまり|p2,0−2p1,0+p0,0|+|p2,3−2p1,3+p0,3|+|q2,0−2q1,0+q0,0|+|q2,3−2q1,3+q0,3|>β(1)が成立することの全てが真の場合はルマサンプルに対してフィルタリングを行う。但し閾値βは量子化パラメータQPに依存し、ルックアップテーブルから導出される。ゼロを上回る関連Bsを有し、且つ(1)が真である縁ではデブロッキングフィルタリングを行う。
特定の実施形態では、ステップS120で復号した複数の基準ブロックの縁に沿って通常のデブロッキングフィルタリングを適用する。
通常のフィルタリングは、縁のそれぞれの側で修正される画素数の点で異なる2つのモードを有する。
|p2,0−2p1,0+p0,0|+|p2,3−2p1,3+p0,3|<3/16β(5)が成立する場合、縁に最も近い2つのサンプルを左側の部分P内で修正することができ、それ以外の場合、P内の最も近いサンプルだけを修正することができる。
|q2,0−2q1,0+q0,0|+|q2,3−2q1,3+q0,3|<3/16β(6)が成立する場合、縁に最も近い2つのサンプルを右側の部分Q内で修正することができ、それ以外の場合、Q内の最も近いサンプルだけを修正することができる。
通常のフィルタリング操作
通常のフィルタリングモードでは、4ラインのセグメントについて1ラインごとにフィルタリング操作を行う。以下、簡潔にするためにライン数を示す画素の第2の添え字は省略する。
次式:
p’0=p0+Δ(7)及びq’0=q0−Δ(8)
のようにオフセットを加算し又は減算することによってフィルタリングされた画素値p’0及びq’0を縁にわたってラインごとに計算する。但しΔの値はδをクリッピングすること、つまりΔ=clip(−tC,tC,δ)によって得られ、但しclip(a,b,c)=Max(a,Min(b,c))が成立し、tCはQPに依存するクリッピングパラメータであり、δ0=(9(q0−p0)−3(q1−p1)+8)>>4(9)が成立する。tCは例えばルックアップテーブルによって定められる。クリッピング操作を無視し、このフィルタのインパルス応答は(3 7 9 −3)/16である。
更に、|δ0|<10tC(10)が成立する場合に限り、縁にわたるサンプルの行又は列にデブロッキングフィルタリングを適用する。
(5)が真の場合、縁にわたる各ライン内の修正された値p’1がp’1=p1+Δp1(11)によって得られる。同様に(6)が真の場合、縁にわたる各ライン内のq’1がq’1=q1+Δq1(12)によって得られる。但しδp1=(((p2+p0+1)>>1)−p1+Δ0)>>1(13)及びδq1=(((q2+q0+1)>>1)−q1−Δ0)>>1(14)が成立する状態で、オフセット値Δp1=clip(−tC/2,tC/2,δp1)及びΔq1=clip(−tC/2,tC/2,δq1)である。クリッピング操作を無視し、位置p1における画素の修正に対応するフィルタのインパルス応答は(8 19 −1 9 −3)/32である。
変形例では、図15に示す4つのサンプルの縁にわたる第1のライン及び第4のラインに基づいて強いデブロッキングを適用するのか通常のデブロッキングを適用するのかを判断する。ラインi=0及びi=3からの情報を使用する以下の方程式を評価して通常のフィルタリングと強いフィルタリングとの間の判断を下す:
|p2,i−2p1,i+p0,i|+|q2,i−2q1,i+q0,i|<β/8(2)
|p3,i−p0,i|+|q0,i−q3,i|<β/8(3)
|p0,i−q0,i|<2.5tC(4)
(2)、(3)、及び(4)が真の場合、強いフィルタリングを縁に適用する。それ以外の場合、通常のフィルタリングを適用する。
強いフィルタリングの操作
強いフィルタは、通常モードよりも多くのサンプルを縁のそれぞれの側で修正する。以下のδ0s、δ1s、及びδ2sの値をクリッピングした後、オフセット値Δ0s、Δ1s、及びΔ2sを画素p0、p1、及びp2のそれぞれに加える:
δ0s=(p2+2p1−6p0+2q0+q1+4)>>3(15)
δ1s=(p2−3p1+p0+q0+2)>>2(16)
δ2s=(2p3−5p2+p1+p0+q0+4)>>3(17)
画素q0、q1、及びq2を修正するためのオフセット値は(15)、(16)、及び(17)内のqとpとを交換することによって計算される。
クリッピング操作を無視した場合、画素p0、p1、及びp2の修正に対応するフィルタのインパルス応答は(1 2 2 2 1)/8、(1 1 1 1)/4、及び(2 3 1 1 1)/8のそれぞれである。
クロマデブロッキングはBsが2に等しい場合にのみ行われる。その場合、更なるデブロッキングの判断は行われない。(7)及び(8)に見られるように、画素p0及びq0だけが修正される。デブロッキングはΔcの値を使って行われ、Δcの値は以下のδcオフセット値をクリッピングすることによって得られ:δc=(((q0−p0)<<2)+p1−q1+4)>>3(18)、これは(1 4 4 −1)/8のインパルス応答を有するフィルタによってフィルタリングすることに対応する。
ステップS140で、受信機が複数のフィルタリングされた基準ブロックからイントラ予測することによって現在のブロックを復号する。一例として、現在のブロックは同じ変換が適用されるブロック、例えばTBである。現在のブロックを復号することは、ストリームから残差ブロックを復号すること、符号器側で使用されたのと逆の変換を使用して残差ブロックを変換すること、及び変換されたブロックに予測因子を加えて復号された現在のブロックを得ることを含む。復号することは、変換するステップの前に量子化パラメータを使用して残差ブロックを逆量子化することを更に含み得る。予測因子は、ステップS130で得た複数のフィルタリングされた基準ブロックから現在のブロックをイントラ予測することによって得られる。
この方法はステップS180で終わる。
予測及びデブロッキングのステップはインタリーブされる。その結果、コード化効率が改善される。
図9A、図9B、及び図9Cは特定の且つ非限定的な実施形態による、復号されたブロックを得るためにストリームからピクチャのブロックを復号する方法の流れ図を示し、ブロックは同じ位置に配置される複数のルマブロック(基準ブロック)から予測されるクロマブロックである。
この方法はステップS100で始まる。ステップS110で、受信機がストリームにアクセスする。ステップS120で、受信機が複数のルマ変換ブロック(TB)で形成されるルマコード化ブロック(ルマCB)をストリームから復号し、ルマコード化ブロックは現在のクロマコード化ブロックと同じ位置に配置されている。ルマCBは、そのルマTBのそれぞれを復号することによって復号される。ルマTBを復号することは、ストリームから残差ブロックを復号すること、符号器側で使用されたのと逆の変換を使用して残差ブロックを変換すること、及び変換されたブロックに予測因子を加えて復号されたルマTBを得ることを含む。復号することは、変換するステップの前に量子化パラメータを使用して残差ブロックを逆量子化することを更に含み得る。この実施形態では、基準ブロックは同じ位置に配置されるルマTBである。
ステップS130で、受信機が、ステップS120で復号したルマCBの内側の縁に沿ってのみデブロッキングフィルタを用いてフィルタリングする。図3では、内側の縁を例えば細線で示す一方、外側の縁は太線で示す。ルマCBの内側の縁はルマTB間の境域によって形成される。そのために、デブロッキングフィルタは2015年4月に発行され「High Efficiency Video Coding」と題された文献の8.7.2節の中で定められたH.265デブロッキングフィルタとすることができる。但し、本原理はH.264型のデブロッキングフィルタ又はより広範に任意のデブロッキングフィルタにも当てはまることが理解されよう。ステップ130は、成分間の予測にのみ使用される、ステップ120で復号した同じ位置に配置されるルマTBのフィルタリングされたバージョンを生成する。
ステップS140で、受信機が、ステップS130で得た複数のフィルタリングされたルマTBから成分間のイントラ予測によって現在のクロマコード化ブロックを復号する。現在のクロマCBを復号することは、そのクロマTBのそれぞれを復号することを含む。クロマTBを復号することは、ストリームから残差ブロックを復号すること、符号器側で使用されたのと逆の変換を使用して残差ブロックを変換すること、及び変換されたブロックに予測因子を加えて復号された現在のブロックを得ることを含む。復号することは、変換するステップの前に量子化パラメータを使用して残差ブロックを逆量子化することを更に含み得る。予測因子は、クロマCBと同じ位置に配置される、ステップS130で得られる複数のフィルタリングされたルマTBから得られる。第1の任意選択的なステップで、HEVC規格の8.7.2節で規定されているように、ステップS140で一旦復号したクロマCBを更にフィルタリングすることができる。デブロッキング以外のインループフィルタリング(例えばサンプル適応オフセットフィルタリング及び/又は適応ループフィルタリング)も復号されたクロマCBに適用することができる。
第2の任意選択的なステップで、HEVC規格の8.7.2節で規定されているように、一旦復号したピクチャのルマ成分を更にフィルタリングして最終的な復号されたルマCBを得る。デブロッキング以外のインループフィルタリング(例えばサンプル適応オフセットフィルタリング及び/又は適応ループフィルタリング)も適用することができる。ステップ130のデブロッキングフィルタは、現在のクロマコード化ブロックのイントラ予測のために使用するだけの中間デブロッキングフィルタであることを理解する必要がある。従ってこの中間デブロッキングフィルタは、全てのイントラ予測が行われた後に通常適用される古典的なデブロッキングフィルタと異なるように働く場合がある。
第2の任意選択的なステップの変形例では、HEVC規格の8.7.2節で規定されているように、ステップS130で得られるフィルタリングされたルマCBの外側の縁を更にフィルタリングして最終的な復号されたルマCBを得る。
この方法はステップS180で終わる。
図9Aの実施形態の変形例(図9Bに示す)では、ステップS130で、受信機が、ステップS120で復号したルマCBの内側の縁及び外側の縁の両方に沿ってデブロッキングフィルタを用いてフィルタリングする。任意選択的に、デブロッキング以外のインループフィルタリング(例えばサンプル適応オフセットフィルタリング及び/又は適応ループフィルタリング)も、ステップS120で復号したルマCBにステップS130で適用することができる。ルマCBの内側の縁はルマTB間の境域によって形成される。ルマCBの外側の縁は、ルマCBと既に復号されている他のルマCBとの間の縁である。この変形例では、ルマCBに更なるデブロッキングは適用しない。この変形例は任意選択的なステップも含み得る。この任意選択的なステップでは、HEVC規格の8.7.2節で規定されているように、ステップS140で一旦復号したクロマCBを更にフィルタリングすることができる。デブロッキング以外のインループフィルタリング(例えばサンプル適応オフセットフィルタリング及び/又は適応ループフィルタリング)も再構築されたクロマCBに適用することができる。
CTUの各CUを符号化するために、図9A及び図9Bに関して説明した方法を繰り返すことができる。
図9Aの実施形態の変形例を図9Cに関して開示する。この変形例は、イントラコード化されたCTUに対するものである。
この方法はステップS100で始まる。ステップS110で、受信機がストリームにアクセスする。ステップS120で、受信機が複数のルマ変換ブロック(TB)で形成されるルマCTBをストリームから復号する。CTUのルマCTBは現在のクロマCTBと同じ位置に配置される。ルマCTBはルマCTBのルマTBのそれぞれを復号することによって復号される。より正確には、ルマCTBはそのルマCBのそれぞれを復号することによって復号され、ルマCBのそれぞれはそのルマTBのそれぞれを復号することによって復号される。ルマTBを復号することは、ストリームから残差ブロックを復号すること、符号器側で使用されたのと逆の変換を使用して残差ブロックを変換すること、及び変換されたブロックに予測因子を加えて復号されたルマTBを得ることを含む。復号することは、変換するステップの前に量子化パラメータを使用して残差ブロックを逆量子化することを更に含み得る。この実施形態では、基準ブロックは同じ位置に配置されるルマTBである。
ステップS130で、受信機が、ステップS120で復号したルマCTBの内側の縁及び外側の縁(即ちルマCTBのCB及びTBの縁)をデブロッキングフィルタを用いてフィルタリングする。ルマCTBの内側の縁はルマTB間及びルマCB間の境域によって形成される。そのために、デブロッキングフィルタは2015年4月に発行され「High Efficiency Video Coding」と題された文献の8.7.2節の中で定められたH.265デブロッキングフィルタとすることができる。但し、本原理はH.264型のデブロッキングフィルタ又はより広範に任意のデブロッキングフィルタにも当てはまることが理解されよう。ステップ130は、成分間の予測に使用される、ステップ120で復号した同じ位置に配置されるルマCTBのフィルタリングされたバージョンを生成する。デブロッキング以外のインループフィルタリング(例えばサンプル適応オフセットフィルタリング及び/又は適応ループフィルタリング)も復号されたルマCTBに適用することができる。変形例では、ルマCBを復号した直後に(即ちルマCTBを完全に復号した後にではなく)デブロッキングフィルタをステップS120で適用する。
ステップS140で、受信機が、ステップS130で得た複数のフィルタリングされたルマTBからイントラ予測することによってCTUのクロマCTBを復号する。クロマCTBはクロマCTBのクロマTBのそれぞれを復号することによって復号される。より正確には、クロマCTBはそのクロマCBのそれぞれを復号することによって復号され、クロマCBのそれぞれはそのクロマTBのそれぞれを復号することによって復号される。クロマTBを復号することは、ストリームから残差ブロックを復号すること、符号器側で使用されたのと逆の変換を使用して残差ブロックを変換すること、及び変換されたブロックに予測因子を加えて復号された現在のブロックを得ることを含む。復号することは、変換するステップの前に量子化パラメータを使用して残差ブロックを逆量子化することを更に含み得る。予測因子は、ステップS130で得られる複数のフィルタリングされた同じ位置に配置されるルマTBから得られる。デブロッキング以外のデブロッキングフィルタ及びインループフィルタリング(例えばサンプル適応オフセットフィルタリング及び/又は適応ループフィルタリング)も復号されたクロマCTBに適用することができる。
図10は、特定の且つ非限定的な実施形態による、復号されたブロックを得るためにストリームからピクチャのブロックを復号する方法の流れ図を示し、ブロックは複数の空間的に隣接するブロック(基準ブロック)から予測されるクロマブロック又はルマブロックである。
この方法はステップS100で始まる。ステップS110で、受信機がストリームにアクセスする。ステップS120で、受信機がストリームから複数の基準ブロック(例えば複数のTB)を復号する。複数の基準ブロックは、現在のブロック(例えば現在のTB)の空間的に隣接するブロックである。基準ブロックを復号することは、ストリームから残差ブロックを復号すること、符号器側で使用されたのと逆の変換を使用して残差ブロックを変換すること、及び変換されたブロックに予測因子を加えて復号されたブロックを得ることを含む。復号することは、変換するステップの前に量子化パラメータを使用して残差ブロックを逆量子化することを更に含み得る。
ステップS130で、受信機が、ステップS120で復号した複数の空間的に隣接するブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングする。そのために、デブロッキングフィルタは2015年4月に発行され「High Efficiency Video Coding」と題された文献の8.7.2節の中で定められたH.265デブロッキングフィルタとすることができる。但し、本原理はH.264型のデブロッキングフィルタ又はより広範に任意のデブロッキングフィルタにも当てはまることが理解されよう。
ステップS140で、受信機が複数のフィルタリングされた基準ブロックからイントラ予測することによって現在のブロックを復号する。現在のブロックを復号することは、ストリームから残差ブロックを復号すること、符号器側で使用されたのと逆の変換を使用して残差ブロックを変換すること、及び変換されたブロックに予測因子を加えて復号された現在のブロックを得ることを含む。復号することは、変換するステップの前に量子化パラメータを使用して残差ブロックを逆量子化することを更に含み得る。予測因子は、ステップS130で得た複数のフィルタリングされた基準ブロックから空間的イントラ予測することによって得られる。
この方法はステップS180で終わる。
クロマCB又はルマCBが複数のTBで形成される特定の実施形態では、ステップS120でTBを復号し、ステップS130で復号されたTBをその上端及び左端に沿ってフィルタリングする。ステップS120及びS130はCBのTBごとに繰り返される。加えて、図15に示すようにステップS120及びS130はCTBのCBごとに繰り返されても良い。従って、現在のTBを予測するために使用する因果的(上及び左の)空間ブロック(causal spatial block)、つまり因果的TBは、次のTBのイントラ予測に使用される前に完全なデブロッキングプロセスにかけられている。図15では、(0でラベル付けした)第1のTBを復号し、(矢印によって示すように)その上端及び左端に沿ってフィルタリングする。次いで、(復号順に)1でラベル付けした第2のTBを復号し、その上端及び左端に沿ってフィルタリングする。全てのTBを復号するまでこのプロセスを続行する。フィルタリングされた縁は点線で示す。このようにして各TBのデブロッキングはその復号直後に行われ、その後、検討中のCTBの次のTBを復号順に処理し始める。
図10及び図15に関して開示した方法は、単一のより大きなTBを空間的に予測するために複数の基準TBが使用されるときに、空間的イントラ予測を改善し、かかる空間的イントラ予測は、イントラ予測に使用される基準サンプルに存在する不連続性の影響を受けない。
図11は、特定の且つ非限定的な実施形態による、ピクチャのブロックをストリーム内にコード化するように構成されている送信機100の例示的アーキテクチャを示し、ブロックは複数の、即ち少なくとも2つの基準ブロックからイントラ予測される。
送信機200は、内蔵メモリ2030(例えばRAM、ROM、及び/又はEPROM)と共に、例えばCPU、GPU、及び/又はDSP(デジタル信号プロセッサの英語の頭字語)を含み得る1個又は複数個のプロセッサ2000を含む。送信機200は、出力情報を表示し且つ/又は利用者がコマンド及び/若しくはデータを入力することを可能にするようにそれぞれ適合される1つ又は複数の通信インタフェース2010(例えばキーボード、マウス、タッチパッド、ウェブカメラ)と、送信機200の外部にあり得る電源2020とを含む。送信機200は、1つ又は複数のネットワークインタフェース(不図示)も含み得る。符号器モジュール2040は、コード化機能を実行するために装置内に含まれ得るモジュールを表す。加えて、符号器モジュール2040は送信機200の別個の要素として実装することができ、又は当業者に知られているようにハードウェアとソフトウェアとの組合せとしてプロセッサ2000内に組み込まれても良い。
ブロックはソースから得ることができる。異なる実施形態によれば、ソースはこれだけに限定されないが、
− ローカルメモリ、例えばビデオメモリ、RAM、フラッシュメモリ、ハードディスク、
− 記憶域インタフェース、例えば大容量記憶域、ROM、光ディスク、又は磁気支持とのインタフェース、
− 通信インタフェース、例えば有線インタフェース(例えばバスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース)や無線インタフェース(IEEE 802.11インタフェースやBluetoothインタフェース等)、及び
− 画像捕捉回路(例えばCCD(即ち電荷結合素子)やCMOS(即ち相補型金属酸化膜半導体)等のセンサ)
であり得る。
異なる実施形態によれば、ストリームは宛先に送信することができる。一例として、ストリームはリモートメモリ又はローカルメモリ、例えばビデオメモリ、RAM、ハードディスク内に記憶される。変形例では、ストリームが記憶域インタフェース、例えば大容量記憶域、ROM、フラッシュメモリ、光ディスク、磁気支持とのインタフェースに送信され、且つ/又は通信インタフェース、例えば二地点間リンク、通信バス、一地点対多地点間リンク、ブロードキャストネットワークへのインタフェース上で伝送される。
例示的且つ非限定的な実施形態によれば、送信機200がメモリ2030内に記憶されるコンピュータプログラムを更に含む。コンピュータプログラムは、送信機200によって、具体的にはプロセッサ2000によって実行されるときに図12に関して記載する符号化方法を送信機200が実行することを可能にする命令を含む。変形例によれば、コンピュータプログラムが非一時的デジタルデータ支持上で、例えば全て当技術分野で知られているHDD、CD−ROM、DVD、読取専用及び/又はDVDドライブ及び/又はDVDリード/ライトドライブ等の外部記憶媒体上で送信機200の外部に記憶される。従って送信機200はコンピュータプログラムを読み出す機構を含む。更に送信機200は、対応するユニバーサルシリアルバス(USB)ポート(不図示)経由で1つ又は複数のUSB型記憶装置(例えば「メモリスティック」)にアクセスすることができる。
例示的且つ非限定的な実施形態によれば、送信機200はこれだけに限定されないが、
− モバイル装置、
− 通信装置、
− ゲーム機、
− タブレット(又はタブレットコンピュータ)、
− ラップトップ、
− 静止画像カメラ、
− ビデオカメラ、
− 符号化チップ又は符号化装置、
− 静止画像サーバ、及び
− ビデオサーバ(例えばブロードキャストサーバ、ビデオオンデマンドサーバ、又はウェブサーバ)
であり得る。
図12は、特定の且つ非限定的な実施形態による、ピクチャのブロックをストリーム内にコード化する方法の流れ図を示し、ブロックは複数の、即ち少なくとも2つの基準ブロックからイントラ予測される。
この方法はステップS200で始まる。ステップS210で、送信機がコード化されるピクチャの現在のブロックにアクセスする。ステップS220で、送信機が複数の基準ブロックをストリーム内に符号化し再構築する。基準ブロックを符号化することは、基準ブロックから予測因子を減算することによって残差ブロックを得ること、(復号器側で使用されたのと逆の)変換を使用して残差ブロックを変換すること、及び変換されたブロックをストリーム内に符号化することを含む。コード化することは、量子化パラメータを使用して変換されたブロックを量子化することを更に含み得る。コード化した後で基準ブロックを再構築することは、符号化に使用されたのと逆の変換を使用して残差ブロックを変換すること、及び変換されたブロックに予測因子を加えて再構築されたブロックを得ることを含む。再構築することは、変換するステップの前に量子化パラメータを使用して残差ブロックを逆量子化することを更に含み得る。一例として、基準ブロックのそれぞれは同じ変換が適用されるブロック、例えばTBである。
ステップS230で、送信機が、ステップS120で再構築した複数の基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングする。そのために、デブロッキングフィルタは2015年4月に発行され「High Efficiency Video Coding」と題された文献の8.7.2節の中で定められたH.265デブロッキングフィルタとすることができる。但し、本原理はH.264型のデブロッキングフィルタ又はより広範に任意のデブロッキングフィルタにも当てはまることが理解されよう。H.265型のデブロッキングフィルタは、縁とは別の領域に関連する量子化パラメータに基づいて縁をフィルタリングする。かかるデブロッキングフィルタは境界強度パラメータBsも利用する。本原理によれば、H.265デブロッキングは、予測に使用する前に基準ブロックの縁もフィルタリングするように適合され得る。
ステップS240で、送信機が、ステップS230で得た複数のフィルタリングされた基準ブロックからイントラ予測することによって現在のブロックを符号化する。一例として、現在のブロックは同じ変換が適用されるブロック、例えばTBである。現在のブロックを符号化することは、ブロックから予測因子を減算することによって残差ブロックを得ること、(復号器側で使用されたのと逆の)変換を使用して残差ブロックを変換すること、及び変換されたブロックをストリーム内に符号化することを含む。コード化することは、量子化パラメータを使用して変換されたブロックを量子化することを更に含み得る。
この方法はステップS280で終わる。
図8、図9A、図9B、図9C、及び図10に関して開示した復号器側の全ての変形例及び実施形態は符号器側にも当てはまる。
符号化、再構築、デブロッキング、インタリーブ処理は、所与のCTUに関連する1組のコード化パラメータ(コード化ツリー、コード化モード、PU区分、予測モード、変換ツリー等)を選択する符号器のレート歪み最適化(RDO)プロセス内で有利に使用することができる。事実、コード化ツリー判断プロセスの間、再構築された信号に関連する最終的な歪みに対するデブロッキングフィルタの影響を符号器は容易に知ることができる。従って、RDOプロセスはコード化パラメータの各組に関連する歪みをより正確に評価し、従ってRDOプロセスが改善される。
インタリーブされたTBベースのコード化、再構築、デブロッキングプロセスの利益を得るために、レート歪み最適化を以下のように修正することができる。検討されているピクチャ内の圧縮するためのCTUごとに以下のステップを適用する:
現在のCTUの4分木表現に関する候補コード化ツリーごとに、
○コード化ツリー表現内のCU候補ごとに、
○現在のCUに関する候補PU区分化及び関連する予測モードごとに、
■現在のCUの変換ツリー表現に関する変換ツリー候補ごとに、
●現在の候補変換ツリー内のTUごとに、
○現在のTUを予測する→pred
○現在のTUに関する残差ブロックを計算する
○現在の残差ブロックを圧縮する(変換、量子化)
○現在の残差をエントロピ符号化する→rate cost R
○現在の残差を復元する(逆量子化、逆変換)→res_rec
○現在のTUを再構築する:rec_TU=pred+res_rec
○再構築されたTUをデブロッキングする→rec_rec_dbf
○他のインループ後処理
○結果として生じる歪みを計算する:D=||orig−res_rec_dbf||
○現在のTUに関連するレート歪みコストを計算する:RDcost=D+λ・R 但しλはレート歪み最適化プロセス内で使用されるラグランジュパラメータである
次いで、候補変換ツリーの各TUに関連するレート歪みコストを、下から上へのRD競合スキーム(bottom-to-top RD competition scheme)に従って他のTUのRDコストに加える。
デブロッキングがレート歪み最適化ループ内に今や組み込まれていることが理解されよう。このことはデブロッキングステップが最終的な再構築ブロックにどのような影響を及ぼすのかをレート歪み判断に認識させる。
このことは全体的な符号器側のレート歪み最適化プロセスをより効率的にする。
本明細書に記載した実装形態は、例えば方法やプロセス、機器、ソフトウェアプログラム、データストリーム、又は信号によって実装することができる。単一形式の実装形態の脈絡でしか論じられていなくても(例えば方法又は装置としてしか論じられていなくても)、論じられた特徴の実装形態は他の形式(例えばプログラム)でも実装することができる。機器は、例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は例えばプロセッサ等の機器によって実装することができ、プロセッサは例えばコンピュータ、マイクロプロセッサ、集積回路、プログラム可能論理デバイスを含む処理装置全般を指す。プロセッサは、例えばコンピュータ、携帯電話、ポータブル/携帯情報端末(「PDA」)、エンドユーザ間の情報の通信を助ける他の装置等の通信装置も含む。
本明細書に記載した様々なプロセス及び特徴の実装形態は、多岐にわたる異なる機器又はアプリケーション、とりわけ例えば機器やアプリケーションによって具体化され得る。かかる機器の例は、符号器、復号器、復号器からの出力を処理する後処理系、符号器に入力を与える前処理系、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA、及び他の通信装置を含む。明白であるように、機器は可搬式とすることができ、移動車両内に設置することさえできる。
加えて、これらの方法はプロセッサによって実行される命令によって実装されても良く、かかる命令(及び/又は実装形態によって作り出されるデータ値)は例えばハードディスク、コンパクトディスケット(「CD」)、光ディスク(例えばデジタル多用途ディスクやデジタルビデオディスクとしばしば呼ばれるDVD等)、ランダムアクセスメモリ(「RAM」)、読取専用メモリ(「ROM」)等、例えば集積回路、ソフトウェア担体、又は他の記憶装置等のプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で有形に具体化されるアプリケーションプログラムを形成し得る。命令は、例えばハードウェア、ファームウェア、ソフトウェア、又は組合せの中にあり得る。命令は、例えばオペレーティングシステム、別個のアプリケーション、又はその2つの組合せの中で見つけることができる。従ってプロセッサは、例えばプロセスを実行するように構成されている装置及びプロセスを実行するための命令を有するプロセッサ可読媒体(記憶装置等)を含む装置の両方として特徴付けることができる。更にプロセッサ可読媒体は、実装形態によって作り出されるデータ値を命令に加えて又は命令の代わりに記憶し得る。
当業者に明らかなように、実装形態は例えば記憶され又は伝送され得る情報を運ぶようにフォーマットされる多岐にわたる信号を作り出し得る。かかる情報は、例えば方法を実行するための命令や、記載した実装形態の1つによって作り出されるデータを含み得る。例えば信号は、記載した実施形態の構文を読み書きするための規則をデータとして運ぶように、又は記載した実施形態によって書かれる実際の構文値をデータとして運ぶようにフォーマットされ得る。かかる信号は、例えば電磁波として(例えばスペクトルの無線周波数部分を用いて)、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えばデータストリームを符号化し、符号化データストリームで搬送波を変調することを含み得る。信号が運ぶ情報は、例えばアナログ情報又はデジタル情報とすることができる。信号は、知られているように様々な異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。
幾つかの実装形態を記載してきた。それでもなお、様々な修正を加えることができることが理解されよう。例えば、他の実装形態を作り出すために別の実装形態の要素を組み合わせ、補い、修正し、又は除去することができる。加えて、開示した構造及びプロセスを他の構造及びプロセスが置換しても良く、その結果生じる実装形態が開示した実装形態と少なくともほぼ同じ結果を実現するために、少なくともほぼ同じ機能を少なくともほぼ同じやり方で実行することを当業者なら理解されよう。従って、これらの及び他の実装形態も本願によって予期される。

Claims (12)

  1. ピクチャの現在のブロックを復号する方法であって、
    複数の基準ブロックを復号することであって、各基準ブロックは同じ変換が適用されるサンプルのブロックである、復号すること、
    前記複数の復号された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングすること、及び
    前記複数のフィルタリングされた基準ブロックからイントラ予測することによって前記現在のブロックを復号することであって、前記現在のブロックは同じ変換が適用されるサンプルのブロックである、復号すること
    を含む、方法。
  2. 前記現在のブロックがクロマブロックであり、前記複数の基準ブロックが前記クロマブロックと同じ位置に配置される複数のルマブロックである、請求項1に記載の復号方法。
  3. 前記複数の基準ブロックが前記現在のブロックと空間的に隣接する複数のブロックである、請求項1に記載の復号方法。
  4. 前記複数の基準ブロックのそれぞれが復号直後にその上端及び左端に沿ってフィルタリングされる、請求項3に記載の復号方法。
  5. ピクチャの現在のブロックを符号化する方法であって、
    複数の基準ブロックを符号化し再構築することであって、各基準ブロックは同じ変換が適用されるサンプルのブロックである、符号化し再構築すること、
    前記複数の再構築された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングすること、及び
    前記複数のフィルタリングされた基準ブロックからイントラ予測することによって前記現在のブロックを符号化することであって、前記現在のブロックは同じ変換が適用されるサンプルのブロックである、符号化すること
    を含む、方法。
  6. 前記現在のブロックがクロマブロックであり、前記複数の基準ブロックが前記クロマブロックと同じ位置に配置される複数のルマブロックである、請求項5に記載の符号化方法。
  7. 前記複数の基準ブロックが前記現在のブロックと空間的に隣接する複数のブロックである、請求項5に記載の符号化方法。
  8. 前記複数の基準ブロックのそれぞれが再構築直後にその上端及び左端に沿ってフィルタリングされる、請求項7に記載の符号化方法。
  9. 復号装置であって、
    複数の基準ブロックを復号する手段と、
    前記複数の復号された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングする手段と、
    前記複数のフィルタリングされた基準ブロックからイントラ予測することによって現在のブロックを復号する手段と
    を含む、復号装置。
  10. 請求項1〜4の何れか一項に記載の復号方法を実装するように構成されている、請求項9に記載の復号装置。
  11. コード化装置であって、
    複数の基準ブロックを符号化し再構築する手段と、
    前記複数の再構築された基準ブロックの縁に沿ってデブロッキングフィルタを用いてフィルタリングする手段と、
    前記複数のフィルタリングされた基準ブロックからイントラ予測することによって現在のブロックを符号化する手段と
    を含む、コード化装置。
  12. 請求項5〜8の何れか一項に記載のコード化方法を実装するように構成されている、請求項11に記載のコード化装置。
JP2018558411A 2016-05-13 2017-04-24 イントラ予測されたピクチャのブロックを復号する方法及び装置並びに対応するコード化方法及びコード化装置 Withdrawn JP2019521555A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305563.5A EP3244614A1 (en) 2016-05-13 2016-05-13 A method and a device for decoding an intra predicted block of a picture and corresponding coding method and coding device
EP16305563.5 2016-05-13
PCT/EP2017/059658 WO2017194296A1 (en) 2016-05-13 2017-04-24 A method and a device for decoding an intra predicted block of a picture and corresponding coding method and coding device

Publications (2)

Publication Number Publication Date
JP2019521555A true JP2019521555A (ja) 2019-07-25
JP2019521555A5 JP2019521555A5 (ja) 2020-06-11

Family

ID=56511471

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018558411A Withdrawn JP2019521555A (ja) 2016-05-13 2017-04-24 イントラ予測されたピクチャのブロックを復号する方法及び装置並びに対応するコード化方法及びコード化装置

Country Status (6)

Country Link
US (1) US10834395B2 (ja)
EP (2) EP3244614A1 (ja)
JP (1) JP2019521555A (ja)
KR (1) KR20190029521A (ja)
CN (1) CN109479145A (ja)
WO (1) WO2017194296A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021052249A (ja) * 2019-09-20 2021-04-01 日本放送協会 符号化装置、復号装置、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2577338A (en) * 2018-09-24 2020-03-25 Sony Corp Data encoding and decoding
US11019359B2 (en) * 2019-01-15 2021-05-25 Tencent America LLC Chroma deblock filters for intra picture block compensation
CN113678440B (zh) * 2019-04-12 2023-12-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测与其它编码工具之间的交互
CN114051735B (zh) 2019-05-31 2024-07-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847814B (zh) * 2010-04-13 2019-01-08 太阳专利托管公司 图像编码方法及图像编码装置
US9161046B2 (en) * 2011-10-25 2015-10-13 Qualcomm Incorporated Determining quantization parameters for deblocking filtering for video coding
KR20150027530A (ko) * 2013-09-04 2015-03-12 한국전자통신연구원 Hevc 부호화 장치 및 이를 이용한 부호화 방법
AU2014202921B2 (en) * 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021052249A (ja) * 2019-09-20 2021-04-01 日本放送協会 符号化装置、復号装置、及びプログラム
JP7505869B2 (ja) 2019-09-20 2024-06-25 日本放送協会 符号化装置、復号装置、及びプログラム

Also Published As

Publication number Publication date
CN109479145A (zh) 2019-03-15
US20190289288A1 (en) 2019-09-19
EP3456051A1 (en) 2019-03-20
WO2017194296A1 (en) 2017-11-16
US10834395B2 (en) 2020-11-10
EP3244614A1 (en) 2017-11-15
KR20190029521A (ko) 2019-03-20

Similar Documents

Publication Publication Date Title
JP7150130B2 (ja) 広角イントラ予測を伴う位置依存イントラ予測組み合わせ
JP7403555B2 (ja) イントラコーディングモードにおけるマトリクスの導出
JP2019521555A (ja) イントラ予測されたピクチャのブロックを復号する方法及び装置並びに対応するコード化方法及びコード化装置
US11032542B2 (en) Method and a device for image encoding and decoding
JP2023543985A (ja) 多用途ビデオコーディングのためのテンプレートマッチング予測
KR102478826B1 (ko) 인트라 예측된 블록 내에서 경계를 디블로킹 필터링하기 위한 방법 및 디바이스
US11695962B2 (en) Encoding and decoding methods and corresponding devices
CN113302924B (zh) 用于视频编码和解码的量化
JP7448558B2 (ja) 画像エンコーディングおよびデコーディングのための方法およびデバイス
JP2015526020A (ja) ビデオコーディング用の制限的なイントラデブロッキングフィルタ処理
US20190191187A1 (en) A method and an apparatus for image block encoding and decoding
KR101540510B1 (ko) 추가적 예측 후보를 이용한 인트라 예측 방법 및 그 장치
WO2019094144A1 (en) Methods and devices for picture encoding and decoding
CN110868601B (zh) 帧间预测方法、装置以及视频编码器和视频解码器
US20230291922A1 (en) Encoding and decoding methods and corresponding devices

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200424

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20200812