JP2020509714A - ピクチャブロックのイントラ予測に使用される参照サンプルの処理 - Google Patents

ピクチャブロックのイントラ予測に使用される参照サンプルの処理 Download PDF

Info

Publication number
JP2020509714A
JP2020509714A JP2019548616A JP2019548616A JP2020509714A JP 2020509714 A JP2020509714 A JP 2020509714A JP 2019548616 A JP2019548616 A JP 2019548616A JP 2019548616 A JP2019548616 A JP 2019548616A JP 2020509714 A JP2020509714 A JP 2020509714A
Authority
JP
Japan
Prior art keywords
filter
filter coefficients
video
block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019548616A
Other languages
English (en)
Other versions
JP2020509714A5 (ja
Inventor
アレクセイ・フィリッポフ
ワシリー・ルフィツキー
ハイタオ・ヤン
マキシム・シチェフ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2020509714A publication Critical patent/JP2020509714A/ja
Publication of JP2020509714A5 publication Critical patent/JP2020509714A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

復号デバイスによって実施される符号化方法。本方法は、現在のブロックの予測方向を決定するステップと、予測方向に沿った伝播距離を決定するステップであって、伝播距離が、現在のブロックにおける予測対象の画素と現在のブロックに隣接する参照サンプルとの間で測定される、ステップと、伝播距離に基づいて、複数のフィルタ係数のうちの1つを選択するステップと、フィルタおよび選択された、複数のフィルタ係数のうちの1つを使用して、現在のブロックにおける画素を予測するステップと、予測された画素を含む画像を表示するステップと、を含む。

Description

［関連出願の相互参照］
本特許出願は、2018年4月3日に出願された、「Processing Reference Samples Used For Intra−Prediction of a Picture Block」と題する米国特許出願第15／943，853号の優先権を主張するものであり、同米国特許出願は、Alexey Filippovらにより2017年4月4日に出願された、「Method and Apparatus for Processing Reference Samples Used for Intra−Prediction of a Picture Block」と題する米国特許仮出願第62／481，525号の優先権を主張するものであり、これらの両方ともその全体が参照により本明細書に組み込まれる。
［連邦政府による資金提供を受けた研究開発の記載］
該当せず。
［マイクロフィッシュ補遺の参照］
該当せず。
比較的短いビデオであっても、表示するのに必要とされるビデオデータの量は膨大になり得、帯域幅容量が限られた通信ネットワークでデータをストリーミングしたり通信したりする場合に困難が生じる場合がある。従って、ビデオデータは、今日の通信ネットワークで伝達される前には、一般に圧縮される。メモリリソースが限られている場合があるため、ビデオがストレージデバイスに格納される場合、ビデオのサイズも問題になり得る。ビデオ圧縮デバイスは、送信または格納の前に、ビデオデータを符号化し、それによりデジタルビデオ画像を表現するのに必要とされるデータ量を減らすために、ソースにおいてソフトウェアおよび／またはハードウェアを多くの場合使用する。次いで、圧縮されたデータは、ビデオデータを復号するビデオ解凍デバイスによって宛先において受信される。限られたネットワークリソースと高いビデオ品質に対する要求が増え続ける中で、画質をほとんどまたはまったく犠牲にすることなく圧縮率を改善する、改善された圧縮および解凍技法が求められている。
一実施形態では、本開示は、符号化デバイスによって実施される符号化方法を含む。本方法は、復号デバイスによって実施される符号化方法を含む。本方法は、復号デバイスによって、現在のブロックの予測方向を決定するステップと、復号デバイスによって、予測方向に沿った伝播距離を決定するステップであって、伝播距離が、現在のブロックにおける予測対象の画素と現在のブロックに隣接する参照サンプルとの間で測定される、ステップと、復号デバイスによって、伝播距離に基づいて、複数のフィルタ係数のうちの1つを選択するステップと、復号デバイスによって、フィルタおよび選択された、複数のフィルタ係数のうちの1つを使用して、現在のブロックにおける画素を予測するステップと、電子デバイスのディスプレイ上に、予測された画素を含む画像を表示するステップと、を含む。
場合により、前述の態様のいずれかにおいて、本態様の別の実装は、選択された、フィルタ係数のうちの1つの強度が、決定された伝播距離に基づくことを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、複数のフィルタ係数が、弱から強までのフィルタ係数の範囲を含むことを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、フィルタ係数の範囲が、より短い伝播距離に対応するより弱いフィルタ係数と、より長い伝播距離に対応するより強いフィルタ係数と、を含むことを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、予測方向が水平または垂直であることを提供する。
場合により、前述の態様のいずれかにおいて、本態様の別の実装は、予測方向が斜めであることを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、フィルタが平滑化フィルタであることを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、フィルタが鮮鋭化フィルタであることを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、伝播距離の範囲を複数のフィルタ係数にマッピングするテーブルを復号デバイスのメモリに格納することを提供する。
一実施形態では、本開示は、符号化デバイスによって実施される符号化方法を含む。本方法は、符号化デバイスによって実施される符号化方法を含む。本方法は、符号化デバイスによって、現在のブロックの予測方向を決定するステップと、符号化デバイスによって、予測方向に沿った伝播距離を決定するステップであって、伝播距離が、現在のブロックにおける予測対象の画素と現在のブロックに隣接する参照サンプルとの間で測定される、ステップと、符号化デバイスによって、伝播距離に基づいて、複数のフィルタ係数のうちの1つを選択するステップと、符号化デバイスによって、フィルタおよび選択された、複数のフィルタ係数のうちの1つを使用して、現在のブロックにおける画素を予測するステップと、符号化デバイスによって、画素を含む画像を含むビットストリームを、ビットストリームを復号するように構成された復号デバイスに送信するステップと、を含む。
場合により、前述の態様のいずれかにおいて、本態様の別の実装は、選択された、フィルタ係数のうちの1つの強度が、決定された伝播距離に基づくことを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、複数のフィルタ係数が、弱から強までのフィルタ係数の範囲を含むことを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、フィルタ係数の範囲が、より短い伝播距離に対応するより弱いフィルタ係数と、より長い伝播距離に対応するより強いフィルタ係数と、を含むことを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、予測方向が斜めであることを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、フィルタが平滑化フィルタであることを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、フィルタが鮮鋭化フィルタであることを提供する。
一実施形態では、本開示は、符号化デバイスからのビットストリームを受信するように構成された受信機であって、ビットストリームが画像を含む、受信機と、受信機に結合されたプロセッサであって、プロセッサが、画像内から現在のブロックを選択し、現在のブロックの予測方向を決定し、予測方向に沿った伝播距離を決定し、伝播距離が、現在のブロックにおける予測対象の画素と現在のブロックに隣接する参照サンプルとの間で測定され、伝播距離に基づいて、複数のフィルタ係数のうちの1つを選択し、フィルタおよび選択された、複数のフィルタ係数のうちの1つを使用して、現在のブロックにおける画素を予測するように構成される、プロセッサと、プロセッサに動作可能に結合されたディスプレイであって、ディスプレイが、予測された画素を含む画像を表示するように構成される、ディスプレイと、を備える、復号デバイスを含む。
場合により、前述の態様のいずれかにおいて、本態様の別の実装は、選択された、フィルタ係数のうちの1つの強度が、決定された伝播距離に基づくことを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、複数のフィルタ係数が、弱から強までのフィルタ係数の範囲を含み、フィルタ係数の範囲が、より短い伝播距離に対応するより弱いフィルタ係数と、より長い伝播距離に対応するより強いフィルタ係数と、を含むことを提供する。場合により、前述の態様のいずれかにおいて、本態様の別の実装は、プロセッサに結合されたメモリであって、メモリが、伝播距離の範囲を複数のフィルタ係数にマッピングするテーブルを格納するように構成される、メモリを提供する。
明確にするために、前述の実施形態のいずれか1つを、他の前述の実施形態のいずれか1つ以上と組み合わせて、本開示の範囲内で新しい実施形態を作成することができる。
これらおよび他の特徴は、添付の図面および特許請求の範囲と併せて読めば、以下の詳細な説明からより明確に理解されるであろう。
本開示をより完全に理解するために、添付の図面および詳細な説明に関連して以下の簡単な説明を参照し、ここで、類似の参照番号は類似の部品を表す。
双方向予測技法を利用し得る例示的な符号化システムを示すブロック図である。 双方向予測技法を実施し得る例示的なビデオ符号化器を示すブロック図である。 双方向予測技法を実施し得るビデオ復号器の例を示すブロック図である。 1つ以上の参照サンプルを使用して予測対象のブロックを示す図である。 フィルタ係数選択処理を実施するように構成されたビデオ符号化デバイスの図である。 フィルタシーケンスの一実施形態を示す図である。 隣接するブロックのうちの1つからコピーされたフィルタのシーケンスのためのパラメータ値を使用して予測対象のブロックを示す図である。 隣接するブロックのうちの1つからコピーされたフィルタのシーケンスのためのパラメータ値を使用して予測対象のブロックを示す図である。 符号化器側において、コストベースのレート歪み最適化決定を行うための方法の一実施形態を示す図である。 復号器側において、マージされた事前予測フィルタパラメータを使用する方法の一実施形態を示す図である。 一実施形態による、隣接するブロックにおける基本単位（BU）から収集されたパラメータ値を使用して予測対象のブロックを示す図である。 一実施形態による、隣接するブロックにおけるBUから収集されたパラメータ値を使用して予測対象のブロックを示す図である。 一実施形態による、隣接するブロックにおけるBUから収集されたパラメータ値を使用して予測対象のブロックを示す図である。 復号デバイスによって実施される符号化方法の一実施形態を示す図である。 符号化デバイスによって実施される符号化方法の一実施形態を示す図である。 符号化デバイスの概略図である。
最初に、1つ以上の実施形態の例示的な実装が以下に提供されるが、開示されたシステムおよび／または方法は、現在知られているか存在しているかに関わらず、任意の数の技法を使用して実施され得ることを理解されたい。本開示は、本明細書に図示および説明された例示的な設計および実装を含む、以下に例示される例示的な実装、図面、および技法に決して限定されるべきではないが、添付の特許請求の範囲内で、その均等物の全範囲に沿って、修正され得る。
図1は、双方向予測技法を利用し得る例示的な符号化システム10を示すブロック図である。図1に示されるように、符号化システム10は、宛先デバイス14によって後で復号される符号化ビデオデータを提供するソースデバイス12を含む。特に、ソースデバイス12は、コンピュータ可読媒体16を介してビデオデータを宛先デバイス14に提供することができる。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビ、カメラ、表示デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む広範なデバイスのいずれかを含むことができる。場合によっては、ソースデバイス12および宛先デバイス14は、無線通信用に装備されていてもよい。
宛先デバイス14は、コンピュータ可読媒体16を介して復号される符号化されたビデオデータを受信することができる。コンピュータ可読媒体16は、ソースデバイス12から宛先デバイス14に符号化されたビデオデータを移動することができる任意の種類の媒体またはデバイスを含むことができる。一例では、コンピュータ可読媒体16は、ソースデバイス12が符号化されたビデオデータをリアルタイムで宛先デバイス14に直接送信できるようにする通信媒体を含むことができる。符号化されたビデオデータは、無線通信プロトコルなどの通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数（RF）帯域または1つ以上の物理的伝送線など、任意の無線または有線の通信媒体を含むことができる。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成してもよい。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス12から宛先デバイス14への通信を助けるのに有用であり得る任意の他の機器を含み得る。
いくつかの例では、符号化されたデータは、出力インターフェース22からストレージデバイスに出力され得る。同様に、符号化されたデータは、入力インターフェース28によってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、Blu−ray（登録商標）ディスク、デジタルビデオディスク（DVD）、コンパクトディスク読み取り専用メモリ（CD−ROM）、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを格納するための任意の他の適切なデジタルストレージ媒体など、多種多様な分散された、またはローカルにアクセスされるデータストレージ媒体のいずれかを含み得る。さらなる例では、ストレージデバイスは、ソースデバイス12によって生成された、符号化されたビデオを格納し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して、ストレージデバイスからの格納されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを格納し、その符号化されたビデオデータを宛先デバイス14に送信することができる任意の種類のサーバであり得る。ファイルサーバの例としては、ウェブサーバ（例えば、ウェブサイトのためのウェブサーバ）、ファイル転送プロトコル（FTP）サーバ、ネットワーク接続ストレージ（NAS）デバイス、またはローカルディスクドライブが挙げられる。宛先デバイス14は、インターネット接続を含む任意の標準データ接続を介して符号化されたビデオデータにアクセスし得る。これには、無線チャネル（例えば、Wi−Fi（登録商標）接続）、有線接続（例えば、デジタル加入者線（DSL）、ケーブルモデムなど）、またはファイルサーバ上に格納されている符号化されたビデオデータへのアクセスに適した、両方の組み合わせが含まれる。ストレージデバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組み合わせであり得る。
本開示の技法は、必ずしも無線用途または設定に限定されない。本技法は、無線テレビ放送、ケーブルテレビ伝送、衛星テレビ伝送、ダイナミック・アダプティブ・ストリーミング・オーバー・ハイパーテキスト・トランスファー・プロトコル（DASH）などのインターネットストリーミングビデオ伝送、データストレージ媒体上に符号化されたデジタルビデオ、データストレージ媒体上に格納されたデジタルビデオの復号、またはその他のアプリケーションなど、様々なマルチメディアアプリケーションのいずれかをサポートするビデオ符号化に適用され得る。いくつかの例では、符号化システム10は、一方向または双方向のビデオ送信をサポートして、ビデオストリーミング、ビデオ再生、ビデオ放送、および／またはビデオ電話などのアプリケーションをサポートするように構成され得る。
図1の例では、ソースデバイス12は、ビデオソース18と、ビデオ符号化器20と、出力インターフェース22と、を備える。宛先デバイス14は、入力インターフェース28と、ビデオ復号器30と、表示デバイス32と、を備える。本開示によれば、ソースデバイス12のビデオ符号化器20および／または宛先デバイス14のビデオ復号器30は、双方向予測のための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。例えば、ソースデバイス12は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス14は、一体の表示デバイスを備えるのではなく、外部表示デバイスとインターフェースし得る。
図1の図示された符号化システム10は、一例にすぎない。双方向予測の手法は、任意のデジタルビデオ符号化および／または復号デバイスによって実行され得る。本開示の技法は、一般に、ビデオ符号化デバイスによって実行されるが、本技法は、通常、「コーデック」と呼ばれるビデオ符号化器／復号器によっても実行され得る。さらに、本開示の技法は、ビデオプリプロセッサによっても実行され得る。ビデオ符号化器および／または復号器は、グラフィックス処理ユニット（GPU）または同様のデバイスであってもよい。
ソースデバイス12および宛先デバイス14は、ソースデバイス12が宛先デバイス14への送信のための符号化ビデオデータを生成するような符号化デバイスの単なる例である。いくつかの例では、ソースデバイス12および宛先デバイス14は、ソースデバイス12および宛先デバイス14のそれぞれがビデオ符号化構成要素および復号構成要素を備えるように、実質的に対称的に動作し得る。従って、符号化システム10は、例えば、ビデオストリーミング、ビデオ再生、ビデオ放送、またはビデオ電話のために、ビデオデバイス12、14間の一方向または双方向のビデオ送信をサポートし得る。
ソースデバイス12のビデオソース18は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含むビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース18は、ソースビデオ、またはライブビデオ、アーカイブビデオ、およびコンピュータ生成ビデオの組み合わせとしてコンピュータグラフィックスベースのデータを生成し得る。
場合によっては、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラ付き電話またはビデオ電話を形成し得る。しかしながら、上述のように、本開示で説明される技法は、一般にビデオ符号化に適用可能であり、無線および／または有線アプリケーションに適用され得る。いずれの場合も、キャプチャされたビデオ、事前キャプチャされたビデオ、またはコンピュータで生成されたビデオは、ビデオ符号化器20で符号化され得る。次いで、符号化されたビデオ情報は、出力インターフェース22によってコンピュータ可読媒体16上に出力され得る。
コンピュータ可読媒体16は、無線放送もしくは有線ネットワーク伝送などの一時媒体、またはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu−ray（登録商標）ディスク、またはその他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含むことができる。いくつかの例では、ネットワークサーバ（図示せず）は、ソースデバイス12からの符号化されたビデオデータを受信し、例えばネットワーク送信を介して、符号化されたビデオデータを宛先デバイス14に提供し得る。同様に、ディスクスタンピング施設などの媒体制作施設のコンピューティングデバイスは、ソースデバイス12からの符号化されたビデオデータを受信し、符号化されたビデオデータを含むディスクを生成することができる。従って、コンピュータ可読媒体16は、様々な例において、様々な形態の1つ以上のコンピュータ可読媒体を含むと理解することができる。
宛先デバイス14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ビデオ符号化器20によって定義されるシンタックス情報を含むことができ、これは、ビデオ復号器30によっても使用され、ブロックおよび他のコード化ユニット、例えばピクチャグループ（GOP）の特性および／または処理を表すシンタックス要素を含む。表示デバイス32は、復号されたビデオデータをユーザに表示し、陰極線管（CRT）、液晶ディスプレイ（LCD）、プラズマディスプレイ、有機発光ダイオード（OLED）ディスプレイ、または別の種類の表示デバイスなどの様々な表示デバイスのいずれかを含み得る。
ビデオ符号化器20およびビデオ復号器30は、現在開発中の高効率ビデオ符号化（HEVC）規格などのビデオ符号化規格に従って動作し得、HEVC試験モデル（HM）に適合し得る。あるいは、ビデオ符号化器20およびビデオ復号器30は、ムービング・ピクチャ・エクスパーツ・グループ（MPEG）−4、Part 10，Advanced Video Coding（AVC），H．265／HEVC、またはそのような規格の拡張とも呼ばれる、国際電気通信連合標準化セクタ（ITU−T）H．264規格などの他の専有または業界標準に従って動作し得る。しかしながら、本開示の技法は、いかなる特定の符号化規格にも限定されない。ビデオ符号化規格の他の例としては、MPEG−2およびITU−T H．263が挙げられる。図1には示されていないが、いくつかの態様では、ビデオ符号化器20およびビデオ復号器30は、それぞれオーディオ符号化器および復号器と一体化されてもよく、共通のデータストリームまたは個別のデータストリームでオーディオおよびビデオの両方の符号化を処理するために、適切なマルチプレクサ−デマルチプレクサ（MUX−DEMUX）ユニット、または他のハードウェアおよびソフトウェアを含むことができる。該当する場合、MUX−DEMUXユニットは、ITU H．223マルチプレクサプロトコル、またはユーザデータグラムプロトコル（UDP）などの他のプロトコルに準拠し得る。
ビデオ符号化器20およびビデオ復号器30はそれぞれ、1つ以上のマイクロプロセッサ、デジタルシグナルプロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、離散ロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせなどの様々な適切な符号化器回路のいずれかとして実施され得る。技法が部分的にソフトウェアで実施される場合、デバイスは、適切な非一時的なコンピュータ可読媒体にソフトウェアの命令を格納し、1つ以上のプロセッサを使用してハードウェアで命令を実行して本開示の技法を実行してもよい。ビデオ符号化器20およびビデオ復号器30のそれぞれは、1つ以上の符号化器または復号器に含まれてもよく、それらのいずれかは、それぞれのデバイスの複合符号化器／復号器（コーデック）の一部として一体化されてもよい。ビデオ符号化器20および／またはビデオ復号器30を備えるデバイスは、集積回路、マイクロプロセッサ、および／または携帯電話などの無線通信デバイスを含み得る。
図2は、双方向予測技法を実装し得るビデオ符号化器20の例を示すブロック図である。ビデオ符号化器20は、ビデオスライス内のビデオブロックのイントラ符号化およびインター符号化を行うことができる。イントラ符号化は、空間的予測を利用して、所与のビデオフレームまたはピクチャ内にあるビデオの空間的冗長性を減らしたり、除去したりする。インター符号化は、時間的予測を利用して、ビデオシーケンスの隣接するフレームまたはピクチャ内にあるビデオの時間的冗長性を減らしたり、除去したりする。イントラモード（Iモード）は、いくつかの空間ベースの符号化モードのうちのいずれかを指し得る。一方向予測（Pモード）または双予測（Bモード）などのインターモードは、いくつかの時間ベースの符号化モードのうちのいずれかを指し得る。
図2に示されるように、ビデオ符号化器20は、符号化対象のビデオフレーム内の現在のビデオブロックを受信する。図2の例では、ビデオ符号化器20は、モード選択ユニット40と、参照フレームメモリ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56と、を備える。モード選択ユニット40は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測ユニット46と、分割ユニット48と、を備える。ビデオブロック再構成のために、ビデオ符号化器20はまた、逆量子化ユニット58と、逆変換ユニット60と、加算器62と、を備える。デブロッキングフィルタ（図2に示さず）もまた含まれて、ブロック境界にフィルタをかけ、再構成したビデオからブロックノイズアーティファクトを除去することができる。必要に応じて、デブロッキングフィルタは、一般的に、加算器62の出力にフィルタをかける。デブロッキングフィルタに加えて、付加的なフィルタ（ループ内またはループ後）もまた使用できる。このようなフィルタは簡潔にするために示されていないが、必要に応じて（ループ内フィルタとして）加算器50の出力にフィルタをかけることができる。
符号化処理の間、ビデオ符号化器20は、符号化対象のビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックへと分割され得る。動き推定ユニット42と動き補償ユニット44とは、1つ以上の参照フレームにおける1つ以上のブロックに対して、受信したビデオブロックのインター予測符号化を行って、時間的予測を提供する。イントラ予測ユニット46は、符号化対象のブロックとして同じフレームまたはスライスにある1つ以上の隣接するブロックに対する受信したビデオブロックのイントラ予測符号化を代替的に行って、空間的予測を提供することができる。ビデオ符号化器20は、複数の符号化パスを行って、例えば、ビデオデータの各ブロックに対する適切な符号化モードを選択することができる。
さらに、分割ユニット48は、先の符号化パスの先の分割スキームの評価に基づいて、ビデオデータのブロックをサブブロックへと分割できる。例えば、分割ユニット48は、フレームまたはスライスを最大符号化単位（LCU）へと最初に分割し、レート歪解析（例えば、レート歪最適化）に基づいてLCUのそれぞれをサブ符号化退院（サブCU）へと分割する。モード選択ユニット40は、LCUをサブCUに分割したことを示す四分木データ構造をさらに作り出し得る。四分木の葉ノードCUは、1つ以上の予測単位（PU）と1つ以上の変換単位（TU）とを含み得る。
本開示は、HEVCのコンテキストにおけるCU、PU、またはTUのいずれか、または他の規格のコンテキストにおける同様のデータ構造（例えば、H．264／AVCにおける、そのマクロブロックおよびサブブロック）を指すために、「ブロック」という用語を用いる。CUは、符号化ノード、PU、および符号化ノードに関連付けられたTUを含む。CUのサイズは、符号化ノードのサイズに対応し、形状は正方形である。CUのサイズは、8×8画素から最大で64×64画素以上のツリーブロックのサイズまでの範囲であり得る。各CUは、1つ以上のPUと1つ以上のTUとを含み得る。CUに関連付けられたシンタックスデータは、例えば、CUを1つ以上のPUに分割することを表し得る。分割モードは、CUがスキップモードまたはダイレクトモードで符号化されているか、イントラ予測モードで符号化されているか、インター予測モードで符号化されているかによって異なり得る。PUは、正方形以外の形状に分割できる。CUに関連付けられたシンタックスデータはまた、例えば、CUを四分木に従って1つ以上のTUに分割することも表し得る。TUは、正方形または正方形以外（長方形など）の形状とすることができる。
モード選択ユニット40は、例えば誤差結果に基づいて、イントラまたはインターの符号化モードのうちの1つを選択し、結果として得られるイントラまたはインター符号化されるブロックを、加算器50に提供して、残差ブロックデータを生成し、参照フレームとして使用するために、加算器62に提供して、符号化ブロックを再構成し得る。モード選択ユニット40はまた、動きベクトル、イントラモード指標、分割情報、および他のそのようなシンタックス情報などのシンタックス要素を、エントロピー符号化ユニット56に提供する。
動き推定ユニット42と動き補償ユニット44とは、高度に統合されてよいが、概念に関わる目的のために別個に示されている。動き推定ユニット42が行う動き推定は、ビデオブロックに関する動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、現在のフレーム（または他の符号化されたユニット）内で符号化された現在のブロックに対する参照フレーム（または他の符号化されたユニット）内にある予測ブロックに対する、現在のビデオフレームまたはピクチャ内にあるビデオブロックのPUの変位を示し得る。予測ブロックは、画素間差分値の観点から、符号化するブロックとよく一致すると認められるブロックであり、これは、差分絶対値和（SAD）、差分2乗和（SSD）、または他の差分評価基準により判定できる。一部の例では、ビデオ符号化器20は、参照フレームメモリ64に格納された参照ピクチャの小数画素位置に関する値を計算し得る。例えば、ビデオ符号化器20は、参照ピクチャの1／4画素位置、1／8画素位置、または他の分数画素位置の値を補間し得る。従って、動き推定ユニット42は、フル画素位置および分数画素位置に対する動き探索を行い、分数画素予測で動きベクトルを出力することができる。
動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置に対して比較することによって、インター符号化されたスライスにおけるビデオブロックのPUに関する動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト（リスト0）または第2の参照ピクチャリスト（リスト1）から選択でき、そのそれぞれは、参照フレームメモリ64に格納された1つ以上の参照ピクチャを特定する。動き推定ユニット42は、エントロピー符号化ユニット56と動き補償ユニット44とに、計算された動きベクトルを送信する。
動き補償ユニット44が行う動き補償は、動き推定ユニット42が判定した動きベクトルに基づく予測ブロックの取り出しまたは生成を含み得る。ここでも、いくつかの例では、動き推定ユニット42および動き補償ユニット44は機能的に統合されてもよい。現在のビデオブロックのPUに関する動きベクトルを受信すると、動き補償ユニット44は、参照ピクチャリストのうちの1つにある動きベクトルが指す予測ブロックを特定する。加算器50は、後述のように、符号化された現在のビデオブロックの画素値から予測ブロックの画素値を差し引いて、画素間差分値を形成することによって、残差ビデオブロックを形成する。一般的に、動き推定ユニット42は、輝度成分に対する動き推定を行い、動き補償ユニット44は、輝度成分に基づいて計算された動きベクトルを色差成分と輝度成分との両方に使う。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際にビデオ復号器30によって使用されるために、ビデオブロックとビデオスライスとに関連付けられているシンタックス要素を生成する。
イントラ予測ユニット46は、前述のように、動き推定ユニット42と動き補償ユニット44とが行うインター予測の代わりに、現在のブロックをイントラ予測できる。特に、イントラ予測ユニット46は、イントラ予測モードを判定して、現在のブロックを符号化するために使うことができる。一部の例では、イントラ予測ユニット46は、例えば別個の符号化パスの間、様々なイントラ予測モードを用いて現在のブロックを符号化でき、イントラ予測ユニット46（または、一部の例では、モード選択ユニット40）は、調べたモードから適切なイントラ予測モードを選択して使うことができる。
例えば、イントラ予測ユニット46は、様々な調べたイントラ予測モードに関してレート歪解析を用いてレート歪値を計算し、調べたモードの中でも最良のレート歪特性を有するイントラ予測モードを選択できる。レート歪解析は、一般的に、符号化ブロックと、符号化されて符号化ブロックを作り出した元の符号化されていないブロックとの間の歪（または誤差）の量、ならびに符号化されたブロックを作り出すために使われたビットレート（すなわち、ビット数）を判定する。イントラ予測ユニット46は、様々な符号化ブロックに関して歪およびレートから比を計算して、ブロックに関し、どのイントラ予測モードが最良のレート歪値を呈しているかを判定できる。
加えて、イントラ予測ユニット46は、デプスモデリングモード（DMM）を使用して、デプスマップのデプスブロックを符号化するように構成され得る。モード選択ユニット40は、例えばレート歪み最適化（RDO）を使用して、利用可能なDMMがイントラ予測モードおよび他のDMMよりも良好な符号化結果を生成するか否かを決定することができる。デプスマップに対応するテクスチャ画像のデータは、参照フレームメモリ64に格納され得る。動き推定ユニット42と動き補償ユニット44とはまた、デプスマップのデプスブロックをインター予測するように構成され得る。
ブロックのイントラ予測モード（例えば、従来のイントラ予測モード、またはDMMのうちの1つ）を選択した後、イントラ予測ユニット46は、選択された、ブロックのイントラ予測モードを示す情報をエントロピー符号化ユニット56に提供することができる。エントロピー符号化ユニット56は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオ符号化器20は、送信されたビットストリームに構成データを含み、構成データが、複数のイントラ予測モードインデックステーブルおよび複数の修正されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックに関する符号化コンテキストの定義と、最も可能性の高いイントラ予測モード、イントラ予測モードインデックステーブル、およびコンテキストごとに使用する修正されたイントラ予測モードインデックステーブルの指示と、を含み得る。
ビデオ符号化器20は、符号化される元のビデオブロックから、モード選択ユニット40からの予測データを減じることにより残差ビデオブロックを形成する。加算器50は、この減算演算を行う構成要素または複数の構成要素を表す。
変換処理ユニット52は、離散コサイン変換（DCT）または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を含むビデオブロックを生成する。変換処理ユニット52は、DCTに概念的に類似する他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換、または他の種類の変換も使用できる。
変換処理ユニット52は、残差ブロックに変換を適用し、残差変換係数のブロックを作り出す。この変換により、画素値領域からの残差情報を周波数領域などの変換領域へと変換できる。変換処理ユニット52は、結果として得られる変換係数を量子化ユニット54に送信できる。量子化ユニット54は、ビットレートをさらに減らすために、変換係数を量子化する。量子化処理は、係数の一部または前部に関連付けられているビットデプスを減らすことができる。量子化の程度は、量子化パラメータを調整することによって修正できる。一部の例では、次いで、量子化ユニット54は、量子化された変換係数を含むマトリックスのスキャンを行うことができる。あるいは、エントロピー符号化ユニット56がスキャンを行うこともできる。
量子化の後、エントロピー符号化ユニット56は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット56は、コンテキスト適応型可変長符号化（CAVLC）またはコンテキスト適応型2値算術符号化（CABAC）、シンタックスベースのコンテキスト適応型2値算術符号化（SBAC）、確率区間分割エントロピー（PIPE）符号化、または別のエントロピー符号化技法を行うことができる。コンテキストベースのエントロピー符号化の場合、コンテキストは、隣接するブロックに基づき得る。エントロピー符号化ユニット56によるエントロピー符号化の後、符号化されたビットストリームは、別のデバイス（例えば、ビデオ復号器30）に送信されてもよいし、後で送信または検索するためにアーカイブされてもよい。
逆量子化ユニット58と逆変換ユニット60とは、それぞれ、逆量子化と逆変換とを適用して、例えば参照ブロックとして後で使用するために、画素領域の残差ブロックを再構成する。動き補償ユニット44は、残差ブロックを参照フレームメモリ64のフレームのうちの1つの予測ブロックに加えることによって参照ブロックを計算できる。動き補償ユニット44はまた、再構成された残差ブロックに1つ以上の補間フィルタを適用して、動き推定で用いるための少数画素値を計算する。加算器62は、再構成された残差ブロックを動き補償ユニット44が作り出した動き補償予測ブロックに加えて、参照フレームメモリ64に格納するための再構成されたビデオブロックを作り出す。再構成されたビデオブロックは、動き推定ユニット42および動き補償ユニット44によって参照ブロックとして使用されて、後続のビデオフレームのブロックをインター符号化できる。
図3は、双方向予測技法を実施し得るビデオ復号器30の例を示すブロック図である。図3の例では、ビデオ復号器30は、エントロピー復号ユニット70と、動き補償ユニット72と、イントラ予測ユニット74と、逆量子化ユニット76と、逆変換ユニット78と、参照フレームメモリ82と、加算器80と、を備える。ビデオ復号器30は、いくつかの例では、ビデオ符号化器20（図2）に関して説明された符号化パスと概して逆となる復号パスを実行し得る。動き補償ユニット72は、エントロピー復号ユニット70から受信した動きベクトルに基づいて予測データを生成することができ、イントラ予測ユニット74は、エントロピー復号ユニット70から受信したイントラ予測モード指標に基づいて予測データを生成することができる。
復号処理の間、ビデオ復号器30は、ビデオ符号化器20から、符号化されたビデオスライスのビデオブロックを表す符号化されたビデオビットストリームと、関連するシンタックス要素とを受信する。ビデオ復号器30のエントロピー復号ユニット70は、ビットストリームをエントロピー復号して、量子化された係数、動きベクトルまたはイントラ予測モード指標、および他のシンタックス要素を生成する。エントロピー復号ユニット70は、動きベクトルおよび他のシンタックス要素を動き補償ユニット72に転送する。ビデオ復号器30は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
ビデオスライスがイントラ符号化（I）スライスとして符号化される場合、イントラ予測ユニット74は、現在のフレームまたはピクチャの前に復号されたブロックからシグナリングされたイントラ予測モードおよびデータに基づいて、現在のビデオスライスのビデオブロックに関する予測データを生成できる。ビデオフレームがインター符号化（例えば、B、PまたはGPB）スライスとして符号化される場合、動き補償ユニット72は、動きベクトルおよびエントロピー復号ユニット70から受信した他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックに関する予測ブロックを作り出す。予測ブロックは、参照ピクチャリストのうちの1つの内にある参照ピクチャのうちの1つから作り出され得る。ビデオ復号器30は、参照フレームメモリ82に格納された参照ピクチャに基づいて、デフォルトの構成技法を用いて参照フレームリスト、すなわちリスト0およびリスト1を構成できる。
動き補償ユニット72は、動きベクトルおよび他のシンタックス要素を解析することによって、現在のビデオスライスのビデオブロックに関する予測情報を判定し、予測情報を使用して、復号される現在のビデオブロックに関する予測ブロックを作り出す。例えば、動き補償ユニット72は、受信したシンタックス要素の一部を使用して、ビデオスライスのビデオブロックを符号化するために使われる予測モード（例えば、イントラまたはインター予測）、インター予測スライスタイプ（例えば、Bスライス、Pスライス、またはGPBスライス）、スライスに関する参照ピクチャリストのうちの1つ以上の構成情報、スライスの各インター符号化されたビデオブロックの動きベクトル、スライスの各インター符号化されたビデオブロックに関するインター予測状態、および現在のビデオスライスのビデオブロックを復号するための他の情報を判定する。
動き補償ユニット72はまた、補間フィルタに基づいて、補間を行うことができる。動き補償ユニット72は、ビデオブロックの符号化の間にビデオ符号化器20が使うように補間フィルタを使用して、参照ブロックの小数画素に関する補間された値を計算することができる。この場合、動き補償ユニット72は、受信したシンタックス要素からビデオ符号化器20によって使用される補間フィルタを判定し、補間フィルタを使って、予測ブロックを作り出すことができる。
デプスマップに対応するテクスチャ画像のデータは、参照フレームメモリ82に格納され得る。動き補償ユニット72はまた、デプスマップのデプスブロックをインター予測するように構成され得る。
当業者には理解されるように、図1の符号化システム10は、以下でさらに詳しく説明するように、伝播距離に基づくフィルタリング、信号隠蔽、および隣接するブロックから取得されるフィルタ情報に基づくフィルタリングを含むがこれらに限定されない様々なビデオ符号化技法を実施するのに適している。
デジタルビデオ通信およびストレージアプリケーションは、様々なデジタルデバイス、例えばデジタルカメラ、携帯電話、ラップトップ、放送システム、テレビ会議システムなどによって実施される。これらのアプリケーションの最も重要で困難なタスクの1つは、ビデオ圧縮である。ビデオ圧縮のタスクは複雑であり、2つの矛盾するパラメータ、つまり圧縮効率と計算の複雑さとによって制約される。ITU−T H．264／AVCやITU−T H．265／HEVCなどのビデオ符号化規格は、これらのパラメータ間の良好なトレードオフを提供する。
最先端のビデオ符号化規格は、ソースピクチャをブロックに分割することに主に基づく。これらのブロックの処理は、そのサイズ、空間位置、および符号化器によって指定された符号化モードに依存する。符号化モードは、予測の種類に応じて、イントラ予測モードとインター予測モードとの2つのグループに分類され得る。イントラ予測モードは、再構成されるブロックの画素の予測値を計算するための参照サンプルを生成するために、同じピクチャの画素を使用する。イントラ予測はまた、空間予測とも呼ばれる。インター予測モードは、時間予測のために設計されており、現在のピクチャのブロックの画素を予測するために、前または次のピクチャ（例えば、隣接ブロック）の参照サンプルを使用する。
冗長性の種類が異なるため、イントラ符号化とインター符号化との予測処理は異なる。イントラ予測は、通常、参照サンプルの1次元バッファを構成する。インター予測は、通常、2次元の参照画素マトリックスのサブ画素補間を使用する。予測結果を改善するために、イントラ符号化とインター符号化との両方に追加の処理が使用され得る（例えば、イントラ予測での参照サンプルの平滑化、インター予測での参照ブロックの鮮鋭化）。
最近採用されたITU−T H．265／HEVC規格（ISO／IEC 23008−2：2013、「Information technology−High efficiency coding and media delivery in heterogeneous environments−Part 2：High efficiency video coding」、2013年11月）は、符号化効率と計算の複雑さとの間の合理的なトレードオフを提供する最新のビデオ符号化ツールのセットを発表している。
ITU−T H．264／AVCビデオ符号化規格と同様に、HEVC／H．265ビデオ符号化規格は、ソースピクチャをブロック、例えばCUに分割することを提供する。CUのそれぞれは、より小さなCUまたはPUにさらに分割され得る。PUは、PUの画素に適用される処理の種類に応じて、イントラ予測またはインター予測され得る。インター予測の場合、PUは、PUに指定された動きベクトルを使用した動き補償によって処理される画素の領域を表す。イントラ予測の場合、PUは、TUのセットの予測モードを指定する。TUは異なるサイズ（例えば、4×4、8×8、16×16、および32×32画素）を有することができ、様々な仕方で処理され得る。TUの場合、変換符号化が実行される、つまり、予測誤差が、DT）で変換され、量子化される。従って、再構成された画素は、予測精度に影響を与え得る、量子化ノイズおよびブロッキングアーティファクトを含む。
イントラ予測へのこの影響を減らすために、参照画素フィルタリングがHEVC／H．265に採用されている。インター予測の場合、参照画素は、サブ画素補間を使用して計算される。動き補償の場合の参照画素の平滑化は、サブ画素補間処理のアンチエイリアスフィルタリングと組み合わされ得る。
モード適応型イントラ予測平滑化技法が提示されている。平滑化フィルタリングは、選択されたイントラ予測モードとビデオビットストリームで符号化されたフラグとに依存する。ブロックの、定義されたイントラ予測モードに応じて、参照サンプルは、フィルタで平滑化されるか、修正せずに使用され得る。参照サンプルが平滑化される場合、平滑化フィルタの選択も、イントラ予測モードに基づくこともできる。加えて、この選択は、ビットストリームから再構成されたフラグの値に従って実行され得る。
現在のHEVC／H．265規格では、この技法を部分的に使用する。具体的には、イントラモードとブロックサイズとのいくつかの組み合わせに対して、フィルタ平滑化がオフにされる。
参照サンプル適応フィルタ（RSAF）は、HEVC／H．265規格に採用された参照サンプルフィルタの拡張として提案されている。この適応フィルタは、異なるフィルタを異なるセグメントに適用するために、平滑化する前に参照サンプルを分割またはセグメント化する。加えて、平滑化フラグを通知するためにデータ隠蔽手順が使用されている。参照サンプル用の適応フィルタの簡略バージョンが、4タップのイントラ補間フィルタ、境界予測フィルタ、および／またはマルチパラメータイントラ予測（MPI）を含む平滑化を使用するいくつかの他のツールを含むJoint Exploration Model 1（JEM1）に採用されており、これは、位置依存イントラ予測の組み合わせ（PDPC）に置き換えることができる。
残念ながら、上記の方法では、符号化または復号中に、シグナリングの労力が大きいことやビデオの過剰な平滑化を含む問題が発生する。
本明細書では、伝播距離に応じてフィルタ強度を選択する方法が開示され、伝播距離は、参照サンプルと予測される画素との間の距離である。以下でより詳細に説明するように、伝播距離は、予測対象のブロックのアスペクト比（例えば、幅を高さで除した値）およびイントラ予測モードの方向に依存する。本方法は、例えば、平滑化フィルタまたは鮮鋭化フィルタの適用に適用される。
図4は、1つ以上の参照サンプル402を使用して予測対象のブロック400を示している。参照サンプル402は、本明細書において、参照画素または基本単位（BU）と呼ばれることもある。図示のように、図4の参照サンプル402は、ブロック400の左端および上端に沿って配置される。しかしながら、予測中に他の場所（図示せず）からの参照サンプル402を使用することもできる。ブロック400は、4画素の幅（W）および8画素の高さ（H）を有する。しかしながら、ブロック400は、実際の用途では他の寸法を有していてもよく、矩形以外の形状を有していてもよい。
ブロック400は、例えば、水平モード、垂直モード、または斜めモードを含むいくつかのイントラ予測モードのうちの1つを使用して予測され得る。説明のために、図4のブロック400は、斜め予測モードを使用して予測されるものとして示されている。ブロック400に対して選択された斜め予測モードに対応する予測方向404は、図4においては3つの矢印で表されている。
ブロック400内の画素406が予測されているとき、予測方向404に沿った参照サンプル402から画素406までの伝播距離408が決定される。その後、複数のフィルタ係数のうちの1つを選択するために、伝播距離408が使用され得る。一実施形態では、予測される画素（例えば、画素406）に対する伝播距離408がより短い参照サンプル402（図4において斜線入りのボックスとして示されている）は、より弱い参照サンプルフィルタに対応し、予測される画素に対する伝播距離408がより長い参照サンプル402は、（図4において透明なボックスとして示されている）は、より強い参照サンプルフィルタに対応する。
処理の例を提示する。図4の画素406に対応する伝播距離408が、4（例えば、約4、四捨五入の結果4など）に決定されると仮定する。表1にあるマッピングを使用して、［1，6，1］のフィルタ係数が選択される。
Figure 2020509714
表1に示されるように、フィルタ係数の強度は、伝播距離408に応じて左から右に増加する。すなわち、一実施形態では、フィルタ係数の強度は、伝播距離408に正比例する。実際、0〜3画素の伝播距離の場合、［1］の比較的弱いフィルタ係数が適用される。21〜48画素の伝播距離の場合、［1，2，1］のより強いフィルタ係数が適用される。加えて、伝播距離が64画素を超える場合、［2，7，14，7，2］の最も強いフィルタ係数が適用される。表1のパラメータは、説明のために提供されていることを理解されたい。実際、異なる伝播距離408および異なるフィルタ係数が実際の用途で使用され得る。
伝播距離408に基づいてフィルタ係数の1つが選択されると、適切なフィルタ（例えば、平滑化フィルタ、鮮鋭化フィルタなど）を使用して画素406が予測される。一実施形態では、ブロック400内の画素406のそれぞれが予測されるまで、予測処理が繰り返される。画素406のそれぞれは、その特定の画素の伝播距離408に基づくフィルタ係数を使用して予測されるため、符号化デバイスによって実行される符号化処理が改善される。画素406の予測距離408に基づいてフィルタ係数を適用する処理は、符号化器（例えば、ビデオ符号化器20）および復号器（例えば、ビデオ復号器30）の両方で実行され得る。
図5は、本明細書に記載のフィルタ係数選択処理を実施するように構成されたビデオ符号化デバイス500である。符号化デバイス500は、図1のビデオ符号化器20またはビデオ復号器30と同様であり得る。図示のように、符号化デバイス500は、フィルタのシーケンス510と、フィルタコントローラ520と、を備える。
フィルタのシーケンス510は、例えば、RSAF、イントラ予測のための補間フィルタ、および／またはイントラ予測ブロックフィルタなどの1つ以上のフィルタを含むことができる。イントラ予測ブロックフィルタは、MPI、PDPC、および／または境界平滑化を含んでもよい。これらのフィルタは、平滑化によりイントラ予測の結果に影響を与え得る。
フィルタのシーケンス510は、1つ以上の一次パラメータおよび1つ以上の二次パラメータにより構成可能である。例えば、フィルタのシーケンス510の第1のフィルタセットは一次パラメータによって構成可能であり、フィルタのシーケンス510の第2のフィルタセットは第2のフィルタセットによって構成可能であり得る。一次パラメータおよび二次パラメータは、予測ユニットのサイズ、予測されるブロックのサイズ、イントラ予測モード、マルチパラメータイントラモードインデックス、および／または参照サンプルフィルタリングフラグのうちの1つまたは複数であり得る。一実施形態では、第1のフィルタセットと第2のフィルタセットとは重複する。
フィルタコントローラ520は、伝播距離（例えば、図4の伝播距離408）に基づいてフィルタ係数を選択または決定するように構成される。フィルタコントローラ520は、1つ以上の一次パラメータに基づいて、またフィルタのシーケンス510の強度基準に基づいて、1つ以上の二次パラメータを調整するように構成される。特に、フィルタコントローラ520は、1つ以上の第1のパラメータに部分的に基づいて、1つ以上の二次パラメータを調整するように構成され得る。例えば、二次パラメータの値は、例えばビットストリームからの所定の値に部分的に基づくことができ、一次パラメータに基づく調整に部分的に基づくことができる。
加えて、フィルタコントローラ520は、フィルタのシーケンス510の強度基準に基づいて、1つ以上の二次パラメータを調整するように代替的に構成され得る。フィルタコントローラ520はまた、イントラ予測モードおよび参照サンプルの伝播距離に基づいて新しいパラメータセットを選択することができる。例えば、表1では、異なる伝播距離範囲に対して、異なる係数のセットが設計されていることが例示されている。表1に含まれる情報は、符号化側（例えば、ビデオ符号化器20）および復号側（例えば、ビデオ復号器30）の両方で格納され得る。情報が格納されるため、符号化側と復号側とから送信される必要がある情報が少なくなる。実際、伝播距離の範囲は復号側で独立して導出でき、対応する係数は既存の表1から検索され得る。
イントラ予測手順は、符号化器側および／または復号器側におけるハイブリッドビデオ符号化ツールチェーンの一部とすることができる。同様に、インター予測手順は、実際にはインター予測のためのイントラ予測ブロックに類似したものである、参照として使用されるブロックの過剰な平滑化または過剰な鮮鋭化を引き起こす可能性のあるフィルタのシーケンス（例えば、補間フィルタおよびいわゆる予測フィルタ）を含むことができる。
図6は、フィルタシーケンス600（フィルタのシーケンスとも呼ばれる）の一実施形態を示している。フィルタシーケンス600は、フィルタ制御モジュール602によって実施される。フィルタ制御モジュール602は、図5のフィルタコントローラ520と同様であってもよい。一実施形態では、また以下により詳細に説明するように、フィルタ制御モジュール602は、イントラ予測の異なる段階でフィルタリングパラメータを調整するように構成される。
一実施形態では、フィルタのシーケンス600は、参照サンプル平滑化ユニット604と、イントラ予測ユニット606と、予測ブロックフィルタユニット608と、境界平滑化ユニット610と、を備える。参照サンプル平滑化ユニット604は、1つ以上の隣接サンプル612を入力として受信するように構成される。1つ以上の隣接サンプル612は、図4の参照サンプル402と同様であってもよい。参照サンプル平滑化ユニット604は、入力としてイントラ予測ユニット606に提供される1つ以上の参照サンプル614を取得するために、隣接サンプル612を平滑化および／またはさらに処理するように構成される。イントラ予測ユニット606は、補間フィルタ616を備える。イントラ予測ユニット606の出力618は、予測ブロックフィルタユニット608により入力として受信される。
予測ブロックフィルタユニット608は、入力として境界平滑化ユニット610に供給される1つ以上の予測ブロック620を計算するように構成される。境界平滑化ユニット610は、出力622として、1つ以上のイントラ予測ブロック624を生成する。
一実施形態では、フィルタ制御モジュール602は、イントラ予測パラメータ626を一次パラメータとして読み取るように構成され得る。加えて、フィルタ制御モジュール602は、これらの一次パラメータに基づいて二次パラメータを導出するように構成され得る。
フィルタのシーケンス600を備えるビデオ符号化デバイス（例えば、ビデオ符号化器20、ビデオ復号器30）は、参照サンプルフィルタの黙示的または明示的なシグナリングを選択的に、すなわち特定の条件を満たすTUのみに使用するように構成され得る。
四分木分割の結果は、明示的または黙示的なシグナリングを使用した参照サンプルフィルタ選択の指標として使用され得る。特に、PUのサイズが閾値（例えば、32×32）よりも大きい場合、参照サンプルフィルタフラグは、ゼロに設定される。PUサイズの条件が真の場合、PUサイズおよび／またはイントラモード条件に従って、「フィルタなし」および「弱いフィルタを適用」オプションのみが選択され得る。
本明細書では、ビデオ符号化処理で使用される隠蔽条件を指定する方法も開示されている。以下でより詳細に説明するように、隠蔽は、新しいシンタックス要素をシグナリングに導入せず（例：符号ビット隠蔽）に情報を通知するために使用される。隠蔽条件は、隠蔽情報の存在を引き出すために復号器（例えば、ビデオ復号器30）によって使用される。一実施形態では、量子化変換係数内で隠蔽が実行される。
第1の実施形態では、有意量子化変換係数の数が閾値（例えば、3、4、5つの有意係数）より少ないときに、隠蔽条件がトリガされる。第2の実施形態では、最後の有意量子化変換係数の位置と最初の有意量子化変換係数の位置との間の距離が、閾値（例えば、所定のスキャン順序内の3、4、5、または6個の係数位置）以下である場合、隠蔽条件がトリガされる。別の実施形態では、隠蔽条件は、前述の第1および第2の実施形態の組み合わせであってもよい。
隠蔽条件は、明示的なシグナリングフラグの存在を示す指標として使用され得る。例えば、有意量子化変換係数の数が閾値未満の場合、位置依存予測の組み合わせ（PDPC）は無効化され、PDPCフラグは符号化されない。一実施形態では、最後の有意量子化変換係数の位置と最初の有意量子化変換係数の位置との間の距離が、閾値以下である場合、適応型参照サンプル平滑化（ARSS）隠蔽または明示的シグナリングは無効化される。
従って、量子化された残差信号係数の推定は、予測信号を生成するために使用されたイントラ予測ツールのリストを決定するために使用される。
本明細書では、フィルタのシーケンス510と同様のフィルタのシーケンスにマージモードを導入する方法も開示されている。以下で詳しく説明するように、フィルタのシーケンスのすべてのパラメータ値を送信する代わりに、値は1つ以上の隣接するブロックから取得される。値が1つ以上の隣接するブロックから取得されたことを示すために、マージフラグが設定される。
図7は、隣接するブロック702のうちの1つからコピーされたフィルタのシーケンスのためのパラメータ値を使用して予測対象のブロック700を示している。図7に示されるように、フィルタのシーケンスのパラメータ値は、ブロック700の上の隣接するブロック702からコピーされている。一実施形態では、フィルタのシーケンスのパラメータ値は、図7に示される他の隣接するブロック702のうちの任意の1つ以上からコピーされてもよい。値が1つ以上の隣接するブロックから取得されたことを示すために、マージフラグがバイナリ値（例えば、1）に設定される。
図8は、隣接するブロック802のうちの1つからコピーされたフィルタのシーケンスのためのパラメータ値を使用して予測対象のブロック800を示している。図8に示されるように、いくつかの隣接するブロック802は、フィルタのシーケンスのパラメータ値を導出するために使用される。この場合、パラメータ値は、隣接TU（図示せず）に属する各隣接基本単位（BU）804から収集される。収集されたパラメータ値は、予測対象のブロック800に適用されるパラメータ値を取得するために、さらに処理される。例えば、パラメータ値がバイナリの場合（例えば、バイナリフラグがフィルタパラメータとして使用される場合）、多数決ルールが次の式に従って使用され得る。
P＝arg max｛NP＝0，NP＝1｝
ここで、NP＝0およびNP＝1は、パラメータ値がそれぞれ0および1のBUを表す。
図9は、符号化器側（例えば、ビデオ符号化器20）でコストベースのレート歪み最適化決定を行うための方法900の一実施形態である。以下により詳細に説明するように、方法900は、事前予測フィルタパラメータのマージに関する決定を行うのに適している。
ブロック902において、選択されたイントラ予測モードが属する範囲が定義される。ブロック904において、事前予測フィルタパラメータのソースとして使用されるべきBUが定義される。ブロック906において、マージに使用される事前予測フィルタパラメータの値が計算される。ブロック908において、JMergeと呼ばれる、パラメータがマージされるときのレート歪みコスト、およびJNoMergeと呼ばれる、パラメータがマージされないときのレート歪みコストが計算される。
ブロック910において、JMergeがJNoMergeより大きいか否かを判定するために比較が行われる。JMergeがJNoMergeよりも大きい場合、「yes」分岐からブロック912に進む。ブロック912において、マージフラグ値は、比較の結果を示すために第1のバイナリ値（例えば、0）に設定される。対照的に、JMergeがJNoMergeより大きくない場合、「no」分岐からブロック914に進む。ブロック914において、マージフラグ値は、比較の結果を示すために第2のバイナリ値（例えば、1）に設定される。その後、追加のビデオ符号化ステップまたは処理が行われ得る。
図10は、復号器側（例えば、ビデオ復号器30）において、マージされた事前予測フィルタパラメータを使用する方法1000の一実施形態である。以下により詳細に説明するように、復号器側で実行される方法1000は、符号化器側で実行される方法900と同様である。
ブロック1002において、Fmergeと呼ばれるマージフラグの設定がチェックされる。マージフラグが設定されていない場合（例えば、Fmerge＝0）、「no」分岐に進み、方法1000が終了する。マージフラグが設定されている場合（例えば、Fmerge＝1）、「yes」分岐からブロック1004に進む。ブロック1004において、選択されたイントラ予測モードが属する範囲が定義される。ブロック1006において、事前予測フィルタパラメータのソースとして使用されるべきBUが定義される。ブロック1008において、マージに使用される事前予測フィルタパラメータの値が計算される。ブロック1010において、事前予測パラメータの計算値が予測対象の現在のブロックに適用される。その後、追加のビデオ復号ステップまたは処理が行われ得る。
一実施形態では、選択されたイントラ予測モードと、フィルタのシーケンスのパラメータ値を導出するために使用された隣接BUの位置と、の間の依存性に基づいて、事前予測フィルタパラメータがマージされ得る。図11〜図12は、それぞれ、垂直または略垂直ならびに水平および略水平の方向モードでの事前予測フィルタパラメータをマージするためのメカニズムを示している。
図11は、一実施形態による、隣接するブロック1102におけるBU 1104から収集されたパラメータ値を使用して予測対象のブロック1100を示している。角度範囲βは、予測に使用される方向モードを決定するために使用され、これは、図11では垂直または略垂直である。ここで、上部隣接ブロック1102内の2つの中間BU 1104は、角度範囲β内に含まれる（破線で示されるように）。従って、角度範囲β内の2つの中間BU 1104のみが、ブロック1100（またはその中の画素）を予測する際に使用される。一実施形態では、現在のブロック1100を予測するときに、2つの中間BU 1104からのフィルタパラメータが一緒にマージされる。
図12は、一実施形態による、隣接するブロック1202におけるBU 1204から収集されたパラメータ値を使用して予測対象のブロック1200を示している。図11と同様に、どのようなBU 1204でも予測に使用されるわけではない。むしろ、特定のBU 1204のみが利用される。図12に示されるように、角度範囲βは、予測に使用される方向モードを決定するために使用され、これは、図12では水平または略水平である。ここで、左隣接ブロック1202内の2つの中間BU 1204は、角度範囲β内に含まれる（破線で示されるように）。従って、角度範囲β内の2つの中間BU 1204のみが、ブロック1200（またはその中の画素）を予測する際に使用される。一実施形態では、現在のブロック1200を予測するときに、2つの中間BU 1204からのフィルタパラメータがマージされる。
図13は、一実施形態による、隣接するブロック（図示せず）におけるBU 1302から収集されたパラメータ値を使用して予測対象のブロック1300を示している。特に、図13は、平面イントラ予測モードの参照サンプルフィルタリング処理の変化を示している。
平面イントラ予測は、予測対象のブロック（例えば、ブロック1300）内の値を予測するために、対向する側の2つのペア（例えば、左右側から形成される1つのペア、および上下側から形成される別のペア）を使用する。左側1304および上側1306からの参照サンプルは、再構成された画素値である。右側のNは、右上（TR）の参照サンプルをコピーすることにより生成される。下側Mは、左下（BL）の参照サンプルをコピーすることにより生成される。一実施形態では、右側Nの値を修正する参照サンプルTRのただ1つのフィルタリングされた値と、下側Mの値を修正する参照サンプルBLのただ1つのフィルタリングされた値と、を取得するために、ARSSが適用される。
一実施形態では、右側および下側の画素（斜線ボックスとして示される）は、それぞれ、TR参照サンプルのフィルタリングされた、またはフィルタリングされていない値を組み合わせることにより、およびBL参照サンプルのフィルタリングされた、またはフィルタリングされていない値を組み合わせることにより生成される。フィルタリングされた、またはフィルタリングされていない参照値の選択は、下側Mまたは右側N内で生成されたサンプルの位置に従って実行される。下側および右側M、Nはそれぞれ、下側Mでは所定の値mおよび右側Nでは所定の値nに従って、2つのサブセットに分割される。一実施形態では、所定の値m、nは、例えばブロックの幅と高さとに基づいて選択される。フィルタリングされていない参照サンプルは、右セットと下セットにそれぞれ関連するサブセットnとmとにコピーされる。フィルタリングされた参照サンプルは、右および下のセットにそれぞれ関連するサブセットN−nおよびM−mにコピーされる。
説明のために、平面イントラ予測モードで使用されるフィルタリングされた参照サンプルとフィルタリングされていない参照サンプルは、異なるハッチングパターンが与えられている。同様に、使用されているがフィルタリングされていない参照サンプルは、ハッチングなしで示されている。
一実施形態では、参照サンプルに適用されるフィルタは、参照サンプルTRのブロック幅および参照サンプルBLのブロック高さを条件として選択される。一実施形態では、参照サンプルに適用されるフィルタは、ブロックアスペクト比、すなわち、ブロック1300が水平に向けられている場合のブロック幅対ブロック高さの比、およびブロック1300が垂直に向けられている場合のブロック高さ対ブロック幅の比を条件として選択される。
図14は、図3のビデオ復号器30などの復号デバイスによって実施される符号化方法1400の一実施形態である。方法1400は、より効率的なビデオ符号化が望ましいときに実行される。ブロック1402において、現在のブロックの予測方向が決定される。予測方向は、水平、略水平、垂直、略垂直、斜めなどであり得る。ブロック1404において、予測方向に沿った伝播距離が決定される。一実施形態では、現在のブロックにおける予測対象の画素と現在のブロックに隣接する参照サンプルとの間の伝播距離が測定される。
ブロック1406において、伝播距離に基づいて、複数のフィルタ係数のうちの1つが選択される。一実施形態では、上記の表1を使用して選択が行われる。ブロック1408において、現在のブロックにおける画素が、フィルタおよび選択されたフィルタ係数を使用して予測される。一実施形態では、フィルタは、平滑化フィルタまたは鮮鋭化フィルタである。ブロック1410において、予測された画素を含む画像が、電子デバイスのディスプレイ上に表示される。
図15は、図2のビデオ符号化器20などの符号化デバイスによって実施される符号化方法1500の一実施形態である。方法1500は、より効率的なビデオ符号化が望ましいときに実行される。ブロック1502において、現在のブロックの予測方向が決定される。予測方向は、水平、略水平、垂直、略垂直、斜めなどであり得る。ブロック1504において、予測方向に沿った伝播距離が決定される。一実施形態では、現在のブロックにおける予測対象の画素と現在のブロックに隣接する参照サンプルとの間の伝播距離が測定される。
ブロック1506において、伝播距離に基づいて、複数のフィルタ係数のうちの1つが選択される。一実施形態では、上記の表1を使用して選択が行われる。ブロック1508において、現在のブロックにおける画素が、フィルタおよび選択された、複数のフィルタ係数のうちの1つを使用して予測される。一実施形態では、フィルタは、平滑化フィルタまたは鮮鋭化フィルタである。ブロック1510において、画素を含む画像を含むビットストリームが、ビットストリームを復号するように構成された復号デバイス（例えば、ビデオ復号器30）に送信される。
図16は、本開示の一実施形態による符号化デバイス1600の概略図である。符号化デバイス1600は、本明細書に記載の開示された実施形態を実施するのに適している。符号化デバイス1600は、データを受信するための、イングレスポート1610および受信機ユニット（Rx）1620と、データを処理するための、プロセッサ、論理ユニット、または中央処理装置（CPU）1630と、データを送信するための、送信機ユニット（Tx）1640およびエグレスポート1650と、データを格納するためのメモリ1660と、を備える。符号化デバイス1600はまた、光信号または電気信号の入出力のために、イングレスポート1610、受信機ユニット1620、送信機ユニット1640、およびエグレスポート1650に結合された、光−電気（OE）コンポーネントおよび電気−光（EO）コンポーネントを備えてもよい。
プロセッサ1630は、ハードウェアおよびソフトウェアによって実施される。プロセッサ1630は、1つ以上のCPUチップ、コア（例えば、マルチコアプロセッサとして）、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、およびデジタルシグナルプロセッサ（DSP）として実施されてもよい。プロセッサ1630は、イングレスポート1610、受信機ユニット1620、送信機ユニット1640、エグレスポート1650、およびメモリ1660と通信している。プロセッサ1630は、参照サンプル処理（RSP）モジュール1670を備える。RSPモジュール1670は、前述の開示された実施形態を実施する。例えば、RSPモジュール1670は、様々な符号化動作を実装、処理、準備、または提供する。従って、RSPモジュール1670を含めることにより、符号化デバイス1600の機能に実質的な改善がもたらされ、符号化デバイス1600の異なる状態への変換がもたらされる。あるいは、RSPモジュール1670は、メモリ1660に格納された命令として実施され、プロセッサ1630によって実行される。
メモリ1660は、1つ以上のディスク、テープドライブ、およびソリッドステートドライブを備え、オーバーフローデータストレージデバイスとして使用されて、そのようなプログラムが実行のために選択されたときにプログラムを格納し、またプログラムの実行中に読み込まれた命令およびデータを格納する。メモリ1660は、揮発性および／または不揮発性であってもよく、読み出し専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、3値連想メモリ（TCAM）、および／またはスタティックランダムアクセスメモリ（SRAM）であってもよい。
復号手段によって実施される符号化方法。本方法は、復号手段によって、現在のブロックの予測方向を決定するステップと、復号手段によって、予測方向に沿った伝播距離を決定するステップであって、伝播距離が、現在のブロックにおける予測対象の画素と現在のブロックに隣接する参照サンプルとの間で測定される、ステップと、復号手段によって、伝播距離に基づいて、複数のフィルタ係数のうちの1つを選択するステップと、復号手段によって、フィルタおよび選択された、複数のフィルタ係数のうちの1つを使用して、現在のブロックにおける画素を予測するステップと、復号手段によって、予測された画素を含む画像を表示するステップと、を含む。
符号化手段によって実施される符号化方法。本方法は、符号化手段によって、現在のブロックの予測方向を決定するステップと、符号化手段によって、予測方向に沿った伝播距離を決定するステップであって、伝播距離が、現在のブロックにおける予測対象の画素と現在のブロックに隣接する参照サンプルとの間で測定される、ステップと、符号化手段によって、伝播距離に基づいて、複数のフィルタ係数のうちの1つを選択するステップと、符号化手段によって、フィルタおよび選択された、複数のフィルタ係数のうちの1つを使用して、現在のブロックにおける画素を予測するステップと、符号化手段によって、画素を含む画像を含むビットストリームを、ビットストリームを復号するように構成された復号デバイスに送信するステップと、を含む。
符号化デバイスから、ビットストリームを受信するように構成された受信手段であって、ビットストリームが画像を含む、受信手段と、受信手段に結合された処理手段であって、処理手段が、画像内から現在のブロックを選択し、現在のブロックの予測方向を決定し、予測方向に沿った伝播距離を決定し、伝播距離が、現在のブロックにおける予測対象の画素と現在のブロックに隣接する参照サンプルとの間で測定され、伝播距離に基づいて、複数のフィルタ係数のうちの1つを選択し、フィルタおよび選択された、複数のフィルタ係数のうちの1つを使用して、現在のブロックにおける画素を予測するように構成される、処理手段と、処理手段に動作可能に結合された表示手段であって、表示手段が、予測された画素を含む画像を表示するように構成される、表示手段と、を備える、復号デバイス。
本開示では、いくつかの実施形態が提供されているが、開示されたシステムおよび方法は、本開示の趣旨または範囲から逸脱することなく多くの他の具体的な形態で実施され得ることを理解されたい。本実施例は、例示的であると見なされるべきであり、限定的であると見なされるべきではなく、その意図は本明細書に与えられた詳細に限定されない。例えば、様々な要素または構成要素は、別のシステムで組み合わされたり一体化されたりしてもよいし、特定の特徴が省略されてもよいし、実施されなくてもよい。
さらに、本開示の範囲から逸脱することなく、様々な実施形態において個別または別個なものとして説明および図示されている技法、システム、サブシステム、および方法は、他のシステム、モジュール、技法、または方法と組み合わせたり一体化したりすることができる。互いに接続もしくは直接接続または通信するように図示または検討された他の項目は、電気的、機械的、またはその他の方法で、何らかのインターフェース、デバイス、または中間コンポーネントを介して間接的に接続されてもよいし、通信するのであってもよい。変更、置換、および改造の他の例は、当業者であれば確認でき、本明細書で開示された趣旨および範囲から逸脱することなくなされ得る。
10 符号化システム
12 ソースデバイス、ビデオデバイス
14 宛先デバイス、ビデオデバイス
16 コンピュータ可読媒体
18 ビデオソース
20 ビデオ符号化器
22 出力インターフェース
28 入力インターフェース
30 ビデオ復号器
32 表示デバイス
40 モード選択ユニット
42 動き推定ユニット
44 動き補償ユニット
46 イントラ予測ユニット
48 分割ユニット
50 加算器
52 変換処理ユニット
54 量子化ユニット
56 エントロピー符号化ユニット
58 逆量子化ユニット
60 逆変換ユニット
62 加算器
64 参照フレームメモリ
70 エントロピー復号ユニット
72 動き補償ユニット
74 イントラ予測ユニット
76 逆量子化ユニット
78 逆変換ユニット
80 加算器
82 参照フレームメモリ
400 ブロック
402 参照サンプル
404 予測方向
406 画素
408 伝播距離、予測距離
500 ビデオ符号化デバイス
510 フィルタシーケンス
520 フィルタコントローラ
600 フィルタシーケンス
602 フィルタ制御モジュール
604 参照サンプル平滑化ユニット
606 イントラ予測ユニット
608 予測ブロックフィルタユニット
610 境界平滑化ユニット
612 隣接サンプル
614 参照サンプル
616 補間フィルタ
618 出力
620 予測ブロック
622 出力
624 イントラ予測ブロック
626 イントラ予測パラメータ
700 ブロック
702 隣接するブロック
800 ブロック
802 隣接するブロック
804 BU
900 方法
1000 方法
1100 ブロック
1102 隣接ブロック
1104 中間BU
1200 ブロック
1202 隣接ブロック
1204 BU
1300 ブロック
1302 BU
1304 （左側からの）参照サンプル
1306 （上側からの）参照サンプル
1400 符号化方法
1500 符号化方法
1600 符号化デバイス
1610 イングレスポート
1620 受信機ユニット
1630 プロセッサ
1640 送信機ユニット
1650 エグレスポート
1660 メモリ
1670 参照サンプル処理（RSP）モジュール
本発明は、ビデオ圧縮の技術に関し、詳細には、ビデオを符号化するためのイントラ予測に関する。
ITU−T H．264／AVCビデオ符号化規格と同様に、HEVC／H．265ビデオ符号化規格は、ソースピクチャをブロック、例えばCUに分割することを提供する。CUのそれぞれは、より小さなCUまたはPUにさらに分割され得る。PUは、PUの画素に適用される処理の種類に応じて、イントラ予測またはインター予測され得る。インター予測の場合、PUは、PUに指定された動きベクトルを使用した動き補償によって処理される画素の領域を表す。イントラ予測の場合、PUは、TUのセットの予測モードを指定する。TUは異なるサイズ（例えば、4×4、8×8、16×16、および32×32画素）を有することができ、様々な仕方で処理され得る。TUの場合、変換符号化が実行される、つまり、予測誤差が、DTで変換され、量子化される。従って、再構成された画素は、予測精度に影響を与え得る、量子化ノイズおよびブロッキングアーティファクトを含む。
フィルタのシーケンス510は、1つ以上の一次パラメータおよび1つ以上の二次パラメータにより構成可能である。例えば、フィルタのシーケンス510の第1のフィルタセットは一次パラメータによって構成可能であり、フィルタのシーケンス510の第2のフィルタセットは二次パラメータによって構成可能であり得る。一次パラメータおよび二次パラメータは、予測ユニットのサイズ、予測されるブロックのサイズ、イントラ予測モード、マルチパラメータイントラモードインデックス、および／または参照サンプルフィルタリングフラグのうちの1つまたは複数であり得る。一実施形態では、第1のフィルタセットと第2のフィルタセットとは重複する。
一実施形態では、選択されたイントラ予測モードと、フィルタのシーケンスのパラメータ値を導出するために使用された隣接BUの位置と、の間の依存性に基づいて、事前予測フィルタパラメータがマージされ得る。図11〜図12は、それぞれ、垂直または略垂直ならびに水平または略水平の方向モードでの事前予測フィルタパラメータをマージするためのメカニズムを示している。

Claims (20)

  1. 復号デバイスによって実施される符号化方法であって、
    前記復号デバイスによって、現在のブロックの予測方向を決定するステップと、
    前記復号デバイスによって、前記予測方向に沿った伝播距離を決定するステップであって、前記伝播距離が、前記現在のブロックにおける予測対象の画素と前記現在のブロックに隣接する参照サンプルとの間で測定される、ステップと、
    前記復号デバイスによって、前記伝播距離に基づいて、複数のフィルタ係数のうちの1つを選択するステップと、
    前記復号デバイスによって、フィルタおよび選択された、前記複数のフィルタ係数のうちの1つを使用して、前記現在のブロックにおける前記画素を予測するステップと、
    電子デバイスのディスプレイ上に、予測された前記画素を含む画像を表示するステップと、
    を含む、方法。
  2. 選択された、前記フィルタ係数のうちの1つの強度が、決定された前記伝播距離に基づく、請求項1に記載の方法。
  3. 前記複数のフィルタ係数が、弱から強までのフィルタ係数の範囲を含む、請求項1に記載の方法。
  4. 前記フィルタ係数の範囲が、より短い伝播距離に対応するより弱いフィルタ係数と、より長い伝播距離に対応するより強いフィルタ係数と、を含む、請求項3に記載の方法。
  5. 前記予測方向が水平または垂直である、請求項1に記載の方法。
  6. 前記予測方向が斜めである、請求項1に記載の方法。
  7. 前記フィルタが平滑化フィルタである、請求項1に記載の方法。
  8. 前記フィルタが鮮鋭化フィルタである、請求項1に記載の方法。
  9. 伝播距離の範囲を前記複数のフィルタ係数にマッピングするテーブルを前記復号デバイスのメモリに格納するステップをさらに含む、請求項1に記載の方法。
  10. 符号化デバイスによって実施される符号化方法であって、
    前記符号化デバイスによって、現在のブロックの予測方向を決定するステップと、
    前記符号化デバイスによって、前記予測方向に沿った伝播距離を決定するステップであって、前記伝播距離が、前記現在のブロックにおける予測対象の画素と前記現在のブロックに隣接する参照サンプルとの間で測定される、ステップと、
    前記符号化デバイスによって、前記伝播距離に基づいて、複数のフィルタ係数のうちの1つを選択するステップと、
    前記符号化デバイスによって、フィルタおよび選択された、前記複数のフィルタ係数のうちの1つを使用して、前記現在のブロックにおける前記画素を予測するステップと、
    前記符号化デバイスによって、前記画素を含む画像を含むビットストリームを、前記ビットストリームを復号するように構成された復号デバイスに送信するステップと、
    を含む、方法。
  11. 選択された、前記フィルタ係数のうちの1つの強度が、決定された前記伝播距離に基づく、請求項10に記載の方法。
  12. 前記複数のフィルタ係数が、弱から強までのフィルタ係数の範囲を含む、請求項10に記載の方法。
  13. 前記フィルタ係数の範囲が、より短い伝播距離に対応するより弱いフィルタ係数と、より長い伝播距離に対応するより強いフィルタ係数と、を含む、請求項12に記載の方法。
  14. 前記予測方向が斜めである、請求項10に記載の方法。
  15. 前記フィルタが平滑化フィルタである、請求項10に記載の方法。
  16. 前記フィルタが鮮鋭化フィルタである、請求項10に記載の方法。
  17. 符号化デバイスからのビットストリームを受信するように構成された受信機であって、前記ビットストリームが画像を含む、受信機と、
    前記受信機に結合されたプロセッサであって、前記プロセッサが、
    前記画像内から現在のブロックを選択し、
    前記現在のブロックの予測方向を決定し、
    前記予測方向に沿った伝播距離を決定し、前記伝播距離が、前記現在のブロックにおける予測対象の画素と前記現在のブロックに隣接する参照サンプルとの間で測定され、
    前記伝播距離に基づいて、複数のフィルタ係数のうちの1つを選択し、
    フィルタおよび選択された、前記複数のフィルタ係数のうちの1つを使用して、前記現在のブロックにおける前記画素を予測する
    ように構成される、プロセッサと、
    前記プロセッサに動作可能に結合されたディスプレイであって、前記ディスプレイが、予測された前記画素を含む画像を表示するように構成される、ディスプレイと、
    を備える、復号デバイス。
  18. 選択された、前記フィルタ係数のうちの1つの強度が、決定された前記伝播距離に基づく、請求項17に記載の復号デバイス。
  19. 前記複数のフィルタ係数が、弱から強までのフィルタ係数の範囲を含み、前記フィルタ係数の範囲が、より短い伝播距離に対応するより弱いフィルタ係数と、より長い伝播距離に対応するより強いフィルタ係数と、を含む、請求項17に記載の復号デバイス。
  20. 前記プロセッサに結合されたメモリであって、前記メモリが、伝播距離の範囲を前記複数のフィルタ係数にマッピングするテーブルを格納するように構成される、メモリをさらに備える、請求項17に記載の復号デバイス。
JP2019548616A 2017-04-04 2018-04-04 ピクチャブロックのイントラ予測に使用される参照サンプルの処理 Pending JP2020509714A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762481525P 2017-04-04 2017-04-04
US62/481,525 2017-04-04
US15/943,853 2018-04-03
US15/943,853 US10728548B2 (en) 2017-04-04 2018-04-03 Processing reference samples used for intra-prediction of a picture block
PCT/CN2018/081808 WO2018184542A1 (en) 2017-04-04 2018-04-04 Processing reference samples used for intra-prediction of a picture block

Publications (2)

Publication Number Publication Date
JP2020509714A true JP2020509714A (ja) 2020-03-26
JP2020509714A5 JP2020509714A5 (ja) 2020-05-07

Family

ID=63671145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019548616A Pending JP2020509714A (ja) 2017-04-04 2018-04-04 ピクチャブロックのイントラ予測に使用される参照サンプルの処理

Country Status (7)

Country Link
US (1) US10728548B2 (ja)
EP (1) EP3566443A4 (ja)
JP (1) JP2020509714A (ja)
KR (1) KR20190110599A (ja)
CN (1) CN110199522B (ja)
TW (1) TWI678918B (ja)
WO (1) WO2018184542A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019041165A (ja) 2017-08-23 2019-03-14 富士通株式会社 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム
CN118338018A (zh) * 2017-11-22 2024-07-12 英迪股份有限公司 图像解码方法、图像编码方法和非暂态计算机可读记录介质
CN112119638A (zh) * 2018-05-14 2020-12-22 交互数字Vc控股公司 用于四叉树-二叉树的块形状自适应帧内预测方向
US11218716B2 (en) 2018-07-13 2022-01-04 Telefonaktiebolaget Lm Ericsson (Publ) Transform selection in a video encoder and/or video decoder
KR20210028652A (ko) 2018-07-16 2021-03-12 인터디지털 브이씨 홀딩스 인코포레이티드 광각 인트라 예측 및 위치 의존적 인트라 예측 조합
WO2020060449A1 (en) * 2018-09-23 2020-03-26 Huawei Technologies Co., Ltd. Method and apparatus for intra reference sample interpolation filter switching
US20200213595A1 (en) * 2018-12-31 2020-07-02 Comcast Cable Communications, Llc Methods, Systems, And Apparatuses For Adaptive Processing Of Non-Rectangular Regions Within Coding Units
CN113302929A (zh) * 2019-06-24 2021-08-24 华为技术有限公司 几何分割模式的样本距离计算
WO2021043138A1 (en) * 2019-09-02 2021-03-11 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of filter modification on general intra prediction process
WO2022037583A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Systems and methods for intra prediction smoothing filter
CN113259669B (zh) * 2021-03-25 2023-07-07 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质
MX2023011306A (es) * 2021-03-31 2023-10-05 Ericsson Telefon Ab L M Prediccion de superficies suaves.

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063808A1 (ja) * 2005-11-30 2007-06-07 Kabushiki Kaisha Toshiba 画像符号化／画像復号化方法及び画像符号化／画像復号化装置
US20120027313A1 (en) * 2010-07-30 2012-02-02 Microsoft Corporation Line and pixel based methods for intra frame coding
US20120140821A1 (en) * 2010-12-07 2012-06-07 Virginie Drugeon Pixel adaptive intra smoothing
WO2012096150A1 (ja) * 2011-01-12 2012-07-19 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2019534629A (ja) * 2016-09-30 2019-11-28 エルジー エレクトロニクス インコーポレイティド 画像処理方法及びこのための装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084378A2 (en) 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
WO2008134482A1 (en) 2007-04-26 2008-11-06 Polycom, Inc. De-blocking filter arrangements
JP5052301B2 (ja) * 2007-11-21 2012-10-17 オリンパス株式会社 画像処理装置、画像処理方法
KR101460608B1 (ko) 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
KR101682147B1 (ko) 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
EP2375747B1 (en) 2010-04-12 2019-03-13 Sun Patent Trust Filter positioning and selection
US9819966B2 (en) 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
WO2012071417A1 (en) 2010-11-24 2012-05-31 Thomson Licensing Adaptive loop filtering
US10142630B2 (en) 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
US20120183041A1 (en) 2011-01-14 2012-07-19 Sony Corporation Interpolation filter for intra prediction of hevc
US20120230393A1 (en) 2011-03-08 2012-09-13 Sue Mon Thet Naing Methods and apparatuses for encoding and decoding video using adaptive interpolation filter length
PT3471412T (pt) 2011-04-25 2021-01-27 Lg Electronics Inc Processo de intra-predição para descodificação de vídeo e codificação de vídeo
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
US9179148B2 (en) * 2011-06-30 2015-11-03 Futurewei Technologies, Inc. Simplified bilateral intra smoothing filter
US9357235B2 (en) 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
US9282344B2 (en) 2011-11-04 2016-03-08 Qualcomm Incorporated Secondary boundary filtering for video coding
CN107071436A (zh) 2011-11-08 2017-08-18 株式会社Kt 对视频信号进行解码的方法
CA2878440A1 (en) 2012-07-06 2014-01-09 Telefonaktiebolaget L M Ericsson (Publ) Restricted intra deblocking filtering for video coding
US10182242B2 (en) * 2013-12-27 2019-01-15 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
EP3111645A1 (en) 2014-02-26 2017-01-04 Dolby Laboratories Licensing Corporation Luminance based coding tools for video compression
BR112016013761B1 (pt) 2014-05-23 2023-03-14 Huawei Technologies Co., Ltd Método e aparelho para reconstruir blocos de imagem utilizando predição, e meio de armazenamento legível por computador
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
WO2017068856A1 (ja) * 2015-10-21 2017-04-27 シャープ株式会社 予測画像生成装置、画像復号装置および画像符号化装置
EP3363198B1 (en) 2015-11-17 2020-09-16 Huawei Technologies Co., Ltd. Method and apparatus of adaptive filtering of samples for video coding
CN107925763B (zh) 2015-12-23 2020-01-10 华为技术有限公司 等级分割中的块级别变换选择和隐式信令的编码变换方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063808A1 (ja) * 2005-11-30 2007-06-07 Kabushiki Kaisha Toshiba 画像符号化／画像復号化方法及び画像符号化／画像復号化装置
US20120027313A1 (en) * 2010-07-30 2012-02-02 Microsoft Corporation Line and pixel based methods for intra frame coding
US20120140821A1 (en) * 2010-12-07 2012-06-07 Virginie Drugeon Pixel adaptive intra smoothing
WO2012096150A1 (ja) * 2011-01-12 2012-07-19 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2019534629A (ja) * 2016-09-30 2019-11-28 エルジー エレクトロニクス インコーポレイティド 画像処理方法及びこのための装置

Also Published As

Publication number Publication date
CN110199522A (zh) 2019-09-03
TWI678918B (zh) 2019-12-01
KR20190110599A (ko) 2019-09-30
WO2018184542A1 (en) 2018-10-11
US10728548B2 (en) 2020-07-28
EP3566443A4 (en) 2020-01-15
US20180288413A1 (en) 2018-10-04
CN110199522B (zh) 2021-07-09
EP3566443A1 (en) 2019-11-13
TW201842776A (zh) 2018-12-01

Similar Documents

Publication Publication Date Title
KR102288109B1 (ko) 비디오 압축에서의 양방향 예측
JP2020509714A (ja) ピクチャブロックのイントラ予測に使用される参照サンプルの処理
KR102483942B1 (ko) 비디오 인코더, 비디오 디코더 및 대응하는 인코딩 및 디코딩 방법
US10477232B2 (en) Search region determination for intra block copy in video coding
JP6542225B2 (ja) イントラブロックコピーのための残差予測
KR20200108431A (ko) 비디오 코딩에서의 디블록킹 필터 선택 및 적용
JP2020501434A (ja) ビデオコーディングにおけるバイラテラルフィルタ使用のインジケーション
JP7423647B2 (ja) 異なるクロマフォーマットを使用した三角予測ユニットモードでのビデオコーディング
CN111866510A (zh) 视频序列的帧内预测方法及装置
JP2018511232A (ja) 非正方形区分を使用してビデオデータを符号化するための最適化
JP2023052019A (ja) ルマ・イントラ・モード・シグナリング
JP2024116271A (ja) ビデオ符号化における境界ブロックのパーティション分割
JP7477687B2 (ja) ビデオコーディングのための変換ユニット区分方法
CN117857797A (zh) 由视频解码器实现的解码方法及其相关装置和存储介质
JP7571266B2 (ja) ビデオ符号器、ビデオ復号器、並びに対応する符号化及び復号化方法
KR20240152970A (ko) 비디오 인코더, 비디오 디코더 및 대응하는 인코딩 및 디코딩 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190906

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211213