JP2015531569A - ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング - Google Patents

ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング Download PDF

Info

Publication number
JP2015531569A
JP2015531569A JP2015534732A JP2015534732A JP2015531569A JP 2015531569 A JP2015531569 A JP 2015531569A JP 2015534732 A JP2015534732 A JP 2015534732A JP 2015534732 A JP2015534732 A JP 2015534732A JP 2015531569 A JP2015531569 A JP 2015531569A
Authority
JP
Japan
Prior art keywords
plane
filter
cross
video
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015534732A
Other languages
English (en)
Other versions
JP6175505B2 (ja
Inventor
ジエ ドン
ジエ ドン
ユーウェン ホー
ユーウェン ホー
イエン イエ
イエン イエ
Original Assignee
ヴィド スケール インコーポレイテッド
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド, ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2015531569A publication Critical patent/JP2015531569A/ja
Application granted granted Critical
Publication of JP6175505B2 publication Critical patent/JP6175505B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Abstract

一方または両方のクロマプレーンにおける不鮮明なエッジおよび/またはテクスチャを、対応するルーマプレーンからの情報を使用して回復するために、クロスプレーンフィルタリングが使用される。適応クロスプレーンフィルタが実施される。ビットストリームにおけるオーバヘッドが性能悪化を最小化するように、クロスプレーンフィルタ係数が量子化され、および/または伝達される。クロスプレーンフィルタリングは、ビデオ画像の選択領域に(例えば、エッジエリアに)適用される。クロスプレーンフィルタは、シングルレイヤビデオコーディングシステム、および/またはマルチレイヤビデオコーディングシステムにおいて実施される。

Description

本発明は、ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリングを行う方法、および、その装置に関する。
関連出願の相互参照
本出願は、2012年9月28日に出願された米国仮特許出願第61/707682号、2013年2月8日に出願された米国仮特許出願第61/762611号、2013年3月12日に出願された米国仮特許出願第61/778218号、および2013年7月12日に出願された米国仮特許出願第61/845792号の優先権を主張し、これらの出願は、その全体が参照により本明細書に組み込まれる。
ビデオコーディングシステムは、デジタルビデオ信号を圧縮するために、例えば、消費される記憶空間を減少させるために、および/または、そのような信号に関連付けられた送信帯域幅消費を削減するために、しばしば使用される。例えば、ブロックベースのハイブリッドビデオコーディングシステムが、広く展開され、頻繁に使用される。
デジタルビデオ信号は、一般に、ルーマプレーン、青色差クロマプレーン、赤色差クロマプレーンを含む、3つのカラープレーンを有する。クロマプレーンのピクセルは、一般に、ルーマプレーンのピクセルよりも小さいダイナミックレンジを有し、ビデオ画像のクロマプレーンは、一般に、ルーマプレーンよりも平滑であり、および/または、ルーマプレーンほどの詳細さを有さない。したがって、ビデオ画像のクロマブロックは、正確に予測することがより容易であり、例えば、より僅かなリソースしか消費せず、および/またはより僅かな予測誤差という結果となる。
しかしながら、知られたクロマ予測技法を使用するビデオコーディングは、クロマプレーンにおいて著しく不鮮明なエッジおよび/またはテクスチャを有するビデオ画像という結果となる。
本発明では、ビデオコーディングにおけるクロマ信号強調のための改善されたクロスプレーンフィルタリングを行う方法、および、その装置を提供する。
一方または両方のクロマプレーンにおける不鮮明なエッジおよび/またはテクスチャを、対応するルーマプレーンからの情報を使用して回復するために、クロスプレーンフィルタリングが使用される。適応クロスプレーンフィルタが実施される。性能悪化を引き起こさずに、ビットストリームにおけるオーバヘッドが妥当であるように(例えば、低減および/または最小化されるように)、クロスプレーンフィルタ係数が量子化され、および/または伝達される。性能悪化を引き起こさずに、ビットストリームにおけるオーバヘッドが妥当であるように(例えば、低減および/または最小化されるように)、クロスプレーンフィルタの1または複数の特性(例えば、サイズ、分離性、対称性など)が決定される。クロスプレーンフィルタリングは、様々なカラーサブサンプリングフォーマット(例えば、4:4:4、4:2:2、および4:2:0)を有するビデオに適用される。クロスプレーンフィルタリングは、ビデオ画像の選択領域に、例えば、エッジエリアに適用され、および/または、ビットストリームで伝えられる1もしくは複数のパラメータによって指定されるエリアに適用される。クロスプレーンフィルタは、シングルレイヤビデオコーディングシステム、および/またはマルチレイヤビデオコーディングシステムにおいて実施される。
クロスプレーンフィルタリングに従った例示的なビデオ復号プロセスは、ビデオ信号、およびビデオ信号に関連付けられたクロスプレーンフィルタを受信するステップを含む。ビデオ復号プロセスは、クロマオフセットを決定するために、クロスプレーンフィルタをビデオ信号のルーマプレーンピクセルに適用するステップを含む。ビデオ復号プロセスは、クロマオフセットをビデオ信号の対応するクロマプレーンピクセルに追加するステップを含む。
ビデオコーディングデバイスは、クロスプレーンフィルタリングのために構成される。ビデオコーディングデバイスは、ビデオ信号、およびビデオ信号に関連付けられたクロスプレーンフィルタを受信するように構成されたネットワークインターフェースを含む。ビデオコーディングデバイスは、クロマオフセットを決定するために、クロスプレーンフィルタをビデオ信号のルーマプレーンピクセルに適用するように構成されたプロセッサを含む。プロセッサは、クロマオフセットをビデオ信号の対応するクロマプレーンピクセルに追加するように構成される。
クロスプレーンフィルタリングに従った例示的なビデオ符号化プロセスは、ビデオ信号を受信するステップを含む。ビデオ符号化プロセスは、ビデオ信号の成分を使用してクロスプレーンフィルタを生成するステップを含む。ビデオ符号化プロセスは、クロスプレーンフィルタに関連付けられたフィルタ係数を量子化するステップを含む。ビデオ符号化プロセスは、フィルタ係数をビデオ信号を表すビットストリーム内に符号化するステップを含む。ビデオ符号化プロセスは、ビットストリームを送信するステップを含む。
ビデオコーディングデバイスは、クロスプレーンフィルタリングのために構成される。ビデオコーディングデバイスは、ビデオ信号を受信するように構成されたネットワークインターフェースを含む。ビデオコーディングデバイスは、ビデオ信号の成分を使用してクロスプレーンフィルタを生成するように構成されたプロセッサを含む。プロセッサは、クロスプレーンフィルタに関連付けられたフィルタ係数を量子化するように構成される。プロセッサは、フィルタ係数をビデオ信号を表すビットストリーム内に符号化するように構成される。プロセッサは、例えば、ネットワークインターフェースを介して、ビットストリームを送信するように構成される。
例示的なブロックベースのビデオ符号化器を示すブロック図である。 例示的なブロックベースのビデオ復号器を示すブロック図である。 例示的な2レイヤ空間スケーラブルビデオ符号化器を示すブロック図である。 例示的な2レイヤ空間スケーラブルビデオ復号器を示すブロック図である。 例示的なレイヤ間予測処理および管理ユニットのブロック図である。 例示的な4:4:4カラーサブサンプリングフォーマットを示す図である。 例示的な4:2:2カラーサブサンプリングフォーマットを示す図である。 例示的な4:2:0カラーサブサンプリングフォーマットを示す図である。 クロスプレーンフィルタリングの例を示すブロック図である。 クロスプレーンフィルタリングの別の例を示すブロック図である。 クロスプレーンフィルタリングの別の例を示すブロック図である。 クロスプレーンフィルタリングの別の例を示すブロック図である。 クロスプレーンフィルタリングの別の例を示すブロック図である。 4:4:4における選択クロマピクセルについてのクロスプレーンフィルタ(filter_Y4Cbおよびfilter_Y4Cr)の例示的なサイズおよび/またはサポート領域を示す図である。 4:2:2における選択クロマピクセルについてのクロスプレーンフィルタ(filter_Y4Cbおよびfilter_Y4Cr)の例示的なサイズおよび/またはサポート領域を示す図である。 4:2:0における選択クロマピクセルについてのクロスプレーンフィルタ(filter_Y4Cbおよびfilter_Y4Cr)の例示的なサイズおよび/またはサポート領域を示す図である。 4:4:4における選択クロマピクセルについてのクロスプレーンフィルタ(filter_Y4Cbおよびfilter_Y4Cr)の例示的な統一されたサイズおよび/またはサポート領域を示す図である。 4:2:2における選択クロマピクセルについてのクロスプレーンフィルタ(filter_Y4Cbおよびfilter_Y4Cr)の例示的な統一されたサイズおよび/またはサポート領域を示す図である。 4:2:0における選択クロマピクセルについてのクロスプレーンフィルタ(filter_Y4Cbおよびfilter_Y4Cr)の例示的な統一されたサイズおよび/またはサポート領域を示す図である。 例示的なクロスプレーンフィルタリングの対称性特性の例示的な欠落を示す図である。 例示的なクロスプレーンフィルタリングの例示的な水平および垂直対称性特性を示す図である。 例示的なクロスプレーンフィルタリングの例示的な垂直対称性特性を示す図である。 例示的なクロスプレーンフィルタリングの例示的な水平対称性特性を示す図である。 例示的なクロスプレーンフィルタリングの例示的な点対称性特性を示す図である。 対称性を有さない例示的な水平1次元フィルタおよび垂直1次元フィルタを示す図である。 対称性を有する例示的な水平1次元フィルタおよび垂直1次元フィルタを示す図である。 クロスプレーンフィルタ係数のセットを伝達する例を示す例示的なシンタックステーブルを示す図である。 クロスプレーンフィルタ係数の例示的な配置を示す図である。 クロスプレーンフィルタ係数の例示的な配置を示す図である。 クロスプレーンフィルタ係数の複数のセットを伝達する例を示す例示的なシンタックステーブルを示す図である。 クロスプレーンフィルタリングのための領域を指定する情報を伝達する例を示す例示的なシンタックステーブルを示す図である。 領域ベースのクロスプレーンフィルタリングの実施に従って検出された複数の画像領域の例を示す図である。 複数の領域に関する情報をクロスプレーンフィルタ係数の複数のセットとともに伝達する例を示す例示的なシンタックステーブルを示す図である。 クロスプレーンフィルタリングのための例示的なピクチャレベル選択アルゴリズムを示す図である。 1または複数の開示される実施形態が実施される例示的な通信システムのシステム図である。 図21Aに示される通信システム内で使用される例示的な無線送信/受信ユニット(WTRU)のシステム図である。 図21Aに示される通信システム内で使用される例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図21Aに示される通信システム内で使用される例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図21Aに示される通信システム内で使用される例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。
図1は、例示的なブロックベースのビデオ符号化器を示している。入力ビデオ信号102は、例えば、ブロックごとに処理される。ビデオブロックユニットは、16×16ピクセルを含む。そのようなブロックユニットは、マクロブロック(MB)と呼ばれる。ビデオブロックユニットサイズは、例えば、64×64ピクセルに拡張される。拡張されたサイズのビデオブロックは、高解像度ビデオ信号(例えば、1080pを超えるビデオ信号)を圧縮するために使用される。拡張されたブロックサイズは、コーディングユニット(CU)と呼ばれる。CUは、別個の予測方法が適用される1または複数の予測ユニット(PU)に分割される。
MBまたはCUなどの1または複数の入力ビデオブロック(例えば、各入力ビデオブロック)に関して、空間予測160および/または時間予測162が実行される。イントラ予測と呼ばれる空間予測160は、ビデオピクチャおよび/またはスライス内の1または複数のすでにコード化された近隣ブロックからのピクセルを使用して、例えば、ビデオブロックを予測する。空間予測160は、ビデオ信号に本質的に備わった空間冗長性を低減させる。インター予測および/または動き補償予測と呼ばれる時間予測162は、1または複数のすでにコード化されたビデオピクチャからのピクセルを使用して、例えば、ビデオブロックを予測する。時間予測は、ビデオ信号に本質的に備わった時間冗長性を低減させる。ビデオブロックのための時間予測信号は、1もしくは複数の動きベクトルを含み、および/または例えば、複数の参照ピクチャが使用される場合、時間予測信号が参照ピクチャストア164内のどの参照ピクチャに由来するかを識別するために、1もしくは複数の参照ピクチャインデックスを含む。
空間予測および/または時間予測が実行された後、(例えば、符号化器内の)モード決定ブロック180が、例えば、レート歪み最適化方法に基づいて、予測モードを選択する。予測ブロックは、ビデオブロックから差し引かれる(116)。予測残差は、変換され(104)、および/または量子化される(106)。1または複数の量子化された残差係数は、逆量子化され(110)、および/または逆変換され(112)、例えば、再構成された残差を形成する。再構成された残差は、予測ブロックに追加され(126)、例えば、再構成されたビデオブロックを形成する。
1または複数のデブロッキングフィルタおよび/または適応ループフィルタ166などのさらなるインループフィルタリングが、例えば、参照ピクチャストア164内にそれが記憶される前に、および/または後続のビデオブロックをコード化するためにそれが使用される前に、再構成されたビデオブロックに適用される。出力ビデオビットストリーム120を形成するために、コーディングモード(例えば、インターもしくはイントラ)、予測モード情報、動き情報、および/または量子化された残差係数が、エントロピコーディングユニット108に送信され、例えば、圧縮および/またはパックがさらに行われて、ビットストリーム120を形成する。
図2は、図1に示されたブロックベースの符号化器に対応する、例示的なブロックベースのビデオ復号器を示す。ビデオビットストリーム202は、例えば、エントロピ復号ユニット208において、アンパックされ、および/またはエントロピ復号される。コーディングモードおよび/または予測情報が、(例えば、イントラコーディングのために)空間予測ユニット260、または(例えば、インターコーディングのために)時間予測ユニット262に送信されて、例えば、予測ブロックを形成する。1または複数の残差変換係数が、逆量子化ユニット210、および/または逆変換ユニット212に送信されて、例えば、残差ブロックを再構成する。予測ブロックと残差ブロックは、226において合算されて、例えば、再構成されたブロックを形成する。再構成されたブロックは、例えば、再構成された出力ビデオ220に加算されて(例えば、表示デバイスに)送信される前に、および/または、例えば、1若しくは複数の後続ビデオブロックを予測する際に使用するために参照ピクチャストア264内に記憶される前に、インループフィルタリングを通して(例えば、ループフィルタ266を使用して)処理される。
ビデオは、コンピューティング能力、メモリおよび/またはストレージサイズ、表示解像度、表示フレームレートなどに関して様々な能力を有するデバイス上で消費され、例えば、スマートフォンおよび/またはタブレットによって消費される。ネットワークおよび/または送信チャネルは、パケット損失レート、利用可能なチャネル帯域幅、バースト誤り率などに関して様々な特性を有する。ビデオデータは、有線ネットワークおよび/または無線ネットワークの組み合わせの上で送信され、そのことが、1または複数の基礎をなすビデオ送信チャネル特性を複雑にする。そのようなシナリオでは、スケーラブルビデオコーディングが、ビデオアプリケーションによって提供されるビデオ品質を改善し、例えば、異種ネットワーク上の異なる能力を有するデバイス上で動作するビデオアプリケーションによって提供されるビデオ品質を改善する。
スケーラブルビデオコーディングは、最も高い表現(例えば、時間解像度、空間解像度、品質など)に従ってビデオ信号を符号化するが、例えば、クライアントデバイス上で動作する1または複数のアプリケーションによって利用される指定されたレートおよび/または表現に従って、1または複数のビデオストリームのそれぞれのサブセットからの復号を可能にする。スケーラブルビデオコーディングは、帯域幅および/またはストレージの節約を可能にする。
図3は、1つのベースレイヤ(BL)と1つのエンハンスメントレイヤ(EL)とを有する、例示的な2レイヤスケーラブルビデオコーディングシステムを示す。2つのレイヤの間の空間解像度は異なり、空間スケーラビリティが適用される。ベースレイヤ符号化器(例えば、高効率ビデオコーディング(HEVC)符号化器)は、ベースレイヤビデオ入力を、例えば、ブロックごとに符号化し、(例えば、図1に示されたブロック図に従って)ベースレイヤビットストリームを生成する。エンハンスメントレイヤ符号化器は、エンハンスメントレイヤビデオ入力を、例えば、ブロックごとに符号化し、(例えば、図1に示されたブロック図に従って)エンハンスメントレイヤビットストリームを生成する。スケーラブルビデオコーディングシステムのコーディング効率(例えば、エンハンスメントレイヤコーディングのコーディング効率)が改善される。例えば、ベースレイヤの再構成されたビデオからの信号相関が、予測精度を改善するために使用される。
ベースレイヤの再構成されたビデオが処理され、1または複数の処理されたベースレイヤピクチャの少なくとも一部が、エンハンスメントレイヤ復号ピクチャバッファ(EL DPB)に挿入され、および/またはエンハンスメントレイヤビデオ入力を予測するために使用される。ベースレイヤビデオとエンハンスメントレイヤビデオは、それぞれの異なる空間解像度で表現された実質的に同じビデオソースであり、それらは、例えば、ダウンサンプリングプロセスを介して互いに対応する。レイヤ間予測(ILP)処理は、レイヤ間処理および/または管理ユニットによって実施され、ベースレイヤ再構成の空間解像度をエンハンスメントレイヤビデオの空間解像度と揃えるために使用されるアップサンプリング操作などである。スケーラブルビデオコーディングビットストリームは、ベースレイヤ符号化器によって生成されるベースレイヤビットストリーム、エンハンスメントレイヤ符号化器によって生成されるエンハンスメントレイヤビットストリーム、および/またはレイヤ間予測情報を含む。
レイヤ間予測情報は、ILP処理および管理ユニットによって生成される。例えば、ILP情報は、適用されるレイヤ間処理のタイプ(type)、処理において使用される1または複数のパラメータ(例えば、どのアップサンプリングフィルタが使用されるか)、1または複数の処理されたベースレイヤピクチャのどれがEL DPB内に挿入されるべきかなどのうちの1または複数を含む。ベースレイヤビットストリームおよびエンハンスメントレイヤビットストリーム、ならびに/またはILP情報は、一緒に多重化されて、例えば、スケーラブルビットストリーム(例えば、SHVCビットストリーム)を形成する。
図4は、図3に示されたスケーラブル符号化器に対応する、例示的な2レイヤスケーラブルビデオ復号器を示している。復号器は、例えば、符号化器とは逆の順序で、1または複数の操作を実行する。スケーラブルビットストリームは、ベースレイヤビットストリーム、エンハンスメントレイヤビットストリーム、および/またはILP情報に逆多重化される。ベースレイヤ復号器は、ベースレイヤビットストリームを復号し、および/またはベースレイヤ再構成を生成する。
ILP処理および管理ユニットは、ILP情報を受信し、および/または例えば、受信されたILP情報に従って、ベースレイヤ再構成を処理する。ILP処理および管理ユニットは、例えば、受信されたILP情報に従って、1または複数の処理されたベースレイヤピクチャを選択的にEL DPB内に挿入する。エンハンスメントレイヤ復号器は、エンハンスメントレイヤビデオを再構成するために、時間参照ピクチャおよび/またはレイヤ間参照ピクチャ(例えば、1もしくは複数の処理されたベースレイヤピクチャ)の組み合わせを用いて、エンハンスメントレイヤビットストリームを復号する。本開示の目的では、「レイヤ間参照ピクチャ」と「処理されたベースレイヤピクチャ」という用語は、交換可能に使用される。
図5は、例示的なレイヤ間予測および処理管理ユニットを示し、例えば、図3に示された例示的な2レイヤ空間スケーラブルビデオ符号化器、および/または図4に示された例示的な2レイヤ空間スケーラブルビデオ復号器において実施される。レイヤ間予測および処理管理ユニットは、1または複数のステージ(例えば、図5に示されるように3つのステージ)を含む。第1のステージ(例えば、ステージ1)では、BLの再構成されたピクチャが、(例えば、アップサンプリングされる前に)エンハンスされる。第2のステージ(例えば、ステージ2)では、(例えば、空間スケーラビリティにおいて、BLの解像度がELの解像度よりも低い場合)、アップサンプリングが実行される。第2のステージの出力は、サンプリンググリッドが調整されたELの解像度と実質的に同じ解像度を有する。第3のステージ(例えば、ステージ3)では、エンハンスメントが、例えば、アップサンプリングされたピクチャがEL DPB内に置かれる前に実行され、このことがレイヤ間参照ピクチャ品質を改善する。
上で説明された3つのステージの1または複数は、レイヤ間予測および処理管理ユニットによって実行されることに留意されたい。例えば、BLピクチャが、品質はより低いが、ELピクチャと実質的に同じ解像度を有する、信号対雑音比(SNR)スケーラビリティでは、上で説明された3つのステージの1または複数(例えば、すべてのステージ)が実行されず、例えば、BLの再構成されたピクチャが、レイヤ間予測のためにEL DPBに直接的に挿入される。空間スケーラビリティでは、例えば、アップサンプリングされたBLの再構成されたピクチャに、ELピクチャに対して調整されたサンプリンググリッドをもたせるために、第2のステージが実行される。第1および第3のステージは、レイヤ間参照ピクチャ品質を改善するために実行され、このことが、例えば、ELコーディングにおいてより高い効率を達成する助けとなる。
(図3および図4に示されるような)スケーラブルビデオコーディングシステムにおけるピクチャレベルILPの実行は、例えば、それぞれベースレイヤおよび/またはエンハンスメントレイヤの符号化器および/または復号器ロジックが、例えばブロックレベルにおいて少なくとも一部は変更なしに再利用されるので、実施の複雑さを低減させる。高レベル(例えば、ピクチャおよび/またはスライスレベル)の構成は、エンハンスメントレイヤDPBへの1または複数のそれぞれの処理されたベースレイヤピクチャの挿入を実施する。コーディング効率を改善するために、スケーラブルシステムでは、例えば、ピクチャレベルのレイヤ間予測に加えて、ブロックレベルのレイヤ間予測を容易化するために、1または複数のブロックレベルの変更が許可される。
本明細書で説明されるシングルおよび/またはマルチレイヤビデオコーディングシステムは、カラービデオをコード化するために使用される。カラービデオでは、輝度情報および色度情報を運ぶ各ピクセルは、プライマリカラーのそれぞれの強度の組み合わせ(例えば、YCbCr、RGB、またはYUV)から作成される。カラービデオの各ビデオフレームは、3つのカラーチャネルに対応する、3つの長方形配列から構成される。カラーチャネル(例えば、各カラーチャネル)内の1または複数のサンプルは、不連続および/または有限の大きさを有し、このことが、デジタルビデオアプリケーションでは、8ビット値を使用して表される。ビデオキャプチャおよび/または表示システムでは、赤、緑、青(RGB)プライマリが使用される。
ビデオコーディングおよび/または伝送では、RGB空間内のビデオ信号は、例えば、帯域幅消費を削減するために、および/またはモノクロームビデオアプリケーションとの互換性のために、PALおよびSECAM TVシステムのためのYUV、ならびにNTSC TVシステムのためのYIQなど、(例えば、輝度座標および/または色度座標を有する)1または複数の他の色空間に変換される。Y成分の値は、ピクセルの明るさを表し、一方、他の2つの成分(例えば、CbおよびCr)は、色度情報を保有する。デジタル色空間(例えば、YCbCr)は、アナログ色空間(例えば、YUV)のスケーリングおよび/またはシフトされたバージョンである。RGB座標からYCbCr座標を導出するための変換行列は、式(1)で表される。
人間視覚システム(HVS)は、明るさに比べて色にはあまり敏感ではないので、色度成分CbおよびCrは、感知されるビデオ品質に僅かな悪化しか伴わずにサブサンプリングされる。カラーサブサンプリングフォーマットは、コロンで分離された3つ組の数字で示される。例えば、4:2:2カラーサブサンプリングフォーマットに従う場合、色度成分についての水平サンプリングレートは半分に減少するが、垂直サンプリングレートは変更されない。4:2:0カラーサブサンプリングフォーマットに従う場合、関連するデータレートを低減するために、色度成分についてのサンプリングレートは、水平方向と垂直方向の両方で半分に低減される。非常に高いビデオ品質を使用するアプリケーションに対して使用される、4:4:4カラーサブサンプリングフォーマットに従う場合、色度成分は、輝度成分に対して使用されるサンプリングレートと実質的に同じサンプリングレートを有する。上で説明されたカラーサブサンプリングフォーマットについての輝度サンプルおよび色度サンプルを示す例示的なサンプリンググリッドが、それぞれ、図6Aないし図6Cに示される。
ビデオシーケンス内のフレームのY、Cb、およびCrカラープレーンは、内容においては相関(例えば、高度に相関)させられるが、2つのクロマプレーンは、ルーマプレーンよりも少ないテクスチャおよび/またはエッジを示す。3つのカラープレーンは、同じ動きを共有する。(図1および図2に従った)ブロックベースのハイブリッドビデオコーディングシステムがカラーブロックに適用されるとき、ブロック内の3つのプレーンは、別々にはコード化されない。カラーブロックがインター予測によってコード化される場合、2つのクロマブロックは、動きベクトルおよび/または参照インデックスなど、ルーマブロックの動き情報を再利用する。カラーブロックがイントラ予測によってコード化される場合、例えば、ルーマブロックはより多様なおよび/またはより強いエッジを有するので、ルーマブロックは、2つのクロマブロックの一方または両方が有するよりも多くの予測方向を選択のために有する。
例えば、H.264/AVCイントラ予測によれば、ルーマブロックは、9つの候補方向を有するが、クロマブロックは4つの候補方向を有する。HEVCイントラ予測によれば、クロマブロックは、4つの候補方向を有し、ルーマブロックは、5つ以上の候補方向(例えば、35の候補方向)を有する。ルーマおよび/またはクロマ予測誤差に関するそれぞれの変換および/または量子化プロセスは、例えば、イントラ予測またはインター予測の後、別々に実行される。(例えば、ルーマについてのQPが34よりも大きい)低いビットレートでは、例えば、クロマプレーン内のエッジおよび/またはテクスチャはより繊細であり、重い量子化から悪影響を受け、このことが、色のにじみなど、目に見えるアーチファクトを引き起こすので、クロマは、対応するルーマよりも軽い量子化(例えば、より小さい量子化ステップサイズ)を有する。
ビデオコーディングを実行するように(例えば、ビデオ信号を符号化および/または復号するように)構成されたデバイスは、ビデオコーディングデバイスと呼ばれる。そのようなビデオコーディングデバイスは、例えば、テレビ、デジタルメディアプレーヤ、DVDプレーヤ、Blu−ray(登録商標)プレーヤ、ネットワーク接続されたメディアプレーヤデバイス、デスクトップコンピュータ、ラップトップパーソナルコンピュータ、タブレットデバイス、モバイルフォン、ビデオ会議システム、またはハードウェアおよび/もしくはソフトウェアベースのビデオ符号化システムなど、ビデオ対応デバイスを含む。そのようなビデオコーディングデバイスは、無線送信/受信ユニット(WTRU)、基地局、ゲートウェイ、または他のネットワーク要素など、無線通信ネットワーク要素を含む。
ビデオコーディングデバイスは、ネットワークインターフェースを介して、ビデオ信号(例えば、ビデオビットストリーム)を受信するように構成される。ビデオコーディングデバイスは、無線ネットワークインターフェース、有線ネットワークインターフェース、またはそれらの組み合わせを有する。例えば、ビデオコーディングデバイスが、無線通信ネットワーク要素(例えば、無線送信/受信ユニット(WTRU))である場合、ネットワークインターフェースは、WTRUの送受信機である。別の例では、ビデオコーディングデバイスが、無線通信のために構成されていないビデオ対応デバイス(例えば、バックエンドラック符号化器)である場合、ネットワークインターフェースは、有線ネットワーク接続(例えば、光ファイバ接続)である。別の例では、ネットワークインターフェースは、物理記憶媒体(例えば、光ディスクドライブ、メモリカードインターフェース、またはビデオカメラへの直接接続など)と通信するように構成されたインターフェースである。ネットワークインターフェースは、これらの例に限定されず、ネットワークインターフェースは、ビデオコーディングデバイスがビデオ信号を受信することを可能にする他のインターフェースを含むことを理解されたい。
ビデオコーディングデバイスは、1または複数のビデオ信号(例えば、ビデオコーディングデバイスのネットワークインターフェースによって受信されたソースビデオ信号)に関してクロスプレーンフィルタリングを実行するように構成される。
クロスプレーンフィルタリングは、例えば、一方または両方のクロマプレーンにおける不鮮明なエッジおよび/またはテクスチャを、対応するルーマプレーンからの情報を使用して回復するために使用される。適応クロスプレーンフィルタが実施される。例えば、ビデオ信号に関連付けられたビットストリームの伝送性能の閾値レベルに従って、ビットストリームにおけるオーバヘッドが性能悪化を低減(例えば、最小化)するように、クロスプレーンフィルタ係数が量子化され、および/または伝達される。クロスプレーンフィルタ係数は、ビットストリーム(出力ビデオビットストリーム)内で送信され、および/またはビットストリームに関して帯域外で送信される。
性能悪化を引き起こさずに、ビットストリームにおけるオーバヘッドが妥当であるように、クロスプレーンフィルタの1または複数の特性(例えば、サイズ、分離性、対称性など)が決定される。クロスプレーンフィルタリングは、(例えば、4:4:4、4:2:2、および4:2:0を含む)様々なカラーサブサンプリングフォーマットを有するビデオに適用される。クロスプレーンフィルタリングは、ビデオ画像の選択領域に(例えば、エッジエリアに、および/またはビットストリームで伝えられる1もしくは複数に)適用される。クロスプレーンフィルタは、シングルレイヤビデオコーディングシステムにおいて実施される。クロスプレーンフィルタは、マルチレイヤビデオコーディングシステムにおいて実施される。
ルーマプレーンは、一方または両方のクロマプレーンの品質を改善するためのガイダンスとして使用される。例えば、ルーマプレーンに関する情報の1または複数の部分は、対応するクロマプレーン内に混合される。本開示の目的では、元の(例えば、コード化されていない)ビデオ画像の3つのカラープレーンは、それぞれ、Y_org、Cb_org、Cr_orgで表され、元のビデオ画像のコード化されたバージョンの3つのカラープレーンは、それぞれ、Y_rec、Cb_rec、Cr_recで表される。
図7は、例えば、Y_rec、Cb_rec、Cr_recを、RGB空間に変換し戻すために使用されるクロスプレーンフィルタリングの例を示し、(例えば、上で示されたプロセス(1)の)逆プロセスを使用して、3つのプレーンがR_rec、G_rec、B_recでそれぞれ表される。Y_org、Cb_org、Cr_orgは、(例えば、実質的に同時に)RGB空間に変換し戻され、R_org、G_org、B_orgで表されるそれぞれの元のRGBプレーンが獲得される。最小2乗(LS)トレーニング方法は、filter_R、filter_G、filter_Bで表される、Rプレーン、Gプレーン、Bプレーンのための3つのフィルタをそれぞれトレーニングするために、プレーンペア(R_org,R_rec)、(G_org,G_rec)、(B_org,B_rec)をトレーニングデータセットとして取得する。filter_R、filter_G、filter_Bを使用して、それぞれ、R_rec、G_rec、B_recをフィルタリングすることによって、R_imp、G_imp、B_impで表される、3つの改善されたRGBプレーンが獲得され、および/またはR_orgとR_imp、G_orgとG_imp、B_orgとB_impとの間の歪みが、R_orgとR_rec、G_orgとG_rec、B_orgとB_recとの間のそれぞれの歪みと比較して、それぞれ低減(例えば、最小化)される。R_imp、G_imp、B_impは、YCbCr空間に変換され、Y_imp、Cb_imp、Cr_impが、獲得され、ここで、Cb_impおよびCr_impは、クロスプレーンフィルタリングプロセスの出力である。
図7に示されるような、例えば、逆方向および順方向の色空間の変換は、符号化器サイドおよび/または復号器サイドの一方または両方の計算リソース(例えば、望ましくないほど大量の計算リソース)を消費する。空間変換プロセスおよびフィルタリングプロセスはともに線形であるので、示されたクロスプレーンフィルタリング手順の少なくとも一部は、例えば、操作の1または複数(例えば、操作のすべて)がYCbCr空間で実行される、簡略化されたプロセスを使用して、近似される。
図8Aに示されるように、Cb_recの品質を改善するために、LSトレーニングモジュールは、Y_rec、Cb_rec、Cr_rec、Cb_orgをトレーニングデータセットとして取得し、一緒に導出される最適なフィルタfilter_Y4Cb、filter_Cb4Cb、filter_Cr4Cbが、Y_rec、Cb_rec、Cr_recにそれぞれ適用される。3つのプレーン上でのフィルタリングのそれぞれの出力は、例えば、Cb_impで表される改善されたCbプレーンを獲得するために、一緒に合算される。3つの最適なフィルタは、LS方法によってトレーニングされ、Cb_impとCb_orgとの間の歪みは、例えば、式(2)に従って最小化され、
ここで、
は、2次元(2−D)の畳み込みを表し、+および−は、それぞれ、行列の加算および減算を表し、E[(X)2]は、行列Xの各要素の平方の平均を表す。
図8Bに示されるように、Cr_recの品質を改善するために、LSトレーニングモジュールは、Y_rec、Cb_rec、Cr_rec、Cr_orgをトレーニングデータセットとして取得し、一緒に導出される最適なフィルタfilter_Y4Cr、filter_Cb4Cr、filter_Cr4Crが、Y_rec、Cb_rec、Cr_recにそれぞれ適用される。3つのプレーン上でのフィルタリングのそれぞれの出力は、例えば、Cr_impで表される改善されたCrプレーンを獲得するために、一緒に合算される。3つの最適なフィルタは、LS方法によってトレーニングされ、Cr_impとCr_orgとの間の歪みは、例えば、式(3)に従って最小化される。
Crは、Cbの改善に僅かしか貢献しない。Cbは、Crの改善に僅かしか貢献しない。
図8Aおよび図8Bに示されるクロスプレーンフィルタリング技法は、簡略化される。例えば、図9Aに示されるように、LSトレーニングにおいて、Cbプレーンの品質は、YプレーンおよびCbプレーンを利用することによって改善されるが、Crプレーンを利用することによっては改善されず、2つのフィルタfilter_Y4Cb、filter_Cb4Cbが、一緒に導出され、YおよびCbにそれぞれ適用される。フィルタのそれぞれの出力は、例えば、Cb_impで表される改善されたCbプレーンを獲得するために、一緒に合算される。
図9Bに示されるように、LSトレーニングにおいて、Crプレーンの品質は、YプレーンおよびCrプレーンを利用することによって改善されるが、Cbプレーンを利用することによっては改善されず、2つのフィルタfilter_Y4Cr、filter_Cr4Crが、一緒に導出され、YおよびCrにそれぞれ適用される。フィルタのそれぞれの出力は、例えば、Cr_impで表される改善されたCrプレーンを獲得するために、一緒に合算される。
図9Aおよび図9Bに示されるクロスプレーンフィルタリング技法は、トレーニングおよび/またはフィルタリングのそれぞれの計算の複雑さを低減し、および/またはクロスプレーンフィルタ係数を復号器サイドに送信するオーバヘッドビットを低減するが、性能悪化は僅かである。
ビデオコーディングシステムにおいてクロスプレーンフィルタリングを実施するために、クロスプレーンフィルタサイズの決定、クロスプレーンフィルタ係数の量子化および/または送信(例えば、シグナリング)、または、1若しくは複数の局所的エリアへのクロスプレーンフィルタリングの適合のうちの1または複数が対処される。
最適なクロスプレーンフィルタをトレーニングするために、適切なフィルタサイズが決定される。フィルタのサイズは、フィルタに関連付けられたオーバヘッドの大きさ、および/またはフィルタの計算の複雑さにほぼ比例する。例えば、3×3フィルタは、9つの送信されるフィルタ係数を有し、9つの乗算と8つの加算を利用して、1ピクセルのフィルタを達成する。5×5フィルタは、25の送信されるフィルタ係数を有し、25の乗算と24つの加算を利用して、1ピクセルをフィルタリングする。より大きなサイズのフィルタは、(例えば、式(2)および式(3)に見られるように)より低い最小歪みを達成し、ならびに/またはより良好な性能を提供する。フィルタサイズは、例えば、計算の複雑さ、オーバヘッドの大きさ、および/または性能のバランスを取るために選択される。
filter_Cb4Cbおよびfilter_Cr4Crなど、プレーン自体に適用されるトレーニングされたフィルタは、ローパスフィルタとして実施される。filter_Y4Cb、filter_Y4Cr、filter_Cb4Cr、filter_Cr4Cbなど、クロスプレーンのために使用されるトレーニングされたフィルタは、ハイパスフィルタとして実施される。異なるサイズの異なるフィルタの使用は、対応するビデオコーディングシステムの性能に僅かな影響しか有さない。クロスプレーンフィルタのサイズは、例えば、性能上の不利益が無視可能なように、小さく(例えば、できるだけ小さく)保たれる。例えば、クロスプレーンフィルタサイズは、性能の低下が実質的に観測されないように選択される。大きいサイズのクロスプレーンフィルタ(例えば、M×Nクロスプレーンフィルタ、ここで、MおよびNは整数)が実施される。
例えば、filter_Cb4Cbおよびfilter_Cr4Crなどのローパスフィルタに関して、フィルタサイズは、1×1として実施され、フィルタは、フィルタリングされるそれぞれのピクセルに乗算される係数を1つ有する。1×1のfilter_Cb4Cbおよびfilter_Cr4Crのフィルタ係数は、1.0に固定され、filter_Cb4Cbおよびfilter_Cr4Crは、省かれる(例えば、適用されない、および/または伝達されない)。
filter_Y4Cbおよびfilter_Y4Crなどのハイパスフィルタの場合、フィルタサイズは、カラーサンプリングフォーマットに依存し、またはカラーサンプリングフォーマットとは無関係である。クロスプレーンフィルタサイズは、カラーサンプリングフォーマットに依存する。例えば、クロスプレーンフィルタ(例えば、filter_Y4Cbおよびfilter_Y4Cr)のサイズおよび/またはサポート領域は、例えば、図10Aないし図10Cに示されるように、選択クロマピクセルに対して実施され、ここで、円形はルーマサンプルのそれぞれの位置を表し、塗りつぶされた三角形はクロマサンプルのそれぞれの位置を表し、(例えば、輪郭のみの三角形によって表される)選択クロマサンプルをフィルタリングするために使用されるルーマサンプルは、グレーの円形によって表される。示されるように、filter_Y4Cbおよびfilter_Y4Crのフィルタサイズは、4:4:4および4:2:2カラーフォーマットについては3×3であり、4:2:0カラーフォーマットについては4×3である。フィルタサイズは、例えば、図11Aないし図11Cに示されるように、カラーフォーマットとは無関係である。フィルタサイズは、例えば、4:2:0フォーマットの場合のサイズに従って、4×3である。
例えば、式(4)および式(5)に従って、クロスプレーンフィルタリングプロセスは、トレーニングされたハイパスフィルタをYプレーンに適用し、Y_offset4CbおよびY_offset4Crで表されるフィルタリング結果を、クロマプレーンにおける対応するピクセルに加算されるオフセットとして取得する。
クロスプレーンフィルタ係数は、量子化される。トレーニングされたクロスプレーンフィルタは、例えば、送信前に量子化される、実数値係数を有する。例えば、filter_Y4Cbは、filter_intで表される整数フィルタによってほぼ近似される。filter_intの要素は、(例えば、4ビット表現による−8から7の)小さいダイナミックレンジを有する。coeff.で表される第2の係数は、例えば、式(6)に従って、filter_intをfilter_Y4Cbにより正確に接近させるために使用される。
式(6)では、coeff.は、実数値であり、例えば、式(7)に従って、M/2Nによって近似され、ここで、MおよびNは、整数である。
filter_Y4Cbを送信するために、例えば、filter_int内の係数は、MおよびNと一緒に、ビットストリーム内にコード化される。上で説明された量子化技法は、例えば、filter_Y4Crを量子化するために拡張される。
クロスプレーンフィルタ(例えば、filter_Y4Cbおよび/またはfilter_Y4Cr)は、柔軟な分離性および/または対称性を有する。本明細書で導入されるクロスプレーンフィルタ特性は、(例えば、図10Aないし図10C、または図11Aないし図11Cに従った)例示的な4×3クロスプレーンフィルタに関して説明されるが、他のフィルタサイズに適用可能である。
クロスプレーンフィルタは、例えば、図12Aないし図12Eに示されるように、様々な対称性特性を有する。クロスプレーンフィルタは、例えば、図12Aに示されるように、対称性を有さない。各四角形は、1つのフィルタ係数を表し、その値が残りのフィルタ係数のそれとは異なることを示す一意的なインデックスでラベル付けされている。クロスプレーンフィルタは、例えば、図12Bに示されるように、水平および垂直対称性を有し、係数は1または複数の他の象限内の1または複数の対応する係数と同じ値を有する。クロスプレーンフィルタは、例えば、図12Cに示されるように、垂直対称性を有する。クロスプレーンフィルタは、例えば、図12Dに示されるように、水平対称性を有する。クロスプレーンフィルタは、例えば、図12Eに示されるように、点対称性を有する。
クロスプレーンフィルタは、図12Aないし図12Eに示される対称性に限定されず、1または複数の他の対称性を有する。クロスプレーンフィルタは、フィルタ内の少なくとも2つの係数が同じ値を有する場合、対称性を有する(例えば、少なくとも2つの係数は、同じインデックスでラベル付けされる)。例えば、ハイパスクロスプレーンフィルタ(例えば、filter_Y4Cbおよびfilter_Y4Cr)の場合、フィルタサポート領域の境界沿いの1または複数(例えば、すべて)の係数に対しては対称性を実施せず、フィルタサポート領域の内部係数の1または複数(例えば、すべて)に対しては何らかの対称性(例えば、水平および垂直、水平、垂直、または点対称性)を実施するのが有益である。
クロスプレーンフィルタは、分離可能である。例えば、4×3の2次元フィルタを使用するクロスプレーンフィルタリングは、(例えば、第1のステージの間に)行に1×3水平フィルタを適用するのと等価であり、(例えば、第2のステージの間に)第1のステージの出力の列に4×1垂直フィルタを適用するのと等価である。第1のステージと第2のステージの順序は、変更される。対称性が、1×3水平フィルタおよび/または4×1垂直フィルタに適用される。図13Aおよび図13Bは、それぞれ、対称性ありと対称性なしの2つの1次元フィルタを示している。
クロスプレーンフィルタが分離可能および/または対称的かどうかにかかわらず、フィルタ係数のビットストリーム内へのコード化は、一意的な値を有するフィルタ係数に制限される。例えば、図12Aに示されるクロスプレーンフィルタによれば、(0から11を用いてインデックス付けされた)12のフィルタ係数がコード化される。図12Bに示されるクロスプレーンフィルタによれば、(0から3を用いてインデックス付けされた)4つのフィルタ係数がコード化される。クロスプレーンフィルタにおける対称性の実施は、(例えば、ビデオ信号ビットストリームにおける)オーバヘッドの大きさを低減する。
例えば、クロスプレーンフィルタ(例えば、filter_Y4Cbおよびfilter_Y4Cr)がハイパスフィルタである場合、クロスプレーンフィルタのフィルタ係数の和は、0に等しい。定数になるというこの特性によれば、クロスプレーンフィルタ内の係数(例えば、少なくとも1つの係数)は、他の係数の和に等しい大きさを有するが、反対の符号を有する。クロスプレーンフィルタが、送信されるX個の係数を有する場合(例えば、図12Aに示されるように、Xは12に等しい)、X−1個の係数が、ビットストリーム内にコード化される(例えば、明示的にコード化される)。復号器は、X−1個の係数を受信し、例えば、ゼロ和制約に基づいて、残りの係数の値を導出する(例えば、暗黙的に導出する)。
クロスプレーンフィルタリング係数は、例えば、ビデオビットストリーム内で伝達される。図14の例示的なシンタックステーブルは、クロマプレーン(例えば、CbまたはCr)についての2次元の非分離可能な非対称クロスプレーンフィルタ係数のセットを伝達する例を示す。以下のことが、例示的なシンタックステーブル内のエントリに当てはまる。エントリnum_coeff_hori_minus1プラス1(+1)は、クロスプレーンフィルタの水平方向における係数の数を示す。エントリnum_coeff_vert_minus1プラス1(+1)は、クロスプレーンフィルタの垂直方向における係数の数を示す。0に等しいエントリnum_coeff_reduced_flagは、クロスプレーンフィルタ係数の数が、例えば、図15Aに示されるように、(num_coeff_hori_minus1+1)×(num_coeff_vert_minus1+1)に等しいことを示す。図15Aに示されるように、num_coeff_hori_minus1は2に等しく、num_coeff_vert_minus1は3に等しい。
1に等しいエントリnum_coeff_reduced_flagは、一般に(num_coeff_hori_minus1+1)×(num_coeff_vert_minus1+1)に等しいクロスプレーンフィルタ係数の数が、例えば、図15Bに示されるように、例えば、4隅の係数を除去することによって、(num_coeff_hori_minus1+1)×(num_coeff_vert_minus1+1)−4に減らされることを示す。クロスプレーンフィルタのサポート領域は、例えば、4隅の係数を除去することによって縮小される。num_coeff_reduced_flagエントリの利用は、例えば、フィルタ係数が減らされるかどうかについて、高められた柔軟性を提供する。
エントリfilter_coeff_plus8[i]マイナス8は、第iのクロスプレーンフィルタ係数に対応する。フィルタ係数の値は、例えば、−8から7までの範囲内にある。そのような場合、エントリfilter_coeff_plus8[i]は、0から15までの範囲内にあり、例えば、4ビット固定長コーディング(FLC)に従ってコード化される。エントリscaling_factor_abs_minus1およびscaling_factor_signは、一緒になって、以下のように、スケーリングファクタ(例えば、式(7)内のM)の値を指定する。
M=(1−2×scaling_factor_sign)×(scaling_factor_abs_minus1+1)
エントリbit_shiftingは、スケーリングプロセスの後に右シフトされるビットの数を指定する。このエントリは、式(7)内のNを表す。
ピクチャの異なる領域は、異なる統計的特性を有する。1または複数のそのような領域(例えば、そのような各領域)についてのクロスプレーンフィルタ係数の導出は、クロマコーディング性能を改善する。説明のために、クロスプレーンフィルタ係数の異なるセットが、ピクチャまたはスライスの異なる領域に適用され、それのために、クロスプレーンフィルタ係数の複数のセットが、ピクチャレベルで(例えば、適応ピクチャセット(APS)内で)、および/またはスライスレベルで(例えば、スライスヘッダ内で)送信される。
クロスプレーンフィルタリングが、ビデオが表示される前に、例えば、再構成されたビデオに適用される後処理実施において使用される場合、フィルタ係数の1または複数のセットは、補足拡張情報(SEI)メッセージとして送信される。各カラープレーンについて、フィルタの総数が伝達される。数が1以上である場合、クロスプレーンフィルタリング係数の1または複数のセットが、例えば、順次的に送信される。
図16の例示的なシンタックステーブルは、cross_plane_filter()と名付けられたSEIメッセージ内で、クロスプレーンフィルタ係数の複数のセットを伝達する例を示す。以下のことが、例示的なシンタックステーブル内のエントリに当てはまる。1に等しいエントリcross_plane_filter_enabled_flagは、クロスプレーンフィルタリングが使用可能であることを指定する。対照的に、0に等しいエントリcross_plane_filter_enabled_flagは、クロスプレーンフィルタリングが使用不可であることを指定する。
エントリcb_num_of_filter_setsは、現在のピクチャのCbプレーンをコード化するために使用されるクロスプレーンフィルタ係数セットの数を指定する。0に等しいエントリcb_num_of_filter_setsは、クロスプレーンフィルタリングが現在のピクチャのCbプレーンに適用されないことを示す。エントリcb_filter_coeff[i]は、Cbプレーンのためのクロスプレーンフィルタ係数の第iのセットである。エントリcb_filter_coeffは、データ構造であり、num_coeff_hori_minus1、num_coeff_vert_minus1、num_coeff_reduced_flag、filter_coeff_plus8、scaling_factor_abs_minus1、scaling_factor_sign、またはbit_shiftingのうちの1または複数を含む。
エントリcr_num_of_filter_setsは、現在のピクチャのCrプレーンをコード化するために使用されるクロスプレーンフィルタ係数セットの数を指定する。0に等しいエントリcr_num_of_filter_setsは、クロスプレーンフィルタリングが現在のピクチャのCrプレーンに適用されないことを示す。エントリcr_filter_coeff[i]は、Crプレーンのためのクロスプレーンフィルタ係数の第iのセットである。エントリcr_filter_coeffは、データ構造であり、num_coeff_hori_minus1、num_coeff_vert_minus1、num_coeff_reduced_flag、filter_coeff_plus8、scaling_factor_abs_minus1、scaling_factor_sign、またはbit_shiftingのうちの1または複数を含む。
領域ベースのクロスプレーンフィルタリングが実施される。例えば、関連付けられたクロマプレーンにおける高周波数情報の喪失を(例えば、ルーマプレーンのガイダンスに従って)回復することが望まれる場合、ビデオ画像内の1または複数の局所的エリアをフィルタリングするために、クロスプレーンフィルタリングが適合される。例えば、クロスプレーンフィルタリングは、エッジおよび/またはテクスチャに富むエリアに適用される。例えば、クロスプレーンフィルタが適用される1または複数の領域を見つけるために、エッジ検出が最初に実行される。filter_Y4Cbおよび/またはfilter_Y4Crなどのハイパスフィルタが、最初にYプレーンに適用される。
フィルタリング結果の大きさは、フィルタリングされたピクセルが高周波数エリア内にあるかどうかを暗示する。大きい大きさは、フィルタリングされたピクセルの領域内のシャープなエッジを示す。0に近い大きさは、フィルタリングされたピクセルが均一な領域内にあることを示す。filter_Y4Cbおよび/またはfilter_Y4Crによるフィルタリング出力を測定するために、閾値が利用される。フィルタリング出力は、例えば、それが閾値よりも大きい場合、クロマプレーン内の対応するピクセルに加算される。例えば、平滑な領域内のそれぞれのクロマピクセルは変更されず、それは、ランダムなフィルタリングノイズを回避する。領域ベースのクロスプレーンフィルタリングは、コーディング性能を維持しながら、ビデオコーディングの複雑さを低下させる。例えば、1または複数の領域を含む領域情報が、復号器に伝達される。
領域ベースのクロスプレーンフィルタリングの実施では、異なる統計的特性を有する1または複数の領域(例えば、平滑な領域、カラフルな領域、テクスチャに富む領域、および/またはエッジに富む領域)は、例えば、符号化器サイドで検出される。複数のクロスプレーンフィルタが、導出され、1または複数の領域のうちの対応するものに適用される。1または複数の領域のうちのそれぞれに関する情報は、復号器サイドに送信される。そのような情報は、例えば、領域の面積、領域の位置、および/または領域に適用される特定のクロスプレーンフィルタを含む。
図17の例示的なシンタックステーブルは、特定の領域に関する情報を伝達する例を示している。以下のことが、例示的なシンタックステーブル内のエントリに当てはまる。エントリtop_offset、lef_offset、righ_offset、botto_offsetは、現在の領域の面積および/または位置を指定する。エントリは、例えば、図18に示されるように、現在の領域の上辺、左辺、右辺、下辺から、関連付けられたピクチャの対応する4つの辺までの、例えば、ピクセル単位での、それぞれの距離を表す。
cross_plane_filtering_region_info()は、Cbプレーンの指定された領域のクロスプレーンフィルタリング、Crプレーンの指定された領域のクロスプレーンフィルタリング、またはCbプレーンおよびCrプレーンのそれぞれの指定された領域のクロスプレーンフィルタリングに関する情報を含む。
1に等しいエントリcb_filtering_enabled_flagは、Cbプレーンの現在の領域についてのクロスプレーンフィルタリングが使用可能であることを示す。0に等しいエントリcb_filtering_enabled_flagは、Cbプレーンの現在の領域についてのクロスプレーンフィルタリングが使用不可であることを示す。エントリcb_filter_idxは、(例えば、図16に示されるようなcb_filter_coeffを伝達する)クロスプレーンフィルタcb_filter_coeff[cb_filter_idx]が、Cbプレーンの現在の領域に適用されることを指定する。
1に等しいエントリcr_filtering_enabled_flagは、Crプレーンの現在の領域についてのクロスプレーンフィルタリングが使用可能であることを示す。0に等しいエントリcr_filtering_enabled_flagは、Crプレーンの現在の領域についてのクロスプレーンフィルタリングが使用不可であることを示す。エントリcr_filter_idxは、(例えば、図16に示されるようなcr_filter_coeffを伝達する)クロスプレーンフィルタcr_filter_coeff[cr_filter_idx]が、Crプレーンの現在の領域に適用されることを指定する。
1または複数の領域に関する情報は、ピクチャレベルで(例えば、APSもしくはSEIメッセージ内で)、またはスライスレベルで(例えば、スライスヘッダ内で)送信される。図19の例示的なシンタックステーブルは、cross_plane_filter()と名付けられたSEIメッセージ内で、複数の領域を複数のクロスプレーンフィルタとともに伝達する例を示している。領域に関する情報は、イタリック体で書かれている。
以下のことが、例示的なシンタックステーブル内のエントリに当てはまる。エントリcb_num_of_regions_minus1プラス1(+1)は、Cbプレーン内の領域の数を指定する。各領域は、対応するクロスプレーンフィルタによってフィルタリングされる。0に等しいエントリcb_num_of_regions_minus1は、Cbプレーンの全体が1つのクロスプレーンフィルタによってフィルタリングされることを示す。エントリcb_region_info[i]は、Cbプレーン内の第iの領域の情報である。エントリcb_region_infoは、データ構造であり、top_offset、left_offset、right_offset、bottom_offset、cb_filtering_enabled_flag、またはcb_filter_idxのうちの1または複数を含む。
エントリcr_num_of_regions_minus1プラス1(+1)は、Crプレーン内の領域の数を指定する。各領域は、対応するクロスプレーンフィルタによってフィルタリングされる。0に等しいエントリcr_num_of_regions_minus1は、Crプレーンの全体が1つのクロスプレーンフィルタによってフィルタリングされることを示す。エントリcr_region_info[i]は、Crプレーン内の第iの領域の情報である。エントリcr_region_infoは、データ構造であり、top_offset、left_offset、right_offset、bottom_offset、cr_filtering_enabled_flag、またはcr_filter_idxのうちの1または複数を含む。
クロスプレーンフィルタリングは、シングルレイヤビデオコーディングシステムにおいて、および/またはマルチレイヤビデオコーディングシステムにおいて使用される。(例えば、図1および図2に示されるように)シングルレイヤビデオコーディングシステムによれば、クロスプレーンフィルタリングは、1または複数の後続フレームが(例えば、クロマプレーンに関して)より良好に予測されるように、例えば、参照ピクチャ(例えば、参照ピクチャストア164および/または264内に記憶されたピクチャ)を改善するために適用される。
クロスプレーンフィルタリングは、後処理方法として使用される。例えば、クロスプレーンフィルタリングは、再構成された出力ビデオ220に(例えば、それが表示される前に)適用される。そのようなフィルタリングは、MCPループの一部ではなく、したがって、後続ピクチャのコーディングに影響しないが、後処理は、表示に関するビデオの品質を(例えば、直接的に)改善する。例えば、クロスプレーンフィルタリングは、補足拡張情報(SEI)シグナリングを用いてHEVC後処理において適用される。符号化器サイドにおいて推定されるクロスプレーンフィルタ情報は、例えば、SEIメッセージ内で配信される。
(例えば、図3および図4に示されるような)マルチレイヤビデオコーディングを使用する例によれば、クロスプレーンフィルタリングは、より高位のレイヤのピクチャを予測するために、例えば、1または複数のピクチャがEL DPBバッファ(例えば、参照ピクチャリスト)内に置かれる前に、1または複数のアップサンプリングされたBLピクチャに適用される。図5に示されるように、クロスプレーンフィルタリングは、第3のステージにおいて実行される。アップサンプリングされたベースレイヤ再構成ピクチャ(例えば、ILPピクチャ)内の一方または両方のクロマプレーンの品質を改善するために、トレーニングおよび/またはフィルタリングに関与する対応するルーマプレーンは、同じILPピクチャからのものであり、ここで、トレーニングおよび/またはフィルタリングプロセスは、シングルレイヤビデオコーディングにおいて使用されるものと同じである。
マルチレイヤビデオコーディングを使用する別の例によれば、クロスプレーントレーニングおよび/またはフィルタリングをサポートして、例えば、ILPピクチャ内のクロマプレーンをエンハンスするために、対応するルーマプレーンが、アップサンプリングを行わずに、ベースレイヤ再構成ピクチャ内で(例えば、直接的に)使用される。例えば、4:2:0ビデオソースを用いる2X空間SVCによれば、ベースレイヤルーマプレーンのサイズは、ILPピクチャ内の一方または両方の対応するクロマプレーンのサイズと実質的に同じ(例えば、正確に同じ)である。2つの種類のプレーンのサンプリンググリッドは異なる。ベースレイヤピクチャ内のルーマプレーンは、例えば、ILPピクチャ内のクロマプレーンのサンプリンググリッドと調整(例えば、正確に調整)するために、位相補正フィルタによってフィルタリングされる。1または複数の以下の操作は、例えば、シングルレイヤビデオコーディングのために、本明細書の別の箇所で説明されたものと同じである。カラーフォーマットは、(例えば、図10Aまたは図11Aに従って)4:4:4であると見なされる。ILPピクチャ内のクロマプレーンについてのクロスプレーンフィルタリングをサポートするためのベースレイヤルーマプレーンの使用は、例えば、単純な導出によって、空間スケーラビリティの他の比、および/または他のカラーフォーマットに拡張される。
マルチレイヤビデオコーディングを使用する別の例によれば、クロスプレーンフィルタリングは、アップサンプリングされていない再構成されたベースレイヤピクチャに適用される。クロスプレーンフィルタリングの出力が、アップサンプリングされる。図5に示されるように、クロスプレーンフィルタリングは、第1のステージにおいて実行される。(例えば、BLがELよりも低い解像度を有する)空間スケーラビリティの場合、クロスプレーンフィルタリングは、より僅かなピクセルに適用され、それは、本明細書で説明される他のマルチレイヤビデオコーディング例のうちの1または複数よりも低い計算の複雑さを伴う。例えば、式(2)を参照すると、
は、異なる寸法を有し、直接的に減算を行えないので、式(2)および式(3)は、直接的には適用されない。Yrec、Cbrec、Crrecは、ベースレイヤピクチャの場合と同じ解像度を有する。Cborgは、エンハンスメントレイヤピクチャの場合と同じ解像度を有する。マルチレイヤビデオコーディングのこの例に従ったクロスプレーンフィルタ係数の導出は、式(8)および式(9)を使用して達成され、
ここで、Uは、入力としてベースレイヤピクチャを取るアップサンプリング関数であり、エンハンスメントレイヤ解像度を有するアップサンプリングされたピクチャを出力する。
図9Aおよび図9Bに示されたクロスプレーンフィルタリング技法によれば、クロマプレーンは、ルーマプレーンによって、および(例えば、他方のクロマプレーンを除いた)それ自体によってエンハンスされ、式(8)および式(9)は、例えば、式(10)および式(11)に示されるように簡略化される。
図9Aおよび図9Bに示されたクロスプレーンフィルタリング技法に基づいて、filter_Cb4Cbおよび/またはfilter_Cr4Crのサイズは、1×1に低減され、フィルタ係数の値は、1.0に設定される。式(10)および式(11)は、例えば、式(12)および式(13)に示されるように簡略化される。
クロスプレーンフィルタリングは、適応的に適用される。例えば、マルチレイヤビデオコーディングに適用される場合、クロスプレーンフィルタリングは、例えば、図5に示されるような第1のステージおよび/または第3のステージにおいて、適応的に適用される。
クロスプレーンフィルタリングは、例えば、シーケンスレベル、ピクチャレベル、スライスレベル、またはブロックレベルのうちの1または複数を含む、1または複数のコーディングレベルに適応的に適用される。シーケンスレベル適応によれば、例えば、符号化器は、ビデオシーケンスの一部(例えば、ビデオシーケンスの全体)をコード化するために、第1のステージおよび/または第3のステージにおいて、クロスプレーンフィルタリングを利用することを決定する。そのような決定は、シーケンスヘッダ内に、ならびに/またはビデオパラメータセット(VPS)および/もしくはシーケンスパラメータセット(SPS)など、1もしくは複数のシーケンスレベルパラメータセット内に含まれる、例えば、バイナリフラグとして表される。
ピクチャレベル適応によれば、例えば、符号化器は、1または複数のELピクチャ(例えば、ビデオシーケンスの各ELピクチャ)をコード化するために、第1のステージおよび/または第3のステージにおいて、クロスプレーンフィルタリングを利用することを決定する。そのような決定は、ピクチャヘッダ内に含まれる、および/または、適応パラメータセット(APS)および/またはピクチャパラメータセット(PPS)など1若しくは複数のピクチャレベルパラメータセット内に含まれる、例えばバイナリフラグとして表される。
スライスレベル適応に従って、例えば、符号化器は、1または複数のELビデオスライス(例えば、各ELスライス)をコード化するために、第1のステージおよび/または第3のステージにおいて、クロスプレーンフィルタリングを利用することを決定する。そのような決定は、スライスヘッダ内に含まれる例えばバイナリフラグとして表される。上で説明されたようなシグナリングメカニズムは、1または複数の他のレベルの適応に従って(例えば、拡張されて)実施される。
ピクチャベースのクロスプレーンフィルタリングは、例えば、マルチレイヤビデオコーディングのために実施される。そのようなクロスプレーンフィルタリングに関する情報は伝達される。例えば、uplane_filtering_flagおよび/またはvplane_filtering_flagなどの1または複数のフラグは、例えば、ピクチャ当たり一度、コード化され、復号器に送信される。フラグuplane_filtering_flagおよび/またはvplane_filtering_flagは、それぞれ、例えば、クロスプレーンフィルタリングが、Cbプレーンに適用されるべきかどうか、および/またはCrプレーンに適用されるべきかどうかを示す。符号化器は、(例えば、ピクチャごとに)1または複数のピクチャのいずれのクロマプレーンに対して、クロスプレーンフィルタリングを使用可能にすべきか、または使用不可にすべきかを決定する。符号化器は、例えば、コーディング性能を改善するために、および/または、所望のレベルのコーディング性能および複雑さに従って(例えば、クロスプレーンフィルタリングをオンにすると、復号の複雑さが増加する)、そのような決定を行うように構成される。
符号化器は、ピクチャベースのクロスプレーンフィルタリングを1または複数のクロマプレーンに適用すべきかどうかを決定するために、1または複数の技法を利用するように構成される。例えば、ピクチャレベル選択を実行する例によれば、フィルタリング前および後のCbプレーン、例えば、Cb_recおよびCb_impは、ELピクチャ内の元のCbプレーン、例えば、Cb_orgと比較される。それぞれMSE_recおよびMSE_impで表される、フィルタリング前および後の平均2乗誤差(MSE)の値が、計算され、比較される。例では、MSE_impは、MSE_recよりも小さく、このことは、クロスプレーンフィルタリングの適用が歪みを低減することを示しており、クロスプレーンフィルタリングはCbプレーン上で使用可能にされる。MSE_impがMSE_recよりも小さくない場合、クロスプレーンフィルタリングは、Cbプレーン上で使用不可にされる。この技法によれば、MSEは、全ピクチャベースで計算され、このことは、MSE計算において、単一の重み付けファクタが1または複数のピクセル(例えば、各ピクセル)に適用されることを意味する。
ピクチャレベル選択を実行する別の例によれば、MSEは、ILPに関与する1または複数のピクセルに基づいて、例えば、ILPに関与するピクセルだけに基づいて計算される。クロスプレーンフィルタリングをCbプレーンに適用すべきかどうかを符号化器が決定する場合、ピクチャについてのILPマップは、まだ利用可能ではない。例えば、決定は、ELピクチャをコード化する前に行われるが、ILPマップは、ELピクチャがコード化されるまで利用可能ではない。
ピクチャレベル選択を実行する別の例によれば、マルチパス符号化戦略が利用される。第1のパスでは、ELピクチャが符号化され、ILPマップが記録される。第2のパスでは、例えば、ILPマップによって示されるILPブロックに制限されたMSE計算に従って、クロスプレーンフィルタリングを使用すべきかどうかの決定が行われる。ピクチャは、この決定に従って符号化される。そのようなマルチパス符号化は、時間がかかり、シングルパス符号化と比較して、より大きな計算の複雑さを必要とする。
それぞれのピクチャ(例えば、ビデオシーケンスのそれぞれのピクチャ)内の1または複数の動いている物体は、動いていない物体よりも、ILPピクチャによってコード化される可能性が高い。連続ピクチャ(例えば、ビデオシーケンスの連続ピクチャ)のILPマップは、相関性がある(例えば、高度の相関を示す)。そのような連続ILPマップは、互いの間に1または複数の変位(例えば、相対的に小さい変位)を示す。そのような変位は、例えば、ピクチャのそれぞれ異なる時間インスタンスに帰せられる。
ピクチャレベル選択を実行する別の例によれば、1または複数の先にコード化されたELピクチャのILPマップが、コード化される現在のELピクチャのILPマップを予測するために使用される。予測されたILPマップは、現在のELピクチャのコード化におけるILPのために使用される可能性が高い1または複数のブロックを、探すために使用される。そのような使用される可能性が高いブロックは、潜在ILPブロックと呼ばれる。1または複数の潜在ILPブロックは、(例えば、上で説明されたような)MSEの計算に含まれ、および/または例えば、計算されたMSEに基づいた、クロスプレーンフィルタリングを適用すべきかどうかの決定において使用される。
ILPマップの寸法は、例えば、符号化器が選択する粒度に依存する。ピクチャの寸法が(例えば、ルーマ解像度に関して)W×Hである場合、例えば、ILPマップの寸法は、W×Hであり、その中のエントリは、対応するピクセルがILPのために使用されるかどうかを表す。ILPマップの寸法は、(W/M)×(H/N)であり、その中のエントリは、サイズがM×Nの対応するブロックがILPのために使用されるかどうかを表す。例示的な実施によれば、M=N=4が選択される。
例えば、ELピクチャがコード化された後に記録される、正確なILPマップは、バイナリマップであり、エントリ(例えば、各エントリ)は、エントリがILPのために使用されるかどうかを示す2つの可能な値(例えば、0または1)の一方に制限される。0および1の値は、例えば、エントリがILPのために使用されること、またはILPのために使用されないこと、をそれぞれ示す。
予測されたILPマップは、マルチレベルマップである。そのようなILPマップによれば、各エントリは、ILPのために使用されるブロックを予測する際のマルチレベル信頼度を表す、複数の可能な値を有する。より大きい値は、より高い信頼度を示す。例示的な実施によれば、0から128までの予測されたILPマップの可能な値が使用され、128は最高の信頼度を表し、0は最低の信頼度を表す。
図20は、クロスプレーンフィルタリングのための例示的なピクチャレベル選択アルゴリズム2000を示す。示されたピクチャレベル選択アルゴリズムは、例えば、Cbプレーンおよび/またはCrプレーンに適用される。2010において、例えば、第1のピクチャを符号化する前、PredILPMapで表される予測されたILPマップが初期化される。示されたアルゴリズムによれば、各ブロックは、ILPのために使用される等しい可能性を有し、PredILPMapの各エントリの値は、128に設定されることが仮定される。
2020において、符号化器は、クロスプレーンフィルタリングを適用すべきかどうかを決定する。エンハンスされたCbプレーンCb_impが、クロスプレーンフィルタリングによって生成される。重み付けされたMSEが、例えば、式(14)および式(15)を使用して計算される。
式(14)および式(15)では、Cb_recおよびCb_impは、クロスプレーンフィルタリングの前および後のCbプレーンを表し、Cb_orgは、コード化される現在のELピクチャの元のCbプレーンを表し、(x,y)は、ルーマプレーンのグリッド内におけるあるピクセルの位置を表す。示されるように、式(14)および式(15)は、4:2:0カラーサブサンプリングを仮定し、ILPマップのエントリは、4×4ブロックサイズを表し、そのため、CbプレーンおよびPredILPMap内の対応する位置は、それぞれ、(x/2,y/2)および(x/4,y/4)である。各ピクセルについて、2乗誤差(Cb_imp(x/2,y/2)−Cb_org(x/2,y/2))2または(Cb_rec(x/2,y/2)−Cb_org(x/2,y/2))2は、例えば、誤差がWeighted_MSE_impまたはWeighted_MSE_rec内に蓄積される前に、PredILPMap内の対応するファクタによって重み付けされる。これは、ILPのために使用される可能性がより高い1または複数のピクセル上の歪みが、重み付けされたMSEにおいてより高い重みを有することを意味する。
あるいは、または加えて、2020において、エンハンスされたCrプレーンCr_impが、クロスプレーンフィルタリングによって生成される。重み付けされたMSEが、例えば、式(16)および式(17)を使用して計算される。
式(16)および式(17)では、Cr_recおよびCr_impは、クロスプレーンフィルタリングの前および後のCrプレーンを表し、Cr_orgは、コード化される現在のELピクチャの元のCrプレーンを表し、(x,y)は、ルーマプレーンのグリッド内におけるあるピクセルの位置を表す。示されるように、式(16)および式(17)は、4:2:0カラーサブサンプリングを仮定し、ILPマップのエントリは、4×4ブロックサイズを表し、そのため、CrプレーンおよびPredILPMap内の対応する位置は、それぞれ、(x/2,y/2)および(x/4,y/4)である。各ピクセルについて、2乗誤差(Cr_imp(x/2,y/2)−Cr_org(x/2,y/2))2または(Cr_rec(x/2,y/2)−Cr_org(x/2,y/2))2は、例えば、誤差がWeighted_MSE_impまたはWeighted_MSE_rec内に蓄積される前に、PredILPMap内の対応するファクタによって重み付けされる。これは、ILPのために使用される可能性がより高い1または複数のピクセル上の歪みが、重み付けされたMSEにおいてより高い重みを有することを意味する。
Weighted_MSE_impとWeighted_MSE_recは、互いに比較される。Weighted_MSE_impがWeighted_MSE_recよりも小さい場合、それは、クロスプレーンフィルタリングが歪み(例えば、1または複数の潜在ILPブロックの歪み)を低減することを示し、クロスプレーンフィルタリングは使用可能にされる。Weighted_MSE_impがWeighted_MSE_recよりも小さくない場合、クロスプレーンフィルタリングは使用不可にされる。
2020において、ひとたび決定が行われると、2030において、現在のELピクチャが符号化され、2040において、CurrILPMapで表される現在のILPマップが記録される。現在のILPマップは、例えば、現在のELピクチャに後続するELピクチャとともに使用される。現在のILPマップは、予測されたものよりもむしろ正確であり、バイナリである。対応するブロックがILPのために使用される場合、そのブロックについてのエントリの値は、128に設定される。対応するブロックがILPのために使用されない場合、そのブロックについてのエントリの値は、0に設定される。
2050において、現在のILPマップが、例えば、式(18)に示されるように、予測されたILPマップを更新するために使用される。例示的な更新プロセスによれば、先に予測されたILPマップ(例えば、PredILPMap(x,y))と現在のILPマップ(例えば、CurrILPMap(x,y))の和が2で除算され、それは、別のピクチャに関連付けられたILPマップが、更新された予測されたILPマップに相対的に小さい影響を有することを意味する。
2060において、ビデオシーケンスの終わりに達したかどうかが決定される。ビデオシーケンスの終わりに達していない場合、例えば、連続的なELピクチャをコード化するために、上で説明された操作の1または複数(例えば、2020から2060)が繰り返される。ビデオシーケンスの終わりに達した場合、2070において、例示的なピクチャレベル選択アルゴリズム2000は終了する。
例えば、クロスプレーンフィルタリングを利用する、本明細書で説明されたビデオコーディング技法は、図21Aないし図21Eに示された、例示的な無線通信システム2100およびその構成要素などの無線通信システムにおいてビデオをトランスポートすることによって実施される。
図21Aは、1または複数の開示される実施形態が実施される例示的な通信システム2100の図である。例えば、無線ネットワーク(例えば、通信システム2100の1または複数の構成要素を備える無線ネットワーク)は、無線ネットワークを超えて(例えば、無線ネットワークに関連付けられたウォールドガーデンを超えて)延びるベアラがQoS特性を割り当てられるように構成される。
通信システム2100は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムである。通信システム2100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にする。例えば、通信システム2100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、およびシングルキャリアFDMA(SC−FDMA)など、1または複数のチャネルアクセス方法を利用する。
図21Aに示されるように、通信システム2100は、複数の無線送信/受信ユニット(WTRU)、例えば、WTRU2102a、2102b、2102c、2102dなどの、少なくとも1つのWTRU、無線アクセスネットワーク(RAN)2104、コアネットワーク2106、公衆交換電話網(PSTN)2108、インターネット2110、および他のネットワーク2112を含むが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図していることを理解されたい。WTRU2102a、2102b、2102c、2102dの各々は、無線環境において動作および/または通信するように構成された任意の種類のデバイスである。例を挙げると、WTRU2102a、2102b、2102c、2102dは、無線信号を送信および/または受信するように構成され、ユーザ機器(UE)、移動局、固定もしくは移動加入者ユニット、ページャ、セルラ電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、および家電製品などを含む。
通信システム2100は、基地局2114aおよび基地局2114bも含む。基地局2114a、2114bの各々は、コアネットワーク2106、インターネット2110、および/またはネットワーク2112などの1または複数の通信ネットワークへのアクセスを容易化するために、WTRU2102a、2102b、2102c、2102dの少なくとも1つと無線でインターフェースを取るように構成された、任意の種類のデバイスである。例を挙げると、基地局2114a、2114bは、基地トランシーバ局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、サイトコントローラ、アクセスポイント(AP)、および無線ルータなどである。基地局2114a、2114bは各々、単一の要素として示されているが、基地局2114a、2114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含むことを理解されたい。
基地局2114aは、RAN2104の部分であり、RAN2104は、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示されず)も含む。基地局2114aおよび/または基地局2114bは、セル(図示されず)と呼ばれる特定の地理的領域内で、無線信号を送信および/または受信するように構成される。セルは、さらにセルセクタに分割される。例えば、基地局2114aに関連付けられたセルは、3つのセクタに分割される。したがって、一実施形態では、基地局2114aは、送受信機を3つ、すなわち、セルのセクタごとに1つずつ含む。別の実施形態では、基地局2114aは、マルチ入力マルチ出力(MIMO)技術を利用し、したがって、セルのセクタごとに複数の送受信機を利用する。
基地局2114a、2114bは、エアインターフェース2116上で、WTRU2102a、2102b、2102c、2102dの1または複数と通信し、エアインターフェース2116は、任意の適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光など)である。エアインターフェース2116は、任意の適切な無線アクセス技術(RAT)を使用して確立される。
より具体的には、上で言及されたように、通信システム2100は、多元接続システムであり、CDMA、TDMA、FDMA、OFDMA、およびSC−FDMAなどの、1または複数のチャネルアクセス方式を利用する。例えば、RAN2104内の基地局2114a、およびWTRU2102a、2102b、2102cは、広帯域CDMA(WCDMA(登録商標))を使用してエアインターフェース2116を確立する、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実施する。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含む。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含む。
別の実施形態では、基地局2114a、およびWTRU2102a、2102b、2102cは、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE−A)を使用してエアインターフェース2116を確立する、進化型UMTS地上無線アクセス(E−UTRA)などの無線技術を実施する。
他の実施形態では、基地局2114a、およびWTRU2102a、2102b、2102cは、IEEE802.16(すなわち、マイクロ波アクセス用の世界的相互運用性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV−DO、暫定標準2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、移動体通信用グローバルシステム(GSM(登録商標))、GSMエボリューション用の高速データレート(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実施する。
図21Aの基地局2114bは、例えば、無線ルータ、ホームノードB、ホームeノードB、またはアクセスポイントであり、職場、家庭、乗物、およびキャンパスなどの局所的エリアにおける無線接続性を容易化するために、任意の適切なRATを利用する。一実施形態では、基地局2114b、およびWTRU2102c、2102dは、IEEE802.11などの無線技術を実施して、無線ローカルエリアネットワーク(WLAN)を確立する。別の実施形態では、基地局2114b、およびWTRU2102c、2102dは、IEEE802.15などの無線技術を実施して、無線パーソナルエリアネットワーク(WPAN)を確立する。また別の実施形態では、基地局2114b、およびWTRU2102c、2102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−Aなど)を利用して、ピコセルまたはフェムトセルを確立する。図21Aに示されるように、基地局2114bは、インターネット2110への直接的な接続を有する。したがって、基地局2114bは、コアネットワーク2106を介して、インターネット2110にアクセスする必要がない。
RAN2104は、コアネットワーク2106と通信し、コアネットワーク2106は、音声、データ、アプリケーション、および/またはボイスオーバインターネットプロトコル(VoIP)サービスをWTRU2102a、2102b、2102c、2102dの1または複数に提供するように構成された、任意の種類のネットワークである。例えば、コアネットワーク2106は、呼制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供し、および/またはユーザ認証など、高レベルのセキュリティ機能を実行する。図21Aには示されていないが、RAN2104および/またはコアネットワーク2106は、RAN2104と同じRATまたは異なるRATを利用する他のRANと直接的または間接的に通信することが理解される。例えば、E−UTRA無線技術を利用するRAN2104に接続するのに加えて、コアネットワーク2106は、GSM無線技術を利用する別のRAN(図示されず)とも通信する。
コアネットワーク2106は、PSTN2108、インターネット2110、および/または他のネットワーク2112にアクセスするための、WTRU2102a、2102b、2102c、2102dのためのゲートウェイとしての役割も果たす。PSTN2108は、基本電話サービス(POTS)を提供する回線交換電話網を含む。インターネット2110は、TCP/IPインターネットプロトコルスイート内の伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、およびインターネットプロトコル(IP)など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークとデバイスとからなるグローバルシステムを含む。ネットワーク2112は、他のサービスプロバイダによって所有および/または運営される有線または無線通信ネットワークを含む。例えば、ネットワーク2112は、RAN2104と同じRATまたは異なるRATを利用する1または複数のRANに接続された、別のコアネットワークを含む。
通信システム2100内のWTRU2102a、2102b、2102c、2102dのいくつかまたはすべては、マルチモード機能を含み、すなわち、WTRU2102a、2102b、2102c、2102dは、異なる無線リンク上で異なる無線ネットワークと通信するための複数の送受信機を含む。例えば、図21Aに示されたWTRU2102cは、セルラベースの無線技術を利用する基地局2114aと通信するように構成され、またIEEE802無線技術を利用する基地局2114bと通信するように構成される。
図21Bは、例示的なWTRU2102のシステム図である。図21Bに示されるように、WTRU2102は、プロセッサ2118と、送受信機2120と、送信/受信要素2122と、スピーカ/マイクロフォン2124と、キーパッド2126と、ディスプレイ/タッチパッド2128と、着脱不能メモリ2130と、着脱可能メモリ2132と、電源2134と、全地球測位システム(GPS)チップセット2136と、他の周辺機器2138とを含む。WTRU2102は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことが理解される。
プロセッサ2118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと連携する1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意の種類の集積回路(IC)、および状態機械などである。プロセッサ2118は、信号符号化、データ処理、電力制御、入出力処理、および/またはWTRU2102が無線環境で動作することを可能にする他の任意の機能を実行する。プロセッサ2118は、送受信機2120に結合され、送受信機2120は、送信/受信要素2122に結合される。図21Bは、プロセッサ2118と送受信機2120を別々の構成要素として示しているが、プロセッサ2118と送受信機2120は、電子パッケージまたはチップ内に一緒に統合されることを理解されたい。
送信/受信要素2122は、エアインターフェース2116上で、基地局(例えば、基地局2114a)に信号を送信し、または基地局から信号を受信するように構成される。例えば、一実施形態では、送信/受信要素2122は、RF信号を送信および/または受信するように構成されたアンテナである。別の実施形態では、送信/受信要素2122は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器である。また別の実施形態では、送信/受信要素2122は、RF信号と光信号の両方を送信および受信するように構成される。送信/受信要素2122は、無線信号の任意の組み合わせを送信および/または受信するように構成されることを理解されたい。
加えて、図21Bでは、送信/受信要素2122は単一の要素として示されているが、WTRU2102は、任意の数の送信/受信要素2122を含む。より具体的には、WTRU2102は、MIMO技術を利用する。したがって、一実施形態では、WTRU2102は、エアインターフェース2116上で無線信号を送信および受信するための2つ以上の送信/受信要素2122(例えば、複数のアンテナ)を含む。
送受信機2120は、送信/受信要素2122によって送信される信号を変調し、送信/受信要素2122によって受信された信号を復調するように構成される。上で言及されたように、WTRU2102は、マルチモード機能を有する。したがって、送受信機2120は、WTRU2102が、例えば、UTRAおよびIEEE802.11などの複数のRATを介して通信することを可能にするための、複数の送受信機を含む。
WTRU2102のプロセッサ2118は、スピーカ/マイクロフォン2124、キーパッド2126、および/またはディスプレイ/タッチパッド2128(例えば、液晶表示(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合され、それらからユーザ入力データを受信する。プロセッサ2118は、スピーカ/マイクロフォン2124、キーパッド2126、および/またはディスプレイ/タッチパッド2128にユーザデータを出力もする。加えて、プロセッサ2118は、着脱不能メモリ2130および/または着脱可能メモリ2132など、任意の種類の適切なメモリから情報を入手し、それらにデータを記憶する。着脱不能メモリ2130は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、または他の任意の種類のメモリ記憶デバイスを含む。着脱可能メモリ2132は、加入者識別モジュール(SIM)カード、メモリスティック、およびセキュアデジタル(SD)メモリカードなどを含む。他の実施形態では、プロセッサ2118は、WTRU2102上に物理的に配置されたメモリではなく、サーバまたはホームコンピュータ(図示されず)などの上に配置されたメモリから情報を入手し、それらにデータを記憶する。
プロセッサ2118は、電源2134から電力を受け取り、WTRU2102内の他の構成要素への電力の分配および/または制御を行うように構成される。電源2134は、WTRU2102に給電するための任意の適切なデバイスである。例えば、電源2134は、1または複数の乾電池(例えば、ニッケル−カドミウム(NiCd)、ニッケル−亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、および燃料電池などを含む。
プロセッサ2118は、GPSチップセット2136にも結合され、GPSチップセット2136は、WTRU2102の現在位置に関する位置情報(例えば、経度および緯度)を提供するように構成される。GPSチップセット2136からの情報に加えて、またはその代わりに、WTRU2102は、基地局(例えば、基地局2114a、2114b)からエアインターフェース2116上で位置情報を受信し、および/または、2つ以上の近くの基地局から受信した信号のタイミングに基づいて、自らの位置を決定する。WTRU2102は、一実施形態との整合性を保ちながら、任意の適切な位置決定方法を用いて位置情報を獲得することが理解される。
プロセッサ2118は、他の周辺機器2138にさらに結合され、他の周辺機器2138は、追加的な特徴、機能、および/または有線もしくは無線接続性を提供する、1または複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含む。例えば、周辺機器2138は、加速度計、eコンパス、衛星送受信機、(写真またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、およびインターネットブラウザなどを含む。
図21Cは、RAN2104およびコアネットワーク2106の例示的な実施をそれぞれ備えるRAN2104aおよびコアネットワーク2106aを含む通信システム2100の実施形態のシステム図である。上で言及されたように、RAN2104、例えば、RAN2104aは、UTRA無線技術を利用して、エアインターフェース2116上でWTRU2102a、2102b、2102cと通信する。RAN2104aは、コアネットワーク2106aとも通信する。図21Cに示されるように、RAN2104aは、ノードB2140a、2140b、2140cを含み、ノードB2140a、2140b、2140cは各々、エアインターフェース2116上でWTRU2102a、2102b、2102cと通信するための1または複数の送受信機を含む。ノードB2140a、2140b、2140cは各々、RAN2104a内の特定のセル(図示されず)に関連付けられる。RAN2104aは、RNC2142a、2142bも含む。RAN2104aは、実施形態との整合性を保ちながら、任意の数のノードBおよびRNCを含むことを理解されたい。
図21Cに示されるように、ノードB2140a、2140bは、RNC2142aと通信する。加えて、ノードB140cは、RNC2142bと通信する。ノードB2140a、2140b、2140cは、Iubインターフェースを介して、それぞれのRNC2142a、2142bと通信する。RNC2142a、2142bは、Iurインターフェースを介して、互いに通信する。RNC2142a、2142bの各々は、それが接続されたそれぞれのノードB2140a、2140b、2140cを制御するように構成される。加えて、RNC2142a、2142bの各々は、アウタループ電力制御、負荷制御、アドミッションコントロール、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、およびデータ暗号化など、他の機能を実施またはサポートするように構成される。
図21Cに示されるコアネットワーク2106aは、メディアゲートウェイ(MGW)2144、モバイル交換センタ(MSC)2146、サービングGPRSサポートノード(SGSN)2148、および/またはゲートウェイGPRSサポートノード(GGSN)2150を含む。上記の要素の各々は、コアネットワーク2106aの部分として示されているが、これらの要素は、どの1つをとっても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営されることを理解されたい。
RAN2104a内のRNC2142aは、IuCSインターフェースを介して、コアネットワーク2106a内のMSC2146に接続される。MSC2146は、MGW2144に接続される。MSC2146とMGW2144は、PSTN2108などの回線交換ネットワークへのアクセスをWTRU2102a、2102b、2102cに提供して、WTRU2102a、2102b、2102cと従来の陸線通信デバイスとの間の通信を容易化する。
RAN2104a内のRNC2142aは、IuPSインターフェースを介して、コアネットワーク2106a内のSGSN2148にも接続される。SGSN2148は、GGSN2150に接続される。SGSN2148とGGSN2150は、インターネット2110などのパケット交換ネットワークへのアクセスをWTRU2102a、2102b、2102cに提供して、WTRU2102a、2102b、2102cとIP対応デバイスとの間の通信を容易化する。
上述したように、コアネットワーク2106aは、ネットワーク2112にも接続され、ネットワーク2112は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含む。
図21Dは、RAN2104およびコアネットワーク2106の例示的な実施をそれぞれ備えるRAN2104bおよびコアネットワーク2106bを含む通信システム2100の実施形態のシステム図である。上述したように、RAN2104、例えば、RAN2104bは、エアインターフェース2116上でWTRU2102a、2102b、2102cと通信するために、E−UTRA無線技術を利用する。RAN2104bは、コアネットワーク2106bとも通信する。
RAN2104bは、eノードB2140d、2140e、2140fを含むが、RAN2104bは、一実施形態との整合性を保ちながら、任意の数のeノードBを含むことが理解される。eノードB2140d、2140e、2140fは、各々が、エアインターフェース2116上でWTRU2102a、2102b、2102cと通信するための1または複数の送受信機を含む。一実施形態では、eノードB2140d、2140e、2140fは、MIMO技術を実施する。したがって、eノードB2140dは、例えば、複数のアンテナを使用して、WTRU2102aに無線信号を送信し、WTRU2102aから無線信号を受信する。
eノードB2140d、2140e、2140fの各々は、特定のセル(図示されず)に関連付けられ、無線リソース管理決定、ハンドオーバ決定、ならびにアップリンクおよび/またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成される。図21Dに示されるように、eノードB2140d、2140e、2140fは、X2インターフェース上で互いに通信する。
図21Dに示されるコアネットワーク2106bは、モビリティ管理ゲートウェイ(MME)2143、サービングゲートウェイ2145、およびパケットデータネットワーク(PDN)ゲートウェイ2147を含む。上記の要素の各々は、コアネットワーク2106bの部分として示されているが、これらの要素は、どの1つをとっても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営されることが理解される。
MME2143は、S1インターフェースを介して、RAN2104b内のeノードB2140d、2140e、2140fの各々に接続され、制御ノードとしての役割を果たす。例えば、MME2143は、WTRU2102a、2102b、2102cのユーザの認証、ベアラアクティブ化/非アクティブ化、WTRU2102a、2102b、2102cの初期接続中における特定のサービングゲートウェイの選択などを担う。MME2143は、RAN2104bと、GSMまたはWCDMAなどの他の無線技術を利用する他のRAN(図示されず)との間の交換のためのコントロールプレーン機能も提供する。
サービングゲートウェイ2145は、S1インターフェースを介して、RAN2104b内のeノードB2140d、2140e、2140fの各々に接続される。サービングゲートウェイ2145は、一般に、ユーザデータパケットのWTRU2102a、2102b、2102cへの/からの経路選択および転送を行う。サービングゲートウェイ2145は、eノードB間ハンドオーバ中におけるユーザプレーンのアンカリング、ダウンリンクデータがWTRU2102a、2102b、2102cに利用可能な場合に行う一斉呼出のトリガ、ならびにWTRU2102a、2102b、2102cのコンテキストの管理および記憶など、他の機能も実行する。
サービングゲートウェイ2145は、PDNゲートウェイ2147にも接続され、PDNゲートウェイ2147は、インターネット2110などのパケット交換ネットワークへのアクセスをWTRU2102a、2102b、2102cに提供して、WTRU2102a、2102b、2102cとIP対応デバイスの間の通信を容易化する。
コアネットワーク2106bは、他のネットワークとの通信を容易化する。例えば、コアネットワーク2106bは、PSTN2108などの回線交換ネットワークへのアクセスをWTRU2102a、2102b、2102cに提供して、WTRU2102a、2102b、2102cと従来の陸線通信デバイスとの間の通信を容易化する。例えば、コアネットワーク2106bは、コアネットワーク2106bとPSTN2108との間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含み、またはIPゲートウェイと通信する。加えて、コアネットワーク2106bは、ネットワーク2112へのアクセスをWTRU2102a、2102b、2102cに提供し、ネットワーク2112は他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含む。
図21Eは、RAN2104およびコアネットワーク2106の例示的な実施をそれぞれ備えるRAN2104cおよびコアネットワーク2106cを含む通信システム2100の実施形態のシステム図である。RAN2104、例えば、RAN2104cは、IEEE802.16無線技術を利用して、エアインターフェース2116上でWTRU2102a、2102b、2102cと通信する、アクセスサービスネットワーク(ASN)である。本明細書で説明されるように、WTRU2102a、2102b、2102c、RAN2104c、およびコアネットワーク2106cの異なる機能エンティティ間の通信リンクは、参照点として定義される。
図21Eに示されるように、RAN2104cは、基地局2140g、2140h、2140iと、ASNゲートウェイ2141とを含むが、RAN2104cは、実施形態との整合性を保ちながら、任意の数の基地局とASNゲートウェイとを含むことを理解されたい。基地局2140g、2140h、2140iは、各々が、RAN2104c内の特定のセル(図示されず)に関連付けられ、各々が、エアインターフェース2116上でWTRU2102a、2102b、2102cと通信するための1または複数の送受信機を含む。一実施形態では、基地局2140g、2140h、2140iは、MIMO技術を実施する。したがって、基地局2140gは、例えば、複数のアンテナを使用して、WTRU2102aに無線信号を送信し、WTRU2102aから無線信号を受信する。基地局2140g、2140h、2140iは、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、およびサービス品質(QoS)方針実施などの、モビリティ管理機能も提供する。ASNゲートウェイ2141は、トラフィック集約ポイントとしての役割を果たし、ページング、加入者プロファイルのキャッシング、およびコアネットワーク2106cへのルーティングなどを担う。
WTRU2102a、2102b、2102cとRAN2104cとの間のエアインターフェース2116は、IEEE802.16仕様を実施する、R1参照点として定義される。加えて、WTRU2102a、2102b、2102cの各々は、コアネットワーク2106cとの論理インターフェース(図示されず)を確立する。WTRU2102a、2102b、2102cとコアネットワーク2106cとの間の論理インターフェースは、R2参照点として定義され、R2参照点は、認証、認可、IPホスト構成管理、および/またはモビリティ管理のために使用される。
基地局2140g、2140h、2140iの各々の間の通信リンクは、WTRUハンドオーバおよび基地局間でのデータの転送を容易化するためのプロトコルを含む、R8参照点として定義される。基地局2140g、2140h、2140iとASNゲートウェイ2141との間の通信リンクは、R6参照点として定義される。R6参照点は、WTRU2102a、2102b、2102cの各々に関連するモビリティイベントに基づいたモビリティ管理を容易化するためのプロトコルを含む。
図21Eに示されるように、RAN2104cは、コアネットワーク2106cに接続される。RAN2104cとコアネットワーク2106cとの間の通信リンクは、例えば、データ転送およびモビリティ管理機能を容易化するためのプロトコルを含む、R3参照点として定義される。コアネットワーク2106cは、モバイルIPホームエージェント(MIP−HA)2154と、認証認可課金(AAA)サーバ2156と、ゲートウェイ2158とを含む。上記の要素の各々は、コアネットワーク2106cの部分として示されているが、これらの要素は、どの1つをとっても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営されることを理解されたい。
MIP−HAは、IPアドレス管理を担い、WTRU2102a、2102b、2102cが、異なるASNの間で、および/または異なるコアネットワークの間でローミングを行うことを可能にする。MIP−HA2154は、インターネット2110などのパケット交換ネットワークへのアクセスをWTRU2102a、2102b、2102cに提供して、WTRU2102a、2102b、2102cとIP対応デバイスとの間の通信を容易化する。AAAサーバ2156は、ユーザ認証、およびユーザサービスのサポートを担う。ゲートウェイ2158は、他のネットワークとの網間接続を容易化する。例えば、ゲートウェイ2158は、PSTN2108などの回線交換ネットワークへのアクセスをWTRU2102a、2102b、2102cに提供して、WTRU2102a、2102b、2102cと従来の陸線通信デバイスとの間の通信を容易化する。加えて、ゲートウェイ2158は、ネットワーク2112へのアクセスをWTRU2102a、2102b、2102cに提供し、ネットワーク2112は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含む。
図21Eには示されていないが、RAN2104cは他のASNに接続され、コアネットワーク2106cは他のコアネットワークに接続されることを理解されたい。RAN2104cと他のASNとの間の通信リンクはR4参照点として定義され、R4参照点はRAN2104cと他のASNとの間で、WTRU2102a、2102b、2102cのモビリティを調整するためのプロトコルを含む。コアネットワーク2106cと他のコアネットワークとの間の通信リンクは、R5参照点として定義され、R5参照点は、ホームコアネットワークと在圏コアネットワークとの間の網間接続を容易化するためのプロトコルを含む。
上では特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で使用され、または他の特徴および要素との任意の組み合わせで使用されることを当業者は理解されよう。加えて、本明細書で説明された方法は、コンピュータまたはプロセッサによって実行される、コンピュータ可読媒体内に包含された、コンピュータプログラム、ソフトウェア、またはファームウェアで実施される。コンピュータ可読媒体の例は、(有線または無線接続上で送信される)電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、光磁気媒体、ならびにCD−ROMディスクおよびデジタル多用途ディスク(DVD)などの光媒体を含むが、それらに限定されない。ソフトウェアと連携するプロセッサは、WTRU、端末、基地局、RNC、または任意のホストコンピュータでの使用のための無線周波送受信機を実施するために使用される。1または複数の例示的な実施形態に従って本明細書で説明された特徴および/または要素は、1または複数の他の例示的な実施形態に従って本明細書で説明された特徴および/または要素と組み合わせて使用される。

Claims (26)

  1. ビデオ復号の方法であって、
    ビデオ信号、および前記ビデオ信号に関連付けられたクロスプレーンフィルタを受信するステップと、
    クロマオフセットを決定するために、前記クロスプレーンフィルタを前記ビデオ信号のルーマプレーンピクセルに適用するステップと、
    前記クロマオフセットを前記ビデオ信号の対応するクロマプレーンピクセルに追加するステップと
    を備えたことを特徴とする方法。
  2. 前記クロスプレーンフィルタが適用されることになる前記ビデオ信号の領域のインジケーションを受信するステップと、
    前記クロスプレーンフィルタを前記領域に適用するステップと
    をさらに備えたことを特徴とする請求項1に記載の方法。
  3. 前記クロスプレーンフィルタを、前記ビデオ信号のシーケンスレベル、ピクチャレベル、スライスレベル、またはブロックレベルの少なくとも1つに適用することを示すインジケーションを受信するステップをさらに備えたことを特徴とする請求項1に記載の方法。
  4. 前記クロスプレーンフィルタを適用するステップは、シングルレイヤビデオコーディングプロセスにおいて後処理として実行されることを特徴とする請求項1に記載の方法。
  5. 前記クロスプレーンフィルタを適用するステップは、マルチレイヤビデオコーディングプロセスにおいて実行され、前記ルーマプレーンピクセルはアップサンプリングされたベースレイヤルーマプレーンピクセルであり、前記クロマプレーンピクセルはアップサンプリングされたベースレイヤクロマプレーンピクセルであることを特徴とする請求項1に記載の方法。
  6. 前記クロスプレーンフィルタを適用するステップは、マルチレイヤビデオコーディングプロセスにおいて実行され、前記ルーマプレーンピクセルは、アップサンプリングされていないベースレイヤルーマプレーンピクセルであり、前記クロマプレーンピクセルは、アップサンプリングされたベースレイヤクロマプレーンピクセルであることを特徴とする請求項1に記載の方法。
  7. ビデオ信号、および前記ビデオ信号に関連付けられたクロスプレーンフィルタを受信するように構成されたネットワークインターフェースと、
    クロマオフセットを決定するために、前記クロスプレーンフィルタを前記ビデオ信号のルーマプレーンピクセルに適用し、および、
    前記クロマオフセットを前記ビデオ信号の対応するクロマプレーンピクセルに追加するように構成されたプロセッサと
    を備えたことを特徴とするビデオコーディングデバイス。
  8. 前記プロセッサは、
    前記ネットワークインターフェースを介して、前記クロスプレーンフィルタが適用されることになる前記ビデオ信号の領域のインジケーションを受信し、および、
    前記クロスプレーンフィルタを前記領域に適用するようにさらに構成されたことを特徴とする請求項7に記載のビデオコーディングデバイス。
  9. 前記プロセッサは、前記ネットワークインターフェースを介して、前記クロスプレーンフィルタを前記ビデオ信号のシーケンスレベル、ピクチャレベル、スライスレベル、またはブロックレベルの少なくとも1つに適用するためのインジケーションを受信するようにさらに構成されたことを特徴とする請求項7に記載のビデオコーディングデバイス。
  10. 前記プロセッサは、シングルレイヤビデオコーディングプロセスにおいて後処理として前記クロスプレーンフィルタを適用するように構成されたことを特徴とする請求項7に記載のビデオコーディングデバイス。
  11. 前記プロセッサは、マルチレイヤビデオコーディングプロセスにおいて前記クロスプレーンを適用するように構成され、前記ルーマプレーンピクセルはアップサンプリングされたベースレイヤルーマプレーンピクセルであり、前記クロマプレーンピクセルはアップサンプリングされたベースレイヤクロマプレーンピクセルであることを特徴とする請求項7に記載のビデオコーディングデバイス。
  12. 前記プロセッサは、マルチレイヤビデオコーディングプロセスにおいて前記クロスプレーンフィルタを適用するように構成され、前記ルーマプレーンピクセルはアップサンプリングされていないベースレイヤルーマプレーンピクセルであり、前記クロマプレーンピクセルはアップサンプリングされたベースレイヤクロマプレーンピクセルであることを特徴とする請求項7に記載のビデオコーディングデバイス。
  13. ビデオ信号を符号化する方法であって、
    前記ビデオ信号の成分を使用してクロスプレーンフィルタを生成するステップと、
    前記クロスプレーンフィルタに関連付けられたフィルタ係数を量子化するステップと、
    前記フィルタ係数を前記ビデオ信号を表すビットストリーム内に符号化するステップと、
    前記ビットストリームを送信するステップと
    を備えたことを特徴とする方法。
  14. 前記クロスプレーンフィルタは、前記ビデオ信号のルーマプレーン成分への適用のために設計され、前記クロスプレーンフィルタの前記ルーマプレーン成分への適用は、前記ビデオ信号のクロマプレーン成分に適用可能な出力を生成することを特徴とする請求項13に記載の方法。
  15. 前記クロスプレーンフィルタは、トレーニングセットに従って生成されることを特徴とする請求項13に記載の方法。
  16. 前記トレーニングセットは、前記ビデオ信号のコード化されたルーマ成分と、前記ビデオ信号のコード化されたクロマ成分と、前記ビデオ信号の元のクロマ成分とを含むことを特徴とする請求項15に記載の方法。
  17. コーディング性能またはカラーサブサンプリングフォーマットの少なくとも一方に従って、前記クロスプレーンフィルタの特性を決定するステップをさらに備えたことを特徴とする請求項13に記載の方法。
  18. 前記特性は、前記クロスプレーンフィルタのサイズ、前記クロスプレーンフィルタの分離性、または前記クロスプレーンフィルタの対称性のうちの少なくとも1つであることを特徴とする請求項17に記載の方法。
  19. 前記ビデオ信号の符号化されたピクチャ内の領域を識別するステップと、
    前記クロスプレーンフィルタを前記領域に適用するためのインジケーションを送信するステップと
    をさらに備えたことを特徴とする請求項13に記載の方法。
  20. ビデオ信号を受信するように構成されたネットワークインターフェースと、
    前記ビデオ信号の成分を使用してクロスプレーンフィルタを生成し、
    前記クロスプレーンフィルタに関連付けられたフィルタ係数を量子化し、
    前記フィルタ係数を前記ビデオ信号を表すビットストリーム内に符号化し、および、
    前記ネットワークインターフェースを介して前記ビットストリームを送信するように構成されたプロセッサと
    を備えたことを特徴とするビデオコーディングデバイス。
  21. 前記プロセッサは、前記ビデオ信号のルーマプレーン成分への適用のために前記クロスプレーンフィルタを設計するように構成され、前記クロスプレーンフィルタの前記ルーマプレーン成分への適用は、前記ビデオ信号のクロマプレーン成分に適用可能な出力を生成することを特徴とする請求項20に記載のビデオコーディングデバイス。
  22. 前記プロセッサは、トレーニングセットに従って前記クロスプレーンフィルタを生成するように構成されたことを特徴とする請求項20に記載のビデオコーディングデバイス。
  23. 前記トレーニングセットは、前記ビデオ信号のコード化されたルーマ成分と、前記ビデオ信号のコード化されたクロマ成分と、前記ビデオ信号の元のクロマ成分とを含むことを特徴とする請求項22に記載のビデオコーディングデバイス。
  24. 前記プロセッサは、コーディング性能またはカラーサブサンプリングフォーマットの少なくとも一方に従って、前記クロスプレーンフィルタの特性を決定するようにさらに構成されたことを特徴とする請求項20に記載のビデオコーディングデバイス。
  25. 前記特性は、前記クロスプレーンフィルタのサイズ、前記クロスプレーンフィルタの分離性、または前記クロスプレーンフィルタの対称性のうちの少なくとも1つであることを特徴とする請求項24に記載のビデオコーディングデバイス。
  26. 前記プロセッサは、
    前記ビデオ信号の符号化されるピクチャ内の領域を識別し、および、
    前記ネットワークインターフェースを介して、前記クロスプレーンフィルタを前記領域に適用するためのインジケーションを送信するようにさらに構成されたことを特徴とする請求項20に記載のビデオコーディングデバイス。
JP2015534732A 2012-09-28 2013-09-27 ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング Active JP6175505B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261707682P 2012-09-28 2012-09-28
US61/707,682 2012-09-28
US201361762611P 2013-02-08 2013-02-08
US61/762,611 2013-02-08
US201361778218P 2013-03-12 2013-03-12
US61/778,218 2013-03-12
US201361845792P 2013-07-12 2013-07-12
US61/845,792 2013-07-12
PCT/US2013/062133 WO2014052731A2 (en) 2012-09-28 2013-09-27 Cross-plane filtering for chroma signal enhancement in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017134656A Division JP6671321B2 (ja) 2012-09-28 2017-07-10 ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング

Publications (2)

Publication Number Publication Date
JP2015531569A true JP2015531569A (ja) 2015-11-02
JP6175505B2 JP6175505B2 (ja) 2017-08-02

Family

ID=50385193

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015534732A Active JP6175505B2 (ja) 2012-09-28 2013-09-27 ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
JP2017134656A Active JP6671321B2 (ja) 2012-09-28 2017-07-10 ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
JP2019200726A Active JP7433019B2 (ja) 2012-09-28 2019-11-05 ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
JP2022189177A Pending JP2023011047A (ja) 2012-09-28 2022-11-28 ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2017134656A Active JP6671321B2 (ja) 2012-09-28 2017-07-10 ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
JP2019200726A Active JP7433019B2 (ja) 2012-09-28 2019-11-05 ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
JP2022189177A Pending JP2023011047A (ja) 2012-09-28 2022-11-28 ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング

Country Status (7)

Country Link
US (4) US10397616B2 (ja)
EP (2) EP3661215A1 (ja)
JP (4) JP6175505B2 (ja)
KR (2) KR102028244B1 (ja)
CN (3) CN109327704B (ja)
TW (1) TWI652935B (ja)
WO (1) WO2014052731A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022539656A (ja) * 2019-08-20 2022-09-13 キヤノン株式会社 クロマのためのクロスコンポーネント適応(アダプティブ)ループフィルタ

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150036744A1 (en) * 2012-05-02 2015-02-05 Sony Corporation Image processing apparatus and image processing method
TWI652935B (zh) 2012-09-28 2019-03-01 Vid衡器股份有限公司 視訊編碼方法及裝置
US9648353B2 (en) 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
KR102209067B1 (ko) * 2013-04-05 2021-01-28 삼성전자주식회사 필터링과 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
US10708588B2 (en) * 2013-06-19 2020-07-07 Apple Inc. Sample adaptive offset control
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
GB201500719D0 (en) * 2015-01-15 2015-03-04 Barco Nv Method for chromo reconstruction
US10972728B2 (en) * 2015-04-17 2021-04-06 Interdigital Madison Patent Holdings, Sas Chroma enhancement filtering for high dynamic range video coding
CN113810691A (zh) * 2015-07-08 2021-12-17 交互数字麦迪逊专利控股公司 用于使用交叉平面滤波的增强色度编码的方法和装置
WO2017019818A1 (en) 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
US10009622B1 (en) * 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
WO2017123487A1 (en) 2016-01-15 2017-07-20 Vid Scale, Inc. System and method for enhanced motion compensation using adaptive filtering
WO2019147403A1 (en) 2018-01-29 2019-08-01 Interdigital Vc Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
CN112789853A (zh) * 2018-06-21 2021-05-11 交互数字Vc控股公司 视频编码和解码中的细化模式处理
KR20200081327A (ko) * 2018-12-27 2020-07-07 인텔렉추얼디스커버리 주식회사 영상 부/복호화 방법 및 장치
JP7119236B2 (ja) 2019-01-09 2022-08-16 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド クロスコンポーネント線形モデルを用いたビデオコーディング
US11234010B2 (en) 2019-08-28 2022-01-25 Qualcomm Incorporated Cross-component adaptive loop filtering for video coding
US11356707B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorporated Signaling filters for video processing
EP4042684A4 (en) 2019-10-29 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SIGNALING AN ADAPTIVE CROSS-COMPONENT LOOP FILTER
US11303936B2 (en) * 2020-02-21 2022-04-12 Tencent America LLC Method and apparatus for filtering
WO2021203394A1 (zh) * 2020-04-09 2021-10-14 北京大学 环路滤波的方法与装置
CN115834912A (zh) * 2020-06-03 2023-03-21 北京达佳互联信息技术有限公司 对视频进行编码的方法和装置
CN116325734A (zh) * 2020-09-23 2023-06-23 北京达佳互联信息技术有限公司 具有虚拟边界的跨分量样点自适应偏移中的色度编解码增强
WO2022164757A1 (en) * 2021-02-01 2022-08-04 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component sample adaptive offset
WO2022170073A1 (en) * 2021-02-08 2022-08-11 Beijing Dajia Internet Information Technology Co., Ltd. Cross-component adaptive loop filter
EP4295576A1 (en) * 2021-02-22 2023-12-27 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement cross-component sample adaptive offset
CN113099221B (zh) * 2021-02-22 2023-06-02 浙江大华技术股份有限公司 跨分量样点自适应补偿方法、编码方法及相关装置
JP2024509801A (ja) * 2021-03-18 2024-03-05 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 成分間サンプル適応オフセットにおけるコーディングの強化
WO2024076141A1 (ko) * 2022-10-05 2024-04-11 엘지전자 주식회사 포스트 디코딩 필터에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001999A1 (ja) * 2008-07-04 2010-01-07 株式会社 東芝 動画像符号化/復号化方法及び装置
WO2013164922A1 (ja) * 2012-05-02 2013-11-07 ソニー株式会社 画像処理装置及び画像処理方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4701783A (en) * 1982-09-14 1987-10-20 New York Institute Of Technology Technique for encoding and decoding video with improved separation of chrominance and luminance
US7102669B2 (en) * 2002-04-02 2006-09-05 Freescale Semiconductor, Inc. Digital color image pre-processing
KR20040043750A (ko) * 2002-11-19 2004-05-27 엘지전자 주식회사 디지털 영상기기의 크로스 필터 효과 구현방법
US7333544B2 (en) * 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7822286B2 (en) 2003-11-07 2010-10-26 Mitsubishi Electric Research Laboratories, Inc. Filtering artifacts in images with 3D spatio-temporal fuzzy filters
KR100754388B1 (ko) 2003-12-27 2007-08-31 삼성전자주식회사 레지듀 영상 다운/업 샘플링 방법 및 장치와 그를 이용한영상 부호화/복호화 방법 및 장치
US7397515B2 (en) * 2004-01-30 2008-07-08 Broadcom Corporation Method and system for cross-chrominance removal using motion detection
US8391672B2 (en) * 2004-02-06 2013-03-05 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
EP1858014B1 (en) * 2004-06-02 2009-11-18 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
JP2008516556A (ja) 2004-10-13 2008-05-15 トムソン ライセンシング コンプレクシティスケーラブル映像符号化復号化方法及び装置
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
TWI314720B (en) * 2005-05-31 2009-09-11 Himax Tech Inc 2d yc separation device and yc separation system
US7551232B2 (en) 2005-11-14 2009-06-23 Lsi Corporation Noise adaptive 3D composite noise reduction
CN101009842B (zh) * 2006-01-11 2012-02-01 华为技术有限公司 可分级视频压缩中插值的方法与装置
CN101496406B (zh) * 2006-03-23 2012-02-01 三星电子株式会社 图像编码/解码方法和设备
US7579670B2 (en) * 2006-07-03 2009-08-25 Semiconductor Components Industries, L.L.C. Integrated filter having ground plane structure
KR101266168B1 (ko) * 2006-08-16 2013-05-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
CN101702963A (zh) * 2007-03-15 2010-05-05 诺基亚公司 用于为视频编码中的空间可伸缩性提供改进的残差预测的系统和方法
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US8270472B2 (en) 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US8270466B2 (en) 2008-10-03 2012-09-18 Sony Corporation Adaptive decimation filter
CN101404765B (zh) * 2008-10-24 2010-12-08 宁波大学 一种交互式多视点视频编码方法
CN101778371B (zh) 2009-01-09 2012-08-29 电信科学技术研究院 寻呼方法及装置
KR20110009058A (ko) * 2009-07-20 2011-01-27 삼성전자주식회사 계층 구조의 영상 부호화/복호화에서 색 채널을 부호화/복호화하는 방법 및 장치
JPWO2011033643A1 (ja) * 2009-09-17 2013-02-07 株式会社東芝 動画像符号化方法及び動画像復号化方法
EP2486731B1 (en) * 2009-10-05 2018-11-07 InterDigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
US8593483B2 (en) * 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
KR101682147B1 (ko) 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
CN201726499U (zh) * 2010-05-04 2011-01-26 武汉光华芯科技有限公司 复合视频信号亮色分离系统
CN101902653B (zh) * 2010-06-25 2013-04-24 杭州爱威芯科技有限公司 一种基于亮度样本的方向预测的场内yc分离方法
US20120008687A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Video coding using vector quantized deblocking filters
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
US9693070B2 (en) 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
EP2849444A3 (en) 2011-06-28 2015-06-24 Samsung Electronics Co., Ltd Video encoding method using merge information to code offset parameters and apparatus therefor, video decoding method and apparatus therefor
US9641866B2 (en) 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
US9344715B2 (en) 2011-11-07 2016-05-17 Futurewei Technologies, Inc. Angular table for improving intra prediction
EP2804377A4 (en) 2012-01-13 2015-12-09 Sharp Kk Image Decoding Device, Image Coding Device and Data Structure of the Coded Data
US9380302B2 (en) 2012-02-27 2016-06-28 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US20140086316A1 (en) * 2012-09-24 2014-03-27 Louis Joseph Kerofsky Video compression with color space scalability
TWI652935B (zh) 2012-09-28 2019-03-01 Vid衡器股份有限公司 視訊編碼方法及裝置
KR102257542B1 (ko) 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
US9357211B2 (en) 2012-12-28 2016-05-31 Qualcomm Incorporated Device and method for scalable and multiview/3D coding of video information
WO2014115283A1 (ja) 2013-01-24 2014-07-31 シャープ株式会社 画像復号装置、および画像符号化装置
WO2014163241A1 (ko) 2013-04-02 2014-10-09 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
US9503732B2 (en) 2013-04-10 2016-11-22 Arris Enterprises, Inc. Re-sampling with phase offset adjustment for luma and chroma to select filters in scalable video coding
US8810727B1 (en) 2013-05-07 2014-08-19 Qualcomm Technologies, Inc. Method for scaling channel of an image
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
WO2015003753A1 (en) 2013-07-12 2015-01-15 Nokia Solutions And Networks Oy Redirection of m2m devices
US10129542B2 (en) 2013-10-17 2018-11-13 Futurewei Technologies, Inc. Reference pixel selection and filtering for intra coding of depth map
WO2015062098A1 (zh) 2013-11-01 2015-05-07 华为技术有限公司 一种网络选择方法及核心网设备
EP3286918A1 (en) 2015-04-21 2018-02-28 VID SCALE, Inc. Artistic intent based video coding
JP6750234B2 (ja) 2016-01-28 2020-09-02 横浜ゴム株式会社 タイヤ運用サービスシステムおよび方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001999A1 (ja) * 2008-07-04 2010-01-07 株式会社 東芝 動画像符号化/復号化方法及び装置
WO2013164922A1 (ja) * 2012-05-02 2013-11-07 ソニー株式会社 画像処理装置及び画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNGSUN KIM,ET.AL.: "New intra chroma prediction using inter-channel correlation", JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 2ND ME, vol. JCTVC-B021, JPN6016018834, 16 July 2010 (2010-07-16), US, pages P.1-P.9 *
SANG HEON LEE,NAM IK CHO: "INTRA PREDICTION METHOD BASED ON THE LINEAR RELATIONSHIP BETWEEN THE CHANNELS FOR YUV 4:2:0 INTRA CO", 2009 16TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING(ICIP), vol. 7-10 Nov.2009, JPN6016018833, 7 November 2009 (2009-11-07), US, pages 10 - 0, XP031628426, DOI: doi:10.1109/ICIP.2009.5413727 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022539656A (ja) * 2019-08-20 2022-09-13 キヤノン株式会社 クロマのためのクロスコンポーネント適応(アダプティブ)ループフィルタ
JP7308983B2 (ja) 2019-08-20 2023-07-14 キヤノン株式会社 クロマのためのクロスコンポーネント適応(アダプティブ)ループフィルタ

Also Published As

Publication number Publication date
US20190327494A1 (en) 2019-10-24
EP2901703A2 (en) 2015-08-05
JP6175505B2 (ja) 2017-08-02
CN109327704B (zh) 2021-06-18
KR20150065766A (ko) 2015-06-15
WO2014052731A3 (en) 2014-10-23
US20200404341A1 (en) 2020-12-24
WO2014052731A2 (en) 2014-04-03
KR20160105944A (ko) 2016-09-07
JP2020036353A (ja) 2020-03-05
US20140092999A1 (en) 2014-04-03
KR102028244B1 (ko) 2019-10-02
CN109327704A (zh) 2019-02-12
KR101654814B1 (ko) 2016-09-22
CN104769950B (zh) 2018-11-13
CN104769950A (zh) 2015-07-08
JP6671321B2 (ja) 2020-03-25
TW201436530A (zh) 2014-09-16
US11356708B2 (en) 2022-06-07
JP2017200235A (ja) 2017-11-02
EP3661215A1 (en) 2020-06-03
US20220286712A1 (en) 2022-09-08
CN113518228A (zh) 2021-10-19
JP2023011047A (ja) 2023-01-20
US10798423B2 (en) 2020-10-06
JP7433019B2 (ja) 2024-02-19
US10397616B2 (en) 2019-08-27
TWI652935B (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
JP7433019B2 (ja) ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
JP6694031B2 (ja) 3次元ベースのカラーマッピングでのモデルパラメータ最適化のためのシステムおよび方法
JP6421224B2 (ja) マルチレイヤビデオコーディングにおける空間レイヤのためのサンプリンググリッド情報
KR101774675B1 (ko) 다층 비디오 코딩을 위한 적응적 업샘플링
CN107534769B (zh) 用于高动态范围视频译码的色度增强滤波
JP2018160911A (ja) ビデオ符号化のための成分間相関解除
JP6397902B2 (ja) スケーラブルビデオ符号化のためのレイヤ間予測
TW201717627A (zh) 具多作業模式高動態範圍視訊編碼架構
TW201637448A (zh) 非4:4:4螢幕內容視訊調色盤編碼

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160524

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170710

R150 Certificate of patent or registration of utility model

Ref document number: 6175505

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250