JP2021101541A - マルチコンポーネント画像またはビデオ符号化のコンセプト - Google Patents

マルチコンポーネント画像またはビデオ符号化のコンセプト Download PDF

Info

Publication number
JP2021101541A
JP2021101541A JP2021024168A JP2021024168A JP2021101541A JP 2021101541 A JP2021101541 A JP 2021101541A JP 2021024168 A JP2021024168 A JP 2021024168A JP 2021024168 A JP2021024168 A JP 2021024168A JP 2021101541 A JP2021101541 A JP 2021101541A
Authority
JP
Japan
Prior art keywords
component
prediction
signal
icp
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021024168A
Other languages
English (en)
Other versions
JP7223045B2 (ja
Inventor
トゥン グエン
Nguyen Tung
トゥン グエン
アブデルハミド アリ アテフ イブラヒム ハイラト
Atef Ibrahim Khairat Abdelhamid Ali
アブデルハミド アリ アテフ イブラヒム ハイラト
デトレフ マルペ
Detlev Marpe
デトレフ マルペ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Video Compression LLC
Original Assignee
GE Video Compression LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Video Compression LLC filed Critical GE Video Compression LLC
Publication of JP2021101541A publication Critical patent/JP2021101541A/ja
Priority to JP2023015016A priority Critical patent/JP2023065387A/ja
Application granted granted Critical
Publication of JP7223045B2 publication Critical patent/JP7223045B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

【課題】より高い符号化効率を可能にするマルチコンポーネント画像又はビデオ符号化のコンセプトを提供する。【解決手段】デコーダ10におけるマルチコンポーネント画像またはビデオ符号化概念の符号化効率は、再構築された第1のコンポーネント信号および再構築された第2のコンポーネント信号からコンポーネント間予測を使用しているマルチコンポーネントビデオの第3のコンポーネントに関する第3のコンポーネント信号を再構築することによって、改善される。【選択図】図2

Description

本発明は、例えば、カラー画像またはビデオの符号化など、マルチコンポーネント画像またはビデオ符号化に関する。
着色した画像およびビデオは3つか4つの局面で、所謂、色空間を使っていることが表わされており、そして、局面は、コンポーネントとも呼ばれる。3つのコンポーネントの色空間のための例は、R'G'B'色空間である。この色空間では、原色の赤(R')、緑(G')、青(B')は、3次元色立方体の基礎を形成する。しかしながら、信号処理アプリケーション空間では、画像およびビデオ圧縮の場合の消費電力、実装コスト、または圧縮効率の点で高効率を達成するために異なるコンポーネント間の相関を最小にすることは、重要である。したがって、R'G'B’信号は、輝度と呼ばれる第1のコンポーネント(Y')とクロマ要素と呼ばれる残りの2つのコンポーネント(Cbr)でY'Cbrにしばしば変換される。R'G'B'色空間と対照的に、Y'Cbrの彩度構成要素の値は、主要な青または赤と比較して色の違いを意味している。したがって、彩度エネルギーは、多くの場合、低減され、従って、より高い圧縮効率をもたらす。しかし、一定の変換、すなわち、Y'Cbrへの変換のR'G'B'の応用のために、結果として生じる出力は、しばしば局所的に最適ではない。そのような種類の限界を克服するという可能性は、カラーコンポーネント間の局所的な予測の応用である。このような予測は、多くの場合、コンポーネント間予測(ICP)と呼ばれている。ICPは、R'G'B'とY'Cbrの両方の信号に適用することができる。第1のケースでは、ICPは、クロマ要素のためにエネルギーの減少をもたらし、そして、それゆえに、それは外部の色空間変換の代替として扱うことができる。第2のケースでは、ICPによるアプローチは、異なる色成分間のさらなる非相関ステップとして処理することができ、そして、それゆえに、ICPによるアプローチは、より高い圧縮効率に終わる。簡略化のために、天然であるか入力された色空間に関係なく、残りの説明は、第1の成分および主成分と、第1のクロマまたは第2のクロマ要素とを示す
ために、また、それぞれ、CbまたはCrは、2つの残りのクロマ要素を示すために、輝度またはY'に言及する。処理命令が若干のアプリケーションのために連続して起こること
がありえて、クロマコンポーネントの順序が重要でありえる点に注意することは、重要である。
しかしながら、例えば、クロマ要素に基づいて1つのクロマ要素を予測して、他のクロマ要素のために同じようにすることによって、ICPは、やるとしても、ペアで適用される。しかしながら、さらに符号化効率を高めるできることが、有利であろう。
本発明の目的は、より高い符号化効率を可能にするマルチコンポーネント画像またはビデオ符号化のコンセプトを提供することである。
この目的は、本願の独立請求項の主題によって達成される。
マルチコンポーネント画像の符号化効率またはビデオ符号化のコンセプトは、再構築された第1のコンポーネント信号と再構築された第2のコンポーネント信号からコンポーネント間予測を用いて、マルチコンポーネントビデオの第3のコンポーネントに関する第3のコンポーネント信号を再構築することによって改善されるかもしれないことは、本発明の基本的な発見である。
本発明の実施形態によれば、異なるICP符号化モードとの間で、異なるまたはマルチコンポーネント画像またはビデオのICPモード部分の単位の中で、データストリームの複数のソースICP信号の送信が、切り替わるように用いられる。ICP符号化モードは、複数のソースICP符号化モードおよび少なくとも1つの非ICP符号化モードを含む。マルチコンポーネント画像のICPモード部分または複数のソースICP符号化モードがあてはまるビデオにおいて、マルチコンポーネント画像またはビデオの画像のサブ部分のために、同上が再構築された第1のコンポーネント信号の空間的に対応する部分か、再構築された第2のコンポーネント信号の空間的に対応する部分か、両方の組合せから予測されるコンポーネント間予測があるかどうか、信号の送信は、サブ部分ごとに指し示しているデータストリームにおいて提供される。少なくとも1つの非ICP符号化モードにおいて、再構築された第1のコンポーネント信号の空間的に対応する部分と再構築された第2のコンポーネント信号の空間的に対応する部分との間のこの種の組合せまたは変化は、利用できない。ICPは、非ICP符号化モードのICPモード部分において、完全にスイッチを切ってもよいし、または、ICPは、単に、第1および第2のコンポーネント信号の固定されたもの1つだけに関して利用してもよい。ICPモード部分は、単一の画像、単一の画像シーケンスまたは単一スライスまたは連続して符号化された画像、画像シーケンスまたはスライスであり得る。
本発明の実施形態によるマルチソースICPのサブピクチャ粒度のパラメータ化に関与することができる少なくとも一つの非ICP符号化モード、任意の付加的な信号の送信オーバーヘッドと符号化モード複数のソースICPの並置によって、そして、非ICP符号化モードに関連して符号化複数のソースICPの場合において増加し得るビデオの部分に制限することができ、少なくとも1つの非ICP符号化モードと、複数のソースICP符号化モードを並置することにより、任意の付加的な信号化オーバーヘッドは、ここで、本発明の実施形態に係るマルチソースICPのサブピクチャ粒度のパラメータ化に関与することができ、そして、それは、非ICP符号化モードに関連する複数のソースICP符号化モードの場合に増加することができ、この付加的な信号の送信オーバーヘッドは、コンポーネント間予測のために利用できる複数のコンポーネントのソースによって得られた符号化効率の向上によって過補償されたビデオの部分に制限されることがある。
実施例によれば、第1のコンポーネントは、輝度であり、第2のコンポーネントは第1のクロマ成分であり、そして、第3のコンポーネントは、第2のクロマ成分である。その場合、輝度成分を基礎とした第2のクロマ成分および更なる第1のクロマ成分の合同のコンポーネント間予測は、例えば、変換およびエントロピー符号化を使用して符号化される残余を非相関することを改善する。
実施形態によれば、データストリーム内の明示的なICPソース信号化は、再構築された第1のコンポーネント信号の空間的に対応する部分からコンポーネント間予測を使っているマルチコンポーネント画像またはビデオの現在の画像の中の第3のコンポーネント信号を再構築すること、および、再構築された第2のコンポーネント信号の空間的に対応する部分からコンポーネント間予測を使っているマルチコンポーネント画像またはビデオの現在の画像の中の第3のコンポーネント信号を再構築することの間で、サブピクチャ粒度で、切り替わるように使われる。信号の送信オーバーヘッドにもかかわらず、この手段によって利用可能な予測の改善により、信号の送信オーバーヘッドを過補償する。それによって、より高い符号化効率をもたらす。あるいは、暗黙の潜在している信号化を用いてもよい。使われる信号の送信のタイプにかかわりなく、サブピクチャ粒度は、すなわち、第3のコンポーネント信号の再構築が空間的、時間的との間の切り替え、および/または視点間予測モードの間で切り替わる粒度と一致する可能性がある。第3のコンポーネント信号を再構築することでの空間的、時間的および/またはインタビュー予測モードの間のスイッチング並びに第1のコンポーネント信号に基づく稼働ICPと第2のコンポーネント
信号の間のスイッチングは、それぞれ、予測ブロックの単位または、別の表現を用いて、符号化ユニットを用いて実行することができる。代替的に、変換ブロックを使用することができる。
ICPは、線形予測を使って実行することができる。この際、データストリームのICP予測パラメータの信号の送信は、再構築された第1のコンポーネント信号と再構築された第2のコンポーネント信号がサブピクチャ粒度でコンポーネント間予測に線形に関与する重さを変えるように用いることが可能である。すなわち、2つの重み付けは、2つのソースを使用して、両方の加重和がコンポーネント間予測を得るように、サブピクチャ粒度でデータストリームにおいて送信することが可能であり、その内の一方は、再構築された第1のコンポーネント信号および再構築された第2のコンポーネント信号のための重み付けを示し、もう一方は、その他の重み付けのシグナリングの信号を送信する。それにもかかわらず、十分な非相関性の向上を達成しながら、線形予測を使用して、ICP予測パラメータ信号のオーバーヘッドは妥当なコストで維持することができる。上記のように、重み付けは、予測ブロック単位でデータストリームにおいてシグナリングまたはブロックを変換することができる。重み付けのために利用可能な値は、ゼロの周りに分配されてもよいし、ゼロを含むことができる。
実施形態によれば、直前に概説したICP予測パラメータ信号化は、ICPソースインジケータの条件付き信号の送信を含むことができる。この措置により、ICP予測パラメータ信号の送信に関連したシグナリングオーバーヘッドがさらに低減される。
重み付けの符号が符号に従いコンテキストモデリングを用いて、その後、符号化されている重み付けの絶対値で最初に符号化されるように、ICP予測パラメータの信号の送信は、ある意味では重み付けの符号化を含む。この処置によって、絶対値がそうである場合があるエントロピーの符号化/復号化に用いられる可能性は、符号に依存して設定することができ、それによって、用いられる使われる確率のより近い適合のために、改善された圧縮率に終わる。
本発明の実施形態によれば、コンポーネント間予測は、コンポーネント間方法の第3のコンポーネント信号を再構築する際に用いられる空間的、時間的および/または視点間予測残差の予測上へ適用される。換言すれば、コンポーネント間予測は、第3のコンポーネント信号の、空間的、時間的および/またはコンポーネント間予測と比較して、一種の第2段階の予測を表している。同様に、再構成された第1のコンポーネント信号と再構成された第2のコンポーネント信号は、マルチコンポーネント画像またはビデオ信号の第1および第2のコンポーネントに対して行うコンポーネント間の空間的、時間的および/または視点間予測の予測残差を表すことができる。
コンポーネント間予測は、空間領域またはスペクトル領域で実行することができる。
他の実施形態によれば、データストリーム内の明確なICPソースの信号の送信は、第1のサブピクチャ粒度で利用できるICPソースを切り替えるために用いられる。その一方で、ICPは、シグナリングICPソースに関して実行された方法により、予測モデルを調整するために、データストリーム内のICP予測パラメータの信号の送信が使われる。そこにおいて、明示的なICPソースの信号の送信のエントロピー符号化/復号化は、第2の粒度でICP予測パラメータの信号の送信に従って調整される予測モデルの予測パラメータに依存しているコンテキストモデルの使用法を含む。この計測によって、両方の信号の送信間の相関は、すなわちICPソースを信号化し、ICP予測パラメータの信号の送信をすることにより、さらなる信号のシグナリングオーバーヘッドを減少させるために利用することができる。
さらなる実施形態によれば、再構成された第3のコンポーネント信号と再構成された第2のコンポーネント信号をスワップするように、データストリームにおけるスワップ信号の送信が用いられる。例えば、1つの画像の範囲内で1つのサブブロックが第2のクロマ成分を予測しているコンポーネント間予測のための利用できる輝度および第1のクロマ成分を有するように、例えば、1つの画像の範囲内で、スワップ信号の送信は、第1の、第2の、および、第3のコンポーネントの中のサブピクチャ粒度で命令を変える。その一方で、他のサブブロックは第1のクロマ成分を予測しているコンポーネント間で使用可能な輝度成分および第2のクロマ成分を有している。
実施形態によれば、画像の特定のブロックのためのICPソースインジケータの符号化は、第3のコンポーネントおよび第2のコンポーネントのためのICP予測パラメータの信号の送信のために、以前に符号化されたICPの予測パラメータの信号の送信の差に依存してレンダリングされる。差分が所定の限度を超えた場合に、ICPソースインジケータは、各ブロックについて存在しない。ICPソースインジケータは、その場合には、第3のコンポーネント信号に対するICPソースとして再構成された第2のコンポーネント信号を示すために推測することができる。換言すると、現在のブロックのために送信されるICPの予測パラメータは、第2および第3のコンポーネントに関する限り、ICPのように十分に類似している場合、すべてのコンポーネントのコンポーネント信号は、第3のコンポーネントのためのICPのための基準を示すICPソースインジケータと極めて類似していると仮定することができる。そして、ICP予測パラメータが異なる場合には、第2のコンポーネントのためのICPの代わりに基礎として第1のコンポーネントを使用しながら、第3のコンポーネントのためにICPを基礎として第2のコンポーネントを使用すると仮定することができる。第1のケースは、RGB色成分の場合に発生しやすくなり、そして、可能性がより高い第2のケースは、YCC色成分の場合に発生しやすくなる。この計測によって、符号化効率は、ICPシグナリングのためのサイド情報オーバーヘッドを低下させることによって、増加させることができる。
本発明の実施形態の有利な実装形態は、従属請求項の主題である。
本発明の好ましい実施形態は、図面に関連して以下に記載されている。
図1は、本出願の実施形態に係るデコーダのブロック図を示す。 図2は、コンポーネント間予測残差にICPを適用し、本出願の実施形態のデコーダのブロック図を示す。 図3は、実施形態に係る図1のデコーダに適合するエンコーダのブロック図を示す。 図4は、実施形態に係る図2のデコーダに適合するエンコーダのブロック図を示す。 図5Aは、複数のソースICPの信号の送信が、複数のソースICPのオン/オフを切り替え可能である実施形態の概略図を示す。 図5Bは、ICPの信号化が、重み付けおよびICPソースインジケータの形でICP予測モードパラメータを含む、実施形態に係るマルチソースICPモジュールの実施形態のブロック図を示す。 図5Cは、ICPの信号の送信が、利用可能なICPソース当たりの重み付けの形態におけるICP予測モードパラメータを含む、実施形態に係るマルチソースICPモジュールの実施形態のブロック図を示す。 図5Dは、図5Bおよび5Cに従って空間領域において実行されるマルチソースICPによって、マルチソースICPモジュールのための実施例のブロック図を示す。 図5Eは、図5Bおよび5Cに従って空間領域において実行されるマルチソースICPによって、マルチソースICPモジュールのための実施例のブロック図を示す。 図5Fは、図5Bおよび5Cに従って空間領域において実行されるマルチソースICPによって、マルチソースICPモジュールのための実施例のブロック図を示す。 図5Gは、図5Bおよび5Cに従って空間領域において実行されるマルチソースICPによって、マルチソースICPモジュールのための実施例のブロック図を示す。 図6は、第3のコンポーネントのためのICPパラメータデータが、重み付けとソースフラグを含む実施形態に従ったデコーダおよびエンコーダにおけるICPパラメータデータの処理のフロー図を示す。 図7は、ICPパラメータデータが利用可能なICPソースの加重和の重み付けを備えた実施の形態に従った第3のコンポーネントのためのICPパラメータデータの処理のフロー図を示す。 図8は、ICP効率を向上させるために、スワップコンポーネントを使用した場合の第2および第3のコンポーネントのためのICPパラメータデータの処理を例示しているブロック線図を示す。 図9は、異なる粒度でソースフラグおよび重み付けをシグナリングする可能性を示すための画像の概略図を示す。
図1は、本出願の実施形態に係るデコーダのブロック図を示す。デコーダは、一般的に参照符号10を用いて示されており、空間データストリームからの異なるコンポーネントに関して、シーンをサンプリングするマルチコンポーネントビデオを復号化するように構成されている。特に、デコーダ10において、データストリーム12は、デコーダ10に入る入力と、復号により再構築されるようにマルチコンポーネントビデオが出力される出力、すなわち出力14とを含む。図1は、例示的に、時間軸が水平に延びると共に他方を上にして配置されたものであるように、1つの時刻に属する画像18を図示することによって、各時刻のための3つの成分A、BおよびCの1つ毎に1つの画像18を含むように、16でマルチコンポーネントビデオを例示している。しかしながら、3つ以上のコンポーネントが存在し得ることに留意すべきである。上記で概説し、以下にさらに概説するように、コンポーネントA、BおよびCは、R、GおよびB又は1つの輝度および2つのクロマ成分等の色成分とすることができる。あるいは、しかしながら、コンポーネントは、例えば、可視波長範囲などの外側に存在する他の波長に関連するコンポーネントとして、シーンの別の特性に関連していてもよい。また、コンポーネントは、シーンの電磁スペクトルのうち周波数またはその断片に限定されるものではない。むしろ、コンポーネントは、例えば、反射率等のためのような他の物理パラメータに少なくとも部分的に、例えば、関連することができる。図1は、異なるコンポーネントの画像18が同じサイズであり、それに応じて空間的に同じ空間解像度でシーンをサンプリングすることを示唆するが、空間分解能は、コンポーネント間で異なっていてもよい。後者の状況は、原理的にも、時間分解能に適用することができる。つまり、画像レートは、コンポーネントA〜C間で異なる可能性がある。異なっていない場合には、用語「画像」は、代わりに、一般的に一度の時刻ですべてのコンポーネントA〜Cのサンプルを示すために使用することができる。
内部的に、デコーダ10は、データストリーム12からマルチコンポーネントビデオ16の第1のコンポーネントAに関する第1のコンポーネント信号22を再構成するための第1のモジュール20を含み、同様に、データストリーム12からマルチコンポーネントビデオ16の第2のコンポーネントBに関する第2のコンポーネント信号26を再構成するための第2のモジュール24、および、マルチコンポーネントビデオ16の第3のコン
ポーネントCに関する第3のコンポーネント信号30を再構成するためのモジュール28を含み、後者のモジュール28は、第1のコンポーネント信号および第3のコンポーネント信号30を再構成する第2のコンポーネントの信号22および26からのコンポーネント間予測を使用するために、第1および第2のモジュール20および24の出力に接続された入力を有する。モジュール28は、コンポーネントCに関する第3のコンポーネント信号を再構築するために、第1および第2のコンポーネントAおよびBの信号22および26を使用するように、モジュール28によって用いられるコンポーネント間予測を向上させることができ、これにより、図1のデコーダ10が帰属するコーデックによって、達成可能な符号化効率を上昇させる。
以下にさらに詳細に概説されるように、モジュール24、20および28は、実際には、各成分A、BおよびCのための1つのそのようなハイブリッド系の復号化ブランチが存在して、ハイブリッドベースの復号化ブランチの部分とすることができる。図1において、符号化分岐32Aは、モジュール20を含み、データストリーム12からの第1のコン
ポーネントAを再構築するように構成され、符号化分岐32Bは、モジュール24を含み
、データストリーム12からのコンポーネントBを再構築するように構成され、復号化分岐32Cは、モジュール28を含み、データストリーム12からのコンポーネントCを再
構築するように構成されていて、そのような復号化分岐は、点線32A、32Bと32C
よって例示されている。特に、下で更に詳細に概説されるように、モジュール20と24で再建されて、モジュール28でコンポーネント間予測のために用いられる第1および第2のコンポーネント信号22および26は、実際に、予測残差を表わすことができる。再構成された第1のコンポーネント信号22は、例えば、分岐部32Aを復号化することに
よって実行されるコンポーネント間予測の予測残差、すなわち、単独のコンポーネントAの画像18の既に再構成された部分に基づいて、モジュール20によって実行されるコンポーネント間予測の予測残差を表すことができ、コンポーネント間予測は、空間的、時間的、および/または視点間予測であってもよい。同様に、第2のコンポーネント信号26は、復号化分岐32Bを実行することによって行われるコンポーネント間予測の予測残差
を意味することができる。すなわち、単にコンポーネントBの画像18の既に再構成された部分に基づくだけの予測残差を表すことができる。そこにおいて、このコンポーネント間予測は、空間的、時間的、および/または視点間予測である場合がある、同様に、再構成された第3のコンポーネント信号30は、復号化分岐32Cを実行することにより行う
コンポーネント間予測の予測残差を意味することができる。すなわち、単にコンポーネントCの画像18の既に再構成された部分に基づいてだけ行う予測残差を表わすことができる。そこにおいて、このコンポーネント間予測はまた、空間的、時間的、および/または視点間予測であってもよい。すなわち、空間的、時間的および/または視点間予測が用いられるかどうかにかかわらず、モジュール20、24や28で実行され視点間予測は、予測モードに関して変化してもよい。たとえば、予測モードは、コーディング装置、あるいは、別の文言を用いると、予測ブロック、すなわち、それぞれの符号化装置またはデータストリーム12内に信号を送るために用いられる予測モードを有する画像18の下位部分の単位で変化する。予測モードは、一般的にコンポーネントA、BおよびCについて、または個別に、または、さらにもっと、一方では第1のコンポーネントA、別途、他方では第2および第3のコンポーネントBおよびCについて、データストリーム12にシグナリングすることができる。データストリーム12でこのコンポーネント間予測の信号の送信に加えて、モジュール20、24および28は、コンポーネントに特有の信号が送られた予測残余のデータを受信する。予測残差データは、スペクトル分解の変換係数の形で、または空間領域において残留サンプルの形で、変換領域内のデータストリームに送信することができる。スペクトル領域において信号が送られる場合、コンポーネント間予測は、空間領域および/またはスペクトル領域において実行することもできる。データストリーム12のICP領域インジケータは、コンポーネント間予測が実行された領域を変化させることができる。例えば、前記の予測ブロックの単位において、または、前記のスペクトル
分解が実行される単位の変換ブロックの単位においてなど、ICP領域インジケータは、例えば、画像シーケンス、1つの画像またはサブピクチャ粒度で領域を変化させることができる。
モジュール24がコンポーネント間予測、すなわち、モジュール20の出力からモジュール24の入力まで通じている破線の分岐によって示される再構築された第1のコンポーネント信号20を基礎としたコンポーネント間予測を用いることもできることは、後述する。すなわち、モジュール24は、コンポーネントBの範囲内でコンポーネント間予測のための予測残差を受信するように、第1〜第2のコンポーネント、すなわち、A〜BのICP予測の予測残差信号として、信号が送られた残差信号を受信することができる。ICP予測が第1のコンポーネント信号22を基礎としてあって、第3のコンポーネントCに関するICPのためのモジュール28により用いられる第2のコンポーネント信号26は、結合されるか、まだ結合されないコンポーネントBへの信号が送られた残査信号を基礎としたモジュールの24の再構築の結果であり得る。
また、以下でより詳細に概説されるように、ICPの予測モジュール28によって実行される(および必要に応じてモジュール24によって)パラメータを受けることができる。このパラメータ表示は、例えば、第1および第2のコンポーネント信号22および26を基礎として、サブピクチャ粒度で第1のコンポーネント信号22、第2のコンポーネント信号26およびそれらの組み合わせの中の選択に関して、例えば、第3のコンポーネントまたは同様のもののICP予測に、第1および第2のコンポーネント信号22および26が貢献する重み付けに関して、加重和の形でモジュール28のICPを変更する。さらに、データストリーム内で複数の送信元のICP信号化は、モジュール28内のICPのための第1のコンポーネント信号22に加えて、第2のコンポーネント信号26の一般的な可用性または使用不能をシグナリングすることができる。このような複数のソースICPの信号化の範囲は、完全なビデオ、単一の画像または時刻または画像や時間インスタンスまたはスライスの配列またはスライスのシーケンスに関連してもよい。
特定の可能性がモジュール28のICPがどのようにデータストリーム12でそれぞれの信号の送信によって、どのようにしてパラメータ化され、変化することができるかについて、どれによって議論されるかについて、さらに概説されるいろいろな具体化の理解を容易にするために、図2は、図1のデコーダのより具体的な実施例を示すデコーダの一実施形態、すなわち、構成している信号22、26と30が、個々の復号化分岐32A〜3
Cの中で実行されるコンポーネント間予測の予測残差に関するものである。図2を説明
した後に、図3および4は図1および2の実施例に適合しているエンコーダの実施形態を簡潔に提示している。そして、図1〜4の実施例を調整することに関するいろいろな実施形態例の詳細は、以降の図に関して記述されている。
図2は、モジュール20、24および28に加えて、それぞれ、コンポーネント間予測器34A、34Bおよび34Cを備える3つの復号化分岐32A〜32Cと、それぞれ、コン
ポーネント信号22、26および30を組み合わせるコンバイナ36A、36Bおよび36Cと、予測器34A、34Bおよび34Cによるコンポーネント間予測信号の出力と、モジュール20、24および28による出力とを備え、図1に従って構成されたデコーダ10を示している。具体的には、復号化ブランチ32Aのコンポーネント間予測器34Aは、順々に、再構築されたコンポーネントA、すなわちビデオの画像のコンポーネントAに関するサンプル値をもたらすように再構築された第1のコンポーネント信号22によりコンバイナ36Aで結合されるコンポーネント間予測信号40Aを生み出すように、コンポーネントA、すなわち38Aのためのコンポーネント間予測パラメータを介して制御される。モジ
ュール20は、先に述べたように、たとえばエントロピー符号化を使用して、空間またはスペクトルな領域において送られる第1のコンポーネント残差データ42Aにより、デー
タストリーム12を介して供給される。同様に、コンポーネント間予測34Bは、そこか
ら、モジュール24で出力される再構築された第2のコンポーネント信号26でコンバイナ36Bによって順番に結合される第2のコンポーネント間予測信号40Bを定めるよう
に、データストリーム12でコンポーネントB、すなわち、38Bのコンポーネント間予
測パラメータによって制御される。モジュール24は、残差データ42Aのように局所的
に適用される変換の残差サンプルの形態で、またはスペクトル分解の変換係数の形で空間領域にデータストリーム12中に存在することができるように、第2のコンポーネントの残差データ42Bによって供給される。しかしながら、図2に示された実施形態によれば
、モジュール24は、第1のコンポーネント信号22に基づいてモジュール24で適用されるコンポーネント間予測を変化させるように、データストリーム12に存在する、すなわち、44B、第2のコンポーネントのために、ICPパラメータデータを介して、さら
に制御される。このオプションは、先に述べたように、任意に除外することができる。特に、モジュール24は、第2のコンポーネント信号26を得るために、信号22と、データ42Bからの残差信号、すなわち、コンポーネントBのための信号が送られた残差信号
を、内部的に結合する。そして、それはコンポーネントBのためのコンポーネント間予測を形成して、それから、従って、ビデオの画像の第2のコンポーネントのサンプルをもたらすように、コンバイナ26Bによって第2のコンポーネント間予測信号40Bと結合される。
復号化ブランチ32Bと同様に、復号化ブランチ32Cを復号する第3のコンポーネン
ト間予測器34Cは、コンポーネント間予測を実行して、コンポーネント間予測信号40Cを引き出すように、データストリーム12内に存在するコンポーネント間予測パラメータ44Cを介して制御される。そして、それは、第3のコンポーネント信号30で順番にコ
ンバイナ26Cによって組み合わされる。データストリーム12で第3のコンポーネント
残差データ42Cに基づいて残留して、そして、第3のコンポーネント、すなわち、データストリーム12の44Cのためのコンポーネント間パラメータデータを介して制御され
ているモジュール28のコンポーネント間予測により第1および第2のコンポーネント信号22および26に基づくコンポーネント間予測を用いている内部予測として、モジュール28は、第3のコンポーネント信号30を生み出す。例えば掛け算など、他の組合せが同様に用いることができるように、コンバイナ36A〜36Cの組合せは、図2で図示されるように、追加として実行され得る。
上で発表されるように、図3および4は、対応するエンコーダ、すなわち図1および2に示されるデコーダに適合しているエンコーダの実施例をそれぞれ示す。図3は、図1のデコーダ10に対応するエンコーダ100を示す。エンコーダ100は、図1に示すように、データストリーム12に同じ符号化するために、異なるコンポーネントA、BおよびCに関して空間的にサンプリングされ、ビデオ16を受信する。この目的のために、エンコーダ100は、図1に対応するように構成されている。この対応により、エンコーダ1
00の要素は、単に、その100が、デコーダの対応する要素のそれぞれの参照符号に加えられるという点でだけ、デコーダに関して使われるそれらと異なる参照符号を使用して参照する。したがって、図3のエンコーダ100は、それぞれのコンポーネントのためのコンポーネントA、BおよびCの各々のために、それぞれのモジュール、すなわち、モジュール120、124および128を含み、そこにおいて、モジュール120は、データストリーム12に第1のコンポーネント信号22を符号化するためのものであり、モジュール124は、データストリーム12に第2のコンポーネント信号26を符号化するためのものであり、モジュール128は、データストリーム12に第3のコンポーネント信号30を符号化するためのものであり、そこで、モジュール128は、第1および第2のコンポーネント信号22および26から、コンポーネント間予測を用いている。ちょうど先に述べたように、信号22、26と30は、残差信号、すなわち、コンポーネントに特有の符号化分岐132A、132Bおよび132C内で実行されるコンポーネント間予測の残
差信号をそれぞれ表すことができる。
したがって、図4は、図2のデコーダに対応する図3のエンコーダのより特定の実施例を示す。これに対応して、図4のエンコーダ100は、3つのコンポーネントに特有の符号化分岐132A、132Bおよび132Cを含み、そして、それぞれ、各々がコンポーネ
ント間予測134A、134B、134Cと、残差前者136A、134B、134Cと、それぞれのモジュール120、124、128とを含む。コンポーネント間予測134A〜1
34Cに関する限り、それらは、デコーダ側における各予測子34A〜34Cと同様に作用
する。それらは、コンポーネント間予測として、コンポーネント間予測パラメータ38A
〜34Cに関して存在しているだけの違いで、ビデオ16のそれぞれのコンポーネントの
既に符号化された部分に基づいて、それぞれのコンポーネント間予測信号40A、40Bおよび40Cを生成している。予測子34A〜34Cが後者によって制御される間、たとえば
、予測器134A〜134Cは、率/歪曲最適化センスまたはその種の他のもので同じこと
を調節する。それから、残差形付け136A〜136Cは、それぞれ、のモジュール120、124および128で、データストリーム12内に符号化された損失性方法であるそれぞれの第1の命令のコンポーネント間予測信号120、124および130を得るように、コンポーネント間予測信号40A〜40Cとビデオ16とのそれぞれのコンポーネントの同じ位置に配置された部分の間で予測残差を形成している。それぞれの第1の命令予測残差信号122、すなわち、モジュール120で持ち出される符号化損失から解放される、第1の命令予測残差信号122の再構築バージョンは、データストリーム12に予測残差信号126を符号化するように、それから、コンポーネント間予測の根拠としてのモジュール124により用いられる信号22である。符号化の結果として、モジュール120は、第1のコンポーネント残差データ42Aを生成し、そして、それから、それはデータス
トリーム12に挿入される。同様に、モジュール124は、インバウンド残差信号126を符号化することの結果として、第2のコンポーネント残差データ42BとICPパラメータデータ44Bを生成し、そして、それから、それはデータストリーム12に挿入され
る。後者のデータに基づいて、残差信号126の再構築可能なバージョン、すなわち、データストリームに第1の命令残差信号130を符号化することへの残差信号22と一緒のコンポーネント間予測のためのモジュール128により用いられる再構築可能なバージョン26は、引き出すことが可能である。モジュール128を符号化することの結果として、モジュール128はICPパラメータデータ44Cとそれぞれの残差データ42Cを出力する。
図1〜4に関してデコーダおよびエンコーダの様々な実施例を記述した後に、モジュール28と128により、それぞれ実行される2つのソースICP予測を適応させる方法に関して、種々の可能性に関するものである種々の具体化が記述される。しかし、それの前に、簡単に迂回路は、ハイブリッドビデオを圧縮している方式のための例証としてH.2
65/HEVCになされ、そして、但し、2つのソースICP予測から生じている利点に
動機づけするために、以下で概説される全体の説明は、H.265/HEVCの拡張に限定されるものと扱われるべきではない。むしろ、以下の説明は、単に手本となって時々明確にH.265/HEVCに言及するだけである。
H.265/HEVCのようなハイブリッドビデオ圧縮方式の場合、予測信号は時間的または空間または視点間予測(予測符号化)を使用して発生す、そして、それから、結果として生じる予測(残差と呼ばれる)は変わって、量子化されて、デコーダ(変換符号化)に送信される。コンポーネント間予測(ICP)のためのいくつかのエントリポイントは、可能である。例えば、ICPは、第1のサンプル値の上へ適用することができる。図1〜4の実施例に関して、これは、ICP(すなわち、信号22および26)のソースが必ずしもコンポーネント間予測の残差でもよいというわけではないことを意味する。むしろ、それらは、直接、第1のソース信号、すなわちビデオ16、に関連し得る。すなわち、
空間領域の、または、ICPはスペクトル領域でオリジナル信号、すなわち、ビデオ16、の上で実行される。すなわち、スペクトル分解の変換係数、例えば画像の変換ブロックを単位にして局所的に適用されるDCTなどの変換係数、または、ウェーブレット変換係数に関して、実行される。実施とアプリケーション効率面のために、すなわち同じことを改善するために、しかし、ICPは、記述されて、たとえば、図2および4に関して、上で例示されるコンポーネント間予測の残差信号上へ実行することができる。このような方法については、アフィン予測が複雑な理由のために使用することができる。さらに、簡略化したものは、線形予測につながる。後者の場合には、予測の唯一の勾配が、それぞれ、ICPパラメータデータ44Bおよび44Cの一部としてビットストリーム内の予測パラメータとして送信しなければならないことがある。しかしながら、さらに、以下に概説する実施例の拡張は、容易にアフィン変換またはより複雑な予測に拡張することができる。
線形予測器を使用して、残差のためのICPのアプローチは、通常、以下のように、明確に述べることができる。
r'(x,y)=rB(x,y)+α×r0(x,y)
上記の式で、r'(x,y)は、空間位置(x,y),rB(x,y)のコンポーネントBの
ための最終的な残差サンプル値であり、すなわち、上記の式で、r'(x,y)は、空間位
置(x,y),rB(x,y)のコンポーネントBのための最終的な残差サンプル値であり、
すなわち、ビットストリーム、44Bに含まれるコンポーネントBのための予測パラメータα、および、r0(x,y)から得られるコンポーネントBのための復号化/シグナリン
グされた残差サンプルである。そして、予測ソース内の同じ空間位置にコンポーネントAの再構築された残差サンプルは、r0(x,y)が、rB(x,y)、すなわち、シグナリングされたコンポーネントAの残差を供給する。αが浮動小数点値でありえる点に注意してください。
例えば、デコーダの実施形態のモジュール24を参照してください。モジュール24は、予測ソースr0として残差信号22を用いて、ICPパラメータデータ44Bの中でシグナリングされるαを使っている同上に乗算して、コンポーネントB、すなわち26、すなわち、r'のためのコンポーネント間予測残差を引き出すように、残差データ42B、すなわち、rBに由来するシグナリングされた残差信号を加えるという点で、モジュール24
はICPを適用することができる。
実施態様のために、浮動小数点値は、整数値にマッピングすることができる。例えば、浮動小数点値αは包括的に、−1と1の間の範囲にあることが許容され得る。精度のための3つのビット精度を使用して、式は以下のように書き換えることができる。
r'(x,y)=rB(x,y)+(α×r0(x,y))≫3
右シフト演算は、正確に3の累乗への2による除算である。したがって、浮動小数点αは、以下の整数値をとることができる。
α∈[0,±1,±2,±3,±4,±5,±6,±7,±8]
また、実施面のために、αは、以下の値に制限することができる。
α∈[0,±1,±2,±4,±8]
つまり、最後のマッピングによって、例えば、デコーダまたはさらに具体的にはモジュール24がαdによって、以下の通りに、整数値を有するαを再こうちくすることができ
て、ビットストリーム、すなわち、実はデータストリーム12のICPパラメータデータ44Bの中に含まれるもの、からの復号化値である。
α=1≪αd
モジュール24に関して代表として上で説明されるICPアプローチは、たとえば3つのモジュールまたはファセットにそれ自体分割することができる。第1のファセットは、予測ソースを指定し、第2のファセットは、予測モデルを指定し、第3と最後のファセットは、ICP予測パラメータまたは、さらに具体的には、予測モデルパラメータを指定する。上記の式を考慮すると、予測ソースは、r0であり、それから、予測モデルは、入力
と同じソースコンポーネントの空間位置を用いた線形予測因子であり、唯一の予測モデルパラメータはαである。
第2および第3のファセット/モジュールとの間の強い依存性が存在する。このような依存関係性の例は、再び、入力と同じもう一つのコンポーネント、すなわち、予測ソースの空間位置を用いた単純な線形予測であろう。この例では、同じ空間位置を用いた線形予測に対する制限のために、唯一の予測(モデル)パラメータが必要であるため、これ単一の予測パラメータ、すなわちαだけは、ビットストリームで送信される必要がある。予測ソースと予測モデルとの間の相互作用もある。通常、輝度残差は、予測ソースとして採用される。これは、例えば、コンポーネントAとして、輝度を用いた場合のモジュール24に関して、そして、コンポーネントBとしての第1のクロマ成分に関して、事実である。しかしながら、利用可能なすべてのコンポーネントは、予測ソースとして使用される場合は、適切な予測、すなわち、両方のコンポーネントからのサンプルを含む予測を使用する必要がある。これは、モジュール28のための場合である。このモジュールは利用できる2つのコンポーネント、すなわち、コンポーネントAおよびBを2つの予測ソース、すなわち、コンポーネンドAおよびBとして、輝度成分および第1のクロマ成分で同じ例にとどまらせている。例えば、線形予測は、その代わりに2つのモデルパラメータが必要となる。より正確であるために、モジュール28のために用いることができる線形予測は、以下の通りに定義することができる。
r''(x,y)=rC(x,y)+α0×r0(x,y)+α1×r1(x,y)
つまり、モジュール28に関する限り、2つの予測ソースは利用できる。すなわち、信号22および26である。信号22は、r0であり、そして、信号26は、r1である。つまり、ICPのためのモジュール28は、信号22と26の同じ位置に配置された部分を利用できるようにして、現在、ICPは信号30、すなわち、r’の部分を予測した。特に、残りのデータ42C、すなわち、rCから得られるように、モジュール28は、これらの同じ位置に配置された部分、すなわち、α0によって重み付けされる信号22とα1によって重み付けされる信号26の加重和をシグナリングされた残差の追加によって修正されている加重和で用いる。
モジュール28と24の関係が関係する限り、以下は注意される。図2および4の実線によって示されるように、モジュール24は第1のコンポーネント信号22および26がICP予測および送信された第2のコンポーネント残差データ42Bとの組合せによって
得られるという第2のコンポーネント信号を基礎としてICPを使用することができる。すなわち、r'はモジュール28によって実行されるICPの基礎、すなわち1つの予測
ソースとして役立つことができる。すなわち、r'は、r1として用いることができる。しかし、上で記述されもしたように、選択肢に従って、モジュール24はICPを用いない。その場合、図2および4において、一方での、モジュールの20の出力とモジュール24との間の接続は、他方では、除外される(またはモジュール120と124との間で)。その場合、r1は、rBである。さらなる実施形態では、r1がコンポーネントAに基づ
いてICPを用いたモジュール26にもかかわらずrBと等しいために選ばれるという点
で、図2および4の実施形態は、修正することができる。その場合、図2の中でモジュール24からモジュール28まで通じている矢は、コンバイナ36Bに至っている出力以外のモジュール24のさらなる出力から始まっている。
このように、上で概説される具体化に従って、可能性は、ICPのために複数の予測ソースを用いるために提供され、そこにおいて、ICP方式の動作特性は、より高い圧縮効率を達成するためにさらに拡張される。以下に、様々な詳細は、今まで記述された、むしろ一般的な複数の予測ソースICPに関して提示される。以下の説明では、先ず、複数のソースICPの可能性のあるグローバルなシグナリングを扱っている。それから、いろいろな具体化に従う複数のソースICPの局所的なシグナリングは、対処される。それから、複数のソースICPのための追加の依存関係と、画像と、ビデオ圧縮アプリケーションのための高効率化を可能にするさらなる技術が、記述されている。
ICPのための複数のソースの一種のグローバルなシグナリングは、複数のソースICP方法がオンまたはオフにされることができるという可能性を含む。複数のソースICPが適切なレベルにおいて送信されるグローバルなフラグを用いて許可されるとき、たとえば、さらなるビットまたは一連のビットは送信される。なぜならば、各々はブロックまたは各々の予測装置または符号化装置を変換し、そして、その使用をシグナリングする。グローバルなフラグは、データストリームの一種の複数のソースICP信号の送信が複数のソースICP符号化モードおよび少なくとも1つの非ICP符号化モードを含む一組のICP符号化モードの種々のICP符号化モードとの間に切り替わっていることを示している。様々な複数のソースICP符号化モードが同様にあり得る。そして、例えば、ICP領域、すなわち、空間的またはスペクトル領域、その他の調整力において異なる。したがって、グローバルなフラグは、さらに1つ以上の予測パラメータに関して、予測モデルを特定している単一ビットまたは一連のビットであり得る。「各々のために送信されるさらなるビットまたは一連のビットは、ブロック、または各々の予測装置、または符号化装置を変える。」そして、許可されている複数のソースICPの場合には、前記のICPパラメータデータ44Cのための例は、あり得る。
グローバルなフラグは、パラメータが H.265/HEVCの中で、または、セット
される画像パラメータにおいてセットされるシーケンスパラメータのような セットした
シーケンスにおいて、または、スライスヘッダにおいてさえ送信することができる。精度は、追加ツールの使用状況によって異なり、例えば、タイルまたは波面処理のために、両方の並列処理のためのさらに異なるレベルのシグナリングさえ可能である。例えば、複数のソースICPは、全体のビデオシーケンスのために有効にすることができるが、シーケンス内の特定のコンテンツの無効化がある可能性がある。そのような例を考えると、ピクチャパラメータセットのグローバルフラグは、例えば、シーケンスパラメータセット中のフラグを上書きすることになる。
このように、本実施形態によれば、要約すると、デコーダ10は、マルチコンポーネントビデオ16の異なるICPモード部分202のために、複数のソースICP符号化モードおよび非ICP符号化モードを含む一組のICP符号化モードのICP符号化モードとの間に切り替わるように、エンコーダ100により、データストリーム12に挿入された複数のソースICPの信号の送信200に応答するように構成することができる。
マルチソースICP符号化モードによれば、コンポーネント間予測は、信号の送信がデータストリーム12の中で、はっきりと、または、暗黙のうちにされて、第1および第2のコンポーネント信号22および26の空間的に対応する部分204および206のシグナリングされたものに基づいて実行される。あるいは、複数のソースICP符号化モードは、空間的に対応する部分204および206の加重和のような組合せに基づいて、コンポーネントCの第3のコンポーネント信号30を予測しているコンポーネント間予測を含む。より正確であるために、複数のソースICP符号化モードが使用可能である場合、図5Aの複数のソースICP信号化200がビデオ16の中間のICPモード部分のために
シグナリングすると想像する。その場合、たとえば、モジュール28と128は、それぞれ、コンポーネントCのブロック単位のためのICPを実行することができる。そして、それは、例えば予測ブロックまたはその種の他のものである。そこにおいて、ICPパラメータデータ44Cは、それぞれのブロック208が空間的に対応する部分204か、空
間的に対応する部分206からコンポーネント間予測であるかどうかについて、これらのブロック208のために示している。あるいは、中間の部分202の範囲内の画像のブロック208で、第3のコンポーネント信号30は、204および206の両方の部分の組合せから予測される。それから、各々の部分208が、例えば、それぞれのブロック208のためのコンポーネント間予測を与えている部分204および206の加重和の重み付けを示している重み付けの要因α0およびα1に関して、同じ位置に配置された部分204および206からのコンポーネント間予測である方法を、ICPパラメータデータ44C
は示すことができる。
非ICP符号化モードでは、コンポーネント間予測が、それぞれのICPモード部202に利用できない場合がある。したがって、そのようなICPモード部のために、ICPパラメータデータ44Cは、データストリーム12に存在する必要はない。代替として、
このようなICPモード部202のために、コンポーネント間予測は、コンポーネントAおよびBの一定されたものの内の1つから、それぞれのモジュール28および128によって実行することができる。例えば、そのような非ICP符号化モード部202のブロック208は、コンポーネントAの同じ位置に配置されたブロック204から予測されるICPである場合がある。または、全体のブロック208は、同じ位置に配置されたブロック206からのコンポーネント間予測である場合がある。しかし、ブロック208間のスイッチングは可能でない。すなわち、部分202の範囲内の全てのどちらのブロック208でもコンポーネントAのブロック204からのコンポーネント間予測である。または、部分202の範囲内の全てのブロック208は、コンポーネントBのそれぞれの同じ位置に配置されたブロック206からのコンポーネント間予測である。
すでに上で述べられるように、ICPモード部202は画像シーケンス、個々の画像、またはスライス、または一連のスライスでもよい。上記したように、複数のソースICP符号化モードが可能にされるICPモード部202のために、ICPパラメータデータは44Cが、例えば、部分208のための2つの重み付けの要因α0およびα1を含む。その
一方で、非ICP符号化モードが、動作中であるICPモード部202のために、ICPパラメータデータ44Cは存在しない。あるいは、ブロック208のためのICPパラメ
ータデータ信号44Cは、単に、重み付けの要因α0およびα1の内の1つだけが、それぞ
れの部分202内の全てのブロック208のために零に設定されている。
いくつかの可能性が、ICPのための複数のソースのローカルシグナリングのために存在する。たとえば、複数のソースICPが使われる場合、予測ソースのための決定210は、図5Bで分かるように、ICPデータ44Cの一部として局所的に送信され得る。例
えば、たとえば、コンポーネントA、BおよびCは、たとえば輝度、第1のクロマと第2のクロマである場合がある。それから、ICPパラメータデータ44Cは、コンポーネン
ト間予測が、輝度、すなわちAか第1のクロマ成分、すなわち、Bであるかどうか、それぞれのブロック208のために示している210のフラッグを含む。ブロック208は、符号化ブロック、予測ブロックまたは変換ブロックでもよい。符号化ブロックは、たとえば、コンポーネント間予測のパラメータ38Cが、空間的および時間的予測との間に切り
替わるブロックである。予測ブロックは、コンポーネント間予測パラメータ38Cが、そ
れぞれの予測ブロックが一部である符号化ブロックのために信号化される種類の予測と関連した予測パラメータに信号を送るかまたは変化させるブロックであってもよい。例えば、もし、空間予測が符号化ブロックのためにシグナリングされるならば、予測ブロックのための予測パラメータ、または、その符号化ブロックの予測ブロックは、それぞれの予測
ブロックがミンポネントCの隣接したすでに復号化/符号化された部分から空間的に予測されることになっている空間方向に沿って信号化することができる。そして、それぞれの予測ブロックが帰属する符号化ブロックのために信号化されている時間的予測モードが生じた場合、予測ブロックは、予測パラメータとして運動ベクトルを信号化することができる。変換ブロックは、コンポーネントCのためのコンポーネント間予測が、スペクトル分解されたブロックであってもよい。この事については、予測のためのソースが輝度か第1のクロマ成分であるかどうか示しているフラグ210が結合することがあり得たか、他のICP予測パラメータ212、例えば予測重み付けαから独立していることがありえたかの点に留意する必要がある。そして、それは、ICP予測ソースを形成しているコンポーネントAの場合、α0として、また、ICP予測ソースを形成しているコンポーネントB
の場合、α1として用いられる。予測ソースは、常に、このような重み付けとして、予測
パラメータ(s)の後にシグナリングされるとき、たとえば、依存関係は与えられる。一方では、ソースが常に予測ブロックまたは符号化ブロックのためにフラグ210としてシグナリングされるとき、独立したケースがなされ得る。しかし、ICP予測パラメータ212は、変換ブロックごとに送信される。
上記の例を考えると、予測ソースを示すフラグ210のようなコンポーネントCのブロック208のためにのみ送信されてもよく、例えば、第2のクロマ成分のブロックを変換するためのみ送信されてもよい。ICP予測ソースがブロック208のための重みαが零と等しくなくしながら、ICPパラメータデータ44Cの範囲内で信号化されるというICP予測の場合にだけ、ICPパラメータデータ44Cの一部として、ブロック208のためにシグナリングすることができる。そして、ICP予測は、コンポーネントCのブロック208のために実行されなければならないことを意味する。複数のソースのための条件が与えられた2つの状況がある。第1のコンポーネント、例えば輝度成分と、第2のコンポーネント、例えば第1のクロマ成分のそれぞれの変換ブロックが残差を継承するとき、第1の状況が起こる。第1のクロマ成分がゼロ値の残差値のみを含む間、輝度変換ブロックが残差を継承するときに、第2の状況は与えられている。しかし、輝度は、変換ブロックから予測される。
ICP予測ソースを示しているフラグ210のために、固定コンテキストモデルは、使用することができる。複数のソースが発生する状況への依存も、2つの異なるコンテキストモデルに結果としてなって、可能である。さらに、そのような重み付けのような他のICP予測パラメータ(複数可)212に依存して存在する可能性があり、例えば、負のαは、正のαとは異なるコンテキストモデルになることがある。もう一つの可能性は、αの絶対値への依存性である。この例では、2より大きい絶対値αは、αが同等または2未満である場合より、異なるコンテキストモデルの使用法をもたらす。
したがって、たとえば図6に例示される実施例に示すように、ICP予測データ44Cは、ICPソース指標210によって条件付きで、ICPパラメータ212として、コンポーネントCのそれぞれのブロック208のための重さαを示している。したがって、図6は、モジュール28および128に応じて、それぞれ、ステップ220において、ICPパラメータデータ44Cへ/から、αを読み取り/書き込む。そして、αが実際にゼロ
であることをαがゼロに等しいかどうかをチェック222が明らかになった場合には、ICPパラメータデータ44Cは、このブロック208のためのさらなるICPパラメータ
データを含む。そして、224に示されるように、ICPはコンポーネントAとBのいずに基づいてもブロック208のために実行されない。しかし、αがゼロでない場合には、ICPパラメータデータ44Cはステップ226または228でICPパラメータデータ44Cから読み込まれるか、それに書かれるソースフラグ212としてICP予測ソースまたはブロック208のための信号を含む。
例示の目的のために、図6は、ここで、ステップ220のαが所定の基準を満たすか否かに応じて、異なるコンテキストは、ソースフラグを復号化/エントロピー符号化のために使用される可能性を示しており、その状況は、229でチェックされる。上記したように、αの絶対値が、所定値、例えば2よりも大きい場合、または、αが負等であるかどうかにかかわらず、基準は満たされてもよい。しかし、既に、上記したように、αの上でソースフラグを復号化/符号化するために使用されるコンテキストの依存性は、単にオプションであり、それに応じてステップ229および228は、代替的な実施形態に従って除外することができる。ステップ226または228が適用されるかどうかにかかわりなく、零と異なるαについては、ICP予測の場合、α0が第1のコンポーネントAであるこ
とを供給して、ICPはステップ220のαを用いて実行され、あるいは、ICP予測ソースの場合、α1がソースフラグでステップ230の第2のコンポーネントBであること
を示している。
このように、図6を要約して、ICPパラメータデータ44Cは、各々のブロック208、すなわち、212のために、データストリーム12にブロック208(すなわち212)に符号化される1つの重みαを有することができる。ステップ220の符号化/復号化は、隣接ブロックのαに基づいて、空間予測を必要とすることができる。また、ICPパラメータデータ44Cは、このブロック208のためのαの値に応じて、ブロック208のデータストリーム12内に符号化されたソースフラグ210を有することができ、この符号化は、エントロピー符号化を含んでもよく、特定のコンテキスト適応型エントロピーに、この現在のブロック208のためのαに依存するコンテキストを使用して符号化することができる。したがって、ステップ226と228は、コンテキスト適応可能なエントロピー符号化/復号化を含むことができる。ステップ230は、α0とα1を含む上記の確認された方式の適用を必要とする。α0およびα1の他は、例えばゼロであるように設定される。
拡張ICP技術は、次に記載されている。特に、複数のソースは、コンポーネントCの場合と同様に利用可能であるとき、可能なICP予測は、予測、すなわち、コンポーネントAとBの両方のコンポーネントを受け入れることができる。線形ICP予測を用いる場合、ICP予測パラメータ212は、上述したように線形結合されている各構成要素の結果またはこの結果により、2回のICP予測の重み付けを指定しなければならない。
図5cおよび7は、ICPパラメータデータ44Cが、それぞれ、上記の確認された式に従ってステップ236で適用されている同じことで、ステップ232と234で読んだり書いたり(リード/ライト)されるブロック208ごとに2つの重みα0とα1を含むかを、信号を送信する可能性を、例示している。
完全を期すために、図5D〜5Gは、既に、上述した状況を示している。すなわち、モジュール28のICPは、スペクトル領域またはスペクトル領域内の42Cで残差信号がシグナリングされたコンポーネントCによる空間領域において、すなわち、変換係数、例えば変換ブロックまたはその種の他のもののDCT係数または他の変換係数の形で、実行することができる。空間領域の複数のソースICPを実行することは、図5Bおよび5Cの実施例のモジュール28を使用している図5Dおよび5Eの実施例において、それぞれ、ベースとして、例示されている。図示されているように、信号24および22は、空間的に対応する形で、すなわち、同じ位置に配置されて到達する。サンプルは、それぞれ、重みα0およびα1によって増やされて、そして、それぞれのもので合計され、すなわち、連結される。サンプルは、信号30を与えるように到着している変換係数42Cの上へ適
用される逆の変換によって得られる。スペクトル領域の複数のソースICPを実行することは、それぞれ、基礎として、再び、図5Bおよび5Cの実施例のモジュールを使用している図5Fおよび5Gにおいて例示されている。ここで示されているように、信号24お
よび22が、空間的に一致する、すなわち同じ位置に配置される形で、到達することができて、 サンプルは、それらが(前に)変換217を前提としてどのケースでもよいか、
同じことのスペクトル分解を得るために、すなわち、係数を変える。あるいは、信号20および24は、すでに変換領域に到着する。変換217は、例えば、コンポーネントAとCとBとCとの間の変換ブロックのミスアライメントの場合には、それぞれ、必要であり得る。信号20および24の係数は、それぞれ、重みα0およびα1によって乗算されて、そして、それぞれであるもの、すなわち、スペクトルに対応して、42Cから得られるよ
うに係数によって、それぞれ、合計される。それから、合計された係数は、信号30を与えるために、逆変換216を受ける。
圧縮効率を改善するためのさらなるアプローチは、ICPのためのコンポーネント交換である。この方法によれば、構文要素はICPパラメータデータ44Cの範囲内で信号化することができる。そして、残差の正しい順序を特定する。この例では、3つの変換ブロックは、例えば、空間的に対応する部分が各コンポーネントA、BおよびCのための1つのために再構築される。そして、ICPは使用することができる。第1および第2のコンポーネントまたは第1のおよび第3のコンポーネントさえ交換することも、可能である。ICPと複数のソースICPとの組み合わせで、特に意味のあるこの適応コンポーネントのスイッチは、より少ないプレリュードコストとエネルギーの低減を可能にする。例えば、アプリケーションは、2つのクロマ成分BおよびCの切り替えを許可している。この実施例において、輝度からの2つのクロマ成分BおよびC、すなわち、コンポーネントAの予測は、結果として、同じコストをもたらす。しかし、第1のクロマ成分を用いた第2のクロマ成分の予測は、より多くのオーバーヘッドを必要とするが、第2のクロマ成分を用いた第1のクロマ成分の予測は、より少ないビットを必要として、低い経費に終わる。
これは、図8に再び示されている。図8は、第1、第2、および第3のコンポーネントの残留データ42A、42Bおよび42Cが、それぞれ、ステップ240、242および2
44で、リード/ライトされていることを示している。そこにおいて、モジュール24と28と124と128によるICPは、それぞれ、すなわち、246は、スワップ信号化248、第1のコンポーネントを基礎として実行されるICPのための重み、すなわちαを含む、ICPパラメータデータ44Bおよび44Cによって制御される。そして、それは、第2のコンポーネントのためのICPパラメータデータ44Bと、第2および第3のコ
ンポーネント間でICPのために使用される重み、すなわち、第3のコンポーネントのためのICPパラメータデータ44Cから取得されるα1から取得される。スワップ信号化に応じて、送信された残差信号42A〜42Cは、連続線または破線に従ってICP246に結合される。図から見ることができるように、第2コンポーネント信号26は、ICPによって第1のコンポーネントまたは第3のコンポーネントを基礎としてスワップ信号化に応じて得られる、そして、同様に、第3のコンポーネント信号30は、ICPによって第1のコンポーネントまたは第2のコンポーネントを基礎として得られる。実線で例示される非交換されたケースにおいて、ICPパラメータデータの重みαおよびα1は、それら
の意味のままである、すなわち、それらは第2のコンポーネント信号26および第3のコンポーネント信号30のICP予測をそれぞれ制御する。しかし、点線によって示される交換されたケースにおいて、ICPパラメータデータの重みαおよびα1は、それぞれ、
第1ステージおよび第2ステージのICP予測を制御するように、解釈し直される。ICPパラメータデータの重みαは、第1のステージICPに言及され、そして、ICPパラメータデータの重みα1は、第1のステージICPに言及される。交換されない場合、再
解釈は何も変えない。しかし、交換されたケースにおいて、第3のコンポーネント信号30は、第2のコンポーネント信号26の前に予測されるコンポーネント間予測である。その結果、ICPパラメータデータ重みα1は、実質的に、第2のコンポーネント信号26
を予測しているコンポーネント間予測のために使われる。言い換えると、スワップされた状態では、コンポーネント間予測に関する限り、第2のコンポーネントBは、前もって、
第3のコンポーネントCとその逆の役割を引き受けている。
データ44CのICPパラメータデータの重みα1が、さらなるデータ、例えばICPパラメータデータの重みα0またはソースインジケータ212を伴うかもしれないという点
で、図8の実施例が以前のものと結合することができる点に注意されたい。データ44C
が第2のステージICPに言及する、すなわち、信号がICPを受ける第2のコンポーネントのために、これが信号26または30であるどうか、解釈し直される。2つのソースは、スワップ信号化248にかかわりなく、両方のケースで利用できる。そして、ICPパラメータデータの重みα0は、両方のケースでコンポーネントAに基づいて、ICPを
支配するのに用いることができる。そして、非交換されたケースのコンポーネントAおよびB間に、そして、交換されたケースのコンポーネントAおよびC間に、それぞれ、切り替わるように、ソースインジケータは解釈することができる。
さらに、図8に類似した方法では、前記の切換フラグを色空間変化、すなわち、色空間の間のスイッチングをシグナリングしているフラグに変えることは可能である。コンポーネントごとに、ICP予測パラメータα0またはα1は送信される。そして、上記の通りに局所的に変化する。さらに、色領域変更フラグは、色領域が変わることになっているかどうか、局所的に指し示す。変わらない場合、第2のおよび第3のコンポーネントBおよびCは、例えば、それぞれ、2つの彩度コンポーネントを明らかにするように、α0または
α1を使用しているAから個々に予測される。そして、コンポーネントAは、ちょうど先
に述べられたように、輝度とみなされる。しかし、たとえば、色の変化が起こることがシグナリングされるならば、それぞれ、BとCがα0またはα1を用いてAから個々に予測されて、それから、それらが色空間の変化への変換を一般に受ける、そして、それは、たとえば、ABC色空間を線形にYCC色空間に変える。コンポーネントBが、例えば、色空間変化が生じた場合だけAから予測されない間、それは、たとえば、色空間変化が生じた場合AとCから事実上予測される。あるいは、シグナリングされた色空間ABCをYCC色空間にマップピングしている2種類以上の色の変化の変換は、利用できるかもしれなくて、シグナルゼーション248を介して切り替えられる。このように、局所的に様々な方法では、ABCコンポーネントが送信される色空間は、2つ以上の色空間の間で変わることができ、そして、信号の送信248によってシグナリングされるように、YCCに対する変化は変化でないと色変換との間で変化する。信号の送信248は、ICP予測パラメータ信号が行なわれる単位以上の符号化装置のデータストリームにおいて送信することができる。そして、例えば、それはブロックを変換する。このように、α0またはα1は、コンポーネントBおよびCのために、変換ブロックのような第1のブロックで送信される。Bのために送信される残査rBは、rB’=rB+α0・rAに従うコンポーネントAのため
に送信される残査rAと結合される。そして、同様に、Cのために送信される残差rCは、rB’=rB+α1・rAに従うrAと結合される。予測残差信号(22、26、30)は、
簡単にするためにTを付し、または直接YCCの予測残差信号として、すなわち、(rY
,rC1,rC2T=T・(rA,rB’,rC’)Tまたは(rY,rC1,rC2T=(rA、rB’,rC’)Tのいずれかの残差を採用することにより、最終的にどちらかのYCC色に
RGB変換と同様とすることができる色変換によって得られる。色空間変換Tが適用されるかどうかは、信号の送信248を介して制御される。
Figure 2021101541
前述のデータ44Bまたは44CにおけるICP予測パラメータαまたはα0またはα1の符号化は、上記の通りに重み付けの微小な値の整数ノミネータのシグナリングを使用して符号化することができるか、またはさらに改善することさえできる。ICPがR'G'B'
で色空間において適用されるときに、αの値は、代表として、αまたはα0またはα1のい
ずれかのために使われ、主に正の比較的大きい値であり、すなわち、浮動小数点精度で、1または0.5である。一方で、Y'Cbrのために、αの値は、多くの場合、ゼロ値を
中心に、比較的小さい。非対称のマッピングとαの規制は、圧縮比に関してさらに効率を改善するために使用することができる。観察を考えると、αのマッピングは、以下の通りである。
α∈{0,±1,±2,+4,+8}またはα∈{0,±1,+2,+4,+8}
それがαの最大許容された値を順序で識別する点に注意し、αの徴候はビットストリームで最初に送られなければならない。対称形のマッピングで命令が無関係な場合には、すなわち、記号はαの絶対値の伝送の後に、送信することができる。さらに、αの絶対値は、αの正および負の値の発生の頻度のための異なる確率分布を占めるように、αの徴候に応じてコンテキストモデリングを使用しているエントロピー符号化による符号化/復号化であり得る。
以下のいくつかの実施形態では、さらに具体的に説明されています。
実施例によれば、例えば、2つの予測ソースの場合、それが上で示される実施例のケースであったので、ICP予測パラメータ212およびこのフラグ210の仕様が指し示した後、どの予測ソースが使用されなければならないか、フラグ210(上の図6のソースフラグと呼ばれている)は送信される。なお、この実施例のために、予測ソースフラグ210は、予測が適用されなければならないときに必要なだけである。そして、それはICP予測パラメータに由来することができる。
さらなる態様において、それぞれのブロック208、例えば予測ブロックのそれぞれのネスト化された変換ブロックの特定のICP予測パラメータ212から、指し示しているソースフラグ210は、どの予測ソースが使用されなければならないか、予測ユニットごとに常に送信される。この好ましい実施例において、予測ブロックレベルのαのようなICP予測パラメータ212を送信することも可能な点に、留意する必要がある。
他の本発明の好ましい実施例において、それぞれに符号化ブロックのネスト化された変換ブロックの特定の予測パラメータから、指し示しているフラグは、どの予測ソースが就業者(すなわちソース・フラグ)でなければならないか、符号化ブロックごとに常に送信される。この好ましい実施例において、予測ブロックレベルまたは符号化ブロックレベルのICP予測パラメータを送信することも可能な点に、留意する必要がある。
図9は、実例として正しく概説された可能性を例示する。特に、上記の通りに、ICPパラメータデータ44Cは、2つのコンポーネント、すなわち、ICP予測パラメータ212、例えば重みαおよび無条件で符号化ICPソースフラグ210を含むことができる。図6において表されるより、既に、上で概説されるように、ステップ220および222の間に位置するために、ステップ226、228および229は、再編成される。そこにおいて、ステップ228および229は無視することさえあり得る。いずれにせよ、図9において、ICPパラメータデータ44Cは、ICP予測ソースがシグナリングする精度が、ICP予測パラメータαが送信される精度より粗いという可能性を例示する。特に、図9の連続線によって示されるICPソースフラグは、ブロック250を単位にして送信されると共に、ICP予測パラメータαはICP予測パラメータデータ44Cにおいて、サブブロック252、すなわちブロック250の下位分割を単位にして示される。図9は、矩形の画像18のブロック250および252を例示すると共に、他の形状のブロックが同様に用いることができる点に、留意する必要がある。
さらなる実施形態において、予測ソースを示しているソースフラグ210は、それぞれ
のICP予測パラメータ212に連結することができる。例えば重み、すなわち、現在特定されるICP予測パラメータは、ブロックまたは現在の予測ブロックまたは現在の符号化ブロックさえを変換する。本実施例において、予測ソースを示しているソースフラグ210が線形予測の場合、唯一の予測パラメータは、0.25および+0.25の範囲(または、整数値を有するαのための―2および+2の範囲、または、より正確であるために、整数は、そのノミネータを評価した)である場合だけ、しかし、全て込みで、符号化することができる。例えば、図6を参照。ここで、ICPパラメータまたはデータ44Cは、零と異なるαだけの場合に、ソースフラグを復号化することを必要とする。加えて、または、あるいは、ソースフラグは、αで特定の値範囲(例えば―0.25〜+0.25)においてあることが上記に言及した場合に備えてだけ、両方ともすべてこみで、特定のブロックのために、ICPパラメータデータ44Cによって含まれることがある。αがその
範囲の外にある場合、ソースフラグは、明確にデータストリームの中で送信されなくて、第1のコンポーネントAを例えばICP予測ソースと称するために例えば推定されないだろう。たとえば、コンポーネントAが輝度成であり、コンポーネントBおよびCが2つのクロマ成分であるならば、αの大きな絶対値は、第2のクロマ成分Cのための予測ソースが他の第1のクロマ成分Bよりもむしろ輝度成分であるという暗示である。このように、図6の中で、さらなるチェックは、αがソースフラグの伝送/読み込みを必要としている値の範囲内にあるかどうかについてチェックして、222と229の間に位置します。そうでないなら、ソースフラグは、読んだり/書いたりされず、さもなければ、ステップ229にアクセスされる。
他の実施形態では、予測ソースを示しているソースフラグが、第1のクロマ成分のICP予測パラメータに連結される。この具体例では、ICPパラメータデータ44B、すなわち、αの同じ位置に配置されたブロックのための線形予測手段の場合、唯一のICP予測パラメータが、−0.25および+0.25、または、−0.2および+0.2の間にある、または、価値範囲も違って選ばれるかもしれないとき、両方ともすべてこみで、予測ソースを示しているICPパラメータデータ44Cのソースフラグは、たとえば、コー
ド化/復号化される。例えば、チェックは図7に加えられることができる。そして、それによれば、ICPパラメータデータ44Bがそれぞれの同じ位置に配置されたブロックか
らのコンポーネントBのコンポーネント間予測が、重みαを使って実行されることを同じ位置に配置されたブロックのために示すかどうかが、チェックされる。そして、それの大きさは、たとえば、若干の予め定められた値を越えます。その場合は、これが、コンポーネントA、BおよびCが、第3のコンポーネントCがたぶんICPでなければならないという場合が第2のコンポーネント、すなわち、推定の第1のクロマ成分を基礎として、そのように予測した。その場合、ソースフラグが推定されると、第2のコンポーネントをICP予測ソースと確認するために、YCCのような色空間に対応するという暗示として使うことができる。しかしながら、同じ位置に配置するもののためのαの大きさがブロックする場合、パラメータデータ44Bは、予め定められた値より小さいというICP予測に
よって示されるように、ソースフラグは、ICPパラメータデータの一部として現行のブロックのために信号44Cが送られる。
実施例によれば、予測ソースを示しているフラグのためのコンテキストモデルは、ICP予測パラメータ、例えば重み付けから独立している。従って、1つの固定コンテキストモデルが使用される。これは、例えば図6の説明に関して、ステップ228および229が直接226につながっているチェック222のイエスパスによって無視することができることを、意味する。
しかしながら、もう一つの実施例では、ソースフラグのためのコンテキストモデルは、ICP予測パラメータ、例えば重み付けに依存する。線形予測手段が使用されるとき、唯一の予測パラメータならば、たとえば異なるコンテキストモデルが使われ得る。すなわち
、重み付けは、上で示したように整数値を有する予測パラメータの場合、例えば、−2および2の両方とも全て込みの範囲である。
さらに、線形予測手段の場合、唯一のICP予測パラメータが否定的であるならば、異なるコンテキストモデルは使うことができる。これも、上で述べられた。
複数の予測ソースの使用法は、例えば、セットされるシーケンスパラメータセットにおいて送信されるフラグを使用して、オン/オフにすることができる。そして、そのことは図5に関して上で述べられた。伝送は、しかしながら、画像パラメータセットにおいて、または、スライスヘッダにおいて起こり得る。
複数の予測ソースの使用法は、異なる階層的なレベルにおいて特定されることができる。例えば、それは、シーケンスパラメータセットおよび画像パラメータセットにおいて特定することができる。画像パラメータセットフラグが低いため、この好ましい実施形態は、画像またはビデオシーケンスのフレームのための複数のソースICPを無効にする可能性を可能にする。さらなる態様において、予測ソース、すなわちソースフラグを示しているフラグは、現行コンポーネントおよび以前のコンポーネントのICP予測パラメータ、例えば重みのICP予測パラメータ、すなわち重み付けの相対的な違いに依存することができる。相対的な差が所定の限界値よりも大きい場合、フラグは、例えば、1に等しくなるように引き出される。言い換えると、図6の場合には、追加のチェックは、ダウンストリームチェック222が印加される。そこにおいて、ICPパラメータデータ44Bによ
る同じ位置に配置されたブロックと関連した重みが予め定められた量より多くのものによって現在のブロックのために、ICPパラメータデータ44Cのαと異なるかどうかにか
かわらず、それはこの付加的なチェックでチェックされる。イエスの場合は、これは、コンポーネントA〜Cは、互いにYCC色空間のように関連がある。そして、したがって、ソースフラグが特定の第1のクロマ成分、すなわち、コンポーネントBをコンポーネントCのICPのためのICPソースと特定することが推測することができるという暗示と、これは解釈することができる。さもなければ、ソースフラグの読み取り/書き込みが実行
される。言い換えると、データ44CのICP予測パラメータ信号の送信212に応答し
て、第3のコンポーネント予測パラメータαは、サブピクチャ粒度で変化することができる。そして、同様に、第2コンポーネント信号44BのためのICP予測パラメータ信号
の送信に応答する。コンポーネント予測パラメータαは、サブピクチャ粒度で変化する。このように、重み付けは、コンポーネントBのためのICPとコンポーネントCのためのマルチソースICPとの間で局所的に異なる場合がある。かくして、チェックは、第2のコンポーネントおよび第3のコンポーネント予測パラメータが所定の限度を超えて異なる場合に、例えば偏差の基準として、α値の違いまたは指数を用いるように実行することができる。上記のように制限を超えた場所については、ICPソースインジケータ210は、そうでなければ、推論かもしれないが、それらは限界を超えて異なっていない場所のために、ICPソースインジケータ210は、データ44Cに存在してもよい。
複数の予測ソースが利用可能である場合、図7に関して上で概説したように、さらなる実施形態によれば、ICPの予測パラメータ(単数または複数)は、2回の予測ソースの加重組み合わせをサポートしている予測を特定して送信することができる。
さらなる実施形態によれば、線形予測は、複数のソースICPのために使用され、ICP予測パラメータが量子化される。本実施例において、唯一の絶対のICP予測パラメータは、省略された単一体のコードを用いて二値化されて、符号化される、そして、サインは別に送信される。サインは、最初に符号化されてもよい。そして、唯一の予測パラメータのサインに応じて、異なるコンテキストモデルは、バイナリ分解ビンのために使用することができる。更なる具体化に従って、サインは最初にコード化される。そして、この好
ましい具体化でコード化されたサイン、つまり、パラメータが異なって実行されるという予測の量子化に従い、最大の許容された予測パラメータは、0.25と1の間で、両方ともすべてこみの範囲にあり得る。
実施例によれば、フラグは、第2および第3のコンポーネントが交換されるかどうか、指し示すことができる。これは、図8に関して上で概説された。本実施形態では、第1の彩度成分と関連する変換ブロックのために構成された残差は、第2のコンポーネントの残差として扱うことができ、その逆もまた同じである。
特定の実施形態の上記の説明に関して、同上がマルチコンポーネント画像の符号化に容易に移転可能であることに留意されたい。
いくつかの態様は、装置の前後関係の文脈で説明してきたが、これらの態様は、ブロックまたは装置が、方法ステップまたは方法ステップの特徴に対応する方法の説明を表すことは明らかである。類似して、方法ステップの前後関係でも記述される態様は、対応するブロックまたはアイテムの説明または対応する装置の特徴を意味する。方法ステップの一部または全部は、例えばマイクロプロセッサのようなハードウェア装置(または使用)によって、プログラム可能なコンピュータまたは電子回路を実行することができる。いくつかの実施形態では、最も重要な方法ステップの若干の1つ以上は、この種の装置によって実行することができる。
発明のコード化された画像または映像信号は、デジタル記憶媒体に格納することができるか、または、伝送媒体、例えばワイヤレス伝送媒体、または、有線の伝送媒体、例えばインターネット上に、送信することができる。
特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアで実施することができる。実施は、その上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピーディスク、DVD、Blu―レイ、CD、ROM、PROM、EPROM、EEPROMまたはFLASHメモリを使用して実行することができる。そして、それは、それぞれの方法を実行するように、プログラム可能なコンピュータシステムと協働する(または協働することができる)。したがって、デジタル記憶媒体は、読み取り可能なコンピュータであってもよい。
本発明のいくつかの実施形態では、本明細書に記載のいずれかの方法を実行するようにプログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータ記憶媒体を含む。
通常、本発明の実施例はプログラムコードを有するコンピュータプログラム製品として実施されることができる。そして、プログラムコードは、方法のうちの1つを実行するために、コンピュータプログラム製品がコンピュータで動くときに、実施されている。プログラムコードは、機械読み取り可読キャリアに例えば格納することができる。
他の実施例は、本願明細書において記載されていて、機械読み取り可読キャリアに格納される方法のうちの1つを実行するためのコンピュータプログラムを含む。
換言すれば、発明の方法の実施例は、従って、本願明細書において記載されている方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。そのとき、コンピュータプログラムは、コンピュータで動く。
したがって、発明の方法の更なる実施例は、その上に記録されて、ここに記述される方
法の1つを実行するためのコンピュータプログラムを含む、データ記憶媒体(またはデジタル記憶媒体またはコンピュータで読取り可能な媒体)である。データ記憶媒体、デジタル記憶媒体または記録された媒体は、典型的に有形および/または非推移的である。
発明の方法のさらなる実施例は、したがって、ここに記述される方法の1つを実行するためのコンピュータプログラムを意味しているデータストリームまたは一連の信号である。データ流または信号のシーケンスは、例えばインターネットで転送されるように、例えばデータ通信接続を経て構成することができる。
さらなる実施形態は、例えば、コンピュータ、またはプログラム可能な論理デバイスに構成されるか、または本明細書に記載される方法のいずれかを実行するように適合する処理手段を含む。
さらなる実施形態では、本明細書に記載のいずれかの方法を実行するためのコンピュータプログラムをインストールしたコンピュータが含まれる。
本発明のさらなる実施形態は、ここに記述される方法の1つを実行するためにコンピュ
ータプログラムをレシーバに移す(たとえば、電子的に、または、光学的に)ように構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリデバイスなどであってもよい。装置またはシステムは、例えば、レシーバへのコンピュータプログラムを移送するためのファイルサーバを含むことができる。
いくつかの実施形態では、本願明細書において記載されている方法の機能のいくらかまたは全てを実行するために、プログラム可能な論理装置(例えばフィールド・プログラム可能なゲート・アレイ)を用いることができる。いくつかの実施形態では、本願明細書において記載されている方法のうちの1つを実行するために、フィールド・プログラム可能なゲート・アレイは、マイクロプロセッサと協同することができる。通常、方法は、いかなるハードウェア装置によっても好ましくは実行される。
本願明細書において記載されている装置は、ハードウェア装置を使用するか、またはコンピュータを使用するか、またはハードウェア装置およびコンピュータの組合せを使用して、実施することができる。
本願明細書において記載されている方法は、ハードウェア装置を使用するか、またはコンピュータを使用するか、またはハードウェア装置およびコンピュータの組合せを使用して実行することができる。
上記した実施例は、単に本発明の原理のために図示するだけである。本明細書に記載の改変および配置のバリエーションおよび詳細は当業者には明らかであろうことが理解される。したがって、唯一の切迫した特許請求の範囲によってではなく、本明細書の実施例の記述および説明のために提示される特定の詳細に限定されることを意図するものである。

Claims (31)

  1. データストリーム(12)からマルチコンポーネント画像またはビデオ(16)の第1のコンポーネント(A)に関して第1のコンポーネント信号(22)を再構築し、
    前記データストリーム(12)から前記マルチコンポーネント画像または前記ビデオ(16)の第2のコンポーネント(B)に関して第2のコンポーネント信号(26)を再構築し、
    前記再構築された第1のコンポーネント信号(22)および前記再構築された第2のコンポーネント信号(26)からコンポーネント間予測を用いて前記マルチコンポーネント画像または前記ビデオ(16)の第3のコンポーネント(C)に関する第3のコンポーネント信号(30)を再構築することによって、
    空間的に異なるコンポーネントに関するシーンをサンプリングし、前記マルチコンポーネント画像または前記ビデオ(16)を復号するように構成される、デコーダ。
  2. 前記デコーダは、前記データストリーム(12)において、1組のICP符号化モードのICP符号化モードの間で、前記マルチコンポーネント画像の異なるICPモード部分またはビデオ(16)のために切り替わるように、複数のソースICP信号の送信(200)に応答するように構成され、
    複数のソースICP符号化モードと、
    非ICP符号化モードおよび固定された1つのソースICP符号化モードの内の少なくとも1つとを含み、
    前記複数のソースICP符号化モードは、前記デコーダが、シグナリングされたもの、または、前記再構築された第1のコンポーネント信号の空間的に対応する部分と前記再構築された第2のコンポーネント信号との組合せから前記コンポーネント間予測を用いている、前記マルチコンポーネント画像またはビデオの現在の画像の現在のサブ部分で前記第3のコンポーネント信号(30)を再建するように構成され、
    前記非ICP符号化モードは、前記デコーダがいかなるコンポーネント間予測も用いていない前記マルチコンポーネント画像またはビデオの現在の画像の前記現在のサブ部分の前記第3のコンポーネント信号(30)を再構築するように構成され、
    前記固定された1つのソースICP符号化モードは、前記デコーダが、前記再構築された第1のコンポーネント信号および前記再構築された第2のコンポーネント信号の固定された1つの空間的に対応する部分から前記コンポーネント間予測を用いている前記マルチコンポーネント画像またはビデオの前記現在の画像の前記現在のサブ部分の前記第3のコンポーネント信号を再構築するように構成され、そして、前記デコーダが、複数のソースICP信号の送信に応じて、前記固定された1つのソースICP符号化モードに切り替わる前記マルチコンポーネント画像またはビデオの各々の部分の範囲内で固定される、請求項1に記載のデコーダ。
  3. 前記複数のソースICP信号の送信は、前記ICPモード部分(202)が単一の画像、画像シーケンスまたはスライスであるように、前記データストリーム(12)でシグナリングされる、請求項2に記載のデコーダ。
  4. 前記第1のコンポーネント(A)は輝度であり、前記第2のコンポーネント(B)は第1のクロマ成分であり、前記第3のコンポーネント(C)は前記第2のクロマ成分である、請求項1〜請求項3のいずれかに記載のデコーダ。
  5. 前記デコーダは、前記再構築された第1のコンポーネント信号(22)の空間的に対応する部分からコンポーネント間予測を用いる前記マルチコンポーネント画像の現在の画像またはビデオ(16)の前記第3のコンポーネント信号(30)を再構築することと、前記再構築された第2のコンポーネント信号(26)の空間的に対応する部分からコンポーネ
    ント間予測を用いる前記マルチコンポーネントビデオの前記現在の画像の中で前記第3のコンポーネント信号(30)を再構築することとの間に、第1のサブ画像粒度で、切り替わるように構成されている、請求項1〜請求項4のいずれかに記載のデコーダ。
  6. 前記デコーダは、前記再構築された第1のコンポーネント信号(22)の空間的に対応する部分からコンポーネント間予測を用いる前記マルチコンポーネント画像またはビデオ(16)の現在の画像の中で第3のコンポーネント信号(30)を再構築することと、前記データストリーム(12)内の明示的なICPソース信号の送信(210)に応答して、前記再構築された第2のコンポーネント信号(26)の空間的に対応する部分からコンポーネント間予測を用いるマルチコンポーネント画像またはビデオ(16)の現在の画像の中で前記第3のコンポーネント信号(30)を再構築することの間に、前記第1のサブ画像粒度で、切り替わるように構成されている、請求項1〜請求項5のいずれかに記載のデコーダ。
  7. 前記デコーダは、予測ブロックの単位で空間的、時間的および/または視点間予測モードの間で変わることにより、前記空間的、時間的および/または視点間予測を用いている前記マルチコンポーネント画像またはビデオの前記第3のコンポーネント(C)に関する前記第3のコンポーネント信号(30)の再構築するように構成され、前記デコーダは、前記第1のサブ画像粒度が予測ブロックの単位で前記現在の画像を再分割するように、構成されている、請求項5または請求項6のいずれかに記載のデコーダ。
  8. 前記デコーダは、前記マルチコンポーネント画像またはビデオの前記第3のコンポーネントに関し、空間的、時間的の、および/または視点間予測を使用して、そして、変換ブロックの単位で空間的、時間的の、および/または視点間予測により残差予測を逆変換することによって、前記第3のコンポーネント信号(30)の再構築を実行するように構成され、前記デコーダは、前記第1のサブ画像粒度が変換ブロックの単位で前記現在の画像を再分割するように構成されている、請求項5または請求項6のいずれかに記載のデコーダ。
  9. 前記デコーダは、変化することで線形予測を用いている前記再構築された第1のコンポーネント信号(22)および前記再構築された第2のコンポーネント信号(26)からの前記コンポーネント間予測を実行するように構成され、そして、前記再構築された第1のコンポーネント信号(22)および前記再構築された第2のコンポーネント信号(26)が第2のサブ画像粒度により前記コンポーネント間予測に線形に関与する重み付けにより、前記データストリーム(12)でICP予測パラメータ信号の送信(212)に応答するように構成されている、請求項1〜請求項8のいずれかに記載のデコーダ。
  10. 前記デコーダは、予測ブロックの単位で空間的、時間的および/または視点間予測モードの間で切り替わることにより、前記空間的、時間的および/または視点間予測を用いている前記マルチコンポーネント画像またはビデオの第3のコンポーネント(C)に関する前記第3のコンポーネント信号(30)の再構築を実行するように構成され、前記デコーダは、前記第1のサブ画像粒度が予測ブロックの単位で前記現在の画像を再分割するように構成されている、請求項1〜請求項9のいずれかに記載のデコーダ。
  11. 前記デコーダは、空間的、時間的および/または視点間予測を使用して、そして、変換ブロックの単位により、前記空間的、時間的および/または視点間予測により残差の予測を逆変換することによって、前記マルチコンポーネント画像またはビデオの第3のコンポーネント(C)に関する前記第3のコンポーネント信号(30)の再構築を実行するように構成され、前記デコーダは、前記第1のサブ画像粒度が変換ブロックの単位で前記現在の画像を再分割するように構成されている、請求項9または請求項10のいずれかに記載
    のデコーダ。
  12. 前記デコーダは、零に関して非対称である不均一性の量子化により重み付けで前記データストリームの前記ICP予測パラメータ信号の送信(212)から抽出するように構成される、請求項9〜請求項11のいずれかに記載のデコーダ。
  13. 前記デコーダは、重さの一組の可能性がある値に属している零で前記データストリーム(12)において前記重み付けをICP予測パラメータ信号の送信(212)から抽出する(220)ように構成され、それぞれのブロックのための前記重み付けが、ICP予測パラメータ信号の送信による零であるかどうかにかかわらず、前記マルチコンポーネント画像またはビデオ(16)の現在の画像のブロックの各々のために、前記デコーダは、チェック(222)するように構成され、そして、もしそうでなければ、前記データストリーム(12)からそれぞれのブロック(208)のための前記ICPソース指標(210)を抽出(226)して、もし可能ならば、前記それぞれのブロックのために前記ICPソース指標の抽出が抑制(224)され、前記デコーダは、もし、それぞれのブロックのための前記重み付けが零でないならば、前記再構築された第1のコンポーネント信号(22)の空間的に対応するブロック(204)から線形予測を使っているそれぞれのブロックにおいて、それぞれの非ゼロの重み付けに従って、前記第3のコンポーネント信号(30)を再構築するように、あるいは、前記再構築された第2のコンポーネント信号(26)の空間的に対応するブロック(24)から線形予測を使っているそれぞれの前記ブロック(2
    08)において、前記それぞれの非ゼロの重み付けに従って、前記第3のコンポーネント
    信号(30)を再構築するように、それぞれのブロックのために前記ICPソース指標(
    210)に応答(230)するように構成される、請求項9〜請求項12のいずれかに記
    載のデコーダ。
  14. 前記デコーダは、前記重さの一組の可能性がある値に属している零でデータストリーム(12)によりで前記重み付けを前記ICP予測パラメータ信号の送信(212)から抽出するように構成され、そして、前記ICP予測パラメータ信号の送信(212)によるそれぞれのブロック(208)のための前記重み付けが予め定められた基準を満たすかどうかにかかわらず、前記マルチコンポーネント画像またはビデオの現在の画像のブロックの各々のために、前記デコーダがチェックされ、そして、もしそうでなければ、前記データストリームからの前記それぞれのブロックのために、そして、もし可能ならば、前記ICPソース指標(210)を得て、それぞれのブロックのための前記ICPソース指標の抽出を抑えて、予め定められた基準に前記ICPソース指標を前記それぞれのブロックにセットし、前記それぞれのブロックのための前記重みに応じて重み付けされ、前記再構築された第1のコンポーネント信号の空間的に対応するブロックから線形予測を使っている前記それぞれのブロックの前記第3のコンポーネント信号を再構築するように、または、前記それぞれのブロックのための前記重みに応じて重み付けされ、前記再構築された第2のコンポーネント信号の空間的に対応するブロックから線形予測を使っている前記それぞれのブロックの前記第3のコンポーネント信号を再構築するように、前記それぞれのブロックのための前記ICPソース指標に応答するように、前記デコーダが構成される、請求項9〜請求項13のいずれかに記載のデコーダ。
  15. 前記デコーダは、最初に前記重み付けのサインを復号化して、前記サインに応じたコンテキストモデリングを用いて、その絶対値を復号化することによってデータストリームで前記重み付けを前記ICP予測パラメータ信号の送信(212)から抽出するように構成されている、請求項9〜請求項14のいずれかに記載のデコーダ。
  16. 前記デコーダは、空間、時間的および/または視点間予測で、残差予測の上へ、前記コンポーネント間予測を適用することにより、前記空間的、時間的および/または視点間予
    測(34C)を用いている前記マルチコンポーネント画像またはビデオの前記第3のコンポーネント(C)に関する前記第3のコンポーネント信号(30)の再構築を実行するように、構成されている、請求項9〜請求項14のいずれかに記載のデコーダ。
  17. 前記デコーダは、前記マルチコンポーネント音声信号の前記第1および第2のコンポーネントに関して、コンポーネント内部の空間的、時間的および/または視点間予測(34A、34B)を実行するように構成され、そして、前記再構築された第1のコンポーネント信号および前記再構築された第2のコンポーネント信号は、前記マルチコンポーネント音声信号の前記第1および第2のコンポーネントに関して、前記空間的、時間的および/または視点間予測の予測残余であるように構成されている、請求項1〜請求項16のいずれかに記載のデコーダ。
  18. 前記デコーダは、前記マルチコンポーネント画像の第3のコンポーネントまたはコンポーネント内部の空間的、時間的および/または視点間予測(34C)を使用して、そして、スペクトル領域から空間領域まで、前記コンポーネント内部の空間的、時間的および/または視点間予測で、残差予測を逆変換する(216)ことにより、ビデオに関して、前記第3のコンポーネント信号の前記再構築を実行して、そして、前記空間領域で前記残差予測または前記スペクトル領域の上へ前記コンポーネント間予測を適用するように、構成されている、請求項1〜請求項17のいずれかに記載のデコーダ。
  19. 前記デコーダは、コンポーネント内の空間的、時間的および/または視点予測(34A、34B)を用いて、前記第1および第2のコンポーネント信号の前記再構築を実行するように構成されている、請求項1〜請求項18のいずれかに記載のデコーダ。
  20. 前記デコーダは、前記再構築された第1のコンポーネント信号の空間的に対応する部分(204)から前記コンポーネント間予測を使っている前記マルチコンポーネント画像の現在の画像またはビデオの中の前記第3のコンポーネント信号を再構築することと、そして、前記再構築された第2のコンポーネント信号の空間的に対応する部分(206)から前記コンポーネント間予測を使っている前記マルチコンポーネント画像の現在の画像またはビデオの中の前記第3のコンポーネント信号を再建することとの間に、前記第1のサブ画像粒度で切り替わるようにして構成され、前記再構築された第1のコンポーネント信号および前記再構築された第2のコンポーネントが異なることによる予め定められた予測モデルを使っていて、前記データストリームで第2のサブ画像粒度で予測モデルの予測パラメータの信号、つまり、ICP予測パラメータ信号の送信(212)に応答してコンポーネント間予測を実行して、前記データストリームで明示的なICPソース信号の送信(210)に応答する前記第1のサブ画像粒度でスイッチングを行って、予測モデルの予測パラメータに対応しているコンテキストモデリングを用いたデータストリームから明示的なICPソース信号の送信を復号化するように、構成されている、請求項1〜請求項19のいずれかに記載のデコーダ。
  21. 前記デコーダは、前記予測パラメータのような勾配によって制御される予測モデルとして、線形予測を用いるように構成されている、請求項19に記載のデコーダ。
  22. 前記デコーダは、そのサブ部分のための勾配が正であるか負であるかどうかにかかわらず、前記マルチコンポーネント画像またはビデオの現在の画像の現在のサブ部分についてチェック(229)し、前記チェックに応じて前記コンテキストモデリングを実行するように構成されている、請求項19または請求項21に記載のデコーダ。
  23. 前記デコーダは、そのサブ部分のための勾配が所定の間隔内にあるかどうか、前記マルチコンポーネント画像またはビデオの現在のピクチャの現在のサブ部分のためにチェック
    して、前記チェックに応じてコンテキストモデリングを実行するように構成されている、請求項19または請求項22に記載のデコーダ。
  24. 前記デコーダは、前記マルチコンポーネント画像またはビデオの現在の画像の予め定められたサブ部分のために、前記データストリーム(12)から第1および第2の予測パラメータを得て、予め定められた予測モデルと前記第1の予測パラメータを用いる再構築された第1のコンポーネント信号(22)からコンポーネン間予測を実行して、前記予め定められた予測モデルと前記第2の予測パラメータを用いる再構築された第2のコンポーネント信号(26)から前記コンポーネント間予測を実行して、線形に再構築された第1のコンポーネント信号からの前記コンポーネント間予測と、前記再構築された第2のコンポーネント信号からのコンポーネント間予測とを結合するように、構成されている、請求項1〜請求項23のいずれかに記載のデコーダ。
  25. 前記デコーダは、第3のサブ画像粒度で、前記再構築された第3のコンポーネント信号と前記再構築された第2のコンポーネント信号をスワップするために、前記データストリームでスワップ信号の送信(248)に応答する、請求項1〜請求項24のいずれかに記載のデコーダ。
  26. 前記データストリーム(12)の前記第3のコンポーネント信号(30)のためのICP予測パラメータ信号の送信(212)に応答して、サブ画像粒度で前記予測モデルの第3のコンポーネント予測パラメータを切り替えることで、予め定められた予測モデルを使っている前記再構築された第1のコンポーネント信号(22)および前記再構築された第2のコンポーネント信号(26)からの前記コンポーネント間予測を実行するように、デコーダが構成され、そして、
    前記再構築された第1のコンポーネント信号(22)から前記コンポーネント間予測を使っている前記マルチコンポーネント画像の前記第2のコンポーネント(B)またはビデオに関する前記第2のコンポーネント信号(26)の再構築を実行して、そして、前記データストリーム(12)の前記第2のコンポーネント信号のためのICP予測パラメータ信号の送信に応答して、サブ画像粒度で予測モデルのコンポーネント信号予測パラメータを切り替えることで予め定められた前記予測モデルを使っている前記再構築された第1のコンポーネント信号(22)からの前記コンポーネント間予測を実行するように、デコーダが構成され、そして、
    前記第2のコンポーネンテトおよび第3のコンポーネントの予測パラメータが予め定められた制限を超えて異なる場合にチェックし、そして、場所のためでない場合、前記データストリームからのそれぞれの場所のために、前記場所のためにICPソース指標(210)を抽出し、そこで、イエスであれば、ICPソース指標(210)の抽出を抑えて、予め定められた基準にICPソース指標(210)をそれぞれの場所に設定し、そして、デコーダは、それぞれの場所のためのICPソース指標(210)をそれぞれの第3のコンポーネント予測パラメータによって重み付けされるように設定され、前記再構築された第1のコンポーネント信号の空間的に対応する位置から線形予測を使っているそれぞれの場所の前記第3のコンポーネント信号を再構築するように、ICPソース指標(210)に応答するように構成されるか、あるいは、(それぞれの第3のコンポーネント予測パラメータによって重み付けされ、前記再構築された第2のコンポーネント信号の空間的に対応する位置から線形予測を使っているそれぞれの場所の前記第3のコンポーネント信号を再構築するように、構成される、請求項1〜請求項25のいずれかに記載のデコーダ。
  27. 前記マルチコンポーネント画像またはビデオの前記第3のコンポーネント(C)に関して前記第3のコンポーネント信号(30)を再構築する際に、前記第3のコンポーネントのための残差信号を前記データストリームから抽出して、それによって前記コンポーネント間予測を修正するように構成されている、請求項1〜請求項26のいずれかに記載のデコー
    ダ。
  28. 空間的に異なるコンポーネントに関するシーンをサンプリングし、マルチコンポーネント画像またはビデオ(16)を復号化するための方法であって、
    前記方法は、
    前記データストリーム(12)から前記マルチコンポーネント画像または前記ビデオ(16)の第1のコンポーネント(A)に関して第1のコンポーネント信号(22)を再構築する工程、
    前記データストリーム(12)から前記マルチコンポーネント画像または前記ビデオ(16)の第2のコンポーネント(B)に関して第2のコンポーネント信号(26)を再構築する工程、および
    前記再構築された前記第1のコンポーネント信号(22)および前記再構築された第2のコンポーネント信号(26)からコンポーネント間予測を用いて前記マルチコンポーネント画像または前記ビデオ(16)の第3のコンポーネント(C)に関する第3のコンポーネント信号(30)を再構築する工程を含む、方法。
  29. データストリーム(12)にマルチコンポーネント画像またはビデオ(16)の第1のコンポーネント(A)に関して第1のコンポーネント信号(22)を符号化すること、
    前記データストリーム(12)に前記マルチコンポーネント画像または前記ビデオ(16)の第2のコンポーネント(B)に関して第2のコンポーネント信号(26)を符号化すること、
    前記符号化された第1のコンポーネント信号(22)および前記符号化された第2のコンポーネント信号(26)からコンポーネント間予測を用いて前記マルチコンポーネント画像または前記ビデオ(16)の第3のコンポーネント(C)に関する第3のコンポーネント信号(30)を符号化することによって、
    空間的に異なるコンポーネントに関するシーンをサンプリングし、前記マルチコンポーネント画像または前記ビデオ(16)を符号化するように構成される、エンコーダ。
  30. 空間的に異なるコンポーネントに関するシーンをサンプリングし、マルチコンポーネント画像またはビデオ(16)を符号化するための方法であって、
    前記データストリーム(12)にマルチコンポーネント画像またはビデオ(16)の第1のコンポーネント(A)に関して第1のコンポーネント信号(22)を符号化する工程、
    前記データストリーム(12)に前記マルチコンポーネント画像または前記ビデオ(16)の第2のコンポーネント(B)に関して第2のコンポーネント信号(26)を符号化する工程、および
    前記符号化された第1のコンポーネント信号(22)および前記符号化された第2のコンポーネント信号(26)からコンポーネント間予測を用いて前記マルチコンポーネント画像または前記ビデオ(16)の第3のコンポーネント(C)に関する第3のコンポーネント信号(30)を符号化する工程を含む、方法。
  31. コンピュータプログラムは、コンピュータで動作しているときに、実行するためのプログラムコードを有する、請求項28または請求項30に記載の方法。
JP2021024168A 2013-10-18 2021-02-18 マルチコンポーネント画像またはビデオ符号化のコンセプト Active JP7223045B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023015016A JP2023065387A (ja) 2013-10-18 2023-02-03 マルチコンポーネント画像またはビデオ符号化のコンセプト

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13189444 2013-10-18
EP13189444.6 2013-10-18
JP2018202249A JP6841807B6 (ja) 2013-10-18 2018-10-26 マルチコンポーネント画像またはビデオ符号化のコンセプト

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018202249A Division JP6841807B6 (ja) 2013-10-18 2018-10-26 マルチコンポーネント画像またはビデオ符号化のコンセプト

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023015016A Division JP2023065387A (ja) 2013-10-18 2023-02-03 マルチコンポーネント画像またはビデオ符号化のコンセプト

Publications (2)

Publication Number Publication Date
JP2021101541A true JP2021101541A (ja) 2021-07-08
JP7223045B2 JP7223045B2 (ja) 2023-02-15

Family

ID=49474248

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016524405A Active JP6656147B2 (ja) 2013-10-18 2014-10-17 マルチコンポーネント画像またはビデオ符号化のコンセプト
JP2018202249A Active JP6841807B6 (ja) 2013-10-18 2018-10-26 マルチコンポーネント画像またはビデオ符号化のコンセプト
JP2021024168A Active JP7223045B2 (ja) 2013-10-18 2021-02-18 マルチコンポーネント画像またはビデオ符号化のコンセプト
JP2023015016A Pending JP2023065387A (ja) 2013-10-18 2023-02-03 マルチコンポーネント画像またはビデオ符号化のコンセプト

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016524405A Active JP6656147B2 (ja) 2013-10-18 2014-10-17 マルチコンポーネント画像またはビデオ符号化のコンセプト
JP2018202249A Active JP6841807B6 (ja) 2013-10-18 2018-10-26 マルチコンポーネント画像またはビデオ符号化のコンセプト

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023015016A Pending JP2023065387A (ja) 2013-10-18 2023-02-03 マルチコンポーネント画像またはビデオ符号化のコンセプト

Country Status (6)

Country Link
US (4) US10230949B2 (ja)
EP (2) EP3058730B8 (ja)
JP (4) JP6656147B2 (ja)
KR (4) KR20220156106A (ja)
CN (2) CN111526359B (ja)
WO (1) WO2015055832A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948933B2 (en) 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
JP6416060B2 (ja) * 2015-09-02 2018-10-31 株式会社東芝 画像圧縮装置、画像伸張装置および画像伝送システム
CN105306944B (zh) * 2015-11-30 2018-07-06 哈尔滨工业大学 混合视频编码标准中色度分量预测方法
CN105491390B (zh) * 2015-11-30 2018-09-11 哈尔滨工业大学 混合视频编码标准中帧内预测方法
WO2017139937A1 (en) * 2016-02-18 2017-08-24 Mediatek Singapore Pte. Ltd. Advanced linear model prediction for chroma coding
JP6680260B2 (ja) * 2017-04-28 2020-04-15 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
GB2571311B (en) * 2018-02-23 2021-08-18 Canon Kk Methods and devices for improvement in obtaining linear component sample prediction parameters
GB2571313B (en) 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
CN110012294B (zh) * 2019-04-02 2021-03-23 上海工程技术大学 一种用于多分量视频的编码方法及解码方法
CN110312136A (zh) * 2019-05-10 2019-10-08 同济大学 一种对多分量数据的编码和解码方法
CN115004697A (zh) * 2019-12-04 2022-09-02 抖音视界(北京)有限公司 来自多个跨分量的预测
US11816868B2 (en) 2020-08-14 2023-11-14 Tencent America LLC Coding of multiple-component attributes for point cloud coding
CN113489974B (zh) * 2021-07-02 2023-05-16 浙江大华技术股份有限公司 帧内预测方法、视频/图像编解码方法及相关装置
US11863775B2 (en) 2021-07-21 2024-01-02 Tencent America LLC Cross-component transform coefficient level reconstruction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518940A (ja) * 2006-07-04 2009-05-07 サムスン エレクトロニクス カンパニー リミテッド 画像の符号化方法及び装置、復号化方法及び装置
US20120307899A1 (en) * 2009-12-07 2012-12-06 Sk Telecom Co., Ltd. Apparatus and method for encoding/decoding multi-plane images using bi-prediction and recording medium using same

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL129203A (en) * 1999-03-28 2002-07-25 Univ Ramot System and method for compressing figures
JP2001292372A (ja) * 2000-04-04 2001-10-19 Pioneer Electronic Corp 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体
CN101189875B (zh) * 2005-04-13 2010-11-17 汤姆逊许可公司 利用公共预测器的亮度和色度编码
KR101138393B1 (ko) * 2005-07-15 2012-04-26 삼성전자주식회사 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JP4304639B2 (ja) * 2007-01-16 2009-07-29 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR101362757B1 (ko) * 2007-06-11 2014-02-14 삼성전자주식회사 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
CN101335902B (zh) * 2007-06-25 2010-06-02 华为技术有限公司 视频编解码中的加权预测方法和装置
US8331664B2 (en) * 2008-01-21 2012-12-11 Telefonaktiebolaget Lm Ericsson (Publ) Prediction-based image processing
ATE524927T1 (de) * 2008-01-21 2011-09-15 Ericsson Telefon Ab L M Auf prädiktion basierende bildverarbeitung
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
WO2011088594A1 (en) * 2010-01-25 2011-07-28 Thomson Licensing Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
JP5856143B2 (ja) * 2010-04-13 2016-02-09 ジーイー ビデオ コンプレッション エルエルシー 細分割を使用した2次元情報信号の空間的なサンプリングの符号化
DK2559246T3 (en) * 2010-04-13 2016-09-19 Ge Video Compression Llc Fusion of sample areas
KR101447796B1 (ko) * 2010-04-13 2014-10-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 평면 간 예측
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101673027B1 (ko) * 2010-07-01 2016-11-04 에스케이 텔레콤주식회사 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
JP5134047B2 (ja) * 2010-07-23 2013-01-30 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
WO2014045506A1 (en) * 2012-09-24 2014-03-27 Sharp Kabushiki Kaisha Video compression with color space scalability
PL2984837T3 (pl) * 2013-04-08 2018-07-31 Ge Video Compression, Llc Predykcja międzykomponentowa
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US20150382016A1 (en) * 2014-06-27 2015-12-31 Mitsubishi Electric Research Laboratories, Inc. Method for Processing Multi-Component Video and Images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518940A (ja) * 2006-07-04 2009-05-07 サムスン エレクトロニクス カンパニー リミテッド 画像の符号化方法及び装置、復号化方法及び装置
US20120307899A1 (en) * 2009-12-07 2012-12-06 Sk Telecom Co., Ltd. Apparatus and method for encoding/decoding multi-plane images using bi-prediction and recording medium using same

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A. KHAIRAT, T. NGUYEN, M. SIEKMANN, AND D. MARPE: "Non-RCE1: Extended Adaptive Inter-Component Prediction", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-O0150, JPN6022021190, October 2013 (2013-10-01), pages 1 - 6, ISSN: 0004787444 *
KEI KAWAMURA, AND SEI NAITO: "Non-RCE1: Inter colour-component residual coefficients prediction", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-O0263 (version 1), JPN6022021192, 15 October 2013 (2013-10-15), pages 1 - 5, ISSN: 0004787442 *
T. NGUYEN, A. KHAIRAT, AND D. MARPE: "Non-RCE1/Non-RCE2/AHG5/AHG8: Adaptive Inter-Plane Prediction for RGB Content", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-M0230, JPN6022021191, April 2013 (2013-04-01), pages 1 - 6, ISSN: 0004787443 *
WEI PU, ET AL.: "Non-RCE1: Inter Color Component Residual Prediction", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-N0266, JPN6022021193, July 2013 (2013-07-01), pages 1 - 7, ISSN: 0004787441 *

Also Published As

Publication number Publication date
US11765342B2 (en) 2023-09-19
US10778968B2 (en) 2020-09-15
KR101968236B1 (ko) 2019-08-20
EP3058730A1 (en) 2016-08-24
US10230949B2 (en) 2019-03-12
JP2019050588A (ja) 2019-03-28
JP2023065387A (ja) 2023-05-12
JP7223045B2 (ja) 2023-02-15
US20190158826A1 (en) 2019-05-23
CN111526359B (zh) 2023-01-06
KR20160091325A (ko) 2016-08-02
JP6656147B2 (ja) 2020-03-04
EP3846469A1 (en) 2021-07-07
CN105723706B (zh) 2020-03-17
WO2015055832A1 (en) 2015-04-23
KR102207000B1 (ko) 2021-01-25
KR20210010644A (ko) 2021-01-27
KR20190040083A (ko) 2019-04-16
US20160227210A1 (en) 2016-08-04
US20230379454A1 (en) 2023-11-23
EP3058730B1 (en) 2020-12-02
EP3058730B8 (en) 2021-03-10
CN105723706A (zh) 2016-06-29
JP6841807B6 (ja) 2021-04-07
US20200413046A1 (en) 2020-12-31
KR102467057B1 (ko) 2022-11-14
JP6841807B2 (ja) 2021-03-10
JP2016539551A (ja) 2016-12-15
CN111526359A (zh) 2020-08-11
KR20220156106A (ko) 2022-11-24

Similar Documents

Publication Publication Date Title
JP6841807B6 (ja) マルチコンポーネント画像またはビデオ符号化のコンセプト
CN105453570B (zh) 用于下一代视频的对分区数据的内容自适应熵编码
CN105409218B (zh) 解码器和解码方法
US20150010076A1 (en) Method of Coding and Decoding Images, Coding and Decoding Device and Computer Programs Corresponding Thereto
CN105432077A (zh) 在切换色彩空间时调整量化/缩放和逆量化/缩放
CN105230023A (zh) 色彩空间、色彩采样率和/或比特深度的自适应切换
CN105474642A (zh) 使用频域差对图像集合进行重新编码
CN110650349B (zh) 一种图像编码方法、解码方法、编码器、解码器及存储介质
KR20160057311A (ko) 픽처 부호화 프로그램, 픽처 부호화 방법 및 픽처 부호화 장치 및 픽처 복호화 프로그램
US11729426B2 (en) Block-based predictive coding and decoding of a picture
US20240064308A1 (en) Magnitude Prediction with Candidate Pruning
JP2013183207A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230203

R150 Certificate of patent or registration of utility model

Ref document number: 7223045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150