JP2009523337A - 適応色空間変換を用いた画像符号化 - Google Patents

Abstract

本発明は、画像の全領域より小さい画像面積を有する異なる画像ブロックを含む画像の表現が選択され、異なる画像ブロックが第１の色空間表現または第２の色空間表現のいずれかにおける画像情報を有するとき、画像または画像ストリームが高効率で符号化することができるという知見に基づく。異なる色空間表現がその記述パラメータに関して個々に固有の特性を有するので、画像ブロックに対する各々に適当な色空間表現を選択することは、所定のサイズおよびビットレートをもった良好な品質を有する画像の符号化表現という結果となる。
【選択図】図４

Description

本発明は、画像符号化、特に、画像内容のより効果的な符号化、すなわち画像の符号化された表現またはより良好なＲ／Ｄ比を有する画像ストリームの生成を可能にするコンセプトに関する。

画像または画像ストリームが能率的に符号化されなければならない用途は非常に多い。たとえば、静止画像圧縮は、通常、デジタルカメラで撮影され、所定の大きさの記憶媒体に格納することができる画像の数を増加させるために符号化が行われる。限られた回線容量だけを提供している伝送路上に、画像シーケンスまたは完全な映画の伝送を行うとき、画像の内容の高圧縮を可能にする効率的なコーデック（コーダ−デコーダ）の使用は、さらに差し迫ったものとなっている。これは、一方では、例えば携帯電話に対するビデオ内容のストリーミングなどのように、低い回線容量を提供している輸送チャネルに求められる所望の伝送に起因する。その一方、高分解能画像を表示することができるディスプレイがますます消費者の間に広まっているため、高解像度のビデオコンテンツの伝送はますます普及するようになっている。１つの大きな動きは、近い将来のハイビジョン（ＨＤＴＶ）の放送である。

一般に、２つの異なる符号化方法に区別することができ、１つは、いかなる情報も消失しないようにすることであり、他の１つは、大幅なファイルサイズの低減を成し遂げるために（適度な）情報および品質の損失を受け入れることである。可逆圧縮技術が静止画像および映画のコンテンツの両方のために存在するが、たとえばエントロピー符号化に基づくこれらの技術は、好ましい利用に関して十分または満足できるほどにファイルサイズの減少を成し遂げることができない。したがって、主として、静止画圧縮のためのＪＰＥＧや映画圧縮のためのＭＰＥＧ２のような非可逆圧縮が選択される。

通常、非可逆圧縮には、基礎となる原画と比較して圧縮画像の品質が低下するという問題がある。当然、圧縮率が増加すると、すなわち圧縮画像のファイルサイズが減少すると、画像品質はより悪くなる。したがって、圧縮画像の目的とする品質と伝送または記憶に対して容認できるファイルサイズとの間に妥協点を見つけなければならない。主に、ファイルサイズの減少および情報の損失は、画像特性を示すパラメータの量子化によってもたらされ、量子化が粗くなるほど、品質が悪くなり、圧縮画像が小さくなる。一般に、圧縮画像の品質は、圧縮画像と基礎となる原画との比較によって評価される。これは、ＳＮ比を評価することを考慮したものであり、ノイズは、圧縮の間に入り込んだノイズであると考えられる。

現在の圧縮アルゴリズムにおいて、画像のブロック的な処理が広く使われている。基礎となる根本概念は、通常の画像コンテンツでは、隣接する画素の内容、たとえば色や明るさなどの変化が比較的小さいということである。したがって、処理および圧縮される隣接した画素の領域を用いて、著しく画像の知覚品質を減らすことなく高い圧縮率を達成しなければならない。このような画像ブロックは、これからマクロブロックと呼ばれる。したがって、換言すれば、マクロブロックは、符号化における一種のサブピクチャユニットとして役立つ。ブロック区画は、図７に示され、画像１０は、１２の等サイズの画像ブロック１２Ａ〜１２Ｌに細分される。なお、１２の異なる画像ブロックへの細分は、単なる一例であると理解されたい。

例えば、１つの画像ブロック１２Ｉは、図７において拡大され、８×８マトリックスに細分された画像ブロック１２Ｉの一区画は、マクロブロック１２Ｉを形成している１つの画素エレメントを示す。ここにおいても、８×８の個々の画素からの画像ブロックの形成は、単なる一例であると理解されたい。個々の画素において色を表すために、各画素は、特定の色空間の異なる色情報を有する３つのパラメータを割り当てられる。

マクロブロックを符号化する１つの簡単なアプローチは、各１つの画素の３つのパラメータを量子化して、量子化の後、量子化されたパラメータにエントロピー符号化を実行することである。量子化が著しくエントロピー符号化のための利用できる母数空間を減らすので、パラメータの量子化は記憶スペースの量や１つのマクロブロックを示すのに必要なビット数を大幅に減らすことができる。

しかしながら、高エネルギーを有する画像コンテンツを示す構文要素の量を減らすために、１つのマクロブロックの中の画像情報は、画像コンテンツをマクロブロックの範囲内で他の表現（スペクトル領域）に変換することによって生じる変換係数によってしばしば表される。１つの例は、最終的にサブマクロブロック・レベルにおいて、別々の離散コサイン変換を実行して、量子化され、量子化後にエントロピー符号化される画像情報として変換係数を使用することである。

変換は、例えば、完全なピクセル情報、すなわち画像ブロック１２Ｉの画素当たりの３つのパラメータ値に適用することができる。好ましくは、変換は、３つのパラメータ／コンポーネントのために、別々に実行される。

ファイルサイズのさらなる低減およびより高い圧縮のために、符号化された画像の知覚品質を判断するときに、色情報よりも輝度情報に重きをおいて見える人間の目の特性を利用することもできる。したがって、符号化性能（品質およびビットレートに関して）を強化するための１つの可能性は、マクロブロックの中で輝度パラメータの数に対して色パラメータの数を減らすことである。すなわち、変換係数の基礎を形成する表現が基礎となる情報の基盤は、画像ブロック内において、色に関する情報より輝度に関するより多くの情報を含む。１つの輝度に関する値と２つの色に関する値とで色を表す多数の方法があるので、これより、輝度に関する値を輝度値と呼び、色に関する値を色度値と呼ぶことにする。

画像ブロック１２Ｉを形成する変換に適した１つの考えられる方法が、図７において示される。拡大された画像ブロック１２Ｉは８×８の個々の画素を有し、各画素が通常１つの輝度値と２つの色度値とで表されている。特定の画素の色度情報だけが変換の基礎となるデータセットとして使われるという点で、図１２Ｉは色度情報の量を減らす方法を例示している。これは、色度データセットの一部である個々の画素の中で、文字Ｃによって示されている。むしろ、あらゆる個々の画素で最も重要な輝度情報が用いられる。

拡大されたマクロブロック１２Ｉに示される状況が単に一例であることを理解されたい。また、色度情報の量をさらに減らすことも可能である。これは、例えば、あらゆる８つの輝度値のためにある第２の色度情報を省略することによって達成することができ、１つの色度値は変換の間考慮される。単に、図の１２Ａに示される画素の色度値を使用せず、４つの隣接した画素から画素の色度値を平均することによって平均色度値を算出することは可能である。図７に示す色度値１６によって示されるように、このような色度値は、マクロブロックの中にある４つの画素の中央に存在している位置に割り当てられる。

上記の符号化技術は、通常、静止画および映画のために用いることができる。映画のために、動き予測を含む符号化のより高度な方法が用いられる。

マクロブロック的な動き予測の場合には、画像ストリームの中の２つの（または、それより多くの）画像（画像が、必ずしも直接的に続く必要があるというわけではない）が、２つのイメージの中で同じ画像コンテンツを示す位置を示す。最も単純なケースにおいて、現在のフレームのマクロブロックの中の画像コンテンツは、参照フレームと比較して変化しなかった。しかしながら、マクロブロックのコンテンツは、参照フレームのわずかに異なる位置に現れる。この場合、参照画像がデコーダ側で完全にわかっていれば、参照画像から現在のマクロブロックへの移行の間、画像コンテンツの動きの動きベクトルを知り、現在の画像の中の画像ブロックの画像情報を再現または予測するのに十分である。もちろん、通常、参照画像から現在の画像への移行の間に、画像ブロック内にわずかな変化がある。これのため、予測誤差も伝達され、動きベクトルとともにマクロブロックの画像コンテンツの変化を再現し、現在の画像のマクロブロックの完全な再現を可能にする。変換およびエントロピー符号化のような次の残余の符号化を有する動き予測を用いるコーデックは、ハイブリッド・ビデオ・コーデックと呼ばれている。

最先端の技術によれば、予測符号化は、画像シーケンスの効率的な表現を可能にする。予測符号化において、まず、符号化される量に関する値が予測される、次に、予測値に対する本当に観察された値の差分だけが符号化されて送信される。これはビットレートにおけるゲインをもたらし、信頼性の高い予測を有するため、差分パラメータはマクロブロックの中で画像を表す絶対的なパラメータより平均して小さい。そのため、次のエントロピー符号化（先の量子化の有無にかかわらず）が基礎を形成するシンボルスペースを減少させることができ、より短い符号語およびビットレートの減少を可能にする。

ブロック的な符号化方法を使用し、容認できないほど圧縮コンテンツの知覚品質を低減させることなく、圧縮された画像または映画のファイルサイズを減少させるために保証される相当な取り組みがあったにもかかわらず、１つの画像ブロックの特性も画像ブロックの異なるパラメータ表示に関して最適にまだ利用されていない。

本発明の目的は、ブロック的な画像処理における画像ブロックの異なったパラメータ表示の固有の特性のより効果的な使用を可能にする符号化体系を提供することである。

この目的は、請求項１および１７に記載の装置、請求項２２または２３に記載の方法、および請求項２４に記載のパラメータ・ビットストリームによって達成される。

本発明は、それぞれが画像の全領域より小さい領域に関する画像情報を持つ異なる画像ブロックを有する画像表現が選択され、異なる画像ブロックが第１の色空間表現または第２の色空間表現のいずれかにおいて画像情報を持っているときに、画像または画像ストリームが効果的に符号化されるという知見に基づくものである。異なる色空間表現がそれらの示しているパラメータに関して固有の特性を有するので、画像ブロックに関して個々に適当な色空間表現を選択することは、所定の大きさまたはビットレートで良好な品質を有する符号化表現をもたらす。

本発明の一実施例では、第１の色空間表現または第２の色空間表現のいずれかに画像情報を持っている異なる画像ブロックを有するビットストリームを受信する本発明のデコーダが用いられる。デコーダは、現在作用している画像ブロックの色空間表現が別の色空間表現に変換されるか否かを示す変換フラグを受信する。このようなデコーダは、異なる色空間表現で符号化される画像ブロックの画像復号化プロセス内での再現を可能にする。したがって、デコーダは、画像のよりコンパクトな表現または画質を減少させることのない画像ストリームの表現を可能にする本発明のビットストリームを処理するために有効である。

本発明の更なる実施例において、本発明のデコーダは、ＲＧＢ表現、および、色および輝度が異なるパラメータとして格納される表現、つまり１つの輝度パラメータと２つの色度パラメータとを有する表現において、画像ブロックを処理するように用いられる。通常の画像素材がＲＧＢ色空間に存在し、したがって、本発明のデコーダによって処理できるという点で、これは有利である。さらに、異なる色空間表現のパラメータ値の固有の違いは、所定のビットレートで最適な再生品質を提供するために、都合よく利用されることができる。

本発明のさらなる実施例において、本発明のデコーダは、画像ブロックのパラメータ表示上の色空間変換を実行するために働く色空間変換器を備え、パラメータ表現は、たとえば周波数領域などの変換領域において画像ブロックを表示する。これは、従来の画像処理技術において、画像データが効率的な量子化を可能にするために伝送の前に通常変換されるという利点がある。したがって、また、変換領域で働くように機能する本発明のデコーダは、さらにそれらの構想の符号化効率を上昇させるために、従来の構想に容易に実行することができる。

本発明のさらなる実施例において、本発明のデコーダは、さらに再量子化器およびエントロピー復号器を有する画像またはビデオデコーダに組み込まれる。このように、本発明のデコーダを有するビデオデコーダまたは画像デコーダが本発明の高圧縮のビットストリームを処理することを可能にするという点で、本発明のデコーダは、さらに符号化効率を上昇させるために、画像またはビデオデコーダに使用することができる。

本発明の更なる実施例において、本発明のデコーダは、設けられているビットストリームに存在する変換フラグに応じて色空間変換のオン／オフを切替えるために有効である。このような本発明のデコーダは、従来の構想に実行することができ、従来の復号化および単一デバイス内での本発明のビットストリームの復号化の両方を可能にする。

本発明のさらなる実施例において、本発明のエンコーダは、変換決定器が好ましい変換を決定したときに、画像ブロックの色空間表現を「自然な」色空間表現（すなわちコンテンツが本来与えられている色空間表現）から第２の色空間表現に変換するための色空間変換器を備えている。変換決定器は、ブロックベースで、それぞれのブロックが自然の色空間表現で、または、第２の色空間表現で符号化されるとき、符号化された画像表現の予想される品質を推定するように機能する。したがって、本発明の変換決定器は、好ましい最大ビットレートに基づいて、変換が必要であるか、または個々のブロックにとって適当であるかどうかを決定し、所定のビットレートで最良の可能な符号化品質を選択するように機能する。これは、同じ知覚品質を保ちながら、従来技術よりも低いビットレートを可能にする本発明のコンセプトを実効するのに大きな効果がある。

本発明の好ましい実施例は、以下の図面を参照することにより記載される。

図１は、本発明のデコーダ１００を示す。デコーダ１００は、画像ブロックを第１の色空間表現（Ａ）から第２の色空間表現（Ｂ）に変換し、その逆にも変換するように機能する色空間変換器１０２を有している。デコーダは、画像内の第１の画像ブロックおよび第２の画像ブロックを有する表現で表示された画像または映画の復元に用いられ、画像ブロックは、第１の色空間表現（Ａ）または第２の色空間表現（Ｂ）における画像情報をもっている。デコーダ１００は、入力としていくつかの画像ブロック１０４Ａ〜１０４Ｄを含むビットストリーム１０４を受信し、画像ブロック１０４Ａ〜１０４Ｄは、ビットストリーム１０４中に異なる色空間表現ＡまたはＢで含まれる。

デコーダ１００の中の色空間変換器１０２は、選択された画像ブロックを受信し、元の色空間表現から所望の色空間表現に変換する。図１に示される実施例において、デコーダ１００の出力ビットストリーム１０６から分かるように、色空間変換器は、画像ブロック１０４Ｃおよび１０４Ｂの色空間表現（Ｂ）を色空間表現（Ａ）に変換するように機能し、復号化後、出力ストリーム１０６内の全ての画像ブロックが色空間表現Ａで表示される。

図１の変形として、デコーダ１００は、さらに、対応する画像ブロックが変換される色空間表現を有するか否かについて示すビットストリームの中で伝達される変換情報を受信するためのフラグ受信器１０８を含んでいてもよい。受信した変換指示に応じて、フラグ受信器１０８は、画像ブロックを色空間変換器に導くか、または、直接デコーダ（１００）の出力に導くかを指示することができる。

好ましい実施例において、本発明のデコーダがビットストリームとともに変換指示信号を受信したが、特定の画像ブロックに対して、色空間変換が必要か否かを評価アルゴリズムによって評価するデコーダを使用することも可能である。これは、例えば、画像ブロック成分表現自体から得ることができる。

本発明のさらなる実施例において、発明のデコーダは、多くの連続フレーム（スライス）のための、もっと一般的には、多くのグループの画像ブロックのための色空間変換器を活性化させるか停止させる付加的な活性化フラグを受信するように機能する。

画像ブロックの動き予測に基づいて予測符号化スキームで符号化される画像ブロックの画像情報を含むビットストリーム信号を受信するように機能するビデオデコーダに本発明のデコーダを使用することは、さらなる本発明の好ましい実施例である。

このような予測符合化スキームにおいて、画像ブロックの動き補正予測および画像ブロックの実際のコンテンツの間の違いまたは残差（差分マクロブロック）だけが、符号化効率を上昇させるために送信される。本発明の一実施例では、これらの差分マクロブロックは、送信されて、第１の（例えばＲＧＢ）、または、第２の（例えばＹＣｏＣｇ）色空間表現で復号化される。したがって、差分画像ブロックを表示するすでにかなり簡潔な情報は、単純な色変換によってさらに減少させることができ、計算機的には安価である。差分信号、すなわち低い値（すなわち少数）のパラメータを記載することを目的とする信号の符号化に関しては、色空間変換の効果は、極めて有益である。これは、図２および３の以下の説明において、簡潔に動機づけされる。

残留信号との関連で、本発明は、予測残留信号の色空間表現を所定のビデオソースの特性および目前の特定の符号化条件に適応させるために、第１の（例えばＲＧＢ）および第２の（例えばＹＣｏＣｇ）色空間との間のスイッチングの技術について説明する。発明概念および技術を用いて、エンコーダは、速度−ひずみ最適方法のそれぞれのマクロブロック（画像ブロック）に対して、残留信号の選択的な２つの色表現のどちらかを選ぶことができる。エンコーダの選択は、マクロブロックベースのフラグによって、対応するデコーダに信号を送ることができる。本発明の好ましい実施形態において、発明概念は、Ｈ．２６４／ＭＰＥＧ４―ＡＶＣのような高度なビデオ・コーデックに適用されることができ、特にそれらの高度なコーデックの高品質の符号化シナリオにおいて要求されたビットレートを低下させるために役立つ。たとえば、ビットストリームに対する最大ビットレートが特定されるように、そして、本発明のエンコーダが特定のビットレートで最高の符号化品質を提供する残留信号の色空間表現を選択するように機能するように、速度−ひずみ最適方法は理解されることができる。しかしながら、一定の品質のために速度を最適化するかまたは若干の費用関数を用いてＲ／Ｄ比率を最適化することは可能である。

品質―ビットレート依存関係は、１つのサンプルフレームのために、図２において表される。

図に示すように、規定の最大ビットレートはｘ軸（Ｍｂｉｔｓ／Ｓｅｃを単位とする）に与えられ、対応する画像品質（ｄＢを単位とするＳＮ比）はｙ軸に表示される。図２は、１つの画像を２つの異なる一定の色空間表現に符号化するための２つのいわゆる「速度ひずみ性能曲線」を示す。第１の曲線１２０は、ＲＧＢが色空間表現として選ばれたときの画像の速度依存性を示し、第２の曲線１２２は、ＹＣｏＣｇが色空間表現として選ばれたときの速度ひずみ性能を示す。図２は、単一の色空間表現がすべての異なるソースピクチャ特性のために最適となることができるというわけではない（速度ひずみ感覚において）という周知の結果を示している。一般に、Ｒ、ＧおよびＢチャネル間の相関量は、非常に信号依存であって、所定の画像の範囲内で変化することさえできる。

図２は、典型的な内部のみの符号化シナリオのための速度−ひずみ（Ｒ−Ｄ）曲線を示し、色空間表現は符号化の前に決定されたものである。曲線１２０は最初のＲＧＢ領域での符号化の場合に得られるＲ−Ｄ性能を表し、同じソースのＹＣｏＣｇ色空間での符号化は図１２２に示されるＲ−Ｄ性能のような結果となる。プロットにおける歪み（Ｄ）が、原画と符号化によって導入されるノイズとの比較によるＲ、ＧおよびＢの画像ピークＳＮ比値の平均として測定された点に注意されるべきである。

図２の曲線が完全な画像に対する平均されたデータを表す点に注意されたい。平均効果が発生せず、１つのマクロブロックレベル上の異なる色空間表現を用いて得られる品質の違いがより大きくてもよいため、１つのマクロブロックを観察するときに、ビットレートに関して次項で述べられる効果はずっと有力であってもよい。

図２のＲ−Ｄ曲線１２０および１２２から分かるように、ＹＣｏＣｇ表現を用いた低ビットレート符号化は、対応するＲＧＢ表現を用いたそれより著しくよく機能する。一方、符号化されて得られるますます多くの雑音成分をもってより高いビットレートに向かって進むときに、ＲＧＢベースの符号化はより良好な性能につながる。結果として、いずれにしても、サンプルを１つの色空間表現に符号化するためにどちらか一方のＲ−Ｄ曲線に沿って進むことができるだけであるから、両方の選択的な表現の次善のＲ−Ｄ性能を示すクロスオーバー領域１２３がある。本発明のデコーダ１００および対応する本発明のエンコーダを用いて、現在の発明概念はこの課題を解決して、曲線１２４に対応する符号化性能を成し遂げており、それはＲＧＢベースのおよびＹＣｏＣｇベースのＲ−Ｄ曲線のＲＤエンベロープである。

さらに、多くの符号化アプリケーションで、明確な符号化状況もソースの標準的特性も、前もってわかっていない。本発明のデコーダおよび対応する本発明のエンコーダを用いて、最適色空間表現は、速度−ひずみ感覚において最適となるように順応して選ばれることができる。

図３は、さらに発明概念およびビットレートのポテンシャル減少につながっている機構を説明するために、ＲＧＢ色空間からＹＣｏＣｇ色空間へのほとんど灰色信号の変換のための例を示す。それぞれ、ＲＧＢからＹＣｏＣｇ色空間表現への色変換は、各々３つの（Ｒ、Ｇ、Ｂ）または（Ｙ，Ｃｏ，Ｃｇ）値に次の操作を適用することにより可逆的に実行されることができる。
Ｃｏ＝Ｒ−Ｂ ｔ＝Ｙ−（Ｃｇ＞＞１）
ｔ＝Ｂ＋（Ｃｏ＞＞１） ⇔ Ｇ＝Ｃｇ＋ｔ
Ｃｇ＝Ｇ−ｔ Ｂ＝ｔ−（Ｃｏ＞＞１）
Ｙ＝ｔ＋（Ｃｇ＞＞１） Ｒ＝Ｂ＋Ｃｏ

上記の記法において、演算子（＞＞）は、基本となるビット列のビット単位の右側への動きを意味し、このように２による除算に等しい。

発明の着想は、相互に切り替わる色空間表現の正確な選択に依存しない点に再び注意されたい。実施例において、引用された色空間表現に対する規制は、主にそれらが広く使われているという事実のためである。

図３は、ＲＧＢ色空間からＹＣｏＣｇ色空間への色空間変換のグラフ表示を示す。見本として、元のＲＧＢ信号１４０は、ほとんど等しい値のＲ、ＧおよびＢパラメータを有する。すなわち、対応する画素は、ＲＧＢ値の合計に比例または対応した強度を有する灰色に近いものである。問題になっている画素がほとんど無色であるので、ＹＣｏＣｇ色空間への変換は色度パラメータＣｏおよびＣｇに対してゼロに近いパラメータ値を提供し、信号がほとんど無色であるという事実と共通点がある。一方、輝度パラメータＹは、色度パラメータと比較してかなり大きい値を有している。

図３に示される実施例は、その場合対応する三刺激値（１つの色空間表現の中の１つの情報チャネルの値）が互いに等しいのに近いため、たとえばＲＧＢからＹＣｏＣｇへの非相関変換の使用が全体的な符号化効率に関して非常に有用なものとしている主に少ない色で飽和した内容を示す。１つの画像の範囲内の場合、彩度はむしろ低く、個々のＲＧＢ値は、ある程度異なる。合計、すなわち、ＹＣｏＣｇ表現のＹパラメータは画像を通じてスムーズに変化し、低い彩度のため、ＣｏおよびＣｇパラメータはかなり小さい。このようなスムーズに、または、ほとんど一定のパラメータは、より能率的にコード化されることができる。

このように、色変換の有効性は、特定の符号化条件に高く依存している。これは、特に主要チャネルにおいて信号から独立した無相関のかなりの量のノイズを含むソースによく当てはまる。ＲＧＢからＹＣｏＣｇへの色変換は、行列形式に書かれるときに、値において重要である非対角の行列要素を有する。量子化閾値１５２（それは説明の便宜上示されるだけである）より上のＹ―チャネルの「増幅」は、これらの非対角要素に直結される。したがって、信号から独立した、無相関のかなりの量のノイズを含んでいるソースのために、非相関の色変換の重要な非対角要素によってノイズの厳格な増幅が生じ、それは次々に、雑音成分が一般的に量子化プロセスを生き残ると思われる高ビットレート範囲における符号化効率の低下という結果になる。

前記したように、図２および図３に関して、色表現をマクロブロックごとの（画像ブロックごとに）ベースで所定の予測残留信号の特性に適応させることは、極めて有益でありえる。したがって、予測残留信号を含むビットストリームの中で、新規な構文要素は、ビットストリームに導入されることができる。構文要素が、それに等しいときに、前に示した順方向および逆方向の変換動作を引き起こすことによって色空間変換のアプリケーションを含む所定のマクロブロックの符号化および復号化を示す。その導入されたフラグは、ゼロまたは存在しないとき、符号化および復号化プロセスが、すでに以前に述べたのと同じ方法で、つまり符号化の前に存在した元の色空間に基づいて進めることを示すことができる。

図４は、全画像２１０の領域より小さい画像面積に関する画像情報をもつ複数の画像ブロックを有する画像の表現を生成するための本発明のエンコーダ２００を示す。エンコーダ２００は、第１の色空間表現（Ａ）から第２の色空間表現（Ｂ）に画像ブロックの画像情報を変換するための色空間変換器２０２を有する。

画像ブロックベースで画像を符号化するために、個々の画像ブロック２１０Ａ〜２１０Ｆが、本発明のエンコーダ２００に入力される。エンコーダ出力は、画像ブロックを第１の色空間表現（Ａ）または第２の色空間表現（Ｂ）のいずれかにおいて符号化された画像を出力する。

エンコーダ２００は、さらに、処理された画像ブロックに対する変換が実行されるかどうかを画像ブロックごとに決定する変換決定器２１４を含む。変換決定器２１４は、たとえば、所定のビットレートで最高の品質を提供している色空間表現を選択する最大許容ビットレートに基づいて変換決定に対応することができる。

他の可能性は所望の最大の品質（密接に、量子化の粗さにつながる）、すなわち所望の歪み値を定めることであり、変換決定器２１４は試行錯誤方式で機能し、個々の画像ブロックは通常、両方の色空間表現に符号化され、変換決定器２１４は低いビットレートとなっている色空間変形を選択する。もちろん、例えば、前に表にされた試料形態に基づく解析表示または推定などに基づいて、その他の決定規則が変換決定器によって使われてもよい。本発明のエンコーダ２００は、さらに、画像ブロックに情報を有するビットストリームに所定の画像ブロックのための所望の変換を示す変換情報を組み込むように機能する。色空間変換がデコーダ側で実行されるかどうか、これは対応するデコーダに信号を送られる。

色空間変換が問題となっているマクロブロックのために実行されることになっているかどうか示すような追加フラグを導入するときに、さらなるビットレートはこの導入されたフラグはエントロピー符号化によって保存されることができ、たとえばｍｂ＿ｒｃｔ＿ｆｌａｇ（「マクロブロック残留色変換フラグ」）と呼ばれている。効果的な符号化を成し遂げるために、算術符号化概念は、例えば、バイナリデータを符号化するために適用されることができる。したがって、選ばれた算術符号化は、ビット当たり（または、特定のマクロブロックに関するｍｂ＿ｒｃｔ＿ｆｌａｇにつき）値０または１の発生可能性に依存する、バイナリ算術符号化概念とすることができる。さらに、たとえば、適応できる方法、すなわち算術符号化アルゴリズムの潜在的な確率分布が「学んでいる」かまたはすでに符号化されているｍｂ＿ｒｃｔ＿ｆｌａｇの実際の発生に基づいてアップデートされた方法において、バイナリ算術符号化を実行することは有利である。つまり、一旦実質的価値が観察されるならば、１つのビット値の発生の確率がアップデートされ、潜在的な確率分布は実際のものに適合している。

さらに、適応できるバイナリ算術符号化は、状況に応じた方法で行うことができ、すなわち異なる確率分布が明確な状況に対して間近にある。換言すれば、複数の状況は、ｍｂ＿ｒｃｔ＿ｆｌａｇに使用されることができる。状況説明の１つの例は図４ａに示され、画像２４０の範囲内で、３つのマクロブロック２４２ａ、２４２ｂおよび２４２ｃが示される。たとえば、マクロブロック２４２ａが符合化されることになっている場合、状況、すなわち符号化されるマクロブロックの環境条件は、隣接する左（ａ）のマクロブロック２４２ｂおよび隣接する上（ｂ）のマクロブロック２４２ｃによって引き出されることができる。これらのマクロブロックのｍｂ＿ｒｃｔ＿ｆｌａｇに基づいて、３つの異なる状況ｃｔｘＩｄｘＩｎｃは、以下の式によって考えることができる。
ｃｔｘＩｄｘＩｎｃ（Ｃ）＝（ｍｂ＿ｒｃｔ＿ｆｌａｇ（Ａ）＝＝０）：０？１＋ （ｍｂ＿ｒｃｔ＿ｆｌａｇ（Ｂ）＝＝０）？０:１.

代わりの表記法によれば、これは、以下のように記載することができる。
ｃｔｘＩｄｘＩｎｃ（Ｃ）＝ｍｂ＿ｒｃｔ＿ｆｌａｇ（Ａ）＋ｍｂ＿ｒｃｔ＿ｆｌａｇ（Ｂ）．

上述したように、ｍｂ＿ｒｃｔ＿ｆｌａｇｓが個々のマクロブロックに対して必ずしも存在する必要があるというわけではない点に留意する必要がある。上記の公式の評価のためにないときに、フラグが０に等しいと仮定される。

たとえば、さらなる機能性を予測することができ、それはフラグ「ｒｃｔ＿ｍｏｄｅ＿ｆｌａｇ」によっても示される。このフラグは、たとえば、他の異なった特性を共有するマクロブロックの部分を形成しているマクロブロックのより大きなサンプルに対する色空間変換のオン／オフを切替えることができる。ｒｃｔ＿ｍｏｄｅ＿ｆｌａｇが１に等しい場合だけ、ｍｂ＿ｒｃｔ＿ｆｌａｇはマクロブロック層に存在する。

図５は、簡略実施例のために、動き予測および予測残差符合化を用いた符号化プロセスを示すものである。符号化は、２つの連続的な画像２５０および２５２に基づいて簡潔に説明される。動き予測は、画像２５２のサンプルマクロブロック２５４Ａの助けを借りて示される。

マクロブロック２５４Ａの画像コンテンツは、画像２５２における運動予測ステップの間も見出され、参照画像と呼ばれている。参照画像において、対応するマクロブロック２５４Ｂは、動きベクトル２５６によって画像２５２のその位置２５４Ａから移動する。マクロブロック２５４Ｂが全くその内容を変えなかった場合、マクロブロック２５４Ｂの位置に対応する画像２５２の画像部分を引き出すための直接の方法は単にビットストリームの中で動きベクトル２５６を送信することである。デコーダが先の画像２５０を認識しているとき、これはデコーダが適当な位置で画像ブロック２５４Ｂを再現することを可能にする。

一般的なシナリオにおいて、マクロブロック２５４Ｂの画像コンテンツは、参照画像２５０の対応する領域２５４Ａの画像コンテンツに関して変化する。予測符号化において、実際のコンテンツ２５４Ｂと予測２５４Ａとの差だけが送信される。その理由は、残りのサンプルは小さいと思われ、低ビットレートで符号化できるからである。したがって、マクロブロック２５０Ａおよび動きベクトル２５６に加えて、残りの信号２５８が、最後に送信された信号の表現のために計算され、使用されなければならない。本発明によれば、最後に送信された信号は、利用可能な伝送チャネルのビットレートまたは帯域幅にしたがって、第１の色空間表現２５８Ａまたは第２の色空間表現２５８Ｂにおいて送信される。

全ての３つの信号成分（たとえば、Ｒ、ＧおよびＢ）のための１つの動きベクトルを有すること、すなわち、参照情報が同じ参照画像の同じブロックから引き出されることが、最も単純なケースである。より一般的な方法において、各信号成分に対する異なる動きベクトルが引き出され、すなわち、参照情報が異なる画像ブロックから引き出され、加えて、異なる参照画像を起源とすることができる。本発明が、このように、１つの動きベクトル、すなわち全ての３つの成分のための同じ予測演算子を有するケースに、必ずしも制限されるというわけではない。たとえば、１つの動きベクトルを有することは、本発明の好ましい実施例である。

すでに前述したように、予測残差符号化を使用しているマクロブロックベースの符号化スキームのアプリケーションは好ましいアプリケーションシナリオである。その理由は、必要なビットレートは単純で、計算機的に安価な色空間変換によって有利にさらに減少することができるからである。

図６は、第１の色空間表現（Ａ）または第２の色空間表現（Ｂ）において提供できる画像ブロック３０２Ａ〜３０２Ｃの複数のビットストリーム表現を有する本発明のビットストリーム３００を示す。本発明のビットストリームは、有線、無線などの伝送チャネルによって圧縮画像または圧縮画像シーケンスの高圧縮の伝送を可能にする本発明のデコーダにより使用される。もちろん、コンピュータ可読の記憶媒体への本発明のビットストリームの蓄積も可能であり、ほんの少しの記憶スペースが要求されるだけであるという効果がある。ビットストリームは、画像ブロック３０２Ｂの所望の色空間変換を示している表示情報３０４をさらに含んでいてもよい。

本発明の先に述べた実施例が主にＲＧＢおよびＹＣｏＣｇ空間を用いて記載されたが、本発明はこれらの色空間の使用に限られたものではない。さらなる態様において、任意の他の色空間または非相関のインターカラー技術の他の手段が使用でき、３つ以上の異なる色空間表現との間で変換できる発明のエンコーダまたはデコーダを提供することも可能である。

本発明が主に映像符号化に関して記載されたが、それが静止画像の符号化のために使うこともできる。さらにまた、サンプルの数も、変更可能である。

本発明の方法の特定の実現要求に応じて、発明の方法は、ハードウェアまたはソフトウェアにおいて行うことができる。実現はその上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、特にディスク、ＤＶＤまたはＣＤを使用して実行されることができ、プログラム可能なコンピューターシステムと協同して、この発明の方法が実行される。通常、本発明は、機械で読み取り可能なキャリアに格納されるプログラムコードを有するコンピュータプログラム製品であり、コンピュータプログラム製品がコンピュータで動くときに、プログラムコードが発明の方法を実行される。換言すれば、本発明の方法は、コンピュータプログラムがコンピュータで動くときに、本発明の方法のうちの少なくとも１つを実行するためのプログラムコードを有する計算機プログラムである。

前述の例が特にその特定の実施例を参照して記載されたが、形状および詳細に関するさまざま変形が、その趣旨および範囲から逸脱することなくなされることは当業者によってよく理解されている。本願明細書において開示される上位概念から逸脱することなく、異なる実施例に適応する中で変形可能であり、それらは続く請求項に含まれることを理解すべきである。

本発明のエンコーダの実施例を示す図解図である。 ビットレート対異なる色空間表現の品質グラフを示す図である。 発明のコンセセプトを強調している色空間変換の例を示す図である。 本発明のエンコーダの実施例を示す図解図である。 状況に基づく符号化のための所定の状況の実施例を示す図である。 本発明のエンコーダの実施例のための符号化コンセプトの例を示す図解図である。 本発明のビットストリームの例を示す図である。 次の画像処理のための画像のブロック的な分割を示す図解図である。

Claims (25)

1. 第１の画像ブロック（１０４Ａ）および第２の画像ブロック（１０４Ｂ）を有する表現で表される画像を再現するためのデコーダ（１００）であって、
   画像ブロックが画像の領域より小さい面積に関する画像情報を有し、第１の画像ブロック（１０４Ａ）は第１の色空間表現の画像情報を有し、第２の画像ブロック（１０４Ｂ）は第２の色空間表現の画像情報を有し、
   第１の画像ブロック（１０４Ａ）の色空間表現の第２の色空間表現への変換、または第２の画像ブロック（１０４Ｂ）の色空間表現の第１の色空間表現への変換のどちらかのための色空間変換器（１０２）を含む、デコーダ（１００）。
2. 前記色空間変換器（１０２）が画像ブロックのための目的とする変換を示す変換指示情報を処理するように機能し、
   さらに、変換指示情報を受信するためのフラグ受信器（１０８）を有する、請求項１に記載のデコーダ（１００）。
3. 前記色空間変換器（１０２）は、ＲＧＢ色空間、および信号の輝度を示す１つの輝度パラメータおよび色の構成を示す２つの色度パラメータから成る第２の色空間表現を処理するように機能する、請求項１または請求項２に記載のデコーダ（１００）。
4. 前記色空間変換器（１０２）は、パラメータＲ，Ｇ，およびＢによって示されるＲＧＢ色空間と、輝度パラメータＹおよび色度パラメータＣｇおよびＣｏで示される第２の色空間表現との間で、次式
   Ｃｏ＝Ｒ−Ｂ ｔ＝Ｙ−（Ｃｇ＞＞１）
   ｔ＝Ｂ＋（Ｃｏ＞＞１） ⇔ Ｇ＝Ｃｇ＋ｔ
   Ｃｇ＝Ｇ−ｔ Ｂ＝ｔ−（Ｃｏ＞＞１）
   Ｙ＝ｔ＋（Ｃｇ＞＞１） Ｒ＝Ｂ＋Ｃｏ
   にしたがって色空間変換を実行するように機能する、請求項３に記載のデコーダ（１００）。
5. 前記色空間変換器（１０２）は、画像ブロック内の画像情報のパラメータ表示に基づいて変換を実行するように機能し、パラメータ表示は変換領域における画像情報を示す、請求項１ないし請求項４のいずれかに記載のデコーダ（１００）。
6. 前記色空間変換器（１０２）は、周波数領域における画像情報を示すパラメータ表示に基づいて変換を実行するように機能する、請求項５に記載のデコーダ（１００）。
7. さらに、画像情報の量子化された表現から第１の画像ブロック（１０４Ａ）および第２の画像ブロック（１０４Ｂ）を示す画像情報を引き出すための再量子化器を有する、請求項１ないし請求項６のいずれかに記載のデコーダ（１００）。
8. さらに、復号化ルールを使用している画像情報の量子化された表現のエントロピー符号化された表現から画像情報の量子化された表現を引き出すためのエントロピーデコーダを有する、請求項７に記載のデコーダ（１００）。
9. 前記エントロピーデコーダは、可変長コードブックの使用を含むエントロピー復号化ルールを使用するように機能する、請求項８に記載のデコーダ（１００）。
10. 前記エントロピーデコーダは、２進演算符号化アルゴリズムの使用を含むエントロピー復号化ルールを使用するように機能する、請求項８に記載のデコーダ（１００）。
11. 前記エントロピーデコーダは、復号化状況に応じて選択される１つ以上のサブルールを有する復号化ルールを使用するように機能する、請求項８ないし請求項１０のいずれかに記載のデコーダ（１００）。
12. デコーダは、画像ストリームの参照画像から情報を用いて画像を再現するように機能し、前記参照画像は一時的に前記画像ストリーム内の前記画像に先立っているかまたは後に続くとともに、前記画像の画像ブロックに対応する関連した画像ブロックを用いて表され、前記関連した画像ブロックは画像ブロック（１０４Ａ，１０４Ｂ）と同じ画像コンテンツに関する画像情報を有し、所定の画像ブロックの固定位置に関して画像ブロックおよび参照画像の対応する画像ブロックの間の位置的変化は、動きベクトルによって示される、請求項１ないし請求項１１のいずれかに記載のデコーダ（１００）。
13. デコーダは、対応する画像ブロックと、対応する画像ブロックに関して画像ブロックの画像情報の変化を予測する差分画像ブロックとを用いて、画像ブロック（１０４Ａ，１０４Ｂ）を再現するように機能する、請求項１２に記載のデコーダ（１００）。
14. さらに、画像ストリームの１つの画像の情報を有する画像ストリームのビットストリーム表現を受信するための入力インターフェースを有する、請求項１２または請求項１３に記載のデコーダ（１００）。
15. さらに、第１の画像ブロック（１０４Ａ）および２の画像ブロック（１０４Ｂ）を用いて画像を再現するための画像構成器を有する、請求項１ないし請求項１４のいずれかに記載のデコーダ（１００）。
16. 前記色空間変換器（１０２）は、画像ブロックのシーケンスを示すバイパス情報を処理し、バイパス情報によって指示される画像ブロックのシーケンスのための色空間変換をオフにするように機能する、請求項１ないし請求項１５のいずれかに記載のデコーダ（１００）。
17. 第１の画像ブロック（２１２Ａ）および第２の画像ブロック（２１２Ｂ）を有する画像（２１２）の表現を生成するためのエンコーダ（２００）であって、
    画像ブロックが第１の色空間表現における画像（２１０）の領域より小さい画像領域に関する画像情報を有し、
    第１および第２の画像ブロック（２１２Ａ，２１２Ｂ）の１つの画像情報を第２の色空間表現に変換し、画像ブロックの１つの画像情報を第２の色空間表現に組み入れるとともに、画像ブロックの他の画像情報を第１の色空間表現に組み入れるための色空間変換器（２０２）を含む、エンコーダ（２００）。
18. 前記色空間変換器（２０２）は、変換される画像ブロックを示す変換情報を処理するために機能するとともに、
    決定ルールを用いて変換情報を生成するための変換決定器（２１４）を含む、請求項１７に記載のエンコーダ（２００）。
19. 前記変換決定器（２１４）は、第２の色空間代表に変換されるときに、より少ない情報単位を要求する画像ブロックを選択する決定ルールを使用するように機能する、請求項１８に記載のエンコーダ（２００）。
20. 前記変換決定器（２１４）は、速度ひずみ最適方法における画像ブロックを選択する決定ルールを使用するように機能する、請求項１８に記載のエンコーダ（２００）。
21. さらに、第１の画像ブロック（２１４Ａ）および第２の画像ブロック（２１２Ｂ）の情報を含む画像情報を有するビットストリーム（３００）を出力するための出力インターフェースを含む、請求項１７ないし請求項２０のいずれかに記載のエンコーダ（２００）。
22. 第１の画像ブロック（１０４Ａ）および第２の画像ブロック（１０４Ｂ）を有する表現で表される画像を復号化する方法であって、
    画像ブロックは画像の領域より小さい画像面積に関する画像情報を有し、第１の画像ブロック（１０４Ａ）は第１の色空間表現の画像情報を有するとともに、第２の画像ブロック（１０４Ｂ）は第２の色空間表現の画像情報を有し、
    第１の画像ブロック（１０４Ａ）の色空間表現の第２の色空間表現への変換、または第２の画像ブロック（１０４Ｂ）の第１の色空間表現への変換を含む、方法。
23. 第１の画像ブロック（２１２Ａ）および第２の画像ブロック（２１２Ｂ）を有する画像の表現を生成する方法であって、
    画像ブロックは第１の色空間表現の画像の領域より小さい画像面積のための画像情報を有し、
    第１の画像ブロック（２１２Ａ）または第２の画像ブロック（２１２Ｂ）の画像情報の第２の色空間表現への変換を含む、方法。
24. 第１の画像ブロック（３０２Ａ）および第２の画像ブロック（３０２Ｂ）を有する画像の表現を有するパラメータ・ビットストリーム（３００）であって、
    画像ブロックは画像の領域より小さい画像面積に関する画像情報を有し、
    第１の画像ブロック（３０２Ａ）は第１の色空間表現における画像情報を有するとともに、第２の画像ブロック（３０２Ｂ）は第２の色空間表現における画像情報を有する、パラメータ・ビットストリーム（３００）。
25. コンピュータ上で実行するとき、請求項２２または請求項２３のいずれかの方法を実行する、コンピュータプログラム。