JP2013538528A - 色域外の色座標を使用したデータ伝送 - Google Patents

Abstract

画像データとともに追加情報を伝送する方法は、色域内の点を色域外の点にするために画素値を置換することに関わる。追加情報は、画像データを記述する、および／もしくはディスプレイの制御に有用な、および／もしくは画像データを処理するメタデータ、ウォーターマーク情報、または他の情報を構成することができる。いくつかの実施形態では、画像データは追加情報の抽出後にそのオリジナルの形態に復元される。

Description

本発明は、情報の伝送に関する。本発明は、静止画像またはビデオ画像に関係するメタデータの伝送における例示的な用途を有する。

メタデータは、画像データの表示を案内するために使用することができる。メタデータは、例えば、画像に示された光源の位置や種類、変更してはならない保護色、高品質版の画像を復号化および／または表示する際に利用可能な画像に関する統計情報、画像データをどのように符号化したかに関する情報など、広範囲の情報を伝えることができる。

メタデータは、適していればどのようなデータ通信チャンネルを介してもソースとディスプレイとの間で伝送することができるが、画像データおよび関連メタデータのために別々の通信チャンネルをセットアップしなければならないのは望ましくないことがある。発明者らは、メタデータまたは他の情報を画像データとともにメタデータの配信を容易にするフォーマットで提供する方法のニーズがあると認識してきた。メタデータまたは他の情報とともに配信するためにパッケージ化した画像データを標準的な画像データ伝送構造によって伝送させる当該フォーマットの特別なニーズがある。

本発明は、多数の態様を有する。ある態様は、画像データの情報を伝送する方法を提供する。画像データは、例えば、静止画像またはビデオ画像を備えることができる。別の態様は、画像データの情報を符号化する装置および方法を提供する。別の態様は、画像データに符号化された情報を抽出する装置および方法を提供する。

一態様は、複数の画素について色域内にある複数の色域内部点を定義する画素値を備える画像データに追加情報を符号化する方法であって、画素の１以上を選択すること、選択した画素のそれぞれの１以上の画素値を１以上の対応する写像値にマッピングすることを含み、該１以上の写像値のうちの少なくとも１つは色域外部点を定義し、１以上の写像値のうちの少なくとも１つは追加情報の１以上のビットに対応する方法を提供する。いくつかの実施形態では、色域外部点は追加情報の１以上のビットに対応する。いくつかの実施形態では、１以上の写像値のうちの少なくとも１つは、１以上の画素値のうちの少なくとも１つに対応する。

一態様は、複数の画素について、色域内にある複数の色域内部点および１以上の色域外部点を定義する画素値を備える画像データに符号化された追加情報を復号化する方法であって、該方法は、画像データで色域外画素の１以上の画素値を特定すること、該１以上の画素値は色域外の点を定義し、該特定された１以上の画素値に対応する追加情報の１以上のビットを特定すること、該１以上のビットを出力することを含む。いくつかの実施形態では、特定された１以上の画素値のうちの少なくとも１つを、色域内部点を定義する対応する写像値にマッピングすることを含む。

ある態様は、複数の画素について色域内にある複数の色域内部点を定義する画素値を備える画像データに追加情報を符号化する装置であって、該装置は、画素のうちの１以上を選択するように構成されている画素選択ユニットと、選択された画素それぞれの１以上の画素値を１以上の対応する写像値にマッピングするように構成されている画素修正ユニットとを備え、該１以上の写像値のうちの少なくとも１つが色域外部点を定義し、該１以上の写像値のうちの少なくとも１つが追加情報の１以上のビットに対応する装置を提供する。

一態様は、複数の画素について、色域内にある複数の色域内部点および１以上の色域外部点を定義する画素値を備える画像データに符号化された追加情報を復号化する装置であって、該装置は、画像データで色域外画素を検出するように構成されている修正画素検出ユニットと、修正画素検出ユニットが検出した色域外画素の画素値に対応する追加情報の１以上のビットを抽出するように構成されているデータ抽出器とを備える装置を提供する。いくつかの実施形態では、装置は色域外部点を定義する色域外画素の画素値を、色域内部点を定義する対応する復元値にマッピングするように構成されている画素値復元ユニットを備える。

例示的な色空間を図示する線図である。 例示的な実施形態による方法を図示するフローチャートである。 色域内の点の対応する色域外の点への例示的なマッピングを図示する。 色域内の点の対応する色域外の点への例示的なマッピングを図示する。 色域内領域の点が複数の色域外領域のうちの１つにマッピングされる例示的な実施形態を図示する。 例示的な実施形態による符号化装置を図示するブロック図である。 別の例示的な実施形態による復号化装置を図示するブロック図である。 修正画像データにおいて追加情報を伝送するためのプロトコルの様々な態様を指定する制御情報を共有する符号化および復号化装置を図示するブロック図である。

本発明のさらに別の態様および本発明の特定の実施形態の特徴を、以下に説明する。
添付の図面は、本発明の非制限的な例示的な実施形態を図示する。
以下の説明をとおし、本発明をより完全に理解してもらうために、具体的な詳細を記載する。しかし、本発明はこれらの具体的な部分なしに実施することができる。他にも、本発明を不必要に不明瞭にするのを避けるために、周知の要素は詳しく図示または説明していない。したがって、本明細書および図面は、制限的な意味ではなく、例示的な意味で考えるべきである。

本発明は、カラー画像データの情報を伝送する方法および装置を提供する。画像データは、例えば、静止画像またはビデオ画像を指定することができる。
カラー画像データは、色空間に画素値を指定する。いくつか例示的な色空間は、ＬＵＶ、ＹｕｖおよびＹｃｒｃｂである。多くの場合、画素値は複数の色座標を備える。色座標は、輝度を示す１以上の座標と、色（彩度）を示す１以上の座標とを含むことができる。例えば、ＬＵＶ色空間では、座標Ｌは輝度を示す一方、座標ＵおよびＶは彩度値である。

色座標値は典型的にはある有効範囲を有する。例えば、フォーマットは、特定の色座標に０から２５５または１０２４または４０９６までの範囲の値（予備値を除く）をもたせることができる。有効な色座標のあらゆる可能な組み合わせの色空間は、特定の画像データフォーマットの色域外である様々な点（つまり、色座標の集合）を包含することができる。すなわち、画像データフォーマットは、特定の色域内に存在するように色の点を指定することができる。しかし、色域外にある点を指定する有効な色座標値の組み合わせも存在することができる。

本発明は、画像データに色域外の色点を含めることによって、少なくとも部分的に情報を符号化する。色域外の点は、画像をディスプレイに正しく再現できるように色域内の点にマッピングする。

図１は、色空間の平面１０を図示する。図示する実施形態では、平面は定輝度平面である。平面１０内の点は、１対の色座標ＵおよびＶの値によって指定される。座標Ｕは有効範囲１２Ａを有し、座標Ｖは有効範囲１２Ｂを有する。そのため、座標ＵおよびＶは、平面１０のエリア１４内の点を指定することができる。図示する実施形態では、エリア１４は長方形である。

図１には、色域境界１５の部分も示している。画像データのすべての画素値は色域境界１５内に存在することができる。しかし、座標ＵおよびＶは色域境界１５の外側の点も指定することができる。当該点は色域外の点である。点１７は色域外の点の一例である。色域境界１５内（その上にあるものを含む）の点は色域内の点である。点１８は色域内の点の一例である。

色域外の点は通常、画像データには存在しないため、色域外の点の存在は、情報を符号化するように使用することができる。図２に、例示的な実施形態による方法２０を示す。方法２０は、ブロック２２で画像データ２１を取得する。画像データ２１は画像データの画素に対応する色域内の色点の集合を備える。ブロック２４で、方法２０は、修正画像データ２１Ａを提供するために、色域内の色点のいくつかを色域外の色点に置換することによって、画像データ２１のいくつかの追加情報２３を符号化する。ブロック２６で、修正画像データ２１Ａ（符号化された情報を含む）は宛先に伝送される。ブロック２７で、修正画像データ２１Ａは宛先で受信される。ブロック２８で、色域外の色点が特定される。ブロック２９で、追加情報が抽出される。ブロック３０で、画像データ２１は復元される。ブロック３０は、すべての実施形態において必須ではない。

色域外の色点は、多様な方法で情報を符号化するように適用することができる。以下にあげるものはいくつかの例である。最初の例を図３に図示する。図３の実施形態では、追加情報は、色域内の点３３を２つの代替色域外の点３４Ａおよび３４Ｂのうちの１つに置換することによって符号化される。点３３の色域外の点３４Ａへの置換が、例えば、論理「０」を表すことができる一方、点３３の色域外の点３４Ｂへの置換が論理「１」を表すことができ、またはその反対も同様である。色域外の点は、予め決められている多様な関係に従って追加情報の値に関連付けることができる。

この手法は、点３３を置換できる異なる色域外の点の数を変更することによって変えることができる。例えば、点３３を点３４Ａ、３４Ｂ、３４Ｃおよび３４Ｄのうちのいずれか１つに選択的に置換できる場合、置換される各点３３は４つの候補値のうちの１つを伝達することができる。

この手法では、置換する点３３は多様な方法のいずれでも選択することができる。いくつかの実施形態では、点３３は、その１以上の画素値に基づいて選択される。例えば、いくつかの実施形態では、点３３は、１以上の所定の画素値（例、例えば、黒または白などの特定の色を定義する画素値）に一致する１以上のその画素値に基づいて選択される。当該実施形態では、画像データ２１は、色域外の点を所定の画素値を有する点（例、特定の色の点）に置換することによって再生することができる。ある場合には、特定の色は、画像データに相対的に頻繁に表れると期待される色になるように選ばれる（したがって、画像データのフレームにより多くの追加情報を伝送する可能性を与える）。これにより、追加情報の部分を伝送する機会が比較的多くなる。

いくつかの実施形態では、特定の色は画像データに基づいて決定することができる。例示的な実施形態では、画像データのフレームにおいて置換される点は、そのフレームの所定の場所の画素（例、フレームの最初の画素）と同じ色を有するフレームの点になるように選択される。別の例示的な実施形態では、フレームの画素行において置換される点は、その行の所定の場所の画素（例、画素行の最初の画素）と同じ色を有する点になるように選択される。

いくつかの実施形態では、特定の色の選択が基準とする画素は、追加情報を伝送するためには使用しなくてもよい（例、画像データの追加情報の符号化によって変更しなくてもよい）。

いくつかの実施形態では、多数の異なる色域内の点をそれぞれ複数の色域外の点に関連付けて、色域内の点を対応する色域外の点のうちの選択した１つに置換することによって追加情報を伝達する。当該実施形態では、画像データ２１は、色域外の点を、置換した色域外の点に対応する色域内の点に置換することによって再生することができる。

代替実施形態では、点３３は、別の画素（直前の画素など）の色と同じ色を有する画素に関連付けられる点として選択される。この実施形態によると、画像データ２１は、色域外の点を別の画素と同じ色の点に置換することによって再生することができる。

別の実施形態では、１つだけの色域外の点を各色域内の点３３に関連付ける。当該実施形態では、修正画像データ２１Ａにおいて、対応する色域外の点によって置換されない色域内の点３３の存在が論理「１」を示すことができ、修正画像データ２１Ａにおいて色域内の点３３を置換する色域外の点の存在が論理「０」を表すことができ、またはその反対も同様である。この実施形態では、画像データ２１は、各色域外の点を対応する色域内の点に置換することによって再生することができる。

別の実施形態では、置換する点３３は、１以上の色座標のより高位のビットをゼロに設定し、１以上の色座標のより高位のビットが１に等しくなったときに色域外になるような点である。例えば、色座標が８ビットの色座標の場合、点３３は、色座標が閾値未満の値を有するあらゆる点を備えることができる。閾値は、例えば、１２８または６４にすることができる（そのため、座標で少なくとも１つのより高位のビットが確実にゼロに設定される）。対応する色域外の点は、座標の１以上のより高位のビットを１に設定し、座標の１以上のより低位のビットを変更しないままにすることによって、得ることができる。この実施形態では、画像データ２１は、色域外の点の座標のより高位のビットをゼロに設定することによって、再生することができる。

ある場合には、（例、色空間の変換の結果として）移行中に色を再マッピングする可能性がある。これは、追加情報を抽出する前に、追加情報を符号化する色域外の点をシフトさせることができる。この場合、追加情報の抽出ステップは、色空間の複数の非重複領域のうちの１つに色域外の点が現れるかどうかを判定するステップを含むことができる。再マッピングが追加情報のいくつかの値に対応する領域内のある点から、領域外のある点まで色域外の色を再マッピングするほど極端ではない限り、当該色の再マッピングをしても、依然として追加情報を抽出することが可能となる。

有利なことに、色域外の点は色域外の点として容易に特定できるように選択することができる。色域内の点を複数の異なる対応する色域外の点のうちの１つにマッピングすることによって異なる値を伝達する実施形態では、有利なことに、異なる色域外の点は互いに容易に区別できるように選ばれる。

例えば、いくつかの実施形態では、色域外の点が位置する領域は、座標値を比較できる閾値について定義される。例えば、図４は２つの重複しない色域外領域４５Ａおよび４５Ｂが定義される実施形態を示す。領域４５Ａの色域外の点は０の論理値に関連付けられる。領域４５Ｂの色域外の点は１の論理値に関連付けられる。領域４５Ａは第１座標（Ｕで示される）の値が閾値４６Ａより上で、かつ第２座標（Ｖで示される）の値が閾値４６Ｂと４６Ｃとの間にある点しか含まないため、領域４５Ａ内の点は容易に特定できる。同様に、領域４５Ｂ内の点は、第１座標Ｕの値が閾値４６Ａより上で、かつ第２座標Ｖの値が閾値４６Ｃより上である点として特定できる。

領域４５Ａおよび４５Ｂ内の色域外画素を使用して符号化される追加情報を復号化するための論理に対応する疑似コードは、以下のように演算することができるだろう。
１．現在の画素の座標値を求める。
２．ＩＦ（座標１の値＜閾値４６Ａ）ＯＲ（座標２の値＜閾値４６Ｂ）
３．ＴＨＥＮ 現在の画素＝次の画素に設定して、ライン１に戻る。
４．ＥＬＳＥ ＩＦ（座標２の値＜閾値４６Ｃ）
５．ＴＨＥＮ 追加情報の次のビットとして０を出力する。
６．ＥＬＳＥ ＩＦ（座標２の値＞閾値４６Ｃ）
７．ＴＨＥＮ 追加情報の次のビットとして１を出力する。
８．現在の画素の座標値を対応する色域内の点の座標値に置換する。
９．ライン１に戻る。

閾値は、ハードウェアまたはソフトウェアで座標値を閾値と比較しやすくするために、ビット整列型ボックスの境界で設定することができる。
いくつかの実施形態では、追加情報は１以上の画素値のより低位のビットに直接書き込まれる。例えば、一例示的な実施形態では、グレイライン上の画素（つまり、彩度値をゼロに設定した画素）は、メタデータまたは他の追加情報を伝送するように使用されるのに適している。追加情報は彩度値のより低位のビット（例、ＵおよびＶ）に書き込まれることができ、彩度値のより高位のビットは得られる彩度値が色域外になるように設定することができる。例えば、彩度値がそれぞれ８ビット値である場合、彩度値の３つのより高位のビットを「１」に設定して、得られる色点を色域外になるようにし、追加情報の５ビットを彩度値のそれぞれのより低位のビットに書き込むことができる。

当該実施形態では、輝度値は変えなくてもよい。画素値は、彩度値をグレイラインに対応するように設定することによって追加情報を読み取った後で、画素値はそのオリジナルの状態に復元することができる。いくつかの当該実施形態では、彩度値のより低位のビットで表される値のマッピングは、メタデータ値に１：１でマッピングすることができる。

図５に図示する別の実施形態では、色域内領域４７内の点は、複数の重複しない色域外領域４８のうちの１つの対応する点にマッピングされる。このマッピングにより符号化される追加情報の値は、その点がマッピングされる領域４８の選択によって示される。例えば、８つの異なる色域外領域４８がある場合、１つの領域の選択は３ビット値を表すことができる。任意の１つの領域４８内の点を領域４７内の対応する点にマッピングし戻すことは、所定の１：１マッピングを適用することによって画像データをそのオリジナルの形態に復元するように所定の１：１マッピングにすることができる。異なる１：１のマッピングは領域４８のそれぞれに適用される。

図５に図示する実施形態の変型例では、１つの領域４８内の色域外の点を同じ色域内の点にマッピングする。この実施形態では、追加情報は、色域内の点がマッピングされる領域４８内の特定の点として符号化される（例、追加情報は画素値の最下位ビットによって伝えられる）。色域外画素が対応する領域４８をどれかを判定して、色域外画素をその領域４８に対応する色域内の点にマッピングすることによって、画像データをそのオリジナルの形態に復元することができる。この実施形態は１以上のチャンネル（例、１以上の彩度値、輝度値、輝度値と彩度値、輝度値と２つの彩度値、または同様な他のもの）に適用することができる。

別の例示的な実施形態は、一連の２以上の画素が同じ画素値を有するケースを活用する。この例示的な実施形態では、１以上の隣接画素が互いに同じである１以上の画素値を有する画素の位置を突き止める。例えば、画素は、彩度値がすべて同じであるか、または彩度値と輝度値がすべて同じである隣接画素のグループのうちの１つとすることができる。画素の値を対応する色域外の点にマッピングする。その後、所定のマッピングを適用して、対応する色域外の点の値からオリジナルの画素値にマッピングし戻すことによって、画素値を復元することができる。

任意で、対応する色域外の点は、複数の利用可能な対応する色域外の点のうちの１つから選択される。複数の利用できる色域外の点のうちの特定の１つの選択は、どれくらい多くの隣接画素が同じ画素値を共有するかを示すことができる。同じ画素値を共有する隣接画素の数は、他の方法でも示すことができる。例えば、同じ画素値を共有する隣接画素の数を予め決めて、所定の長さまたは寸法の同じ画素値を共有する画素のブロックの開始を示す色域外の点が分かるようにすることができよう。別の例では、同じ画素値を共有する一連の隣接画素の画素数は、一連の画素の修正画素値によって示すことができるであろう。

色域外画素によって特定される１以上の隣接画素の画素値は、さらに、追加情報に上書きすることができる。追加情報は、色域内の点に対応する画素値に具現することができる。その後、追加情報は、色域外画素を検出すること、追加情報が色域外画素の画素値で符号化されている場合には、その追加情報を追加すること、追加情報として１以上の隣接画素の画素値を読み取ることとによって復元することができる。

画像データは、所定のマッピングに従って色域外の点を対応する色域内の点にマッピングし、１以上の隣接画素の画素値を同じ対応する色域内の点にマッピングすることによって、そのオリジナルの形態に復元することができる。例えば、所定のマッピングは１以上の隣接画素の画素値に基づくことができる（例、一連の画素間で共有されるオリジナルの画素値は、その一連の画素の修正画素値によって示すことができるであろう）。いくつかの実施形態では、共通の１以上の画素値を有する画素の他の空間配置を使用することができる。いくつかの当該実施形態では、画像データの追加情報を符号化するステップは、互いに同じである１以上の画素値を有する画素の所定の空間配置の位置を突き止めるステップと、突き止められた空間配置の参照画素のうちの少なくとも１つの画素値を色域外の点を定義する参照画素値に置換するステップとを含む。色域外参照画素の画素値は、参照画素に対する突き止められた配置の他の画素の所定の空間配置を示すことができる（例、画素値を使用して、参照画素から延びている画素の長方形ブロックの寸法を示すことができる）。それから、突き止められた空間配置の他の画素の画素値を追加情報に上書きすることができる。その後、追加情報は、色域外の参照画素を検出すること、色域外の参照画素の画素値に追加情報が符号化されている場合には、その追加情報を抽出すること、所定の空間配置と参照画素の位置に基づいて、参照画素に対応する空間配置において他の画素の位置を突き止めることとによって、および追加情報として空間配置の他の画素の画素値を読み取ることによって、復元することができる。

図６は、例示的な実施形態による符号化装置５０を示す。符号化装置５０は、画像データ２１および画像データ２１に符号化される追加情報５１にアクセスできる。追加情報５１は、例えば、画像データ２１に関係するメタデータを備えることができるが、メタデータに限定されるわけではない。

図示する実施形態では、画像データ２１は、メモリ、ディスクドライブまたは同様な他のものなどのデータ記憶装置に記憶される。代替例では、または追加として、画像データ２１は入力５３で受信することができ、追加情報５１は入力５４Ｂで受信することができる。デコーダ５６は画像データ２１を復号化する。画素値（例えば、各画素のＬ、ＵおよびＶ座標の値）はデコーダ５６の出力５７で利用できる。

画素選択ユニット５８は、色域点に置換する候補となる画素を特定する。画素選択ユニット５８は、ある特定の画素が置換の候補であるかどうかを判定するために、上記説明したものなどの様々な基準を適用することができる。図示する実施形態では、画素選択ユニット５８は、現在の画素の１以上の画素値を前の画素の対応する画素値と比較するように構成されている第１比較ユニット５８Ａを備える。第１比較ユニット５８Ａは、例えば、現在の画素が前の画素のものと同じである色点に対応するかどうかを判定し、もし対応するなら、現在の画素を修正に適するように適用することができる。

画素選択ユニット５８は第２比較ユニット５８Ｂも備える。第２比較ユニット５８Ｂは、現在の画素の１以上の画素値を、対応する記憶されている画素値５９と比較するように構成されている。第２比較ユニット５８Ｂは、例えば、現在の画素が、修正に適している画素に対応するとして予め決められた色点に対応するかどうかを判定するように適用することができる。

画素修正ユニット６０は、追加情報５１と、現在の画素が修正に適しているかどうかを示す画素選択ユニット５８からの信号とを受信するように接続されている。伝送する追加情報５１があり、現在の画素が画素選択ユニット５８に示されるとおり修正に適している場合、画素修正ユニット６０は現在の画素の１以上の画素値の新たな値を書き込む。新たな値は、少なくとも部分的には、追加情報５１に基づいて決定する。

図示する例示的な実施形態では、画素修正ユニット６０は２^Ｎ個のレジスタセット６２（Ｎ＝１の場合に対応するレジスタセット６２Ａおよび６２Ｂが図示されている）を備える。各レジスタセットは異なる色域外の点に対応する画素値を含む。画素修正ユニットは、現在の画素の画素値を、送信する次の追加情報５１の部分に対応するレジスタセット６２のうちの１つからの画素値で上書きする。例えば、画素修正ユニット６０は、追加情報５１の次のビットが「０」の場合に、現在の画素の画素値のうちの１以上を、レジスタセット６２Ａからの画素値で上書きすることができる。画素修正ユニット６０は、追加情報５１の次のビットが「１」の場合に、現在の画素の画素値をレジスタセット６２Ｂからの画素値で上書きすることができる。Ｎ＞１の場合、画素修正ユニット６０は、現在の画素の画素値を、追加情報５１の次のＮビットの値に関連付られているレジスタセットからの画素値で上書きすることができる。

エンコーダ６４は画素修正ユニット６０が修正したように画像データを符号化する。エンコーダ６４は、例えば、ＪＰＥＧエンコーダ、ＭＰＥＧエンコーダ、または何か他の静止画像フォーマットもしくはビデオ画像フォーマットのエンコーダを備えることができる。修正された画像データ２１Ａは記憶され、ストリーミング、ファイル転送もしくは同様な他のものにより伝送され、ＤＶＤなどの媒体に書き込まれ、または賢く利用されることができる。

有利なことに、いくつかの実施形態では、本明細書で説明するように追加情報５１とともに符号化された画像データは、既存の画像データ符号化、復号化および転送プロトコルと互換性がある。

図７は、画像データから追加情報５１を抽出する例示的な装置７０を示す。装置７０はデコーダ７２を備える。修正画素検出器７４は修正値を有する画素を検出する。修正画素検出器７４は、例えば、現在の画素の１以上の画素値を１以上の基準と比較することができる。例えば、画素値は、画素値が色域外の点に対応することを示す１以上の閾値と比較することができる。

データ抽出器７６は色域外画素が属する点もしくは領域を判定し、判定された点もしくは領域と追加情報の値との対応に基づいて、画像データに追加された追加情報５１の値を判定する。データ抽出器７６は追加情報５１について判定された値をバッファ７８に書き込む。いくつかの実施形態では、データ抽出器７６と修正画素検出器７４とは組み合わされる。

画素値復元ユニット８０は、色域外の画素値をそのオリジナルの値に復元する。画素値復元ユニット８０は、例えば、レジスタセット８２からの所定の画素値を現在の画素に書き込むか、または前に処理した画素（例、隣接画素）からの画素値をコピーするように構成することができる。

復元された画像データ２１Ｂは出力８４に供給される。図示する実施形態では、復元画像データは、ビデオプロセッサ８６で表示するために処理される。ビデオプロセッサ８６は、追加情報５１を受信して、ディスプレイ８８上に表示するために少なくとも部分的に追加情報５１によって制御される方法で復元画像データを処理するように接続されている。別のディスプレイ、画像ストア、別の宛先または同様な他のものへの伝送のために復元画像データ２１Ｂを符号化するように、エンコーダ８７を設けることもできる。

画像データは、追加情報５１が抽出された後でそのオリジナルの状態に復元するのが望ましいが、必須ではない。いくつかの代替実施形態では、画像データは、例えば、色域外画素の画素値を１以上の隣接画素のものと同じである画素値に、または２以上の近隣の画素からの対応する値から補間される画素値に置換することによって、オリジナルの状態の十分近い近似に復元される。これは、画像データがそのオリジナルの状態に正確に復元されるかどうかを考慮せずに行うことができる。

いくつかの実施形態では、追加情報５１を伝送するために選択される画素は、画像データに応答して表示される画像の全体像に対する影響を軽減する画素になる画素値を有する画素にすることができる。例えば、追加情報５１を伝送するために選択される画素は、輝度値を閾値未満にすることができる。当該画素の彩度値の変化は顕著ではなく、または表示される画像の見た目に対する影響は異議のないほど小さいものしかもたないようにすることができる。いくつかの実施形態では、追加情報５１を伝送するために選択される画素の輝度上限値は、ピークシーン（peak scene）の輝度に基づくことができる。

いくつかの実施形態では、画素値は、光の強度または明度を指定する値（輝度値）および色を指定する値（彩度値）を含むフォーマットで提供される。一例として、画素はＬＵＶまたはＹＵＶ色空間の値を有することができる。いくつかの当該実施形態では、追加情報５１は彩度値のみに符号化される（対して、輝度値は変えない）。

追加情報はどのような情報も備えることができる。いくつかの実施形態では、追加情報は画像データと特定の関係を有する。例えば、追加情報は、画像データが表す画像を処理するか、レンダリングするか、もしくは表示するときに下流の画像処理装置が使用するためのメタデータ、ローカルディミングもしくは二重変調方式のディスプレイでブラックライトを駆動するとき、および画像データの画像のより高いダイナミックレンジバージョンを生成するために画像データと組み合わせるときに、あるいはローカルディミングもしくは二重変調方式のディスプレイでブラックライトを駆動するとき、または画像データの画像のより高いダイナミックレンジバージョンを生成するために画像データと組み合わせるときに使用するのに適した画像データもしくは画像データの輝度チャンネルの低空間解像度バージョン、画像データによって表される画像を記述する情報、または同様な他のものを備えることができる。

前述したように、本発明の広範囲の実施可能な実施形態がある。いくつかの実施形態は、追加情報を伝送するために使用される特定のプロトコルに従って互いに異なることができる。プロトコルは、例えば以下のような形で、互いに異なることができる。
−どの色域内の点が色域外の点で置換するのに適しているか
−異なる色域外の点または領域をどのくらい提供するか
−追加情報をどのように色域外の点に符号化するか
−追加情報を抽出した後で画像データをどのように復元するか
−その他
いくつかの実施形態は所定のプロトコルを適用する。画像データは所定のプロトコルを実施するように構成されているエンコーダによって所定のプロトコルに従って追加情報を伝送するように修正されて、その後追加情報は所定のプロトコルを実施するように構成されているデコーダによって修正画像データから抽出される。他の実施形態では、追加情報を伝送するために画像データを修正するためのプロトコルは構成可能である。構成可能な実施形態では、使用される現在のプロトコルに関する制御情報を、画像データとともに、または代替データ伝送路を介したいずれかで、エンコーダとデコーダとの間で伝送することができる。例えば、制御情報は、側波帯メッセージングストリームによって配信することができる。このようなストリームの一例が、ＡＶＣ（例、ＩＴＵ−ＴＨ．２６４）コーデックを使用して符号化された画像データのＳＥＩメッセージである。当該側波帯メッセージングは、追加情報を画像データに埋め込むモードおよび／または色域外の点と色域内の点とのマッピングに関する情報を伝送することができる。

通常、制御情報は、画像データのエンコーダまたは分配器から画像データのデコーダに送信されて、デコーダが追加情報を抽出して画像データを復元するために使用すべきプロトコルが何かを示す。例示的な実施形態を図８に図示する。エンコーダ９０は、プロトコルに従って画像データ９１を処理して、色域外の点を使用して追加情報９２を画像データ９１の中に符号化した修正画像データ９５を生成する。エンコーダ９０は修正画像データ９５をデコーダ９８に供給する。エンコーダ９０は、データパス９７によって制御情報９３もデコーダ９８に供給する。データパス９７は、例えば、側波帯、修正画像データ９５とともにデータ構造もしくはストリームにカプセル化される情報、個別のデータ伝送路、または同様な他のものを備えることができる。デコーダ９８は、制御情報９３に従って修正画像データ９５から追加情報を抽出するように自己構成し、さらに修正画像データ９５を処理して、追加情報のコピー９９および復元画像データ１００を生成する。

代替実施形態では、デコーダは、デコーダに配信される画像データに追加情報を符号化するためのプロトコルの１以上の態様を指定する画像データのエンコーダまたはディストリビュータに情報を伝送することができる。

例示的な実施形態では、デコーダは、追加情報を伝送するために画像データを修正したプロトコルを指定する制御情報を受信する。デコーダは制御情報に従って、追加情報を抽出して、画像データを復元するように自己構成する。さらにデコーダは画像データを処理して、復元画像データおよび追加情報を生成する。

本発明の一定の実施態様は、プロセッサに本発明の方法を行わせるソフトウェア命令を実行するコンピュータプロセッサを備える。例えば、１以上のプロセッサは、プロセッサにアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、図２に図示する方法を実施するように構成することができる。プログラミングされたプロセッサは、任意で、図６および図７の装置のコンポーネントの一部もしくは全部を実装するように適用することができる（例、図６および図７の装置のコンポーネントを単一のプログラミングされたプロセッサに実装することができる）。本発明はプログラム製品として提供することもできる。プログラム製品は、データプロセッサが実行したときに、データプロセッサに本発明の方法を実行させる命令を備えるコンピュータ読取可能信号のセットを伝送するあらゆる媒体を備えることができる。本発明によるプログラム製品は、多様な形態のうちのいずれにすることもできる。プログラム製品は、例えば、フロッピーディスク（登録商標）、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体、または同様な他のものなどの物理的な媒体を備えることができる。プログラム製品上のコンピュータ読取可能信号は任意で圧縮または暗号化することができる。

コンポーネント（例、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路等）が上記に言及される場合、別途指示されない限り、そのコンポーネントへの言及（「手段」への言及を含む）は、本発明の図示する例示的な実施形態で機能を行う開示された構造と構造的に等価ではないコンポーネントを含め、説明したコンポーネントの機能を行うあらゆるコンポーネント（つまり、機能的に等価であるもの）をそのコンポーネントの等価物として含むと解釈されるべきである。

当業者には、本明細書で説明した実施形態の一定の特徴は、本明細書で説明した他の実施形態の特徴と組み合わせて使用できること、また本明細書で説明した実施形態は本明細書ではそれがもっているとされる特徴のすべてがなくても実施もしくは実装することができることは認識されるであろう。当業者には明らかであろう説明される実施例のこのような変型は、異なる実施形態の特徴の混合およびマッチングを備える変型を含めて、本発明の範囲内にある。

上記開示に鑑みて当業者には明らかなように、本発明の実施に際してその精神または範囲を逸脱することなく多数の変更、修正、追加および並べ替えが可能である。本明細書で説明した実施形態は単なる例である。開示される実施例の特徴を組み合わせることによって、制限なく、他の例示的な実施形態を得ることができる。したがって、以下の添付の請求項およびこれ以降に紹介される請求項は、その真の精神および範囲内にあるようなすべての変更、修正、並べ替え、追加、組み合わせおよび一部組み合わせを含むように解釈されることを意図している。

したがって、本発明は、本発明のいくつかの部分の構造、特徴および機能性を説明する以下の番号を付した例示的な実施形態（Ｅｎｕｍｅｒａｔｅｄ Ｅｘａｍｐｌｅ Ｅｍｂｏｄｉｍｅｎｔｓ：ＥＥＥ）を含むが、これだけに限定されない、本明細書で説明した形態のいずれでも具体化することができる。

ＥＥＥ１：複数の画素について色域内にある複数の色域内部点を定義する画素値を備える画像データに追加情報を符号化する方法であって、前記複数の画素のうちの１以上を選択すること、前記選択した画素の各々の１以上の画素値を１以上の対応する写像値にマッピングすることを備え、前記１以上の写像値のうちの少なくとも１つが色域外部点を定義し、前記１以上の写像値のうちの少なくとも１つが前記追加情報の１以上のビットに対応する、方法。

ＥＥＥ２：前記色域外部点は、前記追加情報の前記１以上のビットに対応する、ＥＥＥ１に記載の方法。
ＥＥＥ３：前記１以上の写像値のうちの少なくとも１つは、前記１以上の画素値のうちの少なくとも１つに対応する、ＥＥＥ１に記載の方法。

ＥＥＥ４：前記色域外部点を定義する前記１以上の写像値のうちの少なくとも１つは、前記１以上の画素値のうちの少なくとも１つに対応する、ＥＥＥ３に記載の方法。
ＥＥＥ５：前記色域外部点を定義する前記少なくとも１つの写像値にマッピングされる前記少なくとも１つの画素値をマッピングすることは、前記少なくとも１つの画素値の複数のより低位のビットを前記少なくとも１つの写像値にコピーすることを含む、ＥＥＥ４に記載の方法。

ＥＥＥ６：前記複数の画素のうちの１以上を選択することは、前記複数の画素の複数の画素値に基づいて前記複数の画素のうちの１以上を選択することを含む、ＥＥＥ１に記載の方法。

ＥＥＥ７：前記複数の画素の複数の画素値に基づいて前記複数の画素のうちの１以上を選択することは、１以上の所定の画素値と一致する前記複数の画素の１以上の画素値に基づいて、前記複数の画素のうちの１以上を選択することを含む、ＥＥＥ６に記載の方法。

ＥＥＥ８：前記複数の画素の画素値に基づいて前記複数の画素のうちの１以上を選択することは、選択されない画素の１以上の画素値と一致する前記複数の画素の１以上の画素値に基づいて、前記複数の画素のうちの１以上を選択することを含む、ＥＥＥ６に記載の方法。

ＥＥＥ９：前記選択されない画素は、前記１以上の選択される画素のうちの少なくとも１つに隣接している、ＥＥＥ８に記載の方法。
ＥＥＥ１０：前記選択されない画素は、画像データのフレームの最初の画素である、ＥＥＥ８に記載の方法。

ＥＥＥ１１：前記選択されない画素は、画像データの行の最初の画素である、ＥＥＥ８に記載の方法。
ＥＥＥ１２：前記追加情報は、前記画像データに関連付られているメタデータを備える、ＥＥＥ１に記載の方法。

ＥＥＥ１３：前記色域外部点を定義する前記１以上の写像値のそれぞれを、色域内部点を定義する対応する復元値にマッピングすることを含む、ＥＥＥ３に記載の方法。
ＥＥＥ１４：前記画像データを、少なくとも部分的に前記追加情報によって制御されるように処理することを含む、ＥＥＥ１３に記載の方法。

ＥＥＥ１５：複数の画素について、色域内にある複数の色域内部点および１以上の色域外部点を定義する画素値を備える画像データに符号化される追加情報を復号化する方法であって、前記画像データで色域外画素の１以上の画素値を特定することであって、前記１以上の画素値は色域外部点を定義する、前記特定すること、前記１以上の特定された画素値に対応する追加情報の１以上のビットを特定すること、前記１以上のビットを出力することを備える、方法。

ＥＥＥ１６：前記１以上の特定された画素値のうちの少なくとも１つを、色域内部点を定義する対応する写像値にマッピングすることを備える、ＥＥＥ１５に記載の方法。
ＥＥＥ１７：追加情報の１以上のビットを特定することは、前記色域外部点が色空間の複数の非重複領域のうちの１つで存在するかどうかを判定することを含み、前記複数の非重複領域のそれぞれが１以上のビットの値に関連付られている、ＥＥＥ１５に記載の方法。

ＥＥＥ１８：追加情報の１以上のビットを特定することは、所定の関係に従って、前記色域外部点を１以上のビットの値に関連付けることを含む、ＥＥＥ１５に記載の方法。
ＥＥＥ１９：追加情報の１以上のビットを特定することは、前記１以上の特定された画素値の１以上のより低位のビットを読み取ることを含む、ＥＥＥ１５に記載の方法。

ＥＥＥ２０：追加情報の１以上のビットを特定することは、前記色域外の画素と所定の空間関係を有する画素の画素値の１以上のビットを読み取ることを含む、ＥＥＥ１５に記載の方法。

ＥＥＥ２１：追加情報の１以上のビットを特定することは、前記色域外の画素に隣接する画素の画素値の１以上のビットを読み取ることを含む、ＥＥＥ２０に記載の方法。
ＥＥＥ２２：前記色域内部点は、前記色域外部点に対応する、ＥＥＥ１６に記載の方法。

ＥＥＥ２３：前記色域内部点は、前記色域外部点と所定の空間関係を有する画素の画素値によって定義される、ＥＥＥ１６に記載の方法。
ＥＥＥ２４：前記色域内部点は、前記色域外の画素に隣接する画素の画素値によって定義される、請求項２３に記載の方法。

ＥＥＥ２５：前記色域内部点は、画像データのフレームにおける所定の場所の画素の画素値によって定義される、ＥＥＥ１６に記載の方法。
ＥＥＥ２６：前記色域内部点は、画像データの行における所定の場所の画素の画素値によって定義される、ＥＥＥ１６に記載の方法。

ＥＥＥ２７：前記１以上の特定された画素値のうちの少なくとも１つをマッピングすることは、前記少なくとも１つの特定された画素値の１以上のより高位のビットをゼロに設定することと、前記より低位のビットを保持することを含む、ＥＥＥ１６に記載の方法。

ＥＥＥ２８：複数の画素について、色域内にある色域内部点を定義する画素値を備える画像データに追加情報を符号化する方法であって、前記複数の画素のうちの１以上を選択すること、前記選択した画素の各々の１以上の画素値を、複数の色域外部点のうちの１つに対応するようにマッピングすることを備え、前記画素値をマッピングした前記色域外部点は、前記追加情報の１以上のビットに対応する、方法。

ＥＥＥ２９：前記追加情報は、前記画像データに関連付られているメタデータを備える、ＥＥＥ２８に記載の方法。
ＥＥＥ３０：画像データから追加情報を復号化する方法であって、前記画像データで色域外画素を特定すること、前記色域外画素の各々に対応する１以上のビットを特定すること、前記１以上のビットを出力することを備える、方法。

ＥＥＥ３１：前記色域外画素のそれぞれを、対応する色域画素にマッピングすることを含む、ＥＥＥ２９に記載の方法。
ＥＥＥ３２：前記画像データを、少なくとも部分的に前記追加情報によって制御されるように処理することを含む、ＥＥＥ３１に記載の方法。

ＥＥＥ３３：複数の画素について、色域内にある複数の色域内部点を定義する画素値を備える画像データに追加情報を符号化する装置であって、前記装置は、前記画素のうちの１以上を選択するように構成されている画素選択ユニットと、前記選択された画素それぞれの１以上の画素値を、１以上の対応する写像値にマッピングするように構成されている画素修正ユニットとを備え、前記１以上の写像値のうちの少なくとも１つが色域外部点を定義し、前記１以上の写像値のうちの少なくとも１つが前記追加情報の１以上のビットに対応する、装置。

ＥＥＥ３４：複数の画素について、色域内にある複数の色域内部点および１以上の色域外部点を定義する画素値を備える画像データに符号化された追加情報を復号化する装置であって、前記装置は、前記画像データで色域外画素を検出するように構成されている修正画素検出ユニットと、前記修正画素検出ユニットで検出した色域外画素の画素値に対応する追加情報の１以上のビットを抽出するように構成されているデータ抽出器と、を備える装置。

ＥＥＥ３５：色域外部点を定義する前記色域外画素の前記画素値を、色域内部点を定義する対応する復元値にマッピングするように構成されている画素値復元ユニットを備える、ＥＥＥ３４に記載の装置。

ＥＥＥ３６：前記装置は、制御情報を受信して、前記制御情報に従って前記データ抽出器および前記画素値復元ユニットのうちの少なくとも１つを構成するように構成されている、ＥＥＥ３５に記載の装置。

ＥＥＥ３７：前記装置は、制御情報を受信して、前記制御情報に従って前記データ抽出器を構成するように構成されている、ＥＥＥ３４に記載の装置。
ＥＥＥ３８：本明細書で説明するあらゆる新規で、有用で進歩的なステップ、作用、ステップおよび作用の組み合わせ、あるいはステップもしくは作用の組み合わせ、またはステップおよび作用の一部組み合わせ、あるいはステップもしくは作用の一部組み合わせを含む方法。

ＥＥＥ３９：本明細書で説明するあらゆる新規で、有用で進歩的な特徴、手段、特徴および手段の組み合わせ、あるいは特徴もしくは手段の組み合わせ、または特徴および手段の一部組み合わせ、あるいは特徴もしくは手段の一部組み合わせを備える装置。

１以上の実施例の詳細な説明は、添付の図面と合わせて本明細書に記載する。詳細な説明は当該実施例に関連して記載するが、特定の実施例に限定されるものではない。範囲は請求項によってのみ限定され、多数の代替例、修正および等価物が網羅される。多数の具体的な詳細は完全に理解してもらうために詳細に記載している。これらの詳細は例として挙げており、説明される技術は、付随する詳細の一部もしくは全部がなくても請求項に従って実施することができる。上記教唆に鑑みて多数の代替例、修正、等価物および変型が可能であるため、これらは網羅的なものである、または本発明を開示するそのままの形態に限定することを意図するものではない。明確にするために、実施例に関わる技術分野で周知の技術的な材料は、説明を不必要に不明瞭にするのを避けるために詳細を説明していない。

説明では、説明のために、本発明を完全に理解してもらうため特定の用語を使用する。しかし、本発明を実施するためには、具体的な詳細は必要ないことは明らかであろう。実際、この説明は本発明のどの特徴もしくは態様もいかなる実施形態に限定するように解釈するべきではない。むしろ、一実施例の特徴および態様は他の実施例と容易に交換することができる。注目すべきことに、本明細書で説明するすべての便益を本発明の各実施例で実現する必要はない。むしろ、どの特定の実施例も、上記述べた利点のうちの１以上を提供すればよい。請求項において、請求項で明示していない限り、要素および動作、あるいは要素または動作はある特定の動作の順序を暗示しているわけではない。特許請求の範囲の請求項およびその等価物が本発明の範囲を定めることを意図している。

従って、本発明の範囲は、特許請求の範囲によって定められる実体に従って解釈されるべきである。

Claims (16)

1. 複数の画素について、色域内にある複数の色域内部点を定義する画素値を備える画像データに追加情報を符号化する方法であって、
   前記複数の画素のうちの１以上を選択すること、
   前記選択した画素の各々の１以上の画素値を、１以上の対応する写像値にマッピングすることを備え、
   前記１以上の写像値のうちの少なくとも１つが色域外部点を定義し、前記１以上の写像値のうちの少なくとも１つが前記追加情報の１以上のビットに対応する、方法。
2. 前記色域外部点は、前記追加情報の前記１以上のビットに対応する、請求項１に記載の方法。
3. 前記１以上の写像値のうちの少なくとも１つは、前記１以上の画素値のうちの少なくとも１つに対応する、請求項１に記載の方法。
4. 前記色域外部点を定義する前記１以上の写像値のうちの少なくとも１つは、前記１以上の画素値のうちの少なくとも１つに対応する、請求項３に記載の方法。
5. 前記色域外部点を定義する前記少なくとも１つの写像値にマッピングされる前記少なくとも１つの画素値をマッピングすることは、前記少なくとも１つの画素値の複数のより低位のビットを前記少なくとも１つの写像値にコピーすることを含む、請求項４に記載の方法。
6. 前記複数の画素のうちの１以上を選択することは、前記複数の画素の複数の画素値に基づいて前記画素のうちの１以上を選択することを含む、請求項１に記載の方法。
7. 前記複数の画素の複数の画素値に基づいて前記複数の画素のうちの１以上を選択することは、１以上の所定の画素値に一致する前記複数の画素の１以上の画素値に基づいて、前記複数の画素のうちの１以上を選択することを含む、請求項６に記載の方法。
8. 前記複数の画素の複数の画素値に基づいて前記複数の画素のうちの１以上を選択することは、選択されない画素の１以上の画素値と一致する前記複数の画素の１以上の画素値に基づいて、前記複数の画素のうちの１以上を選択することを含む、請求項６に記載の方法。
9. 前記選択されない画素は、前記１以上の選択された画素のうちの少なくとも１つと隣接している、請求項８に記載の方法。
10. 前記選択されない画素は、画像データのフレームにおいて最初の画素である、請求項８に記載の方法。
11. 前記選択されない画素は、画像データの行において最初の画素である、請求項８に記載の方法。
12. 前記追加情報は、前記画像データに関連付けられているメタデータを備える、請求項１に記載の方法。
13. 前記色域外部点を定義する前記１以上の写像値のそれぞれを、色域内部点を定義する対応する復元値にマッピングすることを含む、請求項３に記載の方法。
14. 前記画像データを、少なくとも部分的に前記追加情報によって制御するように処理することを含む、請求項１３に記載の方法。
15. 複数の画素について、色域内にある複数の色域内部点および１以上の色域外部点を定義する画素値を備える画像データに符号化された追加情報を復号化する方法であって、
    前記画像データで色域外の画素の１以上の画素値を特定することであって、前記１以上の画素値が色域外部点を定義する、前記特定すること、
    前記１以上の特定された画素値に対応する追加情報の１以上のビットを特定すること、
    前記１以上のビットを出力することを備える、方法。
16. 前記１以上の特定された画素値のうちの少なくとも１つを、色域内部点を定義する対応する写像値にマッピングすることを含む、請求項１５に記載の方法。