JP2018509802A - 局所ダイナミックレンジ調節色処理 - Google Patents

Abstract

ロバストな輝度ダイナミックレンジ変換、特に第１の画像ルックから第２の画像ルックを定義するコード化技術におけるロバストな輝度ダイナミックレンジ変換を得るため、第１の輝度ダイナミックレンジを有する入力画像Ｉｍ＿ｉｎのピクセルの入力色Ｒ，Ｇ，Ｂを、第２の輝度ダイナミックレンジを有する出力画像Ｉｍ＿ｒｅｓのピクセルの出力色Ｒｓ，Ｇｓ，Ｂｓに変換するように構成された画像色処理装置２０５であって、第１のダイナミックレンジと第２のダイナミックレンジとが大きさにおいて少なくとも２倍異なり、入力色を出力色に変換するように構成された色変換器１００を備え、色変換器１００は、入力画像Ｉｍ＿ｉｎ中におけるピクセルの空間的位置ｘ，ｙに応じて色を局所的に処理する能力を有する、画像色処理装置２０５が説明される。画像色処理装置２０５は、幾何学的位置データＳの受信器が原画像の少なくとも１つの領域を決定することを可能にする幾何学的位置データＳが決定された原画像Ｉｍ＿ｏｒｉｇと入力画像との間で幾何学的変換が実施されたことを示す受信データ２２０を解析するように構成される幾何学的状況メタデータ読取りユニット２０３を備える。

Description

本発明は、ダイナミックレンジ及び通常はピーク輝度が異なる少なくとも２つのディスプレイ上に表示するために、画像の変換において使用される空間的に限局された調整された色処理が、それらの画像を、測色上正しくグレーディングすることを可能にする装置及び方法、並びにそれらの結果得られるデータ記憶製品若しくはデータ送信製品のような製品、又は信号に関する。

最近、非常に異なるいくつかのディスプレイ、特に、非常に異なるピーク輝度を有するテレビジョン信号受信ディスプレイ（テレビジョン）が市場に出ている。過去において、旧来の（ｌｅｇａｃｙ）いわゆる低ダイナミックレンジ（ｌｏｗ ｄｙｎａｍｉｃ ｒａｎｇｅ：ＬＤＲ）ディスプレイのピーク輝度（ｐｅａｋ ｂｒｉｇｈｔｎｅｓｓ：ＰＢ）の違いはせいぜい２倍程度であったが、よりいっそう高いピーク輝度を求める最近の趨勢により、１０００ｎｉｔ以上のいわゆる高ダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ：ＨＤＲ）テレビジョン及びＰＢ５０００ｎｉｔのディスプレイが出現し、じきに、このようなより高いＰＢの様々なディスプレイが市場に出ることが当然視されている。映画館においても、最近は、観客が知覚する最終的な輝度ダイナミックレンジを増大させる方式が注目されている。旧来の１００ｎｉｔのＬＤＲ規格のＴＶと比較して、例えば２０００ｎｉｔのディスプレイは、２０倍以上の輝度を有し、これは、４を超える使用可能な追加のストップに相当する。一方、新世代のＨＤＲ画像又は捕捉システムを使用した場合、そのシステムは、ＨＤＲシーン（ｓｃｅｎｅ）又は効果のずっと良好なレンダリングを可能にする。例えば、（旧来のＬＤＲグレーディングで生じるであろう）建造物又は車両の外側の晴れた世界を（ソフト）クリッピングする代わりに、ＨＤＲ ＴＶ色域の輝度軸上の追加の使用可能な輝度を使用して、明るくてカラフルな外側エリアを表示することができる。このことは、本発明の発明者がカラーグレーダと呼ぶコンテンツクリエータが、非常に美しい専用ＨＤＲ画像又はビデオコンテンツを作る余地を有することを意味する。しかしながら、他方で、このことが問題を生み出す。ＬＤＲ画像コード化は、白から始めて相対的に設計され、１８％反射の中間グレイまでよく照明される。このことは、通常は比較的に低い例えば１００ｎｉｔのＰＢの５％よりも低いディスプレイレンダリングされた輝度が、通常は暗いグレイを識別することが難しい輝度に見え、又は、周囲の照明によって識別できない黒に見えることを意味する。５０００ｎｉｔのディスプレイ上では、この最適にグレーディングされたＨＤＲ画像は問題にならない。５０００ｎｉｔの５％は依然として２５０ｎｉｔであり、そのため、これは例えば通常の室内のように見える。最も高い９５％は、例えばランプ又はこのようなランプの近くの領域、すなわち明るく照らされた領域のように、純粋にＨＤＲ効果のために使用することができる。しかし、ＬＤＲ上では、このＨＤＲグレーディングのレンダリングが（このようなディスプレイ向けに生成されていないときに）全体として間違った方へ向かい、例えば黒に近い領域上の最も明るい領域に対応するホットスポットだけが見えることがある。一般に、十分に異なる（ＰＢが少なくとも２倍異なる）ディスプレイ用の最適な画像を生成するためには、再グレーディングが必要である。これは、反対に、低ダイナミックレンジディスプレイ用の画像を、高ダイナミックレンジディスプレイ上でレンダリングするのに適したものにするために再グレーディングしたとき、すなわち画像をダウングレーディング（ｄｏｗｎｇｒａｄｉｎｇ）したときに起こり（例えばＰＢ５０００ｎｉｔの実際のディスプレイ上でレンダリングするために色処理した１０００ｎｉｔの基準ディスプレイコンテンツ）、そのため、それは、ビデオ画像としてコード化されたグレーディングに関連した基準ディスプレイよりもＰＢが低い実際のディスプレイ上に表示するのに適当であろう。簡潔にするため、１つ又は複数のＨＤＲ画像をＬＤＲにダウングレーディングするシナリオだけを説明する。

ＨＤＲ技術（少なくともいくつかのＨＤＲ画像をハンドリングすることができる技術を意味するが、ＬＤＲ画像又は中間ダイナミックレンジ画像などでも機能する）は、消費者用途と職業用途の両方の用途の様々なエリア（例えばカメラ、ｂｌｕ−ｒａｙプレーヤのようなデータハンドリング装置、テレビジョン、コンピュータソフトウェア、投影システム、セキュリティ又はビデオ会議システムなど）に浸透するため、様々な態様を異なる手法でハンドリングすることができる技術が求められている。

本発明の発明者は、ＷＯ２０１３／１４４８０９において、以下に説明する発明が改良する適当な先行技術を形成する入力画像（Ｉｍ−ｉｎ）に関連した基準表示ダイナミックレンジとは別の表示ダイナミックレンジ（通常、このＰＢは、異なる表示ダイナミックレンジ、したがって最適にグレーディングされた画像を特徴づけるのに十分である）に適した画像（Ｉｍ＿ｒｅｓ）を生成するための色処理を実行する技法を全般的に説明した。図１で、その原理を、同じ原理の現行の実際の実施形態により近いやり方で簡潔に再び説明する。色変換器１００によって、入力画像Ｉｍ＿ｉｎの様々なピクセルを、それらのピクセルの線形ＲＧＢ値に乗算器１０４により増倍率（ａ）を乗じることによって連続的に色処理して、出力画像Ｉｍ＿ｒｅｓ中のピクセルの出力色ＲｓＧｓＢｓを得る。この増倍率は、通常は人間カラーグレーダが生成するある階調マッピング指定から確立されるが、画像の特性（例えばヒストグラム、又は顔のような特別な物体の色特性など）を解析する自動変換アルゴリズムから得ることもできる。大まかに言って、このマッピング関数は例えばガンマ関数に似ており、そのため、明るいエリアのコントラスト低減と引き換えに、より暗い色がブーストされる（ＬＤＲディスプレイ上でのレンダリングのためにそれらをより明るくかつより高コントラストにする必要がある）。明るいエリアは、ＬＤＲディスプレイ上でパステル化される（ｐａｓｔｅｌｌｉｚｅｄ）。グレーダはさらに、顔のようなある特別な物体を識別することができ、その輝度に対して、コントラストが高まる部分を曲線上に生成している。ここで特別なのは、この曲線が、（最大値評価ユニット１０１によって決定された）それぞれのピクセルのＲ、Ｇ及びＢ色成分のＭと呼ばれる最大値に、曲線適用ユニット（ｃｕｒｖｅ ａｐｐｌｉｃａｔｉｏｎ ｕｎｉｔ）１０２によって適用されることである（曲線適用ユニット１０２は、例えば安価にＬＵＴとすることができ、このＬＵＴは、例えば画像を撮影するごとに、通常、マッピングの関数形状、例えばガンマ因子に符号化するパラメータを受け取った後に、色処理を実行する受信側で計算することができる）。次いで、増倍率計算ユニット１０３が、現在処理されているそれぞれのピクセルに適した増倍率（ａ）を計算する。その画像が、第１のターゲットディスプレイ上、例えば１００ｎｉｔのＬＤＲディスプレイでレンダリングされる場合、これは例えば、Ｍに適用された階調マッピング関数Ｆ、すなわちＦ（Ｍ）をＭで割った出力である。例えば中間ディスプレイ、例えばＰＢ８００ｎｉｔ（又はＨＤＲ入力画像Ｉｍ＿ｉｎの基準ディスプレイＰＢよりも高い別の値）のディスプレイ用の画像が必要な場合、入力色の乗法的マッピングの量を、画像に適した表示ダイナミックレンジに対して適切な値に再スケーリングするＦ（Ｍ）／Ｍに別の関数Ｇを適用することができる（その画像がディスプレイ上で直接にレンダリングされるのか、又は伝達されるのか、又は後の使用のためにあるメモリに記憶されるのかは問わない）。

これまでに説明した部分は全体的な色処理を構成する。全体的な色処理は、連続する一組のピクセルの色の特定の値だけに基づいて処理を実行することができることを意味する。そのため、例えば画像の円形の副選択域内の一組のピクセルだけからピクセルを得る場合には、上で説明した原理に従って色処理を実行することができる。しかしながら、人間の視覚は非常に相対的であり、それにより、物体の色及び輝度は、画像中の他の物体の測色特性に対して（及び様々な技術的限界を考慮して）判断されるため、局所処理を実行することが望まれる。画像によっては、ランプ又は顔のような１つ又は複数の物体を分離し、その物体上で専用の処理を実行したいことがある。しかしながら、本発明の発明者の技術では、これが、マスタグレーディングのピクセルの画像から導き出すことができる少なくとも１つの追加のグレーディングの符号化の部分を構成する（ここではＨＤＲからＬＤＲを導出する）。すなわち、必要ならばＬＤＲ画像を復号することによって構築するのに色処理が必要となる。符号化技術において局所処理原理を使用することには、とりわけ、フィールド内の全ての復号ＩＣ又はソフトウェアがこれを実施する必要があるため、符号化を理解し、復号器ＬＤＲ画像を生成することができるようにするためには、単純な一組の基本的な数学的処理法が必要であるという技術的含意がある。本発明の出願人がＷＯ２０１３／１４４８０９で紹介した、計算の数においてはそれほど不経済ではないが十分に汎用的であるこの単純な原理は、グレーダが指定した２重試験を、領域評価ユニット１０８によって実行する。このユニットは、幾何学的条件と測色条件の両方を評価する。幾何学的には、カレントのピクセルの座標（ｘ，ｙ）に基づいて、このユニットが、例えばそのピクセルが長方形（ｘ＿ｓ，ｙ＿ｓ）〜（ｘ＿ｅ，ｙ＿ｅ）に含まれるかどうかをチェックする。測色上は、例えば、輝度又はｍａｘ（Ｒ，Ｇ，Ｂ）がしきい値よりも大きいのか（この場合、そのピクセルは、特別に処理されるこの領域に属すると評価される）、若しくは小さいのか（この場合にはそのようには評価されない）を、このユニットがチェックすることができ、又は、処理するピクセルの色特性を評価するより進んだ評価が実行される。色変換器１００は次いで、例えば、そのピクセルがその特別な領域内にないのかどうか、及びそのピクセルを全体的に処理するか若しくは局所的に処理するのかに応じて例えば別の階調マッピングＬＵＴをロードし、又は平行な２本の処理枝を使用する。

出力画像が入力画像と幾何学的に完全に重なっている場合、この局所色処理はうまく機能する（すなわち、入力画像ピクセルに基づいて出力画像ピクセルをどのように分類すればよいのかが分かっているため、出力画像のそれぞれのピクセルについて結果は正しくなる）。又は、ＨＤＲピクセル色を処理することによってＬＤＲ画像を復号する必要があるときとは別に（例えばグレーダによってかなり以前に、別の物理的位置で、及び別の装置すなわち符号化装置上で）ピクセル評価アルゴリズムが生成される別のシナリオでより詳細に説明するように、ピクセルをいくつかの色処理クラスに分類するための選択領域の幾何学的形態が、それらが（例えばグレーダによって）定義された画像と局所色処理のためにそれらが使用される画像の両方で同じ絶対ピクセル位置にある場合、局所処理はうまく機能するであろう。しかしながら、追加の技術的解決策を必要としている実際的な課題は、実際に、画像を再グレーディングする前に画像の少なくともある部分をシフトさせることである。例えば、原画像（ｏｒｉｇｉｎａｌ ｉｍａｇｅ）上、例えば４Ｋ原画像上に長方形を画定し、コンテンツ生成と例えばディスプレイが使用する最終的な画像との間の画像ハンドリングチェーン（ｉｍａｇｅ ｈａｎｄｌｉｎｇ ｃｈａｉｎ）中の中間の装置が、例えばこの画像を例えば１／４のサイズにスケーリングし、その画像の小さなピクチャ−イン−ピクチャ（ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ：ＰＩＰ）画像を作成し、その画像を例えば２Ｋ画像の右上隅にオフセットさせ、同時に、その２Ｋ画像の残りの部分をコンピュータグラフィックスコンテンツ、例えば、べたの青色で埋める。

次に、半径２０ピクセルの円内に画定された４Ｋ画像の中心に太陽があると仮定する。この太陽は、ＨＤＲ画像中の周囲のピクセル画像よりも１０倍明るく、たとえ残りのピクセル上に全体的な処理があったとしても、ＨＤＲ−２−ＬＤＲ変換で、（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）にセットされなければならない（又は、反対に、非太陽以外の全てのピクセルについて、ＬＤＲ画像色を、たとえそれらが、受信された１次画像としてのＬＤＲ画像中で白色を有していたとしても、例えば５０％ＰＢの最大値までブーストすることができるが、太陽は、ＬＤＲ画像からの復号されたＨＤＲグレーディングの最大のコード又は対応する輝度にマップされなければならない）。受信側装置は、円形の選択領域を再構成するためのデータを得、ダイナミックレンジ変換するある画像データを得る。受信装置、例えばテレビジョンが４Ｋ原画像を得る場合、その画像は、局所処理を用いて希望どおりに太陽を完全にブーストすることができ、このアルゴリズムにおいてグレーダによって符号化することができる。

追加の幾何学的変換の後に、この画像がＰＩＰ画像を得る場合には、たとえ４Ｋ画像であっても、この円は、誤ったピクセルを選択し、例えば、青い背景グラフィックスがあるはずのところに白い円を描く。すなわち、この符号化技術が、復号された誤った画像を生成する可能性があり、補正技術が必要となる。

上記の課題は、第１の輝度ダイナミックレンジを有する入力画像（Ｉｍ＿ｉｎ）のピクセルの入力色（Ｒ，Ｇ，Ｂ）を、第２の輝度ダイナミックレンジを有する出力画像（Ｉｍ＿ｒｅｓ）のピクセルの出力色（Ｒｓ，Ｇｓ，Ｂｓ）に変換するように構成された画像色処理装置（２０５）であって、第１のダイナミックレンジと第２のダイナミックレンジとが大きさにおいて少なくとも２倍異なり、画像色処理装置（２０５）は、
− 入力色を出力色に変換するように構成された色変換器（１００）であり、入力画像（Ｉｍ＿ｉｎ）中におけるピクセルの空間的位置（ｘ，ｙ）に応じて色を局所的に処理する能力を有する色変換器（１００）
を備え、
− 幾何学的位置データの受信器が原画像の少なくとも１つの領域を決定することを可能にするため原画像（Ｉｍ＿ｏｒｉｇ）上で幾何学的位置データ（Ｓ）が決定された当該原画像（Ｉｍ＿ｏｒｉｇ）と、入力画像との間で、幾何学的変換が実施されたことを示す受信データ（２２０）を解析するように構成された幾何学的状況メタデータ読取りユニット（２０３）を備える、
画像色処理装置（２０５）によって解決される。

ＨＤＲ原画像（適切なＨＤＲルックのためにグレーディングされたマスタ）のダイナミックレンジは、例えば５０００ｎｉｔ又は１０００ｎｉｔのピーク輝度（ＰＢ）に対応し（低い方の終点はゼロに近く、本発明の目的上、ゼロに等しいとみなすことができ）、ＬＤＲ画像は通常、ＰＢ＝１００ｎｉｔ（又は職業的シネマビデオに対しては５０ｎｉｔ）でグレーディングされる。本発明の発明者は、実際に生じているＨＤＲ画像又は特にビデオ通信（コード化／復号）及び／若しくはハンドリングの全ての問題をハンドリングすることができる枠組みを開発する必要があった。この分野では、これらが、より単純なシステム及びより複雑なシステムからなり、それらは全て良好な同様の解決策を必要とする。あるピーク輝度を有するディスプレイに適用された場合、ダイナミックレンジ変換は例えば、グレーディングされたマスタコンテンツの５０００ｎｉｔのＰＢと、そのディスプレイの１５００ｎｉｔ又は別のディスプレイの場合の１２００ｎｉｔのＰＢとの間であることに留意されたい。あるピクセルが、特別に扱われる局所領域に属するかどうかをどのようにすれば判定することができるのか（例えば、ある色が色空間の特定のボリューム内にあるのか又はボリューム外にあるのかを判定するための長方形及び測色基準をどのように指定することができるのか）を、位置データＳによって伝達する様々な手法があることを、当業者は理解している。

図２では、それ自体のピーク輝度を知っており、したがって必要な再グレーディング色処理を実行する、テレビジョンに含まれる特定の可能な１つの画像処理装置によってこの状況を説明した。その特定の例では、必要な入力画像（Ｉｍ＿ｉｎ）及び他のデータを本発明に従って送達する画像送信装置がｂｌｕ−ｒａｙプレーヤであり、そのｂｌｕ−ｒａｙプレーヤは、導入されたｂｌｕ−ｒａｙディスク上に記憶された、画像及び少なくとも１つの再グレーディングされた画像を得るためにその画像を色処理するための関数（Ｆ）を得る。将来の市場には様々なタイプのＢＤプレーヤが存在する可能性がある。一部のＢＤプレーヤは、画像を処理することができ、再グレーディングされた画像を希望に応じて既にテレビジョンに供給することができるであろう。一部のＢＤプレーヤは、それらの関数をみて、追加の関数をコード化することができるであろう。おそらく、大部分のＢＤプレーヤは、わずかな処理だけを実行し、ＢＤ上の大部分の情報をそのまま供給し、テレビジョンに処理を任すであろう。一部のＢＤプレーヤは、そのデータに対して全く処理を実行しないが、少なくともインジケータ２２１を埋めて、例えば受け取ったディスク上の原画像（Ｉｍ＿ｏｒｉｇ）のピクセルをスケーリングするなどの少なくともある幾何学的処理をＢＤプレーヤが実行したことを指定することができる。テレビジョンに入力される画像（Ｉｍ＿ｉｎ）は別の画像であり、この画像では、実際の映画ピクセル又は番組ピクセルがその一部分だけを占め、例えば黒又はあるテキストなどに設定された残りのピクセルは、例えばＢＤプレーヤによって生成される。最も単純なケースでは、このインジケータが単一のビットＢＳＶｉｄであり、このビットが１にセットされている場合、それは、幾何学的処理があったことを意味し、受信装置は慎重であるべきであり、０にセットされている場合には、入力画像が、幾何学的特性において原画像と同じであり、局所処理する特別な領域をどのようにすれば決定することができるのかを指定する（太陽の例では、円の内部の白色ピクセルが、その円の中心位置及び半径を指定するデータによって指定される）元の幾何学的位置データ（Ｓ）は、（リアルタイムビデオ通信リンクによって又はメモリに）送信される出力信号（Ｓ＿ｏｕｔ）中にコピーすることができ、その後、受信器が、局所色変換に安全に使用することができる。一部のＢＤプレーヤは、幾何学的位置データ（Ｓ）を少ししか見ず、Ｉｍ＿ｉｎを得るために画像送信装置２０１によって適用された幾何学的変換の後に生じた新たな幾何学的状況に対して正しくなるように、幾何学的位置データ（Ｓ）を再決定する。ＢＤ再生システムだけを描写したが、第１の画像ハンドリング装置がある幾何学的変換を画像に適用し、そのデータを最終的に受信する第２の装置でその画像を調整する必要があり、場合によっては局所色処理を実行しなければならない同様の多くのシナリオが存在し得ることを当業者は理解するであろう。このシナリオは例えば、画像送信装置がケーブルオペレータ配信ユニットであり、このユニットが、映画にコマーシャルを小さなＰＩＰとして挿入し、このコマーシャルと映画はともに適当にダイナミックレンジ処理される職業的システムで生じることがある。又は、この画像色処理装置を、様々な画像及び／又はビデオを、例えばインターネットベースのグラフィカルユーザインタフェースに同時に示すコンピュータとすることができ、それによって、その画像は、様々なコンテンツ源から受け取られるが、総称（すなわち（０，０）から始まるそれらの元のサイズ及び位置にスケーリングされた）処理命令は、コンピュータソフトウェアがＵＩ内にそれらの画像を全て一緒にどのように配置するのかを知らない。

例えば原画像（Ｉｍ＿ｏｒｉｇ）の画像ピクセルを含む領域のサイズのスケーリングなどの幾何学的変換が実施されたことをコード化したインジケータ（２２１）を含むデータ（２２０）を画像色処理装置（２０５）が受け取る場合には有利である。画像色処理装置（２０５）は次いで、このインジケータの値をチェックすることができ、次いで、例えば、新たな幾何学的状況が何であるのかを画像色処理装置（２０５）が単独で決定する必要があるのかどうかを迅速に判断し（例えば、画像色処理装置（２０５）は、グラフィックス検出器及びビデオ検出器を有することができ、それらの検出器を用いて、どの副長方形がビデオを含むのかを推定し、その推定からそのデータを再決定して、局所的に処理する特別な領域を、例えば長方形の新たな左上隅ピクセル位置及びその新たなサイズを再計算することにより幾何学的に決定することができる。この長方形は、必要な第１のチェック基準である。これは、その長方形の境界内のピクセルだけを局所的に処理すべきであり、その長方形の外側は決して局所的に処理すべきでないためである。すなわち、それらの外部ピクセルは、それらのピクセルの色が何であれ、全体的な処理関数によって色変換すべきである）、又はその状況があまりに危険であるかどうかを迅速に判断することができ、全体的な処理だけが適用される。普通、全体的な処理は既に合理的なルックを与え、局所処理は、画像ルックのインパクト及び品質を増大させるだけだが、例えばそのビデオをフォローすることができるように小さなＰＩＰだけが示される場合には、全体的な処理によって実現されるより暗い部分の十分な可視性が十分であることがあり、完璧な品質が望まれないことがある。すなわち、その場合には局所処理をオフにすることができる。

その代わりに又はそれに加えて、画像色処理装置（２０５）は、入力画像（Ｉｍ＿ｉｎ）のどの幾何学的位置でピクセルを局所的に処理するのかをコード化した幾何学的位置データ（Ｓ）の少なくとも１つのパラメータの新たに再計算された値を含むデータ（２２０）を受け取る。画像色処理装置（２０５）は、幾何学的位置データ（Ｓ）の少なくとも１つのパラメータがその少なくとも１つのパラメータの元の値から再計算されたことを示す第２のインジケータ（２２２）を受け取ることができる。例えば、この幾何学的変換が、例えばテキストメニュー又は受け取ったテキスト情報のための余地を作るために、原画像を、入力画像のサイズの半分だけ右へ（すなわちスケーリングなしで）シフトさせるものであった場合には、それぞれの局所処理窓の位置、例えば長方形の左上隅の座標だけを更新すればよい。画像色処理装置（２０５）は、その幾何学的状況メタデータ読取りユニット（２０３）を使用して、幾何学的変換状況を、そのデータを読むことによって、及び例えばビットＢＲｅｃ＝１を読むことによって評価することができる。画像色処理装置（２０５）は、局所的に処理するピクセルの幾何学的位置を計算するための全ての関連データが、送信装置によって既に正しく再決定されており、したがって、色処理を実行する目的にこのデータを安全に使用することができることを知る。いくつかのシナリオにおいては、幾何学的に変換された特別な領域があるべき場所にあることを受信側装置が知っているかどうかを、受信側装置が自発的に判定することは比較的に単純であろう。言うまでもなく、このような変換問題が伝達されたことを全く、すなわち少しも知らない場合には、受信器が正しく判断するとは限らない危険性がある（例えば、ニュース番組では、ニュースキャスターの後ろに小さな画面があることがあるが、その画面は、主窓の全体的な色変換によって変換されることになる）。別のシナリオとして、複雑なグラフィックスの合成があること、例えば、それ自体のフレーム内にバンディング（ｂａｎｄｉｎｇ）を有するＰＩＰがあること、又は花アイコン境界か何かがあることがあり、その場合には、局所処理位置が正確にどこにあるべきかを受信器が決定することがより難しくなることがある。装置２０１は、単一のビットを送信するのか、又は幾何学的状況の正確なコード化を送信するのかを判断するときに、このことを考慮することができる。

或いは、画像色処理装置（２０５）が、実施された幾何学的変換を指定するデータを含むデータ（２２０）の変形体（ｖａｒｉａｎｔ）を受け取る。その変換（すなわち原画像Ｉｍ＿ｏｒｉｇと入力画像Ｉｍ＿ｉｎのピクセル位置間の関係）を受信側が完全に再構成することを可能にする任意のデータ、又は、別の言い方をすれば、画像エリアの選択を可能にする選択エリアの変換又は指定が役立ち、そのため、これを、例えばアフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を定義するパラメータとすることができる。このシフト例に関して、このデータは例えば、固定された変換コードＳＨＩＦＴ及びピクセルの数であることができ、受信装置は、このデータから、元の幾何学的位置データ（Ｓ）が送信されたこと、及び、データ（２２０）とともに、局所的に処理するピクセルを幾何学的に選択するための更新された選択基準を計算することができることを認識する。通常、原画像Ｉｍ＿ｏｒｉｇはしばしば、例えばカメラから例えば捕捉された画像、又は例えばディジタル中間体とされた後にある中間サーバ上に記憶された画像とすることができるが、言うまでもなく、全てのピクセル位置が、画像ハンドリングチェーンの全体にわたって正しく再配置可能である限り、例えばある標準化された基準サイズ画像Ｉｍ＿ｏｒｉｇ（例えば絶対又は相対指定の１００００×１００００ピクセル）に関して、局所的に処理する領域の全ての参照も与えられることに留意されたい。２つ以上の変換がチェーン内で適用される場合には、様々な変換を追跡するデータが存在してもよい。例えば、グレーディング装置は既に、実際の画像、例えばＢＤディスク上の映画の４Ｋのある部分及び２Ｋの他の部分に関係付ける必要が依然としてある手法で、限局された処理エリアを指定していることがあり、ＢＤプレーヤが依然として実行することができ、画像通信リンク上、例えばテレビジョンへのＨＤＭＩ（登録商標）ケーブル上で最終的に伝達することができる変換がどれなのかにかかわらず、その幾何学的マッピングのデータもＢＤディスク上に既に符号化されていることがある。

同じ調整原理に従って、入力色（Ｒ，Ｇ，Ｂ）を有するピクセルを含む少なくとも１つの画像（Ｉｍ＿ｉｎ）を送信するように構成され、入力色（Ｒ，Ｇ，Ｂ）を色変換するための関数又はアルゴリズムを指定する変換データ（２２６）を送信するように構成された画像送信装置（２０１）であって、変換データ（２２６）が、局所色変換を実行するためのデータを含み、このデータが、その少なくとも１つの画像（Ｉｍ＿ｉｎ）のどのピクセル位置を局所色変換で処理するのかを受信器が計算することを可能にする幾何学的位置データ（Ｓ）を含む、画像送信装置（２０１）を画像源側に置くことができ、画像送信装置（２０１）は、幾何学的位置データ（Ｓ）が決定される原画像（Ｉｍ＿ｏｒｉｇ）と入力画像との間で幾何学的変換が実施されたことを示すデータ（２２０）を符号化するように構成された幾何学的状況指定手段（２１２）を備える。この装置を、追加の機能を実行することもできるより大きなシステムに含めることができる。例えば、この装置を、旧来のＬＤＲ映画をＨＤＲ映画に変換するトランスコーダ（ｔｒａｎｓｃｏｄｅｒ）内に置くことができる（又は、より精確には、データは、様々な表示ＰＢに対応するいくつかの再グレーディングを決定することを可能にするデータであって、そのうちの少なくとも１つがＬＤＲグレーディングであり、少なくとも１つがＨＤＲグレーディングである）。このトランスコーダは例えば、第１の受信器に完全解像度画像を供給する第１の出力と、その画像の幾何学的に処理された変形体を送信する第２の出力とを有することができ、それにもかかわらず、両方の出力上に、正確に同じ変換データ（２２６）、すなわち局所的に適用する階調マッピング関数Ｆ、さらに同じ幾何学的位置データ（Ｓ）、すなわち幾何学的に処理されていない原画像から領域を抽出するためのデータを有する。この装置は次いで、１つ又は複数のデータ（２２０）変形体を使用して、接続された様々な受信器が正しい色変換を最終的に実行することを可能にする正しい情報を調整することができる。図２の単純な説明では、送信される画像信号（Ｓ＿ｏｕｔ）中に、全ての情報が例えばメタデータとして一緒に符号化されると仮定したが、例えばより高品質の又は他のダイナミックレンジ再グレーディングに対する申込みのために、色処理のためのこのメタデータが、異なるサーバ上に存在することができることを、当業者は理解すべきである。特に、このようなシナリオに対しても、どの幾何学的位置にどの局所色処理指定が対応するのかを全ての受信器が最終的に知っていることが重要である。

有利には、画像送信装置（２０１）は、例えば１ビットによって、幾何学的変換が実施されたことをコード化したインジケータ（２２１）をデータ（２２０）中に符号化するように構成された幾何学的状況指定手段（２１２）を有する。

有利には、画像送信装置（２０１）は、幾何学的位置データ（Ｓ）の少なくとも１つのパラメータを、幾何学的状況指定手段（２１２）がそのパラメータに対して受け取った値と比較して変化させるように構成された幾何学的状況指定手段（２１２）を有する。幾何学的状況指定手段（２１２）は次いで、局所的に扱うピクセルを正しく識別するための新たなデータを既に計算して、受信器がそうする必要がないようにする。

これに対する代替として、画像送信装置（２０１）は、実施された幾何学的変換を指定するデータをデータ（２２０）中に符号化するように構成された幾何学的状況指定手段（２１２）を有する。受信器が、Ｉｍ＿ｉｎのピクセルがＩｍ＿ｏｒｉｇのピクセルと比較してどのようにマップされたのかについての完全な情報を得る場合、受信器は、それ自体で、その局所色変換とは異なるある局所色変換をピクセルが受けるべきかどうかの評価の幾何学的条件部を実行するための戦略を決定することができる。送信装置は、そのデータを見るために時間を費やす必要は全くなく、そのデータを受信器に直接に送信するだけでよい（すなわち、例えば、ＢＤデータパケットを読み、それらのパケットを画像通信規格、例えばＨＤＭＩ（登録商標）、ビデオ放送規格又はインターネットプロトコルなどのパケットに再フォーマットする）。より精確にするため、例えばＢＤプレーヤは、画像自体の復号を実行することができるが（ＨＤＲグレーディングをＬＤＲ符号化の枠組みに強制した場合にはその旧来の復号器によって実行することができる）、ＢＤプレーヤは、ダイナミックレンジ変換についてデータを気にする必要はなく、それらの詳細をハンドリングするためにハードウェア又はソフトウェアを有する必要もない。

有利には、画像色処理の方法は、
− 幾何学的位置データの受信器が原画像の少なくとも１つの領域を決定可能にするために幾何学的位置データ（Ｓ）が決定される原画像（Ｉｍ＿ｏｒｉｇ）と入力画像との間で、幾何学的変換が実施されたことを示す受信データ（２２０）を解析するステップと、
− 第１の輝度ダイナミックレンジを有する入力画像（Ｉｍ＿ｉｎ）のピクセルの入力色（Ｒ，Ｇ，Ｂ）を、第２の輝度ダイナミックレンジを有する出力画像（Ｉｍ＿ｒｅｓ）のピクセルの出力色（Ｒｓ，Ｇｓ，Ｂｓ）に変換するステップと
を含み、第１のダイナミックレンジと第２のダイナミックレンジとが大きさにおいて少なくとも２倍異なり、適用される色変換が、受信データ（２２０）の値に依存する。

有利には、画像色処理の方法は、幾何学的変換が実施されたことを受信データ中のインジケータ（２２１）が示している場合に、全体的な色変換だけを実行する。

有利には、画像色処理の方法が、幾何学的変換が実施されたと解析するステップにより結論した場合に、幾何学的位置データ（Ｓ）の再決定を実行する。

有利には、画像送信の方法が、
− 画像（Ｉｍ＿ｉｎ）を得るステップと、
− 画像（Ｉｍ＿ｉｎ）を色変換するための変換データ（２２６）を得るステップと、
− 変換データを決定するときに使用された原画像（Ｉｍ＿ｏｒｉｇ）と比較して、画像（Ｉｍ＿ｉｎ）が幾何学的に変形されているかどうかを判定するステップと、
− 画像（Ｉｍ＿ｉｎ）と、変換データ（２２６）と、幾何学的変換が原画像（Ｉｍ＿ｏｒｉｇ）と入力画像との間で実施されたことを示すデータ（２２０）とを送信するステップと
を含む。

送信装置及び受信装置を調整するため、画像（Ｉｍ＿ｉｎ）のピクセルのピクセル色データ（ＲＧＢ）と、画像（Ｉｍ＿ｉｎ）を色変換するための変換データ（２２６）と、変換データ（２２６）を決定するために使用した原画像（Ｉｍ＿ｏｒｉｇ）と入力画像（Ｉｍ＿ｉｎ）との間で幾何学的変換が実施されたことを示すデータ（２２０）とを含む画像信号を使用することができる。本発明を、特に有用な線形ＲＧＢ型ダイナミックレンジ処理を用いて説明したが、言うまでもなく、例えば局所ブースト画像を用いてブーストするとき、Ｙｕｖ又はＹＣｒＣｂ表現で色処理を実行するときなど、他のダイナミックレンジ変換においても、幾何学的画像変換に対する局所専用色処理の課題及び解決策があることに留意されたい。

さらに、コンピュータプログラム製品は、上記の任意の方法のそれぞれのステップをコード化したコードであり、それによって、実行されたときに、その対応するそれぞれの方法を処理装置が実行することを可能にするコードを含むことによって、本発明の様々な実施形態を実施することができる。

本発明に基づく方法及び装置の変形体のこれらの態様及びその他の態様は、以下に記載される実施態様及び実施形態並びに添付図面を参照することによって明白になり、説明される。添付図面は、単により一般的な概念を例示する非限定的な特定の例の役目を果たし、添付図面中の破線は、構成要素が任意選択であることを示すために使用される。破線で描かれていない構成要素が必須であるとは限らない。破線は、必須であると説明された要素が物体の内部に隠されていることを示すために、又は例えば物体／領域の選択、チャート内の値レベルの指示などの無形物に対して使用されることもある。

局所色処理を含むダイナミックレンジ変換を実行する可能な色処理装置を概略的に示す図である。この色処理は通常、入力画像中の物体の輝度を変化させることを少なくとも含む。 ダイナミックレンジ色変換する画像に対して様々な幾何学的変換を源装置が実行するときに、必要なダイナミックレンジ色変換を調整するように構成されたシステムの例を概略的に示す図である。 画像ルック符号化を局所的に利用する実際的なＨＤＲ画像又はビデオハンドリングシステムにおいて起こり得る問題を、可能な１つの例を用いて説明する図である。 ある画像通信技術によってＨＤＲ画像を別の装置に供給する可能な典型的なＨＤＲ画像又はビデオハンドリング装置の基本的な機能を概略的に示す図である。

図２は、どのようにすれば本発明を実施することができるのかを容易に理解することができる実際的な例を示す。これと同じ構成要素構成を別のＨＤＲビデオハンドリングシステム内で使用することもできること、そのため、この例が、本発明の基本的なフレームワーク原理を限定するものではないことを、本明細書を読んだ当業者は理解するであろう。グレーダ２５１が、画像生成装置２５０上でのＨＤＲグレーディングであるマスタグレーディングを実施したとする。この画像は、（［０，１］内の値を有するＲ、Ｇ、Ｂを有する）正規化された画像として見ることができる。すなわち、この画像の最適なレンダリングとはまだ無関係である。言い換えると、色値の統計量が、どのピーク輝度を有するどのディスプレイ上でこの画像が最もよく表示されるのかを決定する（通常は、コード化された画像信号Ｓ＿ｓｒｃには、関連する基準ディスプレイのピーク輝度も含まれると考えられ、これは、この画像が、例えば２０００ｎｉｔディスプレイ上で表示するために正しくグレーディングされていることを示す）。この正規化のため、この画像は、旧来のビデオ符号化、例えば１０ビット／チャネルを有するＨＥＶＣで記憶することができる。しかしながら、そのようなＨＤＲのみの画像符号化は、ＨＤＲディスプレイ上でのみ正しくレンダリングするので、グレーダは、コード化されたＨＤＲ画像（Ｉｍ＿ｏｒｉｇ）から１００ｎｉｔの旧来のＬＤＲグレーディングを少なくとも計算することができるある色変換関数データ（Ｆ）を含む必要がある。グレーダは、この関数を指定しておき、より重要には、どのピクセル位置に対して少なくとも１つの局所色変換を実行すべきなのかを、グレーダが作業していた原画像（Ｉｍ＿ｏｒｉｇ）のジオメトリに基づいて指定するデータＳを指定しておく。多くの画像通信技術が可能だが、この例では、このデータ（ＨＤＲ画像＋少なくともＬＤＲグレーディングに再グレーディングするための関数）が、ＨＤＲ能力を有する、消費者が購入することができるｂｌｕ−ｒａｙディスク上に記憶されていると仮定する。画像送信装置（２０１）の例としてのＢＤプレーヤは、ディスク上の画像データを少なくとも読み出すことができ、そのデータを、正規の位置、サイズなどで再生することができる。したがって、ＢＤプレーヤは、画像信号Ｓ−ｏｕｔ中のこの画像データ及び関数Ｆを、画像色処理装置（２０５）に送信する。この例では、画像色処理装置（２０５）が、ＬＥＤバックライトを備える、受信装置（２０２）の例としてのテレビジョンに組み込まれているが、この受信装置を例えば、記憶する前に画像を再グレーディングする計算能力を有するデータ記憶サーバなどとすることもできる。幾何学的に変更されていないビデオをＢＤプレーヤが渡すだけであるシナリオでは、問題は生じない。テレビジョンは、その物理特性に対して最適な再グレーディングを得るのに必要な色変換を実行し、その画像を、例えばバックライト及びＬＣＤピクセルバルブを駆動するディスプレイドライバ２０４に送信する。しかしながら、例えば、ユーザが、ＢＤプレーヤのメニューとの対話を開始した場合、メニューは、テキストとコンテンツビデオを再スケーリングした小さなビデオとを含む画像を表示し、その画像を、画像接続（２１０）、例えばＨＤＭＩ（登録商標）ケーブル又は無線画像通信チャネルなどを介してテレビジョンに送信することができる。

幾何学的変換状況を伝達するため、ＢＤプレーヤは、受信側が幾何学的変換状況を理解することができるように、幾何学的変換状況を特徴づける１つ又は複数のタイプの追加データ（２２０）を、信号Ｓ−ｏｕｔに追加することができる。例えば、何らかの幾何学的変換が実施されたことを単にコード化した単純なインジケータ（２２１）を追加してもよい。しかしながら、ＢＤプレーヤが適用した幾何学的変換に従って局所的に処理するピクセルの空間位置を得るのに必要なデータをＢＤプレーヤが再計算してもよい。このことは、例えば、幾何学的位置データ（Ｓ）の少なくとも１つのパラメータがその元の値から再計算されたことを示す第２のインジケータ（２２２）、及び元の幾何学的位置データ（Ｓ）をその時点では含まないが、例えば長方形の左上隅の点としての新たな出発点（ｘｓ２，ｙｓ２）を含む幾何学的選択パラメータ（２２３）などとして、データ中に示すことができる。

受信装置が、局所的に処理するピクセルを幾何学的にどのように決定すべきかを再決定する場合、送信装置は、実施された幾何学的変換を指定する変換データ（２２４）をデータ（２２０）に追加することができる。この変換データは例えば、倍率（ｓ＝例えば１／４）及びピクセルの数としてのオフセット（ｘｗｓ，ｙｗｓ）、又はより複雑な変換をコード化するより複雑な情報などとすることができる。この情報は、元の全てのピクセルを必ずしも含まなくてもよいが、例えばあるパススルー窓内のＩｍ＿ｏｒｉｇのサブセットを選択してもよい。最後に、ＢＤプレーヤは、正しい色変換を実行するのに必要なデータ（Ｆ）及び１次画像（Ｉｍ＿ｉｎ）を送信する。これらのデータ及び画像は、関連するＰＢを有するディスプレイが接続されている場合に直接に使用することができ、又は他の方法で再グレーディングすることができる。これが、画像グレーディング符号化データ２２５である。

図３は、典型的なＨＤＲ画像を示し、又は、特に、本発明及び本発明の実施形態がこれに関して設計されたビデオハンドリングシナリオを示す。通常、ＨＤＲでは、（そのシーン物体のその相対輝度を、第２の物体輝度に対する第１の物体輝度の特定の割合構成で有する１つのルックだけに対応する）１つの画像だけがあるわけでは必ずしもないことも読者は認識すべきである。定義により０〜１００ｎｉｔの１つの輝度範囲だけが存在したため、これは、旧来のＬＤＲビデオ符号化に関する状況であった。しかしながら、次に、全ての可能なＨＤＲシーン及びそれらの画像を、例えば１００ｎｉｔ、４００ｎｉｔ、１０００ｎｉｔ、２０００ｎｉｔ、５０００ｎｉｔ及び１０，０００ｎｉｔのピーク輝度を有する様々な可能な最終的なディスプレイ上で最適にレンダリングしなければならない。ＰＢ１００ｎｉｔのディスプレイ上で最適に明るく見えるようにカラーグレーディングされた画像を、１０，０００ｎｉｔモニタ又はＴＶの場合と同様にレンダリングした場合には、その画像が過度に明るく見えることが想像できる。そのため、このことに対する解決策は、通常、より良好なコード化システムが、（例えばＰＢ５０００ｎｉｔの基準輝度範囲上で定義された）一組のＨＤＲ画像だけを符号化するのでなく、例えば５０００ｎｉｔグレーディング及び旧来の１００ｎｉｔグレーディングである二組の画像（すなわち、１００ｎｉｔの旧来のＬＤＲディスプレイ上でそれらの画像を直接に、すなわち追加の測色変換を必要とすることなくレンダリングするための正しいルックを有する画像）を符号化することである。さらに、帯域幅を節約するため、通常は、できるだけ小さなデータオーバヘッドを有する第２の画像を、すなわち、実際の画像、すなわちＤＣＴ処理されたピクセルブロックとして、例えばＨＥＶＣ規格に従って送られる第１の一組の画像の関数変換又はアルゴリズム変換として、符号化することを望むことができる。すなわち、例えば、（ＬＤＲディスプレイ上での直接レンダリングに使用することができるが、驚いたことに、同時に、ＨＤＲ高ダイナミックレンジルックが例えば最適に又は合理的に見える画像を有する４０００ｎｉｔ表示を供給するための画像も兼ねる）一組のＬＤＲ画像を送信し、メタデータを送信する。このメタデータは、受信器が、それらのＬＤＲ画像を、コンテンツクリエータが送信側で生成したＨＤＲルック画像の近い再構成であるＨＤＲ画像に変換することを可能にする。又は、反対に、このメタデータは、送信された（ＨＥＶＣ符号化された）ＨＤＲ画像をＬＤＲ画像にダウングレーディングする関数を含む。

全体的な変換だけを使用する場合には問題は生じないが、シナリオによっては、色変換の一部を局所的に定義することが有利又は必要であることがあることが明らかになった（すなわち、例えば窓３０３を通して見える色は（ＰＩＰ３０２の）画像の残りの部分の色とある程度は似ているが、それにもかかわらず、それらの色は異なって変換される。これは、それらの色は、例えば非常に明るくするか又は逆に普通以下に暗くする必要があるためである）。この変換は、それによって随意に再生することができる単なる変換ではなく、新たな画像の実際の符号化であることを認識すべきである。理想的には、それらの画像は、それらの画像のコンテンツクリエータがそれらの画像を定義したときに精確に見える必要がある。すなわち、ＨＤＲハンドリング装置又はチェーンのどこでもそれらの画像を正しくハンドリングし続けるためには、かなりの特別な技術的注意が必要である。そのため、画像解像度をハンドリングする状況だけでなく、実際には、画像再定義のハンドリング、すなわち色変換関数の正しい調節も提供される。

図３では、ＰＩＰの例を参照するが、他の同様のシナリオ（例えばＰＯＰ、移動電話のようなセカンドサイドディスプレイ上での表示、画像の一部を粗くして低解像度の投影周囲光パターンを形成するなど）も考えられる。説明のため、限定する意図なしに、このシナリオが、例えばｂｌｕ−ｒａｙディスク読取装置が、例えばいくつかのディレクタコメントを含む第２のビデオストリームのＰＩＰを実行するシナリオであると仮定する。

主エリア３０１には映画が表示される。この映画は、可能なＨＤＲコーデックのあるバージョンに従って定義することができ、最終的に、ディスプレイ上でレンダリングする出力輝度Ｌｕｍｉｎａｎｃｅ＿ｏｕｔに変換する必要がある。ＨＤＲコード化には多くの異なる態様があり、それらは、本発明の議論を複雑にするため必要ない。例えば、輝度コードを輝度に関係づける様々なコード割当関数又はＥＯＴＦに従ってビデオを符号化することができ、これは、ピーク輝度、例えば５０００ｎｉｔと比較して定義することができる。このピーク輝度は、レンダリングディスプレイのピーク輝度、例えば２５００ｎｉｔとは異なってもよい。また、ディスプレイが、それ自体の画像処理などの実行を望むことがある。いずれにせよ、この状況を全体的なマッピングと要約することができる。この全体的なマッピングは、入力輝度Ｌｕｍｉｎａｎｃｅ＿ｉｎ（５０００ｎｉｔ輝度軸上の輝度、一般に、ＨＥＶＣ画像、特に図４のＩｍ＿１内に受け取られたピクセル色に対応する）と最終的な出力輝度との間のカスタム変換曲線３１１を用いて表される。さらに、正規化された輝度軸上でこの変換を定義することができるが、ｘ軸上の１．０は実際の５０００ｎｉｔに対応し、ｙ軸上の１．０は例えば、接続されたＴＶ又は最終的に供給されるＴＶのＰＢである２５００ｎｉｔに対応することを示すことができる。この例では、この曲線が、例えば夜のシーンの黒いオートバイなど、暗い領域（相対輝度副範囲３１２）をある程度明るくする必要があること、及び、例えば窓を通して見える家の白熱電球で照らされた部屋の中のものがくっきりと見えるように、ある明るい領域（相対輝度副範囲３１３）のコントラストを増大させたいことを示している。この曲線が、主ビデオに対する測色変換グラフ３１０を構成する。

次に、それ自体のビデオ／画像を得、それ自体の特定の異なる色変換（グラフ３１５）を有するＰＩＰ３０２を説明する。このシステムが何も知らない場合、システムは、それらのピクセル色にも全体的な変換３１１を適用するであろう。ここで、大部分のピクセルに対しては全体的な色／輝度変換を使用し、例えば窓３０３を通して見える外側ピクセルを明るくする目的には局所変換３１６を使用するものとする（総称概念を見失うことなく、読者は、この２次ビデオが、より安価なＬＤＲカメラを用いて高速に撮影されたものであって、多くの注意を払って特にＨＤＲグレーディングされたものではなく、基本的に、全てのピクセルをＬＤＲに保ち、明るい外側領域３０３だけをブーストすることによって粗い擬似ＨＤＲに変換される例をとることができる。そのため、実際には、より明るい外側ピクセルだけを局所的に処理する関数輝度変換形状３１６が関心事であり、この説明において、（変換３１７を得る）ＰＩＰビデオ中の他の場所に同様の輝度を有するピクセルのような他のピクセルに何が起こるのか、又はより暗いピクセル色に対する変換を気にする必要はない。

しかしながら、外側領域３０３の局所変換が正しく実施されることが重要であり、正しく実施されない場合には、不快で不自然に見える色が現れることがあり、又は、いっそう悪いことは、幾何学的アーチファクトが、最終的な画像中のＰＩＰ領域だけではなく、場合によっては主映画中にも現れることがある。

図４は、幾何学的状況情報を生成する可能な装置をもう少し示す。説明を単純にするために、再びＢＤプレーヤについて記載するが、例えば、様々なカメラからのフィードをミキシングするＴＶトラックにおけるビデオコンポジタ（ｖｉｄｅｏ ｃｏｍｐｏｓｉｔｏｒ）、ローカルケーブル配信センターにおけるビデオインサータ、２つのストリームを合成するインターネット上のビデオサーバなど、多くの装置内で同様の方式でこのようなシステムを使用することができることを当業者は理解する。

第１の画像（又は画像セット）Ｉｍ＿１は、第１の画像源４０１から到来し、第２の画像Ｉｍ＿２（例えばＰＩＰ処理されていると仮定する。しかし、言うまでもなく、動的に移動している領域などであっても他のいくつかの幾何学的変換が可能である）は、第２の画像源４０２から到来する。言うまでもなく、本発明の原理の説明を単純にするため、両方の画像がｂｌｕ−ｒａｙディスクから到来すると仮定することもできるが、言うまでもなく、ｂｌｕ−ｒａｙアプリケーションであっても、第２の画像は、インターネット接続を介してサーバから到来してもよく、又はライブ制作装置実施形態の場合にはカメラなどから到来してもよい。

幾何学的変換ユニット４０３は、ビデオ（Ｉｍ＿２）に対する幾何学的変換を、例えばユーザインタフェースソフトウェアの規則に従って実行する。例えば、幾何学的変換ユニット４０３は、そのビデオをスケーリングし、ＰＩＰ内に再配置する。次に、依然として、テレビジョンのようなチェーン内の後方の受信装置がダイナミックレンジ処理の一部を実行しなければならないと仮定する。これは、そのダイナミックレンジへの（例えば５０００ｎｉｔＰＢビデオから２５００ｎｉｔ表示ダイナミックレンジへの）変換だけである。装置２０１、例えばＢＤプレーヤが、全ての最適化色変換を実行し、（ダム（ｄｕｍｂ））ディスプレイのディスプレイドライバに正しい値を直接に供給する場合も、大部分のシナリオで問題は生じないであろう。幾何学的状況指定手段２１２は、幾何学的に何が実行されたかについての情報を幾何学的変換ユニット４０３から、得ることができ、次いで、ある種の用途に対して望ましい実施形態に従って、受信側に伝達する必要がある状況パラメータを定義することができる。前述のとおり、いくつかの実施形態は、どの幾何学的変換が実際に実行されたのかを詳細にコード化することを必要としないが、何かが実行されたこと、及び、これがもはや、変換関数Ｆ１が対応する純粋なオリジナルの映画ビデオＩｍ＿１ではないことを示すビットだけを必要とする（これは、偶然に、本発明の発明者が調査において示したとおり、１００ｎｉｔルックを例えば５０００ｎｉｔ画像Ｉｍ＿１から定義すること又はこの逆を定義する他に、それらの２つの値、例えば２５００又は１４００ｎｉｔに等しくないピーク輝度のディスプレイ上でのレンダリングのための最適なルックを有する画像を計算することにも使用することができる）。そのため、いくつかのシナリオでは、幾何学的状況指定手段２１２が、ある出力システム４０１へ（例えば、装置２０１が最終的な消費者建物にある場合にはＨＤＭＩ（登録商標）を介してディスプレイへ直接に、又はネットワーク化されたビデオ送達用のトランスコーダ若しくは装置用のネットワークビデオ記憶メモリへ）行くビデオ信号（又は場合によっては異なる機構によって伝達される多数の相関ビデオ信号部分）中に出力する単一のビットを生成する。これは、復号の誤りが必ずしもあまり深刻にならず、受信側装置が次いでセーフモードに切り替わる（例えば主領域及び／又は２次領域で局所処理を実施しない）ことができるアプリケーションシナリオに対して良好であることがある。それは、原則として、間違った復号、すなわちＰＩＰに対する間違った画像ルック、例えば間違ったＨＤＲ画像ルックの再構成につながり、いくつかのエリア、すなわち少なくとも局所的に再構成する必要あったエリアに誤った色を与える。例えば、図３の例において、全体的な輝度変換曲線（すなわちこの曲線のより明るいピクセル上の部分３１７）を使用すると、晴れた外側の色が暗くなりすぎるであろう。しかしながら、装置２０１は、状況の重大度がどれほどなのかを判定することができ、例えば、ＰＩＰだけの小さな窓は完璧である必要はないと判定することができる。この判定は、精確な幾何学的状況、画像コンテンツの詳細、最終的なレンダリングの特性などの様々な因子に依存する（例えば、１０００ｎｉｔＴＶ上では、窓内のエラーが、５０００ｎｉｔＴＶ上ほどには深刻ではなく、そのエラーが、全体的なマッピングによってその領域が明るくなりすぎる場合、特にＰＢに近い場合には、３０００ｎｉｔよりも高いＴＶに関してこれが非常に不適切であることがあり、１０００ｎｉｔよりも低いＰＢのＴＶ上でのエラーの場合にはそれほど問題にはならない）。コンテンツの影響に関して、局所変換は主として、コントラストをより良好にするため、又はバンディングのようなアーチファクトをより少なくするために実行され、装置２０１は、必要な幾何学的変換情報をどのように符号化するのかについての判断においてこれを考慮することができることに留意されたい。特に、人間が存在し、装置２０１、例えばビデオ制作システム内の装置２０１と対話している場合、その人は、特に最終的な固定された又はレンジディスプレイを心に留めている場合に、例えば局所変換を抜かすことによって復号を誤って実行する影響の重大度がどれほどであるのかをチェックすることができる。自動装置は、言うまでもなくそれらの装置がＨＤＲ計算を実行する場合にのみ、ピクセルの量（局所領域のサイズ）、理想的な再構成に対する再構成の色の差、及び追加の画像情報を考慮したエラー尺度を計算することができる（本発明の発明者は、（ほとんど）何も実行せず、全ての測色コード化パラメータを別の装置に渡し、その装置が全ての計算を実行する、安価なシステム向けのより単純な変形体も設計した。すなわち、あるディスプレイ、特により低品質のディスプレイ上ですぐにレンダリングされる場合には、単一ビット解決策が適切であることがあるが、全てのデータが後の使用のために保管される場合には、全ての情報ができるだけ精確に符号化されるより高品質のバージョンが適切である。

この例示的な説明では、装置２０１が、局所色変換（３１６）を適用すべきＩｍ＿２のピクセルを見つけるための新たな規則Ｓ２^＊を計算するだけであると仮定し、さらに、この実施形態において、ある受信側装置によって色処理されるために、Ｉｍ＿１及びＦ１が通常、渡される方式と同様に、局所関数形状Ｆ２＿Ｌが、例えばビデオ源４０２からのメタデータとして読まれ、出力に直接に渡されるだけであると仮定する。

本明細書に開示されたアルゴリズム構成要素は、実際には、ハードウェア（例えば特定用途向けＩＣの部分）として、又は特別なディジタル信号処理装置若しくは汎用処理装置などの上で実行させるソフトウェアとして（完全に又は部分的に）実現することができる。それらの構成要素は、少なくとも一部のユーザ入力が（例えば工場若しくは消費者入力又はその他の人間入力で）なされ／なされているという意味で、半自動であることができる。

当業者は、本明細書の説明から、どの構成要素が任意選択の改良であるのか、どの構成要素を他の構成要素と組み合わせて実現することができるのか、方法の（任意選択の）ステップが、装置の対応するそれぞれの手段にどのように対応するのか、及び装置の（任意選択の）手段が、方法の対応するそれぞれのステップにどのように対応するのかを理解することができるはずである。いくつかの構成要素が、本発明の中にある関係で（例えばある構成では単一の図に）開示されていることは、特許取得のために本明細書に開示された発想と同じ発明の発想下の実施形態として、他の構成が可能でないことを意味しない。また、実用的理由から、例の限られた範囲だけが記載されていることは、特許請求項の範囲に他の変形体が含まれないことを意味しない。実際、本発明の構成要素は、任意の使用チェーンに沿った様々な変形体で実施することができ、例えば、符号化器のような生成側の全ての変形体は、分解されたシステムの消費側の対応する装置、例えば復号器と同様でもよく、又はそのような装置に対応してもよい。この逆も成り立つ。実施形態のいくつかの構成要素は、符号化器と復号器の間の送信技術における、送信するための信号又は調整などでさらに使用するための信号の特定の信号データとして符号化することができる。本出願における語「装置」は、その最も広い意味、すなわち特定の目的の実現を可能にする一群の手段の意味で使用され、したがって、例えば、ＩＣ（の小部分）、又は（ディスプレイを有する機器などの）専用機器、又はネットワーク化されたシステムの部分などであり得る。「配置」又は「システム」も、最も広い意味で使用されることが意図されており、そのため、これらの語は、とりわけ、単一の物理的な購買可能な装置、装置の部分、協働する装置（の部分）の集合体などを含む。

コンピュータプログラム製品という呼称は、汎用又は特別な処理装置が、（中間言語及び最終的な処理装置言語への翻訳などの中間変換ステップを含む）一連のローディングステップの後に、本発明の任意の特徴的機能を実行するためにコマンドを処理装置に入力することを可能にする、コマンドの集合体の物理的な実現を包含すると理解すべきである。特に、コンピュータプログラム製品は、例えばディスク若しくはテープなどのキャリア上のデータ、メモリに存在するデータ、有線若しくは無線ネットワーク接続を介して移動しているデータ、又は紙上のプログラムコードなどとして実現することができる。プログラムコードの他に、そのプログラムに必要な特性データも、コンピュータプログラム製品として実施することができる。このようなデータは任意の方式で（部分的に）供給することができる。

本発明、又は本発明の実施形態の原理に従って使用可能なビデオデータのような任意のデータを、データキャリア上の信号として実施することもできる。このデータキャリアは、光ディスク、フラッシュメモリ、取外し可能なハードディスク、無線手段によって書き込み可能なポータブルデバイスなどのような取外し可能なメモリとすることができる。

提示された方法の操作のために必要なステップのうちの一部のステップは、コンピュータプログラム製品又は任意のユニット中に記載される代わりに処理装置の機能又は本発明の任意の装置実施形態中に、（本発明の実施形態の詳細とともに）本明細書に記載された装置又は方法中に、データ入力及び出力ステップとして、標準ディスプレイ駆動などのよく知られている通常は組み込まれた処理ステップとして、既に存在することができる。本発明の発明者はさらに、その結果得られる製品、及び例えば方法の任意のステップ又は装置の任意のサブパーツに関連する特定の新規の信号のような同様のもの、並びにこのような信号の新たな使用、又は関連する方法に対する保護を望む。

上記の実施形態は本発明を例示するものであり、本発明を限定するものではないことに留意すべきである。当業者が、提示された例から特許請求項の他の領域へのマッピングを容易に実現することができる場合には、簡潔にするため、それらの全てのオプションを詳細に述べることはしなかった。特許請求項で組み合わされた本発明の要素の組合せの他に、それらの要素の他の組合せも可能である。要素の組合せは、単一の専用要素として実現することもできる。

特許請求項中の括弧に入れられた参照符号が、その特許請求項を限定することは意図されておらず、図中の特定の記号についても同様である。語「備える」は、特許請求項に記載されていない要素又は態様の存在を排除しない。要素の前に置かれた語「ａ」又は「ａｎ」は、そのような要素が複数存在することを排除しない。

Claims (15)

1. 第１の輝度ダイナミックレンジを有する入力画像のピクセルの入力色を、第２の輝度ダイナミックレンジを有する出力画像のピクセルの出力色に変換する画像色処理装置であって、前記第１の輝度ダイナミックレンジと前記第２の輝度ダイナミックレンジとが大きさにおいて少なくとも２倍異なり、
   前記画像色処理装置は、前記入力色を前記出力色に変換する色変換器であって、前記入力画像中における前記ピクセルの空間的位置に応じて色を局所的に処理する能力を有する色変換器を備え、
   前記画像色処理装置は、原画像と前記入力画像との間で幾何学的変換が実施されたことを示す受信データを解析する幾何学的状況メタデータ読取りユニットを備え、幾何学的位置データの受信器が前記原画像の少なくとも１つの領域を決定することを可能にするため、前記原画像上で前記幾何学的位置データが決定されている、
   画像色処理装置。
2. 前記受信データが、前記原画像の画像ピクセルを含む領域のサイズのスケーリングを含む幾何学的変換が実施されたことをコード化したインジケータを含む、請求項１に記載の画像色処理装置。
3. 前記受信データが、前記入力画像のどの幾何学的位置でピクセルを局所的に処理するのかをコード化した前記幾何学的位置データの少なくとも１つのパラメータの新しく再計算された値を含む、請求項１に記載の画像色処理装置。
4. 前記幾何学的位置データの少なくとも１つのパラメータがその少なくとも１つのパラメータの元の値から再計算されたことを示す第２のインジケータをさらに含む、請求項３に記載の画像色処理装置。
5. 前記受信データが、実施された前記幾何学的変換を指定する変換データを含む、請求項１に記載の画像色処理装置。
6. 入力色を有するピクセルを含む少なくとも１つの画像を送信し、前記入力色を色変換するための関数又はアルゴリズムを指定する変換データを送信する画像送信装置であって、前記変換データが、局所的色変換を実行するためのデータを含み、前記データが、前記少なくとも１つの画像のどのピクセル位置を前記局所的色変換で処理するのかを受信器が計算することを可能にする幾何学的位置データを含み、前記画像送信装置は、原画像上で前記幾何学的位置データが決定された当該原画像と入力画像との間で幾何学的変換が実施されたことを示すデータを符号化するための幾何学的状況指定手段を備える、画像送信装置。
7. 前記幾何学的状況指定手段は、幾何学的変換が実施されたことをもコード化したインジケータを前記幾何学的変換が実施されたことを示すデータ中に符号化する、請求項６に記載の画像送信装置。
8. 前記幾何学的状況指定手段は、前記幾何学的位置データの少なくとも１つのパラメータを、前記幾何学的状況指定手段がそのパラメータに対して受け取った値と比較して変化させる、請求項６に記載の画像送信装置。
9. 前記幾何学的状況指定手段は、実施された前記幾何学的変換を指定するデータを前記幾何学的変換が実施されたことを示すデータ中に符号化する、請求項６に記載の画像送信装置。
10. 幾何学的位置データの受信器が原画像の少なくとも１つの領域を決定可能にするために、前記原画像上で前記幾何学的位置データが決定された前記原画像と、入力画像との間で幾何学的変換が実施されたことを示す受信データを解析するステップと、
    第１の輝度ダイナミックレンジを有する入力画像のピクセルの入力色を、第２の輝度ダイナミックレンジを有する出力画像のピクセルの出力色に変換するステップとを含み、第１の輝度ダイナミックレンジと第２の輝度ダイナミックレンジとが大きさにおいて少なくとも２倍異なり、適用される色変換が、前記受信データの値に依存する、
    画像色処理の方法。
11. 幾何学的変換が実施されたことを前記受信データ中のインジケータが示している場合、全体的な色変換だけを実行する、請求項１０に記載の画像色処理の方法。
12. 幾何学的変換が実施されたと前記解析するステップにより結論した場合、前記幾何学的位置データの再決定を実行する、請求項１０に記載の画像色処理の方法。
13. 入力画像を得るステップと、
    前記入力画像を色変換するための変換データを得るステップと、
    前記変換データを決定するときに使用された原画像と比較して、前記入力画像が幾何学的に変形されているかどうかを判定するステップと、
    前記入力画像と、前記変換データと、幾何学的変換が前記原画像と前記入力画像との間で実施されたことを示すデータとを送信するステップと
    を含む、画像送信の方法。
14. 入力画像のピクセルのピクセル色データと、別の表示ダイナミックレングの画像を得るために、前記入力画像上の色変換を指定する変換データと、前記変換データを決定するために使用した原画像と前記入力画像との間で幾何学的変換が実施されたことを示すデータとを含む、画像信号。
15. 請求項１０乃至１２の何れか一項に記載の方法のステップ又は請求項１３に記載の方法のステップをコード化したコードによって実行されたとき、処理装置が前記方法を実行することを可能にする前記コードを含む、コンピュータプログラム。

Images