最近、非常に異なるいくつかのディスプレイ、特に、非常に異なるピーク輝度を有するテレビジョン信号受信ディスプレイ(テレビジョン)が市場に出ている。過去において、旧来の(legacy)いわゆる低ダイナミックレンジ(low dynamic range:LDR)ディスプレイのピーク輝度(peak brightness:PB)の違いはせいぜい2倍程度であったが、よりいっそう高いピーク輝度を求める最近の趨勢により、1000nit以上のいわゆる高ダイナミックレンジ(high dynamic range:HDR)テレビジョン及びPB5000nitのディスプレイが出現し、じきに、このようなより高いPBの様々なディスプレイが市場に出ることが当然視されている。映画館においても、最近は、観客が知覚する最終的な輝度ダイナミックレンジを増大させる方式が注目されている。旧来の100nitのLDR規格のTVと比較して、例えば2000nitのディスプレイは、20倍以上の輝度を有し、これは、4を超える使用可能な追加のストップに相当する。一方、新世代のHDR画像又は捕捉システムを使用した場合、そのシステムは、HDRシーン(scene)又は効果のずっと良好なレンダリングを可能にする。例えば、(旧来のLDRグレーディングで生じるであろう)建造物又は車両の外側の晴れた世界を(ソフト)クリッピングする代わりに、HDR TV色域の輝度軸上の追加の使用可能な輝度を使用して、明るくてカラフルな外側エリアを表示することができる。このことは、本発明の発明者がカラーグレーダと呼ぶコンテンツクリエータが、非常に美しい専用HDR画像又はビデオコンテンツを作る余地を有することを意味する。しかしながら、他方で、このことが問題を生み出す。LDR画像コード化は、白から始めて相対的に設計され、18%反射の中間グレイまでよく照明される。このことは、通常は比較的に低い例えば100nitのPBの5%よりも低いディスプレイレンダリングされた輝度が、通常は暗いグレイを識別することが難しい輝度に見え、又は、周囲の照明によって識別できない黒に見えることを意味する。5000nitのディスプレイ上では、この最適にグレーディングされたHDR画像は問題にならない。5000nitの5%は依然として250nitであり、そのため、これは例えば通常の室内のように見える。最も高い95%は、例えばランプ又はこのようなランプの近くの領域、すなわち明るく照らされた領域のように、純粋にHDR効果のために使用することができる。しかし、LDR上では、このHDRグレーディングのレンダリングが(このようなディスプレイ向けに生成されていないときに)全体として間違った方へ向かい、例えば黒に近い領域上の最も明るい領域に対応するホットスポットだけが見えることがある。一般に、十分に異なる(PBが少なくとも2倍異なる)ディスプレイ用の最適な画像を生成するためには、再グレーディングが必要である。これは、反対に、低ダイナミックレンジディスプレイ用の画像を、高ダイナミックレンジディスプレイ上でレンダリングするのに適したものにするために再グレーディングしたとき、すなわち画像をダウングレーディング(downgrading)したときに起こり(例えばPB5000nitの実際のディスプレイ上でレンダリングするために色処理した1000nitの基準ディスプレイコンテンツ)、そのため、それは、ビデオ画像としてコード化されたグレーディングに関連した基準ディスプレイよりもPBが低い実際のディスプレイ上に表示するのに適当であろう。簡潔にするため、1つ又は複数のHDR画像をLDRにダウングレーディングするシナリオだけを説明する。
HDR技術(少なくともいくつかのHDR画像をハンドリングすることができる技術を意味するが、LDR画像又は中間ダイナミックレンジ画像などでも機能する)は、消費者用途と職業用途の両方の用途の様々なエリア(例えばカメラ、blu−rayプレーヤのようなデータハンドリング装置、テレビジョン、コンピュータソフトウェア、投影システム、セキュリティ又はビデオ会議システムなど)に浸透するため、様々な態様を異なる手法でハンドリングすることができる技術が求められている。
本発明の発明者は、WO2013/144809において、以下に説明する発明が改良する適当な先行技術を形成する入力画像(Im−in)に関連した基準表示ダイナミックレンジとは別の表示ダイナミックレンジ(通常、このPBは、異なる表示ダイナミックレンジ、したがって最適にグレーディングされた画像を特徴づけるのに十分である)に適した画像(Im_res)を生成するための色処理を実行する技法を全般的に説明した。図1で、その原理を、同じ原理の現行の実際の実施形態により近いやり方で簡潔に再び説明する。色変換器100によって、入力画像Im_inの様々なピクセルを、それらのピクセルの線形RGB値に乗算器104により増倍率(a)を乗じることによって連続的に色処理して、出力画像Im_res中のピクセルの出力色RsGsBsを得る。この増倍率は、通常は人間カラーグレーダが生成するある階調マッピング指定から確立されるが、画像の特性(例えばヒストグラム、又は顔のような特別な物体の色特性など)を解析する自動変換アルゴリズムから得ることもできる。大まかに言って、このマッピング関数は例えばガンマ関数に似ており、そのため、明るいエリアのコントラスト低減と引き換えに、より暗い色がブーストされる(LDRディスプレイ上でのレンダリングのためにそれらをより明るくかつより高コントラストにする必要がある)。明るいエリアは、LDRディスプレイ上でパステル化される(pastellized)。グレーダはさらに、顔のようなある特別な物体を識別することができ、その輝度に対して、コントラストが高まる部分を曲線上に生成している。ここで特別なのは、この曲線が、(最大値評価ユニット101によって決定された)それぞれのピクセルのR、G及びB色成分のMと呼ばれる最大値に、曲線適用ユニット(curve application unit)102によって適用されることである(曲線適用ユニット102は、例えば安価にLUTとすることができ、このLUTは、例えば画像を撮影するごとに、通常、マッピングの関数形状、例えばガンマ因子に符号化するパラメータを受け取った後に、色処理を実行する受信側で計算することができる)。次いで、増倍率計算ユニット103が、現在処理されているそれぞれのピクセルに適した増倍率(a)を計算する。その画像が、第1のターゲットディスプレイ上、例えば100nitのLDRディスプレイでレンダリングされる場合、これは例えば、Mに適用された階調マッピング関数F、すなわちF(M)をMで割った出力である。例えば中間ディスプレイ、例えばPB800nit(又はHDR入力画像Im_inの基準ディスプレイPBよりも高い別の値)のディスプレイ用の画像が必要な場合、入力色の乗法的マッピングの量を、画像に適した表示ダイナミックレンジに対して適切な値に再スケーリングするF(M)/Mに別の関数Gを適用することができる(その画像がディスプレイ上で直接にレンダリングされるのか、又は伝達されるのか、又は後の使用のためにあるメモリに記憶されるのかは問わない)。
これまでに説明した部分は全体的な色処理を構成する。全体的な色処理は、連続する一組のピクセルの色の特定の値だけに基づいて処理を実行することができることを意味する。そのため、例えば画像の円形の副選択域内の一組のピクセルだけからピクセルを得る場合には、上で説明した原理に従って色処理を実行することができる。しかしながら、人間の視覚は非常に相対的であり、それにより、物体の色及び輝度は、画像中の他の物体の測色特性に対して(及び様々な技術的限界を考慮して)判断されるため、局所処理を実行することが望まれる。画像によっては、ランプ又は顔のような1つ又は複数の物体を分離し、その物体上で専用の処理を実行したいことがある。しかしながら、本発明の発明者の技術では、これが、マスタグレーディングのピクセルの画像から導き出すことができる少なくとも1つの追加のグレーディングの符号化の部分を構成する(ここではHDRからLDRを導出する)。すなわち、必要ならばLDR画像を復号することによって構築するのに色処理が必要となる。符号化技術において局所処理原理を使用することには、とりわけ、フィールド内の全ての復号IC又はソフトウェアがこれを実施する必要があるため、符号化を理解し、復号器LDR画像を生成することができるようにするためには、単純な一組の基本的な数学的処理法が必要であるという技術的含意がある。本発明の出願人がWO2013/144809で紹介した、計算の数においてはそれほど不経済ではないが十分に汎用的であるこの単純な原理は、グレーダが指定した2重試験を、領域評価ユニット108によって実行する。このユニットは、幾何学的条件と測色条件の両方を評価する。幾何学的には、カレントのピクセルの座標(x,y)に基づいて、このユニットが、例えばそのピクセルが長方形(x_s,y_s)〜(x_e,y_e)に含まれるかどうかをチェックする。測色上は、例えば、輝度又はmax(R,G,B)がしきい値よりも大きいのか(この場合、そのピクセルは、特別に処理されるこの領域に属すると評価される)、若しくは小さいのか(この場合にはそのようには評価されない)を、このユニットがチェックすることができ、又は、処理するピクセルの色特性を評価するより進んだ評価が実行される。色変換器100は次いで、例えば、そのピクセルがその特別な領域内にないのかどうか、及びそのピクセルを全体的に処理するか若しくは局所的に処理するのかに応じて例えば別の階調マッピングLUTをロードし、又は平行な2本の処理枝を使用する。
出力画像が入力画像と幾何学的に完全に重なっている場合、この局所色処理はうまく機能する(すなわち、入力画像ピクセルに基づいて出力画像ピクセルをどのように分類すればよいのかが分かっているため、出力画像のそれぞれのピクセルについて結果は正しくなる)。又は、HDRピクセル色を処理することによってLDR画像を復号する必要があるときとは別に(例えばグレーダによってかなり以前に、別の物理的位置で、及び別の装置すなわち符号化装置上で)ピクセル評価アルゴリズムが生成される別のシナリオでより詳細に説明するように、ピクセルをいくつかの色処理クラスに分類するための選択領域の幾何学的形態が、それらが(例えばグレーダによって)定義された画像と局所色処理のためにそれらが使用される画像の両方で同じ絶対ピクセル位置にある場合、局所処理はうまく機能するであろう。しかしながら、追加の技術的解決策を必要としている実際的な課題は、実際に、画像を再グレーディングする前に画像の少なくともある部分をシフトさせることである。例えば、原画像(original image)上、例えば4K原画像上に長方形を画定し、コンテンツ生成と例えばディスプレイが使用する最終的な画像との間の画像ハンドリングチェーン(image handling chain)中の中間の装置が、例えばこの画像を例えば1/4のサイズにスケーリングし、その画像の小さなピクチャ−イン−ピクチャ(picture−in−picture:PIP)画像を作成し、その画像を例えば2K画像の右上隅にオフセットさせ、同時に、その2K画像の残りの部分をコンピュータグラフィックスコンテンツ、例えば、べたの青色で埋める。
次に、半径20ピクセルの円内に画定された4K画像の中心に太陽があると仮定する。この太陽は、HDR画像中の周囲のピクセル画像よりも10倍明るく、たとえ残りのピクセル上に全体的な処理があったとしても、HDR−2−LDR変換で、(R,G,B)=(255,255,255)にセットされなければならない(又は、反対に、非太陽以外の全てのピクセルについて、LDR画像色を、たとえそれらが、受信された1次画像としてのLDR画像中で白色を有していたとしても、例えば50%PBの最大値までブーストすることができるが、太陽は、LDR画像からの復号されたHDRグレーディングの最大のコード又は対応する輝度にマップされなければならない)。受信側装置は、円形の選択領域を再構成するためのデータを得、ダイナミックレンジ変換するある画像データを得る。受信装置、例えばテレビジョンが4K原画像を得る場合、その画像は、局所処理を用いて希望どおりに太陽を完全にブーストすることができ、このアルゴリズムにおいてグレーダによって符号化することができる。
追加の幾何学的変換の後に、この画像がPIP画像を得る場合には、たとえ4K画像であっても、この円は、誤ったピクセルを選択し、例えば、青い背景グラフィックスがあるはずのところに白い円を描く。すなわち、この符号化技術が、復号された誤った画像を生成する可能性があり、補正技術が必要となる。
上記の課題は、第1の輝度ダイナミックレンジを有する入力画像(Im_in)のピクセルの入力色(R,G,B)を、第2の輝度ダイナミックレンジを有する出力画像(Im_res)のピクセルの出力色(Rs,Gs,Bs)に変換するように構成された画像色処理装置(205)であって、第1のダイナミックレンジと第2のダイナミックレンジとが大きさにおいて少なくとも2倍異なり、画像色処理装置(205)は、
− 入力色を出力色に変換するように構成された色変換器(100)であり、入力画像(Im_in)中におけるピクセルの空間的位置(x,y)に応じて色を局所的に処理する能力を有する色変換器(100)
を備え、
− 幾何学的位置データの受信器が原画像の少なくとも1つの領域を決定することを可能にするため原画像(Im_orig)上で幾何学的位置データ(S)が決定された当該原画像(Im_orig)と、入力画像との間で、幾何学的変換が実施されたことを示す受信データ(220)を解析するように構成された幾何学的状況メタデータ読取りユニット(203)を備える、
画像色処理装置(205)によって解決される。
HDR原画像(適切なHDRルックのためにグレーディングされたマスタ)のダイナミックレンジは、例えば5000nit又は1000nitのピーク輝度(PB)に対応し(低い方の終点はゼロに近く、本発明の目的上、ゼロに等しいとみなすことができ)、LDR画像は通常、PB=100nit(又は職業的シネマビデオに対しては50nit)でグレーディングされる。本発明の発明者は、実際に生じているHDR画像又は特にビデオ通信(コード化/復号)及び/若しくはハンドリングの全ての問題をハンドリングすることができる枠組みを開発する必要があった。この分野では、これらが、より単純なシステム及びより複雑なシステムからなり、それらは全て良好な同様の解決策を必要とする。あるピーク輝度を有するディスプレイに適用された場合、ダイナミックレンジ変換は例えば、グレーディングされたマスタコンテンツの5000nitのPBと、そのディスプレイの1500nit又は別のディスプレイの場合の1200nitのPBとの間であることに留意されたい。あるピクセルが、特別に扱われる局所領域に属するかどうかをどのようにすれば判定することができるのか(例えば、ある色が色空間の特定のボリューム内にあるのか又はボリューム外にあるのかを判定するための長方形及び測色基準をどのように指定することができるのか)を、位置データSによって伝達する様々な手法があることを、当業者は理解している。
図2では、それ自体のピーク輝度を知っており、したがって必要な再グレーディング色処理を実行する、テレビジョンに含まれる特定の可能な1つの画像処理装置によってこの状況を説明した。その特定の例では、必要な入力画像(Im_in)及び他のデータを本発明に従って送達する画像送信装置がblu−rayプレーヤであり、そのblu−rayプレーヤは、導入されたblu−rayディスク上に記憶された、画像及び少なくとも1つの再グレーディングされた画像を得るためにその画像を色処理するための関数(F)を得る。将来の市場には様々なタイプのBDプレーヤが存在する可能性がある。一部のBDプレーヤは、画像を処理することができ、再グレーディングされた画像を希望に応じて既にテレビジョンに供給することができるであろう。一部のBDプレーヤは、それらの関数をみて、追加の関数をコード化することができるであろう。おそらく、大部分のBDプレーヤは、わずかな処理だけを実行し、BD上の大部分の情報をそのまま供給し、テレビジョンに処理を任すであろう。一部のBDプレーヤは、そのデータに対して全く処理を実行しないが、少なくともインジケータ221を埋めて、例えば受け取ったディスク上の原画像(Im_orig)のピクセルをスケーリングするなどの少なくともある幾何学的処理をBDプレーヤが実行したことを指定することができる。テレビジョンに入力される画像(Im_in)は別の画像であり、この画像では、実際の映画ピクセル又は番組ピクセルがその一部分だけを占め、例えば黒又はあるテキストなどに設定された残りのピクセルは、例えばBDプレーヤによって生成される。最も単純なケースでは、このインジケータが単一のビットBSVidであり、このビットが1にセットされている場合、それは、幾何学的処理があったことを意味し、受信装置は慎重であるべきであり、0にセットされている場合には、入力画像が、幾何学的特性において原画像と同じであり、局所処理する特別な領域をどのようにすれば決定することができるのかを指定する(太陽の例では、円の内部の白色ピクセルが、その円の中心位置及び半径を指定するデータによって指定される)元の幾何学的位置データ(S)は、(リアルタイムビデオ通信リンクによって又はメモリに)送信される出力信号(S_out)中にコピーすることができ、その後、受信器が、局所色変換に安全に使用することができる。一部のBDプレーヤは、幾何学的位置データ(S)を少ししか見ず、Im_inを得るために画像送信装置201によって適用された幾何学的変換の後に生じた新たな幾何学的状況に対して正しくなるように、幾何学的位置データ(S)を再決定する。BD再生システムだけを描写したが、第1の画像ハンドリング装置がある幾何学的変換を画像に適用し、そのデータを最終的に受信する第2の装置でその画像を調整する必要があり、場合によっては局所色処理を実行しなければならない同様の多くのシナリオが存在し得ることを当業者は理解するであろう。このシナリオは例えば、画像送信装置がケーブルオペレータ配信ユニットであり、このユニットが、映画にコマーシャルを小さなPIPとして挿入し、このコマーシャルと映画はともに適当にダイナミックレンジ処理される職業的システムで生じることがある。又は、この画像色処理装置を、様々な画像及び/又はビデオを、例えばインターネットベースのグラフィカルユーザインタフェースに同時に示すコンピュータとすることができ、それによって、その画像は、様々なコンテンツ源から受け取られるが、総称(すなわち(0,0)から始まるそれらの元のサイズ及び位置にスケーリングされた)処理命令は、コンピュータソフトウェアがUI内にそれらの画像を全て一緒にどのように配置するのかを知らない。
例えば原画像(Im_orig)の画像ピクセルを含む領域のサイズのスケーリングなどの幾何学的変換が実施されたことをコード化したインジケータ(221)を含むデータ(220)を画像色処理装置(205)が受け取る場合には有利である。画像色処理装置(205)は次いで、このインジケータの値をチェックすることができ、次いで、例えば、新たな幾何学的状況が何であるのかを画像色処理装置(205)が単独で決定する必要があるのかどうかを迅速に判断し(例えば、画像色処理装置(205)は、グラフィックス検出器及びビデオ検出器を有することができ、それらの検出器を用いて、どの副長方形がビデオを含むのかを推定し、その推定からそのデータを再決定して、局所的に処理する特別な領域を、例えば長方形の新たな左上隅ピクセル位置及びその新たなサイズを再計算することにより幾何学的に決定することができる。この長方形は、必要な第1のチェック基準である。これは、その長方形の境界内のピクセルだけを局所的に処理すべきであり、その長方形の外側は決して局所的に処理すべきでないためである。すなわち、それらの外部ピクセルは、それらのピクセルの色が何であれ、全体的な処理関数によって色変換すべきである)、又はその状況があまりに危険であるかどうかを迅速に判断することができ、全体的な処理だけが適用される。普通、全体的な処理は既に合理的なルックを与え、局所処理は、画像ルックのインパクト及び品質を増大させるだけだが、例えばそのビデオをフォローすることができるように小さなPIPだけが示される場合には、全体的な処理によって実現されるより暗い部分の十分な可視性が十分であることがあり、完璧な品質が望まれないことがある。すなわち、その場合には局所処理をオフにすることができる。
その代わりに又はそれに加えて、画像色処理装置(205)は、入力画像(Im_in)のどの幾何学的位置でピクセルを局所的に処理するのかをコード化した幾何学的位置データ(S)の少なくとも1つのパラメータの新たに再計算された値を含むデータ(220)を受け取る。画像色処理装置(205)は、幾何学的位置データ(S)の少なくとも1つのパラメータがその少なくとも1つのパラメータの元の値から再計算されたことを示す第2のインジケータ(222)を受け取ることができる。例えば、この幾何学的変換が、例えばテキストメニュー又は受け取ったテキスト情報のための余地を作るために、原画像を、入力画像のサイズの半分だけ右へ(すなわちスケーリングなしで)シフトさせるものであった場合には、それぞれの局所処理窓の位置、例えば長方形の左上隅の座標だけを更新すればよい。画像色処理装置(205)は、その幾何学的状況メタデータ読取りユニット(203)を使用して、幾何学的変換状況を、そのデータを読むことによって、及び例えばビットBRec=1を読むことによって評価することができる。画像色処理装置(205)は、局所的に処理するピクセルの幾何学的位置を計算するための全ての関連データが、送信装置によって既に正しく再決定されており、したがって、色処理を実行する目的にこのデータを安全に使用することができることを知る。いくつかのシナリオにおいては、幾何学的に変換された特別な領域があるべき場所にあることを受信側装置が知っているかどうかを、受信側装置が自発的に判定することは比較的に単純であろう。言うまでもなく、このような変換問題が伝達されたことを全く、すなわち少しも知らない場合には、受信器が正しく判断するとは限らない危険性がある(例えば、ニュース番組では、ニュースキャスターの後ろに小さな画面があることがあるが、その画面は、主窓の全体的な色変換によって変換されることになる)。別のシナリオとして、複雑なグラフィックスの合成があること、例えば、それ自体のフレーム内にバンディング(banding)を有するPIPがあること、又は花アイコン境界か何かがあることがあり、その場合には、局所処理位置が正確にどこにあるべきかを受信器が決定することがより難しくなることがある。装置201は、単一のビットを送信するのか、又は幾何学的状況の正確なコード化を送信するのかを判断するときに、このことを考慮することができる。
或いは、画像色処理装置(205)が、実施された幾何学的変換を指定するデータを含むデータ(220)の変形体(variant)を受け取る。その変換(すなわち原画像Im_origと入力画像Im_inのピクセル位置間の関係)を受信側が完全に再構成することを可能にする任意のデータ、又は、別の言い方をすれば、画像エリアの選択を可能にする選択エリアの変換又は指定が役立ち、そのため、これを、例えばアフィン変換(affine transformation)を定義するパラメータとすることができる。このシフト例に関して、このデータは例えば、固定された変換コードSHIFT及びピクセルの数であることができ、受信装置は、このデータから、元の幾何学的位置データ(S)が送信されたこと、及び、データ(220)とともに、局所的に処理するピクセルを幾何学的に選択するための更新された選択基準を計算することができることを認識する。通常、原画像Im_origはしばしば、例えばカメラから例えば捕捉された画像、又は例えばディジタル中間体とされた後にある中間サーバ上に記憶された画像とすることができるが、言うまでもなく、全てのピクセル位置が、画像ハンドリングチェーンの全体にわたって正しく再配置可能である限り、例えばある標準化された基準サイズ画像Im_orig(例えば絶対又は相対指定の10000×10000ピクセル)に関して、局所的に処理する領域の全ての参照も与えられることに留意されたい。2つ以上の変換がチェーン内で適用される場合には、様々な変換を追跡するデータが存在してもよい。例えば、グレーディング装置は既に、実際の画像、例えばBDディスク上の映画の4Kのある部分及び2Kの他の部分に関係付ける必要が依然としてある手法で、限局された処理エリアを指定していることがあり、BDプレーヤが依然として実行することができ、画像通信リンク上、例えばテレビジョンへのHDMI(登録商標)ケーブル上で最終的に伝達することができる変換がどれなのかにかかわらず、その幾何学的マッピングのデータもBDディスク上に既に符号化されていることがある。
同じ調整原理に従って、入力色(R,G,B)を有するピクセルを含む少なくとも1つの画像(Im_in)を送信するように構成され、入力色(R,G,B)を色変換するための関数又はアルゴリズムを指定する変換データ(226)を送信するように構成された画像送信装置(201)であって、変換データ(226)が、局所色変換を実行するためのデータを含み、このデータが、その少なくとも1つの画像(Im_in)のどのピクセル位置を局所色変換で処理するのかを受信器が計算することを可能にする幾何学的位置データ(S)を含む、画像送信装置(201)を画像源側に置くことができ、画像送信装置(201)は、幾何学的位置データ(S)が決定される原画像(Im_orig)と入力画像との間で幾何学的変換が実施されたことを示すデータ(220)を符号化するように構成された幾何学的状況指定手段(212)を備える。この装置を、追加の機能を実行することもできるより大きなシステムに含めることができる。例えば、この装置を、旧来のLDR映画をHDR映画に変換するトランスコーダ(transcoder)内に置くことができる(又は、より精確には、データは、様々な表示PBに対応するいくつかの再グレーディングを決定することを可能にするデータであって、そのうちの少なくとも1つがLDRグレーディングであり、少なくとも1つがHDRグレーディングである)。このトランスコーダは例えば、第1の受信器に完全解像度画像を供給する第1の出力と、その画像の幾何学的に処理された変形体を送信する第2の出力とを有することができ、それにもかかわらず、両方の出力上に、正確に同じ変換データ(226)、すなわち局所的に適用する階調マッピング関数F、さらに同じ幾何学的位置データ(S)、すなわち幾何学的に処理されていない原画像から領域を抽出するためのデータを有する。この装置は次いで、1つ又は複数のデータ(220)変形体を使用して、接続された様々な受信器が正しい色変換を最終的に実行することを可能にする正しい情報を調整することができる。図2の単純な説明では、送信される画像信号(S_out)中に、全ての情報が例えばメタデータとして一緒に符号化されると仮定したが、例えばより高品質の又は他のダイナミックレンジ再グレーディングに対する申込みのために、色処理のためのこのメタデータが、異なるサーバ上に存在することができることを、当業者は理解すべきである。特に、このようなシナリオに対しても、どの幾何学的位置にどの局所色処理指定が対応するのかを全ての受信器が最終的に知っていることが重要である。
有利には、画像送信装置(201)は、例えば1ビットによって、幾何学的変換が実施されたことをコード化したインジケータ(221)をデータ(220)中に符号化するように構成された幾何学的状況指定手段(212)を有する。
有利には、画像送信装置(201)は、幾何学的位置データ(S)の少なくとも1つのパラメータを、幾何学的状況指定手段(212)がそのパラメータに対して受け取った値と比較して変化させるように構成された幾何学的状況指定手段(212)を有する。幾何学的状況指定手段(212)は次いで、局所的に扱うピクセルを正しく識別するための新たなデータを既に計算して、受信器がそうする必要がないようにする。
これに対する代替として、画像送信装置(201)は、実施された幾何学的変換を指定するデータをデータ(220)中に符号化するように構成された幾何学的状況指定手段(212)を有する。受信器が、Im_inのピクセルがIm_origのピクセルと比較してどのようにマップされたのかについての完全な情報を得る場合、受信器は、それ自体で、その局所色変換とは異なるある局所色変換をピクセルが受けるべきかどうかの評価の幾何学的条件部を実行するための戦略を決定することができる。送信装置は、そのデータを見るために時間を費やす必要は全くなく、そのデータを受信器に直接に送信するだけでよい(すなわち、例えば、BDデータパケットを読み、それらのパケットを画像通信規格、例えばHDMI(登録商標)、ビデオ放送規格又はインターネットプロトコルなどのパケットに再フォーマットする)。より精確にするため、例えばBDプレーヤは、画像自体の復号を実行することができるが(HDRグレーディングをLDR符号化の枠組みに強制した場合にはその旧来の復号器によって実行することができる)、BDプレーヤは、ダイナミックレンジ変換についてデータを気にする必要はなく、それらの詳細をハンドリングするためにハードウェア又はソフトウェアを有する必要もない。
有利には、画像色処理の方法は、
− 幾何学的位置データの受信器が原画像の少なくとも1つの領域を決定可能にするために幾何学的位置データ(S)が決定される原画像(Im_orig)と入力画像との間で、幾何学的変換が実施されたことを示す受信データ(220)を解析するステップと、
− 第1の輝度ダイナミックレンジを有する入力画像(Im_in)のピクセルの入力色(R,G,B)を、第2の輝度ダイナミックレンジを有する出力画像(Im_res)のピクセルの出力色(Rs,Gs,Bs)に変換するステップと
を含み、第1のダイナミックレンジと第2のダイナミックレンジとが大きさにおいて少なくとも2倍異なり、適用される色変換が、受信データ(220)の値に依存する。
有利には、画像色処理の方法は、幾何学的変換が実施されたことを受信データ中のインジケータ(221)が示している場合に、全体的な色変換だけを実行する。
有利には、画像色処理の方法が、幾何学的変換が実施されたと解析するステップにより結論した場合に、幾何学的位置データ(S)の再決定を実行する。
有利には、画像送信の方法が、
− 画像(Im_in)を得るステップと、
− 画像(Im_in)を色変換するための変換データ(226)を得るステップと、
− 変換データを決定するときに使用された原画像(Im_orig)と比較して、画像(Im_in)が幾何学的に変形されているかどうかを判定するステップと、
− 画像(Im_in)と、変換データ(226)と、幾何学的変換が原画像(Im_orig)と入力画像との間で実施されたことを示すデータ(220)とを送信するステップと
を含む。
送信装置及び受信装置を調整するため、画像(Im_in)のピクセルのピクセル色データ(RGB)と、画像(Im_in)を色変換するための変換データ(226)と、変換データ(226)を決定するために使用した原画像(Im_orig)と入力画像(Im_in)との間で幾何学的変換が実施されたことを示すデータ(220)とを含む画像信号を使用することができる。本発明を、特に有用な線形RGB型ダイナミックレンジ処理を用いて説明したが、言うまでもなく、例えば局所ブースト画像を用いてブーストするとき、Yuv又はYCrCb表現で色処理を実行するときなど、他のダイナミックレンジ変換においても、幾何学的画像変換に対する局所専用色処理の課題及び解決策があることに留意されたい。
さらに、コンピュータプログラム製品は、上記の任意の方法のそれぞれのステップをコード化したコードであり、それによって、実行されたときに、その対応するそれぞれの方法を処理装置が実行することを可能にするコードを含むことによって、本発明の様々な実施形態を実施することができる。
本発明に基づく方法及び装置の変形体のこれらの態様及びその他の態様は、以下に記載される実施態様及び実施形態並びに添付図面を参照することによって明白になり、説明される。添付図面は、単により一般的な概念を例示する非限定的な特定の例の役目を果たし、添付図面中の破線は、構成要素が任意選択であることを示すために使用される。破線で描かれていない構成要素が必須であるとは限らない。破線は、必須であると説明された要素が物体の内部に隠されていることを示すために、又は例えば物体/領域の選択、チャート内の値レベルの指示などの無形物に対して使用されることもある。
図2は、どのようにすれば本発明を実施することができるのかを容易に理解することができる実際的な例を示す。これと同じ構成要素構成を別のHDRビデオハンドリングシステム内で使用することもできること、そのため、この例が、本発明の基本的なフレームワーク原理を限定するものではないことを、本明細書を読んだ当業者は理解するであろう。グレーダ251が、画像生成装置250上でのHDRグレーディングであるマスタグレーディングを実施したとする。この画像は、([0,1]内の値を有するR、G、Bを有する)正規化された画像として見ることができる。すなわち、この画像の最適なレンダリングとはまだ無関係である。言い換えると、色値の統計量が、どのピーク輝度を有するどのディスプレイ上でこの画像が最もよく表示されるのかを決定する(通常は、コード化された画像信号S_srcには、関連する基準ディスプレイのピーク輝度も含まれると考えられ、これは、この画像が、例えば2000nitディスプレイ上で表示するために正しくグレーディングされていることを示す)。この正規化のため、この画像は、旧来のビデオ符号化、例えば10ビット/チャネルを有するHEVCで記憶することができる。しかしながら、そのようなHDRのみの画像符号化は、HDRディスプレイ上でのみ正しくレンダリングするので、グレーダは、コード化されたHDR画像(Im_orig)から100nitの旧来のLDRグレーディングを少なくとも計算することができるある色変換関数データ(F)を含む必要がある。グレーダは、この関数を指定しておき、より重要には、どのピクセル位置に対して少なくとも1つの局所色変換を実行すべきなのかを、グレーダが作業していた原画像(Im_orig)のジオメトリに基づいて指定するデータSを指定しておく。多くの画像通信技術が可能だが、この例では、このデータ(HDR画像+少なくともLDRグレーディングに再グレーディングするための関数)が、HDR能力を有する、消費者が購入することができるblu−rayディスク上に記憶されていると仮定する。画像送信装置(201)の例としてのBDプレーヤは、ディスク上の画像データを少なくとも読み出すことができ、そのデータを、正規の位置、サイズなどで再生することができる。したがって、BDプレーヤは、画像信号S−out中のこの画像データ及び関数Fを、画像色処理装置(205)に送信する。この例では、画像色処理装置(205)が、LEDバックライトを備える、受信装置(202)の例としてのテレビジョンに組み込まれているが、この受信装置を例えば、記憶する前に画像を再グレーディングする計算能力を有するデータ記憶サーバなどとすることもできる。幾何学的に変更されていないビデオをBDプレーヤが渡すだけであるシナリオでは、問題は生じない。テレビジョンは、その物理特性に対して最適な再グレーディングを得るのに必要な色変換を実行し、その画像を、例えばバックライト及びLCDピクセルバルブを駆動するディスプレイドライバ204に送信する。しかしながら、例えば、ユーザが、BDプレーヤのメニューとの対話を開始した場合、メニューは、テキストとコンテンツビデオを再スケーリングした小さなビデオとを含む画像を表示し、その画像を、画像接続(210)、例えばHDMI(登録商標)ケーブル又は無線画像通信チャネルなどを介してテレビジョンに送信することができる。
幾何学的変換状況を伝達するため、BDプレーヤは、受信側が幾何学的変換状況を理解することができるように、幾何学的変換状況を特徴づける1つ又は複数のタイプの追加データ(220)を、信号S−outに追加することができる。例えば、何らかの幾何学的変換が実施されたことを単にコード化した単純なインジケータ(221)を追加してもよい。しかしながら、BDプレーヤが適用した幾何学的変換に従って局所的に処理するピクセルの空間位置を得るのに必要なデータをBDプレーヤが再計算してもよい。このことは、例えば、幾何学的位置データ(S)の少なくとも1つのパラメータがその元の値から再計算されたことを示す第2のインジケータ(222)、及び元の幾何学的位置データ(S)をその時点では含まないが、例えば長方形の左上隅の点としての新たな出発点(xs2,ys2)を含む幾何学的選択パラメータ(223)などとして、データ中に示すことができる。
受信装置が、局所的に処理するピクセルを幾何学的にどのように決定すべきかを再決定する場合、送信装置は、実施された幾何学的変換を指定する変換データ(224)をデータ(220)に追加することができる。この変換データは例えば、倍率(s=例えば1/4)及びピクセルの数としてのオフセット(xws,yws)、又はより複雑な変換をコード化するより複雑な情報などとすることができる。この情報は、元の全てのピクセルを必ずしも含まなくてもよいが、例えばあるパススルー窓内のIm_origのサブセットを選択してもよい。最後に、BDプレーヤは、正しい色変換を実行するのに必要なデータ(F)及び1次画像(Im_in)を送信する。これらのデータ及び画像は、関連するPBを有するディスプレイが接続されている場合に直接に使用することができ、又は他の方法で再グレーディングすることができる。これが、画像グレーディング符号化データ225である。
図3は、典型的なHDR画像を示し、又は、特に、本発明及び本発明の実施形態がこれに関して設計されたビデオハンドリングシナリオを示す。通常、HDRでは、(そのシーン物体のその相対輝度を、第2の物体輝度に対する第1の物体輝度の特定の割合構成で有する1つのルックだけに対応する)1つの画像だけがあるわけでは必ずしもないことも読者は認識すべきである。定義により0〜100nitの1つの輝度範囲だけが存在したため、これは、旧来のLDRビデオ符号化に関する状況であった。しかしながら、次に、全ての可能なHDRシーン及びそれらの画像を、例えば100nit、400nit、1000nit、2000nit、5000nit及び10,000nitのピーク輝度を有する様々な可能な最終的なディスプレイ上で最適にレンダリングしなければならない。PB100nitのディスプレイ上で最適に明るく見えるようにカラーグレーディングされた画像を、10,000nitモニタ又はTVの場合と同様にレンダリングした場合には、その画像が過度に明るく見えることが想像できる。そのため、このことに対する解決策は、通常、より良好なコード化システムが、(例えばPB5000nitの基準輝度範囲上で定義された)一組のHDR画像だけを符号化するのでなく、例えば5000nitグレーディング及び旧来の100nitグレーディングである二組の画像(すなわち、100nitの旧来のLDRディスプレイ上でそれらの画像を直接に、すなわち追加の測色変換を必要とすることなくレンダリングするための正しいルックを有する画像)を符号化することである。さらに、帯域幅を節約するため、通常は、できるだけ小さなデータオーバヘッドを有する第2の画像を、すなわち、実際の画像、すなわちDCT処理されたピクセルブロックとして、例えばHEVC規格に従って送られる第1の一組の画像の関数変換又はアルゴリズム変換として、符号化することを望むことができる。すなわち、例えば、(LDRディスプレイ上での直接レンダリングに使用することができるが、驚いたことに、同時に、HDR高ダイナミックレンジルックが例えば最適に又は合理的に見える画像を有する4000nit表示を供給するための画像も兼ねる)一組のLDR画像を送信し、メタデータを送信する。このメタデータは、受信器が、それらのLDR画像を、コンテンツクリエータが送信側で生成したHDRルック画像の近い再構成であるHDR画像に変換することを可能にする。又は、反対に、このメタデータは、送信された(HEVC符号化された)HDR画像をLDR画像にダウングレーディングする関数を含む。
全体的な変換だけを使用する場合には問題は生じないが、シナリオによっては、色変換の一部を局所的に定義することが有利又は必要であることがあることが明らかになった(すなわち、例えば窓303を通して見える色は(PIP302の)画像の残りの部分の色とある程度は似ているが、それにもかかわらず、それらの色は異なって変換される。これは、それらの色は、例えば非常に明るくするか又は逆に普通以下に暗くする必要があるためである)。この変換は、それによって随意に再生することができる単なる変換ではなく、新たな画像の実際の符号化であることを認識すべきである。理想的には、それらの画像は、それらの画像のコンテンツクリエータがそれらの画像を定義したときに精確に見える必要がある。すなわち、HDRハンドリング装置又はチェーンのどこでもそれらの画像を正しくハンドリングし続けるためには、かなりの特別な技術的注意が必要である。そのため、画像解像度をハンドリングする状況だけでなく、実際には、画像再定義のハンドリング、すなわち色変換関数の正しい調節も提供される。
図3では、PIPの例を参照するが、他の同様のシナリオ(例えばPOP、移動電話のようなセカンドサイドディスプレイ上での表示、画像の一部を粗くして低解像度の投影周囲光パターンを形成するなど)も考えられる。説明のため、限定する意図なしに、このシナリオが、例えばblu−rayディスク読取装置が、例えばいくつかのディレクタコメントを含む第2のビデオストリームのPIPを実行するシナリオであると仮定する。
主エリア301には映画が表示される。この映画は、可能なHDRコーデックのあるバージョンに従って定義することができ、最終的に、ディスプレイ上でレンダリングする出力輝度Luminance_outに変換する必要がある。HDRコード化には多くの異なる態様があり、それらは、本発明の議論を複雑にするため必要ない。例えば、輝度コードを輝度に関係づける様々なコード割当関数又はEOTFに従ってビデオを符号化することができ、これは、ピーク輝度、例えば5000nitと比較して定義することができる。このピーク輝度は、レンダリングディスプレイのピーク輝度、例えば2500nitとは異なってもよい。また、ディスプレイが、それ自体の画像処理などの実行を望むことがある。いずれにせよ、この状況を全体的なマッピングと要約することができる。この全体的なマッピングは、入力輝度Luminance_in(5000nit輝度軸上の輝度、一般に、HEVC画像、特に図4のIm_1内に受け取られたピクセル色に対応する)と最終的な出力輝度との間のカスタム変換曲線311を用いて表される。さらに、正規化された輝度軸上でこの変換を定義することができるが、x軸上の1.0は実際の5000nitに対応し、y軸上の1.0は例えば、接続されたTV又は最終的に供給されるTVのPBである2500nitに対応することを示すことができる。この例では、この曲線が、例えば夜のシーンの黒いオートバイなど、暗い領域(相対輝度副範囲312)をある程度明るくする必要があること、及び、例えば窓を通して見える家の白熱電球で照らされた部屋の中のものがくっきりと見えるように、ある明るい領域(相対輝度副範囲313)のコントラストを増大させたいことを示している。この曲線が、主ビデオに対する測色変換グラフ310を構成する。
次に、それ自体のビデオ/画像を得、それ自体の特定の異なる色変換(グラフ315)を有するPIP302を説明する。このシステムが何も知らない場合、システムは、それらのピクセル色にも全体的な変換311を適用するであろう。ここで、大部分のピクセルに対しては全体的な色/輝度変換を使用し、例えば窓303を通して見える外側ピクセルを明るくする目的には局所変換316を使用するものとする(総称概念を見失うことなく、読者は、この2次ビデオが、より安価なLDRカメラを用いて高速に撮影されたものであって、多くの注意を払って特にHDRグレーディングされたものではなく、基本的に、全てのピクセルをLDRに保ち、明るい外側領域303だけをブーストすることによって粗い擬似HDRに変換される例をとることができる。そのため、実際には、より明るい外側ピクセルだけを局所的に処理する関数輝度変換形状316が関心事であり、この説明において、(変換317を得る)PIPビデオ中の他の場所に同様の輝度を有するピクセルのような他のピクセルに何が起こるのか、又はより暗いピクセル色に対する変換を気にする必要はない。
しかしながら、外側領域303の局所変換が正しく実施されることが重要であり、正しく実施されない場合には、不快で不自然に見える色が現れることがあり、又は、いっそう悪いことは、幾何学的アーチファクトが、最終的な画像中のPIP領域だけではなく、場合によっては主映画中にも現れることがある。
図4は、幾何学的状況情報を生成する可能な装置をもう少し示す。説明を単純にするために、再びBDプレーヤについて記載するが、例えば、様々なカメラからのフィードをミキシングするTVトラックにおけるビデオコンポジタ(video compositor)、ローカルケーブル配信センターにおけるビデオインサータ、2つのストリームを合成するインターネット上のビデオサーバなど、多くの装置内で同様の方式でこのようなシステムを使用することができることを当業者は理解する。
第1の画像(又は画像セット)Im_1は、第1の画像源401から到来し、第2の画像Im_2(例えばPIP処理されていると仮定する。しかし、言うまでもなく、動的に移動している領域などであっても他のいくつかの幾何学的変換が可能である)は、第2の画像源402から到来する。言うまでもなく、本発明の原理の説明を単純にするため、両方の画像がblu−rayディスクから到来すると仮定することもできるが、言うまでもなく、blu−rayアプリケーションであっても、第2の画像は、インターネット接続を介してサーバから到来してもよく、又はライブ制作装置実施形態の場合にはカメラなどから到来してもよい。
幾何学的変換ユニット403は、ビデオ(Im_2)に対する幾何学的変換を、例えばユーザインタフェースソフトウェアの規則に従って実行する。例えば、幾何学的変換ユニット403は、そのビデオをスケーリングし、PIP内に再配置する。次に、依然として、テレビジョンのようなチェーン内の後方の受信装置がダイナミックレンジ処理の一部を実行しなければならないと仮定する。これは、そのダイナミックレンジへの(例えば5000nitPBビデオから2500nit表示ダイナミックレンジへの)変換だけである。装置201、例えばBDプレーヤが、全ての最適化色変換を実行し、(ダム(dumb))ディスプレイのディスプレイドライバに正しい値を直接に供給する場合も、大部分のシナリオで問題は生じないであろう。幾何学的状況指定手段212は、幾何学的に何が実行されたかについての情報を幾何学的変換ユニット403から、得ることができ、次いで、ある種の用途に対して望ましい実施形態に従って、受信側に伝達する必要がある状況パラメータを定義することができる。前述のとおり、いくつかの実施形態は、どの幾何学的変換が実際に実行されたのかを詳細にコード化することを必要としないが、何かが実行されたこと、及び、これがもはや、変換関数F1が対応する純粋なオリジナルの映画ビデオIm_1ではないことを示すビットだけを必要とする(これは、偶然に、本発明の発明者が調査において示したとおり、100nitルックを例えば5000nit画像Im_1から定義すること又はこの逆を定義する他に、それらの2つの値、例えば2500又は1400nitに等しくないピーク輝度のディスプレイ上でのレンダリングのための最適なルックを有する画像を計算することにも使用することができる)。そのため、いくつかのシナリオでは、幾何学的状況指定手段212が、ある出力システム401へ(例えば、装置201が最終的な消費者建物にある場合にはHDMI(登録商標)を介してディスプレイへ直接に、又はネットワーク化されたビデオ送達用のトランスコーダ若しくは装置用のネットワークビデオ記憶メモリへ)行くビデオ信号(又は場合によっては異なる機構によって伝達される多数の相関ビデオ信号部分)中に出力する単一のビットを生成する。これは、復号の誤りが必ずしもあまり深刻にならず、受信側装置が次いでセーフモードに切り替わる(例えば主領域及び/又は2次領域で局所処理を実施しない)ことができるアプリケーションシナリオに対して良好であることがある。それは、原則として、間違った復号、すなわちPIPに対する間違った画像ルック、例えば間違ったHDR画像ルックの再構成につながり、いくつかのエリア、すなわち少なくとも局所的に再構成する必要あったエリアに誤った色を与える。例えば、図3の例において、全体的な輝度変換曲線(すなわちこの曲線のより明るいピクセル上の部分317)を使用すると、晴れた外側の色が暗くなりすぎるであろう。しかしながら、装置201は、状況の重大度がどれほどなのかを判定することができ、例えば、PIPだけの小さな窓は完璧である必要はないと判定することができる。この判定は、精確な幾何学的状況、画像コンテンツの詳細、最終的なレンダリングの特性などの様々な因子に依存する(例えば、1000nitTV上では、窓内のエラーが、5000nitTV上ほどには深刻ではなく、そのエラーが、全体的なマッピングによってその領域が明るくなりすぎる場合、特にPBに近い場合には、3000nitよりも高いTVに関してこれが非常に不適切であることがあり、1000nitよりも低いPBのTV上でのエラーの場合にはそれほど問題にはならない)。コンテンツの影響に関して、局所変換は主として、コントラストをより良好にするため、又はバンディングのようなアーチファクトをより少なくするために実行され、装置201は、必要な幾何学的変換情報をどのように符号化するのかについての判断においてこれを考慮することができることに留意されたい。特に、人間が存在し、装置201、例えばビデオ制作システム内の装置201と対話している場合、その人は、特に最終的な固定された又はレンジディスプレイを心に留めている場合に、例えば局所変換を抜かすことによって復号を誤って実行する影響の重大度がどれほどであるのかをチェックすることができる。自動装置は、言うまでもなくそれらの装置がHDR計算を実行する場合にのみ、ピクセルの量(局所領域のサイズ)、理想的な再構成に対する再構成の色の差、及び追加の画像情報を考慮したエラー尺度を計算することができる(本発明の発明者は、(ほとんど)何も実行せず、全ての測色コード化パラメータを別の装置に渡し、その装置が全ての計算を実行する、安価なシステム向けのより単純な変形体も設計した。すなわち、あるディスプレイ、特により低品質のディスプレイ上ですぐにレンダリングされる場合には、単一ビット解決策が適切であることがあるが、全てのデータが後の使用のために保管される場合には、全ての情報ができるだけ精確に符号化されるより高品質のバージョンが適切である。
この例示的な説明では、装置201が、局所色変換(316)を適用すべきIm_2のピクセルを見つけるための新たな規則S2*を計算するだけであると仮定し、さらに、この実施形態において、ある受信側装置によって色処理されるために、Im_1及びF1が通常、渡される方式と同様に、局所関数形状F2_Lが、例えばビデオ源402からのメタデータとして読まれ、出力に直接に渡されるだけであると仮定する。
本明細書に開示されたアルゴリズム構成要素は、実際には、ハードウェア(例えば特定用途向けICの部分)として、又は特別なディジタル信号処理装置若しくは汎用処理装置などの上で実行させるソフトウェアとして(完全に又は部分的に)実現することができる。それらの構成要素は、少なくとも一部のユーザ入力が(例えば工場若しくは消費者入力又はその他の人間入力で)なされ/なされているという意味で、半自動であることができる。
当業者は、本明細書の説明から、どの構成要素が任意選択の改良であるのか、どの構成要素を他の構成要素と組み合わせて実現することができるのか、方法の(任意選択の)ステップが、装置の対応するそれぞれの手段にどのように対応するのか、及び装置の(任意選択の)手段が、方法の対応するそれぞれのステップにどのように対応するのかを理解することができるはずである。いくつかの構成要素が、本発明の中にある関係で(例えばある構成では単一の図に)開示されていることは、特許取得のために本明細書に開示された発想と同じ発明の発想下の実施形態として、他の構成が可能でないことを意味しない。また、実用的理由から、例の限られた範囲だけが記載されていることは、特許請求項の範囲に他の変形体が含まれないことを意味しない。実際、本発明の構成要素は、任意の使用チェーンに沿った様々な変形体で実施することができ、例えば、符号化器のような生成側の全ての変形体は、分解されたシステムの消費側の対応する装置、例えば復号器と同様でもよく、又はそのような装置に対応してもよい。この逆も成り立つ。実施形態のいくつかの構成要素は、符号化器と復号器の間の送信技術における、送信するための信号又は調整などでさらに使用するための信号の特定の信号データとして符号化することができる。本出願における語「装置」は、その最も広い意味、すなわち特定の目的の実現を可能にする一群の手段の意味で使用され、したがって、例えば、IC(の小部分)、又は(ディスプレイを有する機器などの)専用機器、又はネットワーク化されたシステムの部分などであり得る。「配置」又は「システム」も、最も広い意味で使用されることが意図されており、そのため、これらの語は、とりわけ、単一の物理的な購買可能な装置、装置の部分、協働する装置(の部分)の集合体などを含む。
コンピュータプログラム製品という呼称は、汎用又は特別な処理装置が、(中間言語及び最終的な処理装置言語への翻訳などの中間変換ステップを含む)一連のローディングステップの後に、本発明の任意の特徴的機能を実行するためにコマンドを処理装置に入力することを可能にする、コマンドの集合体の物理的な実現を包含すると理解すべきである。特に、コンピュータプログラム製品は、例えばディスク若しくはテープなどのキャリア上のデータ、メモリに存在するデータ、有線若しくは無線ネットワーク接続を介して移動しているデータ、又は紙上のプログラムコードなどとして実現することができる。プログラムコードの他に、そのプログラムに必要な特性データも、コンピュータプログラム製品として実施することができる。このようなデータは任意の方式で(部分的に)供給することができる。
本発明、又は本発明の実施形態の原理に従って使用可能なビデオデータのような任意のデータを、データキャリア上の信号として実施することもできる。このデータキャリアは、光ディスク、フラッシュメモリ、取外し可能なハードディスク、無線手段によって書き込み可能なポータブルデバイスなどのような取外し可能なメモリとすることができる。
提示された方法の操作のために必要なステップのうちの一部のステップは、コンピュータプログラム製品又は任意のユニット中に記載される代わりに処理装置の機能又は本発明の任意の装置実施形態中に、(本発明の実施形態の詳細とともに)本明細書に記載された装置又は方法中に、データ入力及び出力ステップとして、標準ディスプレイ駆動などのよく知られている通常は組み込まれた処理ステップとして、既に存在することができる。本発明の発明者はさらに、その結果得られる製品、及び例えば方法の任意のステップ又は装置の任意のサブパーツに関連する特定の新規の信号のような同様のもの、並びにこのような信号の新たな使用、又は関連する方法に対する保護を望む。
上記の実施形態は本発明を例示するものであり、本発明を限定するものではないことに留意すべきである。当業者が、提示された例から特許請求項の他の領域へのマッピングを容易に実現することができる場合には、簡潔にするため、それらの全てのオプションを詳細に述べることはしなかった。特許請求項で組み合わされた本発明の要素の組合せの他に、それらの要素の他の組合せも可能である。要素の組合せは、単一の専用要素として実現することもできる。
特許請求項中の括弧に入れられた参照符号が、その特許請求項を限定することは意図されておらず、図中の特定の記号についても同様である。語「備える」は、特許請求項に記載されていない要素又は態様の存在を排除しない。要素の前に置かれた語「a」又は「an」は、そのような要素が複数存在することを排除しない。