JP2013541895A5 - - Google Patents

Description

改善された画像の符号化のための装置及び方法

本発明は、特に、ディスプレイによる符号化された画像のより良好な取扱いを可能にする改善された画像の符号化のための装置及び方法並びにデータ記憶製品のような結果として生じる製品に関する。

近年、ＨＤＲ（high dynamic range）符号化と呼ばれる（取り込まれたシーンかコンピュータグラフィクスかにかかわらず）静止画／動画の符号化に関する新しい進展が生じている。すなわち、自然界に存在する輝度及び色の全範囲をより良好に取り込むことが望ましい。カメラ及びディスプレイの両方がますます大きい固有の（native）レンジになっているので、それらの間において画像情報を送るより優れた規格が必要とされている。その一方で、依然として多数のより低いレンジのデバイス（例えば、旧式のディスプレイ、プリンタ等）が存在し、これらも、幾つかの画像化システムのチェーンの中に存在している。典型的には、低品質のカメラのような低ダイナミックレンジの（ＬＤＲ）デバイスは、８ビットデータ語（画素）で関心のある値（例えば、明るい顔の色）の中間の範囲を、この範囲外の色を犠牲にして符号化する（理解が犠牲にされない場合には、色コーディングトリプレットにおいて輝度がこの議論のために最も重要な要素である場合でさえも色という用語を用いることもあることに注意されたい。）。

人間が画像を見る場合、品質に影響を及ぼす幾つかの因子が存在する。まず第１に、再現され得る最も白い白の輝度がある。第２に、同じく再現することができ、例えば、ノイズ又は他の干渉をほとんど伴うことなくおそらくかなり再現される最も暗い黒がある。白及び黒は、デバイスのダイナミックレンジを決定する。しかしながら、実際の画像の場合、それらは、見え方に影響を及ぼす唯一のパラメータではない。中間のグレーがどこで理想的であるべきかを決定するパラメータも存在する。第１のパラメータは、画像内の種々の物体の明度に関連する基準であるコントラストである。良好な白と黒との間に少なくとも幾つかの異なる可能なグレーの物体が存在する場合、その画像は全体的に良好なコントラストを有していると言われる。しかしながら、例えば１つの物体とその周囲との局所的なコントラストも重要である。鮮明さのような非常に局所的な輝度の変化でさえも知覚されるコントラストに影響を及ぼす。それは、例えば、実際のシーンを見ることによって、視聴者が実際のシーンが（隣接する６ビットの映像と対照的に）真に印象的なコントラストを有していると分かることである。しかしながら、２番目に、黒から白への軸上の物体／領域の場所も、特に自然さ（又は、芸術的な見え方）に対して影響を及ぼす。例えば、（明るい）顔は白と比較して光の反射の或る割合を持つようにされている。白すぎる顔は、妙に輝いているように見えるか、又は、視聴者は、顔が何らかの追加の光により照らされていると考えるので画像を間違って解釈する。３番目に、複雑なテクスチャではなくむしろ、例えば、顔の階調度において割り当てられる色精度が重要である。多くの視聴者は、他の観点よりも（関連する彩度を含めて）明度に関連する質の向上を好むようであり、この適用が輝度に関連する問題にほとんど収束させるであろう。

ディスプレイの目的は、視聴者に良質のレンダリングを表示することである。理想的には、これは、正確な（写真のようにリアルな描写の）表現であるが、これはまだ先のことであり、例えば、画像の認識性、おおよその自然さ（例えば、アーチファクトがないこと）又は視覚効果／影響等のような他の品質の基準が用いられ得る。

現在現れているＨＤＲディスプレイは、二次元調光を可能にする二次元パターンのＬＥＤバックライトを備えたＬＣＤである。このようなディスプレイのダイナミックレンジは、幾つかの要因に影響を及ぼされる。

第１に、ＬＣＤは、背面照明の改善のためにますます明るくなってきている。２、３年前、２００ｎｉｔの白色光が典型的であったが、現在は５００ｎｉｔが典型的であり、来年は１０００ｎｉｔが典型的であると予想され、その後、更には２０００ｎｉｔ以上が予想される。しかしながら、これは、テレビ受像機又はモニタに対してコスト及び電力使用量のような厳しい技術的制約を引き起こす。

第２に、上記黒に関して、ＬＣＤは、（特に、大広角の視野のような或る条件の下で）光の漏れを伴う問題を有しており、これは、ＬＣＤが１００：１の固有のコントラスト（液晶セルの開閉）を有することを意味するが、研究によりＬＣＤはより良くされつつある。これに対する解決策は、ＬＣＤバルブを通り抜ける後ろからの光の量を変化させることである。ＬＣＤセルの後ろの光がゼロ輝度を有する場合、漏れを除き、ゼロ輝度はディスプレイの当該領域から局所的に生じるので、二次元調光ディスプレイは、理論的には、このやり方で非常に高いコントラストを達成することができる。１００００：１又は更には１０００００：１を上回るダイナミックレンジが報告されている。しかしながら、実際には、ディスプレイの黒のレンダリングを制限する主な要因は、ディスプレイのフロントガラスに反射する周囲からの光である。これは、明るい周囲のためにより現実的な１００：１に又は更には２０：１よりも小さくダイナミックレンジを減少させる。しかしながら、暗い視聴環境においても、様々な理由、例えば、より明るい領域からより暗い領域までのフロントガラスにおける相互反射のために光は漏れる。

最後に、勿論、人間の目も重要であり、主にその適応状態であるが、複雑な画像の解析も脳で生じる。人間の目は、一方では部屋の照明及び他方ではディスプレイの明るさ（実際には、示されている画面）の組み合わせに順応する。これらの２つの要素は、例えば、通常のリビングルームでの視聴下で５００ｎｉｔのテレビ受像機の場合、かなり調和するが、他のレンダリングのシナリオにおいては互いに遠く離れていることもある。黒に見える細部が影響を及ぼされるだけではなく、明るい領域の見え方も影響を及ぼされる。例えば、視聴の快適性、すなわち、目の疲れ又は更には画像のレンダリングを好まないような心理的効果は、特定のディスプレイの設定によって影響を及ぼされる。網膜は非常に複雑であるが、以下のように簡単にまとめられる（要約される）。網膜の円錐体は、任意の与えられたシーンに対して（感光性分子の量により）目の感度を最適にしようと常に試みる生化学的プロセスを有している。（満月の光の０．１ｌｘから、曇天空又はあまり明るくない部屋の１００ｌｘ、明るい直射日光の１０００００ｌｘまで変化し得る、すなわち、百万倍よりも大きい差に及ぶ）どのような照明でも、物体の反射は、典型的には１ないし１００％の範囲にわたるので、これはうまく作用し、それは、暗い茂みの中の黒豹は、人間の視覚が最も望ましく局所的に認識する必要があるということである。人間の目は、影又は人工照明のような照明効果を考慮して、典型的には１００００：１であるより大きいシーンのダイナミックレンジに対処する必要がある。更に、神経節細胞のような網膜細胞は、全てのこれらの一次信号及びその実行の組み合わせをより賢明に使用し、例えば、その周囲の輝度等に依存して局所応答のレベルを変更する。

最後に、この処理されたロー画像フィールドの解析による変換の際の非常に重要な要素は、視覚野である。これは、例えば、黄色のパッチが別の物体ではなく、他の黄色の物体の一部であることを理解すると、この黄色のパッチの色を再決定し、また、当該局所的領域に重なる着色された反射が分かると、ガラス窓の後ろに見える草に色を付け直す。視覚野は、最終的な色の「見え方」と呼ばれるものを生成し、理論的には、ディスプレイの製造業者及びコンテンツ制作者の両方が最後には関心がある要因である。従って、（特に、他の技術的な制約を考慮に入れると、）人間の視覚が必要とするものにより多く一致する任意の技術が望ましい。

ＨＤＲ画像（特に動画像（video）に関して）を符号化する広く認められている規格はまだ存在しないが、（典型的には、例えば、複数の露出を用い、レンズが努力をあまり妨害しないことを望むことによりカメラシステムの限界を伸ばすことによって取り込まれる）画像を符号化する最初の試みは、大きいビットワード（例えば、６５０００：１の直線符号化を可能にする１６ビット及び非直線符号化の場合は更に大きいビット）を各画素（例えば、ＥＸＲフォーマット）に割り当てることによりこれを行った。その後、例えば、欧州特許出願公開ＥＰ１８９１６２１Ｂ公報（Hekstra、積層表示装置）におけるような照明推定技術を用いて、ＬＣＤバルブモジュール及びバックライトを有する画像レンダリングシステムへのシーンのオブジェクトにおいて反射する光の可変量のマッピングが行われる。Output_luminance ＝ backlighting_luminance × LCD_transmissionを理解するための単純化したアルゴリズムは、ＨＤＲ１６ビット入力の平方根をとり、（比率コーディング技術に従って）ＬＥＤのためにサブサンプリングされ得る乗算の８ビット背景画像を割り当てる。古典的なやり方である単に現れるシーンの輝度の値をはっきりと符号化する他の方法、例えば、画素値を符号化する２レイヤアプローチを用いる欧州特許出願ＥＰ２００９９２１明細書（Liu Shan、三菱電機）も存在する。

しかしながら、本願発明者等は、新しい符号化を得ようとする場合、そうような単なる当該シーンの画像の画素の符号化（及びこれをメインとして用いるチェーン全体のための単独の符号化）に加えて、何らかの更なる符号化が、画像表示される行為の理解及び従って有用性を非常に改善するので、望ましいことに気付いた。

理想的には、ビデオ符号化のチェーンは単純なチェーンであり、理想的な表現と比較して小さい誤りしか存在せず、従って、この誤りは破棄され得る。これが、過去にテレビ信号の符号化がどのように行われていた（例えば、ＮＴＳＣ及びＭＰＥＧ２のような規格の原理に基づいた当該規格）かである。標準／基準のディスプレイが（ＥＢＵ蛍光体、２．２のガンマ値、或る視聴条件により）規定され、これは、当該シーンの色の何らかの固定して定義された符号化が取り込まれることを可能にしている。そのため、カメラは、このディスプレイ（ディスプレイに関連する符号化信号の結果、例えばＹＣｒＣｂ）に基づいて設計される。カメラマンの熟練作業、ポストプロダクション等が、（典型的には、基準のモニタで最終的な結果を視聴することにより）データを最終的なディスプレイの色空間により近くなるように調整する。しかしながら、これは、画像再生の初めの頃には優れていた状況であって、一種類のディスプレイのみが存在し、いかなる動作システムでも満足であった状況である。しかしながら、最近では、テレビのディスプレイは、日光照明の状況の下での携帯電話又はホームシネマ映像のような種々の技術に及んでおり、テレビの制作者もディスプレイにますます多くの画像処理機能を与える。従って、最終的な色の見え方の大部分を制御する人々、すなわち、コンテンツ制作者（ハリウッドは、少なくともテレビがどのように映画の色／明度を変化させるかの制限における少なくとも幾らかの発言権を持ちたいであろう。）、ディスプレイ製造業者（典型的には機械的な画質の向上を通して又は他のディスプレイに関連する処理を介して）又はエンドユーザ（ディスプレイにより与えられる制御を介して）によって、興味深い問題が提起される。新しいテレビの規格を策定する際、そのような規格に（少なくともオプションで）何が定められ得るかを規定するために斯様な考慮を含むであろう。

例えば、今後数年間のうちに、コンテンツ制作者が見せたいものと任意の特定の実際のディスプレイ（及びディスプレイ環境）が表示できるものとの完全な一致が存在しなくなることが考えられる（例えば、コンテンツ制作者は薄暗いシーンに近づきたいが、レンダリング側ではそれが明るくされるかもしれない。）が、それらの挙動を制御するためにより良い選択肢（例えば、ディスプレイがより賢明に画質を向上させることを可能にするか、又は、一般に、種々のディスプレイの構成要素についての駆動値のようなディスプレイの動作についての技術的設定値）を与えることができる。

これは、（例えば、表示ハードウェアを仮定し、また、例えばユーザの年齢、性格、雰囲気等に基づいてユーザの好みも仮定して、或る量の画像（色／輝度）レンダリング又は効果を与えるために、）視聴者に有用であるが、（単なる画素の色を超える）動画像符号化における少なくとも追加の情報も、電力消費、熱的問題、経年劣化等のような物理的なディスプレイの制約に対処するために用いられ得る。実に興味深いことに、幾つかの追加のデータの符号化は、好都合にも非常に一般的であり、チェーン全体における値の増大を与える。コンテンツ制作者（又は、例えばトランスコーディングのための追加の人間ベースのサービス若しくは更には機械的なビデオ解析を有するポスト制作者（post-creator））は、例えば、自身の映画のより良い描写を創り出すために追加の符号化データを用いることができ、この制作者がそれとともに持つ実際の目的は、表示側におけるより優れたレンダリングを可能にすることである。ディスプレイ製造業者は、（非常に変動する画像の入力を仮定して）ディスプレイの実行時の挙動をより良好に制御することができる。最後のユーザ／視聴者は、必要に応じて、動画像を自身の好みに合わせることができ、これをほとんど好きなように見ることができる（例えば、過度に煩わしくちらついている何らかのプログラムを見つけた場合に、これらのプログラムの断片を調整することができる）。

幾つかのこのような問題及びより良いビデオ符号化のために必要な考慮すべき事柄が、本発明に係る種々の実施の形態を考える際に入力として受け取られる。

これらの懸念の少なくとも幾つかに取り組むために、我々は、ビデオデータ（ＶＩＤ）に加え、上記ビデオデータの特徴的輝度（ＣＨＲＬＵＭ）の時間的変化を示す少なくとも１つの変化時刻（ＴＭＡ＿１）を有する追加データ（ＤＤ）を符号化する方法であって、上記特徴的輝度は上記ビデオデータの画像中の画素の輝度のセットを要約したものであり、上記ビデオデータ（ＶＩＤ）に基づいて、ビデオの上記特徴的輝度の変化の記述的データ（ＤＥＤ）であって、少なくとも１つの変化時刻（ＴＭＡ＿１）を有する上記記述的データ（ＤＥＤ）を生成するステップと、追加データ（ＤＤ）として上記記述的データ（ＤＥＤ）を符号化し、出力するステップとを有する当該追加データ（ＤＤ）を符号化する方法を提案する。

これらの変化時刻は、ビデオについての非常に重要な追加の情報を与え、テレビのような受信デバイスにおいてより賢明にビデオを処理及び／又はレンダリングするために用いられ、特に、（場合によっては特定のビデオの各サブセグメントに依存して）各特定のテレビ、現在の視聴者の好み等に良好に調整される。従来、ビデオ符号化の哲学は、常に、ピクセルイメージ符号化技術を用いて別々の画像を符号化することによりこの画像のセットが満足に符号化されることであった。しかしながら、より粗いスケールで見る際、ビデオのより粗いスケールの時間的構造の中にも重要な情報が存在する。原理的には、この情報は、利用可能なそれらの画面を持つ時に得られると予想することができる。しかしながら、その情報には、例えば受信側において自動ビデオ解析装置によって容易に得ることができない要素が存在する。例えば、解析成分は、複雑で充分な解析アルゴリズムを有していない、表示のための時刻のような特定の時刻から先の十分な画像を使えないというように十分な資源を持っていない場合がある。また、コンテンツ制作者は、画像信号の何らかの、特に画素の輝度の時間的展開について特別な何かを伝達したい場合がある。例えば、上記制作者が、符号化システムの物理的制限に依存する（例えば、この制作者は、最高に利用可能な８ビットＬＤＲ値に爆発を割り当てるために妥協する必要がある）画素値を有する爆発を含む連続する符号化画像を作製する場合がある。これに加えて、制作者は、何らかの追加情報、例えば、これは「非常に強力な爆発」であろうという情報を伝えたい一方で、画素値は、符号化の制限のためにそれほど大きく異ならない（従って、解析デバイスがその差を自動的に判断することは非常に難しい）が、時間的により遅い第２の爆発は、「強力ではない爆発」であろうことを伝えたい。コンテンツ制作サイドでは、典型的には、人間の技術者による提供が依然として存在し、ピクセルイメージの最適な符号化を決定することに加えて、追加データを一緒に符号化してもよい（例えば、画像の画素値を幾らか変更するが、追加データに補完的データを用いてこれを記述する）。

この形態に従ってビデオの時間的性質をより良くモデル化する興味深い追加データが、特徴的輝度（ＣＨＲＬＵＭ）の概念に基づいて得られる。これは、少なくとも１つの画像に及び多くの場合は連続する画像（その場合、幾つかの画像にわたって平均化されているかもしれない。）に全体的に存在する輝度を要約したものである。例えば、影の領域内から明るく日が照る景色へのカメラの動きは、明るく輝く景色の画像の平均輝度とは異なる影の多い画像の（全ての画素の）平均輝度でそれ自体を示す。特に、特徴的輝度は、変化がＬＤＲのビデオの範囲のかなりの量を変えるほど大きい場合、又は、特徴的輝度が、典型的には、ＨＤＲの範囲のレベル又は変化を特徴付けるように定式化される場合、すなわち、例えば、爆発が平均の、予想される又は所望の輝度レベルと比較して非常に高い輝度を持つ幾つかの画素を含む場合に、大きな影響を受ける（又は、逆に暗い環境でも同様である。）。人は、専ら幾つかの粗いレベルの局所的な輝度の変化を考えることにより特徴的輝度の粗いレベルの概念を一般化することができる（例えば画像中の明るい光を含む領域のみを見ることは、画面全体にわたって平均化するよりも特徴的輝度を局所的にするが、現在のショットの主な輝度領域／行為にわたって特徴付けが行われる場合、それは、本質的には、依然として粗いレベルの特徴付けである。）。例えば、画像の連続するセットが局所的な爆発の炎を含む場合、専ら炎の画素にわたって（例えば周りのビルの画素を必要としない。）平均化することによって特徴的輝度を得ることができる。これは、炎を有する第１の画像にわたって平均化することにより又は炎の画素の特徴的な積分を炎を含む幾つかの選択された画像に取り入れることにより行われ得るが、炎が現れる第１の時刻に変化の瞬間を割り当ててもよい。画像の解析から生じる記述的データ（ＤＥＤ）は、本発明の形態に従って当業者が理解するように様々に具現化され得る（例えば、開始点又は最後の共通情報として爆発の火の玉の楕円形の明るさのモデルを符号化する）が、それは、少なくとも変化時刻（ＴＭＡ＿１）を常に含んでおり、この変化時刻において、解析ユニット及び／又は人間のオペレータによりその粗い特徴的輝度の変化がビデオの間に生じるとみなされる（これは、爆発を伴う正確な第１の画像である、又は、爆発のショットの初めにおおよそどこかを示す）。上記記述的データは、最終的には、単に記述的データＤＥＤのコピーであるか又は記述的データのサブセット及び／又は変形を有する追加データＤＤとして典型的には（ＨＤＲの幾つかが追加データで符号化される場合、小さい方の情報コンテンツである）ビデオデータの古典的な符号化に加えて符号化されるが、それは、予め記述された要件に従って画像化のチェーンの更なるステーションにおいて必要とされるものである。

本発明の方法、装置、信号、組み合わせ装置又は信号の使用等の更なる興味深い変形形態は、限定的ではない。

例えば、上述した追加データＤＤを符号化する方法は、より一般的には、上記追加データＤＤ内の、テレビのディスプレイのような上記ビデオデータ及び上記追加データを用いる装置１１２、１１０により上記ビデオデータの画素の少なくとも輝度の許可された再処理戦略の少なくとも１つの指示ＡＬＣＯＲＲ，（ＴＹＰＥ）を符号化するステップを有している。

これは、ここでは、レンダリング処理器又はディスプレイが、通常のようにむやみに画像処理を行うのではなく、変化時刻の近くで幾つかの特定の画像処理を行うことを可能にする。これは、ディスプレイが行うべきことの大まかな（「display_do_what_you_want」）又はほぼ正確な戦略であるが、好ましくは、あらゆるものが、ディスプレイ及び環境の特質を考慮するために調整可能であり、更にまた、制作サイドによる何らかの制御を可能にする、すなわち、ディスプレイを（処理が生じるべきであるかどうか、生じることができるかどうか、生じることができないかどうか、又はどの処理が生じるべきであるか、どの処理が生じることができるか、どの処理が生じることができないか等の）符号化された提案に少なくとも或る程度従わせる。バックライトを備えたＬＣＤディスプレイは、例えば、考えられる正確なレンダリングと比較してバックライトの駆動を（わずかに）変更するように考える（すなわち、例えば１６ビットＨＤＲ画像の表現において説明されるような所望の画素値を正確に得るために、画素の出力輝度が最適なＬＣＤの透過率及びそれからのバックライトの輝度により生成される。）。これは、幾らか異なるようにレンダリングされる画像（異なる出力の色／輝度）をもたらすが、これは望ましい。また、例えばＯＬＥＤのようなディスプレイは、「疑似バックライト照明」を用いることにより同じアルゴリズムの理論を用いることができる。すなわち、何らかの基本的な成分及び典型的にはその上に増加する変化を規定することによりディスプレイの合計の駆動信号の変調を可能にする。

再処理は、典型的には、関数変換、例えば、連続する画像のセットの少なくとも幾つかの領域についての以前の画素の色／輝度を新しい画素の色／輝度にマッピングすることを含んでいる。特徴的輝度の変化も、（例えば、フリッカのチューニングを下げるための）種々の再処理の形態において、特に変換の所望の変化のモーメントを有する変換の戦略又はパラメータの変化として再構築され得る（原理的には、特徴的輝度の変化がいつ生じたとみなされたかの変化時刻ＴＭＡ＿１は、所望の再処理（例えば、バックライトセグメントの調光）が始まる時刻ＴＰ＿１と異なるが、例えば、必要に応じて、最初の幾つかの画像の間影響を及ぼさないように再処理関数又はアルゴリズム、例えば、先頭の方に１を与える乗法的関数を定義することにより、それらは同じであるとみなされることが多いことに注意されたい。）。処理の戦略の指示は、非常に高いレベルから非常に厳しいレベルまで様々である。例えば、（上記指示が決定的な（critically）等級付けをされているので、決定的にレンダリングされるべきである場合、）現在のショットに関して処理が少しでも許可される又はされないことが示される。又は、処理の種類（例えば、単なる明るさの減少）が許可されるかどうか若しくは表示サイドの判断で与えられる見え方（例えば、暗いシーン）を最適に表現しようとするタイプの単なる処理が許可されるかどうか及び例えば画像のレンダリングの質を低下させる省電力化のようなディスプレイの特定の処理が許可されるかどうかもが示される。又は、更には変化時刻の近くに適用するための特定の関数が予め記述され得る。再処理は、決まった処理である必要はなく、例えば視聴者の望む事前設定に依存して調整可能であるが、（例えば、パラメータ再処理関数を伴って）依然として少なくとも１つの変化時刻に基づいて構成され得ることに注意されたい。

プリフィクスの一致したコードのセットから特定の再処理コード（ＭＵＬＴ）を符号化するステップを有する追加データ（ＤＤ）を符号化する方法が更に有用である。

最初の輝度（Ｌｉｎ^＊）と比較して時間間隔ＤＴＩの間に上記ビデオデータ（ＶＩＤ）の画素の輝度を再処理するために、上記追加データ（ＤＤ）中の、符号化される時間的プロファイル（ＰＲＯＦ）又は偏差の戦略を計算する数学的アルゴリズムのような偏差の戦略を符号化するステップを有する追加データ（ＤＤ）を符号化する方法が更に有用である。

すなわち、このケースでは、上記指示は、より多くの特定のプリスクリプションになっている。例えば、ビデオ信号ＶＩＤでコード化された最初の輝度Ｌｉｎ^＊から始まり、このショットの間長い時間をかけて徐々に／わずかに輝度を低下させる乗法プロファイルをそれらに適用する。上記プロファイルは、加法的、乗法的、単なる指示であり、例えば、最終的な（出力）輝度の経時的プロファイルがそのように見えるべきである粗いレベルの平均である（及び、しかしながら、テレビはほぼそれを得るように処理する。）。

上記再処理がバックライトのための照明画像（ＩＬＩＭ）を決定することを有するタイプのものであり、上記符号化ステップが、二次元マトリクス（ＭＡＰ）の場所の少なくとも空間領域に対する基本的な基底関数の寄与で構成された時間的関数のような上記変化時刻（ＴＭＡ＿１）の近くの時間間隔の間にバックライトのための上記照明画像（ＩＬＩＭ）の決定に影響を及ぼすデータを符号化することを有する追加データ（ＤＤ）を符号化する方法が更に有用である。その場合、時空間的なやり方でバックライトの部分でより直接的に再生することにより特定のレンダリングを提案又は制御することができる。例えば、人は、簡単なやり方で幾らかの局部振動、べき関数の減少、ガウス分解等のような関数のセットからそれを構成することにより爆発のような何らかのＨＤＲ効果（の一部）を特徴付けることができる（例えば、上記関数にわたるサンプリング窓、ガウスモードの場所がＴＭＡ＿１と比較して決定される又は減少関数の開始点等）。

上記追加データ内（ＤＤ）の、上記変化時刻（ＴＭＡ＿１）の今後の特徴的輝度の情報及び／又は基準ディスプレイのバックライトのための照明画像（ＩＬＩＭ）の予想される輝度の情報を符号化するステップを有する追加データ（ＤＤ）を符号化する方法が更に有用である。

実行可能なビデオの今後の知識をできる限り正確に持つことは、ディスプレイ若しくはレンダリング処理器又は符号化される追加データを用いる任意のデバイスが現在の処理に関して賢明な決定を下すようにし、例えば、視覚的影響の最大化、今後の電力の使用を考慮して電力に敏感なバックライトの駆動等を決定する。消費電力管理のような幾つかの実用性（application）に関して、人は光がどの程度必要とされるかをおおよそ知ってさえいればよいので、今後の特徴的輝度のこの特徴は、非常に粗いレベルであってもよい（すなわち、例えば、次の１０秒又は代替として２分にわたる特徴的輝度の平均が符号化される。そのような特徴付けの時間的階層は、受信側がより賢く、例えば、現在使う電力について予想することを可能にする。）が、正確な心理視覚的影響の認識のために、時間的変調のより詳細な知識が必要とされる。バックライト照明のディスプレイの場合であっても、バックライト照明ではないディスプレイの場合であっても、（ＶＩＤのような）全体像の符号化又はバックライトの寄与のような（実質上の（virtual））成分における特徴的な変化を同等に符号化することができ、受信側は、例えば、プリフィクスの又はともに符号化される多成分分割アルゴリズムを用いることによって任意の必要な変形を得ることができる。

少なくとも１つの変化時刻ＴＭＡ＿１の間に追加データＤＤ内の重要な指示ＩＭＰＬＥＶを符号化するステップを有する追加データＤＤを符号化する方法が更に有用である。これは、例えば幾つかの関連する時間間隔におけるレンダリングの階層の取り扱い（例えば、減少）のような非常に万能な偏差の再処理を可能にする（例えば、幾つかの関連する高輝度の作用）。表示側が全ての効果をレンダリングすることが難しい場合には、重要性に基づいてより重要なものだけをレンダリングするか、又は重要性の階層を考慮して再処理を設計してもよい等である。

ビデオデータ（ＶＩＤ）に加え、上記ビデオデータの特徴的輝度（ＣＨＲＬＵＭ）の時間的変化を示す少なくとも１つの変化時刻（ＴＭＡ＿１）を有する追加データ（ＤＤ）を符号化するビデオ符号化装置（５２４）であって、上記特徴的輝度は、ビデオの上記特徴的輝度の変化に関する記述的データ（ＤＥＤ）に基づいて上記ビデオデータの画像中の画素の輝度のセットを要約したものである当該ビデオ符号化装置（５２４）が更に有用である。

ビデオデータ（ＶＩＤ）に加え、上述した又は以下に説明される原理のいずれかに従って追加データ（ＤＤ）を符号化するビデオ符号化装置（５２４）であって、特に、受信側が特定の時間に画像の再処理として行う種々の指定のために具体的に具現化されたエンコーダ、フォーマッタ等を有する当該ビデオ符号化装置（５２４）が更に有用である。

ビデオデータ（ＶＩＤ）に加え、前記ビデオデータの特徴的輝度（ＣＨＲＬＵＭ）の時間的変化を示す少なくとも１つの変化時刻（ＴＭＡ＿１）を有する追加データ（ＤＤ）を復号する方法であって、前記特徴的輝度は前記ビデオデータの画像中の画素の輝度のセットを要約したものであり、少なくとも１つの変化時刻（ＴＭＡ＿１）を出力することを更に有する当該追加データを復号する方法が更に有用である。

典型的には、上記復号方法は、入力信号を解析し、特定のパッケージ、データフィールド等を見つけ、符号化データを認識し、場合によっては、解凍、変換、装置の便利なフォーマットでの書き直し（recasting）等を行う。例えば、上記復号方法は、何らかの特定の行為が起こる又は起こることになっている時刻を出力する。このような追加データを用いるデコーダに接続される装置は、データの使用に依存して伝達（又は更には特定のデータのみの抽出）の更なるやり方を予め記述する。例えば、装置が特徴的輝度の変化の時刻のみを知る必要がある場合、この装置はこれらの時刻を持つことのみで十分であるが、画像処理装置は、復号方法を実行し、予め一致する変換の符号化されたインデックスをより扱いやすいフォーマットに変換もする復号ユニットを要求する。すなわち、全ての追加データは、復号方法の具現化により、固定の予め定義された又は動作中の受信装置との話し合い、時刻であるのか、再処理の指示であるのか、画像依存性の測定値であるのかそれともディスプレイ指向の又はフィルムの見え方指向のガイドライン等のような信号の時間的性質を指定する更なるデータであるのか等で一致したフォーマットで出力される。

本明細書において説明される任意の少なくとも１つの符号化されたデータ要素を復号及び出力することを更に有する、ビデオデータ（ＶＩＤ）に加えて追加データ（ＤＤ）を復号する方法が更に有用である。

ビデオデータ（ＶＩＤ）に関連するデータ信号（ＮＤＡＴ）であって、上記ビデオデータの画像中の画素の輝度のセットを要約した上記ビデオデータの特徴的輝度（ＣＨＲＬＵＭ）の時間的変化を示す少なくとも１つの変化時刻（ＴＭＡ＿１）を有する当該データ信号（ＮＤＡＴ）が更に有用である。

ビデオデータ（ＶＩＤ）に関連して、上記ビデオデータの特徴的輝度（ＣＨＲＬＵＭ）の時間的変化を示す少なくとも１つの変化時刻（ＴＭＡ＿１）を有する追加データ（ＤＤ）を復号するビデオ復号装置（６００）であって、上記特徴的輝度は、上記ビデオデータの画像中の画素の輝度のセットを要約したものであり、出力部（６５０）を介して少なくとも上記少なくとも１つの変化時刻（ＴＭＡ＿１）を出力する当該ビデオ復号装置（６００）が更に有用である。

この明細書に明記された符号化されたデータ要素の少なくとも１つを復号し、更に、上記符号化されたデータ要素の少なくとも１つによりレンダリングに影響を与えるために、ビデオ（ＶＩＤ）を上記符号化されたデータ要素の少なくとも１つにすることが可能な第２の装置（１００）と通信するビデオ復号装置（６００）が更に有用である。

典型的には、復号装置の種々の形態は、例えば、コードを再処理すること、その再処理コードを分離することを有する専用ＩＣ（の一部）又は、例えば、追加のデータの特定の部分を見るために少なくとも一時的にＩＣ上で動く専用ファームウェア若しくはソフトウェアのような種々のサブユニットを有しており、接続されるデバイスにより有用であるデジタル（又はアナログ）値又はデータのセットで、処理されていない該コードをＩＣの出力部に送る又は該コードを変換する変換サブユニットに該コードを送る。当業者であれば、同じデータも、種々のやり方で異なる出力部を介して何度も送られることを理解するであろう。

ビデオ復号装置（６００）とディスプレイ（１００）とを有し、ディスプレイは少なくとも１つの変化時刻（ＴＭＡ＿１）に基づいてレンダリングを変える組み合わせ装置（１１０＋１００）が更に有用である。

本発明に係る方法及び装置のこれら及びその他の観点は、以下に説明される実現及び実施の形態から明らかであり、それら及び添付の図面を参照して理解されるであろう。図面は、より一般的な概念を例示する単に非限定的な具体的な図として役割を果たし、図では、構成要素が最適であることを示すために破線が用いられ、破線ではない構成要素は必ずしも必須ではない。破線は、物体の内部に隠れて見えない必須であると説明される要素を示すため又は例えば物体／領域の選択のような無形物（及びそれらがディスプレイ上でどのように示されるか）のためにも用いられ得る。

この本文に説明される実施の形態の少なくとも幾つかに係る追加データＤＤを用いることができる例示的なビデオ受信装置を模式的に示している。 本発明の少なくとも幾つかの実施の形態がどのように作用するかの幾つかの例を説明するために、ビデオの画像の輝度がどのように変化するかの図を模式的に示している。 ディスプレイ上でより満足のいくレンダリングに達するように当該ビデオに適用する処理を模式的に示している。 暗いシーンをレンダリングする具体的な例についての更なる処理を示している。 追加データＤＤを作り出す作製環境を模式的に示している。 追加データＤＤを復号する復号装置を模式的に示している。 追加データＤＤの使用の背後の数学的処理を模式的に示している。 電力最適化のシナリオ／装置において符号化する本発明の追加データの用途を模式的に示している。 ビデオデータに関する追加データの符号化の一例を模式的に示している。

図１は、多数の（白色又はカラー）ＬＥＤ１０２によりバックライト照明されるＬＣＤパネル１０１を備えたＬＥＤテレビ１００（又は、一般的なＨＤＲ対応ディスプレイ、或いは、特に、単に一意的にビデオＶＩＤをレンダリングするよりもそのレンダリングにおいて調整可能である場合には、更にはＬＤＲディスプレイ）を有する可能な家庭用ビデオ視聴装置を説明しており、この家庭用ビデオ視聴装置は、上述した原理及び先行技術の原理に従ってＨＤＲ画像、又は少なくともＬＣＤ及びＬＥＤに駆動値をマッピングするある量のビデオ処理が存在し得る場合には、ＬＤＲ（標準的なダイナミックレンジ、低ダイナミックレンジ）画像を表示することができる。当業者であれば、本発明の原理が幾つかの他のディスプレイ、例えば、セグメント化された照明を備えたプロジェクタ及びＤＭＤ、ＯＬＥＤディスプレイ等にもマッピング可能であることを理解するであろうことに注意されたい。

（我々の技術的原理を説明するために例示的に用いる）例示的な実施の形態では、上記テレビ／ディスプレイは、接続部（例えば、有線／ＨＤＭＩ（登録商標）又は無線）１１３を通じてメモリベースの再生器、例えば、ブルーレイディスクプレーヤ１１０からテレビ又は画像信号を受け取る（しかしながら、勿論、代わりに、信号は例えばインターネット等を通じてサーバから届き得る。）。このブルーレイディスクプレーヤ１１０は、追加データＤＤを有する追加のトラック１１６が以下に説明される本発明の実施の形態のいずれかに従って符号化されたブルーレイディスク１１５から符号化ビデオを受け取る（勿論、そのようなデータは、例えばグループオブブロックの前のフィールドにおいて例えばビデオ符号化の範囲内の多くの異なる原理に従っても符号化され得るが、別々のデータ項目のセットは、他のチャンネル、例えば、インターネット上でのコーディングが同時に与えられることを可能にする。）。

図２は、（時間ｔにおける）各画像について特徴的輝度ＹＣを伴う（任意の時間的に連続した関連する画像であり、例えばハリウッド映画又は防犯カメラからの供給物（feed）である）映画の時間軸ｔに沿った時間プロファイルを示している。上記特徴的輝度は、当該画像に存在する全ての画素の輝度から得られ、例えば、重み付けされた平均値である（カメラも、典型的には、画像内の符号化される画素の輝度の分布をもたらす設定を決定する際に重み付けされた平均値を使用するので、これは、取り込まれるシーンの記録の際に部分的に反映される。）が、より知的なヒストグラム解析が含まれ得る。例えば、より高い百分位数において測定される輝度は、少なくとも部分的にＹＣに寄与し、その結果、人は、例えば、屋外環境のハイキーのレンダリング、センサの飽和、大きくて非常に明るい局所的領域等を判断することができる（例えば、（部分的に）窓の前にいる人の逆光の取り込みを分析するために、空間的特性も明るい領域と暗い領域との関係又は更には明るい領域内の暗い領域のヒストグラムのようなＹＣを得るためのアルゴリズムが考慮に入れられる。）。特徴的輝度の時間的決定に関して、その輝度を画像毎に決定するか、又は、任意の数の連続する画像にわたって任意の数学的な累積の式を計算することができる（例えば、図２のように、ショット又は特徴的輝度の変化の境界の間において、或るショットの全ての画像に同じ特徴的輝度を与える）。特徴的輝度の変化を特徴付ける／アノテーションを行う人間は、種々の指標を使用し、（少なくとも表示のための処理された（例えば、ＨＤＲ又は疑似ＨＤＲ）出力画像における）種々の特徴的輝度を持つようにされた時間的領域間の境界を画定することもできるが、それらの違いは自動的なアルゴリズム（例えば種々のディスプレイのために例えば交互のレンダリングの意図のセットを指定すること）を用いて計算することは難しいことに注意されたい。

この特徴的輝度は、ディスプレイ上での異なるレンダリングで、特に、バックライトＬＥＤの異なる駆動で変換されなければならないシーンの取り込みの特徴の差がどこで生じたかを決定するために用いられ得る。逆光の例を挙げると、当業者は、表示処理（入力画像の純粋なソフトウェアベースの変化又はバックライトの最適駆動のようなハードウェアに関連する処理）が、（全ディスプレイ（ディスプレイは、例えば、より可視的なやり方で画像内の人物の種々の輝度を与える。）及び視聴者に関連する観点を暗示的（平均的なケース）若しくは明示的に考慮に入れて）この画像を改善するか、又は、特に新しいＨＤＲディスプレイにより、レンダリングがより悪い視覚的品質となるかのようであることを理解するであろう。

上記映画の第１の部分である会話のシーンＳＣＮ＿ＣＯＮＶＲＳは、このような状況を説明している。この第１の部分は、第１の人物が部屋のより明るい部分に座っている第１のショットＳＨＴ＿ＷＮＤと第２の人物が部屋のより暗い部分に座っている第２のショットＳＨＴ＿ＷＬＬとが交互にもたらされて成っている（又は、この説明の目的のために、連続する屋内及び屋外のショットを交互配置する際に、同様のシナリオ及び関連する技術的処理が生じ得る。）。美術的なシーンの照明状態及びカメラの露出の（人的又は自動）設定の両方を考慮することは、（両方のショットを良好な／平均の露出状態にする）差を部分的に軽減することができるが、或る差を保持もする（例えば、撮影監督は、上述した２つを対比することによる特定の見え方を望む。）。しかしながら、これらの特徴的輝度の基礎となる全ての画素の輝度をＨＤＲディスプレイにマッピングする時（例えば、表示出力（領域／画素）の輝度の｛０，５００｝ＬＤＲ表示範囲ではなく｛０，２５５｝ＬＤＲ信号の｛０，１０２４｝ＨＤＲ信号及び｛０，２０００ｎｉｔ｝ＨＤＲ範囲への単なるマッピングに含まれる区間）に、特定の見え方が妥協されるだけではなく、明るい窓の領域が視聴者の目を痛めさえもする又は少なくとも幾らかの視聴者を不快にする。この状況は、（特定の）ＨＤＲ表示Ｒ＿ＨＤＲのための駆動スペース内の数学的に導出可能な特徴的な低ダイナミックレンジＰＳ＿Ｒ＿ＬＤＲにより図２に模式的に示されている。これは、｛０，２５５｝ＬＤＲ範囲であるが、典型的には、（十分に露出された屋内又は屋外の物体の反射のような）標準的なシーンの輝度及びまだ最適化されていない爆発、ライトのようなＨＤＲ効果を表す範囲に対応する。この範囲が、ＨＤＲにおいてあまりにも押し上げられず、むしろＬＤＲのように緩和され続けることを望む。ＨＤＲディスプレイでのレンダリングの前に、特徴の低いダイナミックレンジＰＳ＿Ｒ＿ＬＤＲで説明される画像は、効果を通常の対象物に対してＨＤＲ効果範囲のＲ＿ＵＰＥＦＦ（図３を参照）及び低い範囲のＲ＿Ｌ＿ＨＤＲへ通常マップする処理を持つだろう。これが、本発明と本発明の実施例とを例示するための正に１つの可能な模式的な例であることに留意されたい。入力画像は、既にＨＤＲエンコードされた、例えば、任意のトーンマッピング若しくは他の輝度平均を持つ｛０、１０２４｝又は｛０、６５５３６｝の範囲の画像又は中間の範囲の画像であり得、これは本発明による処理を依然必要とする。実際には、入力画面に存在する画素のいずれかに対する任意の複雑な操作が、（特に、特徴的輝度の変化がどこで生じるかに関する画面の解析のためであるが、それらの（再）レンダリングのためにも）適用されるが、説明を簡単にするために、我々は、輝度のシフト（例えば、乗法的スケーリング）のみを説明し、これをバックライトのスケーリングとして説明する（すなわち、ＬＣＤ駆動値もＬＥＤの駆動の変化に対応して変化するが、ここでは説明において無視する。）。

人的又は自動解析アルゴリズムは、映画に沿って、会話のシーンＳＣＮ＿ＣＯＮＶＲＳの特徴的輝度が始まるより大きい変化時刻ＴＭＡ＿１及びより明るいショットＳＨＴ＿ＷＮＤとより暗いショットＳＨＴ＿ＷＬＬとの間の切り換えについてのシーンにおけるより小さい変化時刻ＴＭＩ＿１及びＴＭＩ＿１２（等）のような時間モーメントを識別し、この時間モーメントにおいて、特徴的輝度が変化する（従って、バックライト照明が変化する必要がある又は変化するかもしれない）（より単純な自動アルゴリズムは、より大きい変化時刻の決定のみに制限されることに注意されたい）。本発明の最も単純な実施の形態は、そのような時刻のみを符号化し、任意のＨＤＲ処理が全てにおいて許可されるかどうかを符号化する（例えば、ブール値ＡＬＣＯＲＲを介してであり、ブール値が０に等しい場合、ＨＤＲ表示側の処理を禁止し又は非常に基本的なシナリオに強制し、ブール値が１に等しい場合には、例えばスマートなブースティング戦略を許可する。）。これは、ディスプレイ（又はブルーレイディスクプレーヤ、セットトップボックス、コンピュータ等のような前処理装置）が、単一のアルゴリズムをむやみに適用する代わりに、この映画の内容、制作者による技術的な意図又は今後の内容についてスマートな処理を適用することを許可する。

幾つかの望ましい画像処理及び幾つかの可能なデータ符号化の実施の形態が、図３に模式的に示されている。

心理視覚的には、「静的」（定常状態の）シーンＳＣＮ＿ＣＯＮＶＲＳと、人物のうちの一人が、最初に暗い廊下に歩いて入り、その後（およそ変化時刻ＴＭＡ＿２において）明るい日光の方に出てくる第２のシーンＳＣＮ＿ＷＬＫとに関して異なるレンダリングが必要とされる。技術者は、何らかの特定の最終的な見え方を作り出すためにレンダリングを望むが、それ自体による画像の画素の符号化のみでは十分な制御ができない。特に、カメラの露出を設定した後のカメラの取り込んだ値は、上記２つの例のような異なるレンダリングの意図を伴うシナリオ、特に蓄積されてきたビデオについてと実際には同様である。この例では、視野に入ったり入らなくなる窓は、所望の効果というよりもむしろ煩わしいが、ディスプレイの能力に依存して、屋内と屋外との間を歩く人物から刺激的なものを作りたいと望む。しかしながら、カメラマン及び選別者の組み合わせが、スマートなやり方ではなくより直接的にシーンを符号化する場合、両方のシナリオにおいて依然としてかなり類似している画素の色／輝度の値に留まる可能性がある。ディスプレイが、どれくらいこれらを（「むやみに」）扱うように意図しているかの論点に加えて、情報の符号化及び好ましくはレンダリングの制御の追加の機構を持つことが望ましいように思われる。ＳＣＮ＿ＣＮＶＲＳにおいて、アーティストは、ある程度まで照明の違いを示す（異なる全体のＨＤＲ信号、又は標準の画像符号化に加えてバックライト設定のための異なるヒントを符号化する入力として、ＬＣＤのための画像に対する異なる画素ヒストグラムだけでなく異なるバックライト駆動を含む）ことを望むが、アーティストは、目がインターリーブショットの両方のタイプのための状況に大きく調整されるという仮定の下でそうするだろう。すなわち、特定の時間の間外にいるか、又は特定の時間の間窓の前の人を注視するとき観察者は、網膜感度特性を調整するという事実は、レンダリングされるべき画像の符号化の際に反映されるべきであるが、最も重要なことは、レンダリングされた画像自体に反映されなければならない。特に、出力されたディスプレイ画像に対する特性輝度（通常は、生化学的に、例えば安定化しようとし、試みられた安定状態の際の差を符号化するための試みに目が反応するような輝度、例えば平均輝度）は、レンダリングされたシーンが悩ましいほど明滅せず、視覚的に疲労するべきではない等である。これは、限られた範囲を持つ古いディスプレイで問題にならなかったが、出ている明るいディスプレイで（ＬＤＲコンテンツでさえ）非常に問題であり、特に将来のＨＤＲディスプレイに対して注意のポイントになる。よって、ディスプレイは、特徴輝度の違いをＳＣＮ＿ＣＯＮＶＲＳのようなシナリオに対して限定的にし続けたい、例えば（信号、よって信号の差を）あまり過度に押し上げない（すなわち、そのシーンの全ての画像のビデオ画素の全て又は大部分に対して総ＨＤＲ範囲Ｒ＿ＨＤＲの小さなサブレンジを使用する）か、又は差（すなわち、出力される場合、特徴の低いダイナミックレンジＰＳ＿Ｒ＿ＬＤＲが与えるものと比較したディスプレイ出力輝度（例えばＰＳ＿Ｒ＿ＬＤＲは、ＨＤＲディスプレイ上で５００ｎｉｔのＬＤＲディスプレイが、その範囲内［例示的な時間的に適応される色域マッピングの実施例］のマッピングにより、映画の時間的一部をどのようにレンダリングするかをエミュレートする））を低減さえしたいと望む。例えば、レンダリング又は信号計算装置は、その局所的範囲を低減するか、又はその範囲に入るビデオ画素のある部分（例えば、特徴的輝度要約に最も寄与する画素）を輝度拡散させ、例えば、ピクセルの少なくとも幾つかの輝度を低減させる（すなわち、外界のクリップされた視野）。加えて、環境の暗い部分、少なくとも二人が居る領域の輝度を増大させる。幾つかの単純な又は統計的方法によりなされる、画素当たりの輝度修正が特徴輝度をどれくらい修正するか又はその逆は、当業者により理解されるだろう。

反対に、シーンＳＣＮ＿ＷＬＫの場合、技術者は、動的な明るさの変化を与えたい。廊下に入る人は、まず、（環境が適応状態よりも暗いために）網膜が反応しないで視えないことに苦しみ、適応した後、外へ出ていくと、明るい光の屋外により見えなくなる（露出過度で視えない。）。技術者は、例えば、画像をハイキーにすること（おそらく低コントラストで露出過度領域でさえも、多くの明るい、すなわち、｛０，２５５｝の上半分に大部分が属するヒストグラム）によってＬＤＲ｛０，２５５｝信号の場合でさえも既に或る程度これをシミュレートしている（又は、カメラの自動露出でさえもシミュレートするが、本明細書における議論に関しては、少なくとも質の高い映画に関して及びオンザフライではないテレビに関して、技術者は制御の下でそれを有することを仮定する。）。しかしながら、このような静止画／動画は、（更に又はその代わりに主に）真の明るさの変化が存在する時に、より良好に見える（高輝度レンダリングが、例えば、局所的な輝度についての人間の丁度可知差異ＪＮＤへの依存のために、或る領域の符号化の精度に異なる見え方を与える。）か、又は、少なくともより納得のいくように見える。これは、例えば、典型的には、（ＬＣＤ信号を変化しないままにして、例えば、｛０，２５５｝入力信号が物体の反射率として用いられるか、又は、適合させて、例えば、（異なる性能を持つ種々のディスプレイに関して異なり得る）バックライトの変化を最適に再処理してマッチングさせて）バックライトを増強することにより実現される。同様に、信号を暗くすることは、見えないこと（visual incapability）を模倣することであり得る（人は、適合させる前には最大の差のみを理解することができ、従って、これは、より少ない値を符号化することにより模倣され得る。）が、真の視覚影響は、バックライトも暗くされた時に生じ、また、一般に、ＨＤＲディスプレイは、そのような暗いショットに対して最適なレンダリング戦略を用いる。

よって、ＳＣＮ＿ＣＯＮＶＲＳに対して、ディスプレイが「何もしない」（又は、少なくともシリアスな押し上げを適用しないか、より大きい出力輝度範囲上へのデフォルトマッピングへ不可避的にリンクされて伸びる）ことを望むのに対して、ＳＣＮ＿ＷＬＫに対して、（ディスプレイレンダリング！）視覚効果（簡明のために主にバックライト駆動変化と本明細書で言われる）を適用することにより、（ＨＤＲ）ディスプレイの機能を最大限利用することを望む。同様に、爆発の第３のシーンＳＣＮ＿ＥＸＰＬに対して、異なる効果を適用することを望み、レンダリングは、捕えられた爆発（下記参照）の異なる種類に対して好ましくは異なるべきである。

タイプＳＨＴ＿ＷＮＤ対ＳＨＴ＿ＷＬＬの各画像の画素値の所望の制限された違いは、多数のやり方で指定されることができ、それを達成するための画像処理操作が輝度シフト型（乗法又は加法）である場合、一般に、特徴的輝度の表現において同様に指定され得る（すなわち、実際には、画素のセット上で機能する古典的な画像処理操作における現在の教示を簡単に具体化する。）。

例えば、技術者（又は、自動注釈アルゴリズム）（更なる説明では、本発明の実施の形態の全ての符号化は、人間によって決定されるが、これらのほとんどは画像分析を適用することにより自動的にも決定され得ると仮定する）は、（輝度の幅又は範囲内にある上位及び／又は下位の輝度の範囲等のような画像対象物のヒストグラム上の他の仕様でおそらく増大される）特徴的輝度が占める範囲Ｒ＿ＣＯＲＲを指定し、この範囲は、基準ディスプレイ範囲、例えば特定の低いダイナミックレンジＰＳ＿Ｒ＿ＬＤＲ、又は基準の高いダイナミックレンジ等に関係して決定される。実際のディスプレイダイナミックレンジを持つディスプレイは、このとき、処理により、出力輝度ができるだけ範囲仕様に合うように見えるようにし、例えば、高いダイナミックレンジを持つディスプレイは基準の低いダイナミックレンジをエミュレートするためにサブレンジを割り当てることができるか、又は、一般に、任意のディスプレイが、結果的に所望の観察／範囲から最小限しか離れていない出力になる処理を適用する。特徴的輝度の類似性（及び基礎となる画素のヒストグラム）は、例えば、乗法的処理に用いられ得る変化の許可される又は好ましい割合のような他のやり方でも指定され得る。「許可される（allowed）」という表現は、技術者が或る量よりも大きい逸脱を認めず、ディスプレイによる処理が少なくとも最大限にこれに従うようにすべきであること、又は、ディスプレイによる処理が完全に準拠しなければならない場合を指し、「好ましい（preferred）」という表現は、技術者による選択を与え、ディスプレイは、その処理（例えば、現在の視聴環境、視聴者の選択等に関する新しい駆動値の計算）を行う際に単にそのような指示を考慮するだけでよく、少なくとも類似した見え方を得ようとするが、上記選択から逸脱してもよい。

上記ＳＣＮ＿ＷＬＫの例に関して、ディスプレイは、符号化時刻により少なくとも部分的に決定されるプロファイルを適用したい。例えば、人間の目は、ほぼ指数曲線に従って時間に合わせて変化することが知られており、ＪＮＤのような測定値も、この曲線に従う。ディスプレイは、例えば上昇する指数曲線ＥＸＰＵ又は最初に明るさを大きく見せるが、その後、再度、より低い特徴的輝度に緩和する他の関数とともにバックライトの電圧を上昇させ、これは、一方では、快適なディスプレイの明るさへの視聴者の適合をシミュレートし、他方では、合計の範囲Ｒ＿ＨＤＲの中央領域のどこかを駆動状態にし、その結果、他の環境、例えば、爆発のレンダリングに関して制限される表示範囲に依然として十分な余地が存在する。これは、心理視覚的には、上記効果は最初の出現時に最大であり、視聴者の目はそれを部分的に補償し始めるために機能し、それはより少ない視覚的経験をもたらすので、この追加のバックライトの電力をとにかく消費する必要がない。

同様に、暗い廊下について、下向きの指数関数ＥＸＰＤが適用される。

現状では、画質（及び更にはＨＤＲ）の焦点の大部分は追加の明るさに関してであるので、暗いシーンのレンダリングは、必要とされる注目よりも少ない注目しか受けていない。図４は、考えられる例を用いて、本発明によりディスプレイ上の改善されたレンダリングがこのようなシーンに対してどのように行われるかを（所望のレンダリング効果が達成されることは言うまでもなく、ここでは、目に見えることを大いに下回ることについて）詳しく述べている。例えば、画像中の幾らか明るいが依然として暗い環境にある人の黒っぽいコートは、その時の視聴条件が良い場合だけではなく、視聴者が正しく適応している場合も専ら忠実にレンダリングされる。これに加えて、過去にレンダリングされた連続する画像が、好ましくは徐々にこれらの以前の画像における画素の輝度を低下させることによってその適合状態の準備をし、あまり目立たないか、又は（視聴者又は技術者に）少なくともあまり不快ではない。ディスプレイは、この先暗いシーンＳＣＮ＿ＤＲＫに関して達成されるべきであるレベルがどの特徴的輝度ＣＨＲＬＵＭのレベルかを知ることによってそれを自動的に行うか、又は、正確な若しくは好ましい／ほぼ正確な減少が、（例えば技術者により）ビデオ信号において若しくはビデオ信号に沿って指定され得る。この時又はこの間にこのような減少が好ましくは例えばショットの境界上で又は視聴者が顔を見ることが予想される時に顔等を取り囲む周囲の画素に関して、これを知覚できにくくするように生じる特定の時刻ＴＭＳＫ＿１、ＴＭＳＫ＿２を符号化することが可能である。また、（夜間の）爆発のような明るい対象についての高いレンジＲ＿ＥＦＦ１は、徐々に低下する（結果、一方では視聴者はあまりにも大きすぎてもはや明るい対象に適応しないが、他方では、明るい対象は他の輝度対象からあまり大きくは目立たず、これは、例えば、誇張された又は更には目をくらますような視聴経験を招く）。時間的コンテンツの解析アルゴリズムは、対象（例えば、爆発）がどの程度明るいか、どの程度大きいか、どの程度の長さ続くか、どの程度多く連続して存在するか、より暗いサブ期間とどの程度対照をなしているか等のような観点を符号化する或るタイムスライスの視覚的な明るさを見ることができる。このとき、短く明るい照明が例えば高い範囲Ｒ＿ＥＦＦ２に依然割り当てられるのに対し、視覚の適合に大きい影響を持つ明るい領域は、減少している高い範囲Ｒ＿ＥＦＦ１でレンダリングされる。また、特徴的輝度ＣＨＲＬＵＭと範囲ＳＰ＿ＬＵＭ内の基礎をなす画像画素値との間の関係は、変化する。例えば、入力符号化から、近似の対象物反射率の推定を得て、出力画像を生じ、その画像（又は、入力画像からの導出）に基づいて、明るい対象物を少しより暗くするか、可能であれば暗い対象物にする傾斜変換を適用する。実際、単純な近似として、輝度の範囲の１の値決定として上述されたような特徴的輝度（即ち平均）を考慮できるが、他の実施例は、付加的に又は代わりに、画像（のサブセット）の輝度を特徴付ける他の尺度、例えば範囲（低い範囲からより大きく押し上げられた高い範囲までの処理は、例えば、これらの２つの範囲のそれぞれの境界に基づいて特定できる）を符号化できる。説明を１の値の特徴に限定して説明を簡単にしてきたが、一般に概念的には、可能性があるこれら全ての要約符号化を特徴的輝度と呼ぶ。このシステムは、フィリップス社製のリビングカラーズランプのような制御可能なサラウンド照明ランプ１５０と協働して特によく機能する。これらのランプは、（例えば、無線でやり取りする）駆動制御器１５１が取り付けられており、本発明に従って更に符号化されたデータに依存して（例えばディスプレイにより制御される）組み合わせ装置の任意のユニットにより駆動され得る。例えば、第１の時刻ＴＭＳＫ＿１において、ランプは、スイッチをオフにされるか若しくは５０％に暗くされるか、又は、より知的に、特徴的輝度ＣＨＲＬＵＭに従って暗くされる。一般に、光は、時間的なビデオの輝度の特徴に依存して最適に設定され得る。

図３に戻って、プロファイルが、ディスプレイ自体により得られるか、又は、好ましくは、コンテンツ制作サイドにより符号化される。信号は、（受信側で、復号ＩＣ及び処理ＩＣが理解して処理できる）プロフィールＰＲＯＦコードの下で幾つかの事前に決められたクラス、例えば乗算ＭＵＬＴを含み、これは、全体のショットの間（又は実際に、２つの時間コードの間の時間的期間）、（ＨＤＲ信号自体、バックライトに対応する分解した一部、又はそれらの組合せの）乗算的スケーリングだけが適用されることを意味する。修正プロフィールは、更にパラメータ化されてもよく、例えば、Ｐ１は下げるための量（例えば８０％）であり、Ｐ２は上げるための量（例えば１２０％）である。異なるパラメータによって、種々異なるディスプレイが一方又は他のオプションを選択可能にする。ＳＣＮ＿ＷＬＫに対して、プロフィールタイプは指数ＥＸＰであり、コンテンツエンコーダが開始振幅Ａ及び崩壊時間ＴＤのようなパラメータを補充する。一般に、例えばビデオの将来に関する情報を考慮することにより（下記参照）、受信側の装置は、それ自体により、（入力ビデの特徴的輝度表現のような、又は、そのビデオ入力に対するバックライト駆動画像の第１のアルゴリズム計算されたセットによる）第１の値からの偏差が必要である時間間隔ＤＴＩを決定する。例えば伸ばされた時間表現では技術的に凍結されるので、斯様な指数は、長期間持続する爆発の輝度を減少させるためにも使用できる。オリジナル信号が（露光設定を持つカメラが記録し続けたやり方であるので）オリジナルの捕獲された輝度を含む詳細全てのその爆発を符号化してもよいが、指数を含むことは、その爆発の輝度を徐々に低減可能にし、視覚の品質に負の影響を与えないが、例えば電力低減（静的にすることに等しい時間的なコンテンツ駆動）を可能にする。

また、２、３の斯様な基礎プロフィール（例えば指数又は線形セグメント）で、コンテントプロバイダ又は（前に符号化されたマテリアルの）再符号化器は、複雑な時間的プロフィールを作ることができる。これらは、例えば、ＨＤＲ効果を従来のマテリアルに適用するために使用できる。例えば、従来の動画は外に向かって波打っている熱いガスリングを持つ超新星のシーンを含んでもよいが、しかしながら、これは｛０、２５５｝でむしろ簡素に符号化された。そのシーンのＨＤＲ｛０、６５Ｋ｝符号化に到達するために十分なコンピュータグラフィックス予測（又は、再レンダリング）を適用する代わりに、特定の瞬間、例えばその後でＨＤＲ効果が必要とされるＴＭＡ＿３で始まる本発明によって、時間的プロフィール（排他的ではないが、通常は、バックライトを駆動するために）を適用できる。（ほとんど）任意の時間的プロフィールを符号化可能にし、更に空間上の変数を許容することにより、１つは、最も明るいガス雲が、ＬＣＤを駆動するためにオリジナルの（又は処理された）｛０、２５５｝画像内にあるところと近似の同期で、ＬＥＤバックライトを予定されている画像コンポーネントにおいて、例えば外に向かって波打っている時空のマルチ正弦波プロフィールを規定できる。時間的プロフィールの空間特徴ＳＰＡＴＰＲＯＦが、原点（ｘ，ｙ）及び半径ｒ１を持つ円形内に定められた乗法定数のような例えば乗法的形状で符号化できる。しかし、より面白いことに、時間的マップ符号化ＭＡＰは、２次元又は３次元である共同エンコーダでもよい。これは、例えばバックライト画像のための基準解像度（例えば、５０ｘ５０であって、ポートレイト配置の２：３のデータリーダから２１：９のテレビまでの様々なアスペクト範囲を有することができる）を持つことによりなされ、実際のディスプレイバックライトのために再サンプリングできる。このマップは、例えば、領域に対してバイナリ値（１＝来るべき時間スパンの間で重くロードされる、０＝それほど厳しくロードされない）、又は（局所的加熱、時間的経過等を予測し対抗調整するために使用できる）局所的に蓄積される駆動を含む。この場合、数の２次元アレイが符号化され、例えば｛１０、１０、１０、４０、５５、４５、．．．｝は、次の符号化時点まで、次の１０分の固定の合意時間等までの基準ＬＥＤの統合された輝度である。３次元ＭＡＰは、例えば、効果符号化のために使用できるような、より興味深い局所的時空的なデータ（パラメータ又は実際の空間的に局所的な時間的機能）を含む。前者の場合、マップは、正に測定データを含み、ディスプレイ最適化、例えば熱管理画像再処理に関することのための興味深い有益なデータとして使用できるのに対し、後者の場合、例えばバックライトマップ再サンプリング標本化することにより例えばＬＥＤの駆動をガイド又は更に命令できる。バックライトを時間的に変調するための任意の戦略が（例えばＯＬＥＤディスプレイに対する）単一のＨＤＲ駆動に変換できるし、またこの逆も成立し、よって、任意の符号化実施例が、ディスプレイを駆動するための（ＨＤＲ）色空間において（ガイドされた）再処理のために使用できることに留意されたい。

多くのＨＤＲレンダリングタイプＴＹＰＥ（シーン照明ＩＬＬＵＭＣＨＮＧを変更、局所的フィルム環境ＥＮＶＣＨＮＧを変更、爆発ＥＸＰＬのような効果等）は、コンテンツ生産とディスプレイレンダリングとの間の通信のための標準的態様で合意されてもよく、ビデオは、例えば、ディスプレイが（例えばより小さなビュアー興味のエコモードにおいて）電力を節約するためにバックライトを低減することを必要とするか又は所望する場合、暗い環境から、爆発ではないライト環境へ歩く効果をスキップする（又は、爆発の命令開始前に、環境の全て又は多くが変化する）というスクリプトを含んでもよい。又は、限界が、シーン照明タイプレンダリング等に設定されてもよい。追加のパラメータがディスプレイ側のユニットによる処理を補助してもよく、例えば局所的統計値ＬＯＣＳＴＡＴＳは、あまりに高い画素輝度の最大の課題が、２５０画素輝度符号を超えるクリップされた（窓）領域にあり、より大きい量のカラー変形が２００を超えるオリジナルの符号化された画素値に対して適用されてもよい等を示してもよい。

他の有効な実施例は、時間的レンダリングの階層（例えば爆発のような効果）を決定可能にする。重要レベルＩＭＰＬＥＶが符号化されてもよい。ＳＣＮ＿ＥＸＰＬの３つの連続した爆発を見ると、２つのことが見ることができる。第１に、相次ぐ多くの爆発は、視聴者に対してそれほど大きい影響を及ぼさない（この影響は、ディスプレイ及び視聴環境（例えば、明るい環境内のモバイル動画ビュアー）に大きく依存し、２つの明るさに上手く分けることができるだろう［期間によって２つより増えさえしてもよい］爆発を持ち、３つのほとんど同一の連結された爆発より、その間で暗い修正を持って、互いに知覚できる違いだけを加えてもよく、その効果は、より良好な視聴状況の下、ハイエンドのディスプレイでだけ楽しく見られる）。第２に、非常に多くの爆発によりディスプレイを限界まで広げる時に過度の電力消費及び更には加熱が生じ、すなわち、ビデオコンテンツは、ディスプレイの物理的制約と不一致の状態である。

爆発は、特徴的輝度（例えば火の玉全体の平均輝度又は火の玉に特有のサンプルの輝度）で増大する。オリジナルの入力画像の符号化範囲（又はその付随）において、これらを符号化するにはあまり多くのスペースがない。通常は、符号化の範囲境界近くで捕獲された輝度は、プログレッシブに非線形で（ソフトクリッピングで）符号化される。斯様な機能は、共同符号化されてもよいし、又は非常に近似的ではあったとしても、デコード側で（又はトランスコーディング側で）推定されてもよい。何れにせよ、効果に対する大きな範囲（Ｒ＿ＵＰＥＦＦ）がある場合、ディスプレイ出力のための最終的な輝度は、更に離れていてもよい。しかしながら、観察者に対する衝撃及び感度の減少の観点で、爆発の付加的な押し上げは順を追ってでよく、多数の連続した爆発は利用できる範囲Ｒ＿ＵＰＥＦＦ内にもはや当てはまらない。有効な概念は、「かなり目立つ違い」ＷＮＤである。これは、例えば、多くのＪＮＤとして規定され、技術者による符号化のための衝撃スケールの基礎を形成する。適用されるべき処理は、例えば連続した爆風間の多くのＷＮＤのためのガイドラインとして、符号化された衝撃を利用できる。これは、プロフィールＰＲＯＦ符号化を介してなされ、より明確には、許容された処理ＡＬＷＤＰＲＯＣによって、例えば画像で最も明るい半分についてのトーンマッピングによりされることができる。

しかし、また、重要レベルは、特定の時間的レンダリングを低下させるか、又はかなり褪色可能にする。第１及び第３の爆風がＩＭＰＬＥＶ＝１を持つのに対して、第２の爆風はＩＭＰＬＥＶ＝２を持つ。これは、最初及び最終の爆発で、より最適な視覚経験を供給するため輝度範囲に余地を作ることが落ちる（又は変形される）ことを意味する。また、他の理由のために、（局所的な）バックライト調光のようなレンダリングの変化が必要とされる場合、ディスプレイは、最重要レベル、例えばＩＭＰＬＥＶ＝３で始まり、次にＩＭＰＬＥＶ＝２の時間スパンが来る等である。第２の爆発の視覚的影響を減らさない又は変形させないために、バックライト駆動で失われるものは、ＬＣＤに対する画像の画素値を過度に明るくすることにより部分的に補償されてもよい。これは、近似のＬＣＤ画像補償によりディスプレイで自動的になされるか、又は、明確に特定のトーンマッピング処理ＡＬＷＤＰＲＯＣにより符号化できる。また、視覚的衝撃は、色仕様ＣＯＬによって、ＬＣＤ又はバックライト画像の色彩のパラメータを局所的に変えることによりシミュレーションされ、色仕様ＣＯＬは、例えば、主要な対象物又は領域（この場合爆発）に対する色差ＨＭ、主要な対象物又は領域に対する彩度差ＳＭ、周囲領域、例えば残りの画像に対する色及び彩度差を有する。

物理的制約ベースの画像処理に対する興味は、（例えば、８０％を超える予測された基準ディスプレイバックライト駆動を持つ）次の過度の特徴的輝度までの時間ＤＴ、過度の特徴的輝度の期間ＤＵＲ、将来の時間間隔で費やされる平均輝度又は電力ＰＡＶ等のような将来の特徴的輝度関連のパラメータＮＸＴＬＤである。例えば変化した特徴的輝度間隔の時間のような情報が、ディスプレイにより、例えばディスプレイのエネルギー挙動又は人の視覚を式的にモデル化することにより、時間的プロフィールを決定するために使用できる。例えば、来たるべき３０秒又は５分、バックライトローディングの導出される最終的な仕様に基づくバックライト調光を計算し、例えば、最終的な仕様の多くの値又は分類に基づいて指数をスケーリングしてもよい。

図５は、本発明に従って種々のアノテーションデータを符号化する映画のポストプロダクションの色評価者（color grader）５９９のための組み合わせ装置（又は、色評価者は、今までに蓄積されてきたビデオの半自動的なアノテーションを操作している場合もある。）の例示的な実施の形態を模式的に示している（全ての可能性を列挙することは簡潔さの助けとならず、当業者は、説明される例から始まる類推によってそれらの可能性を決定することができる。）。原理的には、自動装置、例えば、得られた映画を特定のディスプレイのために夜間に最適化する家庭用の前処理デバイスも本実施の形態を具現化するが、我々は、人間による評価の概念を例示することに注意されたい。色評価者は評価装置５００を有しており、評価装置５００は、典型的には、「ビデオの次の１０秒」、「目立たない（minor）時刻の現在の階層を示す／隠す」、「時刻マークの追加」のような固定的な意味を持つボタン、英数字キーパッド、色相を決定するため又は連続する重要なビデオ画像の時間的選択を進めるための回転ボタンにより種々の選択、パラメータ等を指定するユーザ入力手段５０１を有している。色評価者は、また、幾つかのディスプレイ、例えば、基準ＨＤＲディスプレイ５１１、映画の時間的解析のためのディスプレイ５１２も有している。例えば、予め計算された特徴的輝度のプロファイルを伴う幾つかの重要なフレームが示され、色評価者は、これに基づいて時刻を書き入れ、それらをダブルクリックして追加データを符号化するページを開き、タイプＩＬＬＵＭＣＨＮＧ及びカラープレーンのような追加のディスプレイ上で動くヘルパーアプリケーションにより容易に供給され得る統計パラメータのような追加データを打ち込む。全ての自動事前計算は、上述した種々のパラメータ、例えば、特徴的輝度のプロファイル、必要に応じて特徴的輝度のプロファイルの変化に関する初めの時刻、レンダリングサイドにおいて適用される好ましいプロファイルのような他の符号化の初めのコード化を決定する画像解析ユニット５２０により行われる。色評価者は、その後、提案を容易に受け入れるか又は捨て、第２のケースでは、自身の人間により与えられる意見を有している。アプリケーションユニット５２２は、現在利用可能な全ての符号化を当てはめ、これらを視聴サブユニット５２２１を介して種々のディスプレイに送る（例えば、ディスプレイ５１２を視聴する決定された時刻ＴＭＡ＿１、ＴＭＩ＿１…の近くの最適な重要画像の選択及び基準ＨＤＲディスプレイ５１１で視聴する最終的な見え方）。ユーザ入力手段のボタンの１つは、典型的には消費者のリビングルームにある種々の基準ディスプレイ、例えば、ディスプレイ５１１でシミュレートされる５００ｎｉｔのディスプレイ、ディスプレイ５１１でシミュレートされる１０００ｎｉｔのディスプレイ等の間における素早い切り替えのために用意されている。これらのシミュレーションは、エコモード又は鮮明化のような特定のディスプレイが場合によっては当てはまる画像処理の幾つかの（例えば最悪のケースの）シナリオを含んでいる。色評価者は、その後、全ての自分の決定の影響を素早く見ることができ、ディスプレイが依然として非常に変化する量の処理を適用することを可能にする単一の誘導を大まかに符号化している（これは、非常に異なる最終的なレンダリングをもたらす）かどうか、又は種々の参照シナリオ（例えば、旧式のＬＤＲディスプレイ、中間レンジのディスプレイ、暗い環境対明るい環境）に対する指定のセットをしっかりと符号化しているかどうかを見ることができ、ディスプレイは、その後、最も適切な指定を選択することによりできる限り厳しく一致するようにしなければならない。最後に、エンコーダ５２４は、任意の予め記述されたフォーマットに従って全てのデータ（例えば、共同符号化ビデオ＋データ信号ＮＤＡＴ）を符号化し、出力部５３０を介して接続部５３１に、例えば記憶デバイスにこれを送り、その後、上記記憶デバイスから例えばＢＤ又はＤＶＤが焼かれるか、又は、最終的な符号化（ビデオ＋追加データ）が、例えば、衛星を介してケーブルコンテンツプロバイダに別々に若しくは一緒に送られる等である。上記エンコーダは、予め規定されたフォーマットで時刻を符号化し（例として以下を参照されたい。）、予め規定されたフォーマットで受信側において当該時刻の辺りで行われるものを符号化する再処理戦略指示フォーマッタ５２４１を更に有する。例えば、エンコーダは、幾つかのフィールド（例えば、１０の予備フィールド）において行われ得る処理のタイプのインデックス番号を書き込む（例えば、field 1=”1”は、field 2=”x”の傾きを持つ現在対象とする出力輝度の直線的な減少を意味する。）。

受信側では、（図６に示されているような）ビデオ操作／復号ユニット６００が、例えば、ディスク読み取りユニットを有するビデオ処理装置に組み込まれている（図１の例では、このビデオ操作ユニットはＢＤプレーヤ１１０のＩＣ１１２であるが、テレビ、ディスプレイに接続されたホームネットワーク内のコンピュータ等にも含まれ得る。）。ＩＣ１１２及び／又はＢＤプレーヤは、出力としてディスプレイを駆動するのに適した信号、例えば、バックライト駆動画像成分ＩＬＩＭ及びＬＣＤ駆動画像ＬＣＤＩＭを有する出力画像符号化ＩＭＯＵＴを生成する。このビデオ操作ユニットは、（例えば、ＢＤ読取器、ケーブル接続セットトップボックス等から）入力部６４０を介して符号化ビデオを受け取り、（典型的には下位互換性のある、すなわち、例えばＡＶＣのようなＭＰＥＧ規格に準拠して符号化された）ビデオ及び特徴的輝度の変化の時刻ＴＭＡ＿１…のような本発明の実施の形態に従う追加データを復号する復号器６２４を有しており、更に、そのような時間間隔及びその中のビデオの符号化部を指定する（タイプ、ビデオの統計、適用されるマッピングプロファイル等）。ビデオ復号ユニット６００は、典型的には、時刻ＴＭＡの辺りで又は時刻ＴＭＡにより若しくは時刻ＴＭＡに関連して規定される輝度／色の再処理に関連する情報を受け取り、復号する（例えば、ＴＭＡは、かなり後の操作を規定する。）。ビデオ操作ユニット６００は、典型的には、ビデオ処理を適用する復号されたビデオＶＩＤの解析を行うビデオ解析器６２０も有して設けられている（例えば、ディスプレイは、本発明のプロファイルの指定を高める更には無視する特定の効果を適用することが好ましいが、これは、少なくとも問題にしている時刻ＴＭＡ＿１を知ることによって助けられ、草のテクスチャの改善のような本発明に関連する場合によってはより少ないビデオ処理も適用され得る。）。最後のビデオ処理は、ビデオ解析器６２０からの解析に部分的に基づくとともに、一部分は本発明の任意の実施の形態に従って復号された追加データＤＤに基づいて、ビデオプロセッサ６３０により行われ、結果として得られるビデオの符号化（図１の例の場合、典型的にはＬＣＤ及びＬＥＤ駆動画像）が、出力部６５０を介してディスプレイに送られる。接続されるディスプレイ６０００も破線で模式的に示されている（勿論、復号することができるビデオ操作ユニット６００は、他の装置、例えば、トランスコーダ又は記憶デバイス等に接続され得る。）。スマートディスプレイが接続される場合、典型的には、ビデオ操作ユニット６００は、（最適なビデオ信号を既に作り出している場合でさえも）なおたくさんの元の情報ＤＤ、例えば、特徴的輝度が、どのように少なくとも１つ又は幾つかのこの先の時間セグメントにおいて変化するかの指定ＳＰＥＣＦＵＴを出力する。ディスプレイは、ディスプレイパネル６００１においてレンダリングする最終的な信号に達するようにこのデータを用いることができ、例えば、ディスプレイの好みに従って最適なビデオの駆動を決定する視聴経験オプティマイザ６００２を有している。

追加データＤＤは、種々のやり方で信号において符号化できる。例えば、ビデオの開始で主ヘッダは、フィールドの大部分、例えば、どの処理がテレビにより可能であるかどうかのような詳細を持つ時点ＴＭＡ＿１．．．のリストを有し、例えば、フィールドは、キーワードＣＯＬで始まり、その後に４つのパラメータ（ＨＭからＳＳ）を持つ。又は追加データＤＤは、間もなくやってくる画像に関する特徴的輝度のプロファイル又は他のプロファイルを特徴付ける線形セグメントの構成、曲線の３次元ポイントデータとして空間位置を持つ３Ｄ ＬＵＴ、又はパラメータのスパースリスト等を有する。しかし、また、画像のヘッダ、ＧＯＰ又はブロックのグループが、例えば次の特徴的輝度変化までの時間及びそのタイプのような間もなくやって来る（通常は少ない）データを含んでもよい。よって、データＤＤは、（例えば、ＳＥＩのような事前に決められたオープンキャッチの予約データ構造を使用して）ビデオ信号ＶＩＤとして見られる内部又は外部で、関連付けられて符号化できる。この符号化は、例えば、ビデオＶＩＤの識別（例えば、タイトル＋他のスペック、又はウォーターマーク）が、サービスプロバイダに送られるサービスにおいて使用でき、サービスプロバイダは、その後追加データＤＤへのアクセスを送信又は供給する。例えば、消費者により取り込まれるビデオのような他のビデオの場合、全体のビデオ信号ＶＩＤは、プロバイダに送られるが、（一般に、映画のように既知のビデオデータが存在しない）そのようなシナリオの場合、データＤＤは、同じハードディスク及びその場合には同じホームネットワーク記憶装置ではない場合、好ましくは、取り外し可能な記憶装置において（おそらくＶＩＤの外部であるが）ＶＩＤと密接に関連付けられて記憶される。これは、特に、消費者自身の装置（例えば、セットトップブックス、ラップトップコンピュータ）の１つがビデオ解析を行い、追加データＤＤを与える場合に当てはまる。

図７は、装置が所望のビデオレンダリングに到達するように追加データを使用する際に、数学的に生じること、特徴的輝度の背後の関係、ビデオ画像の基礎となる画素の輝度、特にこれらのヒストグラムの例示的な実施の形態を詳細に示している。説明を簡単にするため、（ヒストグラムがグラフの下に示され、左へ０と２５５との間で増大する画素の輝度Ｌｉｎ）入力画像が、ＬＤＲ符号化され、部分的なヒストグラムＢＲＬＧＨＴを持つ単一の明るい領域を持つと仮定する。この入力画像は、特徴的輝度（以前に説明されたように、画像が（物理的に又は知覚的に）どれくらい明るいかを要約する入力画像の画素の空間的及び／又は輝度（／色）値分布の任意の空間／値式である）ＣＨＲＬＵＭ＿ｉで特徴づけられ、この場合、これは、Ｌｉｎ軸上の低い位置のため、非常には明るくないことを示す（おそらく多くの暗いピクセルがあるので、明るい領域が量的又は輝度的に優勢ではない）。よって、この単一の特徴的輝度は、明るい領域があっても、大部分うす暗い画像を規定する（一般に、現在の画像又はショットの複雑さを記述する他の特徴的輝度値を有する、より複雑な特徴が使われてもよい）。出力輝度Ｌｏｕｔ（バックライト／伝送分解を介するか介さないにせよ、すなわちＬｏｕｔは、おそらく例えば完全に符号化された｛０、６５Ｋ｝画像を表すか、又はバックライト駆動画像のヒストグラムを表わす）でのディスプレイ駆動を意図したＨＤＲ色空間にこのオリジナルの画像を表すことは、最初の（オリジナルの、開始の）特徴的な輝度ＣＨＲＬＵＭ＿ｉｎｉに対応する（例えば、単なる伸展、又は標準の範囲で５００ｎｉｔ表現［すなわち、２０００ｎｉｔディスプレイに対して、駆動値の最も低い四半分のある部分に対応するガンマ補償又は線形駆動のために］の暗い輝度をマッピングする非線形な関数からの結果である｛０、６５Ｋ｝画像での入力画像に対するのと同じ式で計算され、より明るい対象物は、ＨＤＲ範囲のより高い輝度値にマップする）。ＨＤＲ範囲に対する最初の割り当ては、Ｌｉｎ＊（輝度偏差／押し上げを必要としない画素のために示される例）として概念化された。しかしながら、高い特徴的輝度ＣＨＲＬＵＭ＿ｏに対応する、Ｌｏｕｔ軸上の上方へＢＲＬＧＨＴの部分的なヒストグラムを移動させて、付加的な例えば心理的押し上げを少なくとも最も明るい輝度／領域に与えることを所望する。本発明を定めるために特徴的輝度に概念的に関係する全てを説明しているが、これは、幾つかの種々異なる態様でも実際に実現できる点に留意されたい。通常、画像処理は、（局所的）トーンマッピング（ＴＭＯ＿Ｂ）のようなオペレーションに対応し、これは通常、（ＤＤから検索される幾つかのデータにより少なくとも部分的にガイドされて）時間と共に変わり、第２の垂直ヒストグラムから明らかに見えるように、後の時間（ｔ２）の間、部分的なサブヒストグラムＢＲＬＧＨＴは、幾分下がり、下位の特徴的輝度ＣＨＲＬＵＭ＿ｏ（ｔ２）に対応する［本発明の実施例により定められるように、通常、トーンマッピング戦略だけが時間及び追加データの関数として変化するので、説明を簡単にするため、入力画像ヒストグラムはｔ２で同じであると仮定し、さもなければ、出力ヒストグラムに反映されるだろう］。前述のように、本発明に従う同じ処理概念は、加えて、又は同様に、例えば部分的なヒストグラムＳＰ＿Ｉ対ＳＰ＿Ｏの局所的スパンを見ること等により、特徴づけられる（すなわち、特徴的輝度を計算でき、同じことを測定する代わりの表現は、等価である）。任意の実施例が単一のストリームラインのオペレーションで実現できるので、再処理は、処理の包括的な意味に解釈されるべきである。時点ＴＭＡ＿１等は、より高い密度のレート（及び／又は更に等距離）でビデオに符号化できることに留意されたい。この場合、これら時点の中の幾つかは特に特別ではないので、これらに変化無コード、少なくともＡＬＣＯＲＲ「ｎｏｔ＿ａｌｌｏｗｅｄ」コード又は類似のコードを与える（しかし、これは、幾つかの特徴的輝度関係があるか同様の特性の高い密度の説明を持つために有効であり、これは、バックライト駆動のような例えばエネルギー要件のための時間的に近くでの処理を制御するために有効である）。これらが実際に発生する前に、関係のある概念は、幾らかの符号化変化である。

光学的効果のレンダリング（例えば、シャインスルー（shine-throughs）等）を実現し得ることを理解されたい。また、本発明は、単一の動画像符号化ＶＩＤ（例えば、ＬＤＲ符号化の拡大）に関連して用いられ得るが、幾つかの関連する符号化とともにも用いられ（例えば、ＬＤＲ及びＨＤＲの変形）、それらを関連付けるために用いられ得ることも理解されたい。例えば、時点が類似性又は相違性の特に興味深い時間セグメントを示し、画像処理プロフィールは、これらを関連付けるか、これらをより類似させたりさせなかったりするか、又は両方に対して新規なレンダリングを得る等をする。追加データの少なくとも幾つかの部分は、ビデオデータの少なくとも一部に決定されるか、又は分かれてもよい（通常、幾らかの相関があるにもかかわらず、人間は幾らか特定の定式化を規定してもよい）。更にまた、時点等のような追加データの派生（例えばＨＤＲ等級）は、任意のＨＤＲ信号から始まって好ましくはなされるが、例えば粗い見積もりとして、導き出されたビデオ符号化に基づいてなされることができる。

幾つかの実施の形態により本発明が詳しく述べられたが、ビデオの受信及び典型的には表示側に関する組み合わせ装置に関連する更なる可能性のために図１に戻る。幾つかの他の装置は、本発明の構成要素の少なくとも一部を有し、本発明に寄与し、例えば、記憶装置を備えたビデオ受信装置１２０は、接続部（無線又はケーブル）１２１を介して接続され得る。このビデオ受信装置１２０は、接続されたディスプレイのバックライトに関する賢明な駆動戦略を作り出すために、例えばインターネット１３０への接続部１２２を介してダウンロードされたビデオプログラムについて、後で視聴されるように例えば夜間にオフラインで本発明に従って解析及びアノテーションを適用することができる。

図８は、第１の側の装置（第１の側は、典型的には、依然としてこの組み合わせ装置の他の装置と同じ場所にあり、例えば利用者の家であるが、場合によっては異なる時間に動作する。）と第２の側の装置（例えば、テレビ）とを備えた例示的な組み合わせ装置を説明している。この例では、第１の側の装置を、べき関数を用いる画像処理装置８００として具現化し、例えば、この装置は、映画を前処理する記憶装置を備えたセットトップブックスである（勿論、同じことが既にテレビで又は処理の側の世界のどこか等において起こり得る）。

例えば米国特許出願ＵＳ７２８４８７４Ｂ号公報（Jeong、冷却部を含むバックライト）に説明されているように、ディスプレイは非常に熱くなり、特に、多くの明るい画像が表示される場合、バックライトが非常に熱くなり、とりわけ、クーラーが仕様書を上回って作動しなければならない場合には、熱くなりすぎる。しかしながら、バックライトの領域からの熱がどのように変換されてなくなるかをモデル化することができる。

画像処理装置８００は、熱的性能に関連するやり方でビデオを分析するビデオ分析器８０１を有している。すなわち、ビデオ分析器８０１は、典型的には熱的モデルの知識を有しており、例えば、予めインストールされた表示特性（例えば、接続されるテレビのバックライトの熱的モデル）の熱的特性に対して爆発又は屋外のシーンにおける明るい景色のような特定のビデオに影響を及ぼす。受信側が熱的モデリングの中で用いる「一般の（generic）」時間特性評価を単に送るいくらかより単純な分析ユニット及び代替として受信ディスプレイについての最適なディスプレイの駆動挙動を既に大部分は決定している解析ユニットについて説明する。ビデオ信号８２０は、２つの爆発を含んでいる。一般の時間特性評価は、特定のモデリング関数８２１を用いて、少なくとも１つのそのような爆発又は一般的な今後の輝度のプロファイルを説明する。例えば、今後（又は局所領域等）の幾つかの画像の特徴的輝度の線形の加法的な重み付けが計算される。より長い期間は過熱のより大きな可能性を持つことになるので、一般的に、そのような重み付けは（基準ディスプレイについての）オーバーロードの持続時間に依存する。すなわち、より長く持続する爆発の重み付けは、より大きい（振幅が小さい状態で（trivially）組み込まれる。）。重み付け計数は、例えば、テレビ／第２の側から受け取られる。とにかく、テレビは、その設定をより安全に決定するためにビデオのそのような熱的時間特性評価ＴＥＭＰＲＥＬを用いる。例えば、現在与えられている追加データを利用できないテレビは、点線で示されているプロファイル８７０に基づいてバックライトの変調を行う。これは、単にブーストをフォローするが、過熱しているので不十分に暗くしなければならない。第２のブーストが来ているということを知らないと、熱的理由のため、強制的に緩くなり、より明るくなるだろう（第２の爆発を第１の爆発よりも明るくするのではなく、明るくしない）。上記追加データを用いる場合、ディスプレイは、破線で示されている特徴的輝度のプロファイル８７１で表されているより賢明な駆動戦略を用いることができる。すなわち、ディスプレイは、爆発の前の暗い部分においてあまり煩わしくないように暗くなる。すなわち、爆発の前に、暗い部分で悩ましくも減光が弱くなり、おそらく第１の爆発で幾らか減光され、第２の爆発のためのブーストを確保する。

代替として、ビデオアナライザ８０１は、実際の（概算の）変更８２２の効果である所与の実際のサーマルモデルをシミュレーションし、少なくともディスプレイの一次的な案内のために、変更モデルとして、これらを定める。任意のシナリオにおいて、電力関係のディスプレイ駆動オプティマイザ８５０は、得られる任意の追加データＤＤに基づいて、ディスプレイの最終的な駆動を決定する。代替の実施例は、追加データＤＤとして、例えば時間的に変化する警告信号、又はディスプレイが過熱するのが（おそらく）どれくらい重要になるかを特定する利用可能な熱バジェット等を特定する。

図９は、ＭＰＥＧ４−ＡＶＣのＳＥＩ構造に適合する本発明の追加データを符号化する例示的な実施の形態を与えている。「コンテンツ制作」サイドから民生用のテレビのようなコンテンツレンダリングサイドへのブロードキャストの一例としてＡＶＣの例を説明し、例えば、ブルーレイプレーヤ及びテレビのような２つの民生用装置間の符号化のＣＥＡ８６１−Ｄの例及びそれらの間の制御又は情報の可能性を説明する。

ＭＰＥＧは、符号化された動画に関連する追加の信号情報専用の特別なメタデータコンテナを規定している。このメタデータコンテナは、ＳＥＩメッセージと略される付加拡張情報メッセージと呼ばれる。上記ＳＥＩメッセージは、ストリームのビデオデータとともに別々のデータブロックで伝えられる（ＳＥＩのＮＡＬユニット９０１）。

Ｈ２．６４ストリームは、ＮＡＬ（Network Abstraction Layer）ユニットから構築される。Ｈ２．６４では、幾つかの異なるタイプのＮＡＬユニット、例えば、コード化画像データを含むＮＡＬユニット及びＳＥＩメッセージを含むＮＡＬユニットが規定されている。これらのＮＡＬユニットの幾つかは、一緒にアクセスユニットを形成する。アクセスユニットでは、復号及び１つ又はそれ以上のビデオフレームを与えることを開始するために必要とされる全てのデータが入手可能である。

例えば非常に明るいシーンの時刻は、ＰＴＳ（programming time stamps）値により記載され得る。ＤＴＳ値は、十分に間に合うように、いつＳＥＩメッセージが復号され、それを用いてサブユニットに送る必要があるかを示す。

ＨＤＲ輝度ブースト指定子９０２を運ぶ例示的なＳＥＩメッセージの構文は、以下のようである。

このメッセージでは、コード化は以下の意味を持つ。
Maker_bit(s)：ＳＥＩメッセージの開始を示すビット
Frame_rate：システムクロックまでのＰＴＳ値を計算する関連するビデオのフレームレート
PST_start：非常に明るいシーンを含む最初のＩＤＲフレームのＰＴＳ値
PST_end：非常に明るいシーンを含む最後のＩＤＲフレームのＰＴＳ値
HDR_DTS：ＳＥＩメッセージがいつ復号されるかを示すタイムスタンプ
Region_horizontal_picture：非常に明るいフレームの領域の水平方向の位置
Region_vertical_picture：非常に明るいフレームの領域の鉛直方向の位置
Region_width：領域の幅
Region_height：高さ
HDR_Gain：例えば、ディスプレイが過熱することなく取り扱うことができる基準レベルに関連して現在のフレームがどの程度明るいかを定義するコード

以下の例は、ビデオコンテンツ配送装置とディスプレイとのビデオインターフェースにわたる信号伝達部に埋め込まれたメッセージを有している。これに関する現在の例示的な規格は、ＨＤＭＩ（登録商標）及びディスプレイポートである。両方の規格における信号伝達は、ＣＥＡ８６１−Ｄ規格に基づいている。これは、ビデオ伝送の垂直帰線消去期間に伝送され得る多バイトより成るベンダー独自のインフォフレームのコンテンツを規定する。

例示的なＨＤＭＩ（登録商標）のベンダー独自のデータブロックＨＤＲはこのようである。

このテキストに（完全に又は部分的に）開示されているアルゴリズムの構成要素は、実際にはハードウェア（例えば、特定用途向けＩＣの一部）として又は専用デジタル信号プロセッサ又は一般的なプロセッサ上等で動くソフトウェアとして実現され得る。上記アルゴリズムの構成要素は、少なくとも幾らかのユーザが（工場又は利用者の入力において）存在する／していたという意味で半自動式である。

我々の提案から、当業者であれば、どの構成要素がオプションの改善であり、他の構成要素と組み合わせて実現され得るか、並びに、方法の（オプションの）ステップがどのように装置の各手段に対応するか及び装置の各手段がどのように方法の（オプションの）ステップに対応するかが理解可能であるべきである。或る一定の関係で（例えば、或る構成の単一の図面において本発明において幾つかの構成要素が開示されるという事実は、本明細書において開示された発明の思考と同じ発明の思考の下で他の構成が実施の形態として可能ではないことを意味してはいない。また、プログラムの理由のために、実施例の限定された範囲のみが説明されたという事実は、他の変形例が特許請求の範囲の広い範囲に該当することができないことを意味してはいない。実際には、本発明の構成要素は、任意の使用のチェーンに沿った種々の変形例において具現化され、例えば、全ての符号化器の変形例は対応する復号器と同様であり又は対応する復号器に対応し、その逆もまた同様であり、伝送又は符号化器と復号器との間の任意の伝送技術における調整のような更なる使用等のための信号において特定の信号データとして符号化され得る。本願において「装置（apparatus）」という用語は、広い意味で、すなわち、特定の目的の実現を可能にする手段のグループという意味で用いられ、従って、ＩＣ（のごく一部）、専用機器又はネットワーク化されたシステムの一部であり得る。「組み合わせ装置（arrangement）」も広い意味で用いられるように意図されており、特に単一の装置、装置の一部、協働する装置の（一部の）集まり等を有していてもよい。

コンピュータプログラム製品が意味するものは、発明の特徴的機能のいずれかを実行するために、プロセッサにコマンドを入力するための（中間言語及び最終的なプロセッサ言語への変換のような中間の変換ステップを含む）一連のローディングステップの後、汎用又は専用プロセッサを有効にするコマンドの集合の任意の物理的実現をもたらすものであることを理解されたい。特に、コンピュータプログラム製品は、例えばディスク又はテープのような媒体上のデータ、メモリ内に存在するデータ、有線又は無線のネットワーク接続を介して伝わるデータ又は紙面上のプログラムコードとして実現され得る。プログラムコードとは別に、プログラムに必要な特徴的なデータもまたコンピュータプログラム製品として具現化され得る。そのようなデータは、任意のやり方で（部分的に）供給される。

方法の実施のために必要なステップの幾つかは、（本発明の実施の形態の詳細により）本明細書において説明されたコンピュータプログラム製品若しくは任意のユニット、装置又は方法において説明されるのではなく、データの入力及び出力ステップ、標準的なディスプレイの駆動のようなよく知られている典型的に組み込まれる処理ステップ等のような本発明のプロセッサ又は任意の装置の実施の形態の機能に既に存在し得る。我々は、結果として生じる製品及び同様の結果物、例えば、方法の任意のステップにおいて若しくは装置のサブ部分に含まれる固有の新しい信号及びそのような信号の任意の新しい使用又は任意の関連する方法についても保護を望んでいる。

上述した実施の形態は、本発明を限定するのではなく説明していることに注意されたい。当業者であれば、与えられた例を特許請求の範囲外の領域に対応付けることを容易に実現することができる点で、我々は、簡潔にするために、これらのオプションの全てについて詳細には説明していない。特許請求の範囲において組み合わされる本発明の要素の組み合わせとは別に、要素の他の組み合わせが可能である。要素の任意の組み合わせが単一の専用の要素において実現され得る。

特許請求の範囲における括弧内の任意の参照符号は、特許請求の範囲を限定するようには意図されておらず、図面の任意の特定の符号も特許請求の範囲を限定するようには意図されていない。「有する」という用語は、特許請求の範囲に列挙されていない構成要素又は観点の存在を排除するものではない。構成要素の前に付された「a」又は「an」という語は、複数のそのような構成要素を排除するものではない。

Claims (24)

1. ビデオデータに加えて、前記ビデオデータの特徴的輝度の時間的変化を示す少なくとも１つの変化時刻を有する追加データを符号化する方法であって、前記特徴的輝度は前記ビデオデータの画像中の画素の輝度のセットを要約したものであり、この方法は、
   前記ビデオの前記特徴的輝度の変化の記述的データであって、少なくとも１つの変化時刻を有する前記記述的データを、前記ビデオデータに基づいて生成するステップと、
   前記ビデオデータを符号化し、出力するステップと、
   追加データとして前記記述的データを符号化し、出力するステップと
   を有する、当該追加データを符号化する方法。
2. 前記追加データ内の、テレビのディスプレイのような前記ビデオデータ及び追加データを用いる装置により前記ビデオデータの画素の少なくとも輝度の許可された再処理戦略の少なくとも１つの指示を符号化するステップを有する、請求項１記載の追加データを符号化する方法。
3. 低いダイナミックレンジと高いダイナミックレンジとの間で、輝度をレンダリングされる画素にマッピングするステップを有する、請求項１記載の追加データを符号化する方法。
4. プリフィクスの一致したコードのセットから特定の再処理コードを符号化するステップを有する、請求項２記載の追加データを符号化する方法。
5. 最初の輝度と比較して時間間隔の間に前記ビデオデータの画素の輝度を再処理するために、前記少なくとも１つの変化時刻の周りの連続する時刻にわたって予め記述される、偏差の戦略を計算する数学的アルゴリズム又は符号化される時間的プロファイルとして符号化される輝度の偏差の戦略を、前記追加データにおいて符号化するステップを有する、請求項２記載の追加データを符号化する方法。
6. 前記再処理が、レンダリングされる画素の輝度から知覚された明るさをモデリングする心理視覚的モデルに基づく、請求項２ないし５のいずれか一項に記載の追加データを符号化する方法。
7. 前記再処理が前記ディスプレイの物理的特徴及び／又は視聴環境に基づく、請求項２ないし５のいずれか一項に記載の追加データを符号化する方法。
8. 前記再処理がバックライトのための照明画像を決定するステップを有するタイプのものであり、符号化ステップが、二次元マトリクスの場所の少なくとも空間領域に対する基本的な基底関数の寄与で構成された時間的関数のような前記変化時刻の周りの時間間隔の間にバックライトに対する前記照明画像の決定に影響を及ぼすデータを符号化するステップを有する、請求項２ないし７のいずれか一項に記載の追加データを符号化する方法。
9. 前記追加データ内の、前記変化時刻の今後の特徴的輝度の情報及び／又は基準ディスプレイのバックライトのための照明画像の予想される輝度の情報を符号化するステップを有する、請求項１ないし８のいずれか一項に記載の追加データを符号化する方法。
10. 前記追加データ内の、少なくとも１つの変化時刻についての重要性の指示を符号化するステップを有する、請求項１ないし９のいずれか一項に記載の追加データを符号化する方法。
11. ビデオデータに付加的な追加データであって、前記ビデオデータの特徴的輝度の時間的変化を示す少なくとも１つの変化時刻を有する当該追加データを符号化するビデオ符号化装置であって、前記特徴的輝度は、前記ビデオデータの前記特徴的輝度の変化の記述的データに基づいて前記ビデオデータの画像中の画素の輝度のセットを要約したものである、当該ビデオ符号化装置。
12. 前記追加データ内の、前記ビデオデータの画素の少なくとも輝度の許可された再処理戦略の少なくとも１つの指示を符号化する再処理戦略指示フォーマッタを有する、請求項１１記載のビデオ符号化装置。
13. ビデオデータに加えて、請求項１ないし１０のいずれか一項に記載の方法に従って追加データを符号化するビデオ符号化装置。
14. ビデオデータに付加的な追加データであって、前記ビデオデータの特徴的輝度の時間的変化を示す少なくとも１つの変化時刻を有する当該追加データを復号する方法であって、前記特徴的輝度は前記ビデオデータの画像中の画素の輝度のセットを要約したものであり、この方法は、少なくとも１つの変化時刻を出力するステップを更に有する、当該追加データを復号する方法。
15. 更に、前記追加データから前記ビデオデータの画素の少なくとも輝度の許可された再処理戦略の少なくとも１つの指示を抽出し、予め取り決められたフォーマットで前記指示を出力するステップを更に有する、請求項１４記載のビデオデータに付加的な追加データを復号する方法。
16. 請求項１ないし１０のいずれか一項に記載の符号化方法で符号化される任意の少なくとも１つのデータ要素を復号し出力する、請求項１４記載のビデオデータに付加的な追加データを復号する方法。
17. ビデオデータに関連する追加データであって、前記ビデオデータの特徴的輝度の時間的変化を示す少なくとも１つの変化時刻を有する当該追加データと前記ビデオデータとを復号するビデオ復号装置であって、前記特徴的輝度は、前記ビデオデータの画像中の画素の輝度のセットを要約したものであり、出力部を介して前記少なくとも１つの変化時刻を少なくとも出力する、当該ビデオ復号装置。
18. 前記ビデオデータの画素の少なくとも輝度の許可された再処理戦略の少なくとも１つの指示を更に復号する、請求項１７記載のビデオ復号装置。
19. 更に、プリフィクスの一致したコードのセットから特定の再処理コードを復号する、請求項１８記載のビデオ復号装置。
20. 更に、最初の輝度と比較して時間間隔の間に前記ビデオデータの画素の輝度を再処理するために、前記少なくとも１つの変化時刻の周りの連続する時刻にわたって予め記述される、偏差の戦略を計算する数学的アルゴリズム又は符号化される時間的プロファイルのような輝度の偏差の戦略を復号する、請求項１８記載のビデオ復号装置。
21. 更に、バックライトに対する駆動画像を決定する少なくとも１つの指定を復号する、請求項１８記載のビデオ復号装置。
22. 更に、前記変化時刻の今後の特徴的輝度を要約した少なくとも１つの指定及び／又は基準ディスプレイのバックライトに対する照明画像の予想される輝度の情報を復号する、請求項１８記載のビデオ復号装置。
23. 請求項１７ないし２２のいずれか一項に記載のビデオ復号装置と、少なくとも１つの変化時刻に基づいてレンダリングを変えるディスプレイとを有する、組み合わせ装置。
24. ビデオデータとインターリーブされたか又はビデオデータとは別の場所にある、請求項１ないし２３のいずれか一項に記載の追加データを有するブルーレイ光ディスクのような画像データ記憶手段。