JP2015180062A - ビデオシーケンス処理方法及びビデオシーケンス処理装置 - Google Patents

Abstract

【課題】少なくとも2つのビデオ画像により形成されるビデオシーケンス処理方法を提供すること。
【解決手段】当該方法は、第1視野(C1)の第1取得モジュール(120、41)を利用して少なくとも2つのビデオ画像を取得するステップであって、ビデオ画像の各々は異なる時点で又は異なる地点から取得される同じシーンを表現し、当該方法は、第1視野より広い第2視野の第2取得モジュールにより取得される少なくとも1つの全体画像からルミナンス情報を決定するステップであって、全体画像は異なる時点で又は異なる地点から取得されるシーンを表現する、ステップと、ルミナンス情報を考慮してビデオ画像のダイナミックレンジを狭く変換するステップとを有する。
【選択図】図１Ａ

Description

＜１．技術分野＞
本発明は画像処理において実行されるダイナミックレンジ変換の技術分野全般に関連する。

定義により、ダイナミックレンジは、輝度に応じて変わり得る品質についての可能な最大値と最小値との間の比率であり、輝度は所与の方向に進む光の単位面積当たりの光強度測定値である。

具体的には、本発明は画像又は画像シーケンス(画像は「フレーム」と言及されてもよい)のダイナミックレンジを減らすことに応用可能である。言い換えれば、本発明は、画像のピクセルについての所定の本来のダイナミックレンジに属する輝度値(又は画像シーケンスの画像各々のピクセルの輝度値)を変更し、所定の本来のダイナミックレンジより小さいダイナミックレンジに属する輝度値を取得することに適用可能である。

本発明は、写真やビデオのアプリケーションのための画像処理、特にハイダイナミックレンジ(High Dynamic Range：HDR)画像の特定の応用分野を有し、実際のシーンで検出される強度レベルの範囲をよりいっそう正確に表現することが可能になる。

＜２．背景技術＞
２．１ 序論
人間の視覚は非常に広いダイナミックレンジを有する。実際、(光レベルが低い場合には色の相違は減少するが)人間は星の光でも太陽光のもとでも対象を見ることが可能であり、たとえ、月光のもとにおいて、晴れた日の日光から受ける光の1/1,000,000,000しか対象が受けないとしても、人間は見ることが可能であり；この場合、30f-ストップのダイナミックレンジである。

特に、電子装置を利用する人間による完全なダイナミックレンジの体感を達成することは困難である。すなわち、印刷出力、LCDモニタ又はプロジェクタの表示能力は、シーンそのものに存在する光強度の完全なレンジを再生するには不適切な限られたダイナミックレンジ(或いは、ローダイナミックレンジ(low dynamic range：LDR))しか有しない。

実際のシーンで見られる強度レベルのレンジを一層正確に表現するためにハイダイナミックレンジ(HDR)ディジタルビデオソリューションが開発されている。HDR画像は、ローダイナミックレンジ(LDR)により特徴付けられる従来のシーンで表示可能な情報よりも多い情報を取得することが可能であり、同じ対象物についての複数の別々に露出した画像によりしばしば取得される。

すなわち、非HDR(或いはLDR)カメラは限られた露出範囲で写真を撮影し、明るい領域又は暗い領域の詳細(情報)を失う結果を招く。HDRは、異なる露出レベルで複数の写真を撮影し、それらを合成し、より広い階調範囲(tonal range)を表す写真を生成することにより、詳細情報の損失(loss)を補償する。

更に、ここ10年間の間に、画像の中での照明範囲(lighting range)を適切に設定するために、シャドー及びハイライトに別々に画像をマッピングするアルゴリズムが発達している。これらの技術はトーンマッピングとして知られており、ハイダイナミックレンジ(HDR)画像又はHDRビデオシーケンスをローダイナミックレンジ(LDR)画像又はLDR画像シーケンスに変換することを可能にする。

２．２ トーンマッピング処理
そのようなトーンマッピングは、先ず、トーンマッピングオペレータ(Tone Mapping Operator：TMO)を前提とし、TMOは、HDR取得モジュールを用いて取得されるソース画像のダイナミック(レンジ)を修正し、ローダイナミックレンジの結果の画像を取得し、結果の画像がLCDモニタでの表示に適したダイナミック(レンジ)を表現するようにする。

以下の説明において、「画像のダイナミック(レンジ)を修正する」ことは、画像の輝度成分(すなわち、輝度成分の値)を変換する、適応させる又は修正することに対応する。

ソース画像(元の画像)は、いったんそのダイナミックレンジが修正されると、表示システムに特化される場合に、表示の標準規格(例えば、BT709等)に対応するようにルミナンス成分が定量化され符号化される。この場合において、「ルミナンス(luminance)」成分ではなく、通常、「ルマ(luma)」成分と言及される。

トーンマッピング技術は、ルマ成分よりもルミナンス成分にかなり適用可能である。既存のトーンマッピングオペレータ(TMO)のうち、トーンリプロデューサとも呼ばれるPTRトーンマッピングオペレータについては、非特許文献1に示されている。

HDRビデオシーケンスの各々のフレームに「単純に(naively)」TMOを適用すると、一時的なアーチファクトを招く。ちらつきのアーチファクト(flickering artefact)に対処するために、他のトーンマッピングオペレータは、ダイナミックレンジが変換される必要がある現在画像のピクセルに依存するキーを利用することと、画像シーケンスの中で現在画像に先行する画像についての所定のピクセル数とに基づいており、この点については非特許文献2に記載されている。

ビデオシーケンスのうちの多数の先行する画像を利用するトーンマッピングオペレータも知られており、現在画像のキー及び先行画像のキーに従って動的に適合させられており、この点については特許文献3に記載されている。

他のトーンマッピング技術は、元のオリジナル画像と、画像(ルミナンス値がシーンに適合したダイナミックレンジに属している画像)に対する人間の視覚系(HVS)の視覚的な応答とを比較し、この点については特許文献4に記載されており、これはシーンにおける最小限にしか歪んでいない視覚的な知覚の画像をもたらす。

時間的なアーチファクトに対処するため、上記の手段は、ビデオシーケンスの時間的に近接した画像を利用して、ルミナンスの突然の変動を平滑化する。しかしながら長時間のレンジは時間的な明るさの非干渉性(incoherency)を導入し、明るさは、HDRビデオシーケンスの2つのゾーン同士の間の相対的な明るさがトーンマッピングの間に保たれる場合に(空間及び時間ドメインの双方において)、トーンマッピングされるコンテンツ内で一貫している又は可干渉性(coherent)である。しかしながら、全ての利用可能な表示レンジの各画像(又はフレーム)についてTMOが独立的に利用される場合、HDRの明るさの一貫性は、トーンマッピング処理を通じて保存されはしない。従って、HDRシーケンスの中で最も明るく知覚される領域が、LDRシーケンスの中で最も明るいとは限らない。

２．３ トーンマッピング事後処理
トーンマッピングされる結果の画像の間で明るさの一貫性又はコヒーレンシを保つため、ブライトネスコヒーレンシ技術(BC技術と言及される)が提案されている(非特許文献5)。

そのような技術は、ビデオフレームの各画像(又はフレーム)の全体的な明るさの指標を当てにする。HDRビデオシーケンスにおける明暗画像(brightness image)(すなわち、全体的な明るさのうち最高の指標をもたらすフレーム)をアンカー(anchor)として利用することにより、他のトーンマッピングされる画像の各々がそのアンカーに対してスケールダウンされる。

各々の画像がアンカーに対して処理されるので、たとえ隣接しない画像同士の間でさえ、時間的な明るさの一貫性が保たれる。

この技術の欠点の1つは、局所的な明るさの一貫性を処理することなく、全体的な明るさのみを処理する点である。この問題に対して、ゾーン化されたブライトネスコヒーレンシ(Zonal Brightness Coherency：ZBC)(ZBC技術と言及される)が非特許文献6に言及されている。

より正確に言及すると、この技術によれば、HDR画像のヒストグラム分割を利用して、各画像がセグメントに分割される。その結果の画像セグメントにより、ビデオゾーンが規定され、ビデオゾーンの各々について独立にブライトネスコヒーレンシ(BC)技法が適用される。

そのようなゾーン化されたブライトネスコヒーレンシ(ZBC)技術は、各々の画像において、時間的な明るさのコヒーレンシ及び空間的なコントラストの双方を保つ。

E. Reinhard et al., "Photographic tone reproduction for digital images", AMC transactions on Graphics, 21, 267-276 (July 2002) Kang S. B. et al.,"High dynamic range video", ACM transactions on Graphics, Proceeding of ACM SIGGRAPH, volume 22, Issue 33, July 2003 pages 319-325 Pamsey S. et al., "Adaptive temporal tone mapping", Computer Graphics and Imaging − 2004(3), 3-7 (2004) Mantiuk R.,"Display adaptive tone mapping", ACM Transactions on Graphics 27, 1 (Aug.2008) Boitard R. et al., "Temporal coherency for video tone mapping", in Proc. SPIE Conference Series, volume 8499 of SPIE Conference Series, 2012 Boitard R. et al, "Zonal Brightness Coherency for video tone mapping", Signal Processing: Image Communication (available online 16 October 2013, htt://dx;doi.org/10.106/j.image.2013.10.001) Mann S. et al,"On being "Undigital" With Digital Cameras: Extending dynamic Range by combining Differently Exposed Pictures", Proceedings of IS＆T 46th annual conference (May 1995), pp 422-428 Srinkivasan M.V.et al.,"Qualitative estimation of camera motion parameters from video sequences", Pattern Recognition, volume 30, Issue 4, April 1997, Pages 593-606

２．４ 従来技術の問題点
従来技術のTMOオペレータは、ビデオシーケンスの画像各々に独立に適用され、時間的な明るさの非一貫性を有する時間的アーチファクトを招き、及び、ブライトネスコヒーレンシ技術は現在画像以外の他のビデオシーケンス画像からの情報を必要とする。

更に、ダイナミックレンジ変換の場合には、効果的な結果を得るために、ビデオシーケンスの他の全ての画像が必要とされる。すなわち、ビデオシーケンスに属する全ての画像がいったん取得されると、最適なダイナミックレンジ変換のためによりいっそう適切なルミナス情報を見出すために、事後処理を実行することが考えられる。

しかしながら、そのような条件は、リアルタイムのネットワークブロードキャストを考察する場合には、達成可能ではなく、そのような場合には、ある瞬間の時点tにおいて「将来の画像」に存在する情報は未知である。

実際、一時的なバッファを利用することは、リアルタイムの制約に相いれない処理期間を招いてしまう。従って、従来の方法は、ブライトネスコヒーレンシ技術を使用してもしなくても、リアルタイムブロードキャストが実行される場合に時間的な一貫性を保つことができない。

一実施形態によるビデオシーケンス処理方法は、
少なくとも２つのビデオ画像により形成されるビデオシーケンス処理方法であって、
第１視野の第１取得モジュールを利用して前記少なくとも２つのビデオ画像を取得するステップであって、前記少なくとも２つのビデオ画像の各々は、異なる時点で又は異なる地点から取得される同じシーンを表現する、ステップと、
前記第１視野より広い第２視野の第２取得モジュールにより取得される少なくとも１つの全体画像からルミナンス情報を決定するステップであって、前記全体画像は異なる時点で又は異なる地点から取得される前記シーンを表現する、ステップと、
前記ルミナンス情報を考慮して前記ビデオ画像のダイナミックレンジを狭く変換するステップと
を有するビデオシーケンス処理方法である。

本願の技術思想による一般的な原理に従って実行されるステップを示す図。 本願の技術思想による一般的な原理に従って実行されるステップ並びに関連するビデオ画像及び画像全体を示す図。 本願の技術思想による第1実施形態を示す図。 本願の技術思想による第2実施形態を示す図。 本発明によるビデオシーケンスを処理する装置についての概略的な構造を示す図。

＜３．実施形態の概要＞
本発明はビデオシーケンス処理方法として新たなソリューションを提案し、当該方法は、第1取得モジュールを利用して少なくとも1つの画像を取得するステップを有し、少なくとも1つの画像は第1取得アングルでのシーンを表現し、その少なくとも1つの画像はビデオ画像と呼ばれる。

本発明によれば、本方法は、以下のステップを有する：
第1取得モジュールとは異なる第2取得モジュールを利用することにより、第1取得アングルより確実に広い第2取得アングルでシーンを表現する少なくとも1つの画像に対応するメタデータを取得するステップであって、その少なくとも1つの画像は全体画像と呼ばれ、全体画像はビデオ画像を含む、ステップ；
全体画像に対応するメタデータからルミナンス情報を決定するステップ；
ルミナンス情報を考慮してビデオ画像のダイナミックレンジを変換するステップ。

本発明によるビデオシーケンスの処理は、従って、ビデオシーケンスには属していない画像であり、かつ、ビデオシーケンスの画像を取得するために使用された取得モジュールとは別の取得モジュールにより取得される画像、から決定されるルミナンス情報を考慮することに基づく。

実際、ビデオシーケンスのそのような処理は、ビデオシーケンスのビデオ画像を取得するのに使用される取得モジュールの取得アングルに対して、ルミナンス情報の取得アングルを拡大することを許容する。

ルミナンス情報により、ルミナンス又はルマ値に対応する情報部分が考慮される(ルマ値はルミナンス成分に対応し、表示の標準規格に対応可能であるように定量化及び符号化される)。

例えば、そのようなルミナンス情報は、ビデオシーケンスの幾つかのフレームの外に存在するシーンの中の地点(又はゾーン)のルミナンスの最大値であり、例えばフットボールゲームを照らす太陽から与えられる明るさの最大値であり、この場合において、ビデオカメラは競技場に照準を合わせるのみであり、決して空を撮影したりはしない。

すなわち、考察対象の時点tに撮影されるビデオ画像のフィールドは、最大ルミナンス値のシーンの地点を含んでいないことが可能であり、有利なことに、そのような最大値の情報は、本発明に従って、別の取得モジュールを用いてより広い捕捉角度で捕捉される別画像により提供される。

例えば、第1取得モジュールは所定のフレームレートの通常のディジタルムービーカメラであり、例えば、ソニー(登録商標)、JVC(登録商標)、キャノン(登録商標)又はGoPro(登録商標)等により製造されていてもよい。なお、フィルムによる動画はほぼ一律に24fpsで投影される。しかしながら、テレビジョンは国際的に受け入れられる(固定)フレームレートを有していない。欧州及び他の多くの国々では、PAL及びSECAMが25fpsを利用しているが、北アメリカや日本におけるNTSCビデオは29.97fpsを利用している。他の一般的なフレームレートは、通常、これらの倍数である。有利なことに、ある種のディジタルビデオフォーマットは1つのフォーマット内で複数のフレームレートをサポートし、可変フレームレートのビデオ記録及びフィルム(24fps)の互換性を許容する。

第2取得モジュールは、例えば、高解像度で及び選択的にハイダイナミックレンジ(HDR)でパノラマ画像又は全球面画像(全球画像)(360°×360°)を自動的かつ迅速に形成することが可能なカメラシステムである。そのような第2取得モジュールは、例えば、リザードQ(LizardQ)(登録商標)、シーンカム(SceneCam)(登録商標)又はパノスキャンのMK-3(Panoscan’s MK-3)(登録商標)等に対応し、(パノラマ画像に対応する)5秒毎に1つの全体画像又は1秒につき1つの全体画像を取得するレートを有する。

すなわち、ビデオ画像のダイナミックレンジの変換は、従来技術のように、ビデオシーケンスに関して分かっているルミナンス情報のみを考慮することにより実行されるのではなく、第2取得モジュールにより取得されるシーン全体を表現するメタデータに関連する外的なルミナンス情報を考慮することにより実行される。

従って、そのような外的なルミナンス情報は、ビデオシーケンスの各画像のダイナミックレンジの変換をリアルタイムに適用するために、ビデオ取得モジュール(例えば、カメラ)により取得される画像全体についての最も関連するルミナンス情報(the most relevant luminance information)を、容易かつリアルタイムに検出することを可能にする。

すなわち、ある瞬間tに取得されるビデオ画像に関し、全体シーンを表現する画像からそのような外的なルミナンス情報を利用することは、ビデオシーケンスの中で後に登場する最大ルミナンス値を事前に知ることを可能にする。

従って、本発明による方法は、ダイナミックレンジをリアルタイムに削減する一方、ビデオシーケンス全体の時間的コヒーレンシを保つことを可能にする。あるカメラにより捕捉が実行され、そのダイナミックレンジがブロードキャストする何れかのコンテンツより高い場合に、ローダイナミックレンジコンテンツをリアルタイムにブロードキャストするために本発明による方法を適用することにより、そのような恩恵を享受することが可能である。

更に、そのようなルミナンス情報はシーンの実際のルミナンス情報に対応するので、ダイナミックレンジ変換は任意的に又は大まかに行われるのではなく、取得されるシーンに実際に存在する自然なルミナンス情報のみを利用して最適に実行される。

開示される特定の形態によれば、前記全体画像からルミナンス情報を決定するステップは、前記全体画像の中での前記ビデオ画像の位置を特定する先行するステップを有する。

全体画像の中でのビデオ画像の位置をそのように特定することは、実際、第2取得モジュールの位置に関する第1取得モジュールの位置を特定することを可能にする。すなわち、そのような事前の処理ステップは、ビデオ画像と全体画像との間の共通部分を検出することを可能にし、その結果、全体画像のうち、考察対象のビデオ画像の外に位置する部分を検出することを可能にする。

従って、(例えば、パノラマ画像に対応する)全体画像の中で考察対象のビデオ画像の位置を特定する事前ステップは、それら2つの画像の間の空間的な同期(又は整合性)をとることを可能にする。

考察対象のビデオ画像の外に位置するような部分は、特に有用な場合があり、なぜなら、それらはそのシーンについての或るルミナンス情報を含んでいるからであり、そのルミナンス情報は、瞬間tで考察されるビデオ画像から始まる又はビデオシーケンスの先行する画像から始まるものからだけでは利用可能でない。

この実施形態の変形例によれば、全体画像の中で考察対象のビデオ画像の位置を特定するステップは、例えば、第1取得モジュールにより取得されるビデオ画像と第2取得モジュールにより取得される全体画像との間で対応する領域を明らかにする以下のステップを実行する既知の技術を利用して実行されることが可能であり、そのステップは：
− ビデオ画像のうち関心のある地点(「キーポイント(key points)」とも言及される)を抽出するステップと、
− 全体画像の中で、ビデオ画像と同じ関心のある地点を抽出し、これらの関心のある地点についてのローカル画像記述子(local image descriptor)を取得するステップと、
− ビデオ画像及び例示的な画像(全体画像)にそれぞれ関連する記述子を比較し、類似する記述子とともに関心のある地点の対を取得するステップであって、複数の「適切な(good)」組み合わせを提供するために判定閾値が使用されてもよい、ステップ(文脈上適切であるならば「対」は「組」、「カップル」、「組み合わせ」等と言及されてもよい)と、
− ビデオ画像の中で関心のある地点と全体画像の中で関心のある地点とを照合するための変形モデル(同種モデル(homographic)等と言及されてもよい)を決定するステップ(すなわち、既に取得された対の地点を、開始地点から到着地点まで動かすことによって、ビデオ画像を全体画像に変換するステップ)と、
− 変形モデルをビデオ画像に適用し、変形させられた(又はゆがめられた)ビデオ画像(すなわち、整合した画像)(これは、全体画像に対して幾何学的に類似している)を取得するステップとを有する。

キーポイントを抽出すること(キーポイント検出とも言及されてよい)に関し、幾つかの既知の術を利用することが可能であり、例えば：ハリス及びステフェス/プレシー/シ−トマシは、コーナー検出アルゴリズム、加速されたセグメント検査(Features from accelerated segment test：FAST)技術による特徴付け、スケール不変特徴変換(Scale-invariant feature transform：SIFT)、高速化ロバスト特徴(Speed Up Robust Features：SURF)技術、バイナリロバスト不変スケーラブルキーポイント(Binary Robust Invariant Scalable Key points：BRISK)等．．．を考察している。

記述子の抽出及び関心のある地点の照合に関し、例えば、上記のSIFT及びBRISK技術を利用することが可能であり、或いは、バイナリロバスト独立要素特徴技術(Binary Robust Independent Elementary technique：BRIEF)のような他の技術が使用されてもよい。

この実施形態の特定の変形例によれば、前記全体画像の中での前記ビデオ画像の位置を特定するステップが、歪メトリックを決定することにより実行される。

例えば、そのような歪メトリックは、既知の画像変形アルゴリズムを利用して、動き、色、テクスチャ(texture)、明るさ等のような2つの画像の様々なピクセル特徴から処理を開始してもよい。

この変形例の特定の形態によれば、前記歪メトリックは、

に従う絶対差分の合計に対応し、Cは前記ビデオ画像についての所定のメタデータの値を表し、Sは高さがNであり幅がMである前記全体画像についての所定のメタデータの値を表し、(x,y)は前記ビデオ画像の開始地点の座標を表し、(dx,dy)は前記全体画像のうちの前記ビデオ画像の検査される位置の座標を表し、前記位置は前記全体画像の或る地点に対応し、前記位置の座標は歪Dist_x,yを最小化する組(dx,dy)に対応する。

上述したように、値C及びSは、色、空間及び/又は時間的な周波数サブバンドのようなピクセルの他の特徴に対応することが可能である。

すなわち、全体画像のうち結果的に得られる地点の座標は、Dist_dx,dyという歪を最小化する対(dx,dy)に対応し、この地点は、ビデオ画像の中の座標点の位置に対応し、例えば、(全体画像の中の座標(0,0)である)全体画像の中の最初の左下のピクセルについては、(ビデオ画像の中の座標(0,0)である)ビデオ画像の中の最初の左下のピクセルに対応する。

スケーリング「s」が考慮される場合、歪を最小化する三つ組み(dx,dy,s)は、全体画像の中でビデオ画像の位置を検出することを可能にする。

この変形例の他の特定の形態によれば、前記全体画像の中での前記ビデオ画像の位置を特定するステップが、
前記ビデオ画像の少なくとも１つのコード値と少なくとも１つの物理的な値との間の関数を供給する、或いは、前記全体画像の少なくとも１つのコード値と少なくとも１つの物理的な値との間の関数を供給する、較正ステップと、
前記ビデオ画像又は前記全体画像の物理的な値をもたらす関数の逆処理ステップと、
を前記ビデオ画像又は前記全体画像について事前に実行することを含む。

そのような形態は、特に、ビデオ画像及び全体画像がダイナミックレンジによって相違する場合に実行され、例えば、一方がハイダイナミックレンジ(HDR)の画像であり他方がローダイナミックレンジ(LDR)の画像であるような場合である。

実際、HDR値は物理的な絶対値を表現するので、考察対象のビデオ画像及び全体画像の双方又は一方のダイナミックレンジを拡大してHDR値を達成することは、以後それらが比較可能になることを保証する。

ビデオ画像又は全体画像の物理的な値を復元するために、第1及び/又は第2取得モジュールを較正することが可能である。

非特許文献7に示されるように、較正は、カメラ応答関数(CRF)を測定することを含む。いったんCRFが分かると、何れかの取得モジュール内で適用された非線形変換の逆処理を行い、画像についての物理的な値(特に、明るさ)を取得することが可能である。

本開示による他の形態によれば、前記全体画像の中での前記ビデオ画像の位置を特定するステップが、前記全体画像についてのクロッピングステップを有する。

実際、有利なことに、全体画像の中でのビデオ画像の位置が分かると、ルミナンス値を決定するのに使用される領域が少なくなるように、全体画像にサイズを合わせることが可能になる。

すなわち、ルミナンス値を決定する以後のステップが最適化され、その処理は少ない時間しか要しない。

選択的に、クロッピングステップは、現在考察されるフレームに先行する画像(又はフレーム)を処理するためになされた先行するクロッピングステップの結果を考慮することが可能である。

従って、先行するビデオ画像に使用されたクロッピングされた全体画像に対して、ルミナンス値を決定するために使用される領域の削減が最適化される(すなわち、増やされる)。

本開示によるこの形態の第1変形例によれば、前記クロッピングステップが、前記第１取得モジュールの動き予測のステップを有する。

この形態によれば、全体画像は、例えばカメラのような第1取得モジュールの動きを考慮して削減される。従って、動き予測は、第1取得モジュールの完全な軌跡(又は全体の軌跡)に照準を合わせることにより(着目することにより)、全体画像のクロッピングを最適化することを支援する。

すなわち、現在のビデオ画像に関し、ビデオシーケンスのダイナミックレンジの適切な変換に必要な関連するルミナンス情報が、ビデオシーケンスの中の何れかの後続の画像から到来する場合(この場合、従来方法では、ダイナミックレンジのリアルタイム変換は許容されない)、本発明はリアルタイム変換を達成することを可能にし、その理由は、ビデオシーケンスを取得する最中にカメラの軌跡を考慮して、クロッピングされた全体画像の中でそのような情報は、リアルタイムに検出できるからである。

更に、現在考察されるフレームに先行する画像(又はフレーム)を処理するために実行された先行するクロッピングステップを考慮することは、取得モジュールの動き予測ステップの時間を短縮することも促す。

上記の形態との組み合わせても組み合わせなくてもよい他の変形例によれば、前記クロッピングステップが、前記第１取得モジュールの画像取得の自由度を判定するステップを有する。

第1取得モジュールにより実行されるビデオ撮りの動きが、撮影される対象(topic)の性質により「制限」される場合、例えば、スポーツゲームのような場合、ビデオシーケンスに属する全ての画像は、全方面よりも明らかに限定された空間の中で取得される。

すなわち、第2取得モジュールにより供給される完全な全体画像(例えば、(360°×180°)の球面範囲全体の画像)を使用する必要はなく、ビデオ画像の位置を中心とする「半球面画像(half spherical image)」に対応する切り取られた全体画像で足りる。

上記の形態との組み合わせても組み合わせなくてもよい他の変形例によれば、前記クロッピングステップが、ユーザにより入力されるメタデータを考慮する。

例えば、メタデータは、全体画像に対応するメタデータを取得するステップに先行して入力されてもよいし、或いは、クロッピングステップを実行する場合にユーザにより入力されてもよい。

そのような変形例は、全体画像を供給する第2取得モジュールのパラメータを設定することを可能にする。すなわち、全体画像及び対応するメタデータは、第2取得モジュールにより供給され、それらのパラメータは、ユーザ(通常、撮影監督又はディレクタと呼ばれる)により事前に決定され、ルミナンス情報を後に決定するのに使用されるメタデータのみを有する最適な全体画像に直接的かつ個別的に対応する。

言い換えれば、ユーザにより事前に調整される第2取得モジュールにより供給されるメタデータ又は画像は、ユーザの要請に応じて直接的かつ最適に切り取られる。

一実施形態によれば、ビデオ画像のダイナミックレンジを変換するステップは、ルミナンス情報を利用してトーンマッピングオペレータを計算するステップを実行する。

この実施形態によれば、シーン全体についての最適なルミナンス情報を考慮するために、従来のトーンマッピングオペレータが直接的に修正される。

他の実施形態によれば、前記ルミナンス情報を考慮して前記ビデオ画像のダイナミックレンジを変換するステップは、
前記ビデオ画像のトーンマッピングを行い、少なくとも１つのトーンマッピング画像を供給するステップと、
前記ルミナンス情報を考慮して、ゾーン化されたブライトネスコヒーレンシ分析により、前記全体画像のアンカーゾーンを供給するステップと、
前記全体画像の前記アンカーゾーンを利用して前記ビデオ画像についての前記少なくとも１つのトーンマッピング画像を修正し、少なくとも１つの修正されたトーンマッピング画像を供給するステップと、
前記修正されたトーンマッピング画像を利用して前記ビデオ画像のトーンレベル再分配を行うステップと、
前記ビデオ画像の浮動小数点値を整数コード値に変換するステップとを含む。

言い換えれば、従来技術ではゾーン化ブライトネスコヒーレンシ(ZBC)がビデオ画像についてのみ適用されるが、本開示によれば、ヒストグラムに基づくセグメンテーションを利用してセグメント又はビデオゾーンに分割される全体画像又はクロッピングされた全体画像が対象となり、ブライトネスコヒーレンシ(BC)技術はビデオゾーンの各々に独立に適用される。

そのようなゾーン化ブライトネスコヒーレンシ(ZBC)技術は、従来のトーンマッピング(すなわち、TMOが修正されていない技法)の後に適用され、ビデオシーケンスを取得するのに使用される取得モジュールとは別の取得モジュールにより供給されるルミナンス情報を考慮することにより、ビデオシーケンスに属するビデオ画像の各々において、時間的な輝度のコヒーレンシ及び空間コントラストの双方をリアルタイムに保つ。

開示される別の形態は、ビデオシーケンス処理装置に関連し、その装置は少なくとも1つの画像を取得することが可能な第1取得モジュールを有し、その少なくとも1つの画像は第1取得アングルでのシーンを表現し、その少なくとも1つの画像はビデオ画像と言及され、当該装置は、
第1取得モジュールとは異なる第2取得モジュールであって、第1取得アングルより確実に広い第2取得アングルでのシーンを表現する少なくとも1つの画像に対応するメタデータを取得することが可能であり、その少なくとも1つの画像は全体画像と言及され、全体画像はビデオ画像を含む、第2取得モジュールと、
全体画像に対応するメタデータからルミナンス情報を決定する決定モジュールと、
前記ルミナンス情報を考慮して前記ビデオ画像のダイナミックレンジを変換する変換モジュールとを有する。

ビデオシーケンスを処理するそのような装置は、上記のビデオシーケン処理方法を実行するのに特に適している。

そのような装置の別の形態によれば、前記第１取得モジュール及び前記第２取得モジュールはそれぞれ前記ビデオ画像及び前記全体画像を取得する際に異なる取得頻度を有する。

例えば、一方の第1取得モジュールは、例えばPAL及びSECAM標準規格に対応する25fps(フレーム毎秒)のような所定のフレームレートの通常のディジタルムービーカメラであり、例えば、ソニー、JVC、キャノン又はGoPro等により製造されていてもよい。

他方の第2取得モジュールは、例えば、5秒毎に1つの全体画像(パノラマ画像に対応する)又は毎秒1つの全体画像のようなレートのカメラ(例えば、リザードQ、シーカム又はパノスキャンMK-3のようなカメラ)に対応する。

すなわち、25fpsのフレームレートの第1取得モジュール、及び、5秒毎に1つの全体画像に等しいフレームレートの第2取得モジュールが使用される場合、ビデオシーケンスのうち125(=25×5)個の連続的なビデオ画像を処理するために1つの同じ全体画像が使用される。

5秒毎に1つの全体画像が取得されるように、第2取得モジュールのフレームレートを強制することは、例えば、明るさが急激に変化する日没時間に相応しく合うように、明るさの時間変化を考慮することを可能にする。

第2取得モジュールのそのようなフレームレートは、本発明に従ってダイナミックレンジが変換されるビデオシーケンスの現実味のある知覚を促すことを可能にする。

当然に、この装置は本発明によりビデオ画像を処理する方法に関連する様々な特徴を有し、そのような特徴については上述したとおりであり単独に又は組み合わせにより使用可能である。この装置の特徴及び利点はビデオシーケンスを処理する方法についてのものと同じである。従ってそれらは詳細には説明されない。

開示される実施形態は、更に、通信ネットワークからダウンロード可能であり及び/又はコンピュータにより読み取ることが可能(コンピュータ可読)な媒体に記録され及び/又はプロセッサにより実行可能なコンピュータプログラム(又はコンピュータプログラム関連製品)に関連し、これは、本開示によるビデオシーケンス処理方法を実行させるプログラムコード命令を有する。

開示される実施形態は、コンピュータにより読み取ることが可能な一時的でない媒体にも関連し、当該媒体に記憶されかつプロセッサにより実行されることが可能なコンピュータプログラムを有し、コンピュータプログラムは本開示によるビデオシーケンス処理方法を実行させるプログラムコード命令を有する。

本発明についての具体例は、限られた数の実施形態に関連して説明されているが、当業者は、本願による記述を参照すれば、本発明の範囲から逸脱することなく、他の実施形態も把握できることが理解される。

特に、明示的には記述されていないが、複数の実施形態は任意の組み合わせにより又は任意に関連付けて使用されてよい。

当業者に理解されるように、本発明形態の原理は、装置、方法、コンピュータ可読媒体、又は、コンピュータプログラム等として実現可能である。従って、本発明形態の原理は、完全なハードウェア形態、完全なソフトウェア形態(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)、又は、ソフトウェア及びハードウェアの組み合わせ形態を採用することが可能であり、これらはすべて本願において「回路」、「モジュール」、「装置」、「デバイス」、「ユニット」等と言及されてよい。更に、本発明形態の原理は、コンピュータ可読記憶媒体の形態をとることも可能である。1つ以上のコンピュータ可読記憶媒体のうちの任意の組み合わせが使用されてよい。

コンピュータ可読記憶媒体は、1つ以上のコンピュータ可読媒体で具現化されるコンピュータ可読プログラム関連製品の形態をとってもよいし、コンピュータにより実行可能な内蔵されたコンピュータ可読プログラムコードを有する形態をとってもよい。本願で使用されるようなコンピュータ可読記憶媒体は、そこに情報を保存する固有の機能を与えることに加えて、そこからの情報抽出機能を提供する固有の機能をも与える一時的でない記憶媒体と考えられる。コンピュータ可読記憶媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外線的又は半導体的なシステム、装置又はデバイス或いはそれらの適切な任意の組み合わせであるが、これらに限定されない。本願の原理が適用可能なコンピュータ可読記憶媒体についてのより具体的な例を以下に列挙するが、当業者に容易に理解されるように、それらは例示的であるに過ぎず網羅的に列挙してはいないことが、理解されるべきであり、それらは：携帯可能なコンピュータディスケット；ハードディスク；ランダムアクセスメモリ(RAM)；リードオンリメモリ(ROM)；電気的に消去可能でプログラム可能なリードオンリメモリ(EPROM又はフラッシュROM)；携帯可能なコンパクトディスクリードオンリメモリ(CD-ROM)；光ストレージデバイス；磁気ストレージデバイス；又はそれらの適切な任意の組み合わせ等である。

更に、例えば、本願で示されるブロック図は、本発明の原理を利用する例示的なシステム要素及び/又は回路についての概念図を示すことが、当業者に理解されるであろう。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コード等は、コンピュータ或いはプロセッサが明示的に図示されているか否かによらず、コンピュータ又はプロセッサにより実行されかつコンピュータ可読記憶媒体において実質的に具現化される様々なプロセスを表現することが、理解されるであろう。

＜４．図面＞
本発明の実施形態による他の特徴及び利点は、非限定的な具体例を示すようになされる以下の詳細な説明及び添付図面を参照することにより更に明らかになる(本発明の実施形態は何れも後述する実施形態の特徴及び効果に限定されない)。

・図1A及び図1Bはそれぞれ本願の技術思想による一般的な原理に従って実行さえるステップ並びに関連するビデオ画像及び画像全体を示す。

・図2は本願の技術思想による第1実施形態を示す。

・図3は本願の技術思想による第2実施形態を示す。

・図4は本発明によるビデオシーケンスを処理する装置についての概略的な構造を示す。

＜５．実施形態の詳細な説明＞
５．１ 一般原理
様々な実施形態に関連する本発明は、先ず、ルミナンス情報に基づき、ビデオシーケンスのリアルタイムのダイナミックレンジ変換に必要とされ、ビデオ画像各々を取得するのに使用されるものとは異なる取得装置により取得される全体画像により決定される。

すなわち、ある瞬間tにおいて、現在のビデオ画像についての適切なダイナミックレンジ変換に必要とされるルミナンス情報が、或る取得モジュールにより提供され、その取得モジュールは、ビデオ画像各々を取得する取得モジュールにより使用される取得アングルより大きな取得アングルで、全体画像に対応するメタデータを取得することが可能である。

そのような全体画像は、実際、関連するルミナンス情報をリアルタイムに含み、そのようなルミナンス情報は、従来技術では、ビデオシーケンス全体を事後処理し、ビデオシーケンスの全ての画像(又はフレーム)が判明することによってしか決定されない。

従って、本発明は、リアルタイムのブロードキャストを可能にし、従来技術ならば行う事後処理を回避する。

図1A及び図1Bに関連して、ビデオシーケンスを処理する方法の主要なステップを詳細に説明する。

先ず、ビデオ画像I_M(「フレーム」とも呼ばれる)が、第1取得モジュール(120)を利用することにより取得され、第1取得モジュール(120)は例えばHDRビデオ画像を供給するハイディジタルレンジカメラ(high digital range camera)である。文脈上適切であるならば「取得」は「捕捉」等と言及されてもよい。そのビデオ画像は、現在フィルムに収められるシーン全体のうち、或る瞬間tにおいてHDRカメラにより記録される物理ルミナンス値(cd/m²により表現される)を有する。「シーン」は文脈上適切であるならば「場面」、「場所」、「眺め」等と言及されてもよい。

(第1モジュールと)同時に又は前もって、ビデオ画像IMとは異なる全体画像I_sのメタデータMeta_I_sが、シーン全体の表現を供給することができる第2取得モジュール(121)により供給され、全体画像に属する様々なビデオフレームI_Mi(1≦i≦Nであり、Nはビデオシーケンスのフレーム数である)は、そのシーンについての異なる視点を与える。

第2取得モジュール(121)は、例えば、リザードQ、シーンカム又はパノスキャンのMK-3等に対応するセンサである。リザードQの例を考察すると、このセンサは、22メガピクセルの複数フレームの魚眼シーン(multiple frame fisheye shot)の組み合わせを形成し、その各々は5+1個の異なる方向から取得される。

そのような第2取得モジュールは、15秒ないし1分の範囲内の取得時間によっても特徴付けられ、例えば、複数の露出とともにキャノンEOS5DマークIII(登録商標)のセンサを利用して高々30-fストップ(30-stops)を取得し、例えば、30秒間程度までの長時間露出により夜間撮影を可能にする。

第2取得モジュール(121)により供給される表現及び/又はメタデータMeta_I_sは任意の解像度、ビット深度(例えば、LDR-8ビット又はHDR)とすることが可能であり、ルマ(luma)のみが提供されることも可能である(実際、本発明の一形態による方法では、カラーチャネルは必要とされない)。

図1Bに示されるように、そのような全体画像I_sは、第1取得モジュール1^st_CMにより使用される取得角度C1より確実に大きい取得角度C2を使用する第2取得モジュール2^nd_CMにより供給され、第1取得モジュール1^st_CMはビデオシーケンスのビデオ画像を供給する。第1及び第2取得モジュール(C1及びC2)の取得角度(視野)の間のそのような相違を考察すると、第2取得モジュール(121)により供給される全体画像は、そのシーンの表現(例えば、パノラマ表現又は全球面表現)であり、そのサイズ(すなわち、対象範囲)はビデオシーケンスのビデオ画像より確実に大きい(すなわち、対象範囲は広い)。

第1取得モジュール1^st_CM及び第2取得モジュール2^nd_CMは、接近して設けられていてもよいし、或いは、1つの装置の中で重なっていてもよいことに留意を要する。

第1取得モジュール1^st_CM及び第2取得モジュール2^nd_CMは、同じ筐体の中に組み込むことは許容されないほど隔たっていてもよいと考えられる。その場合、本発明による装置は分散されたシステムに相当することになる。

更に、第1取得モジュール及び第2取得モジュールは、ビデオ画像I_Mi及び全体画像I_sをそれぞれ取得する異なる取得頻度を有する。

例えば、第1取得モジュールは25fps(毎秒25フレーム)の所定のフレームレートを使用する一方、第2取得モジュールは、5秒毎に1つの全体画像(パノラマ画像に対応する画像)或いは毎秒1つの全体画像を使用してもよい。

言い換えれば、25fpsの第1取得モジュールと5秒毎に1つの全体画像というレートに等しいフレームレートの第2取得モジュールとが使用される場合、ビデオシーケンスの125個の連続的なビデオ画像を処理する際に、同じ全体画像I_sが使用される。

より具体的に言えば、図1Bに示されるように、例えばピクセルPにより表現されるオブジェクトの動き(曲線1200により表現される)に依存して、異なるビデオ画像I_M1、I_M2、I_M3が、異なる瞬間t₁、t₂、t₃で取得され、かつ、全体画像I_sにより表現されるような全体シーンのうちの異なるゾーンに存在し、全体画像I_sは異なる瞬間t₁、t₂、t₃を少なくとも含む期間T_Isの間中使用される。文脈上適切であるならば「オブジェクト」は「対象」、「対象物」、「客体」等と言及されてもよい。文脈上適切であるならば「ピクセル」は「画素」等と言及されてもよい。図示されているように、全てのビデオ画像I_M1、I_M2、I_M3が全体画像I_sの一部を形成する。

図1Bにより示されるように、ビデオシーケンスのそのような異なるフレームは、全体画像I_sにより表現される全体シーンのうちの異なるルミナンスゾーンZ₁、Z₂、Z₃に存在する又は重なる。

各々のゾーンは、一群のピクセルに対応し、そのゾーンに属する各ピクセルのルミナンス値は、例えば、ルミナンスゾーンZ₁の場合にはルミナンス閾値L₁₀及びL₁₁の間にあり、ルミナンスゾーンZ₂の場合にはルミナンス閾値L₂₀及びL₂₁の間にあり、ルミナンスゾーンZ₃の場合にはルミナンス閾値L₃₀及びL₃₁の間にある。文脈上適切であるならば「群」は「グループ」等と言及されてもよい。

図1Bにおいて、そのようなゾーンは異なる幅の隣接するバンドに対応するが、そのようなゾーンは、異なる形状(例えば、四角形、円形、円の一部分、太陽の形状、月の形状など)で空間的に隔たっていてもよいことに留意を要する。

そのようなゾーンは第1取得モジュールにより供給されるビデオ画像I_M1、I_M2、I_M3よりも真に大きいことに留意を要する。全体シーン内のそのようなルミナンスゾーンを規定するのに使用されるルミナンス情報は、従来技術で行われているように、ビデオ画像のみから処理を開始する場合には未知である。

すなわち、全体シーンについてのそのような全体画像において、例えば太陽のような最大光源が左側にありかつ画像I_M1の外にあること等が分かる。

ビデオ画像と全体画像I_sのメタデータMeta_I_sとが取得されると、全体画像に対応するメタデータMeta_I_sからルミナンス情報I_lumを決定することができる。そのようなルミナンス情報は、例えば、カメラの動きの後にビデオシーケンスの後続画像に登場する関連するルミナンス情報I_lumに対応する。

時間的なコヒーレンシを保つことを可能にし、かつ、適切なダイナミックレンジ変換に必要とされる関連するルミナンス情報I_lumは、t₃＞t₁で取得される後続画像I_M3に属することが可能である。

すなわち、本発明による決定ステップは、その瞬間t₁においてそのような関連するルミナンス情報を見出すことが可能であり、その理由は、全体画像I_sのメタデータMeta_I_sの恩恵により、同じ時点t₁におけるものが分かるからである。

第1形態によれば、そのようなルミナンス情報は、ビデオシーケンスの全てのフレームにより取得される全体シーンを表現する全体画像の中で検出されることが可能な最大ルミナンスに対応する、とすることが可能である。

従って、ルミナンス情報を決定するそのようなステップは、第2取得モジュールにより提供されるメタデータの中で最大のルミナンスを検出する処理を実行する。

或いは、変形例によれば、I_lumが直接的にルミナンス値となり、ビデオ画像I_M1の後続のダイナミックレンジ(DR)変換(16)は、時間的なコヒーレンシを保証し、すなわち、ビデオ画像I_M1の全てのルミナンス値が、決定するステップ(15)により供給される最大ルミナンスI_lumを低くされる必要がある。

５．２ 第1の実施形態によるビデオシーケンスを処理する方法についての説明
第1の実施形態によれば、以下のダイナミックレンジ(DR)変換(16)は、トーンマッピングオペレータの計算を考慮する。言い換えれば、全体画像に対応するメタデータMeta_I_sからのルミナンス情報I_lumを利用して、TMOオペレータが修正される。

例えば、E.REINHARD(非特許文献1)によるPTRトーンマッピングオペレータを考察すると、その動作原理は、ビデオ画像のルミナンス成分L_Wを修正し、次の数式により与えられるシグモイド型(sigmoid type)のマッピング曲線を利用することにより、修正されたルミナンス成分を取得する：

ここで、L_whiteは高いルミナンス値のビデオ画像I_M1の領域をクリップするためのルミナンス値であり、L_dはマトリクスであり、マトリクスのサイズは何れかのビデオ画像I_M1であり、ビデオ画像I_M1のダイナミック値の元々のダイナミックレンジより狭いダイナミック値のダイナミックレンジで表現される画像I_M1のピクセルのルミナンス値を有し、L_Sはマトリクスであり、マトリクスのサイズは何れかのビデオ画像I_M1であり、次式のルミナンス値を有し、

ここで、aは或る選択された露出値であり、kは本発明の第1形態によるルミナンス情報I_lumに対応し、通常的にはキー(key)と呼ばれ、全体画像に対応するメタデータMeta_I_sから抽出され、かつ、ビデオ画像I_M1における明るさの指標を規定する：

ここで、Bはビデオ画像I_M1のピクセル数であり、δは特異性(singularity)を回避するための値であり、L_W(u)はビデオ画像I_M1のルミナンス成分のピクセルuのルミナンス値である。文脈上適切であるならば「クリップ」は「切り抜き」、「修正」、「トリミング」等と言及されてもよい。

他の形態では、選択されるトーンマッピング技術に依存して、ルミナンス情報I_lumは、ビデオのダイナミックレンジを変換するために最も関連するルミナンス情報を含むメタデータのグループに対応し、そのようなメタデータのグループは全体画像の縮小されたゾーンに対応する。

そのような最も関連する情報(最関連情報)はシーンのうちの最大のルミナンス値とすることが可能であり、或いは、好ましくは、シーンのルミナンス値を昇順に並べ、99パーセンタイル又は第99分位数(99^th percentile)に対応する値をルミナンス情報I_lumとして維持することにより、最関連情報が取得される。

すなわち、この形態の場合、ダイナミックレンジ(DR)変換(16)は、所定の基準に従ってそのようなメタデータグループを分析することを有し(所定の基準は、例えば、デフォルトにより設定されていてもよいし、ユーザにより入力されてもよいし、或いは、本発明の第1形態に従う一連のサブステップを実行した後に従来方法を実行することにより取り込まれてもよい)、結果のダイナミックレンジ削減効果をもたらすルミナンスリファレンスとして使用されるべき最も関連するリファレンス値(最関連リファレンス値)を導出してもよく、そのルミナンス値は全体画像又は全体画像の一部分についての最大ルミナンスに常には対応しない。

実際、ある種の芸術的技法(artistic effect)は燃えるように明るい領域(「burning」area)を表現し、画像のうちのその部分の原動力(dynamic)を維持し、その場合の情報はより重要である。一例として、ビデオシーケンスのシナリオの目的が太陽を十分に表現することではない場合、太陽に対応する値は無視される。残りのシーンを適切に表現するために太陽は白飛び又は焼けてつぶれる(burnt)ことになる。

ルミナンス情報Ilumをそのように決定するステップ(15)のサブステップは本発明の第1形態に関連して詳細に図2に示される。

何れにせよ、本発明によるダイナミックレンジ(DR)変換(16)は、LDRビデオ画像におけるHDRビデオ画像の変換を可能にしつつ、ビデオ画像間の時間的コヒーレンシを保ち、LDRビデオフレームを処理するブロードキャスト装置(17)によるリアルタイムブロードキャストを可能にする。

５．３ 第2の実施形態によるビデオシーケンスを処理する方法についての説明
図3に関連して第2形態が説明され、ビデオ画像各々のリアルタイムDR変換(16)は、ブライトネスコヒーレンシ(Brightness Coherency：BC)技術を実行し、より好ましくは、従来技術のゾーナルブライトネスコヒーレンシ(Zonal BC：ZBC)技術を実行する。

特定の場合において、ルミナンス情報I_lumを決定するステップ(15)は、ZBC分析の入力において、全体画像I_sの関連領域に対応するルミナンス情報I_lumを供給する。

図3に示されるように、そのような第2形態は、一方において、少なくとも1つのトーンマッピング画像を供給するビデオ画像I_M1についてのトーンマッピング(30)を実行し、他方において、ルミナンス情報I_lumを考慮して、全体画像のアンカーゾーンを供給するブライトネスコヒーレンシ分析又はより好ましくはゾーナルブライトネスコヒーレンシ分析(31)を実行する。

第2実施形態によれば、全体画像I_sから抽出されるルミナンス情報I_lumは(第1実施形態において実行されるように)トーンマッピングオペレータを修正するためには使用されず、従来のTMOオペレータを用いて取得されるトーンマッピング画像に適用されるZBC分析事後処理の入力において使用される。

本発明のリアルタイムアプリケーションを考察すると、考察対象のビデオ画像に適用されるトーンマッピングステップと全体画像に適用されるブライトネスコヒーレンシ分析とは、時間を節約するために並列的に(少なくとも部分的に同時に)実行されることが可能である。

より正確に言えば、発明者等による技術思想は、トーンマップLDRシーケンスの中でのHDR輝度比率((ビデオシーケンスの最高輝度である)アンカーに対するフレームのHDR輝度に対応する)を保つためにフレームキー値k(数式(2))を利用する。

HDR輝度比率は、次式が成立する場合には、LDR輝度比率に等しい：

ここで、k_f ^i,HDRはi番目のHDRフレーム(ビデオフレーム)のk値であり、k_v ^HDRはシーケンスのうちの最高のキー値である(最も高い輝度のフレーム、すなわちアンカーに対応する)。同様に、k_f ^i,LDR及びk_v ^LDRはそれぞれi番目のLDRフレームのキー値及びアンカートーンマップバージョンのキー値である。数式(4)を満たすために、i番目のフレームのトーンマップルマ(tone mapped luma)L_d ⁱは、次の数式(5)に従ってブライトネスコヒーレンシ(BC)事後処理トーンマップルマL_BC ⁱを得るためにスケーリングされる：

ここで、sⁱはi番目のフレームのスケール比率を表し、ζは小さなスケール比率を避けるためにユーザが設定するパラメータである。

BOITARD等による従来技術(非特許文献6)においては、アンカーを決定するために、すなわち、最大のHDRフレームキー値を有するビデオ画像(これもフレームと言及される)を決定するために、トーンマッピング処理の前にビデオ分析が実行される。

ビデオシーケンス全てについてのそのような事後処理は、本発明で意図されるリアルタイムDR変換を要するリアルタイムブロードキャストを考察する場合には不適切である。

そこで、本発明は、そのようなビデオシーケンス全体についての事後処理を回避するために、ブライトネスコヒーレンシ法を、全体画像I_sに、又は、第2取得モジュール(121)により供給されるシーンの全体画像に対応するメタデータMeta_I_sに、適用することを提案する。

すなわち、数式(4)及び(5)のキー値k_v ^HDR及びk_v ^LDRは全体画像I_sからリアルタイムに直接的に得られる(31)。

シーンの中での輝度の揺らぎが全体的に(グローバルに)変化する場合には、上記のBC法は適切に機能することに留意を要する。

しかしながら、非特許文献6で言及されるように、局所的な揺らぎの場合(ローカルな揺らぎの場合)、この技法はフレームのピクセル各々に同様にスケーリングを行い、減少したダイナミックレンジに起因して空間コントラストの不足を招く。

そこで、この点を改善するために、BC法をフレーム全体ではなくゾーンに適用することが提案されており、これはゾーン化されたブライトネスコヒーレンシ(ZBC)の基本原理をなす。

本発明によれば、有利なことに、ZBC法は、全体画像I_sに又は第2取得モジュール(121)により供給されるシーンの全体画像に対応するメタデータMeta_I_sに、適用される。

より正確に言えば、ヒストグラムに基づく分割法は、ルミナンスドメインの中で全体画像I_sを複数のセグメント(又はバンド)に分割する。セグメントの境界はフレーム毎に変わるので、フリッカアーチファクト又はちらつきが生じるかもしれない。ちらつきを防止するために、セグメントのキー値に基づいて、図1BのゾーンZ₁、Z₂、Z₃のようにビデオルミナンスゾーンが算出される。

本発明によれば、ZBC分析ステップで実行されるそのようなセグメンテーションは、次のサブステップを有する：
−全体画像に対応するメタデータMeta_I_sから始まる、或いは、縮小された全体画像I_srから始まる全体画像I_sのルミナンスヒストグラムを算出する；
−ヒストグラムの中で局所的な最大値(ローカル最大値)を見出す；
−互いに非常に近いローカル最大値を除外する；
−一連のローカル最大値の間で局所的な最小値(ローカル最小値)を見出す；
−ローカル最小値をセグメント境界として決定する；
−セグメント各々についてキー値を算出する。

有利なことに、上記の一連のステップは、全体画像I_sについて一度だけ実行されてもよく、全体画像に対応するメタデータMeta_I_sから始めてもよいし、或いは、縮小された全体画像I_srから始めてもよいが、従来技術では、それらはビデオ画像各々について反復される必要があり、ビデオシーケンスの全てのビデオ画像が分かっている必要があり、そのような制約はLDR装置でリアルタイムブロードキャストを行うことには相容れないことが、理解できる。

この第2実施形態によれば、考察対象のビデオ画像I_M1の全体画像I_sの中での位置を決定し、適宜切り取りを行うためのステップがいったん実行され、TMOを修正することを含むDR変換の前に、ZBC分析ステップが実行されることに留意を要する。

すなわち、第2実施形態では、ZBC分析のステップ(23)は、一方においては、目下の例ではアンカーゾーンに対応するルミナンス情報Ilumを決定するステップ(15)に選択的に含まれてもよいし(選択的であることは、破線で示される)、或いは、他方においては、そのステップは図3に示されるようにDR変換ステップ(16)に含まれてもよいことが、考えられる。

そして、本発明の第2実施形態による方法を実行する装置を考察する場合、ルミナンス情報I_lumを決定する決定モジュールは、第1変形例では全体画像I_sのZBC分析を実行する手段、或いは、第2変形例では全体画像I_sのZBC分析を実行するそのような手段を有する変換モジュールを有することが可能である。

更に、第2実施形態によれば、いったんZBC分析が実行された場合に、DR変換は以下のサブステップを有する：
−全体画像のアンカーゾーンを利用して、ビデオ画像の少なくとも1つのトーンマップ画像を修正し、少なくとも1つの修正されたトーンマップ画像を供給する(32)；
−修正されたトーンマップ画像を利用して、ビデオ画像のトーンレベルの再分配を行う(33)(文脈上適切であるならば「再分配(redistribution)」は「再設定」等と言及されてもよい)；
−ビデオ画像の浮動小数点値を、例えば使用されるビット深度(例えば、8ビットの場合には[0：255])に対応する整数コード値に変換する(34)。

５．４
図2に関連して、ルミナンス情報I_lumの決定ステップ(15)の変形例が以下において詳細に説明される。この変形例は上記の2つの実施形態のうち一方にも他方にも適用可能である。そのような変形例は、第2取得モジュールにより供給される全体画像のメタデータから始まる関連するルミナンス情報を検出するためのフィールドを削減することを目指す。

更に、そのような変形例は、(i)考察対象のビデオ画像IM1及び全体画像Isが対応する解像度を常には提示しないこと及び(ii)対応するダイナミックレンジを常には提示しないこと、に関連する問題を解決することも目指す。

本願において、「対応する解像度(corresponding resolution)」はビデオ画像I_M1及び全体画像I_sの同一の解像度を必ずしも示さないことに留意を要する。実際、両者の画像で表現される情報量は相違するので、「対応する解像度」は、2つの画像で表現される同じオブジェクトに関し、それを描写するために同数のピクセルが必要とされることを意味する。

最も関連するルミナンス情報I_lumを発見するために、決定ステップ(15)は、全体画像I_sの中での考察対象のビデオ画像I_M1の位置を決定するサブステップを有する。

すなわち、現在のビデオ画像I_M1と全体画像I_sとを照合し、その位置を判定するトラッキング処理が実行される。文脈上適切であるならば「トラッキング」は「追跡」等と言及されてもよい。

全体画像I_sの中での現在ビデオ画像I_M1の位置を決定するそのようなステップを実行する第1具体例は、ビデオ画像I_M1及び全体画像I_sが、対応する解像度(Res)及びダイナミックレンジ(DR)を示すような場合に対応する。

図2に示されるように、(211及び212)の2つの検査：Res(I_M)==Res(I_s)及びDR(I_M)==DR(I_s)が肯定的な判断「Yes(イエス)」をもたらすか否かが検査される。

「Yes」の場合、歪メトリックを用いてトラッキングが実行され、歪メトリックは例えば次式のような差分の絶対値の合計(sum of absolute difference：SAD)であってもよい：

ここで、Cはビデオ画像についての所定のメタデータの値を表し、Sは高さがNで幅がMである全体画像についての所定のメタデータの値を表し、(x,y)はビデオ画像の開始地点の座標を表し、(dx,dy)は全体画像のうちのビデオ画像の検査される位置の座標を表す。文脈上適切であるならば「メトリック」は「基準」、「基準量」等と言及されてもよい。

そのようなトラッキングは、全体画像のうちの或る地点に対応する全体画像中の現在ビデオ画像I_M1の位置を出力し、その座標は歪であるDist_dx,dyを最小化する対(dx,dy)に対応し、そのような座標は例えば現在ビデオ画像I_sのうちのビデオ画像IM1の左下隅を指す(図1BではC_BLとして表されている)。

解像度のみが異なる場合(これは、検査(211)Res(I_M)==Res(I_s)における「No(ノー)」に対応する)、数式(4)に対応する歪み計算が、異なるスケーリング「s」とともに行われ(2110)、すなわち、少なくとも2つのスケーリングs₁及びs₂を用いて行われる。

この場合、歪みを最小化する3つのパラメータの組(3つ組)(dx,dy,s)が、合致する位置の出力となる。

ダイナミックレンジのみが異なる場合(これは、検査(212)DR(I_M)==DR(I_s)における「No」に対応する)、先ず、現在ビデオ画像I_M1及び全体画像I_sそれぞれに対応する双方の入力のダイナミックレンジを合致させる必要がある。

HDR値が物理的な絶対値を表現する場合、HDR値を得るための一方又は双方の入力のダイナミックレンジを伸張することは、それらが後に比較可能になることを保証する。

(ビデオ画像及び/又は全体画像である)入力画像のそのような物理的な値を復元するために(2120)、例えばカメラである第1取得モジュール(120)及び/又はリザードQ(LizardQ)センサのような第2取得モジュール(121)が較正される(2121)。文脈上適切であるならば「較正」は「キャリブレーション」等と言及されてもよい。非特許文献7に開示されるように、較正は第1取得モジュールのカメラ応答機能(Camera Response Function：CRF)を測定することによりなされてもよい。

CRFが判明すると、何れかの取得モジュールの中で適用される非線形変換を逆にし、画像の物理的な値(特に、ルミナンス)を求めることができる。

なお、現在ビデオ画像IM1及び全体画像Isの間で解像度及びダイナミックレンジの双方が対応しない場合、すなわち、((211)及び(212)である)2つの検査：Res(I_M)==Res(I_s)及びDR(I_M)==DR(I_s)が否定的な結果「No」を示す場合、物理的な値を復元するサブステップ(2120)、スケーリングするサブステップ(2110)及び歪を計算するサブステップの全てが、ビデオ画像及び全体画像のうちの双方又は少なくとも一方に適用される。

全体画像I_sの中で考察対象のビデオ画像I_M1のうちのそのような位置が確認されると、全体画像I_sをクロッピングするステップ(22)が選択的に実行され、関連するルミナンス情報I_lumを決定するのに使用されるフィールドを削減することも可能である。

そのようなクロッピングステップ(22)は、以後に、削減された全体画像I_sr及び/又は削減された数のメタデータMeta_I_sを供給し、最適なDR変換(16)のために相応しい情報I_lumのみを維持することを可能にする。

全体画像I_sがビデオ画像I_M1と異なるダイナミックレンジを示す場合、同じダイナミックレンジに対する再標的化(retargeting)が実行されることに留意する必要がある。そのような再標的化は、I_sのうちのビデオ画像I_M1の位置が事前に判明している場合には(21)、単に対応する値になり、再標的化に必要ではあるが対象のビデオ画像I_M1の中に存在しない値については、補間が実行される。

選択的に、クロッピングステップは、現在考察対象のフレームに先行する画像(又はフレーム)を処理するために実行された先行するクロッピングステップの結果を考慮して実行することが可能である。

このように、先行するビデオ画像に使用された切り取り処理された全体画像に関し、ルミナンス情報を決定するのに使用される領域の削減が最適化(すなわち、向上)される。

より正確に言えば、第2実施形態を考察する場合において、画像(又はフレーム)を処理するために実行される現在考察されるフレームに先行するクロッピングステップの結果を考慮してZBC分析が実行され、これは、先行するフレームから無くなる値をヒストグラムから除去し、ヒストグラムの計算時間を短縮するために現在の考察対象フレームを加えることに対応する。

第2取得モジュール(121)により供給される全体画像に切り取り処理を施すために、様々な判断基準が単独で又は組み合わせにより使用可能である。

第1の判断基準は、第1取得モジュールの動きを推定又は外挿し(221)、t₁の瞬間の後に続く近い将来のビデオシーケンスに如何なるコンテンツが入るかを予測する。

図1Bに関し、そのような動きは例えばモーションカーブ(動き曲線)1200により表現され、全体画像I_sの範囲は、考察対象のビデオシーケンスの複数の関連するピクセル(例えば、関心がある地点)の最大動き振幅により限定される削減領域に制限されることが可能である。

動き予測を取得するステップは、例えば、カメラのパン、チルト(傾斜)、ズーム(拡大縮小)、ロール(回転)及び水平又は垂直方向のトラッキングなどを考慮して、画像シーケンスから、第1取得モジュールの動きパラメータを抽出するステップを有する。そのような動き予測のパラメータを取得する方法は、例えば、非特許文献8に記載されている。

いったん第1取得モジュールの動きパラメータが推定されると、クロッピングステップは、それらを使用して、全体画像のうちのどの領域が有用であるかを選択する。

例えば、図1Bに示されるように、カメラに対応する第1取得モジュールの動きが単純な水平移動である場合、全体画像のうち或る四角形I_sr(破線で区切られる帯又はバンド)の範囲外にあるピクセルのルミナンス値を考察する必要はなく、その四角形I_srは、ビデオ画像I_M1の高さN₁に近い又は等しい高さN_rと動き予測により供給される水平動きベクトルの長さに近い又は等しい幅M_rとを有する四角形である。

すなわち、上記の例を考察すると、全体画像Isのうち右上隅の近くにある光源は、本発明により行われるDR変換(16)に影響を及ぼさないであろう。

更に、現在考察されるフレームに先行する画像(又はフレーム)を処理するために実行された先行するクロッピングステップの結果を考慮することは、取得モジュールの動き予測ステップの時間を短縮することを促す。

単独で又は組み合わせにより考慮される第2の判断基準は、シーンのビデオ画像を記録する第1取得モジュールの能力(或いは、自由度)を抽出することを含む。例えば、スポーツゲームの場合を考察すると、捕捉アングルC1はフットボールのピッチ(又はフィールド)に着目するように制限され、ビデオゲームの大半は限られた場所に的を絞り、空やスタジアムの上方に関連するルミナンス値を考慮する必要はない。

すなわち、この判断基準を考慮することは、面(surface)が比較的フットボールフィールドに近く、かつ、第1取得モジュールの動きとは独立した領域の削減された全体画像I_srをもたらす。

第3の判断基準によれば、削減された全体画像は、ユーザにより入力されるメタデータを利用することにより取得されることが可能であり(223)、そのユーザは例えば撮影監督(Director of Photography：DoP)である。実際、撮影監督は、ビデオシーケンスのビデオ画像各々を取得する際になされることになるシナリオを事前に知っている。従って、ユーザは、全体画像の直接的な切り取りを許容するメタデータを直接的に入力することにより、動き予測ステップ(221)を直接的に置き換えることが可能である。

別の変形例によれば、例えば撮影監督であるユーザにより入力されるようなメタデータは、動き予測との組み合わせにより使用され、プロセッサにより自動的に実行される全体画像の削減処理を増やしてもよい。例えば、撮影監督は、シーンの全体画像I_sのうちの或る領域を最高輝度として入力し、シーンのうちの残り全てが暗くなる芸術表現効果を生じさせ、バットマン(Batman)の映画の「ダークナイト(The Dark Knight)」におけるシーンのような芸術的効果を生み出してもよい。

当然に及び有利なことに、本発明によるビデオシーケンスを処理する装置のIHMについての機械的又はディジタル的なボタンを利用することにより、「スキップ」オプションを実行することも可能であり、全体画像のうちの考察対象のビデオ画像の位置及びクロッピングする位置を決定する先行ステップを利用するか否かを許容し、すなわち、「スキップ」オプションを選択することにより、全体画像の全てが考察されるデフォルトモードが実行されてもよい。

５．５ ビデオ処理装置の全体構造
最後の図4はビデオシーケンスを処理する装置の概略構造を示し、この装置は本発明によるビデオシーケンスを処理する方法を実行する。

図4に関し、本発明によるビデオシーケンスを処理する装置は、バッファメモリRAMを有するメモリ44と、例えばマイクロプロセッサμPに備わりコンピュータプログラム45により駆動される処理ユニット43とを有し、コンピュータプログラム45は本発明によるビデオを処理する方法を処理ユニットに実行させる。

初期化の際に、コンピュータプログラム45のコード命令が例えばRAMにロードされ、処理ユニット43のプロセッサにより実行される。

本発明によれば、処理ユニット43のマイクロプロセッサは、コンピュータプログラム45の命令に従って上述したビデオシーケンス処理方法のステップを実行する。そのため、ビデオシーケンスを処理する装置は、
ビデオ画像と呼ばれる少なくとも1つの画像を取得することが可能な第1取得モジュール(41)であって、少なくとも1つの画像は第1取得アングル(C1)でのシーンを表現する、第1取得モジュールと、
第1取得モジュールとは異なる第2取得モジュール(42)であって、第1取得アングルより確実に広い第2取得アングル(C2)でのシーンを表現する全体画像と呼ばれる少なくとも1つの画像に対応するメタデータを取得することが可能であり、全体画像はビデオ画像を含む、第2取得モジュールと、
全体画像に対応するメタデータからルミナンス情報を決定する決定モジュール(46)と、
ルミナンス情報を考慮してビデオ画像のダイナミックレンジを変換する変換モジュール(47)とを有する。

第1取得モジュールは第2取得モジュールの上又は近辺に配置される又は並べられる。

これらのモジュールは処理ユニット43のマイクロプロセッサにより制御される。

Claims (27)

1. 少なくとも２つのビデオ画像により形成されるビデオシーケンス処理方法であって、
   第１視野の第１取得モジュールを利用して前記少なくとも２つのビデオ画像を取得するステップであって、前記少なくとも２つのビデオ画像の各々は、異なる時点で又は異なる地点から取得される同じシーンを表現する、ステップと、
   前記第１視野より広い第２視野の第２取得モジュールにより取得される少なくとも１つの全体画像からルミナンス情報を決定するステップであって、前記全体画像は異なる時点で又は異なる地点から取得される前記シーンを表現する、ステップと、
   前記ルミナンス情報を考慮して前記ビデオ画像のダイナミックレンジを狭く変換するステップと
   を有するビデオシーケンス処理方法。
2. 前記全体画像からルミナンス情報を決定するステップが、前記全体画像の中での前記ビデオ画像の位置を特定する先行するステップを有する、請求項１に記載のビデオシーケンス処理方法。
3. 前記全体画像の中での前記ビデオ画像の位置を特定するステップが、歪メトリックを決定することにより実行される、請求項２に記載のビデオシーケンス処理方法。
4. 前記歪メトリックは、
   

   

   に従う絶対差分の合計に対応し、Cは前記ビデオ画像についての所定のメタデータの値を表し、Sは高さがNであり幅がMである前記全体画像についての所定のメタデータの値を表し、(x,y)は前記ビデオ画像の開始地点の座標を表し、(dx,dy)は前記全体画像のうちの前記ビデオ画像の検査される位置の座標を表し、前記位置は前記全体画像の或る地点に対応し、前記位置の座標は歪Dist_x,yを最小化する組(dx,dy)に対応する、請求項３に記載のビデオシーケンス処理方法。
5. 前記歪メトリックが、前記ビデオ画像及び前記全体画像の双方にサイズについて毎回異なるスケーリングを適用することにより少なくとも２回決定される、請求項３又は４に記載のビデオシーケンス処理方法。
6. 前記全体画像の中での前記ビデオ画像の位置を特定するステップが、
   前記ビデオ画像の少なくとも１つのコード値と少なくとも１つの物理的な値との間の関数を供給する、或いは、前記全体画像の少なくとも１つのコード値と少なくとも１つの物理的な値との間の関数を供給する、較正ステップと、
   前記ビデオ画像又は前記全体画像の物理的な値をもたらす関数の逆処理ステップと、
   を前記ビデオ画像又は前記全体画像について事前に実行することを含む、請求項３〜５のうち何れか１項に記載のビデオシーケンス処理方法。
7. 前記全体画像の中での前記ビデオ画像の位置を特定するステップが、前記全体画像についてのクロッピングステップを有する、請求項２〜６のうち何れか１項に記載のビデオシーケンス処理方法。
8. 前記クロッピングステップが、前記第１取得モジュールの動き予測のステップを有する、請求項７に記載のビデオシーケンス処理方法。
9. 前記クロッピングステップが、前記第１取得モジュールの画像取得の自由度を判定するステップを有する、請求項７又は８に記載のビデオシーケンス処理方法。
10. 前記クロッピングステップが、ユーザにより入力されるメタデータを考慮する、請求項７〜９のうち何れか１項に記載のビデオシーケンス処理方法。
11. 前記ルミナンス情報を考慮して前記ビデオ画像のダイナミックレンジを狭く変換するステップが、
    前記ビデオ画像のトーンマッピングを行い、少なくとも１つのトーンマッピング画像を供給するステップと、
    前記ルミナンス情報を考慮して前記全体画像について実行されるゾーン化されたブライトネスコヒーレンシ分析により、前記全体画像のアンカーゾーンを供給するステップと、
    前記全体画像の前記アンカーゾーンを利用して前記ビデオ画像についての前記少なくとも１つのトーンマッピング画像を修正し、少なくとも１つの修正されたトーンマッピング画像を供給するステップと、
    前記修正されたトーンマッピング画像を利用して前記ビデオ画像のトーンレベル再分配を行うステップと、
    前記ビデオ画像の浮動小数点値を整数コード値に変換するステップと
    を含む、請求項１〜１０のうちの何れか１項に記載のビデオシーケンス処理方法。
12. 少なくとも２つのビデオ画像により形成されるビデオシーケンス処理装置であって、前記少なくとも２つの画像を第１視野で取得することが可能な第１取得モジュールを有し、前記少なくとも２つのビデオ画像の各々は、異なる時点で又は異なる地点から取得される同じシーンを表現し、当該ビデオシーケンス処理装置は、
    第１取得アングルより広い第２視野の第２取得モジュールにより取得される少なくとも１つの全体画像からルミナンス情報を決定する決定モジュールであって、前記全体画像は異なる時点で又は異なる地点から取得される前記シーンを表現する、決定モジュールと、
    前記ルミナンス情報を考慮して前記ビデオ画像のダイナミックレンジを変換するダウンコンバージョンモジュールと
    を有するビデオシーケンス処理装置。
13. 前記第１取得モジュール及び前記第２取得モジュールはそれぞれ前記ビデオ画像及び前記全体画像を取得する際に異なる取得頻度を有する、請求項１２に記載のビデオシーケンス処理装置。
14. 前記決定モジュールが、更に、前記全体画像の中での前記ビデオ画像の位置を特定する、請求項１２又は１３に記載のビデオシーケンス処理装置。
15. 前記全体画像の中での前記ビデオ画像の位置を特定する処理が、歪メトリックを決定することにより実行される、請求項１４に記載のビデオシーケンス処理装置。
16. 前記歪メトリックは、
    

    

    に従う絶対差分の合計に対応し、Cは前記ビデオ画像についての所定のメタデータの値を表し、Sは高さがNであり幅がMである前記全体画像についての所定のメタデータの値を表し、(x,y)は前記ビデオ画像の開始地点の座標を表し、(dx,dy)は前記全体画像のうちの前記ビデオ画像の検査される位置の座標を表し、前記位置は前記全体画像の或る地点に対応し、前記位置の座標は歪Dist_x,yを最小化する組(dx,dy)に対応する、請求項１５に記載のビデオシーケンス処理装置。
17. 前記歪メトリックが、前記ビデオ画像及び前記全体画像の双方にサイズについて毎回異なるスケーリングを適用することにより少なくとも２回決定される、請求項１５又は１６に記載のビデオシーケンス処理装置。
18. 前記決定モジュールが、更に、
    前記ビデオ画像の少なくとも１つのコード値と少なくとも１つの物理的な値との間の関数を供給する、或いは、前記全体画像の少なくとも１つのコード値と少なくとも１つの物理的な値との間の関数を供給する、較正処理と、
    前記ビデオ画像又は前記全体画像の物理的な値をもたらす関数の逆処理と、
    を前記ビデオ画像又は前記全体画像について実行する、請求項１４〜１７のうち何れか１項に記載のビデオシーケンス処理装置。
19. 前記全体画像の中での前記ビデオ画像の位置を特定する処理が、前記全体画像についてのクロッピングする処理を含む、請求項１４〜１８のうち何れか１項に記載のビデオシーケンス処理装置。
20. 前記クロッピングする処理が、前記第１取得モジュールの動き予測の処理を含む、請求項１９に記載のビデオシーケンス処理装置。
21. 前記クロッピングする処理が、前記第１取得モジュールの画像取得の自由度を判定する処理を含む、請求項１９又は２０に記載のビデオシーケンス処理装置。
22. 前記クロッピングする処理が、ユーザにより入力されるメタデータを考慮する、請求項１９〜２１のうち何れか１項に記載のビデオシーケンス処理装置。
23. 前記ルミナンス情報を考慮して前記ビデオ画像のダイナミックレンジを変換する処理が、
    前記ビデオ画像のトーンマッピングを行い、少なくとも１つのトーンマッピング画像を供給する処理と、
    前記ルミナンス情報を考慮して前記全体画像について実行されるゾーン化されたブライトネスコヒーレンシ分析により、前記全体画像のアンカーゾーンを供給する処理と、
    前記全体画像の前記アンカーゾーンを利用して前記ビデオ画像についての前記少なくとも１つのトーンマッピング画像を修正し、少なくとも１つの修正されたトーンマッピング画像を供給する処理と、
    前記修正されたトーンマッピング画像を利用して前記ビデオ画像のトーンレベル再分配を行う処理と、
    前記ビデオ画像の浮動小数点値を整数コード値に変換する処理とを含む、請求項１２〜２２のうちの何れか１項に記載のビデオシーケンス処理装置。
24. 前記第２取得モジュールが、高解像度のパノラマ画像又は全球面画像を生成することが可能なカメラシステムである、請求項１２〜２３のうち何れか１項に記載のビデオシーケンス処理装置。
25. カメラシステムが、ハイダイナミックレンジで高解像度のパノラマ画像又は全球面画像を生成するように更に形成される、請求項１２〜２３のうち何れか１項に記載のビデオシーケンス処理装置。
26. 通信ネットワークからダウンロード可能であり及び/又はコンピュータにより読み取ることが可能な媒体に記録され及び/又はプロセッサにより実行可能なコンピュータプログラムであって、請求項１〜１１のうち何れか１項に記載のビデオシーケンス処理方法をコンピュータに実行させるプログラムコード命令を有するコンピュータプログラム。
27. コンピュータにより読み取ることが可能な一時的でない媒体であって、当該媒体に記憶されかつプロセッサにより実行されることが可能なコンピュータプログラムを有し、前記コンピュータプログラムは請求項１〜１１のうち何れか１項に記載のビデオシーケンス処理方法をコンピュータに実行させるプログラムコード命令を有する、媒体。
    
    

Images