JP2012515493A - 多重露光からの拡張ダイナミックレンジ画像および映像のための方法およびシステム - Google Patents

Abstract

本発明の実施形態は、映像のコード化および復号化のためのシステムおよび方法に関する。いくつかの実施形態は、第１露光設定で捕捉された一連の低ダイナミックレンジ（ＬＤＲ）フレームに基づいた拡張ダイナミックレンジ映像シーケンスのコード化および復号化に関する。当該低ダイナミックレンジ（ＬＤＲ）フレームは、第２露光設定で捕捉された一連の拡張フレームでマルチピクセル化される。

Description

本発明のいくつかの実施形態は、単一画像捕捉による拡張ダイナミックレンジの捕捉ができないセンサを用いて、拡張ダイナミックレンジ画像および映像を捕捉するための方法およびシステムを含む。いくつかの実施形態はまた、映像シーケンスのコード化および復号化に関する。

本発明は、（ｉ）現在のセンサ技術、および、（ｉｉ）電力制約されるイメージングプラットフォーム、例えばカメラ電話による、高い（またはより高い）ダイナミックレンジ映像の捕捉に関する課題に対処する。

現在、高いダイナミックレンジを取得するときの課題は、この環境においてあまり対処されていない。先行研究では、多重露光を得るために、より高いダイナミックレンジ画像センサを組み入れる、または、標準的なダイナミックレンジ画像センサを用い、その後、出力結果を融合させる。

特に、従来技術は以下の特徴に対処していない。
（１）非常に低いフレームレートでの拡張露光の取得。
（２）電話から（つまり、例えば携帯電話のモバイルビデオカメラ、または、カメラ電話等の低いダイナミックレンジ装置から）実行される高いダイナミックレンジ映像の生成。
（３）効率的にコード化されている拡張露光。
（４）下位互換性のあるビットストリームで保存されている拡張露光。
（５）多重露光を融合するための方法の使用。特に、色データの融合方法の使用、および、混合ピラミッドの使用。

本発明は、新たな画像センサを必要とせず、そして、センサのフレームレートを増加させるよう要求しないシステムを開発することにより、少なくともこれらの問題を解決する。

映像シーケンスを復号化する方法が開示されている。その方法は、第１露光設定によって捕捉された複数の低ダイナミックレンジ（ＬＤＲ）参照フレームと、第２露光設定によって捕捉された複数の拡張フレームとを含む、インターリーブされたフレームシーケンスを受信する受信ステップと、上記ＬＤＲ参照フレーム及び少なくとも１つの上記拡張フレームにおける少なくとも１つの色光度チャンネルから、輝度チャンネルを分離する分離ステップと、上記ＬＤＲ参照フレームおよび上記拡張フレームの上記輝度チャンネル上で動き推定を実行する推定実行ステップと、上記拡張フレームを上記ＬＤＲ参照フレームに整列させるために、上記ＬＤＲ参照フレームおよび上記拡張フレームの輝度チャンネル上で動き補償を実行する補償実行ステップと、上記拡張フレームが捕捉されるたびに、補間ＬＤＲ参照フレームを生成するために、上記ＬＤＲ参照フレーム間での補間を行う参照フレーム補間ステップと、上記ＬＤＲ参照フレームが捕捉されるたびに、歪んだ拡張フレームを生成するために、上記拡張フレーム間での補間を行う拡張フレーム補間ステップと、時間重みの値を上記拡張フレームに割り当てる割り当てステップと、上記拡張フレームが上記ＬＤＲ参照フレームのどこで整列していないかを特定するミスマッチマップを生成するマップ生成ステップと、上記拡張フレーム、上記歪んだ拡張フレーム、上記補間ＬＤＲ参照フレームおよび上記ＬＤＲ参照フレームの輝度チャンネルを融合する輝度チャンネル融合ステップと、上記拡張フレーム、上記歪んだ拡張フレーム、上記補間ＬＤＲ参照フレームおよび上記ＬＤＲ参照フレームの色光度チャンネルを融合する色光度チャンネル融合ステップと、チャンネル値が妥当な強度範囲を満たすように、上記融合された輝度チャンネル上でトーンマッピングを実行するトーンマッピング実行ステップと、再構成されたシーケンスを生成するために、融合され、かつトーンマッピングされた上記輝度チャンネルを、融合された上記色光度チャンネルと結合させる結合ステップ、とを含む。

低ダイナミックレンジ（ＬＤＲ）画像フレームおよび複数の拡張フレームから拡張ダイナミックレンジ（ＥＤＲ）画像フレームを生成する方法が開示されている。その方法は、上記拡張フレームおよび上記ＬＤＲ画像フレームのそれぞれに対してラプラシアンピラミッドを演算するラプラシアンピラミッド演算ステップと、上記ラプラシアンピラミッド内のピクセルがピラミッド混合処理においてどの程度用いられうるかを示す、上記ラプラシアンピラミッドに対応する混合ピラミッドを演算する混合ピラミッド演算ステップと、上記混合ピラミッドに従って上記ラプラシアンピラミッド間のピクセルごとの最大化を実行することにより、混合されたピラミッドを生成するピクセル最大化実行ステップと、を含む。

低ダイナミックレンジ（ＬＤＲ）画像フレームおよび複数の拡張フレームから色光度チャンネルを融合する方法が開示されている。その方法は、上記拡張フレームのそれぞれに対して色融合マップを演算する色融合マップ演算ステップと、飽和信頼度マップを演算する飽和信頼度マップ演算ステップと、上記色融合マップおよび上記飽和信頼度マップに基づいて上記色光度チャンネルを融合する融合ステップとを含み、上記色融合マップ演算ステップは、上記拡張フレームに対して平滑境界マップを演算する平滑境界マップ演算ステップと、上記平滑境界マップのうちの大きい方の値が１となるように、上記平滑境界マップを正規化する正規化ステップと、上記拡張フレームと上記ＬＤＲ画像フレームとの間のミスマッチの程度に基づいて、正規化された上記平滑境界マップの値を調整する調整ステップと、を含み、上記飽和信頼度における値は、その対応する輝度値と、中間色調値との間の差分に関するものである。

より高いダイナミックレンジ（ＨＤＲ）画像を、より低いダイナミックレンジ（ＬＤＲ）画像にトーンマッピングする方法が開示されている。その方法は、上記ＨＤＲ画像に対してラプラシアンピラミッドを演算する演算ステップと、上記ラプラシアンピラミッドの最も粗いレベルに対して圧縮マップを適用する適用ステップと、上記圧縮マップを再構成する再構成ステップと、を含む方法である。

異なる露光画像間の誤登録を検出する方法が開示されている。その方法は、第１露光設定によって捕捉されている第１画像を受信する第１画像受信ステップと、第２露光設定によって捕捉されている第２画像を受信する第２画像受信ステップと、上記第２画像に関連する上記第１画像上で露光補償を実行する露光補償実行ステップと、上記第１画像および上記第２画像のそれぞれに対してラプラシアンピラミッドを演算するラプラシアンピラミッド演算ステップと、上記第１画像内のピクセルと、当該ピクセルに対応する上記第２画像内のピクセルとの間で正規化された局所相関を演算する局所相関演算ステップと、上記第１画像および上記第２画像に対して局所活動量を演算する局所活動量演算ステップと、上記正規化された局所相関および上記局所活動量に基づいてミスマッチマップを用いて上記ラプラシアンピラミッドのレベルを統合する統合ステップと、を含む。

拡張ダイナミックレンジ映像シーケンスを捕捉および符号化する方法が開示されている。その方法は、第１露光設定を用いて、実質的に固定された間隔で複数の低ダイナミックレンジ（ＬＤＲ）参照フレームを捕捉する参照フレーム捕捉ステップと、第２露光設定を用いて、少なくとも１つの拡張フレームを捕捉する拡張フレーム捕捉ステップと、サポートデコーダが、上記拡張フレームを参照することなく、映像シーケンス内の上記ＬＤＲ参照フレームを復号化することができ、かつサポートデコーダが、拡張映像シーケンス内の上記ＬＤＲ参照フレームおよび上記少なくとも１つの拡張フレームを復号化することができるように、上記ＬＤＲ参照フレームおよび上記少なくとも１つの拡張フレームを符号化する符号化ステップと、を含む。

拡張ダイナミックレンジ映像シーケンスを捕捉および符号化する方法が開示されている。その方法は、第１露光設定を用いて、複数の第１設定参照フレームを捕捉する第１設定参照フレーム捕捉ステップと、第１露光設定パラメータを特定する第１露光設定メタデータを生成する第１露光設定メタデータ生成ステップと、第２露光設定を用いて、少なくとも１つの第２設定フレームを捕捉する第２設定フレーム捕捉ステップと、第２露光設定パラメータを特定する第２露光設定メタデータを生成する第２露光設定メタデータ生成ステップと、上記第１設定参照フレームおよび上記少なくとも１つの第２設定フレーム上で露光補償を実行し、上記第１露光設定パラメータと上記第２露光設定パラメータとの差分を修正することにより、補償映像シーケンスを生成する露光補償実行ステップと、上記補償映像シーケンスを符号化する符号化ステップと、上記補償映像シーケンスを、上記第１露光設定メタデータおよび上記第２露光設定メタデータと関連付ける関連付けステップと、を含む。

拡張ダイナミックレンジ映像シーケンスを復号化する方法が開示されている。複数の補償された第１設定参照フレームおよび少なくとも１つの補償された第２設定フレームを含み、上記第１設定参照フレームに関連する第１露光設定メタデータと関連付けられ、かつ上記少なくとも１つの第２設定フレームに関連する第２露光設定メタデータと関連付けられた補償映像シーケンスを受信する受信ステップと、上記補償された第１設定参照フレームおよび上記少なくとも１つの補償された第２設定フレームを復号化することにより、復号化された補償シーケンスを生成する復号化ステップと、上記復号化された補償シーケンス上で反転露光補償を実行する反転露光補償実行ステップと、を含む方法。

映像シーケンス内の重み付け予測を可能にする方法が開示されている。その方法は、第１露光設定によって捕捉されている第１映像フレームを受信する第１映像フレーム受信ステップと、第１露光設定パラメータを記述する第１映像フレーム露光メタデータを受信する第１映像フレーム露光メタデータ受信ステップと、上記第１映像フレーム露光メタデータに基づいて上記第１映像フレームに対する第１明度値を決定する第１明度値決定ステップと、第２露光設定によって捕捉されている第２映像フレームを受信する第２映像フレーム受信ステップと、第２露光設定パラメータを記述する第２映像フレーム露光メタデータを受信する第２映像フレーム露光メタデータ受信ステップと、上記第１映像フレーム露光メタデータに基づいて上記第２映像フレームに対する第２明度値を決定する第２明度値決定ステップと、上記第１明度値と上記第２明度値との関係に基づいて、上記第１映像フレームおよび上記第２映像フレームに対する重み付け予測を可能にする重み付け予測可能ステップと、を含む。

映像シーケンスを復号化するシステムが開示されている。そのシステムは、第１露光設定によって捕捉された複数の低ダイナミックレンジ（ＬＤＲ）参照フレームと、第２露光設定によって捕捉された複数の拡張フレームとを含む、インターリーブされたフレームシーケンスを受信する受信部と、上記ＬＤＲ参照フレーム及び少なくとも１つの上記拡張フレームにおける少なくとも１つの色光度チャンネルから、輝度チャンネルを分離する分離部と、上記ＬＤＲ参照フレームおよび上記拡張フレームの輝度チャンネル上で動き推定を実行する動き推定部と、上記拡張フレームを上記ＬＤＲ参照フレームに整列させるために、上記ＬＤＲ参照フレームおよび上記拡張フレームの上記輝度チャンネル上で動き補償を実行する動き補償部と、上記拡張フレームが捕捉されるたびに、補間ＬＤＲ参照フレームを生成するために、上記ＬＤＲ参照フレーム間での補間を行う第１補間部と、上記ＬＤＲ参照フレームが捕捉されるたびに、歪んだ拡張フレームを生成するために、上記拡張フレーム間での補間を行う第２補間部と、時間重みの値を上記拡張フレームに割り当てる時間重み割当部と、上記拡張フレームが上記ＬＤＲ参照フレームのどこで整列していないかを特定するミスマッチ特定部と、上記拡張フレーム、上記歪んだ拡張フレーム、上記補間ＬＤＲ参照フレームおよび上記ＬＤＲ参照フレームの輝度チャンネルを融合する輝度融合部と、上記拡張フレーム、上記歪んだ拡張フレーム、上記補間ＬＤＲ参照フレームおよび上記ＬＤＲ参照フレームの色光度チャンネルを融合する色光度融合部と、チャンネル値が妥当な強度範囲を満たすように、融合された上記輝度チャンネル上でトーンマッピングを実行するトーンマッピング部と、再構成されたシーケンスを生成するために、融合され、かつトーンマッピングされた上記輝度チャンネルを、融合された上記色光度チャンネルと結合させる結合部と、を含む。

本発明の上記および他の目的、特徴、および優れた点は、以下に示す本発明の詳細な説明によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。

典型的な一連の参照フレームおよび拡張フレームを示す図である。 典型的な登録フェーズを示す図である。 典型的な融合フェーズを示す図である。 捕捉された参照フレーム、補間参照フレーム、拡張フレーム、および、歪んだ拡張フレーム間の関係を示す図である。 典型的な誤登録検出アルゴリズムを示す図である。 典型的なトーンマッピング関数のプロットである。 典型的なレガシービットストリームを示す図である。 典型的な時間的補間処理および関連フレームを示す図である。 典型的な予測構造を示す図である。 典型的な他の予測構造を示す図である。 露光補償を伴う典型的な予測構造を示す図である。 典型的な映像捕捉装置を示す図である。 メタデータ拡張を伴う典型的な映像捕捉装置を示す図である。 露光補償を伴う典型的な映像コード化システムを示す図である。 典型的な登録フェーズの利用のためのシステムを示す図である。 典型的な融合フェーズの利用のためのシステムを示す図である。

本発明の実施形態は、図面を参照することにより最も理解されるであろう。図面において、同様の部材は、初めから終わりまで同様の数字により明示される。上に挙げた図は、この詳細な記載の一部として明確に組み入れられる。

ここに一般に記載され、図示される本発明の構成要素は、異なる構成で幅広く変形され、設計される。このことは、容易に理解されるであろう。従って、以下の本発明の方法およびシステムの実施形態のより詳細な記載は、本発明の範囲を制限することを意図するものではなく、本発明の現在の好ましい実施形態を表現するにすぎない。

本発明の実施形態の要素は、ハードウェア、ファームウェア、および／または、ソフトウェアで具現化されうる。ここに明らかにされた典型的な実施形態は、これらの形式の一つを記載しうるのみである一方、本発明の範囲内に留まりつつ、これらの形式の何れかでこれらの要素を当業者が成し遂げうる。

本発明の実施形態は、低品質、低フレームレート、および／または、低ダイナミックレンジセンサを含む捕捉装置を用いて、拡張ダイナミックレンジ映像を捕捉するためのシステムおよび方法を含む。ＬＤＲカメラ等の捕捉装置は、自動露光フレームの小さなサブセットを拡張フレームに取り替える簡易なコントローラに組み入れられうる。上記拡張フレームは、基本シーケンスで飽和する情報を捕捉するように、異なって露光される。拡張フレームの時間的解像度は、比較的低くてもよい（例えば約１ＦＰＳ）。それらの露光は、コントローラにより実時間で決定されうる。上記コントローラは、自動露光フレームにおける飽和量に基づき、それらの捕捉を活性化または非活性化しうる。

いくつかの実施形態において、拡張フレームの低時間周波数によって、本来の自動露光シーケンスが、欠落しているフレームを埋めるために、拡張フレームを捨て、かつ単純な時間補間を実行することにより、または、他の処理により、回復する。このとき、品質低下が起こるものの、それは、無視できる程度の可視的な品質低下である。同時に、後述の融合処理が、拡張データを用いて自動露光フレームを融合するために使用され、より優れた拡張ダイナミックレンジ（ＥＤＲ）の出力を生成する。これらのシステムおよび方法は、デフォルトの自動露光とともに手動または自動処理により一以上の拡張フレームを捕捉することにより、静止画像にも容易に適用することができる。

本発明のいくつかの実施形態は、低品質、低フレームレート装置から拡張ダイナミックレンジ映像を生成するという課題を解決する。これらの実施形態は、より低いフレームレートの拡張シーケンスに差し込まれたベースとなる参照シーケンスを利用する他のモデルとは異なる。これらの実施形態は、類似の、そして参照シーケンスより低品質でないシーケンスを出力でき、その一方で、拡張フレームにより提供された追加情報を利用する。

いくつかの実施形態の利点は、登録が失敗すると、融合を中止し、参照シーケンスに戻ることができる能力にある。参照シーケンスの存在はまた、変化する露光によりフレームを融合する場合に問題となりうる時間的な照度の一貫性を維持することに役立つ。いくつかの実施形態はまた、ロバストな登録処理と、信頼性の高い物体動き検出器とを備えてもよく、以下により詳細に記載される。

いくつかの実施形態において、物理的精度が目標の一つではない。そして融合処理の核となるものは、全ての画像から細部の蓄積を許容するマルチスケール分解に基づきうる。いくつかの実施形態は、フレーム間の全域的動きにより出現する境界条件の新しい処理を利用する。標準ピラミッド構造のアルゴリズムは、一般に、画像境界に沿って、左右対称のパッディング等の簡易な境界処理技術を利用する。これらの方法は、定義された領域が長方形でない場合にまで拡張することが難しい。そして、これらの方法は、どんな事象においても、フレームの内部に適用されると煩わしいアーチファクトの原因となりうる。４．３．１では、未定義領域を含む画像に対するピラミッド表現を演算するための方法を記述する。

本発明のいくつかの実施形態において、トーンマッピング方法は、融合結果を後処理するために用いられる。通常、マルチセンサ融合技術の出力が拡大ダイナミックレンジという結果をもたらすため、典型的な融合方法は、拡大ダイナミックレンジをＬＤＲモニターに適用するために、上記結果を線形的に圧縮する。しかしながら、この処理は、上記結果のコントラストを軽減させる。４．４．１では、コントラストの損失がより少ない、そのような画像の範囲を圧縮するための単純な方法を記載する。

本発明のいくつかの実施形態はまた、オブジェクトの動き、登録エラー、または、他の現象が起きたときに融合を抑制することを目的とする、一般化された誤登録検出器を含む。４．２で議論される動き検出器は、単純な局所画像統計に基づくことができ、そして、操作するために多数のフレームを必要としない。動き検出器は、露光変化に対してロバスト性があり、中間サイズのオブジェクトの動きから細かいエイリアシングなアーチファクトまでの現象を除去するために多くのスケールにわたって動作しうる。

２．アルゴリズム概要
本発明の実施形態は、典型的に、自動露光（ＬＤＲ参照）フレーム（Ａフレーム）５０、５４、５６および６０のシーケンス形式において入力を受信する。フレーム（Ａフレーム）５０、５４、５６および６０は、第１露光設定で捕捉され、異なって露光された拡張フレーム（Ｅフレーム）５２および５８により周期的に置換される。拡張フレーム（Ｅフレーム）５２および５８は、第２露光設定で捕捉される。これらは、図１に示される。その画像のシーケンスは、低解像度でよく、場合により複雑なカメラおよびオブジェクトの動きと共に圧縮できる。これらのシステムおよび方法は、一般に２つの基本的なフェーズ、登録および融合、を含む。登録フェーズは、他の方法だけではなく、全域的な動き推定、画像歪み、および補間を含みうる。その目的は、自動露光および拡張露光のインターリーブされたシーケンスまたは多重化シーケンスを登録フレームセットのシーケンスへと、変換することである。ここで、各フレームセットは、特定の時点に対応し、自動露光フレームおよび一以上の整列した拡張フレームを含みうる。融合フェーズは、ＥＤＲシーケンスの出力をもたらしうる融合処理を実行する。融合は、各時点で個々に実行され、そして、ミスマッチ検出器を含みうる。ミスマッチ検出器は、局所的動きを含むエリア、および、融合処理からの他の登録エラーを制限または排除しうる。

アルゴリズムの２つのフェーズは、図２Ａおよび２Ｂに要約される。図２Ａは、前処理および登録フェーズの概要を示すものであり、図２Ｂは、融合フェーズの概要を示すものである。いくつかの実施形態において、システムは、これらの部分の各々が独立しているように設計されている。これに対する重要な利点は、各部分が個別かつ特別に、変更および微調整されうることであり、本願に記載される動き推定技術を他の技術に置き換えることができる。そのような変更は、より正確な推定処理により誤登録を軽減し、その結果、より精緻な利得を得るという程度にシステムに影響を及ぼすのみである。

登録フェーズ（図２Ａ）は、図１のようなＡおよびＥフレームの関連シーケンスで始まりうる。少なくとも一つのＡフレームは、少なくとも一つの色光度チャネルから分離された輝度チャンネルを有しうる。フレームは、強度および色の分離処理を許容するために、輝度−色光度の色空間に変換されうる。いくつかの実施形態において、Ｌ＊ａ＊ｂ＊色空間は、よい結果をもたらす。いくつかの実施形態において、動き推定は、各Ａフレームを、そのフレームを取り巻く２つのＥフレームと整列させることによって、ＡフレームおよびＥフレームの各々の輝度チャンネル上で実行されうる。動き推定は、三つのフレームのフレームセットを生成するＡフレームの座標系に２つのＥフレームを歪めるために用いられうる。同時に、動き推定は、Ｅフレームを優先して低下した、欠落した自動露光を埋め合わせるために用いられる。この埋め合わせ処理は、その周囲の二つのＡフレームおよび捕捉されたＥフレームから欠落したフレーム各々を時間的に補間することにより実現されうる。

第１のフェーズは、一連のフレームセットをもたらし、各時点に対して一つである（図３参照）。各フレームセットは、捕捉された、または補間された自動露光フレームのどちらか、および、一以上の整列した拡張フレームを含みうる。ここでは、これらのフレームセット（捕捉されたフレームおよび補間されたフレームの両方）における自動露光フレームを参照フレームと称する。なぜなら、これらは、融合が行われない場合、表示のためのデフォルトフレームになるためである。用語「拡張フレーム」は、捕捉されたＥフレーム、および、それらの歪んだバージョンとの両方を称するために用いられる。図３において、実線の枠のブランクフレーム３０−３３は、捕捉された参照フレームを表す。一方、点線の枠のブランクフレーム３４−３５は、補間により生成された参照フレームを表す。陰付きのフレーム３６および３７は、捕捉された拡張フレームを表し、軽度の陰付きフレーム３８−４１は、歪んだ拡張フレームを表す。フレームの各鉛直の列（例えば４２）は、単一時点に対するフレームセットを表す。

図２Ｂに示されるアルゴリズムの実施形態の典型的な融合フェーズは、時間的に一貫した方法で単一ＥＤＲフレームへ各フレームセットを融合することを目的とする。融合フェーズは、単一参照フレームおよび一以上の整列した拡張フレームで始まる。そして、全域的な動きにより、各拡張フレームが参照フレームの一部をカバーするのみでありうることを指摘しておく。いくつかの実施形態において、融合処理は、拡張フレームの各々に対し、０と１との間の重みの値を割り当てることにより始まる。これらの重みの値は、対応する拡張フレームと参照フレームとの間の時間的距離を反映する。これらの重みは、時間的な一貫性を促進するためにアルゴリズムの様々な部分で後に用いられる。いくつかの実施形態において、その後、フレームは、誤登録検出器へ送られる。誤登録検出器は、フレームを比較し、かつそれらが充分にマッチしていない位置を特定する。そのような領域はミスマッチとしてマークされ、融合から排除、または、異なって処理されうる。

ミスマッチマップが与えられると、融合処理のコアとなる部分が行われうる。典型的な実施形態において、輝度チャンネルは、全てのスケールで情報を蓄積するバンドパスラプラシアンピラミッド分解を用いて融合されうる。さほど精度を要求されない色チャンネルは、より単純な単一スケールの信頼性に基づく方法を用いて融合されうる。いくつかの実施形態において、融合された輝度値は、単純な強度圧縮技術を用いて解決されうる強度の有効範囲を超えて普通に広がる。最終的な輝度（融合され、トーンマップされた輝度チャンネル）および色チャンネル（融合された色光度チャンネル）は、再構成シーケンスを生成するために再結合され、表示目的に対してＲＧＢに変換される。

３．登録フェーズ
３．１ 動き推定
典型的な実施形態において、単純な２Ｄ射影の全域的動きモデルが、フレーム間で用いられうる。フレームアライメントは、二重エッジおよび他のアーチファクトを避けるために高精度でなければならず、かつ、露光変化の下で安定でもなければならないので、二段階の技術が用いられうる。第１ステージは、特徴に基づいたアライメントであり、露光変化および適度なノイズに対してロバスト性を提供する。第２ステージは、初期化として第１ステージの出力を用いる反復改良法であり、融合処理により要求された精度をかなえる。演算の複雑さを減らすため、大きなフレームは動き推定の前にサイズが縮小されうる。

いくつかの実施形態において、全域的動き推定は、関連シーケンスにおける連続フレーム間のみで実行されうる。これは、より小さなカメラ移動に対して２Ｄ射影動きモデルがより精密なため、処理の安定性を増す。これらの推定が全ての対に対して利用可能となると、それらの間の連続して起こる動きを蓄積することによりシーケンス内のどんな二つのフレームも（おおよそ）整列させられる。

３．１．１ 特徴に基づいた動き推定
２つの（おそらく異なる露光の）フレームが与えられ、特徴に基づく動き検出器は、２つのフレーム間の密集点対応を生成するために、ＳＩＦＴ特徴マッチングを用いうる。フレームが低品質である場合（低コストセンサはその場合が多い）、その対応は多数の外れ値（outlier）を有しうるため、ＲＡＮＳＡＣ外れ値リジェクションが、１組のインライア（inlier）マッチを特定するために用いられうる。最尤推定処理を用い、２Ｄ射影動きが上記インライアセットから推定されうる。

３．１．２ 反復動きの改良
典型的な実施形態において、特徴に基づく処理により提供される、提案された動き推定は、反復マルチスケールＬｕｃａｓ−Ｋａｎａｄｅ型方法を用いて改良されうる。その方法は、ペナルティ関数を線形化し、かつ、反復ソルバーへ導く一次近似値を用いて、２つの画像間のポイントごとの（point-wise）エラー||Ｉ_１−Ｉ_２||^２ _Ｆを最小化する。粗から精細への改良が、処理を加速しかつより大きな動きを調整するために利用されうる。

この方法は、ポイントごとのエラーに基づくため、異なる露光画像を整列させる場合、露光補償が適用されうる。単純なヒストグラム仕様は、このタスクを達成するために用いられ、拡張フレームのヒストグラムを参照のヒストグラムに一致させる。いくつかの実施形態において、より一般的な動きモデルが想定されうる（階層性の２Ｄホモグラフィモデル等）。これは、その方法の性能に対して有益でありうる。

３．２ 動き補償
一旦、動き推定が決定されると、拡張フレームおよび自動露光フレームを整列させ、かつ、融合されるフレームセットを生成するためにワーピング（歪み）が用いられうる。これは、自動露光フレームおよび拡張フレームの輝度チャンネル上で、動き補償を実行することにより実現される。典型的な実施形態において、複雑さと品質とのバランスを保つバイキュービック補間が用いられうる。すでに、より劣る結果を得るために、より単純なバイリニア補間が見出されている。未定義である、歪んだ結果におけるピクセルは、不確定数によりマークされる。

３．３ 自動露光補間
Ｅフレームが捕捉される時はいつでも、その時点で自動露光フレームを失う。これ補償するために、捕捉されたＥフレームと同様に、隣接する２つのＡフレームを用いて補間ＬＤＲ参照フレームを作るために、このフレームが補間される。同様に、Ａフレームが捕捉される時はいつでも、歪んだ拡張フレームを生成するために拡張フレーム間で補間が実行されうる。

３．３．１ 方法
典型的な補間方法は、割合に直接的である。既知の動き推定を用いて現在の座標系に対して２つの隣接するＡフレームを歪めることにより始める。その後、歪められたフレームは、平均化される。Ａフレームの一つによりカバーされるのみであるピクセルは、現状のままコピーされる。最後に、いくつかの実施形態において、いくつかのピクセルが未定義のままであれば（Ａフレームのどれによってもカバーされていないピクセル）、次に記載するようにこのフレームに露光補償を適用した後、拡張フレームを用いてこれらのピクセルが埋められる。

色画像のための露光補償
いくつかの実施形態は、露光補償を含みうる。異なって露光された２つの画像が与えられると、露光補償（強度画像が含まれる場合、放射分析アライメントとしても知られる）は、他の露光条件を真似るように複数の画像のうちの一つの画像の値を修正しようとする。

強度画像を含むいくつかの実施形態において、露光補償は、ヒストグラム仕様を介して行われる。つまり、そのヒストグラムが他のヒストグラムに類似するように、複数の画像のうちの一つの画像の強度に単調関数が適用される。

色画像が含まれる場合、上の処理は、二つの画像の輝度チャネルを較正するために用いられうる。色に関して、これらのチャンネルは、両画像において理論上は同一である。しかしながら、実際は、制限されたセンサ感度、量子化効果、および、ＲＧＢキューブの制限、の組み合わせにより、必ずしもこの限りではない。それゆえいくつかの実施形態において、以下のように色補正が適用される。

いくつかの実施形態において、アフィンモデルを用いて２つの画像に関する色変換がモデル化される。

ここで、（ｕ_０，ｖ_０）および（ｕ_１，ｖ_１）は、ソースおよび対象画像における色の値であり、それぞれ、

および

である。このモデルは、発見的であって物理的には正確ではないと言える。しかしながら、実際にはよい結果が提供される。アフィンモデルのパラメータは、線形回帰を介して推定されうる。２つのフレームがおおよそ整列すると仮定し、対応するピクセルの各対を回帰処理のためのサンプルと見なし、そして、モデルパラメータに対して外れ値リジェクションと共にロバスト推定を行う。いくつかの実施形態において、複雑さは、推定のために用いられたサンプル数を制限することにより減少しうる。

４．融合フェーズ
いくつかの実施形態において、融合処理は、参照フレームおよび一以上の拡張フレームを含む単一フレームセットを入力として受け付け、融合されたＥＤＲフレームを出力する。融合方法はまた、そのセットにおけるフレームのインデックスを入力として受け取り、フレーム間に時間的距離を設ける。以下、融合処理の様々なステップを記載する。

４．１ 時間重み付け
融合処理は、フレームセットにおける拡張フレームの各々に対し、範囲［０，１］において時間重みの値を割り当てることにより始まりうる。拡張フレームの重みは、参照からその時間的距離により決定され、そして、時間的な一貫性を促進するためアルゴリズムの様々な部分で後々で用いられる。

いくつかの実施形態において、重みは、次のルールに従って割り当てられうる。フレームセットが一つの拡張フレームのみを含む場合、このフレームは常に１の重みを割り当てられる。フレームセットが２つの拡張フレームを含む場合、近い方のフレームが１の重みを割り当てられ、一方で、遠い方のフレームがより低い重みを割り当てられ、それは、参照からの時間的距離において線形である。これを形式化するために、セットにおける三つのフレームのインデックスをｉ_１，ｋ_１，ｋ_２とする。ここで、ｉ_１はＡフレームのインディクスであり、ｋ_１，ｋ_２は（それぞれ）Ｅフレームのインデックスであり、そして、ｋ_１＜ｉ_１＜ｋ_２である。更なるフレームの重みは以下により与えられ、

ここで、

は、更なるフレームのインデックスであり、そして０≦ｗ_ｍａｘ≦１は、更なるフレームに割り当てられた極大の重みを表す任意の定数である。

典型的な実施形態において、ｗ_ｍａｘ＝０．６である。そして、ガウシアンカーネルσは画像のサイズに対して選ばれうる。Ｎ×Ｍ画像に対して、σ＝min（Ｎ，Ｍ）／５０を用いる。

４．２ 誤登録検出
誤登録検出器の目的は、参照で充分に正確に整列していない拡張フレームでの領域をマップし、そして、その領域を融合から選択的に排除することである。

４．２．１ 他の実施形態
いくつかの実施形態において、二つの画像のうち一つに対して拡張補償を適用することにより、かつ、各ピクセルでエラーを演算することにより、対となる画像を比較することで、誤登録検出処理が実行されうる。予め定義されたある閾値より大きいエラーを有するピクセルは、局所的動きの影響を受けるものとして特定される（これらのどちらかが飽和する場合を除く）。オブジェクトの動きと疑われたピクセルは、その場所で最小飽和した画像を用いて埋められ、おそらくその画像をそのピクセルでの強度が大きく異なっていない他の画像と共に平均化する。

いくつかの実施形態において、局所エントロピーは、オブジェクトの動きのインジケータとして用いられうる。これは、画像ブロックのエントロピーは露光変化によってさほど影響を受けず、かつ、そのブロックにおける構造との関連がより大きい、との考えに基づく。提案された動き検出器は、各ピクセル周りのウィンドウでのエントロピーを演算し、そして、このエントロピーが露光間で違い過ぎる場合、それを抑制動きと指定する動きが一旦検出されると、そのピクセルは最小飽和画像を用いて埋められ、目に見える不連続性を避けるために平滑化処理が用いられる。

いくつかの実施形態において、典型的な推定処理は、演算コストの軽減を目的として、二つの画像を整列するため（必要に応じて）ダウンスケールすることにより始まる。これらの実施形態において、推定処理は、二つのダウンスケールされた画像に関係する３×３ホモグラフィ行列

を生成する。このとき、第１画像中の各ピクセル位置

に対して、第２画像中の対応位置は

となる。このとき、〜は、ある因子まで等しいことを示す。これを二つの元の画像間の関係

に対し変換するには（ピクセル座標が（１，１）で始まると推定して）、次式を演算することで実現される。

ここで、ｃ＜１はダウンスケーリング因子を表す。

４．２．２ 異なる露光間の誤登録の検出
いくつかの実施形態において、できるだけ正確に全域的に整列した、同じシーンの異なって露光された二つの画像を仮定する。このケースで誤登録のソースは、（ａ）仮定した全域的動きモデルにより課せられた制限、（ｂ）仮定モデル内の最適動きパラメータの推定に失敗すること、（ｃ）二つのフレームにおける非互換パターンに変える高周波領域でのエイリアシングアーチファクト、および（ｄ）移動するオブジェクト、であってもよい。これらの実施形態では、非互換を検出し、影響が与えられた領域を融合処理から排除するというように、同様の方法でこれら全ての場合を処理する。

異なって露光された画像間での誤登録を検出するための典型的な実施形態は、図４を用いて概説される。これらの方法は、それぞれ第１および第２露光設定で捕捉されている二つの画像の輝度チャンネル上で機能する。これらの処理は、参照フレームのより近くに拡張フレームがくるように露光補償を適用することにより開始することができる。次に、二つの画像のラプラシアンピラミッドが演算される。ラプラシアンピラミッドは、多くのスケールにわたる画像の細部を明確にし、大きなオブジェクトに対して細かいテクスチャーを補うように用いられる。移動するオブジェクトは、二つのピラミッドを対応するスケールで異ならせ、より細かいスケールにおいても同様にすることが可能である。

ピラミッドの各バンドパスレベルに対して、拡張フレームが対象フレームのどこで整列していないかを特定するために、以下のようにミスマッチマップを演算する。ｐ^１ _i,j,ｋおよびｐ^２ _i,j,kを、その位置（ｉ，ｊ）および二つのピラミッドのスケールｋにおいて対応する（同一場所に配置された）二つのピクセルとする。いくつかの実施形態において、二つのピクセル間の対応関係を定量化するために用いる基本値は、ｋ番目のスケールでそれらを囲む二つのＮ×Ｎウィンドウ間の正規化相関（正規化された局所相関）である。形式的には、ｐ^１ _i,j,kを囲むＮ×Ｎウィンドウにおけるピクセルをベクトル

、および、ｐ^２ _i,j,kを囲むピクセルをベクトル

として配置する場合、その対応関係を以下のように計測する。

この典型的な対応関係の計測では、［−１，１］内の値をとり、二つのピクセルがそれらの周りで類似のエッジパターンを有する場合のみ高くなる（１に近づく）。エントロピーに基づいた検出器と対比させるので、例えば、この計測は細かいテクスチャーの非互換性に敏感であり、最終的には、結果として融合結果における曖昧さを生じさせる。それは、非互換のエイリアシングパターンと他の一致しないエッジとを同様に検出する。その計測は、アファインスケーリングにより影響を受けないので、露光変化に対してロバスト性がある。

ρ_i,j,kをそのままの形で用いることは、効果的な結果として、フレームのうちの一つが細部を実際に欠落している領域の全てを完全に排除することは明らかである。それゆえ、フレームのどちらかがある隣接域において微小の細部を有する場合、その位置のρ_i,j,kの値を無視して融合を続ける。ピクセルｐ_i,j,k周りの活動量を定量化するために、以下で与えられるように、ラプラシアンピラミッドにおけるその周囲のウィンドウの全エネルギーを用いる。

ラプラシアンピラミッドにおけるゼロでない成分がその画像の特徴に対応するので、この計測では、それぞれのスケールにおいて、ｐ_i,j,k周囲の細部の量を直接定量化する。

（４）および（５）を用いて、我々はミスマッチ検出器を定義できる。我々はマルチスケール二値ミスマッチピラミッドｍ_i,j,kで始める。ｍ_i,j,kは次のように定義される。

ここで、

および

は予め定義された閾値である。二つのフレーム間の相互関係係数が小さい場合はいつでも、このマップは１を含み、これら二つのフレームはともに相当に充分な活動量を有する。異なるピラミッドレベルに対して異なる活動閾値

を許容する。なぜなら、これらの値が正規化されず、また、画像導関数は、より粗いスケールにおいて充分に減少する傾向にあるためである。

このピラミッドが与えられると、アルゴリズムの最終ステップでは、その異なるレベルを結合し、かつ、最終動きマップを生成する。これは、ラプラシアンピラミッド再構成処理に類似する方法で、ピラミッドのレベルを統合することにより成される。つまり、最も粗いレベルを拡大し、その上のレベルにそれを加え、ピラミッド全体が処理されるまで繰り返す。蓄積された結果における各ピクセルの値は、おおよそスケール数であり、そのスケール数において、そのピクセルが動きを含むことが分かっている。単一スケールを、動きを示すのに充分なものとみなしているため、ピクセル値が閾値よりも蓄積した場合はいつでも、１を有する二値マップを出力する。

４．２．３ ミスマッチマップの生成
ここでは、本発明のいくつかの実施形態の融合処理に対して、上記の方法がどのように完全なミスマッチ検出システムを形成するために利用されうるのかについて記載する。全ての時点で、参照フレームと、１または２個の拡張フレームとを有するものと仮定する。図３からわかるように、殆どの時点で、各参照フレームは二つの拡張フレームを有しており、拡張フレームはシーケンスにおける周囲の二つのＥフレームから生じる。しかしながら、いくつかの時点において、一つの拡張フレームのみを有してもよい。これは、ただ一つの時間的に隣接したＥフレームが存在するシーケンスの第１および最後の数フレームにおける場合と同様、Ｅフレームが捕捉されるときに起こる。

ただ一つの拡張フレームが利用可能な場合、いくつかの実施形態では、その拡張フレームに対してミスマッチマップを構築するために、そしてその処理を終えるために、４．２．２での技術を使うことができる。しかしながら、二つの拡張フレームが利用可能な場合には、これら二つの拡張フレームをそれら自身の中で比較する第２のステップを加えてもよい。これは、オブジェクトの動きまたは登録エラーが存在するときに、それらが寄与する情報が非互換であってもよいように、当該第２のステップを加える。

フレーム間の単純なピクセルごと（pixel-wise）のエラーマップが演算（コンピュータにより演算）され、このマップが閾値化されることにより、二つの拡張フレームが比較される。それら二つの拡張フレームが同様に露光されるとき、それらは、（エラーマップにおいて大きなエントリとして特定する）オブジェクトの動きまたは登録エラーが存在する場合を除いて、実質的に同一であるべきである。それらの境界だけでなく、いっそう大きなオブジェクトの対象の検出を許容するために、ガウシアンピラミッドにおける多くのスケールにわたって演算を繰り返す。従って、対応するレベルの各対間の差分を閾値化することにより、二値動きピラミッドが演算され、異なる露光がなされた画像の場合のように、結果として生じる二値動きピラミッドが単一動きマップへと統合される。

最後に、拡張フレームの各々と参照フレームとの間のミスマッチマップｍ_０，１およびｍ_０，２、同様に二つの拡張フレーム間のミスマッチマップｍ_１，２が与えられることにより、それらの間に二値ＯＲが適用され、拡張フレームに対する最終ミスマッチマップが得られる。

４．２．４ 時間一貫性
これまで記載された典型的な動き検出器には、一つの重大な欠点がある。それは、時間的に安定でないことである。フレームシーケンス（Ｅ_１，…Ｉ_１，Ｅ_２，Ｉ_２，…，Ｅ_３）を考えるとする。ここで、Ｅ_１，Ｅ_２，Ｅ_３は、三つの連続したＥフレームであり、Ｉ_１，Ｉ_２は二つのＡフレームである。なお、Ｉ_１でのフレームセットは｛Ｉ_１，Ｅ_１，Ｅ_２｝から成り、Ｅ_２でのフレームセットは｛Ｉｎｔｅｒｐ（Ｉ_１，Ｉ_２），Ｅ_２｝から成り、Ｉ_２でのフレームセットは｛Ｉ_２，Ｅ_２，Ｅ_３｝から成る。記載されたミスマッチ検出スキームが適用され、フレームＥ_２は、Ｉ_１と融合された場合にはＥ_１とのそのミスマッチにより、Ｉ_２と融合された場合にはＥ_３とのそのミスマッチによりマスクされ、補間フレームと融合された場合は全くマスクされない。これは、Ｅフレーム周りでの重要な視覚障害の原因となりうる。

これを対処するために、単純な時間的適応を用いて、Ｅフレームにより近づけるにつれて更なるＥフレームの影響が次第に減少することを担保する。二つの拡張フレーム間のミスマッチマップが、それらの間のピクセルごとの差分を取り、その結果を閾値化することにより演算されることを思い出してほしい（これは、実際には多くのスケールに対して繰り返されうる。しかし、ここでは簡単のために単一スケールを考慮する）。なお、ミスマッチ閾値が増加するので、検出器は、それら二つのフレーム間の不一致に対して余り敏感にならない。特に、［０，１］内の画像強度が仮定されれば、１に近い閾値はミスマッチ検出を実質的に取り消す。処理を時間的に安定させるために、各拡張フレームのそれぞれに対して時間で閾値を徐々に変えることによりこの観察が利用されうる。それゆえ、二つの拡張フレーム間の差分マップが与えられる場合、二つの異なる閾値を用いて、フレームのそれぞれのうちの一つに対して差分マップから二つの異なるミスマッチマップを生成する。時間的により近いフレームに対し、より大きい閾値を認めることにより、閾値上の更なるフレームの影響を軽減する。これらの閾値は、時間的に一貫した結果を達成するために、時間でスムーズに変えられうる。結果として生じる２つのミスマッチマップは、両方のフレームに本来共通であった（７）のマップｍ_１，２を置換するために用いられる。

４．２．５ その他のミスマッチ検出の実施形態
いくつかの実施形態において、検出方法が誤登録の検出に失敗しうる状況がありうる。４．２．２に記載された方法では、画像のうちの一つが細部を欠く領域におけるミスマッチを全く検出せず、追加情報が他の露光から欠落していることを常に仮定している。その他の一実施形態では、欠落している細部のインジケータとしての局所活動量を飽和量に置換してもよい。従って、２つの画像が低い相互関係を有し、かつ、その両方が飽和していない場合に、ミスマッチが明らかにされる。

４．３ 輝度チャンネルの融合
典型的な実施形態において、全体の処理の核となるものは、全画像から（つまり、拡張フレーム、歪んだ拡張フレーム、補間参照フレームおよび参照フレームから）細部を蓄積する単一強度画像への、輝度チャンネルのセットの融合である。その処理は、一つの拡張フレームのみが利用可能である場合のセット｛Ｉ_１，Ｅ_１，Ｍ_１｝、または、２つの拡張フレームが利用可能である場合のセット｛Ｉ_１，Ｅ_１，Ｅ_２，Ｍ_１，Ｍ_２｝を入力として利用しており、拡張フレームに関連する２つのミスマッチマップＭ_１およびＭ_２を用いている。その方法は、基本的には３ステップの処理である。
１．各入力フレームに対して適応型ラプラシアンピラミッドを演算する。
２．各レベルにおけるピクセルごとの最大化を用いてピラミッドを統合する。
３．統合されたラプラシアンピラミッドの再構築を介して出力画像を補正する。

これらの実施形態において、我々はいくつかの理由からラプラシアンピラミッドを選択した。第一に、ラプラシアンピラミッドは、注意深くサンプルされたウェーブレット変換よりも時間的に非常に安定していることが示されている。同時に、シフト不変のウェーブレット変換または勾配ピラミッドよりも時間的に僅かに安定的でないことが示されているだけである。これは、非常に異なるソースから画像を融合する場合、より関連があるように思われる。しかしながら、ラプラシアンピラミッドを用いる主な動機はその単純さであり、画像に対する変換の変形を未定義領域で設計できる。

４．３．１ 適応型画像ピラミッド
Ａ．ガウシアンおよびラプラシアンピラミッド
画像のガウシアンおよびラプラシアンピラミッドは、マルチスケールおよびバンドパス画像解析のために広く使われる構造である。ピラミッドは、二つの基本操作、すなわち縮小および拡大を用いて構成される。縮小操作は、２因子分だけ画像をダウンスケールし、エイリアシングを最小化するために平滑化処理を利用している。拡大操作は、２因子分だけ画像をアップスケールし、高周波の導入を回避するために同様に平滑化処理を利用している。

強度画像Ｉの場合、そのガウシアンピラミッドＧ＝｛Ｇ_１，Ｇ_２，…，Ｇ_ｎ｝は、単にこの画像の一連のダウンスケールバージョンであり、Ｇ_１＝ＩおよびＧ_ｉ＋１＝ｓｈｒｉｎｋ（Ｇ_ｉ）である。ガウシアンピラミッドは、マルチスケール画像処理タスクに対して一般に使用される。画像のラプラシアンピラミッドＬ＝｛Ｌ_１，Ｌ_２，…，Ｌ_ｎ｝は、本質的には画像のバンドパス分解である。それは、Ｌ_ｎ＝Ｇ_ｎおよびＬ_ｉ−１＝Ｇ_ｉ−１−ｅｘｐａｎｄ（Ｇ_ｉ）を介してそのガウシアンピラミッドから演算される。ラプラシアンピラミッドの各レベルは、これらのレベルのダウンサンプリングによりそれぞれ低い冗長性を有しており、画像周波数領域の異なる帯域を示す。

Ｂ．適応型ガウシアンピラミッド
ガウシアンおよびラプラシアンピラミッドは、画像がその全体のグリッドにわたって定義される限りは、明確に定義される。本実施形態の場合、このことは参照フレームに対しては真であるが、拡張フレームに対する場合にはめったに真ではない。過去または更なるＥフレームの歪んだバージョンである拡張フレームは、通常、それらが全域的な動きにより未定義である領域を有する。

ガウシアンピラミッドを構成するために用いられる縮小操作は、画像の平滑化およびそのダウンサンプリングを含む。平滑化は、一般に、加算して１になるように正規化したその重みで、小さく分離できるガウシアンカーネルと共に畳み込みが行われることにより実施される。ダウンサンプリングは、画像サンプルを放棄し、偶数（または奇数）のインデックス付きのもののみを残すことを含む。

画像サンプルのいくつかが未定義である場合、出力ピクセルが未定義の値に依存する時はいつでも、平滑化処理が困難となる。画像Ｉ＝｛Ｉ_ｉ，ｊ｝および平滑化カーネルｇ＝｛ｇ_ｉ，ｊ｝に対して、出力Ｊ＝｛Ｊ_ｋ，ｌ｝が次式により定義されることを思い出してほしい。

Ｉの未定義値がこの総和において存在する場合、一つのアプローチとしては、結果として生じるＪ_ｋ，ｌを同様に未定義することである。しかしながら、より粗いガウシアンピラミッドレベルが構築されるように、これは、増加する画像数を徐々に除去し、最も粗いピラミッドレベルに元の画像領域の一部分のみをカバーさせる。このように構築されたラプラシアンピラミッドは、そのレベルの各々が２つのガウシアンピラミッドレベルに依存するので、更なる細部損失までも被ることになり、それゆえ、それらの未定義領域の両方を蓄積する。最終的に、これは、融合結果において、結果として欠落している細部を生じさせ、低パフォーマンス最適化（sub-optimal performance）を引き起こす。

いくつかの実施形態において、これを克服するために取り得る方法としては、定義された値のみを考慮するように、計算式（８）を再定義することがある。

この式において、Ωは、Ｉで定義されたピクセルに対応する｛−l…l｝×｛−l…l｝のサブセットである。正規化は、この総和での重みが１に至るまでなお加えることを担保するようになる。なお、定義値に完全に依存する出力ピクセルに対して、この計算は前述の計算と同等である。この修正された公式において、未定義値に完全に依存するピクセルのみが（従って、分母＝０）、未定義であると称される。

これらの実施形態では、画像のある形式の連続する振舞いを仮定するとき、本質的には、その境界周りの画像の外挿法を実行する。残念ながら、この外挿法は、常に有効であるわけではない。外挿法が失敗する場合、画像に本来存在しない細部を導入し、融合結果において可視的なアーチファクトを生じさせる可能性がある。それゆえに、いくつかの実施形態は、ある極小数の定義された入力ピクセルに依存する出力ピクセルに対して、（９）の使用を制限し、その残りを未定義数に設定する。形式的には、以下のような重み閾値０≦μ≦１が定義される。

なお、この公式は、（８）と（９）との両方を一般化したものである。μ＝１に設定することは、計算式（８）を再現し（定義された全入力に対する出力のみが定義される）、一方、μ＝０に設定することは、計算式（９）を再現する（定義された一つの入力でどんな出力も定義される）。

残念ながら、μの全ての固定的な選択が重大な欠点を与えることが分かっている。より低い値がアーチファクトを生じさせ、一方、高い値が欠落している細部を生じさせる。これを克服するために、いくつかの実施形態には、その位置で画像コンテンツに基づいた各ピクセルに対して個別にμの値を選択する、新たな適応構築処理が含まれる。それゆえ、固有の閾値μ_ｋ，ｌを各出力ピクセルに割り当て、その処理が導かれる。

現在の基本的な考え方は、そのピクセル周りの画像における活動量に、μ_ｋ，ｌの選択の基礎を置くことである。この型のピラミッド構築を適応型ガウシアンピラミッドと称する。このアプローチによれば、まず始めに、画像に対してμマップを演算することを目指す。μマップは、０と１との間のμの値を各ピクセルに割り当てる。一旦このマップが決定すれば、我々は、計算式（１１）を実施し、ダウンサンプリングを進める。修正された計算式（１１）を用いることが、定義された入力に完全に依存する出力ピクセルに影響を与えない（μ_ｋ，ｌのそれらの割り当てられた値を無視する）ことは強調されるべきである。なぜなら、それらの入力ピクセルの総重みは、常に合計１になるためである。特に、このことは、完全に定義された画像のガウシアンピラミッドが不変のままであることを意味する。

μマップを構築することにおける重要な観察は、境界の両側上の真の画像値が類似であるところにおいて、外挿法の操作が最も正確であるということである。それゆえ、その考え方は、境界に対して垂直な構成要素のみを考慮することにより、μ_ｋ，ｌの値を局所画像勾配から引き出すというものである。垂直な構成要素がより強ければ、外挿法が失敗する可能性が高くなり、それゆえ、μにはより高い値が課せられるべきである。しかしながら、境界に沿った勾配は、拡張フレーム自身から容易に決定されることができない。それゆえ、いくつかの実施形態では、参照フレームからこれらの勾配を推定しうる。この背後にある指針となる仮定は、充分に強い勾配が境界の近くに存在すれば、それは参照フレームにおける何らかの形跡を有するというものである。

いくつかの実施形態において、μマップの実際の計算は以下のとおりである。そのｉ番目のレベルで与えられた適応型ガウシアンピラミッドのｉ＋１番目のレベルを演算していると仮定する。正確なμマップを決定するために、参照フレームのガウシアンピラミッドのｉ番目のレベルが参照される。その勾配は、それをソーベルｘおよびｙ、導関数カーネルｋ_ｘ＝（０．２５，０．５，０．２５）^Ｔ（−０．５，０，０．５）およびｋ_ｙ＝ｋ_ｘ ^Ｔで畳み込み積分することにより演算される。

拡張フレームにおける未定義領域の境界の垂直成分を演算し続ける。このため、フレームが定義された箇所で１、および、それとは異なる箇所で０を含む境界マップＩ_{ｂｏｕｎｄ}を定義する。同じソーベルカーネルを用いてこのマップの勾配が演算される。

単位ベクトルを得るためにこれらの勾配が正規化される。

最後に、（１２）および（１４）から、次式を介して勾配の垂直成分を演算できる。

値ｄ_ｎが与えられると、以下のルールに従ってμ値を各ピクセルに割り当てる。

ここで、ｔ_ｌおよびｔ_ｈは、低次および高次導関数間を区別する２つの閾値である。そして、μ_１＜μ_２は、μの２つの固定値である。この規則によれば、導関数が大きい場合には、外挿法を完全に中止する（μ＝１）。導関数が非常に低い場合には、強い外挿法を許容する（μ＝μ_１、μ_１は０に近い）。そして、導関数がその中間である場合には、適度な外挿法が実行される（μ＝μ_２、ここでμ_２〜０．５）。

Ｃ．適応型ラプラシアンピラミッド
未定義領域で画像に対してラプラシアンピラミッドを構築することは、ガウシアンピラミッドを構築することと同様の困難性を与える。このため、類似の方法でこれらが対処される。いくつかの実施形態において、上述のように、画像の適応型ガウシアンピラミッドを構築することにより開始してもよい。一旦このピラミッドが演算されれば、このピラミッドからラプラシアンピラミッドを演算することは、一連の拡大操作および画像減法を含むことになる。

独立変数のどれかが未定義である場合に結果として未定義数を与えるために、減法操作を定義する。これは、拡大された、より粗いガウシアンレベルが、外挿法により現在のガウシアンレベル以上をカバーしている場合、この領域が減法処理で除去されることを担保する。

拡大操作の実行は、正攻法であって、適応型ガウシアンピラミッドにおける減少操作に酷似している。拡大手順は、画像のアップサンプリングにより開始される。ここで、定義されたピクセルおよび未定義のピクセルを区別するために、ゼロ充填よりむしろ、未定義数充填が用いられる。次に、明度を維持するために、定義されたピクセルの値に４を掛ける。最後に、小さく分離可能なガウシアンカーネルを用いて画像を平滑化し、定義されたピクセルのみを考慮する。過度な外挿法を回避するために、定義されたピクセルに最小重みを課す（１０）で与えられた平滑化操作を用いる。

理解しやすいように、拡大操作に対し、適応値よりむしろ、全体の画像に対する単純な固定値μを選択する。確かに、適応型ラプラシアンピラミッドが適応型ガウシアンピラミッドに基づく限りは、μのより精巧な微調整が不必要であることを理解している。拡大操作におけるμの選択に関して注意すべきことは、その有効範囲が［０，１］よりむしろ、［０，０．２５］であるべきであるということだけである。なぜなら、未定義数充填により、いかなるウィンドウにおける定義されたピクセルの極小重みが０．２５になるようにするためである。

典型的な実施形態において、平滑化カーネルは、σ＝１で２Ｄガウシアンピラミッドの５×５正規化近似値である。ダウンサンプリング処理は、画像の左上のピクセル、およびそのピクセルから生じる、２倍サブサンプリングされたダイナミックグリッド上の全てのピクセルを残す。これは、Ｎ×Ｍ画像に対して、サイズ結果［Ｎ／２］×［Ｍ／２］を導く。この典型的な実施形態において、我々は、ｔ_ｌ＝０．０１、ｔ_ｈ＝０．１、μ_１＝０．１、μ_２＝０．５も用いる。

４．３．２ ピラミッドの統合
Ａ．基本処理
参照および拡張フレームのラプラシアンピラミッドのそれぞれをＬ^ｒｅｆ，Ｌ^１およびＬ^２とした場合、基本的な考え方は、単一ピラミッドにおける全てのフレームから細部を蓄積するように、最も粗いレベル以外の全てのレベルにおいてそれらの間でのピクセルごとの最大化を実行するというものである。

ピクセルごとの最大化処理は、２つの画像ピラミッドを取得するステップと、ピラミッド内の各位置で第１および第２画像のピクセル値を比較するステップとで説明される。各位置での出力は、その位置での第１および第２画像の最大値である。

これは、ｘ，ｙおよびｚの全ての値に対して、次のように、
Output(x,y,z) = max( Input1(x,y,z), Input2(x,y,z))
と数学的に記述することができる。ここで、ｘおよびｙは空間的位置、ｚはピラミッドにおけるレベル位置である。

本発明のいくつかの実施形態において、ピクセルごとの最大化手順は、混合ピラミッドに従ってラプラシアンピラミッド間で実行される。それにより、混合されたピラミッドが作成される。この場合、各位置での出力は、第１および第２画像におけるピクセル値の関数により決定される。

論理的には、これは以下のように記述される。すなわち、
if(BlendFunction(Input1(x,y,z))> BlendFunction(Input2(x,y,z))
Output(x,y,z) = BlendFunction(Input1(x,y,z))
else
Output(x,y,z) = BlendFunction(Input2(x,y,z))
と記述される。

本発明のいくつかの実施形態において、ピクセルごとの最大化処理は、重み付け因子を含む混合ピラミッドを用いる。重み付け因子は、実行中に上記ラプラシアンピラミッドにおけるピクセルの相対的寄与を定義する。

論理的には、これは以下のように記述される。すなわち、
if(BlendValue1(x,y,z)*Input1(x,y,z))> BlendValue2(x,y,z)*Input2(x,y,z))
Output(x,y,z) = BlendValue1(x,y,z)*Input1(x,y,z)
else
Output(x,y,z) = BlendValue2(x,y,z)*Input2(x,y,z)
と記述される。

ミスマッチが存在せず、かつ、時間重みが無視される単純な場合において、融合処理はアルゴリズム１で記載された処理により要約される。そのアルゴリズムの記載において、関数ｍａｘａｂｓは、符号を無視したその独立変数のピクセルごとの最大化を実行する。つまり、関数ｍａｘａｂｓは、その符号の絶対値倍の極大の独立変数を返す。

Ｂ．マルチスケール混合ピラミッドとの融合
ミスマッチ、時間重み、および他の現象に合わせるために、マルチスケール混合ピラミッドが各拡張フレームピラミッドに割り当てられるように、基本的な処理を一般化している。このピラミッドは、拡張フレームのラプラシアンピラミッドと同じサイズであり、その中の各ピクセルに［０，１］内の混合値を割り当てる。０の混合値は、このピクセルが（例えば、ミスマッチにより）最大化処理において考慮されないべきであることを意味する。一方、１の混合値は、元の公式のように、そのピクセルが充分に処理されるべきであることを意味する。次節において混合ピラミッドを演算するための手順を記載する。

混合ピラミッドが与えられると仮定した場合、アルゴリズム２は、これらのピラミッドを考慮する修正された融合処理を表す。なお、各ピラミッドレベルｉに対して、出力は参照レベルで初期化される。その後、拡張フレームは、連続して処理される。各拡張値Ｌ^ｋ _ｉ（ｘ，ｙ）は、出力ピラミッドの現在のコンテンツと比較される。そして、各拡張値がより大きい場合、各拡張値は、その関連した重み（混合されたピラミッド）に従って混合される。

この処理の重要な特性は、その処理がアルゴリズム１を直接的に一般化していることである。これは、全ての割り当てられた混合値が１であるどんなピラミッド位置に対しても、両方のアルゴリズムの出力が同じであるためである。このアルゴリズムの背後にある考え方は、元の公式のように、新たな情報が現在の出力値より大きい場合には新たな情報を考慮するのみであるというところにあり、これは、フレームが出力ピラミッドにおいて現在は示されていない情報を含有するという我々の指摘である。しかし、関連した混合値が１より小さい場合には、混合値に基づいたこの新たな情報の効果を制限する。これは、混合値が減少するようにこれらの細部の緩やかな減衰を効果的にもたらし、より平滑な融合結果を生成する。

アルゴリズム１：基本的な輝度融合処理

Ｃ 混合ピラミッドの生成
次に、拡張フレーム混合ピラミッドを生成するために用いられるプロセスについて説明する。このプロセスでは、拡張フレームの適応型ラプラシアンピラミッド：Ｌ^１、Ｌ^２、適応型ラプラシアンピラミッドに関連する二値ミスマッチマップ：Ｍ_１、Ｍ_２、および時間重み：Ｗ_１、Ｗ_２が入力される。そして、このプロセスは、０と１との間の混合値を含む、Ｌ^１およびＬ^２と同じサイズの一組の混合ピラミッドＰ^１、Ｐ^２を出力する。時間重み（重み係数）は、このプロセスでの拡張フレームピラミッドにおける相対的なピクセルの寄与を規定するために用いられる。

混合ピラミッドの初期化は、ミスマッチマップを無視し、かつ、時間重みのみを考慮することによって行われる。（ｉ、ｊ）を空間位置、ｋをピラミッドレベルとしたときに、ピラミッド中のすべてのピクセル位置（ｉ、ｊ、ｋ）に対して、まず最初に、この位置が０、１、または２つの拡張ピクセルによってカバーされるか否かが判定される（これは、２つの拡張ピラミッドが規定されている領域を前提とする）。続いて、第ｎ拡張フレームの混合値が次の式により決定される。

ここで、ｘが規定されているとｄｅｆ（ｘ）は真となる。このように、（ｉ、ｊ、ｋ）で両方の拡張フレームが規定されている典型的なケースにおいて、混合値は、単に、対応付けられた時間重みとなる（重みは、少なくとも１つが１となるように選択されることに留意されたい。４．１参照）。位置をカバーしていないフレームは、常に混合値０が割り当てられる。そして、１つの拡張フレームが幾つかの位置をカバーしている場合には、混合値１が割り当てられる。このプロセスによれば、少なくとも１つの拡張フレームによりカバーされる任意のピラミッド位置に対して、フレームの１つに混合値１を確実に割り当てることができる。

アルゴリズム２: 混合ピラミッドを用いた輝度融合

各拡張フレームが初期混合ピラミッドを有した時点で、次のように、対応するミスマッチマップが混合ピラミッドに組み込まれる。最初に、二値ミスマッチマップｍの多重スケール代表値Ｍが演算される。このプロセスは、標準的なガウシアンピラミッド構造に似ている。しかしながら、このプロセスは、（浮動小数点結果を出力する）軽減処理それぞれに二値閾値処理が続き、そこでは閾値は０．５であり、出力が二値に戻される、という点においてガウシアンピラミッド構造と相違する。このプロセスは以下の式で示される。

Ｍ_１＝ｍ，Ｍ_ｋ＋１＝{reduce（Ｍ_ｋ）＞０．５}.
次に、この二値ピラミッドの各レベルが、ガウシアンカーネルを用いて平滑化される。このとき、各ピラミッドレベルのサイズに適合する減少標準偏差値σ_ｋ＝σ_０・２^−ｋが用いられる。

演算を完了するために、ピクセルごとに、（１７）で演算された初期混合ピラミッドを、平滑化されたミスマッチピラミッド（平滑化処理）により積算する。これによりプロセスが終了する。

ある典型的な実施形態において、ミスマッチ検出器が、それぞれに露光する画像に対して７×７ブロックで動作する。拡張フレームに対して露光補償を行った後、４．３で説明したように、各フレームに対して適応型ラプラシアンピラミッドが演算される。これらのピラミッドにおける一組の対応するピクセルそれぞれに対して、（４）で規定されるように、７×７の近傍間で正規化相関が演算される。このとき、境界となるピクセルに対して左右対称のパッディングが用いられる。また、（５）で規定されるように、２つの７×７の近傍それぞれの局所活動量が演算される。この典型的な実施形態において、ピクセルは、正規化相関が（ａ）で示す値以下であり、かつ、両ブロックの局所活動量が（ｂ）で示す値以上であれば、動作を有するものと規定される。

このとき、ｋ＝１、２、,,,、Ｋは、精細から粗へのレベル番号である。以下の（ｃ）の選択は、[０、１]の範囲内の強度値を想定している。

二値ミスマッチピラミッドが形成されると、それが二重表現に変換され、すべてのレベルの寄与を累積するためにラプラシアン再構成処理が行われる。最終的なミスマッチマップが、＞０．９（少なくとも１つのスケールで検出された動作）を有する各ピクセルを１に設定することにより得られる。

この典型的な実施形態において、同様に露光するフレームに対するミスマッチ検出器が、各フレームに対して適応型ガウシアンピラミッドを演算することにより動作を開始する。これらのピラミッドにおける対応するピクセルの組ごとに、その差（絶対値）が演算され、２つの予め規定された閾値と比較される。これにより２つの二値ミスマッチピラミッドが生成されるが、その２つの二値ミスマッチピラミッドは、フレームごとに１つである。二値ミスマッチピラミッドは、その後、上述したように、２つのミスマッチマップに累積される。使用される閾値は、輝度値が[０、１]の範囲内を想定しており、以下の式により与えられる。

ここで、Ｔ_０＝０．０８、α＝０．０３は一定である。ｗ_１、ｗ_２は、２つのフレーム（４．１参照）に割り当てられる、０と１との間の時間重みである。時間的に近いフレームの重みは大きくなるため、このフレームには大きな閾値（Ｔ_０以上）が与えられ、２つ目のフレームには低い閾値（Ｔ_０以下）が与えられる。

４．３．３ 出力輝度の再構成
４．３．２で説明したプロセスは、結果的に、出力輝度チャンネルを表す１つの統合ラプラシアンピラミッドをもたらす。融合結果を得るために、Ｉ^ｎ＝Ｌ_ｎ、および、Ｉ^ｋ−１＝expand(Ｉ^ｋ）＋Ｌ_ｋ−１によって与えられる標準ラプラシアンの再構成プロセスが利用される。プロセスの出力はＩ＝Ｉ^１である。ここで処理されるラプラシアンピラミッドには規定されない値が含まれないため、標準拡張処理が用いられる。

４．４トーンマッピング、および強度補償
ラプラシアン再構成プロセスに由来する融合輝度チャンネルは、典型的に、基準の飽和領域に対して拡張フレームが寄与した情報の量に応じて、有効強度範囲を超えたチャンネル値を含む。実際に、基本的な融合処理を用いて２つの画像を融合したときに、 [０、１]の範囲の入力画像に対する理論的な出力強度は[−１、２]の範囲である。実際に、入力に対する出力強度の範囲は、約５０％の改善が見込まれる。拡張フレームの露光が十分ではない場合、出力範囲は[０、１．５]付近となる。拡張フレームの露光が十分な場合、出力範囲は[−０．５、１]付近となる。そのような強度範囲を、中ダイナミックレンジ（medium dynamic range（MDR））と称する。

表示可能な結果を得るために、標準画像装置から要求されるように、中ダイナミックレンジを低ダイナミックレンジにマッピングする強度圧縮が用いられる。この処理の主要な部分は、高ダイナミックレンジ（higher-dynamic range（HDR））のトーンマッピング技術に類似したトーンマッピング方法である。そのトーンマッピング方法は、空間的に適用される方法で強度範囲を圧縮し、より飽和した領域に対して、より強い圧縮をかける。この処理の目的は、参照フレームの全体的な見た目を維持するために中間色調を保持しつつ、画像のダイナミックレンジを低くすることにある。同時に、飽和した領域が、コントラストの損失を最小限にしつつ、有効強度範囲に近づけられる。トーンマッピング処理を適用した後、その結果に対して簡易な強度圧縮が追加的に行われ、出力が[０、１]の範囲の値のみを含めることができる。

４．４．１ ＭＤＲトーンマッピング
範囲外の領域が範囲内の領域よりも圧縮されるように、空間的に適応されるトーンマッピング処理が用いられる。これは、トーンマップ結果を生成するために、強度画像から抽出される平滑化圧縮マップを演算する、という考えである。ここでは、この圧縮マップが低周波数のみを含む限りにおいて、局所的なコントラストが維持され、無視しうるようなアーチファクトが起こる、という主要な観測結果が得られた。実際に実行すると、圧縮マップは正値のみを含み、範囲外の領域は圧縮が大きく、範囲内の領域は小さく（またはゼロ）という演算結果になった。

全体的なトーンマッピング処理がアルゴリズム３に記載されている。この処理は、[０、１＋δ]の範囲のＭＤＲ画像に対して記述されたものである。しかしながら、同様の方法が、[−δ、１]の範囲の画像に対しても記述されうる。この処理はまた、ＨＤＲ画像をＬＤＲ画像にトーンマッピングするためにも用いられうる。ここに示されるように、基本的なトーンマッピング処理は、画像のラプラシアンピラミッドを構築する処理、このピラミッドの最も粗いレベルに対して圧縮マップを適用する処理、トーンマップ結果を再構成する処理を含む。これは、ピラミッドの最も粗いレベルに対して圧縮マップを演算することによって、低周波数要素のみを含むようにする、という考えである。これにより、再構成が可能な圧縮ピラミッドが生成される。

トーンマッピング処理は、飽和点ｖ、および強度係数ｃという２つのパラメータを受け入れる。飽和点ｖは、画像のための飽和マップＳを規定するために用いられる。飽和マップｓは、画像がｖよりも低い場合はゼロを含み、画像がｖよりも大きい場合は飽和量Ｉ−ｖを含む。ここで、このマップは、軽減処理を繰り返すことで、最も粗いラプラシアンピラミッドレベルのサイズまで軽減される。アルゴリズムでは、この処理は、ガウシアンピラミッドの演算（Ｇ of Ｓ）として記述される。しかしながら、実際には、ピラミッド（Ｇ_ｎ）の最も粗いレベルのみを必要とする。

アルゴリズム３:[０、１＋δ]の範囲を有する画像のＭＤＲトーンマッピング

マップＧ_ｎは、全体的に飽和点を下回る領域では明らかにゼロであり、飽和点を上回る領域で徐々に増加していく。このマップの注意を引く特性は、その値が、飽和ピクセルの数、および飽和した値の両方に比例するという点にある。明らかに、範囲外の値が多数含まれる領域では、範囲内の値が支配的で、かつ飽和ピクセルの数が僅かしかない領域に比べて、より大きな圧縮が求められる。同様に、大部分の値が範囲外であるときには、大部分の値が範囲内である場合よりも、より強い圧縮が求められる。

マップＧ_ｎは、圧縮マップのベースとして用いられる。実際の圧縮では、マップＧ_ｎをある強度係数ｃ（典型的には１に近い）により積算することが依然として望まれる。強度係数ｃは、適用されるトーンマッピングの量を制御する。大きな値は、小さな値に比べて、範囲外の領域をより大きく圧縮する。

４．４．２固定圧縮
上記のトーンマッピング処理は、出力値が[０、１]の範囲となることを保証するものではなく、たいてい範囲外の値が幾つか残る。それゆえ、適応型トーンマッピングプロセスを、図５に示す固定的な広範囲圧縮機能で補完する。この圧縮機能は、中位色調範囲では同一（導関数（derivative）＝１）であり、高位色調範囲および低位色調範囲では圧縮を徐々に増すように設計されている。こういった機能は、極端な領域ではコントラストを維持することはできず、ＭＤＲ融合結果に直接適用されると重要な情報を排除してしまう。これに先立つ適応トーンマッピングプロセスは、範囲外の領域を中位範囲ゾーンに近づけることによって、この有害な影響を最小限に抑えることを目的とする。

圧縮機能は２つの機能を用いる。１つは、圧縮が行われない（出力と入力が等しい）中位色調範囲ａ＝（ａ_ｍｉｎ、ａ_ｍａｘ）である。もう１つは、[０、１]の範囲に対して１対１にマッピングされる圧縮範囲ｘ＝（ｘ_ｍｉｎ、ｘ_ｍａｘ）である。上記圧縮範囲を超えるあらゆる値は、０または１に向かって飽和する。圧縮機能は、Ｃ^１−smoothとなるように設計されており、以下の式により与えられる。

この構成により、ｆとａ_ｍｉｎ、ａ_ｍａｘにおける導関数とが連続性を有する。一定値α_１、β_１、α_２、β_２は、ｆおよびｘ_ｍｉｎ、ｘ_ｍａｘにおけるｆの導関数に対して連続的な制約を課すことにより決まり、これにより、パラメータの組それぞれに対して２つの線型方程式が導かれる。

上記の圧縮機能は、平滑化を保証するものの、単調性を保証するものではないことに留意されたい。この単調性は、圧縮機能が要求するものとして極めて重要である。しかしながら、単調性は、複数の、ａおよびｘの合理的選択により得られる。過度に複雑化することを避けるため、ここでは全ての入力結果に対してこれらのパラメータを固定している。

４．５． 色チャンネルの融合
４．５．１ 基本的プロセス
カラー（色光度）チャンネル（すなわち、拡張フレーム、歪んだ拡張フレーム、補間参照フレーム、および参照フレーム）の融合は、最も精細なスケールで直接行われる。基本的な考えは、その位置において最も飽和していないフレームからのピクセルごとの色度情報を得る、というものである。というのも、それが最も信頼できる測定結果を期待できるためである。定量的には、中位色調値からの輝度の距離として、ピクセルごとに信頼度（飽和信頼度マップ）を規定する。

輝度０．５付近のピクセルの信頼度が最も高く（１に近く）、輝度が飽和状態に近づくと０にまで減少する。こうして、最も高い信頼度のフレームからピクセルごとの色情報が取得される。これが、最も正確な情報を提供することになる。このように、色光度チャンネルの融合は、色融合マップおよび飽和信頼度マップに基づいている。

４．５．２ 色融合マップ
上述のプロセスは、単純なケースでは十分に機能する。しかしながら、提案するプロセスには、異なる拡張フレームで異なる基準領域をカバーするとき、フレーム間で色のバランスが異なる場合に円滑な色の移行を確実に行えない、という大きな欠点を有する。また、上記プロセスは、ミスマッチマップ、時間重み、または他の現象を受け入れることができない。

これを説明するため、それぞれの拡張フレームに関連する色融合マップを受け入れるよう融合プロセスを一般化する。色融合マップは、フレーム中のピクセルごとに[０、１]の範囲で重み付けする。その重みは、融合結果に対する寄与を表す。色融合マップは、基準とのミスマッチの程度、フレームの時間重みなどの異なる特性を表現することができる。特に、異なる拡張フレーム間で円滑な色の移行を実現するために、ある拡張フレームが他の拡張フレームと重畳するときはいつでも、拡張フレームにおける規定された領域の境界付近の色融合マップに対して低減された値が割り当てられる。

次のセクションで、色融合マップの構築について説明する。これらのマップを所与のものとしたうえで、融合プロセスは次のように実行される。（１９）で規定されるように、参照フレーム、および２つの拡張フレームそれぞれについての飽和信頼度マップを、conf⁰(x,y)、conf¹(x,y)、及びconf²(x,y)とする。また、C⁰(x,y)、C¹(x,y)、C²(x,y)が対応する色融合マップであるとする。ここで、参照フレームの場合には、以下のように定義する。

最後に、参照フレームおよび２つの拡張フレームの色度チャンネルを以下とする。

ある位置（ｘ、ｙ）における融合色度{ａ（ｘ、ｙ）、ｂ（ｘ、ｙ）}を明確に表すために、次のように、まず最初にその位置における信頼度値を減少順に分類する。

このとき、

は、各フレームのインデックス（このなかで、４．５．１の基本的プロセスで説明したように、最大信頼度を有するフレームを選択するプロセスを一般化していることに言及しておく）である。ここで融合結果は反復する凸状の色入力の組み合わせとして与えられ、線形重みが色融合マップから抽出される。

信頼度値conf^k(x,y)は、演算中に明示的に現れないが、加算条件の順序を決定するうえで重要な役割を果たす（conf^k(x,y)は、インデックスｉ_０、ｉ_１、ｉ_２を決定する。）。演算そのものは簡潔に説明される。最初に、Ｃ^ｉ０＝１と仮定される。これは、位置（ｘ、ｙ）における最も飽和していないフレームＩ_０に色融合重み１が割り当てられることを意味する。この場合、上記演算は、（１−Ｃ^ｉ０）＝０であるため、この最も飽和していないフレームから色を得ることになる。こうして、すべての残りのフレームが無視される。そのため、このプロセスの重要な特性は、色融合重みがすべて１であるときはいつでも、プロセスが最適な（基本的）処理になるという点である。

Ｃ^ｉ０＜０のとき、フレームｉ_０からの色情報が部分的にのみ用いられる。Ｃ^ｉ０＝０という制限において、たとえ信頼度が高くとも、このフレームを完全に無視する。これは、例えば、その位置でミスマッチが検出されたときに起こりうる。最後に、０＜Ｃ^ｉ０＜１に対して、演算（２０）は、単に、融合結果が、ｉ_０を除く全てのフレームの（ｘ、ｙ）における反復融合であり、続いて、その関連する重みに基づいてｉ_０からの情報と組み合わされることを意味する。なお、本明細書中においてＣ^ｉ０は、

を意味する。

上記プロセスの他の望ましい特性は、当該プロセスが、容易に、任意のフレーム数に一般化するという点である。当該プロセスは、基本的に、最も飽和していないフレームからの色情報を用いて始まり、より飽和しているフレームからの色を徐々に追加していき、色融合重み１に対応付けられた最初のフレームに到達すると終了する。このフレームよりも飽和しているすべてのフレームは、結果が不要に劣化しないよう、融合から排除される。

４．５．３色融合マップの演算
拡張フレームの色融合マップの演算は、平滑境界マップから始まる。このマップは、フレームの規定された領域外にゼロを含み、規定された領域に１を含み、境界の内側部分では０から１へ穏やかに移行する。０から１への移行は、所定の距離を拡げる。このマップは、融合プロセスにエラーを発生させないためにフレームの所定領域を超えると厳密に０であり、こうして上記移行はフレームの所定領域全体において円滑に行われるという点が重要であることに言及しておく。このマップの演算はユークリッド距離変換を用いて行われうる。ユークリッド距離変換は、入力として二値マップを受け入れ、かつ、各ピクセルとその最も近い非ゼロとのユークリッド距離を含むマップを出力する。ユークリッド距離変換は、線形時間で効率的に演算されうる。そしてこの変換を用いて、アルゴリズム４に示すように、平滑境界マップの演算が直接的になる。

拡張フレームの平滑境界マップが演算されると、平滑境界マップは正規化されて、少なくとも１つの拡張フレームにカバーされるすべての位置において、２つのマップのうち大きい方の値が１となる。この正規化は、少なくとも一方のマップが規定されている位置ではどこでも、２つのマップの最大値によって２つの境界マップをピクセルごとに分割することによって行われる。この正規化プロセスは、拡張フレームに対する最初の色融合マップを生成し、重畳する領域における拡張フレーム間の線形移行を確実にする。

最後の色融合マップは、最初の色融合マップ、Ｃ^１およびＣ^２、および４．２で演算されたミスマッチマップＭ^ｋから取得される。

Ｃ^ｋ＝Ｃ^ｋ・（Ｍ^ｋ＊σ） ｋ＝１、２
ここで、＊は畳み込みを表す。換言すると、上記演算は、初期の色融合マップをミスマッチマップのガウス分布のぼやけたバージョンでピクセルごとに積算する。上記の、正規化平滑境界マップの値の調整は、拡張フレームと参照フレームとの間のミスマッチの程度に基づく。ミスマッチのぼやけは、融合結果に係る空間的および時間的平滑化を高めることが見出された。

５． 画像の撮像およびコード化
５．１ 導入
本発明のこれらの実施形態では、高（あるいは、より高い）ダイナミックレンジの動画像シーケンスを、（１）現在の（ＬＤＲ）センサ技術により、および、他のケースでは、（２）電力制限を受けた画像プラットフォーム、例えばカメラ付携帯電話、を用いて、撮像し符号化するときの課題を扱ってきた。現在、高ダイナミックレンジの取得に関する課題は、この状況において十分に示されていない。これらの実施形態は、新しい（ＨＤＲ）画像センサを必要としないシステムおよび方法を含む。その代わりに、上記実施形態は、多重露光を得る。幾つかの実施形態では、重要な演算がカメラ・プラットフォームから外れるように、データの格納／送信が効率的に行われる。さらに、幾つかの実施形態では、レガシーデコーダで再生される、条件を満たす動画像シーケンスの効率的な表現が行われる。

５．２ 典型的な実施形態
典型的な実施形態には以下の要素が含まれる。
１．カメラセンサモジュールが、ホストプロセッサにより初期化され、画像データを撮像し、その画像データをプロセッサに送信する。この画像データは、第１露光設定として規定される、ほぼ固定した時間間隔での複数のＬＤＲ参照フレームを有する。ここで、その画像データは、例えば、カメラセンサ内において、ホワイト・バランス、非モザイク化、ガンマ補正、あるいは、標準色空間への変換などの幾つかの処理を経てもよい。状況に応じて、カメラセンサモジュールは、ホストコンピュータに対して、その構成を説明するメタデータを送信する。
２．ホストプロセッサは、画像データを圧縮、格納する。データは、次に、格納または第２装置に送信される。状況に応じて、メタデータが、格納または第２装置に送信される。
３．ホストプロセッサは、センサモジュールから継続してデータを受信し、その画像データを圧縮、格納する。状況に応じて、メタデータが、格納または第２装置に送信される。
４．定期的に、ホストプロセッサは、画像センサが、第２露光設定として規定される、代わりとなる露光値（あるいは、代わりとなる一連の値）を用いるよう要求する。カメラモジュールは、ホストプロセッサに対して、結果として得られる拡張画像データを送信する。
５．ホストプロセッサは、第２装置に対して、拡張画像データを圧縮、送信／格納する。状況に応じて、ホストプロセッサは、第２装置に対して、画像センサの構成を記述するメタデータを送信／格納する。状況に応じて、ホストプロセッサは、第２装置に対して、オリジナルの露光値における現在のフレーム表現を送信／格納する。
６．続いて、ホストプロセッサは、画像センサが元の露光値に戻ることを要求する。画像センサは画像データを送信し、プロセスが上記２に戻る。

デコーダにおいて、第２レガシー装置は、拡張情報を無視し、デフォルト露光または露光方法に対応する画像シーケンスを再構成する。しかしながら、技術革新した第２装置におけるデコーダは、この追加的な拡張情報を抽出し、その拡張情報を、オリジナルシーンのダイナミックレンジを拡張するために利用する。

典型的な実施例はまた、次の観点を含む。
１．多重露光を、１つのコード化された映像ビットストリームに交互配置するシステム。
２．携帯電話またはＬＤＲプラットフォームにおいて多重露光を撮像し、下位互換性を有する方法で当該データを送信し、表示のためにより高ダイナミックレンジの画像シーケンスを再構成するための高度復号化プロセスを使用するシステム。状況に応じて、幾つかの実施形態では、より高度な電力処理に対して従順性を有する第２装置において、より高いダイナミックレンジの再構成を実行する、という観点を含む。
３．携帯電話においてビットレートおよび電力消費を軽減するための、代わりとなる（拡張）露光値の低時間サンプリングの使用。
４．画像センサからのメタデータを含むカメラ・メタデータの取得と送信。特に、１以上の、ホワイトバランス、非モザイク化、ガンマ補正、露光値、利得値、自動露光方法、自動利得方法、色空間変換方法、および、カメラセンサモジュール内でのプロセスを記述する他のパラメータの取得と送信。
５．異なる露光を含むシーケンスの効率的符号化のためのシステムおよび方法。さらに、幾つかの実施形態では、レガシーレコーダによって唯一の露光値を再構成する効率的なコード化処理を含む。

５．３システムの説明
本発明に係る幾つかの実施形態は、カメラセンサと、取得システムとを含む。これらのシステムは、基準ダイナミックレンジ・画像センサとホストプロセッサ、または、他の必要な制御インターフェースとを含む。本発明の幾つかの実施形態は、コード化システムを含む。このシステムは、画像データの効率的な表現に関与する。さらに、このシステムは、拡張露光を復号化することができず、また、レガシーレコーダによって見ることができるように、画像シーケンスの格納に関与する。その一方で、単一露光値（あるいは、方法）に関連する、好適な品質を有する画像シーケンスがレガシーデコーダにより出力される。本発明の幾つかの実施形態では、さらに高ダイナミックレンジ画像を生成するために拡張露光を活用する高ダイナミックレンジ再構成システムを含む。

この説明において、一連の画像フレームを含む画像シーケンスの圧縮および表現は、異なる露光値または自動露光計算方法に対応するものと考える。例えば、図１に現れる画像シーケンスは、信号入力を表現する。この図１において、第１の一連のフレーム５０、５４、５６、６０は、第１露光設定または露光計算方法によって得られる。さらに、第２のフレーム５２、５８は、第２露光設定または露光計算方法によって得られる。

幾つかの典型的な実施形態において、符号化システムは、レガシー装置（サポートデコーダ）によりサポートされる映像符号システムを用いる露光計算方法、またはデフォルト（第１）露光値に対応するフレームを符号化することで開始する。レガシーシステムの例としては、H.264/AVC, MPEG-2、およびMPEG-4、同様にその他が含まれる。このプロセスの出力は、図６に示される、レガシービットストリーム６２と称される。

図６において、レガシービットストリーム６２は、時間位置（例えば、ｔ＋１、ｔ＋Ｎ＋１）に対して、他の（第２）露光に対応する画像データを含まない。これは、多くの映像コード化システムで行われることであり、デコーダは、選択的に、これらのフレームを合成するために時間的補間を行う。しかしながら、他の実施形態において、この時間的補間プロセスは、符号化している間に行われる。幾つかの実施形態において、このときビットストリームに“スキップフレームを”挿入する符号化プロセスが例示される。スキップフレームは、先の時刻から現在の時刻に画像強度値をコピーするビットストリームの指示として規定される。当然に、時間的補間は他の方法を用いることも可能である。他の方法には、補間フレームを構成するために隣接する時間フレームからビットストリーム情報、例えば、運動ベクトル、コード化モードなど、を用いるプロセスと同様に、フレームを補間し、続いて、そのフレームを明示的にコード化するプロセスも含まれる。時間的補間を組み込む典型的な符号化システムが図７に示される。補間されたフレーム６４・６５はそれぞれ、拡張フレーム５２・５８が取り込まれたときのタイムスロットに対応する。

レガシービットストリーム６２の符号化を検討したところで、拡張データ５２・５８の表現を検討する。幾つかの実施形態において、データは、レガシーデコーダによって無視されうるように符号化される。これは、拡張ビットストリームを生成することによって実現される。幾つかの実施形態において、拡張ビットストリームおよびレガシービットストリームは、次に、ユーザデータマーカ、代替となるＮＡＬユニット値、あるいは当業者にとって周知の方法を用いて交互配置される。あるいは、ビットストリームは、より大きな輸送容器内の異なるビットストリームとして多重化される。もちろん、ビットストリームは、別々に送信され、あるいは格納されてよい。

拡張層データを効率的にコード化することにより性能が向上する。幾つかの実施形態において、他の時刻またはレガシービットストリームからの予測なしに拡張フレームを符号化する。残念ながら、この方法は、映像コード化効率の観点で効率は良くない。実施形態の第２の方式において、図８に示すように、参照フレームとしてレガシービットストリーム中のフレーム５０、５６を用いて拡張フレーム５２、５８が符号化される。実施形態の第３の方式において、図９に示すように、参照フレームとして拡張ビットストリーム中の図示しないフレームを用いて拡張フレーム７２、７８が符号化される。レガシービットストリーム７５は、補間フレーム８４、８６とともに、デフォルト露光フレーム７０、７４、７６、８０を含むことに留意されたい。

さらなる実施形態において、フレーム間およびビットストリーム間予測が用いられる。これらの実施形態の幾つかにおいて、１つの露光値で取り込まれたフレーム（第１設定参照フレーム）から第２露光値で取り込まれたフレーム（第２設定参照フレーム）を予測するマッピングプロセスが可能になる。この技術は、重み予測方法の符号化効率を改善する、他の新規な観点を有する重み予測として知られるプロセスを有する。図１０に示されるこれらの実施形態は、予測するために、あるいは、露光補償フレーム９２、９８（つまり、補償映像シーケンス）を生成して、そこから拡張フレーム９２、９８を予測するために露光補償プロセスを用いる。他の拡張フレームもまた、拡張フレーム９２、９８を予測１０５するために用いられうる。再び、レガシービットストリーム９５は、補間フレーム１０４、１０６とともに、デフォルト露光フレーム９０、９４、９６、１００を含む。

図１０に関連して記載されるこれらの実施形態を用いて、レガシーデコーダは、レガシービットストリーム９５を復号化し、第１露光値または方法に対応する映像シーケンスを出力する。拡張ビットストリームを復号化することが可能なデコーダは、図１の画像シーケンスに対応する映像シーケンスを出力することができる。幾つかの実施形態は、将来の予測に用いる拡張フレームを格納するためのピクチャバッファを備える。さらに、幾つかの実施形態では、拡張ビットストリームを復号化することが可能なデコーダは、拡張フレームの時刻に対応するレガシービットストリーム中に現れるフレームを再構成することはない。

６． メタデータに基づく実施形態
６．１ 序論
携帯電話等に設けられるモバイルビデオカメラは、一般に、ダイナミックレンジが低く、実際に全てのダイナミックレンジを捕捉することはできない。一般に、消費者は、明るさが時間的に不定に変化する環境下でビデオを使用するため、カメラは、露光量を変化させて低ダイナミックレンジを補償する必要がある。露光量の変化は、画質を向上させるために有効である。さらに、露光量の変化は、表示装置において、さらに大きなダイナミックレンジの表示を抽出するために有効である。これは、第１露光設定メタデータにおいて捕捉されたフレーム（第１構造設定フレーム）を投影するマッピングプロセスを含むことができる。第１露光設定メタデータは、第２露光設定メタデータにおいて捕捉されたフレーム（第２設定フレーム）に関連する第１露光設定パラメータを示しており、第２露光設定メタデータは、第２露光設定パラメータを示している。残念ながら、このダイナミックレンジの変化は、コード化の効率を低下させる。その結果、限定された帯域幅の下で映像の質が低下する。このため、結局、画質が低下し、画像処理において、より高いダイナミックレンジの表示に回復させることが不可能となる。

重み付け予測は、露光量を変化させてシーケンスを効率的にコード化することが可能な現行の方法である。重み付け予測は、映像コーデックの本質的な手段である。これは、参照フレームをスケーリングして、予測エラーを低減させることによって機能する。それゆえ、映像コード化の効率を向上させることができる。しかしながら、重み付け予測には、２つの重大な欠点がある。すなわち、（１）モバイルのコード化に通常採用されている映像コード化規格のベースラインプロファイルに適用できないこと、および、（２）重み付け予測を利用するための演算負荷が非常に大きいこと、である。

６．２ 要約
本発明の実施形態は、カメラセンサメタデータを利用することにより前処理および後処理の工程を実行して、フレーム間の予測エラーを低減させ、これによりコード化の効率を向上させる映像コード化システムを含む。重み付け予測とは異なり、この方法は、映像コーデックのあらゆるプロファイルに適用できる。

いくつかの具体的な実施形態は、以下のステップ、すなわち、
・露光量等のカメラセンサメタデータを取得するステップ
・必要に応じて、映像の露光補償を実行するステップ
・この補償結果を符号化するステップ
・反転補償の利用のために、センサメタデータ情報をデコーダに転送するステップ、
・デコーダにおいて、元の露光に変換するステップ
を含む。

本発明の実施形態は、露光補償のための前処理および後処理を実行するために、カメラセンサメタデータ情報を利用する。これらの実施形態は、ステップを実行するためにコーデックの変更を必要としない。

６．３ 詳細な実施形態
携帯電話のビデオカメラのような、通常の一般向けの映像捕捉装置を使用する場合、露光量の変化は、コード化された映像の質に影響を与える。本発明の実施形態は、コード化の効率を向上させ、コード化された映像の質を改善するために、カメラセンサデータを利用する。

図１１Ａに示すように、一般的な映像捕捉装置（従来技術）は、センサ１１０、信号処理部（ＤＳＰ）１１６および映像コーデック部１２２を備えている。カメラセンサ１１０は、未補正の映像データ１１２を捕捉して、ＤＳＰ１１６に送信する。ＤＳＰ１１６は、未補正の映像データ１１２を処理して、ＲＧＢ、ＹＵＶまたは他のフォーマットの映像１２０を出力する。また、ＤＳＰは、センサ１１０に制御信号１１４を与えてもよい。ＤＳＰ１１６の典型的な機能として、フォーカス、露光制御、ホワイトバランス、ズーム／パン／傾き、フリッカ制御などが含まれる。カメラセンサメタデータ１１８は、露光（シャッター速度、口径、および利得）、フォーカス、フリッカ、ホワイトバランス等を含んでおり、ＤＳＰ１１６からレジスタを読み出すことによって利用できる。このカメラセンサメタデータ１１８は、映像コード化には利用されない。

６．３．１ 露光補償を用いた映像コード化システム
本発明の典型的な映像捕捉装置は、図１１Ｂに示すように、センサ１１０、信号処理部（ＤＳＰ）１１６および映像コーデック部１２２を備えている。カメラセンサ１１０は、未補正の映像データ１１２を捕捉して、ＤＳＰ１１６に送信する。ＤＳＰ１１６は、未補正の映像データ１１２を処理して、ＲＧＢ、ＹＵＶまたは他のフォーマットの映像１２０を出力する。また、ＤＳＰは、センサ１１０に制御信号１１４を与えてもよい。ＤＳＰ１１６の典型的な機能として、フォーカス、露光制御、ホワイトバランス、ズーム／パン／傾き、フリッカ制御などが含まれる。カメラセンサメタデータ１１８は、露光（シャッター速度、口径、および利得）、フォーカス、フリッカ、ホワイトバランス等を含んでおり、ＤＳＰ１１６からレジスタを読み出すことによって利用できる。それに代えて、または、それに加えて、カメラセンサメタデータは、センサ１１０から直接取得されてもよい。既知の装置と異なり、このセンサメタデータ１１８は、１２４を介して映像コーデック部１２２に送信され、映像コード化に利用される。

本発明の実施形態は、コード化の効率を向上させるために、映像コーデックにおいてカメラセンサメタデータを利用する符号化システムを備えている。この実施形態は、露光補償のために、単一の前処理および後処理の工程を有してもよい。図１２は、典型的なシステムを示す図である。映像シーケンスであるシーケンスＢ１３０は、映像センサによって捕捉され、前処理露光補償部１３４に送信される。センサメタデータも、前処理露光補償部１３４に送信される。センサメタデータ１３２を用いて、シーケンスＢが前処理され、シーケンスＡ１３６が得られる。シーケンスＡ１３６は、通常の符号化のため、エンコーダ１３８に送信される。続いて、符号化されたシーケンスＡは、デコーダ１４０に受信され、補償シーケンスとして復号化される。これにより、復号化されたシーケンスＡ’１４４が生成される。シーケンスＡ’１４４は、量子化エラーまたは他の影響により、シーケンスＡと異なってもよい。また、センサメタデータ１３２も、１３５を介してデコーダ側に送信され、後処理反転露光補償部１４２に受信される。後処理反転露光補償部１４２はまた、デコーダ１４０からシーケンスＡ’１４４を受信する。後処理反転露光補償部１４２は、センサメタデータを用いて補償特性を決定し、反転露光補償を実行する。これにより、シーケンスＢ’１４６が生成される。

典型的な実施形態は、以下のステップ、すなわち、
１．露光量等のカメラセンサメタデータ１３２を取得するステップ
２．必要に応じて、映像に対して露光補償部１３４を実行するステップ、言い換えれば、露光変動（Ｂ）を有するシーケンスを露光変動Ａを有するシーケンスに変換するステップ
３．この補償されたシーケンスＡ１３８を符号化するステップ
４．反転補償に用いるため、センサメタデータ情報１３５をデコーダに送信するステップ
５．デコーダ側において、１４２がコード化されたシーケンスＡ’を元の露光Ｂ’に変換するステップ
を含んでもよい。

露光補償を実行することにより、露光変動によって生じるフレーム間の差異を低減することができる。これにより、後の映像符号化におけるフレーム予測誤差を低減することができ、それゆえ、コード化の効率が向上する。なお、これらの典型的な実施形態では、ステップ（２）と（４）との間に、露光補償が線形空間において実行される。これは、利用可能な映像データがすでにガンマ補正されている場合、当該映像データを露光補償の前に先ず線形空間に戻して変換する必要があることを意味している。補償後、映像データは、コード化または視覚化のために通常のガンマ補正空間に変換される。

典型的なガンマ変換および反転ガンマ変換は、式（２１）および（２２）によって与えられる。パラメータは、ＤＳＰ部によって得られる。

露光補償および反転露光補償は、（２３）および（２４）によって表現される。

ここで、ｆａｃｔｏｒは、口径、シャッター速度および利得などの、カメラ露光センサデータによって決定される。範囲外のデータを防止するため、適当なスケーリングがｆａｃｔｏｒに含まれてもよい。

露光補償の目的は、両方のフレームが同一の参照露光（すなわち、同一の口径、シャッター速度および利得）によって捕捉されているかのように、捕捉された輝度を調整することである。光学の理論によれば、センサによって捕捉された輝度は、シャッター速度に比例し、（ｆｓｔｏｐ単位での）口径の二乗に反比例し、利得に比例する。したがって、ｆａｃｔｏｒは、以下のように表現できる。

ここでｆａｃｔｏｒは、単にカメラセンサメタデータによって決定され、電力消費フレーム適合アルゴリズムは要求されない。もちろん、同様の原理で、前処理を改善し、コード化する間の予測エラーを低減するために、さらに複雑な前処理のアルゴリズムも、使用することができる。

映像シーケンスを再構成するために、１３５を介してカメラメタデータをエンコーダ１３８からデコーダ１４０に転送する。ある実施形態は、これを達成するために、いくつかのメカニズムを採用してもよい。ある具体例では、露光および他のカメラメタデータ値は、ビットストリーム内でユーザデータとして転送される。第２の具体例では、露光および他のカメラメタデータ値は、暗にトーンマッピング曲線とともに転送される。この曲線は、エンコーダにおいて作成されており、どのようにして復号化された輝度値をマッピングして輝度値を出力するのかをデコーダに指示する。その結果、トーンマッピング曲線は、デコーダに転送される。ある具体例では、Ｈ．２６４／ＡＶＣ規格で定義されているように、トーンマッピングＳＥＩメッセージが採用されている。

７． 重み付け予測の実施形態
７．１ 序論
重み付け予測は、モバイルアプリケーションにとって、２つの重大な欠点を有している。すなわち、（１）モバイルの符号化に通常採用されている映像コーディングプロファイルに現在対応していないこと、および（２）最新の手法では、多重符号化を行って、重み付け予測の歪み率（ＲＤ）の損失を非重み付け予測と比較するという事実により、重み付け予測を利用するための演算負荷が非常に大きいこと、である。この多重符号化は、さらなる演算能力、メモリの処理能力の増大、およびさらに高い消費電力を必要とする。

本発明のこれらの実施形態は、重み付け予測が映像コーデックによって動作可能なシナリオに適用できる。この場合、モバイルアクイジションでの主な試みは、重み付け予測の機能性を利用するために必要な増大した処理となる。この実施形態は、重み付け予測のパラメータを決定するための効率的な方法を含む。これらの方法は、パラメータを決定するためにカメラセンサメタデータを利用してもよい。なお、これらの方法のいくつかは、重み付け予測のコード化をサポートする映像コード化システムにおける変更を必要とするものではないと理解すべきである。

本発明のこれらの実施形態は、カメラメタデータの利用による、重み付け予測パラメータの効率的な選択のための方法およびシステムを含む。当該方法は、カメラ露光に起因する映像明度における経験的変動を変更するシナリオに役に立つ。

模範的な方法は、以下のステップ、すなわち、
（ａ）カメラセンサメタデータを取得するステップ
（ｂ）カメラ露光値がフレーム間で変動し閾値を超える場合、重み付け予測コード化手段を動作可能にするステップ
（ｃ）カメラメタデータから重み付け予測パラメータを決定するステップ
を含む。

従来の方法と異なり、これらの実施形態は、重み付け予測処理を動作可能にして制御するために、カメラセンサメタデータ情報を利用する。

７．２ 典型的な実施形態
重み付け予測の処理は、参照フレームから現在のフレームを予測するために使用される値において機能する。重み付け予測は、動き補償の前に、乗法重み付け因子と参照フレームに対する加法オフセットとを適用することによって実現してもよい。その目的は、現在のフレームと参照フレームとの間の動き補償予測エラーを低減することであり、以下のように表現できる。

ここで、ｐ_ｐｒｅｄ（ｘ）は、現在の映像のｘ座標における予測されたピクセルであり、ｐ_ｒｅｆ（ｘ’）は、参照映像の動き補償された位置ｘ’におけるピクセルであり、ｗおよびｏはそれぞれ、重み付け因子およびオフセットである。これらのパラメータの選択は、重み付け予測を利用するか否かを決定しなければならないエンコーダにおいて達成される。また、当該エンコーダは、重み付け因子を決定しなければならない。

これらの実施形態は、カメラセンサメタデータを利用する重み付け予測推定方法を含む。これにより、カメラ露光の変化によって生じる映像明度変動の問題が解決される。これは、重み付け予測がモバイルアクイジションの間で有用である場合の一つである。

我々は、取得した画像の明度値がカメラの露光値にどれほど関連しているのかを示すモデルの確立に着手している。カメラの露光値は、シャッター速度およびレンズ口径の組み合わせによって制御される。シャッター速度は、センサが露光する時間を制御する一方、レンズ口径は、レンズを通過する光量を制御する。取得された画像の明度値（ＢＶ）は、センサの露光量に比例するため、カメラ露光値に比例する。最終的に取得された画像の明度値に影響を与えうる他の要因は、利得およびガンマ補正である。一例として、シャッター速度、利得、（ｆ−ｓｔｏｐ単位での）口径およびガンマ（λ）の組み合わせとしての明度値（ＢＶ）のモデルを示す。このモデルは、式（２６）として表現される。カメラが、取得された画像の明度に影響を与えうる他の画像処理ユニットを有している、または他の制限がある場合、それらも当該モデルにおいて考慮されてもよい。一般に、このメタデータはカメラとは区別され、明度値の変動の監視に利用することができ、エンコーダにおける重み付け予測の制御にも利用することができる。

重み付けパラメータは、現在のフレーム（第１フレーム）の明度値と参照フレーム（第２フレーム）の明度値と（それぞれ、第１明度値および第２明度値）の比率（関係）から決定することができる。

これらの実施形態では、高速の重み付け予測アルゴリズムは、以下のように機能する。
・参照フレームおよび現在のフレームのカメラセンサメタデータ（第１映像フレーム露光メタデータおよび第２映像フレーム露光メタデータ等）を取得する。
・式（２６）から明度値の変化を計算する。
・明度値の変化が閾値を超える場合、エンコーダに重み付け予測を選択させる。
・露光量に基づき、式（２７）から重み付けパラメータを決定する。

上記の方法は、図１３Ａおよび図１３Ｂに示すシステムにも利用することができる。図１３Ａは、前処理および登録フェーズの利用のためのシステムを示しており、図１３Ｂは、融合フェーズの利用のためのシステムを示している。当該システムは、受信部１５０、分離部１５２、動き推定部１５４、動き補償部１５６、第１補間部１５８、第２補間部１５９、時間重み割当部１６０、ミスマッチ特定部１６２、輝度融合部１６４、色光度融合部１６８、トーンマッピング部１６６および結合部１７０を備えてもよい。受信部１５０は、インターリーブされたフレームシーケンスを受信する。当該フレームシーケンスは、第１露光設定によって捕捉された複数の低ダイナミックレンジ（ＬＤＲ）参照フレームと、第２露光設定によって捕捉された複数の拡張フレームとを含む。分離部１５２は、ＬＤＲ参照フレーム及び少なくとも１つの拡張フレームにおける少なくとも１つの色光度チャンネルから、輝度チャンネルを分離する。動き推定部１５４は、ＬＤＲ参照フレームおよび拡張フレームの輝度チャンネル上での動き推定を実行する。動き補償部１５６は、拡張フレームを上記ＬＤＲ参照フレームと整列させるために、ＬＤＲ参照フレームおよび拡張フレームの輝度チャンネル上で動き補償を実行する。第１補間部１５８は、拡張フレームが捕捉されるたびに、補間ＬＤＲ参照フレームを生成するために、ＬＤＲ参照フレーム間での補間を行う。第２補間部１５９は、ＬＤＲ参照フレームが捕捉されるたびに、歪んだ拡張フレームを生成するために、拡張フレーム間での補間を行う。時間重み割当部１６０は、時間重みの値を拡張フレームに割り当てる。ミスマッチ特定部１６２は、拡張フレームがＬＤＲ参照フレームのどこで整列していないかを特定する。輝度融合部１６４は、拡張フレーム、歪んだ拡張フレーム、補間ＬＤＲ参照フレームおよびＬＤＲ参照フレームの輝度チャンネルを融合する。色光度融合部１６８は、拡張フレーム、歪んだ拡張フレーム、補間ＬＤＲ参照フレームおよびＬＤＲ参照フレームの色光度チャンネルを融合する。トーンマッピング部１６６は、チャンネル値が妥当な強度範囲を満たすように、融合された輝度チャンネル上でトーンマッピングを実行する。結合部１７０は、再構成されたシーケンスを生成するために、融合され、かつトーンマッピングされた上記輝度チャンネルを、融合された上記色光度チャンネルと結合させる。

上述の明細書において用いられた用語および表現は、限定する用語としてではなく、詳細な説明の用語として用いられたものであり、そのような用語および表現を使用は、明細書に開示され記述された特徴またはその一部と等価のものを除外することを意図するものではない。

Claims (17)

1. 映像シーケンスを復号化する方法であって、
   （ａ）第１露光設定によって捕捉された複数の低ダイナミックレンジ（ＬＤＲ）参照フレームと、第２露光設定によって捕捉された複数の拡張フレームとを含む、インターリーブされたフレームシーケンスを受信する受信ステップと、
   （ｂ）上記ＬＤＲ参照フレーム及び少なくとも１つの上記拡張フレームにおける少なくとも１つの色光度チャンネルから、輝度チャンネルを分離する分離ステップと、
   （ｃ）上記ＬＤＲ参照フレームおよび上記拡張フレームの上記輝度チャンネル上で動き推定を実行する推定実行ステップと、
   （ｄ）上記拡張フレームを上記ＬＤＲ参照フレームと整列させるために、上記ＬＤＲ参照フレームおよび上記拡張フレームの輝度チャンネル上で動き補償を実行する補償実行ステップと、
   （ｅ）上記拡張フレームが捕捉されるたびに、補間ＬＤＲ参照フレームを生成するために、上記ＬＤＲ参照フレーム間での補間を行う参照フレーム補間ステップと、
   （ｆ）上記ＬＤＲ参照フレームが捕捉されるたびに、歪んだ拡張フレームを生成するために、上記拡張フレーム間での補間を行う拡張フレーム補間ステップと、
   （ｇ）時間重みの値を上記拡張フレームに割り当てる割り当てステップと、
   （ｈ）上記拡張フレームが上記ＬＤＲ参照フレームのどこで整列していないかを特定するミスマッチマップを生成するマップ生成ステップと、
   （ｉ）上記拡張フレーム、上記歪んだ拡張フレーム、上記補間ＬＤＲ参照フレームおよび上記ＬＤＲ参照フレームの輝度チャンネルを融合する輝度チャンネル融合ステップと、
   （ｊ）上記拡張フレーム、上記歪んだ拡張フレーム、上記補間ＬＤＲ参照フレームおよび上記ＬＤＲ参照フレームの色光度チャンネルを融合する色光度チャンネル融合ステップと、
   （ｋ）チャンネル値が妥当な強度範囲を満たすように、上記融合された輝度チャンネル上でトーンマッピングを実行するトーンマッピング実行ステップと、
   （ｌ）再構成されたシーケンスを生成するために、融合され、かつトーンマッピングされた上記輝度チャンネルを、融合された上記色光度チャンネルと結合させる結合ステップ、とを含む方法。
2. 上記拡張フレームの上記輝度チャンネル融合ステップは、上記拡張フレームに対して適応型ラプラシアンピラミッドを演算する演算ステップを含む請求項１に記載の方法。
3. 上記拡張フレームの上記輝度チャンネル融合ステップは、ピクセルごとの最大化を用いて適応型ラプラシアンピラミッドを統合する統合ステップを含む請求項１に記載の方法。
4. 低ダイナミックレンジ（ＬＤＲ）画像フレームおよび複数の拡張フレームから拡張ダイナミックレンジ（ＥＤＲ）画像フレームを生成する方法であって、
   （ａ）上記拡張フレームおよび上記ＬＤＲ画像フレームのそれぞれに対してラプラシアンピラミッドを演算するラプラシアンピラミッド演算ステップと、
   （ｂ）上記ラプラシアンピラミッド内のピクセルがピラミッド混合処理においてどの程度用いられうるかを示す、上記ラプラシアンピラミッドに対応する混合ピラミッドを演算する混合ピラミッド演算ステップと、
   （ｃ）上記混合ピラミッドに従って上記ラプラシアンピラミッド間のピクセルごとの最大化を実行することにより、混合されたピラミッドを生成するピクセル最大化実行ステップと、を含む方法。
5. 上記混合ピラミッドは、上記ピクセル最大化実行ステップ中の上記ラプラシアンピラミッド内の相対的なピクセルの寄与を規定する重み付け係数を含む請求項４に記載の方法。
6. 上記ラプラシアンピラミッドに時間重みの値を割り当てる割当ステップを更に含む請求項４に記載の方法。
7. 上記混合ピラミッド上で二値閾値処理を実行する二値閾値処理実行ステップを更に含む請求項４に記載の方法。
8. 上記混合ピラミッド上で平滑化処理を実行する平滑化実行ステップを更に含む請求項４に記載の方法。
9. 低ダイナミックレンジ（ＬＤＲ）画像フレームおよび複数の拡張フレームから色光度チャンネルを融合する方法であって、
   （ａ）上記拡張フレームのそれぞれに対して色融合マップを演算する色融合マップ演算ステップと、
   （ｂ）飽和信頼度マップを演算する飽和信頼度マップ演算ステップと、
   （ｃ）上記色融合マップおよび上記飽和信頼度マップに基づいて上記色光度チャンネルを融合する融合ステップとを含み、
   上記色融合マップ演算ステップは、
   （i）上記拡張フレームに対して平滑境界マップを演算する平滑境界マップ演算ステップと、
   （ii）上記平滑境界マップのうちの大きい方の値が１となるように、上記平滑境界マップを正規化する正規化ステップと、
   （iii）上記拡張フレームと上記ＬＤＲ画像フレームとの間のミスマッチの程度に基づいて、正規化された上記平滑境界マップの値を調整する調整ステップと、を含み、
   上記飽和信頼度における値は、その対応する輝度値と、中間色調値との間の差分に関するものである方法。
10. より高いダイナミックレンジ（ＨＤＲ）画像を、より低いダイナミックレンジ（ＬＤＲ）画像にトーンマッピングする方法であって、
    （ａ）上記ＨＤＲ画像に対してラプラシアンピラミッドを演算する演算ステップと、
    （ｂ）上記ラプラシアンピラミッドの最も粗いレベルに対して圧縮マップを適用する適用ステップと、
    （ｃ）上記圧縮マップを再構成する再構成ステップと、を含む方法。
11. 異なる露光画像間の誤登録を検出する方法であって、
    （ａ）第１露光設定によって捕捉されている第１画像を受信する第１画像受信ステップと、
    （ｂ）第２露光設定によって捕捉されている第２画像を受信する第２画像受信ステップと、
    （ｃ）上記第２画像に関連する上記第１画像上で露光補償を実行する露光補償実行ステップと、
    （ｄ）上記第１画像および上記第２画像のそれぞれに対してラプラシアンピラミッドを演算するラプラシアンピラミッド演算ステップと、
    （ｅ）上記第１画像内のピクセルと、当該ピクセルに対応する上記第２画像内のピクセルとの間で正規化された局所相関を演算する局所相関演算ステップと、
    （ｆ）上記第１画像および上記第２画像に対して局所活動量を演算する局所活動量演算ステップと、
    （ｇ）上記正規化された局所相関および上記局所活動量に基づいてミスマッチマップを用いて上記ラプラシアンピラミッドのレベルを統合する統合ステップと、を含む方法。
12. 拡張ダイナミックレンジ映像シーケンスを捕捉および符号化する方法であって、
    （ａ）第１露光設定を用いて、実質的に固定された間隔で複数の低ダイナミックレンジ（ＬＤＲ）参照フレームを捕捉する参照フレーム捕捉ステップと、
    （ｂ）第２露光設定を用いて、少なくとも１つの拡張フレームを捕捉する拡張フレーム捕捉ステップと、
    （ｃ）サポートデコーダが、上記拡張フレームを参照することなく、映像シーケンス内の上記ＬＤＲ参照フレームを復号化することができ、かつサポートデコーダが、拡張映像シーケンス内の上記ＬＤＲ参照フレームおよび上記少なくとも１つの拡張フレームを復号化することができるように、上記ＬＤＲ参照フレームおよび上記少なくとも１つの拡張フレームを符号化する符号化ステップと、を含む方法。
13. 上記サポートデコーダは、上記拡張フレームが生じると即座に、上記ＬＤＲ参照フレーム間にスキップフレームを追加する請求項１２に記載の方法。
14. 拡張ダイナミックレンジ映像シーケンスを捕捉および符号化する方法であって、
    （ａ）第１露光設定を用いて、複数の第１設定参照フレームを捕捉する第１設定参照フレーム捕捉ステップと、
    （ｂ）第１露光設定パラメータを特定する第１露光設定メタデータを生成する第１露光設定メタデータ生成ステップと、
    （ｃ）第２露光設定を用いて、少なくとも１つの第２設定フレームを捕捉する第２設定フレーム捕捉ステップと、
    （ｄ）第２露光設定パラメータを特定する第２露光設定メタデータを生成する第２露光設定メタデータ生成ステップと、
    （ｅ）上記第１設定参照フレームおよび上記少なくとも１つの第２設定フレーム上で露光補償を実行し、上記第１露光設定パラメータと上記第２露光設定パラメータとの差分を修正することにより、補償映像シーケンスを生成する露光補償実行ステップと、
    （ｆ）上記補償映像シーケンスを符号化する符号化ステップと、
    （ｇ）上記補償映像シーケンスを、上記第１露光設定メタデータおよび上記第２露光設定メタデータと関連付ける関連付けステップと、を含む方法。
15. 拡張ダイナミックレンジ映像シーケンスを復号化する方法であって、
    （ａ）複数の補償された第１設定参照フレームおよび少なくとも１つの補償された第２設定フレームを含み、上記第１設定参照フレームに関連する第１露光設定メタデータと関連付けられ、かつ上記少なくとも１つの第２設定フレームに関連する第２露光設定メタデータと関連付けられた補償映像シーケンスを受信する受信ステップと、
    （ｂ）上記補償された第１設定参照フレームおよび上記少なくとも１つの補償された第２設定フレームを復号化することにより、復号化された補償シーケンスを生成する復号化ステップと、
    （ｃ）上記復号化された補償シーケンス上で反転露光補償を実行する反転露光補償実行ステップと、を含む方法。
16. 映像シーケンス内の重み付け予測を可能にする方法であって、
    （ａ）第１露光設定によって捕捉されている第１映像フレームを受信する第１映像フレーム受信ステップと、
    （ｂ）第１露光設定パラメータを記述する第１映像フレーム露光メタデータを受信する第１映像フレーム露光メタデータ受信ステップと、
    （ｃ）上記第１映像フレーム露光メタデータに基づいて上記第１映像フレームに対する第１明度値を決定する第１明度値決定ステップと、
    （ｄ）第２露光設定によって捕捉されている第２映像フレームを受信する第２映像フレーム受信ステップと、
    （ｅ）第２露光設定パラメータを記述する第２映像フレーム露光メタデータを受信する第２映像フレーム露光メタデータ受信ステップと、
    （ｆ）上記第１映像フレーム露光メタデータに基づいて上記第２映像フレームに対する第２明度値を決定する第２明度値決定ステップと、
    （ｇ）上記第１明度値と上記第２明度値との関係に基づいて、上記第１映像フレームおよび上記第２映像フレームに対する重み付け予測を可能にする重み付け予測可能ステップと、を含む方法。
17. 映像シーケンスを復号化するシステムであって、
    （ａ）第１露光設定によって捕捉された複数の低ダイナミックレンジ（ＬＤＲ）参照フレームと、第２露光設定によって捕捉された複数の拡張フレームとを含む、インターリーブされたフレームシーケンスを受信する受信部と、
    （ｂ）上記ＬＤＲ参照フレーム及び少なくとも１つの上記拡張フレームにおける少なくとも１つの色光度チャンネルから、輝度チャンネルを分離する分離部と、
    （ｃ）上記ＬＤＲ参照フレームおよび上記拡張フレームの輝度チャンネル上で動き推定を実行する動き推定部と、
    （ｄ）上記拡張フレームを上記ＬＤＲ参照フレームと整列させるために、上記ＬＤＲ参照フレームおよび上記拡張フレームの上記輝度チャンネル上で動き補償を実行する動き補償部と、
    （ｅ）上記拡張フレームが捕捉されるたびに、補間ＬＤＲ参照フレームを生成するために、上記ＬＤＲ参照フレーム間での補間を行う第１補間部と、
    （ｆ）上記ＬＤＲ参照フレームが捕捉されるたびに、歪んだ拡張フレームを生成するために、上記拡張フレーム間での補間を行う第２補間部と、
    （ｇ）時間重みの値を上記拡張フレームに割り当てる時間重み割当部と、
    （ｈ）上記拡張フレームが上記ＬＤＲ参照フレームのどこで整列していないかを特定するミスマッチ特定部と、
    （ｉ）上記拡張フレーム、上記歪んだ拡張フレーム、上記補間ＬＤＲ参照フレームおよび上記ＬＤＲ参照フレームの輝度チャンネルを融合する輝度融合部と、
    （ｊ）上記拡張フレーム、上記歪んだ拡張フレーム、上記補間ＬＤＲ参照フレームおよび上記ＬＤＲ参照フレームの色光度チャンネルを融合する色光度融合部と、
    （ｋ）チャンネル値が妥当な強度範囲を満たすように、融合された上記輝度チャンネル上でトーンマッピングを実行するトーンマッピング部と、
    （ｌ）再構成されたシーケンスを生成するために、融合され、かつトーンマッピングされた上記輝度チャンネルを、融合された上記色光度チャンネルと結合させる結合部と、を含むシステム。

Images