JP2004180308A

JP2004180308A - 拡張レンジパノラマ合成に用いる画像を生成する方法及び装置

Info

Publication number: JP2004180308A
Application number: JP2003394023A
Authority: JP
Inventors: Shoupu Chen; チェンショウプ; Nathan D Cahill; ディーキャヒルネイザン; Joseph F Revelli Jr; エフレヴェリ，ジュニアジョーゼフ; Lawrence A Ray; エイレイローレンス
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2002-11-22
Filing date: 2003-11-25
Publication date: 2004-06-24
Also published as: US20040100565A1; EP1422660A3; EP1422660A2

Abstract

【課題】ダイナミックレンジを拡張したパノラマ画像を撮影する方法の提供。
【解決手段】まず、画像センサにより捕捉された限定的ダイナミックレンジの複数の画像を得る。この複数のデジタル画像は記憶され、続いて、記憶されたデジタル画像は、合成画像を生成するよう処理される。各合成画像は、デジタル画像自体より大きい拡張ダイナミックレンジを有する。複数の合成画像は、拡張レンジパノラマを生成するのに用いられる。更に、光減衰データは、オリジナルのパノラマよりも高いビット深度のパノラマを次に再構成するために、画像と共に記憶され得る。
【選択図】図５

Description

本発明は、デジタル画像処理の分野に関り、より具体的には、拡張ダイナミックレンジパノラマ画像の捕捉及びデジタル処理に係る。

過去数十年間におけるデジタル撮像技術の発展と共に、実際の写真の画期的な使用は、様々な方面に出現している。例えば、複数の写真から実際の世界のシーンのパノラマビューを作成して、それにより、観察者に、全方向のフォトリアリスティックな仮想現実を与えることができる。そのようなパノラマビューを作成する１つの標準的な方法は、従来のデジタルカメラを三脚に載せ、カメラを三脚の中心を通る垂直軸について回転させて様々なビューからの画像を捕捉し、捕捉画像を互いにつなぎ合わせて１つの大きな視野のパノラマ画像を形成することである。画像のステッチングを行う様々なソフトウェアパッケージ（例えば、アップルコンピュータ社によるクイックタイム（商標）ＶＲオーサリングスタジオ、ＭＧＩソフトウェア社によるライブピクチャ、及び、ＲＥＡＬＶＩＺ（商標）によるステッチャー（商標））があり、これらのパッケージの多くは、何らかの一般的な問題に対処する。そのような問題には、レンズ歪み、遠近感の歪み、未知の焦点距離、画像が三脚上で捕捉されない場合のパララックス誤差、及び、画像が同じ露光設定で捕捉されない場合の露光差が含まれる。

捕捉画像間の露光差の問題に特に関連して、ＭＧＩソフトウェアは、可能性のある解決策を提供する。ＭＧＩソフトウェアに譲渡された特許文献１では、テオ（Ｔｅｏ）は、２つの重なる画像を組み合わせる方法を説明し、この方法において、片方の又は両方の画像のコード値は、非線形最適化手順によって調整され、それにより、両方の画像の全体の輝度、コントラスト、及び、ガンマ係数が同様であるようにされる。しかし、テオの方法は、各捕捉画像が、ハードコピー出力又はソフトコピー表示に適した形式に既に最適にレンダリングされている場合には、対応できない。この場合、非線形最適化手順は、これらの最適の特徴を調整して、最適ではなくレンダリングされるパノラマ画像を生成してしまう。

最適にレンダリングすることのできるパノラマ画像を生成する、露光差を補正する別の技術は、共通に譲渡され、同時継続中の特許文献２（「ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＣｏｍｐｏｓｉｔｉｎｇＩｍａｇｅｓ」なる名称で、２００１年１１月５日出願）に説明される。特許文献２は、本願に参考として組み込む。この技術では、２つの重なり合う画像は、メトリック変換によって最初に変換される。メトリック変換は、デジタル画像の画素値に適用される変換を意味し、この変換は、シーンの輝度値に線形で又は対数で関連する変換された画素値を生成する。シーン輝度値に対数で関連する色空間の一例は、非線形符号化されるエキステンディッド・レフェレンス・インプット・メディウム・メトリック（ＭＲＩＭＭ）（ＰＩＭＡ規格＃７４６６、ワールドワイドウェブ上のｈｔｔｐ：／／ｗｗｗ．ｐｉｍａ．ｎｅｔ／ｓｔａｎｄａｒｄｓ／ｉｔ１０／ＩＴ１０ＰＯＷ．ｈｔｍにおいて見つかる）である。一度メトリック変換が適用されると、少なくとも１つの画像の画素値は、線形露光変換により変更されて、それにより、重なり合う画像の重なり合う領域における画素値は同様にされ、調整された画像のセットを生成する。調整された画像は次に、フェザリングスキーム、加重平均、又は、当該技術において知られているその他のブレンド技術によって組み合わされて、合成画像を形成する。合成画像は、選択的に、オリジナルの色空間に変換で戻すことも可能である。

露光差を補正する上述したどちらの方法においても、別の問題、即ち、２つ以上の画像における露光差が大きいときは、調整をすることによって、パノラマ画像の特定の領域が、画像センサのダイナミックレンジの低い方の端又は高い方の端においてクリッピングされてしまう問題がある。このような強烈なシナリオの一例として、８ビットの画像が屋外でカメラによって自動露光モードにて捕捉されたとする。更に、１つの位置において、カメラは、明るい領域が画像の左側を占め、木が画像の右側を占めるよう向けられる。カメラは、第２の位置に回転され、第２の位置では、先ほどの木が、今度は、画像の左側を占め、影の領域が画像の右側を占めるようにする。カメラの自動露光モードは、明るい領域と影の領域をカメラのダイナミックレンジ内に入れようと試みる。従って、第１の画像における木の露光を、第２の画像における木の露光に対し少なくする。露光が次なるステッチング目的のために調整されるとき、調整段階は、第１の画像の露光を増加するか、又は、第２の画像の露光を減少するかのいずれか、或いはその両方を行って、重なる領域（木）の露光が合うようにしなければならない。この調整は、明るい領域又は影の領域、又は両方を、８ビットのレンジ外に押し出す傾向があり、従って、クリッピングが発生する。

クリッピングの問題を解決するために、多数の可能性のある解決策が提案されている。例えば、非特許文献１では、スケッチナー及びナヤーは、空間的に変化する透過率を有する光学フィルタをデジタルカメラに取付け、それにより、カメラが動いたときに、異なる露光を有する各シーン点を効果的に測定する方法を教示する。この方法では、シーンの拡張ダイナミックレンジパノラマは、複数の測定から構築することができる。

非特許文献２では、アガーワル及びアフジャは、シーンの拡張ダイナミックレンジパノラマを生成する方法を教示する。この方法は、カメラセンサの前に、勾配が付けられたトランスペアレンシ（マスク）を配置することに関り、このトランスペアレンシは、カメラがパンするに従って各シーン点が複数の露光設定で撮像されることを可能にする。この方法は、高い解像度で、大きい視野を捕捉することを必要とする。画像のシーケンスは次にステッチングされて、高解像度の、拡張ダイナミックレンジパノラマ画像が形成される。

これらの方法は共に、固定透過率減衰パターンを、実際の輝度に関係なく全てのシーンに採用している。しかし、パターン自体は空間的に変化する。更に、各シーン点に対し、必要以上に多くの測定が事実上行われる。各シーン点が、同じ透過率変化パターンで露光されるには、カメラのパニング速度とカメラフレーム捕捉レートとの間の注意深い較正が行われなければならない。更に、どちらの方法も、拡張ダイナミックレンジパノラマ画像を形成する方法において高ビット‐深度パノラマを生成する方法については教示していない。

１つの現行のカメラシステムは、従来の低ビット‐深度電子カメラに追加することのできる単純な付属品を用いることによって、拡張ダイナミックレンジ画像及び高ビット‐深度パノラマ画像の両方を生成することが可能である。共通に譲渡される特許文献３（「ＭｅｔｈｏｄａｎｄＡｐｐａｒａｔｕｓｆｏｒＧｅｎｅｒａｔｉｎｇＩｍａｇｅｓＵｓｅｄｉｎＥｘｔｅｎｄｅｄＲａｎｇｅＩｍａｇｅＣｏｍｐｏｓｉｔｉｏｎ」なる名称で２００２年７月１１日出願）は、本願に参考として組み込むが、チェン外は、カメラの最適な電荷移動効率（ＣＴＥ）を変更することなく、複数のセンサ及び鏡を用い、又は、画像解像度に悪影響を与えないという利点を有する、拡張ダイナミックレンジ及び高ビット‐深度画像を生成する方法を説明する。
米国特許第６，１２８，１０８号米国特許出願番号１０／００８，０２６米国特許出願番号１０／１９３，３４２米国特許第５，１４４，４４２号米国特許第５，６２９，９８８号スケッチナー（Ｓｃｈｅｃｈｎｅｒ）及びナヤー（Ｎａｙａｒ）、「ジェネライズド・モザイキング（ＧｅｎｅｒａｌｉｚｅｄＭｏｓａｉｃｉｎｇ）、コンピュータビジョン国際会議プロシーディングス、２００１年アガーワル（Ａｇｇａｒｗａｌ）及びアフジャ（Ａｈｕｊａ）、「ハイ・ダイナミック・レンジ・パノラミック・イメージング（ＨｉｇｈＤｙｎａｍｉｃＰａｎｏｒａｍｉｃＩｍａｇｉｎｇ）」、コンピュータビジョン国際会議プロシーディングス、２００１年Ｃ．Ｄ．クグリン（Ｋｕｇｌｉｎ）及びＤ．Ｃ．ハインズ（Ｈｉｎｅｓ）、「ザ・フェーズ・コリレーション・イメージ・アライメント・メソッド（ＴｈｅＰｈａｓｅＣｏｒｒｅｌａｔｉｏｎＩｍａｇｅＡｌｉｇｎｍｅｎｔＭｅｔｈｏｄ）」、サイバネティック及び社会に関する１９７５年国際会議のプロシーディングス、１９７５年９月２３日‐２５日インターネット＜ｈｔｔｐ：／／ｗｗｗ．ｐｉｍａ．ｎｅｔ／ｓｔａｎｄａｒｄｓ／ｉｔ１０／ＩＴ１０＿ＰＯＷ．ｈｔｍ＞シグデム・エログル（ＣｉｇｄｅｍＥｒｏｇｌｕ）及びＡ．タンユ・エルデン（Ｅｒｄｅｍ）、「ファースト・アルゴリズム・フォ・サブピクセル・アキュレシー・イメージ・スタビライゼーション・フォ・デジタル・フィルム・アンド・ビデオ（Ａｆａｓｔａｌｇｏｒｉｔｈｍｆｏｒｓｕｂｐｉｘｅｌａｃｃｕｒａｃｙｉｍａｇｅｓｔａｂｉｌｉｚａｔｉｏｎｆｏｒｄｉｇｉｔａｌｆｉｌｍａｎｄｖｉｄｅｏ）」、ＳＰＩＥコミュニケーションズ・アンド・イメージ・プロセシングのプロシーディングス、第３３０９版、ｐ．７８６−７９７、１９９８年

従って、当該技術において必要とされているのは、シーンの写真のシーケンスから、拡張ダイナミックレンジパノラマ画像及び高ビット‐深度のパノラマを構築する方法である。

概略するに、本発明は、デジタルカメラ内の画像センサにより捕捉される複数の限定的ダイナミックレンジ画像から、シーンの拡張ダイナミックレンジパノラマ画像を得る方法である。本発明の方法は、（ａ）第１の位置から観察されるようにシーンから伝えられる光を画像センサに露光させることにより、第１の位置から、シーンの画像画素を含む第１の複数のデジタル画像を捕捉する段階において、画像センサへの光の透過率は調整可能である、段階と、（ｂ）各画像が捕捉された後に、画像画素の少なくとも一部について、限定的ダイナミックレンジの高い方の端又は低い方の端のいずれかにおいて限定的ダイナミックレンジを超える照明レベルに関して、各画像を評価する段階と、（ｃ）限定的ダイナミックレンジを超える各画像の評価に基づいて、異なるシーン輝度レンジを有する次なるデジタル画像が得られるよう画像センサへの光の透過率を調整する段階と、（ｄ）第１の複数のデジタル画像を記憶する段階と、（ｅ）いずれのデジタル画像自体より大きい拡張ダイナミックレンジを有する第１の合成画像を生成するよう記憶されるデジタル画像を処理する段階と、（ｆ）第２の位置から観察されるようにシーンから伝えられる光を画像センサに露光させることにより、第２の位置から、シーンの画像画素を含む第２の複数のデジタル画像を捕捉し、第２の合成画像を生成するよう第２の複数のデジタル画像について段階（ｂ）乃至（ｅ）を繰り返す段階と、（ｇ）拡張ダイナミックレンジパノラマ画像を生成するよう第１の合成画像及び第２の合成画像を処理する段階を含む。

本発明のもう１つの面によると、シーンの高ビット深度パノラマが、デジタルカメラ内の画像センサにより捕捉される複数の低ビット深度の画像から変換される複数の高ビット深度画像から得られる。ここでは、低ビット深度画像は、低いダイナミックレンジ画像を含む。本発明の方法は、（ａ）第１の位置から観察されるようにシーンから伝えられる光を画像センサに露光させることにより、第１の位置から、シーンの画像画素を含む第１の複数の低ビッド深度デジタル画像を捕捉する段階において、画像センサへの光の透過率は、少なくとも１つの画像に対し可変に減衰される、段階と、（ｂ）各画像が捕捉された後に、画像画素の少なくとも一部について、画像の限定的ダイナミックレンジを超える照明レベルに関して、各画像を評価する段階と、（ｃ）限定的ダイナミックレンジを超える各画像の評価に基づいて、異なるシーン輝度レンジを有する次なるデジタル画像が得られるよう画像センサへの光の透過率を調整する段階と、（ｄ）各画像についての減衰度に対応する各画像の減衰係数を計算する段階と、（ｅ）低ビット深度画像から１つ以上の高ビット深度画像を再構成するためにデータを記憶する段階において、このデータは、第１の複数のデジタル画像と減衰係数を含む、段階と、（ｆ）デジタル画像自体より高いビット深度を有する第１の合成画像を生成するよう記憶されるデータを処理する段階と、（ｇ）第２の位置から観察されるようにシーンから伝えられる光を画像センサに露光させることにより、第２の位置から、シーンの画像画素を含む第２の複数の低ビット深度デジタル画像を捕捉し、第２の合成画像を生成するよう第２の複数のデジタル画像について段階（ｂ）乃至（ｆ）を繰り返す段階と、（ｈ）高いビット深度を有するパノラマ画像を生成するよう第１の合成画像及び第２の合成画像を処理する段階を含む。

それぞれの実施例における段階（ｆ）及び（ｇ）は、１つ以上の追加の合成画像を適宜生成するよう１つ以上の追加の位置について繰り返され得、拡張レンジパノラマ画像は、第１の合成画像、第２の合成画像、さらに、１つ以上の追加の合成画像から最終段階において生成される。

本発明の利点は、カメラの最適な電荷移動効率（ＣＴＥ）を変更することなく、複数のセンサ及び鏡を用いる必要なく、又は、画像解像度に影響を与えることなく、従来の低ビット‐深度電子カメラ（例えば、電子センサデバイスを有する）を、拡張ダイナミックレンジパノラマ撮像装置に変換することができる点である。更に、一連の異なるシーン輝度レンジを得るために、画像群に対し、画像センサへの光透過率を変えることにより、画像に対し減衰定数を計算し得る。減衰定数は、画像のビット‐深度を更に特徴付けるために画像データ（低ビット‐深度データ）と共に利用することのできる追加の画像情報を表し、それにより、低ビット‐深度装置から高ビット深度パノラマ画像の生成を可能にする。

本発明の上述した面及び他の面、目的、特徴、及び、利点は、添付図面を参照しながら、好適な実施例の詳細な説明と特許請求の範囲を読むことにより明確に理解し把握することができるであろう。

電子センサを用いる撮像装置は周知であるので、本発明の説明は、特に、本発明による方法及びシステムの一部を形成する、又は、本発明による方法及びシステムにより直接的に関連する素子に向けられる。本願に特に示さない又は説明しない素子は、当該技術において周知であるものから選択され得る。説明する実施例の一部の面は、ソフトウェアとして提供されることも可能である。本発明の方法及びシステムを以下の資料に示し且つ説明するように、本発明の実現に有用である、本願に特に示さない、説明しない、又は提案しないソフトウェアは、従来のものであり、当該技術における通常の技術である。

本発明は、拡張ダイナミックレンジパノラマ画像及び高ビット‐深度パノラマを構築する方法及びシステムを説明するが、これは、可変減衰器として知られる装置と及び制限追加電子回路をカメラシステムに取付けることにより、カメラ最適電荷伝達効率（ＣＴＥ）を変えることなく、従来の低ビット‐深度電子カメラ（例えば、ＣＣＤセンサデバイスを有する）を拡張ダイナミックレンジ撮像装置に変換し、また、得られた画像にデジタル画像処理方法を適用することによって行われる。光の透過率を変化させる光学装置は、市販されている。メドウラーク・オプティックス（ＭｅａｄｏｗｌａｒｋＯｐｔｉｃｓ）は、液晶可変減衰器として知られる一揃いの装置を製造する。液晶可変減衰器は、光度をリアルタイムで連続的に制御する。光の透過は、液晶から半波長の遅延特性を達成するよう正しい電圧を印加することによって最大限にされる。透過は、印加される電圧の振幅が増加するにつれて減少する。

拡張ダイナミックレンジ画像を形成するために使用する画像のコレクションを捕捉する任意のタイプの単一センサ方法は、必然的に、画像のコレクションが捕捉されるときに、カメラ又はシーンにおける望ましくない動きの影響を受ける。従って、本発明は更に、液晶可変減衰器が取付けられる単一ＣＣＤセンサカメラを用いて、画像のコレクションを捕捉することによって、拡張ダイナミックレンジ画像を生成する方法を説明する。この方法では、次なる処理は、画像のコレクションにおける望ましくない動きを補正する。

更に、本発明は、拡張ダイナミックレンジ画像（低ビット‐深度画像）を生成するために、低ビット‐深度装置を用い、同時に、高ビット‐深度画像を生成するのに用いる回復可能な情報を生成し、高ビット‐深度画像は、高ビット‐深度パノラマを生成するよう用いられる方法を教示する。

図１Ａ、図１Ｂ、及び図２は、本発明の拡張ダイナミックレンジパノラマ合成に用いる画像を生成するのに有用なカメラシステムの幾つか関連する斜視図を示す。各図は、カメラ本体１０４、レンズ１０２、液晶可変減衰器１００、画像捕捉スイッチ３１８、及び、減衰器の電圧のための手動制御器３２２を示す。レンズ１０２は、カメラ本体１０４内の画像センサ３０８（例えば、電荷結合装置（ＣＣＤ）センサ）上に画像をフォーカスし、捕捉された画像は、図２に示す発光ダイオード（ＬＥＤ）ディスプレイ３１６上で表示される。メニュスクリーン２１０及びメニュセレクタ２０６が設けられて、カメラの動作モードを選択することができるようにされる。

図１Ｂに示すカメラの第２の実施例は、カメラの光路１０２Ａ（図３参照）に置かれる付属品としての可変減衰器１００を示す。取付けを可能にするために、可変減衰器１００は、ネジセクション１００Ａを含み、このネジセクション１００Ａは、レンズ１０２のレンズバレルの内部１０２Ｂにある対応するネジセクションに係合するよう合わされる。例えば、差込取付けといった他の形式の取付けも使用し得る。この取付けの目的は、可変減衰器を、従来のカメラと共に用いることを可能にすることである。しかし、従来のカメラは、可変減衰器のための電圧制御回路を含まない。従って、この第２の実施例では、手動制御器３２２が、電力付属品１０６に設置される。電力付属品１０６は、例えば、カメラ本体１０４の底板上の接続に取付けることによって、カメラに取付けられる。可変減衰器１００と電力付属品１０６は、ケーブル１０８で接続され、それにより、その間で電力及び制御信号が送られる。（ケーブル１０８は、一般的に、接続の少なくとも減衰器側においてケーブルジャック（図示せず）に接続し、それにより、減衰器１００は、レンズ１０２にネジ込められ、その後に、ケーブル１０８に接続され得る。）
図３のブロック図を参照するに、拡張ダイナミックレンジパノラマ合成のための画像を生成するのに用いるカメラシステムを、参照番号３００により示す。カメラシステム３００は、本体１０４を含み、本体１０４は、カメラシステム３００の全てのカメラ素子がしっかりと取付けられるケース及びシャーシを提供する。対象物３０１からの光は、液晶可変減衰器１００に入り、減衰器１００を出る光は、レンズ１０２によってアパーチャ３０６を介して集められ、ＣＣＤセンサ３０８上にフォーカスされる。ＣＣＤセンサ３０８では、光は、電気信号に変換されて、増幅器３１０に供給される。増幅器３１０からの増幅された電気信号は、アナログ‐デジタル変換器３１２によりデジタル化される。デジタル化された信号は、次に、デジタルプロセッサ３１４内で処理され、表示又は記憶のための準備が整う。

デジタルプロセッサ３１４からの信号は、次に、ＬＥＤディスプレイ３１６を励起するために用いられ、その表面に画像が生成される。この画像は、ＣＣＤセンサ３０８の入力面にて形成される画像の複製である。一般的に、シーン中の明るい対象物は、ＣＣＤセンサ３０８の対応部分を飽和状態にさせ、それにより、ＬＥＤディスプレイ３１６の表示面上に示される画像において、テクスチャの詳細のまったくない又はほとんどない白い領域を生成してしまう。少なくとも飽和状態部分からの明るさの情報は、プロセッサ３１４によって、線３３０上の電圧変化に変換される。この電圧変化は、自動コントローラ３２４により処理され、ゲート３２８を介して、液晶可変減衰器１００に、電圧３３３として印加される。或いは、手動コントローラ３２２が、ゲート３２８を介して液晶可変減衰器１００に印加される電圧変化を生成し得る。

図４を参照するに、液晶可変減衰器１００は、２つのクロスされる線形偏光子、即ち、入口偏光子４０２と出口偏光子４０６の間で動作する液晶可変リターダ４０４を含む。このような液晶可変減衰器は、メドウラーク・オプティックス（フレデリック、コロラド州）から市販される。クロスされる偏光子を用いて、光透過は、図４に示すように、その液晶セルからの半波長リターダンスを達成するようリターダ４０４に正しい電圧３３３を印加することにより最大限にされる。入来する非偏光の入力光線ビーム４００は、入口偏光子４０２により偏光される。リターダ４０４の半波長オペレーションは、入来偏光方向を９０度回転させる。それにより、光線は、出口偏光子４０６によって通される。リターダ４０４がゼロ波長で動作すると最小の透過が得られる。

透過は、印加される電圧３３３が増加すると減少する（半波長からゼロ波長へのリターダンス）。クロスされる偏光子の構成に対する透過率Ｔとリターダンスδ（角度）との関係は、以下のように与えられる。

ただし、Ｔ_ｍａｘは、リターダンスが正確に一半波長（又は１８０度）であるときの最大透過率である。リターダンスδ（角度）は、印加電圧Ｖの関数であり、δ＝ｆ（Ｖ）と書き表すことができ、ここで、関数ｆは、減衰器１００の仕様から得られるか、又は、実験的な較正によって決定することができる。この関係をもって、式（１）は以下のように書き表すことができる。

次に、透過率減衰係数

を決める。式（２）から、透過率減衰係数

は、ｖの関数であり、以下のように書き表すことができることが知られている。

ここで決められる透過率減衰係数

は、高ビット‐深度画像を生成するのに有用な情報を回復する方法を説明する実施例において後ほど使用する。

の値は、プロセッサ３１４において、オフラインで予め計算され、ルックアップテーブル（ＬＵＴ）に記憶されるか、又は、プロセッサ３１４において、リアルタイムで計算されることが可能である。

最大透過は、用いられる液晶可変リターダ４０４、および、偏光子４０２及び４０６の特性に依存する。図４に示すような構成を有するシステムでは、非偏光の光線源４００は、出口偏光子４０６を、偏光された光線ビーム４０８として出る。カメラシステム３００は、モードセレクタ２０６により選択される様々なモードで動作する。手動制御モードでは、電圧調整３３３が、手動コントローラ３２２からゲート３２８に送られる。手動コントローラ３２２は、表示画像に飽和状態部分がある場合に、ユーザによって作動され且つ制御される。それに応じて、減衰器１００は、低い光透過を生成し、それにより、ＣＣＤセンサ３０８が生成し得る飽和の量を減少する。画像を、ユーザにより作動される画像捕捉スイッチ３１８を閉成することによって捕捉し、ゲート３２６を介して記憶装置３２０に記憶することが可能である。

手動制御モードでは、ユーザは、シーン照明レベルに依存して、拡張ダイナミックレンジ画像合成に必要な画像をできるだけ多く撮り得る。言い換えるならば、任意のダイナミックレンジ解像度を達成することができる。例えば、エリアＢ_１の飽和状態領域は、光減衰器１００の透過率Ｔ_１（δ）が適切なレベルに設定されるようコントローラ３２２を調整することによって、エリアＢ_２に縮小することができる（ただし、Ｂ_２＜Ｂ_１）。対応する画像Ｉ_１は、そのレベルの減衰について記憶される。同様に、コントローラ３２２は、２回目の調整をして、光減衰器１００の透過率Ｔ_２（δ）が、ディスプレイ３１６におけるスポットＢ_２を、Ｂ_３に縮小させる（ただし、Ｂ_３＜Ｂ_２）ことを可能にする。対応する画像Ｉ_２は、そのレベルの輝度について記憶される。この処理は、Ｎ、Ｂ_Ｎ＝０、又は、光減衰器により最小の透過率が得られるまで繰り返すことができる。

自動制御モードでは、プロセッサ３１４が飽和状態を検出し、自動コントローラ３２４に線３３０を介して信号を供給すると、自動コントローラ３２４は、ゲート３２８に送られる電圧調整３３３を生成する。それに応じて、減衰器１００は、低い光透過率を生成し、それにより、ＣＣＤセンサ３０８が生成し得る飽和の量を減少する。結果として得られる画像は、自動コントローラ３２４から信号が供給されると、ゲート３２６を介して記憶装置３２０に供給され、画像は記憶装置３２０内に記憶される。デジタルプロセッサ３１４による飽和状態の検出、及び、自動コントローラ３２４により行われる自動制御処理を、以下に説明する。

自動モードでは、プロセッサ３１４は、画像を確認して、画素数のどれくらいの割合が、予めプログラムされる閾値Ｔ_Ｖを超える輝度レベルを有するかを判断する。例示的な値Ｔ_Ｖは、２４０．０である。その輝度レベルがＴ_Ｖを超える画素があり、その割合Ｒが、予めプログラムされる閾値Ｔ_Ｎより大きい場合（ただし、Ｒは、その輝度レベルがＴ_Ｖを超える画素数の、画像の全画素数に対する割合である）、プロセッサ３１４は、非ゼロ値信号を生成し、この信号は、線３３０を介して自動コントローラ３２４に供給される。小さい場合、プロセッサ３１４は、ゼロ値を生成し、それを、自動コントローラ３２４に供給する。閾値Ｔ_Ｎの例示的な値は、０．００１である。非ゼロ信号を受信すると、自動コントローラ３２４は、調整電圧Ｖを、δ_Ｖの量分増加する。調整電圧Ｖの初期値は、Ｖ_ｍｉｎである。調整電圧Ｖの最大許容値はＶ_ｍａｘである。δ_Ｖの値は、所望される減衰レベルの数と減衰器の仕様に基づいて容易に決定できる。δ_Ｖの例示的な値は、０．５ボルトである。Ｖ_ｍｉｎ及びＶ_ｍａｘは共に、減衰器の仕様により決められる値である。Ｖ_ｍｉｎの例示的な値は、２ボルトであり、Ｖ_ｍａｘの例示的な値は、７ボルトである。

図７は、動作の自動制御モードの処理の流れを示す。初期状態では、カメラは画像を捕捉し（段階７０２）、調整電圧ＶをＶ_ｍｉｎに設定する（段階７０４）。段階７０６において、プロセッサ３１４は、画像画素の輝度を確認して、画像中に飽和状態領域（画素輝度レベルがＴ_Ｖを超える領域）があるか否かを判断し、Ｒ＞Ｔ_Ｎであるか否かを判断するよう割合Ｒを確認する。ここで、Ｒは、上述したように、その輝度レベルがＴ_Ｖを超える画素数の、画像の全画素数に対する割合である。「ノー」である場合、プロセッサ３１４は、画像を記憶装置３２０に保存し、処理は、段階７２２において終了する。「イエス」である場合、プロセッサ３１４は、画像を記憶装置３２０に保存し、調整電圧Ｖを、δ_Ｖの量分増加する（段階７１２）。段階７１４において、プロセッサ３１４は、自動コントローラ３２４からのフィードバック３３２を確認し、調整電圧ＶがＶ_ｍａｘより小さいか否かを確認する。「イエス」である場合、プロセッサ３１４は、自動コントローラ３２４に命令して、調整電圧Ｖをゲート３２８に供給させる。次に別の画像が捕捉され、処理が繰り返される。段階７１４からの答えが「ノー」である場合には、処理は終了する。

高い方の端の（明るい）飽和状態の画素を回復するための上述した光透過率調整方法は、方法に用いられるパラメータ及び式を適宜変更することにより、下の方の端のクリッピングされる画素を回復するのにも適用可能であることを理解するものとする。

図１２を参照するに、第１の位置１２０２から第２の位置１２０４に、次に、第３の位置１２０６に動く拡張ダイナミックレンジパノラマを生成するのに用いられるカメラシステム（３００）を示す例示的な動作である。各位置において、カメラシステム３００は、上述の説明に従って１つ以上の画像を撮る。例示的な画像を図１３に示す。第１の位置では、カメラシステム３００は、３つの画像を撮る。即ち、画像Ｉ^１ _１（１３０２）、画像Ｉ^１ _２（１３０３）、及び、画像Ｉ^１ _３（１３０４）を撮る。上付き添え字は、カメラの位置を示す。第２の位置では、カメラシステム３００は、２つの画像を撮る。即ち、画像Ｉ^２ _１（１３０６）と、画像Ｉ^２ _２（１３０７）である。第３の位置では、カメラシステム３００は、３つの画像を撮る。即ち、画像Ｉ^３ _１（１３０８）、画像Ｉ^３ _２（１３０９）、及び画像Ｉ^３ _３（１３１０）である。これらの画像は、記憶装置３２０内に記憶される。

カメラ３００の記憶装置３２０内に集められた画像は更に、図８に示す画像処理システムにおいて位置合わせ及び合成のために処理される。

図８を参照するに、デジタル画像記憶装置３２０からのデジタル画像は、例えば、プログラム可能なパーソナルコンピュータ、又は、サンスパーク（ＳｕｎＳｐａｒｃ）ワークステーションといったデジタル画像処理ワークステーションのような画像プロセッサ８０２に供給される。画像プロセッサ８０２は、ＣＲＴディスプレイ８０４、キーボード８０６及びマウス８０８のようなオペレータインタフェースに接続され得る。画像プロセッサ８０２は、コンピュータ可読記憶媒体８０７にも接続し得る。画像プロセッサ８０７は、処理されたデジタル画像を出力装置８０９に送信する。出力装置８０９は、ハードコピープリンタ、長期間画像保存装置、別のプロセッサへの接続、又は、例えば、インターネットに接続される画像通信装置が含まれる。画像プロセッサ８０２は、次に説明する画像位置合わせ及び合成の処理を実行するソフトウェアを含む。

上述したように、拡張ダイナミックレンジ画像を形成するよう特定の位置において複数の画像を捕捉する好適なシステムは、全ての画像を同時には捕捉しない。従って、捕捉処理時のカメラ又はシーンにおける任意の望ましくない動きは、画像のずれをもたらす。拡張ダイナミックレンジ画像の正しい形成は、カメラは静止しており、又は、動いておらず、従って、画像のコレクションを捕捉する間にシーンの動きがないことを想定する。カメラが三脚又はモノポッド上に取付けられる、又は、静止している対象物の上に置かれる又は静止している対象物に接触して置かれる場合、安定性の前提は成立する可能性はある。しかし、画像のコレクションが、カメラが撮影者の手に持たれて捕捉される場合、僅かなジッタ又は手の動作が安定性の誤差をもたらし、この誤差は、拡張ダイナミックレンジ画像の形成に悪影響を与える。

カメラが特定の位置にあるときに捕捉される画像のシーケンスから望ましくない動きを除去する処理は、画像安定化と称する。一部のシステムは、光学的、機械的、又は、他の物理的な手段を用いて、捕捉又は走査時の望ましくない動作を補正する。しかし、これらのシステムは一般的に複雑且つ高価である。一般的なデジタル画像シーケンスに安定を与えるために、幾つかのデジタル画像処理方法が開発され、従来技術において説明される。

多数のデジタル画像処理法は、シーケンス中の連続フレーム間の、ズーム、並進、回転等の１つ以上のパラメータを評価するために、特定のカメラ動作モデルを用いる。これらのパラメータは、２つの連続フレームにおける画像点の対応を記述する動きベクトルフィールドから計算される。結果として得られるパラメータは、多数のフレームに亘ってフィルタリングされることが可能であり、それにより、滑らかな動きが与えられる。このようなシステムの一例は、バート（Ｂｕｒｔ）外の名前で１９９７年５月１３日に発行された「ＳｙｓｔｅｍａｎｄＭｅｔｈｏｄｆｏｒＥｌｅｃｔｒｏｎｉｃＩｍａｇｅＳｔａｂｉｌｉｚａｔｉｏｎ」なる名称の米国特許第５，６２９，９８８号に説明される。この特許は、本願に参考として組み込む。これらのシステムにおける基本的な前提は、大域的変換が隣接フレーム間の動きを左右するということである。例えば、複数の対象物が独立した動作軌道で動いているといったように顕著な局所的な動作がある場合、これらの方法は、誤りを含む大域的な動きパラメータを計算してしまい、失敗し得る。更に、これらの方法を、異なる露光で捕捉された画像のコレクションに適用することは困難であり得る。何故なら、画像は、全体の輝度においてかなり異なるからである。画像のフーリエ変換の段階において含まれる情報のみが類似する。

望ましくない動作を除去するための他のデジタル画像処理方法は、連続フレームを正確に位置合わせさせる位相相関として知られる技術を用いる。このような方法の一例は、エログル（Ｅｒｏｇｌｕ）外により報告されている（「Ａｆａｓｔａｌｇｏｒｉｔｈｍｆｏｒｓｕｂｐｉｘｅｌａｃｃｕｒａｃｙｉｍａｇｅｓｔａｂｉｌｉｚａｔｉｏｎｆｏｒｄｉｇｉｔａｌｆｉｌｍａｎｄｖｉｄｅｏ」、ＳＰＩＥコミュニケーションズ・アンド・イメージ・プロセシングのプロシーディングス、第３３０９版、ｐ．７８６−７９７、１９９８年）。これらの方法は、拡張ダイナミックレンジ画像を形成するために用いる画像のコレクションの安定化により適用可能である。というのは、相関方法は、画像のフーリエ変換の段階に含まれる情報を比較するだけだからである。

図５は、上述した手動制御モードと自動制御モードを１つにするシステムのフローチャートである。このシステムは、画像の位置合わせ及び合成の処理を含む。このシステムは、画像のコレクションを捕捉し、記憶し、且つ、位置合わせすることが可能である。画像のコレクションの各画像は、別個の輝度レベルに対応する。このシステムでは、拡張ダイナミックレンジカメラ３００を用いて、シーンの画像を捕捉する（段階５００）。この捕捉画像は、第１の輝度レベルに対応し、メモリに記憶される（段階５０２）。拡張ダイナミックレンジ画像を形成するのに十分な画像が捕捉されたか否かに関するクエリー５０４がされる。クエリー５０４に対する否定の応答は、例えば、自動コントローラ３２４によって、又は、手動コントローラ３２２のユーザ調整によって、光の減衰の度合いが変更されることを示す（段階５０６）。異なる輝度レベルに対応する、捕捉の処理（段階５００）と画像の記憶（段階５０２）は、クエリー５０４の肯定の応答が得られるまで繰り返される。クエリー５０４に対する肯定の応答は、全ての画像が捕捉され且つ記憶されたことを示し、システムは、記憶された画像を位置合わせする段階５０８に進む。尚、手動制御モードでは、段階５０４及び５０６は、手動電圧調整と、ユーザによるその結果の視覚的な検査を含む動作を表す。自動制御モードでは、前述したように、段階５０４及び５０６は、自動画像飽和テスト、自動電圧調整、自動電圧制限テスト等を含む動作を表す。更に、段階５０２は、記憶装置３２０に画像を記憶する。

図６を参照するに、記憶された画像を位置合わせする段階５０８の実施例を説明する。記憶された画像６００を位置合わせする段階５０８において、Ｉ_ｊとＩ_ｊ＋１との並進差Ｔ_{ｊ，ｊ＋１}（水平及び垂直並進に対応する２要素ベクトル）が、１＜ｊ＜Ｎ−１（ただし、Ｎは、記憶画像の総数）について、ｊの各整数値にたいし、位相相関６０２（上述のエルグル、又は、Ｃ．カグリン（Ｋｕｇｌｉｎ）及びＤ．ハイネス（Ｈｉｎｅｓ）による「ＴｈｅＰｈａｓｅＣｏｒｒｅｌａｔｉｏｎＩｍａｇｅＡｌｉｇｎｍｅｎｔＭｅｔｈｏｄ」、サイバネティック及び社会に関する１９７５年国際会議のプロシーディングス、ｐ．１６３−１６５、１９７５年に説明される）によって計算される。カウンタｉが１に初期化され（段階６０４）、画像Ｉ_ｉ＋１はシフトされる（段階６０６）か、

で並進される。このシフトは、並進モデルにより見つけられる画像Ｉ_ｉ＋１における望ましくない動作を補正する。クエリー６０８は、ｉ＝Ｎ−１であるか否かに関し行われる。クエリー６０８に対しての否定応答は、ｉは１が増分される（段階６１０）ことを示し、処理は、段階６０６から続けられる。クエリー６０８に対しての肯定応答は、全ての画像が、望ましくない動作について補正された（段階６１２）ことを示し、これで、段階５０８が終了する。

図９は、カメラ３００が図１３に示す第１の位置にあるときに撮影された３つの画像の例示的な内容を示す。第１の画像Ｉ^１ _１９０２は、手動又は自動の光減衰調整の前に撮影され、第２の画像Ｉ^１ _２９０４は、第１の手動又は自動の光減衰調整の後に撮影され、第３の画像Ｉ^１ _３９０６は、第２の手動又は自動の光減衰調整の後に撮影される。尚、図９は、例示的な画像セットを示すに過ぎない。セットにおける画像（又は調整段階）の数は、理論上は、任意の正の整数であり得る。第１の画像９０２は、飽和状態領域Ｂ_１（９２２）を有する。第２の画像９０４は、飽和状態領域Ｂ_２（９２４）を有する。（ただし、Ｂ_２＜Ｂ_１）第３の画像は飽和状態領域がない。図９は、画像９０２における画素９０８と、画像９０４における画素９１０と、画像９０６における画素９１２を示す。画素９０８、９１０、及び９１２は、上述した位置合わせ段階において合わされる。図９は、画素９０８、９１０、及び９１２が、異なる照明レベルを反射することを示す。画素９０８、９１０、及び９１２は、合成画像Ｉ^１ _Ｃ９４２の場所９４４における値を形成するよう、合成に用いられる。画像Ｉ^１ _Ｃは、図１４にも１４１０として示す。従って、同じ方法を用いて、第２の位置において、合成画像Ｉ^２ _Ｃ（１４１２）が、画像Ｉ^２ _１（１３０６）と画像Ｉ^２ _２（１３０７）から生成され、第３の位置において、合成画像Ｉ^３ _Ｃ（１４１４）が、画像Ｉ^３ _１（１３０８）と、画像Ｉ^３ _２（１３０９）と、画像Ｉ^３ _３（１３１０）から生成される。

合成画像における画素の値を生成する方法は、ロバストな統計的推定として定式化することができる（ミトラ・カイザー（ＭｉｔｒａＫａｉｓｅｒ）による「ＨａｎｄｂｏｏｋｆｏｒＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ」、１９９３年）。Ｎ個の位置合わせされた画像から集められた画素のセット（例えば、画素９０８、９１０、９１２）を｛ｐ_ｉ｝とし、ただし、ｉ∈［１，…，Ｎ］とする。セット｛ｐ_ｉ｝に対応する合成画像における合成画素の推定をｐ_ｅｓｔとする。ｐ_ｅｓｔの計算は、単純に、

となる。ただし、ｊ_１∈［０，…，Ｎ］，ｊ_２∈［０，…，Ｎ］であり、０＜ｊ_１＋ｊ_２＜Ｎを条件とする。この定式化は、アウトライアー（例えば、飽和状態の画素又は暗い画素）を排除することによりロバストな推定を与える。この定式化は更に、非対称の除外の境界ｊ_１及びｊ_２の選択における柔軟性も与える。例示的な選択は、ｊ_１＝１であり、ｊ_２＝１である。

上述したロバストな推定方法は、集められた画像における各画素に適用されて、図５における段階５１０を終了する。図１１Ａに示す例示的なシーン輝度分布について、本発明を用いる合成画像の輝度レベルのヒストグラムは、０（１１５２）から２５５（１１５８）の範囲を有する図１１Ｃに示すような曲線１１５６のように予測される。尚、輝度分布１１５６は、オリジナルのシーン（図１１Ａ）の輝度分布曲線１１１６と似た形状を有する。しかし、図面から分かるように、輝度解像度は、１０２４レベルから２５６レベルまで減少されている。しかし、対照的に、本発明により与えられるダイナミックレンジの補正無しでは、輝度レベルのヒストグラムは、図１１Ｂに示すようなものになり、ここでは、かなりの飽和状態が明らかにある。

図１０は、低ビット‐深度捕捉装置から高ビット‐深度画像を生成するために用いられる回復可能な情報を生成する、本発明の１つの好適な実施例に対応するフローチャートである。このフローチャートの初期状態では、カメラは、段階１００２において、第１の画像を捕捉する。段階１００６では、プロセッサ３１４（自動モード）又はユーザ（手動モード）が、その画像に飽和状態の画素があるか否かクエリーする。ノーである場合、画像は保存され、処理は終了する（段階１００７）。イエスである場合、処理は、段階１００８に進み、段階１００８では、画像が第１の画像であるか否かを判断する。画像が第１の画像である場合、プロセッサ３１４は、非飽和状態の画素の位置及び輝度値を、第１のファイルに記憶する。画像が第１の画像以外である場合又は段階１００９を終了した後、飽和状態の画素の場所は、一時的に、第２のファイルに記憶される（段階１０１０）。減衰器電圧が、自動的に（図３中の自動制御器３２４により）、又は、手動で（図３中の手動制御器３２２により）、段階１０１１に示すように、調整される。電圧制限の調整及び確認は、上述したように行われる。

減衰器電圧が調整された後、段階１０１６に示すように、次の画像が捕捉され、この新しい画像が現在の画像となる。段階１０１８では、プロセッサ３１４は、前の画像においては飽和状態であるが現在の画像では飽和状態ではない輝度レベルを有する画素のみの位置及び輝度レベルを、第１のファイルに記憶する。これらの画素は、「脱飽和状態（ｄｅ−ｓａｔｕｒａｔｅｄ）」の画素と称する。プロセッサ３１４は更に、式（３）において定義付けられる関連の透過減衰係数

の値も記憶する。段階１０１８を終了すると、処理は、プロセッサ３１４（自動モード）又はユーザ（手動モード）が、現在の画像中に飽和状態の画素がないか否かを確認する段階１００６に戻る。その後、上述した段階が繰り返される。

処理を、図１３における例示的な画像を用いて更に説明する。処理をより理解するためには、幾つかの一般項を定義付けることが役に立つであろう。Ｉ^ｋ _ｉは、位置ｋにおける捕捉画像を表し、恐らく、飽和状態の画素を有し、ただし、ｉ∈｛１，…，Ｍ^ｋ｝である。Ｍ^ｋは、捕捉画像の総数を表し、ただし、Ｍ^ｋ＞１である。全ての捕捉画像は、同数の画素Ｎを含み、位置ｋにおける特定の画像Ｉ^ｋ _ｉにおける各画素は、指数ｎにより識別され、ただし、ｎ∈｛１，…，Ｎ｝であると仮定する。更に、全ての画像は互いに位置合わせされ、それにより、画素指数ｎの特定の値は、画素の場所を示し、これは、Ｉ^ｋ _ｉとは関係がない。画素ｎに関連付けられるデカルト座標は、（ｘ_ｎ，ｙ_ｎ）と表し、位置ｋにおいて画像Ｉ^ｋ _ｉ中のこの画素に関連付けられる輝度レベルは、Ｐ^ｋ _ｉ（ｘ_ｎ，ｙ_ｎ）と表す。項

は、画像Ｉ^ｋ _ｉにおける飽和状態の画素に対応する画素指数のサブセットを表す。下付き文字ｊ∈｛１，…，Ｊ^ｋ _ｉ｝は、このサブセットにおける画素指数ｎ_ｉｊに関連付けられ、ただし、Ｊ^ｋ _ｉ＞０は、画像Ｉ^ｋ _ｉにおける飽和状態の画素の総数である。最後の画像

は、飽和状態の画素を含まないと仮定される。従って、

は、この画像に対し空のセットである。この最後の仮定は、常に真であるとは限らないが、実際においては通常達成することができ、何故なら、透過率が非常に低い値に到達するまで連続的に減衰器を調整することができるからである。いずれにせよ、この仮定は、本願に説明する方法全体には重要ではない。

図９を参照するに、飽和状態領域を有する例示的な画像は、Ｉ^１ _１と示す第１の画像９０２と、Ｉ^１ _２と示す第２の画像９０４である。図９に示す例示的な最後の画像Ｉ^１ _３が、第３の画像９０６である。例示的な飽和状態のセットは、Ｓ^１ _１と示す領域９２２と、Ｓ^１ _２と示す領域９２４である。前の段落において記載した仮定によると、Ｓ^１ _３＝ＮＵＬＬである。

減衰器制御電圧Ｖの調整の後、及び、位置ｋにおける新しい現在の画像^ｋ _ｉ＋１の捕捉の後（即ち、図１０における段階１０１１及び１０１６の後）、プロセッサ３１４は、第２のファイルに一時的に記憶される位置ｋにおける画像Ｉ^ｋ _ｉ中の飽和状態の画素の場所を取出しする。段階１０１８において、プロセッサは、場所

における画素Ｎ_ｉｊが、新しい現在の画像において脱飽和状態になったか否かを確認する。この画素について脱飽和状態が起きている場合には、新しい輝度レベル

と、位置

が、関連の減衰係数

と共に、第１のファイルに記憶される。脱飽和状態画素に関する情報を記憶する処理は、減衰器制御電圧の第１の調整の始まりから、最後の調整が行われるまで続けられる。

図１０に示す処理フローチャートと共に図９を再び参照するに、第１の画像９０２における非飽和状態の画素の場所及び輝度は、第１の記憶ファイルに記憶される（段階１００９）。領域９２２における飽和状態の画素の場所は、第２の記憶ファイルに一時的に記憶される（段階１０１０）。第２の画像９０４が、減衰器制御電圧の第１の調整（段階１０１１）の後に、捕捉される（段階１０１６）。次に、プロセッサ３１４は、第２の一時的な記憶ファイルから、第１の画像９０２の領域９２２における飽和状態の画素の場所を取出しする。これらの場所における画素が、第２の画像９０４において脱飽和状態になったか否かを確認するための判断が、プロセッサにより自動的に行われるか、又は、オペレータにより手動で行われる。次に、第１の記憶ファイルは、新しい脱飽和状態の画素の位置及び輝度によって更新される（段階１０１８）。例えば、第１の画像の飽和状態領域９２２に位置付けられる画素９０８である。この画素は、第２の画像９０４における画素９１０に対応する。この画素９１０は、第２の画像９０４における脱飽和状態領域９０５にある。領域９０５における全ての画素の輝度及び場所は、透過減衰係数

と共に第１の記憶ファイルに記憶される。その後、処理は、段階１００６に戻る。第２の一時的な記憶ファイルに記憶される情報は、第２の画像９０４における領域９２４における飽和状態の画素の場所により置き換えられる（段階１０１０）。減衰器制御電圧の第２の及び最後の調整が行われ（段階１０１１）、その後に、第３の画像９０６が捕捉される（段階１０１６）。領域９２４における全ての画素が、この例では、新しい脱飽和状態となるので、第１の記憶ファイルは更新されて（段階１０１８）、透過減衰係数

と共に、領域９２４における全ての画素の輝度及び場所が含まれる。第３の画像９０６には、飽和状態の画素はないので、処理は、段階１００６に戻った後に終了する（段階１００７）。尚、減衰器制御電圧の各調整、つまり、脱飽和状態の画素の各新しいセットに対し、１つの減衰係数だけを記憶すればよい。上述した処理は、画像のｋ個のセットに適用され、ただし、ｋ∈［１，…，Ｋ］であり、Ｋは、可動のカメラが停止し画像を撮影する場所の数である。

式（４）は、Ｋ個の位置におけるこの処理を記述する擬似コードの一部を表す。式（４９において、ｉは画像の指数であり、ｎは画素の指数であり、（ｘ_ｎ，ｙ_ｎ）は画素ｎのデカルト座標であり、Ｐ^ｋ _ｉ（ｘ_ｎ，ｙ_ｎ）は、画素ｎに関連付けられて、位置ｋにおける画像Ｉ^ｋ _ｉの輝度であり、ｎ_ｉｊは、画像Ｉ^ｋ _ｉにおけるｊ番目の飽和状態の画素に関連付けられる指数である。

本発明のもう１つの特徴は、図１、２、及び３に示すデジタルカメラといった低ビット‐深度装置を用いて拡張ダイナミックレンジパノラマ（これまでのところは、低ビット‐深度パノラマについて説明している）を生成し、同時に、高ビット‐深度パノラマを更に生成するために用いられる回復可能な情報を生成することである。この特徴は、減衰係数は、画像のビット‐深度を更に特徴付けるために画像データ（低ビット‐深度データ）と共に用いることのできる追加の画像情報を表すという観察に基づいている。

この情報は、式（４）に記憶されるので、この記憶されるデータを用いて高ビット‐深度画像を生成する方法は簡単である。尚、ファイルにおける例示的なデータ形式は、各行が、３つの素子、即ち、デカルト座標における画素位置、画素輝度、及び、減衰係数を有する。便宜上、各行についてのファイルにおける位置ｋにおける輝度データをＰ^ｋとし、位置データをＸ^ｋとし、減衰係数を

とする。更に、再構成される高ビット‐深度画像（

と示す）についての新しい輝度データを、Ｐ^ｋ _ＨＩＧＨと示す。Ｋ個の高ビット‐深度画像の単純な再構成を以下のように示す。

ただし、

は、１、又は、式（４）に示すように、

である。

好適な実施例を用いて説明した、高ビット‐深度画像を生成するために用いる回復可能な情報を生成する方法は、デジタルカメラのＣＣＤセンサの積分時間を制御するといったように、他の種類の拡張ダイナミックレンジ技術のために修正することができる（ラン・ギノサー（ＲａｎＧｉｎｏｓａｒ）外の名前で、１９９２年９月１日に発行された「ＷｉｄｅＤｙｎａｍｉｃＲａｎｇｅＣａｍｅｒａ」なる名称の米国特許第５，１４４，４４２号を参照されたい）。この場合、透過減衰係数は、時間の関数、即ち、

である。

結果として得られる合成画像Ｉ^ｋ _Ｃは、シーンの拡張ダイナミックパノラマを生成するよう用いられる。尚、各２つの隣接する合成画像は、ステッチングのために必要な重なる領域を有する。例示的な領域を図１４に示す。図１４において、画像Ｉ^１ _Ｃ（１４１０）の一部

（１４２０）は、画像Ｉ^２ _Ｃ（１４１２）の一部

（１４２２）に重なる。一般的に、２つの合成画像の重なり合う領域における全体の輝度及びコントラストは、上述した合成方法によって同じではない。この問題を解決するために、上述した、カヒル（Ｃａｈｉｌｌ）外による「Ｍｅｔｈｏｄａｎｄｓｙｓｔｅｍｓｆｏｒｃｏｍｐｏｓｉｔｉｎｇｉｍａｇｅｓ」なる名称の米国特許出願１０／００８，０２６に開示される変換方法が用いられ、これは、以下の図面に関連しながら説明する。或いは、上述の米国特許第６，１２８，１０８号に開示される変換方法を用いる。

図１５を参照するに、２つのソースデジタル画像（２つの隣接合成画像）が、段階２２００において与えられる。少なくとも一方のソースデジタル画像の画素値は、線形露光変換により変更され（段階２２０２）、それにより、重なり合うソースデジタル画像の重なり領域における画素値が同様となり、調整されたソースデジタル画像のセットが得られる。線形露光変換とは、ソースデジタル画像の画素値に適用される変換を意味し、この変換は、各画素におけるシーンの輝度値に対して線形である。調整されたソースデジタル画像は、フェザリングスキーム、加重平均、又は、当該技術において知られる他のブレンド技術を用いて組み合わされて（段階２２０４）、合成デジタル画像を形成する（段階２２０６）。この処理を、Ｋ個の合成画像Ｉ^ｋ _Ｃの全てに適用した後、段階２２０６における最終合成画像は、シーンの拡張ダイナミックレンジパノラマとなる。

同一の変換処理を、再構成される高ビット‐深度画像

に適用して、シーンの最終的な高ビット‐深度パノラマを生成することができる。

本発明による拡張ダイナミックレンジ画像合成に用いる画像を生成するカメラの第１の実施例を示す斜視図である。本発明による拡張ダイナミックレンジ画像合成に用いる画像を生成するカメラの第２の実施例を示す斜視図である。図１Ａ及び図１Ｂに示すカメラの背部から見た斜視図である。図１Ａ及び図１Ｂに示すカメラの関連のある構成要素を示すブロック図である。図１Ａ及び図１Ｂに示すカメラに用いられる液晶可変減衰器の構成要素を示す図である。本発明による拡張レンジ合成のための好適な実施例のフローチャートである。捕捉画像における望ましくない動きを補正するための、図５に示す画像位置合わせ段階の好適な実施例のフローチャートである。光減衰を制御するための、図５に示す自動調整段階の好適な実施例を示すフローチャートである。図５及び図６に示す位置合わせ補正を行う画像処理システムを示す図である。異なる照明レベルを有する集められる画像と合成画像を示す図である。低ビット‐振動捕捉装置から高ビット‐深度画像を生成するために回復可能な情報を生成する好適な実施例のフローチャートである。オリジナルのシーンのデータの輝度分布を示すヒストグラムである。従来技術により捕捉且つ処理されるシーンデータの輝度分布を示すヒストグラムである。本発明により捕捉且つ処理されるシーンデータの輝度分布を示すヒストグラムである。本発明による拡張ダイナミックレンジパノラマ合成に用いられるパノラマを生成するカメラの３つの位置を示す実施例を示す図である。異なる位置において異なる照明レベルを有する集められる画像を示す図である。合成画像を示す図である。画像を合成するための好適な実施例のフローチャートである。

符号の説明

１００可変減衰器
１００Ａネジセクション
１００Ｂネジセクション
１０２レンズ
１０２Ａ光学路
１０４カメラ本体
１０６電力付属品
１０８ケーブル
２０６メニュコントローラ
２１０メニュディスプレイ
３００拡張ダイナミックレンジカメラ
３０１対象物
３０６アパーチャ
３０８画像センサ
３１０増幅器
３１２Ａ／Ｄ変換器
３１４プロセッサ
３１６ディスプレイ
３１８スイッチ
３２０記憶装置
３２２手動コントローラ
３２４自動コントローラ
３２６ゲート
３２８ゲート
３３０線
３３２フィードバック
３３３電圧
３３４命令線
４００非偏光光線
４０２入口偏光子
４０４リターダ
４０６出口偏光子
４０８偏光光線
５００画像捕捉段階
５０２画像記憶段階
５０４クエリー
５０６調整光減衰段階
５０８画像位置合わせ段階
５１０画像合成段階
６００記憶画像
６０２並進差
６０４初期化カウンタ
６０６画像シフト段階
６０８クエリー
６１０増分カウンタ
６１２位置合わせ終了
７０２画像捕捉段階
７０４Ｖ設定案カイ
７０６クエリー段階
７０８画像保存段階
７１０画像保存段階
７１２Ｖ設定段階
７１４クエリー段階
７１６Ｖを送信する段階
７１８画像を撮る段階
７２０終了段階
７２２終了段階
８０２画像プロセッサ
８０４画像ディスプレイ
８０６データ及び命令入力装置
８０７コンピュータ可読記憶媒体
８０８データ及び命令制御装置
８０９出力装置
９０２、９０４、９０６画像
９０８、９１０、９１２画素
９２２、９２４領域
９４２合成画像
９４４合成画素
１００２画像捕捉段階
１００６クエリー段階
１００７終了段階
１００８クエリー
１００９、１０１０データ記憶段階
１０１１電圧調整段階
１０１６画像捕捉段階
１０１８データ記憶段階
１１１２、１１１４レベル
１１１６輝度分布曲線
１１３４レベル
１１３６歪んだ輝度ヒストグラム
１１３８、１１５２レベル
１１５６輝度分布曲線
１１５８レベル
１２０１位置１におけるカメラ
１２０４位置２におけるカメラ
１２０６位置３におけるカメラ
１３０２、１３０３、１３０４、１３０６、１３０７、１３０８、１３０９、１３１０、１４１０、１４１１、１４１４画像
１４２０、１４２２部分画像
２２００、２２０２、２２０３、２２０６段階

Claims

デジタルカメラ内の画像センサにより捕捉される複数の限定的ダイナミックレンジ画像から、シーンの拡張ダイナミックレンジパノラマ画像を得る方法であって、
（ａ）第１の位置から観察されるように上記シーンから伝えられる光を上記画像センサに露光させることにより、上記第１の位置から、上記シーンの画像画素を含む第１の複数のデジタル画像を捕捉する段階において、上記画像センサへの上記光の透過率は調整可能である、段階と、
（ｂ）各画像が捕捉された後に、上記画像画素の少なくとも一部について、上記限定的ダイナミックレンジの高い方の端又は低い方の端のいずれかにおいて上記限定的ダイナミックレンジを超える照明レベルに関して、各画像を評価する段階と、
（ｃ）上記限定的ダイナミックレンジを超える各画像の上記評価に基づいて、異なるシーン輝度レンジを有する次なるデジタル画像が得られるよう上記画像センサへの上記光の透過率を調整する段階と、
（ｄ）上記第１の複数のデジタル画像を記憶する段階と、
（ｅ）いずれの上記デジタル画像自体より大きい拡張ダイナミックレンジを有する第１の合成画像を生成するよう上記記憶されるデジタル画像を処理する段階と、
（ｆ）第２の位置から観察されるように上記シーンから伝えられる光を上記画像センサに露光させることにより、上記第２の位置から、上記シーンの画像画素を含む第２の複数のデジタル画像を捕捉し、第２の合成画像を生成するよう上記第２の複数のデジタル画像について段階（ｂ）乃至（ｅ）を繰り返す段階と、
（ｇ）拡張ダイナミックレンジパノラマ画像を生成するよう上記第１の合成画像及び上記第２の合成画像を処理する段階と、を含む方法。
捕捉された後に、各画像を評価する上記段階（ｂ）は、上記画像の飽和状態の領域を示す照明レベルに関して、各画像を評価する段階を含む請求項１記載の方法。
捕捉された後に、各画像を評価する上記段階（ｂ）は、捕捉された後に各画像を表示する段階と、上記画像の上記限定的ダイナミックレンジを超える上記画像の１つ以上の領域を示す照明レベルに関して、上記表示された画像を評価する段階とを含む請求項１記載の方法。