JP2004159292A - ダイナミックレンジ拡張画像合成に用いる画像を生成するための方法 - Google Patents

Abstract

【課題】デジタルカメラにおけるイメージセンサにより捕捉された複数の制限されたダイナミックレンジの画像から、シーンの拡張されたダイナミックレンジの画像を得ることを目的とする。
【解決手段】シーンから送られる光にイメージセンサを露出することにより、シーンの画像の画素から構成される複数のデジタル画像は捕捉され、各々の画像は、少なくとも一部の画像の画素のために画像の制限されたダイナミックレンジより大きい照度レベルについて捕捉された後に、評価される。制限されたダイナミックレンジより大きい各々の画像の評価に基づいて、異なるシーンの輝度範囲を有する次のデジタル画像を得るために、イメージセンサにおいて光透過率が調整される。複数のデジタル画像は記憶され、次いで、記憶されたデジタル画像は何れかのデジタル画像より大きい拡張されたダイナミックレンジを有する合成画像を生成するために処理される。
【選択図】 図５

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像処理の分野に関し、特に、広いダイナミックレンジの画像を捕捉し、且つデジタル的に処理する方法に関する。
【０００２】
【従来の技術】
従来のデジタルカメラは、８ビットの輝度情報により表される画像フレームを捕捉し且つ記憶するが、特に、捕捉された単一フレームに対応する現実世界のシーンにおける輝度変化は常に非常に大きいため、全体の輝度レベル範囲を適切に表現することから程遠い状態にある。このような大きなずれは、画像の一部において歪みを引き起こし、画像は暗過ぎたりまたは明る過ぎたりして、結果的に詳細部分を損なってしまうこととなる。カメラのダイナミックレンジは、歪みをもたらすことなく、カメラにより生成することが可能である輝度レベルの範囲として定義されている。
【０００３】
当該技術分野においては、カメラのダイナミックレンジを拡張するための様々な方法がある。例えば、カメラの露出メカニズムに関して、忠実に記録される全体の細部を最大限に引き伸ばすために、シャッター速度および／またはレンズアパチャを調節することが、従来、試みられてきた。写真撮影者は、しばしば、様々な露出設定（ブラケッティングとして知られる）において同じシーンを露出し、後に彼等が最も好ましいとする１つの露出を選択し、それ以外の残りは捨ててしまう。”Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｐｒｏｄｕｃｉｎｇ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ Ｈａｖｉｎｇ Ｅｘｔｅｎｄｅｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅｓ”と題され、１９９８年１０月２７日に発行されたＳｔｅｖｅ Ｍａｎｎによる米国特許第５，８２８，７９３号明細書（特許文献１）においては、自動化された方法により、異なる露出設定を用いて捕捉される画像を、露出における僅かな違いをさらに示す拡張されたダイナミックレンジを有する最終画像を生成するための異なる露出設定と組み合わせることにより最適化がなされている。レンズ光景の調節は、画像センシングアレイに送られる被写体の照度量を変化させるけれど、画像の解像度に影響を及ぼす不運な副次的な悪影響もまた受ける。
【０００４】
他のよく知られている露出を調整する方法は、タイミング制御を用いることである。代表的なデジタルカメラのデザインにおいて、タイミング回路は、カメラにタイミングパルスを供給する。カメラに供給されたタイミングパルスは、選択可能な持続時間を変化させるために、センサアレイにおける光電変換による蓄積電荷を動かし、信号電流の読み出しを決定することが可能である。１つまたはそれ以上のＣＣＤアレイをもつデジタルカメラについては、アレイ（文献“ＣＣＤ Ａｒｒａｙｓ， Ｃａｍｅｒａｓ ａｎｄ Ｄｉｓｐｌａｙｓ” （Ｇｅｒａｌｄ Ｃ． Ｈｏｌｓｔ著、ＳＰＩＥ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｐｒｅｓｓ， １９９８）（非特許文献１））の電荷移動効率（ＣＴＥ：Ｃｈａｒｇｅ Ｔｒａｎｓｆｅｒ Ｅｆｆｉｃｉｅｎｃｙ）のために情報の損失があることが知られている。電子が１つの記憶サイトから次の記憶サイトに動くことに要する時間のために、フレームレート（フレーム周波数により決定される）と画像品質（ＣＴＥにより影響される）との間のトレードオフがある。
【０００５】
露出を調整するための他の方法がある。たとえば、”Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｖｉｄｅｏ Ｃａｍｅｒａ”と題され、１９８５年１０月８日に発行されたＧｌｅｎｎ Ｄ．Ｃｒａｉｇによる米国特許第４，５４６，２４８号明細書（特許文献２）においては、システムのダイナミックレンジの範囲内に適合させるためにイメージセンサによりセンシングされる明るい被写体からの光を減衰させるために液晶光弁を用いているが、他方、薄暗い被写体については適用されない。そのようなデサインにおいて、テレビカメラ装置は、被写体のシーンから線形の偏光を受け取り、その光はビームスプリッタを通り、液晶光弁の出力平面において焦点が合わされる。イメージセンサから画像信号を受け取る陰極線管からの励起がない状態で、全ての光の位相が９０度回転され、且つイメージセンサの入力平面に焦点が合わされる。その光は、次いで、電気信号に変換され、その電気信号は増幅され、そして陰極線管を励起するために用いられる。結果として得られる画像は収集され、光弁においてレンズにより焦点が合わされ、光弁は陰極線管からの光強度に比例する範囲に関して光の偏光ベクトルを回転させる。これは、カメラセンサのビット深度（ダイナミックレンジ）の範囲内において明るい被写体の光を捕捉するように液晶光弁を用いる、よい例である。
【０００６】
しかしながら、米国特許第４，５４６，２４８号明細書（特許文献２）において開示されたデザインにおいては、シーンが異なる輝度の被写体を含む場合に、満足な結果を得ることはできない。たとえば、図１１（Ａ）は、強度レベルが０（１１１２）乃至１０２３（１１１４）の範囲にあるシーンの強度レベルのヒストグラム１１１６を示している。このヒストグラムは比較的広いダイナミックレンジ（１０ビット）のシーンを示している。このシーンについて、米国特許第４，５４６，２４８号明細書（特許文献２）に開示されている方法は、図１１（Ｂ）に示すように、オリジナルのシーン１１１６から歪められてしまった強度ヒストグラムをもつ画像を生成することとなる。この例において、図１１（Ｂ）は、０（１１３８）乃至２５５（１１３４）の範囲の強度レベルであることを示している。また、米国特許第４，５４６，２４８号明細書（特許文献２）において開示されたデザインの光学的且つ機械的構造は消費者のカメラには適合しない。
【０００７】
既存の広いダイナミックレンジの技術の共通の特徴は、シーンの複数の画像の捕捉であり、各々の画像は異なる光学的特性（異なる輝度）をもっていることである。これらの複数の画像は、シーンの照度範囲の異なる部分を表している。合成画像を、これら複数の画像から生成することが可能であり、この合成画像は、何れの個々の画像がカバーする輝度範囲よりも、広い輝度範囲をカバーしている。複数の画像を得るために、特別のカメラがデザインされ、それは単一レンズと、同じシーンを異なるセンサで同時に画像化する、すなわち異なる露出設定にするように、複数のセンサとを用いる。複数のセンサに基づく広いダイナミックレンジのカメラにおける基本的な考え方は、レンズにより屈折された光を複数のビームに分割し、次いで、各々のビームをセンサ上に収束するようにするものである。そのようなデザインには問題点がある。第１に、スプリッタは、それらの有限の厚さのために、余計なレンズ異常を導入する。第２に、殆どのスプリッタは光を２つのビームに分裂させる。より多くのビームを生成するためには、複数のスプリッタを用いなければならない。しかしながら、レンズとセンサとの間の短い光学距離は、その光学距離の中に設けることができるスプリッタの数を制限する。
【０００８】
Ｍａｎｏｊ ＡｇｇａｒｗａｌとＮａｒｅｎｄｒａ Ａｈｕｊａ（“Ｓｐｌｉｔ Ａｐｅｒｔｕｒｅ Ｉｍａｇｉｎｇ ｆｏｒ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＣＶ ２００１， ２００１において（非特許文献２））は、入射ビームの断面を所望の数の部分に分割する複数のセンサを用いる方法を提案している。その方法は、アパチャを複数の部分に分割し、ミラーアセンブリを用いて、異なる方向に各々の部分からの出射光を導くことにより、実施される。その方法は、従来のビームスプリッタを用いるときに直面する、上記２つの問題点を回避することが可能である。しかしながら、複数のセンサを用いる場合には共通の問題点がある。すなわち、アライメントミスと、複数のセンサにより生じる画像の幾何学的歪の可能性がある。さらに、この種のデザインは、特別なセンサ構造、光学距離および機械冶具を必要とする。したがって、複数の画像を生成することが可能な単一センサがより一層好ましい。
【０００９】
既存の広いダイナミックレンジの技術は、低いビット深度の捕捉装置（たとえば、標準的消費者向けデジタルカメラのビット深度は８ビット／画素であって、適切な露出レベル範囲をカバーしていないため、ここでは低いビット深度と認識しているビット深度である）と互換性のある合成信号レベルを生成するために、受け取られる強度の信号レベルを単純に圧縮する。残念ながら、情報は、一旦、捨てられると、高いビット深度の出力装置が利用可能である状況下でオリジナルのシーンをより良好に表す高いビット深度の（たとえば、１２ビット／画素）画像を再生することは不可能である。高いビット深度の画像（たとえば、１２ビット／画素の画像）を低いビット深度の画像（たとえば、８ビット／画素の画像）に変換する方法がある（たとえば、同一出願人によっており、ＭｃＣａｒｔｈｙ等の名前で発行された米国特許第６，２８２，３１３Ｂ１号明細書（特許文献３）および米国特許第６，３３５，９８３Ｂ１号明細書（特許文献４）を参照されたい）。これらの方法において、一連の残像は、低いビット深度の画像に加えて、保存される。後に、必要に応じて、高いビット深度の画像を再構成するために、残像を用いることが可能である。しかしながら、これらの方法は、低いビット深度の画像としてこれらの画像を表すプロセスから高いビット深度の画像を回復する仕方について教示している。残念ながら、これらの方法は、先ず、高いビット深度が利用可能でない場合には適用することができない。
【００１０】
【特許文献１】
米国特許第５，８２８，７９３号明細書
【特許文献２】
米国特許第４，５４６，２４８号明細書
【特許文献３】
米国特許第６，２８２，３１３Ｂ１号明細書
【特許文献４】
米国特許第６，３３５，９８３Ｂ１号明細書
【非特許文献１】
Ｇｅｒａｌｄ Ｃ． Ｈｏｌｓｔ，“ＣＣＤ Ａｒｒａｙｓ， Ｃａｍｅｒａｓ ａｎｄ Ｄｉｓｐｌａｙｓ” ，ＳＰＩＥ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｐｒｅｓｓ， １９９８
【非特許文献２】
Ｍａｎｏｊ ＡｇｇａｒｗａｌとＮａｒｅｎｄｒａ Ａｈｕｊａ，“Ｓｐｌｉｔ Ａｐｅｒｔｕｒｅ Ｉｍａｇｉｎｇ ｆｏｒ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＣＶ ２００１， ２００１
【発明が解決しようとする課題】
カメラの最適な電荷移動効率（ＣＴＥ：Ｃｈａｒｇｅ Ｔｒａｎｓｆｅｒ Ｅｆｆｉｃｉｅｎｃｙ）を変えることなく、複数のセンサおよびミラーを用いることなく、または画像解像度に影響を及ぼすことなく、従来の低いビット深度の電子カメラ（たとえば、ＣＣＤセンサ装置を有している）を広いダイナミックレンジの画像化装置に変換できることが好ましい。
【００１１】
【課題を解決するための手段】
本発明は、上記のような１つまたはそれ以上の問題点を克服することを目的とする。簡潔に要約すると、本発明は、デジタルカメラにおいてイメージセンサにより捕捉された複数の制限されたダイナミックレンジの画像からシーンの拡張されたダイナミックレンジの画像を得る方法である。この方法は：（ａ）シーンから送られる光にイメージセンサを露出することによってシーンの画像の画素から構成される複数のデジタル画像を捕捉する段階であって、イメージセンサにおける光透過率は調整可能である、段階；（ｂ）少なくとも一部の画像の画素のために画像の制限されたダイナミックレンジより大きい照度レベルに対して各々の画像を捕捉した後に各々の画像を評価する段階；（ｃ）制限されたダイナミックレンジより大きい各々の画像の評価に基づいて、異なるシーンの輝度範囲を有する次のデジタル画像を得るためにイメージセンサにおける光透過率を調整する段階；（ｄ）複数のデジタル画像を記憶する段階；および（ｅ）何れかのデジタル画像より大きい拡張されたダイナミックレンジを有する合成画像を生成するために記憶されたデジタル画像を処理する段階；から構成される。
【００１２】
本発明の他の特徴は、デジタルカメラにおけるイメージセンサにより捕捉されるシーンの低いビット深度の画像からシーンの高いビット深度の画像を得ることであって、低いビット深度の画像はまた、狭いダイナミックレンジの画像から構成されることである。この方法は：（ａ）シーンから送られる光にイメージセンサを露出することによってシーンの画像の画素から構成される複数の低いビット深度のデジタル画像を捕捉する段階であって、イメージセンサにおける光透過率は少なくとも画像の１つに対して可変的に減衰される、段階；（ｂ）少なくとも一部の画像の画素のために画像の制限されたダイナミックレンジより大きい照度レベルに対して各々の画像を捕捉した後に各々の画像を評価する段階；（ｃ）制限されたダイナミックレンジより大きい各々の画像の評価に基づいて、異なるシーンの輝度範囲を有する次のデジタル画像を得るために、イメージセンサにおいて光透過率を調整する段階；（ｄ）各々の画像についての減衰の度合いに対応する各々の画像についての減衰係数を計算する段階；（ｅ）低いビット深度の画像から１つまたはそれ以上の高いビット深度の画像の再構成のためのデータを記憶する段階であって、前記データは複数のデジタル画像と減衰係数とを含む、段階；および（ｆ）何れのデジタル画像より大きい拡張されたダイナミックレンジを有する合成画像を生成するために記憶されたデータを処理する段階；から構成される。
【００１３】
本発明の優位性は、カメラの最適な電荷移動効率（ＣＴＥ：Ｃｈａｒｇｅ Ｔｒａｎｓｆｅｒ Ｅｆｆｉｃｉｅｎｃｙ）を変えることなく、複数のセンサおよびミラーを用いる必要がなく、または画像の解像度に影響を及ぼすことなく、低いビット深度の電子カメラ（たとえば、電子センサ装置を有している）を、広いダイナミックレンジの画像化装置に変換する能力を有することである。さらに、本発明の優位性は、異なるシーンの輝度範囲を得るために、一連の画像のためにイメージセンサにおいて光透過率を変化させることにより、画像のために減衰係数を計算することが可能であることである。減衰係数は、画像のビット深度をさらに特徴付けるための、画像データ（低いビット深度のデータ）と共に用いることが可能である付加的な画像情報を表し、それ故、低いビット深度の装置から高いビット深度の画像を生成することを可能にする。
【００１４】
これらの、本発明の側面、目的、特徴および優位性は、以下に種々の図を参照しながら詳述する本発明の実施形態および特許請求の範囲の内容から、さらに明確に理解され、評価されることであろう。
【００１５】
【発明の実施の形態】
電子センサを用いる画像化装置は周知であるため、以下の説明は、特に、本発明にしたがった装置の一部を形成する要素に焦点を当てることにする。以下で具体的に図により示し、または説明により明らかにする要素は、当該技術分野でよく知られたものの中から選択することが可能である。以下に説明する実施形態の特定の特徴は、ソフトウェアの中に盛り込むことが可能である。以下の内容において本発明にしたがって詳述するようなシステムを考慮すると、本明細書で特に示さない、説明しないまたは提案しないソフトウェアであって、本発明の実施のために有用であるソフトウェアは、従来のものであって、当業者が熟知しているものとすることができる。
【００１６】
本発明にしたがった実施形態において、カメラの最適な電荷移動効率（ＣＴＥ：Ｃｈａｒｇｅ Ｔｒａｎｓｆｅｒ Ｅｆｆｉｃｉｅｎｃｙ）を変えることなく、可変減衰器として知られる装置と特別の付加的電子回路をカメラシステムに取り付けることにより、そしてデジタル画像処理方法を取得される画像に適用することにより、従来の低いビット深度の電子カメラ（たとえば、ＣＣＤセンサ装置を有している）を広いダイナミックレンジの画像化装置に変換するための方法および装置について説明する。光透過率を変化させる光学装置は市販されている。Ｍｅａｄｏｗｌａｒｋ Ｏｐｔｉｃｓは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｖａｒｉａｂｌｅ Ａｔｔｅｎｕａｔｏｒｓ（液晶可変減衰器）として知られる各種装置を製造している。液晶可変減衰器は、光強度の連続的制御をリアルタイムに行うことが可能である。半波リターダンスを達成するために正確な電圧を液晶から印加することにより、光透過率を最大にすることが可能である。光透過率は、印加する電圧の振幅が増加するにつれ、減少する。
【００１７】
広いダイナミックレンジの画像を生成するために用いられる画像コレクションを捕捉する何れかの単一センサによる方法は、カメラにおける不所望の動作、または画像コレクションが捕捉されるときの不所望のシーンの影響を必ず受ける。したがって、本発明は、さらに、付加的な液晶可変減衰器を一体化させた単一ＣＣＤセンサカメラを用いて画像コレクションを捕捉することにより、広いダイナミックレンジの画像を生成する方法であって、この方法にしたがったそれに続く処理は画像コレクションにおける不所望の動作を補正する、方法について説明する。
【００１８】
さらに、本発明は、広いダイナミックレンジの画像（低いビット深度の画像）を生成するために低いビット深度を用い、それと同時に、高いビット深度の画像を生成するために用いられる再生可能な情報を生成する方法について教示する。
【００１９】
図１Ａ、１Ｂおよび２は、本発明にしたがった広いダイナミックレンジの画像成分において用いられる画像を生成するために有用なカメラシステムの斜視図を示している。これらの図の各々は、カメラ本体１０４、レンズ１０２、液晶可変減衰器１００、画像捕捉スイッチ３１８および減衰器電圧のためのマニュアル制御器３２２を示している。レンズ１０２は、カメラ本体１０４（たとえば、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）内部にあるイメージセンサ３０８上に画像の焦点を合わせ、そして捕捉された画像は、図２に示すように、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）表示装置３１６に表示される。カメラの操作モードを選択するためにメニュスクリーン２１０とメニュセレクタ２０６が備えられている。
【００２０】
本発明のカメラの第２の実施形態は、図１Ｂに示すように、カメラの光学距離内に配置される取り付け部品として可変減衰器１００の様子を示している。その取り付けを可能にするために、可変減衰器１００は、レンズ１０２のレンズバレルの内側の対応するねじ部１００Ｂに嵌め込むためのねじ部１００Ａを備えている。バヨネット式取り付けのような、他の取り付けの形態を用いることが可能である。この取り付けの目的は、従来のカメラと一体的に可変減衰器を用いることを可能にすることである。しかしながら、従来のカメラは、可変減衰器のための電圧制御回路を何ら備えていない。それ故、この第２の実施形態においては、たとえば、カメラ本体１０４の底板における接続部に取り付けることにより、カメラに取り付けられる電源アタッチメント１０６にマニュアル制御器３２２を設置している。可変減衰器１００および電源アタッチメント１０６は、電力を供給するためのケーブル１０８により接続され、両者間の信号を制御する。（ケーブル１０８は、少なくともその接続の可変減衰器端部において、ケーブルジャック（図示せず）に接続され、それ故、可変減衰器１００はレンズの方にねじ込められ、且つケーブル１０８に接続することが可能である。）
ブロック図３を参照するに、広いダイナミックレンジの合成のための画像を生成するために用いられるカメラシステムを、一般に、参照番号３００で表す。カメラシステム３００は、カメラシステムの全ての要素がしっかりと固定されるように、ケースとシャシを備えるカメラ本体１０４から構成される。被写体３０１からの光は液晶可変減衰器１００に入り、次いで、液晶可変減衰器１００から出る光は、ＣＣＤセンサ３０８におけるアパチャ３０６を通ってレンズ１０２により集光され、焦点を合わせられる。ＣＣＤセンサ３０８において、光は電気信号に変換され、増幅器３１０に送られる。増幅器３１０により増幅された電気信号は、アナログデジタル変換器３１２によりデジタル化される。次いで、デジタル化された信号は、デジタルプロセッサ３１４において処理され、表示または記憶のために供せられる。
【００２１】
デジタルプロセッサ３１４からの信号は、次いで、ＬＥＤ表示装置３１６を励起するために利用され、ＣＣＤセンサ３０８の入力面において生成される画像の複写としての画像を生成する。通常は、シーンにおける明るい被写体は、対応するＣＣＤセンサの一部を飽和にする原因になり、それ故、ＬＥＤ表示装置３１６の表示面上に表れる画像において、何らテクスチャの詳細がないか、またはあってもごく僅かであるような白色領域を生成する。少なくとも飽和領域からの輝度の情報は、デジタルプロセッサ３１４により、自動制御器３２４により処理され、液晶可変減衰器１００にゲート３２８を通って適用される電圧変化３３３に変換される。または、マニュアル制御器３２２が、ゲートを通って液晶可変減衰器１００に適用される電圧変化３３３を生成することが可能である。
【００２２】
図４を参照するに、液晶可変減衰器１００は、２つの交差した線形偏光子、すなわち入口の偏光子４０２と出口の偏光子４０６の間で動作する液晶可変リーダ４０４から構成される。そのような液晶可変減衰器は、米国コロラド州フレデリック市のＭｅａｄｏｗｌａｒｋ Ｏｐｔｉｃｓ社から市販されている。交差する偏光子を用いて、図４に示すように、液晶セルの半波リターダンス（ｒｅｔａｒｄａｎｃｅ）を達成するためにリターダ４０４に正確な電圧を適用することにより、光透過率を最大にする。偏光されていない入射する入力光ビーム４００は入口の偏光子４０２により偏光される。リターダ４０４の半波動作は、入射の偏光方向を９０度回転させ、それ故、光は出口の偏光子４０６により通過可能である。最小透過率は、ゼロ波においてリターダが動作することに伴って、得られる。
【００２３】
印加電圧３３３が増加する（半波リターダンスからゼロ波リターダンスになる）につれて、透過率は減少する。交差するように偏光子を構成することに対する、透過率Ｔとリターダンスδ（度における）の関係は、次式で与えられる
Ｔ（δ）＝（１／２）（１−ｃｏｓ（δ））Ｔ_ｍａｘ （１）
ここで、Ｔ_ｍａｘは、リターダンスが正確に半波（または１８０度）であるときの最大透過率である。リターダンスδ（度において）は、印加される電圧Ｖの関数であり、Ｖ＝ｆ（Ｖ）で表され、ここで、関数ｆは液晶可変減衰器１００の仕様により導き出され、または実験の較正により決定される。この関係を用いると、式（１）は次のように書き換えられる。
【００２４】
Ｔ（δ）＝（１／２）（１−ｃｏｓ（ｆ（Ｖ）））Ｔ_ｍａｘ （２）
次に、透過率減衰係数ΚをΚ＝Ｔ（δ）／Ｔ_ｍａｘと定義する。式（２）から、透過率減衰係数Κはνの関数であり、次式のように表すことが可能である。
【００２５】
Κ（ν）＝（１／２）（１−ｃｏｓ（ｆ（Ｖ））） （３）
ここで定義された透過率減衰係数Κ（ν）は、後に、高いビット深度の画像を生成するために有用な情報の回復の仕方について説明する実施形態において用いることとする。Κ（ν）の値を、オフラインで前もって計算し、且つプロセッサ３１４におけるルックアップテーブル（ＬＵＴ）に記憶する、またはプロセッサ３１４においてリアルタイムに計算することが可能である。
【００２６】
最大光透過率は、用いられる偏光子４０２および４０６と同様に液晶可変リターダ４０４の特性に依存する。図４に示したような構成のシステムを用いて、非偏光光源４００は、出口の偏光子４０６において、偏光されたビーム４０８となる。カメラシステム３００は、モードセレクタ２０６により選択されるような異なるモードにおいて動作される。マニュアルの制御モードにおいては、電圧調整がマニュアル制御器３２２からゲート３２８に送られ、表示画像において飽和状態の部分が存在する場合は、ユーザがマニュアル制御器３２２を動作し、制御することができる。したがって、液晶可変減衰器１００は、低光透過率を生成し、それ故、ＣＣＤセンサ３０８が生成することが可能である飽和量を減少させる。画像捕捉スイッチ３１８をオフにすることにより、画像は、ゲート３２６を通って記憶器３２０に捕捉され、記憶されることが可能である。
【００２７】
マニュアルによる制御モードにおいて、ユーザは、シーンの照度レベルに応じて、広いダイナミックレンジの画像の合成のために必要な数の画像を得ることが可能である。換言すれば、任意のダイナミックレンジの解像度を得ることが可能である。たとえば、光減衰器１００の光透過率Ｔ_１（δ）が適切なレベルに設定されるようにマニュアル制御器３２２を調整することにより、範囲Ｂ_１の飽和領域を範囲Ｂ_２に縮小することが可能であり、ここで、Ｂ_２＜Ｂ_１である。対応する画像Ｉ_１はその減衰レベルのために記憶される。さらに、マニュアル制御器３２２について二度目の調整がなされ、それにより、光減衰器１００の光透過率Ｔ_２（δ）は、表示装置３１６におけるスポットがＢ_３に縮小するようにする。対応する画像Ｉ_２はその輝度レベルのために記憶される。このプロセスをＮ個の減衰レベルのために繰り返すことが可能である。
【００２８】
自動制御モードにおいて、デジタルプロセッサ３１４が飽和を検出して自動制御器３２４に対してライン３３０上に信号を供給するとき、自動制御器３２４はゲート３２８に送られる電圧調整を生成する。したがって、光減衰器１００はより低い光透過率を生成し、それにより、ＣＣＤセンサが生成する飽和量を減少させる。画像を、自動制御器３２４からの信号により、ゲートを通って記憶器３２０に記憶することが可能である。デジタルプロセッサ３１４による飽和の検出および自動制御器３２４により実行される自動制御プロセスについては、以下で説明する。
【００２９】
自動制御モードにおいて、デジタルプロセッサ３１４は、多くの画素が所定の閾値Ｔ_Ｖより大きい強度レベルをもつかどうかおよびどのようにもつかを決定するために、画像をチェックする。たとえば、Ｔ_Ｖは２５４．０とする。強度レベルがＴ_Ｖを上回るような画素があり、且つ比Ｒが所定の閾値Ｔ_Ｎより大きい場合であって、Ｒが画像の画素の総数に対するＴ_Ｖを上回る強度レベルをもつ画素数としての比である場合は、デジタルプロセッサ３１４は、ライン３３０を通って自動制御器３２４に適用されるゼロでない値の信号を生成する。そうでない場合は、デジタルプロセッサ３１４は、自動制御器３２４に適用されるゼロである信号を生成する。たとえば、閾値Ｔ_Ｎは０．０１とする。ゼロでない信号を受け取るとき、自動制御器３２４は、δ_Ｖだけ適合電圧Ｖを増加させる。適合電圧Ｖの初期値はＶ_ｍｉｎである。Ｖの許容最大値はＶ_ｍａｘである。どれくらいの数の減衰レベルが所望されるかおよび減衰器の仕様に基づいて、δ_Ｖの値を容易に決定することが可能である。たとえば、δ_Ｖの値は０．５とする。Ｖ_ｍｉｎとＶ_ｍａｘの両者は、減衰器の仕様により決定される値である。たとえば、Ｖ_ｍｉｎは２Ｖ、Ｖ_ｍａｘは７Ｖとする。
【００３０】
図７は、操作の自動制御モードのためのプロセスを示している。初期状態において、カメラは画像を捕捉し（段階７０２）、調整電圧ＶをＶ_ｍｉｎに設定する（段階７０４）。段階７０６において、デジタルプロセッサ３１４は、画像に飽和領域があるかどうかを決定するために画像画素の強度をチェックし、Ｒが画像の総画素数に対するＴ_Ｖを上回る強度レベルをもつ画素の数の上記の比である場合、Ｒ＞Ｔ_Ｎであるかどうかを決定するために比Ｒをチェックする。その答えが‘いいえ’である場合、デジタルプロセッサ３１４は画像を記憶器３２０に保存し、プロセスは段階７２２に進められる。その答えが‘はい’である場合、デジタルプロセッサ３１４は画像を記憶器３２０に保存し、調整電圧Ｖをδ_Ｖの量だけ増加させる（段階７１２）。段階７１４において、デジタルプロセッサ３１４は自動制御器３２４からのフィードバック３３２をチェックし、調整電圧ＶがＶ_ｍａｘ未満であるかどうかを判断する。その答えが‘はい’である場合、デジタルプロセッサ３１４は、調整電圧Ｖをゲート３２８に送るように自動制御器３２４に命令する。次いで、他の画像が捕捉され、そのプロセスは繰り返される。その答えが‘いいえ’である場合、そのプロセスは停止する。カメラ３００における記憶器３２０に収集された画像は、図８に示すような画像処理システムにおいてアライメントおよび合成のためにさらに処理される。
【００３１】
図８を参照するに、デジタル画像記憶器３２０からのデジタル画像は、プログラム可能なパーソナルコンピュータ、またはＳｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ社のスパークワークステーションのようなデジタル画像処理のためのワークステーション等の画像プロセッサ８０２に供給される。画像プロセッサ８０２をＣＲＴ表示装置８０４にキーボード８０６およびマウス８０８のようなオペレータインタフェースを接続することが可能である。また、コンピュータ読み取り可能記憶媒体８０７に画像プロセッサ８０２を接続することが可能である。画像プロセッサ８０２は処理されたデジタル画像を出力装置８０９に送る。出力装置８０９は、ハードコピーのプリンタ、長期画像保存装置、他のプロセッサへの接続ケーブルまたはたとえばインターネットに接続される画像通信装置等から構成されることが可能である。画像プロセッサ８０２は、以下で説明するような、画像のアライメントおよび合成のプロセスを実施するためのソフトウェアを含んでいる。
【００３２】
上記のように、広いダイナミックレンジの画像を生成するために複数の画像を捕捉する好ましいシステムは、同時に全ての画像を捕捉することはできないので、捕捉プロセスの間のカメラまたはシーンにおける全ての不所望の動作は、画像のアライメントミスの原因になる。広いダイナミックレンジの正確な生成は、カメラが安定していて、動くことがなく、そして画像コレクションの捕捉の間にシーンの動作がないことと、仮定される。カメラが三脚またはモノポッドの上に置かれる場合、または静止している物体の上にあるいは静止している物体に接触して置かれる場合、安定性は保持されているように思われる。しかしながら、撮影者が手でカメラを持っている間に画像コレクションが捕捉された場合、手による僅かな振動または動作により、広いダイナミックレンジの画像の生成に悪影響を及ぼす安定化に関するエラーが導入され得る。
【００３３】
一連の画像からあらゆる不所望の動作を除去するプロセスを、画像安定化と呼ぶ。システムによっては、捕捉または走査のときに不所望の動作を補正するために光学的、機械的または他の物理的手段を用いている。しかしながら、これらのシステムは、しばしば、複雑且つ高価である。一般的なデジタル画像シーケンスに対して安定化を提供するために、当該技術分野において、いくつかのデジタル画像処理方法が開発されてきた。
【００３４】
多くのデジタル画像処理方法は、シーケンスにおける連続フレーム間の、ズーム、変換、表記法等の１つまたはそれ以上のパラメータを評価するために、特定のカメラ動作モデルを用いている。これらのパラメータは、２つの連続フレームにおける画像ポイント間の一致性を表す運動ベクトル場から計算される。結果として得られるパラメータは、次いで、スムーズな動作を提供するために、数多くのフレームに亘ってフィルタリングされる。そのようなシステムの例は、”Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ”と題され、１９９７年５月１３日に発行された、Ｂｕｒｔ等による米国特許第５，６２９，９８８号明細書に開示されている。これらのシステムにおける基本的な仮定は、全体的な変換が隣接するフレーム間の動きを左右することである。複数の被写体が独立した運動の軌跡をもって運動するような、著しい局所的な動作が存在する場合、間違った全体的な動作パラメータの計算によって、これらの方法は失敗に終わる、さらに、露出を変化させて捕捉される画像コレクションにこれらの方法を適用することは、画像が全体的な強度において著しく異なるため、困難である。画像のフーリエ変換の位相に含まれる情報のみが類似している。
【００３５】
不所望の動作を取り除くための他のデジタル画像処理方法は、連続フレームを正確に位置合わせするために、位相補正として知られる技術を利用する。そのような方法の例は、Ｅｒｏｇｌｕ等（”Ａ ｆａｓｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｓｕｂｐｉｘｅｌ ａｃｃｕｒａｃｙｉｍａｇｅ ｓｔａｂｉｌｉｚａｔｉｏｎ ｆｏｒ ｄｉｇｉｔａｌ ｆｉｌｍ ａｎｄ ｖｉｄｅｏ”， Ｐｒｏｃ． ＳＰＩＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ． ３３０９， ｐｐ．７８６−７９７， １９９８）により報告された。これらの方法は、補正手法は画像のフーリエ変換の位相に含まれる情報を比較するだけであるため、広いダイナミックレンジの画像を生成するために用いられる画像の収集の安定化により適切である。
【００３６】
図５は、上記マニュアルによる制御モードと自動制御モードを一体化するシステムのフローチャートであって、画像のアライメントと合成のプロセスを含む、フローチャートを示している。このシステムは、画像コレクションの捕捉、記憶およびアライメントを行うことが可能であり、各々の画像は別々の輝度レベルに対応している。このシステムにおいて、広いダイナミックレンジのカメラ３００は、シーンの画像を捕捉する（段階５００）ために用いられる。この捕捉された画像は、第１の輝度レベルに対応しており、メモリに記憶される（段階５０２）。クエリー５０４は、十分な画像が広いダイナミックレンジの画像を生成するために捕捉されたかどうか、に関してなされたものである。クエリー５０４に対する否定応答は、たとえば、自動制御器３２４またはマニュアル制御器３２２のユーザによる調整により、光減衰の度合いが変化された（段階５０６）ことを示す。異なる輝度レベルに対応する画像を捕捉し（段階５００）、記憶する（段階５０２）プロセスは、クエリー５０４に対して肯定的な応答が得られるまで、繰り返される。クエリー５０４に対する肯定応答は、全ての画像が捕捉され且つ記憶され、そしてシステムが記憶された画像を位置合わせする段階５０８に進むことを示している。マニュアルの制御モードにおいて、段階５０４と段階５０６は、マニュアルの電圧調整とユーザによる眼で見る結果の検査を含む処理を示している。自動制御モードにおいて、段階５０４と段階５０６は、上記のように、自動画像飽和試験、自動電圧調整、自動電圧限界試験等を含む。また、段階５０２は、記憶器３２０に画像を記憶する。
【００３７】
ここで、図６を参照するに、記憶された画像の位置合わせをする段階についての本発明の実施形態について示している。記憶された画像６００を位置合わせする段階５０８の間、Ｉ_ｊとＩ_ｊ＋１の間の変換差６０２Ｔ_{ｊ，ｊ＋１}（水平および垂直変換に対応する２つの成分ベクトル）は位相補正（上記のＥｒｏｇｌｕによる参考文献、またはＣ．ＫｕｇｌｉｎとＤ．Ｈｉｎｅｓによる参考文献”Ｔｈｅ Ｐｈａｓｅ Ｃｏｒｒｅｃｔｉｏｎ Ｉｍａｇｅ Ａｌｉｇｎｍｅｎｔ Ｍｅｔｈｏｄ”， Ｐｒｏｃ． １９７５ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｙｂｅｒｎｅｔｉｃｓ ａｎｄ Ｓｏｃｉｅｔｙ， ｐｐ．１６３−１６５， １９７５に記載されているように）により計算され、ここで、ｊは１≦ｊ≦Ｎ−１であるような整数値であって、Ｎは記憶された画像の総数である。カウンタｉは初期的には１であり（段階６０４）、画像Ｉ_ｊ＋１はシフトし（段階６０６）、または
【００３８】
【外１】

だけ変換される。このシフトは、変換モデルにより認識される画像Ｉ_ｊ＋１の不所望など動作を補正する。クエリー６０８に対する否定応答は、ｉが１つ増加され（段階６１０）、プロセスが段階６０６で継続することを示している。クエリー６０８に対する肯定応答は、不所望の動作に対して全ての画像が補正され（段階６１２）、段階５０６が完了したことを示している。
【００３９】
図９は、マニュアルまたは自動光減衰調整の前に得られた第１画像９０２、第１のマニュアルまたは自動光減衰調整の後に得られた第２画像９０４、第２のマニュアルまたは自動光減衰調整の後に得られた第３画像９０６を示している。図９は、例としての画像のセットを示している。セットとしての画像数は、理論的には、あらゆる正の整数を取ることが可能である。第１画像９０２は飽和領域Ｂ_１を有している（９２２）。第２画像９０４は飽和領域Ｂ_２を有している（９２４）（ここで、Ｂ_２＜Ｂ_１）。第３画像９０６は飽和領域を有していない。図９は、画像９０２内の画素９０８、画像９０４内の画素９１０および画像９０６内の画素９１２を示している。画素９０８、９１０および９１２は、上記の画像のアライメント段階において位置合わせがなされる。図９は、画素９０８、９１０および９１２が異なる照度レベルを反映していることを示している。画素９０８、９１０および９１２は、位置９４４において合成画像９４２についての値を得るための合成において用いられる。
【００４０】
同姓画像における画素についての値を得るプロセスは、確固たる統計的評価として公式化することが可能である（Ｍｉｔｒａ ＫａｉｓｅｒによるＨａｎｄｂｏｏｋ ｆｏｒ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， １９９３を参照されたい）。Ｎ個の位置合わせされる画像から収集される画素のセットを｛ｐ_ｉ｝で表し、ここで、ｉ∈［１，ΛＮ］である。セット｛ｐ_ｉ｝に対応する合成画像における合成画素の評価をｐ_ｅｓｔで表す。ｐ_ｅｓｔの計算は、単純に次式のようになる。
【００４１】
【数１】

ここで、０＜ｊ_１＋ｊ_２＜Ｎという条件で、ｊ_１∈［１，ΛＮ］、ｊ_２∈［１，ΛＮ］である。この式は、異常値（たとえば、飽和画素または暗い画素）を排除することにより確固たる評価を与える。この式はまた、非対称の排除境界、ｊ_１およびｊ_２を選択することにおいて自由度を提供する。模範的な選択は、ｊ_１＝１とｊ_２＝１である。
【００４２】
上記の確固たる評価プロセスは、図５における段階５１０を終了するために、収集された画像における全ての画素に適用される。図１１（Ａ）に示す例としてのシーンの強度分布に対して、本発明で用いる合成画像の強度分布のヒストグラムは、０（１１５２）から２５５（１１５８）の領域をもつ図１１（Ｃ）に示す曲線１１５６のようであると、予測される。強度分布１１５６は、オリジナルのシーンの強度分布曲線１１１６に類似する形状をもつことに留意されたい（図１１（Ａ））。しかしながら、図から理解できるように、強度分解能は１０２４から２５６のレベルに減少されている。しかしながら、それとは対照的に、本発明により提供されるダイナミックレンジ補正を用いない場合、強度レベルのヒストグラムは図１１（Ｂ）に示すようになり、著しい飽和が明らかとなる。
【００４３】
図１０は、低いビット深度の装置から高いビット深度の画像を生成するために用いられる再生可能な情報を生成するための、本発明の好適な実施形態にしたがったフローチャートを示している。その初期状態であって、段階１００２において、カメラは第１画像を捕捉する。段階１００６において、デジタルプロセッサ３１４（自動モード）またはユーザ（マニュアルモード）は、画像に飽和画素があるかどうか認識するように質問する。その応答が否定である場合、画像は保存され、そのプロセスは終了する（段階１００７）。その応答が肯定である場合は、そのプロセスは、画像が第１画像であるかどうかを決定する、段階１００８に進められる。画像が第１画像である場合、デジタルプロセッサ３１４は、第１ファイルの飽和していない画素の位置と強度値を記憶する。画像が第１画像以外の画像であるか、または段階１００９が終了した後である場合は、飽和画素の位置は第２ファイルに一時的に記憶される（段階１０１０）。減衰器電圧は、段階１０１１に示すように、自動的に（図３における自動制御器３２４により）またはマニュアル的に（図３におけるマニュアル制御器３２２により）調整される。電圧限界の調整およびチェックは、上記のように実行される。
【００４４】
減衰器電圧が調整された後、段階１０１６に示すように、次の画像が捕捉され、この新しい画像はカレント画像となる。段階１０１８において、デジタルプロセッサ３１４は、前の画像においては飽和していたがカレント画像においては飽和していない強度レベルをもつ画素のみの第１ファイルにおける位置および強度レベルを記憶する。これらの画素は“デサチュレーテド（ｄｅ−ｓａｔｕｒａｔｅｄ）”画素と呼ばれる。デジタルプロセッサ３１４はまた、式（３）で定義される関連する透過率減衰係数К（Ｖ）を記憶する。段階１０１８を終了するとき、このプロセスは、デジタルプロセッサ３１４（自動モード）またはユーザ（マニュアルモード）がカレント画像において何らかの飽和画素があるかどうかを認識するためにチェックする段階１００６に、一巡により戻る。上記一連の段階が、それから繰り返される。
【００４５】
このプロセスについて、図９に例として示した画像を用いて、さらに説明する。このプロセスをさらによく理解するために、いくつかの数式の項を定義することは有用である。Ｉ_ｉは捕捉された画像であって、飽和された画素を有することが可能な画素であり、ｉ∈｛１，Λ，Ｍ｝であって、Ｍは捕捉された画像の総数でＭ≧１である。全ての捕捉された画像は、同じ数Ｎの画素を含むと仮定され、特定の画像Ｉ_ｉにおける各々の画素はインデックスｎで識別され、ｎ∈｛１，Λ，Ｎ｝である。全ての画像は相互に位置合わせがなされ、それ故、特定の値の画素インデックスｎは、Ｉ_ｉに依存しない画素の位置を参照する。画素ｎに関連する直交座標は（ｘ_ｎ，ｙ_ｎ）で表され、画像Ｉ_ｉにおけるこの画素に関連する強度レベルはＰ_ｉ（ｘ_ｎ，ｙ_ｎ）で表される。項
【００４６】
【外２】

は、画像Ｉ_ｉにおける飽和した画素に対応する画素インデックスのサブセットを表す。添え字ｊ∈｛１，Λ，Ｎ_ｉ｝はこのサブセットにおける画素インデックスｎ_ｉｊに関連しており、Ｎ_ｉ＞０は画像Ｉ_ｉにおける飽和した画素の総数である。最終画像Ｉ_Ｍは飽和画素を全く含まないと仮定される。したがって、この画像に対しては、Ｓ_Ｍは空集合、すなわちＳ_Ｍ＝ＮＵＬＬとなる。最後の仮定は必ずしも常に適用されるとは限らないが、透過率が非常に低い値になるまで減衰器を連続的に調節することが可能であるため、実際にそれは常に達成することが可能である。何れにしても、その仮定は、ここで説明した全ての方法に対しては重要ではない。
【００４７】
ここで、図９を参照するに、例として示す飽和領域を有する画像は、Ｉ_１で示す第１画像９０２とＩ_２で示す第２画像９０４である。図９に例として示す最後の画像は第３画像９０６である。例として示す飽和領域のセットは、Ｓ_１で示す領域９２２とＳ_２で示す領域９２４である。前のパラグラフで述べた仮定にしたがうと、Ｓ_３＝ＮＵＬＬとなる。
【００４８】
減衰器の制御電圧Ｖの調整且つ新しいカレント画像、すなわちＩ_ｉ＋１を捕捉した（すなわち、それぞれ、図１０における段階１０１１および段階１０１６）後、デジタルプロセッサ３１４は、第２ファイルに一時的に記憶された画像Ｉ_ｉにおける飽和画素の位置を読み出す。段階１０１８において、位置
【００４９】
【外３】

における画素ｎｉｊが新しいイカレンと画像においてデサチュレーテドになっているかどうかを認識するためにチェックする。この画素において デサチュレーション（ｄｅ−ｓａｔｕｒａｔｉｏｎ）が起こっている場合、新しい強度レベル
【００５０】
【外４】

および位置
【００５１】
【外５】

が、関連する減衰係数К_ｉ＋１（Ｖ）の値と共に第１ファイルに記憶される。
デサチュレーテド画素に関する情報を記憶するプロセスは、減衰器の制御電圧の第１調整の後に開始し、最終調整がなされるまで継続する。
【００５２】
図１０に示したプロセスのフローチャートに関連して、図９の例を再び参照するに、第１画像９０２の飽和していない画素の位置および強度は第１記憶ファイルに記憶される（段階１００９）。領域９２２における飽和画素の位置は第２記憶ファイルに一時的に記憶される（段階１０１０）。第２画像９０４は、減衰記の制御電圧の第１調整の後に捕捉される（段階１０１６）。デジタルプロセッサ３１４は、次いで、第２の一時的記憶ファイルから、第１画像９０２の領域９２２における飽和画素の位置を読み出す。これらの位置の画素が第２画像９０４においてデサチュレーテドになったかどうかを認識するための決定が、プロセッサにより自動的にまたはユーザによりマニュアル的になされる。次いで、第１記憶ファイルは、新しいデサチュレーテド画素の位置および強度を伴って、アップデートされる（段階１０１８）。たとえば、画素９０８は第１画素の飽和領域に位置する。この画素は、第２画像９０４のデサチュレーテド領域にある第２画像９０４における画素９１０に対応する。領域９０５における全ての画素の強度および位置は、透過率減衰係数К_２（Ｖ）と共に第１記憶ファイルに記憶される。このプロセスは、次いで、段階１００６に、一巡により戻る。第２の一時的記憶ファイルに記憶された情報は、第２画像９０４における領域９２４の飽和画素の位置により置換される（段階１０１０）。減衰器の制御電圧の第２および最終調整がなされ（段階１０１１）、次いで、第３画像９０６の捕捉が続いてなされる（段階１０１６）。領域９２４における全ての画素が、この例においては、新たにデサチュレーテドになったため、第１記憶ファイルは、透過率減衰係数К_３（Ｖ）と共にこの領域における全ての強度および位置を含めるために、アップデートされる。第３画像９０６においては、飽和画素は全くないため、段階１００６に一巡して戻った後、このプロセスは終了する（団塊００７）。減衰器の制御電圧の各々の調整、すなわちデサチュレーテド画素の各々の新しいセットについて記憶するために１つの減衰係数のみが必要であることは、評価されることであろう。
【００５３】
式（４）は、擬似コードの一部がこのプロセスを説明することを表している。式（４）において、ｉは画像インデックス、ｎは画素インデックス、（ｘ_ｎ，ｙ_ｎ）は画素ｎの直交座標、Ｐ_ｉ（ｘ_ｎ，ｙ_ｎ）は画素ｎに関連する画像Ｉ_ｉにおける強度、そしてｎ_ｉｊは画像Ｉ_ｉにおけるｊ番目の飽和画素に関連するインデックスである。
【００５４】
【数２】

本発明の他の特徴は、広いダイナミックレンジの画像を生成するために、図１、２および３に示したデジタルカメラのような低いビット深度を用いることであり、同時に、高いビット深度の画像を付加的に生成するために用いることが可能である回復可能な情報を生成することである。この特徴は、画像のビット深度をさらに特徴付けるために画像データ（低いビット深度のデータ）と共に用いることが可能である付加的な画像情報を減衰係数が表すような観察を前提としている。
【００５５】
式（４）において記憶された情報が得られることから、それは、記憶されたデータを用いて、高いビット深度の画像を生成するための簡単なプロセスである。ファイルにおいて例として示したデータフォーマットは３つの要素、すなわち、直交座標における画素の位置、画素強度および減衰係数を有する各々の行についてのものであることに留意されたい。便宜上、各々の行についてのファイルにおける強度データはＰ、位置データはＸ、および減衰係数はКで表す。また、再構成された高いビット深度の画像のための新しい強度データはＰ_ＨＩＧＨで表す。簡単な再構成は次式により表される。
【００５６】
【数３】

ここで、К_ｎは、式（４）に示したように１またはК（Ｖ）である。
【００５７】
本発明の好適な実施形態と共に説明した高いビット深度の画像を生成するために用いられる回復可能な情報を生成する方法は、デジタルカメラのＣＣＤセンサの積算時間を制御することのような他のタイプの広いダイナミックレンジの技術のために修正することが可能である（”Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃａｍｅｒａ”と題された、１９９２年９月１日に発行されたＲａｎ Ｇｉｎｏｓｅｒ等による米国特許第５，１４４，４４２号明細書を参照されたい）。この場合、透過率減衰係数は時間の関数すなわちК（ｔ）である。
【図面の簡単な説明】
【図１】図１Ａおよび１Ｂは、それぞれ、本発明にしたがった、広いダイナミックレンジの画像合成に用いる画像を生成するためのカメラの第１実施形態および第２実施形態を示す斜視図である。
【図２】図１Ａおよび１Ｂに示すカメラの後ろ側からみた斜視図である。
【図３】図１Ａおよび１Ｂに示すカメラの関連構成要素を示すブロック図である。
【図４】図１Ａおよび１Ｂに示すカメラに用いられる液晶可変減衰器の構成を示す図である。
【図５】本発明にしたがった拡張された領域の構成要素についての好適な実施形態を示す図である。
【図６】捕捉データにおける不所望の動作を補正するための、図５に示した画像アライメント段階の好適な実施形態を示す図である。
【図７】光減衰を制御するための、図５に示した自動調整段階の好適な実施形態を示す図である。
【図８】図５および図６に示したアライメント補正を実行するための画像処理システムを示す図である。
【図９】異なる照度レベルにある収集画像と合成画像を示す図である。
【図１０】低いビット深度の捕捉装置から高いビット深度の画像を生成して再生可能な情報を生成するための好適な実施形態を示すフローチャートである。
【図１１】図１１Ａ、１１Ｂおよび１１Ｃは、オリジナルのシーンデータと先行技術および本発明にしたがって捕捉され且つ処理されたシーンデータについての異なる強度分布のヒストグラムを示す図である。
【符号の説明】
１００ 可変減衰器
１００Ａ ねじ部
１００Ｂ ねじ部
１０２ レンズ
１０２Ａ 光学距離
１０４ カメラボックス
１０６ 電源アタッチメント
１０８ ケーブル
２０６ メニュセレクタ
２１０ メニュスクリーン
３００ 広いダイナミックレンジ
３０６ アパチャ
３０８ イメージセンサ
３１０ 増幅器
３１２ Ａ／Ｄ変換器
３１４ プロセッサ
３１６ 表示装置
３１８ スイッチ
３２０ 記憶器
３２２ マニュアル制御器
３２４ 自動制御器
３２６ ゲート
３２８ ゲート
３３０ 電圧
３３２ フィードバック
３３４ 命令ライン
４００ 偏光されていない光
４０２ 入口の偏光子
４０４ リターダ
４０６ 出口の偏光子
４０８ 偏光ビーム
５００ 画像捕捉段階
５０２ 画像記憶段階
５０６ 光減衰調整段階
５０８ 画像アライメント段階
５１０ 画像合成段階
６００ 記憶された画像
６０２ 変換の差
６０４ 初期化カウンタ
６０６ 画像シフト段階
６０８ クエリー
６１０ 増加カウンタ
６１２ アライメント終了
７０２ 画像捕捉段階
７０４ 電圧設定段階
７０６ クエリー段階
７０８ 画像保存段階
７１０ 画像保存段階
７１２ 電圧設定段階
７１４ クエリー段階
７１６ 電圧設定段階
７１８ 画像捕捉段階
７２０ 終了
７２２ 終了
８０２ 画像プロセッサ
８０４ 画像表示装置
８０６ データおよび命令登録装置
８０７ コンピュータ読み取り可能制御装置
８０８ データおよび命令制御装置
８０９ 出力装置
９０２ 画像
９０４ 画像
９０６ 画像
９０８ 画素
９１０ 画素
９１２ 画素
９２２ 領域
９２４ 領域
９４２ 合成画像
９４４ 合成画素
１００２ 画像捕捉段階
１００６ クエリー段階
１００７ 終了
１００８ クエリー
１００９ データ記憶段階
１０１０ データ記憶段階
１０１１ 電圧調整段階
１０１６ 画像捕捉段階
１０１８ データ記憶段階
１１１２ レベル
１１１４ レベル
１１１６ 強度分布曲線
１１３４ レベル
１１３６ 歪んだ強度ヒストグラム
１１３８ レベル
１１５２ レベル
１１５６ 強度分布曲線
１１５８ レベル

Claims (3)

1. デジタルカメラにおいてイメージセンサにより捕捉された複数の制限されたダイナミックレンジの画像からシーンの拡張されたダイナミックレンジの画像を得る方法であって：
   （ａ）シーンから送られる光にイメージセンサを露出することによってシーンの画像の画素から構成される複数のデジタル画像を捕捉する段階であって、イメージセンサにおける光透過率は調整可能である、段階；
   （ｂ）少なくとも一部の画像の画素のために画像の制限されたダイナミックレンジより大きい照度レベルに対して各々の画像が捕捉された後に各々の画像を評価する段階；
   （ｃ）制限されたダイナミックレンジより大きい各々の画像の評価に基づいて、異なるシーンの輝度範囲を有する次のデジタル画像を得るためにイメージセンサにおける光透過率を調整する段階；
   （ｄ）複数のデジタル画像を記憶する段階；並びに
   （ｅ）何れかのデジタル画像より大きい拡張されたダイナミックレンジを有する合成画像を生成するために記憶されたデジタル画像を処理する段階；
   から構成されることを特徴とする方法。
2. 請求項１に記載の方法であって、各々の画像が捕捉された後に各々の画像を評価する段階（ｂ）は、画像の飽和した領域を示す照度レベルに対して各々の画像を評価する手順から構成される、ことを特徴とする方法。
3. 請求項１に記載の方法であって、各々の画像が捕捉された後に各々の画像を評価する段階（ｂ）は、各々の画像が捕捉された後に各々の画像を表示する手順と、画像の制限されたダイナミックレンジより大きい１つまたはそれ以上の画像の領域を示す照度レベルに対して表示された画像を評価する手順とから構成される、ことを特徴とする方法。

Images