JP2005295567A - 輝度補正を伴うデジタルカメラ - Google Patents

Abstract

【課題】 例えば、カメラの揺れ、薄暗い照明条件下での撮影、あるいは、動作の激しい場面の撮影のためにぼけた画像、または露出不足の画像の画質を改善する技法を提供すること。
【解決手段】 この技法は、デジタルカメラ、デジタルビデオカメラ、またはビデオを取得し得るデジタルカメラで実施し得る。本明細書で説明する一実施形態では、デジタルカメラは、画像センサ、記憶装置、および処理装置を含む。画像センサは、同じ場面から２枚の画像を取得し、これらの画像は記憶装置に記憶される。処理装置は、輝度補正によって、取得した画像の画質を高める。
【選択図】 図１

Description

本発明は、一般に画像処理に関し、より詳細には、輝度補正を伴うデジタルカメラに関する。

ある場面を写真撮影するとき、この場面内の対象物から放出された光線は、標準のフィルムまたはデジタルフィルムなどのフィルム上に記録される。したがって、写真撮影は、このような光線を記録することに関係するものである。照明条件が不適切なとき（例えば、光量が少ない状態で写真撮影するとき）、写真は、十分な照明条件下で撮影された写真に比べて、場面の情報の一部が欠如している。

薄暗い照明条件下で満足な写真を撮影することは、従来から極めて難しい問題であった。多くの場合、画像はぼけ、かつ／または露出不足になる。露出不足は一般に、フィルムが十分な量の光で露光されないことに起因する。露出不足は、フィルムをより長い時間露光することによってある程度補正することができる。これは、例えば、シャッタスピードをより遅くして、より長い時間シャッタを開いたままにすることによって行う。しかし、シャッタスピードを遅くするとぼけが生じる。ぼけの問題は、カメラを（例えば、三脚ではなく）手持ちで使用するときに悪化する。これは１つには、シャッタが開いている間の動きが大きくなるためである。ぼけは、シャッタが開いている間に場面内で対象物が動くことからも生じ得る。

いくつかの一般的な解決策は、（追加の照明を導入することによって光量の不足を補償するために）フラッシュを使用すること、あるいは、ＩＳＯ値（国際標準化機構によって定められた接頭子）のより大きいフィルムを使用することである。

フラッシュの使用は、様々な理由から制限される。例えば、フラッシュは、比較的短い距離でしか使えない。また、フラッシュにより色が変化して、場面の表現が不正確になる。（例えば、遠隔作動による）複数のフラッシュを使用してフラッシュ写真撮影の結果を改善し得るが、場面の周りに複数のフラッシュを設置することは、（例えば、屋外での写真撮影や、間際になって写真を撮るときなど）必ずしも実行可能ではない場合がある。

ＩＳＯ値が比較的大きいフィルムもいくつかの理由から限定的なものである。従来方式の写真撮影では、フィルムは多くの場合、一度に１本のロールでしか交換できない。したがって、（例えば、光量が少ない条件に適した）ＩＳＯ値が比較的大きいフィルムをカメラに装填すると、このカメラは、撮影者の選択肢を制限（例えば、露光過多にならないように比較的速いシャッタスピードで写真を撮影しなければならない等）しない限り、通常の照明条件では使用できなくなる。デジタル写真撮影では、ＩＳＯ値が比較的大きい設定での性能は、完全にカメラのセンサによって決まり、これは、異なるカメラでは大きく異なることがある。さらに、より重大な欠点は、ＩＳＯ値を大きくするとノイズの量が比較的多くなることである。

現在、例えば、安全なシャッタスピードよりも長い時間露光したためにぼけた画像の画質を改善するいくつかの技法がある。一般に、安全なシャッタスピードとは、レンズの焦点距離の逆数よりも速いスピードである。これらの技法は、大雑把にインプロセス（ｉｎ−ｐｒｏｃｅｓｓ）手法およびポストプロセス（ｐｏｓｔ−ｐｒｏｃｅｓｓ）手法に分類される。これらの手法により、例えば、長露光時間、カメラの揺れ、または対象物の動きに起因する動きによるぼけが抑えられる。

インプロセス手法は、主にハードウェアに基づく技法であり、カメラの揺れを補償することによってレンズを安定化させる。あるいは、高速デジタルカメラ（ＣＭＯＳ（相補型金属酸化膜半導体）センサを備えたデジタルカメラなど）では、通常の露光時間内で高速コマ撮りを実施することができ、これら複数の画像に基づいて、動きによるぼけを元に戻すことができる。露光時間が適度であれば、これらのインプロセス技法により、比較的鮮明で切れのよい画像を生成することができる。ただし、これらの技法は、特別に設計したハードウェア装置を必要とする。

一方、ポストプロセス法は一般に、動きによるぼけを取り除く技法とみなし得る。中でも、ブラインドデコンボリューション（ｂｌｉｎｄ ｄｅｃｏｎｖｏｌｕｔｉｏｎ）法は、単一のぼけ画像の画質を高めるのに広く採用されており、様々なＰＳＦ（点像分布関数）の仮定の下で適用することができる。あるいは、より一般的な状況では、ぼけ方向が異なる数枚の画像、すなわち画像シーケンスを使用してＰＳＦを推定し得る。いずれの場合でも、空間座標および時間座標で画像を離散化かつ量子化するために、ＰＳＦを高い信頼性で推定することができず、真の基本画像（三脚に載せたカメラで撮影した画像、または、静止した場面の適正露出画像）より劣った結果になる。１次（高空間分解能）検出器および２次（高時間分解能）検出器からなるハイブリッド画像システムも提案されている。この２次検出器により、ＰＳＦを推定するためのより正確な動きの情報が得られ、そのため、露光が長い場合でも、ぼけの除去が可能になる。しかし、この技法は、追加のハードウェアによるサポートを必要とし、ぼけを取り除いた画像は依然として、細部では真の基本画像ほど見栄えがよくない。

したがって、この解決策では十分な画質を提供できない。

（例えば、カメラの揺れ、薄暗い照明条件下での撮影、あるいは、動作の激しい場面の撮影のために）ぼけた画像、または露出不足の画像の画質を改善する技法を開示する。この技法は、デジタルカメラ、デジタルビデオカメラ、またはビデオを取得し得るデジタルカメラで実施することができる。

以下で説明する一実施形態では、デジタルカメラは、画像センサ、記憶装置、および処理装置を含む。画像センサは、同じ場面から２枚の画像を取得し、これらの画像は記憶装置に記憶される。処理装置は、輝度補正によって、取得した画像の画質を高める。

以下で説明する別の実施形態では、輝度補正は、第１と第２の画像の空間コヒーレンスおよび色の統計データを求めることを含む。求められた色の統計データおよび空間コヒーレンスを用いて、第１および第２の画像のうち露出不足画像の画質を高める。

以下の詳細な説明は、添付の図を参照して説明する。図では、参照数字の左端の１つ（または複数）の桁は、この参照数字を最初に使用した図を表す。異なる図で用いられる同じ参照数字は、類似の、または同じものを示す。

以下の開示では、（例えば、カメラの揺れ、薄暗い照明条件下での撮影、あるいは、動作の激しい場面の撮影のために）ぼけた画像、または露出不足の画像の画質を改善する技法を説明する。同じ場面の２枚の画像を異なる露光間隔で取得する。したがって、一方の画像を露出不足とし、他方をぼけ画像とし得る。これら２枚の画像に含まれる情報を用いて、目に見えるぼけまたは暗い部分のない高画質の場面の画像を提供する。これら２枚の画像は、例えば、画像の中心が大きく動かないようにするために、あるいは、カメラの動きまたは場面内の対象物の動きの影響を制限するために、短い間隔で撮影することができる。

（図２２〜図２５を参照して論じるように）この技法は、高コントラスト場面を処理するように容易に拡張することができ、それによって、飽和した領域の細部が明らかになる。さらに、これらの技法の一部を、デジタルカメラ、デジタルビデオカメラ、またはビデオを取得し得るデジタルカメラに直接組み込むことができる。例えば、デジタルカメラは、（図１、図４、および図８を参照してさらに論じるように）これら２枚の画像を撮影する間、シャッタが開いたままになるように構成し得る。

（デジタルカメラ構成）
図１に、輝度補正を施すために使用し得る複数の写真を撮影するデジタルカメラの構成例１００を示す。このカメラは、単独のカメラとすることもできるし、（ＰＤＡ（携帯情報端末）、携帯電話などの）別の装置に組み込まれたカメラとすることもできる。構成１００は、光線に曝されるレンズ１０２を含む。（例えば、ズーム、フィッシュアイ、広角などの）異なる種類のレンズなど、複数のレンズ構成を使用して光線を捕捉することができる。

また、この構成は、（図示しない）任意選択のシャッタをさらに含み得る。このシャッタにより、レンズ１０２に入射する光線へのセンサ１０４の露光を制御することができる。したがって、このシャッタは、センサ１０４とレンズ１０２の間に配置し得る。このシャッタは、カメラのボタンによって、あるいは遠隔的に（例えば、赤外線または無線による遠隔制御によって）作動させることができる。シャッタボタンを１回押すことによって、カメラは２枚の画像を撮影することができる（それによって、例えば、本明細書で例えば図４または図８を参照してさらに論じるように、これらの画像に輝度補正を適用し得る）。センサ１０４は、ＣＭＯＳまたはＣＣＤ（電荷結合素子）とし得る。

一実施形態では、センサ１０４は、（シャッタなどの）物理的な仕切りを必要とせずに必要に応じて作動（例えば、通電）し得る。さらに、（センサカバーなどの）より簡略化した機構を使用して、（強い太陽光線、ほこり、水、湿気などの）環境要素からレンズ１０２およびセンサ１０４を保護し得る。

デジタルカメラ構成１００は、センサ１０４に接続されたデジタルカメラ処理装置１０６をさらに含む。処理装置１０６は、（本明細書で、例えば図４を参照してさらに論じるように）センサ１０４によって取得した画像を受け取り、記憶し、かつ／または処理するプロセッサ（１０８）ならびに記憶装置（１１０および１１２）を含む。複数のプロセッサ（１０８）を使用して、例えば、スピードの向上をもたらし得ることが企図されている。また、処理装置（１０６）またはプロセッサ（１０８）は、画像処理に応用するように特別に設計することができる。

図に示すように、処理装置１０６は、ＲＯＭ（読取り専用メモリ）（１１０）などの不揮発性メモリを含み得る。一実施形態では、ＲＯＭ１１０に格納したデータを使用して、（例えば、起動中に、あるいは要求があり次第）カメラ設定、ブート情報などを提供する。ＲＯＭ１１０の代わりに、あるいはそれに加えて、フラッシュメモリを使用して変更を行うことができる。また、ＥＥＰＲＯＭ（電気的に消去可能なプログラマブル読取り専用メモリ）など、他の形態の書換え可能な記憶装置を使用し得る。さらに、記憶装置１１２は、図２を参照してさらに論じるように、プロセッサ１０８が、アクセスすることができ、かつ／または現在操作中のデータおよび／またはプログラムモジュールを含み得る。

デジタルカメラ構成１００は、（図示しない）他の取り外し可能な／固定の、揮発性／不揮発性コンピュータ記憶媒体も含み得る。例を挙げると、ハードディスクドライブその他の不揮発性磁気媒体（例えば、「フロッピー（登録商標）ディスク」）、光ディスクドライブ（ＣＤ−ＲＯＭ（コンパクトディスクＲＯＭ）および／またはＤＶＤ（デジタル多目的ディスク）など）、テープ（例えば、デジタルビデオカメラの場合）などを使用して、デジタルカメラ構成１００に記憶装置を提供し得る。

デジタルカメラ構成１００は任意選択で、本明細書で例えば図２、図４、および図８を参照してさらに論じるように、取得した画像に輝度補正を適用する輝度補正論理回路１１４を含み得る。輝度補正論理回路１１４は、ＡＳＩＣ（特定用途向け集積回路）、ＰＬＡ（プログラマブルロジックアレイ）などとして実施し得る。

一実施形態では、デジタルカメラ構成１００は、デジタルカメラ処理装置１０６の代わりに、あるいはそれに加えて、（図３３を参照して論じるコンピューティング環境などの）１つまたは複数の外部ハードウェア設備を使用してデータを処理し、かつ／または記憶することができる。このような実施形態では、デジタルカメラ構成１００を、外部ハードウェア設備によっても制御し得る。このように構成することにより、撮影者は、コマとコマの間でカメラのパラメータを手作業で変更することから解放され、それによって、最適な写真を撮ることに専念することができる。有線接続部（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ファイアワイヤ（例えば、ＩＥＥＥ１３９４）など）および／または無線接続部（例えば、８０２．１１（およびその変形形態）、セルラネットワーク、無線周波数など）を介して、外部ハードウェア設備とデータを交換し得る。

図２に、図１のセンサ１０４によって取得された画像データを記憶する記憶装置１１２の例を示す。記憶装置１１２は、（例えば、図１を参照して論じたデジタルカメラによって）取得された２枚の連続した写真を記憶する少なくとも２つのバッファまたはキャッシュ（２０２および２０４）を含む。あるいは、バッファ（２０２および２０４）は、論理的に（すなわち、物理的には同じメモリ装置上に配置するが、論理的に別々に）実装し得る。図１のプロセッサ１０８は、バッファ（２０２および２０４）にアクセスして取得した画像を処理し、それによって例えば輝度補正を施すことができる（例えば、図４を参照）。

記憶装置１１２は、例えば、取得画像を操作する間にデータキャッシングを実現するために、追加のバッファ（２０６）を含み得る。追加のバッファを使用して、前に取得した画像を操作する間に、新しく取得した画像を記憶することもできる。また、記憶装置１１２は、任意選択で、輝度補正用のコードまたは命令２０８を（例えば、バッファまたは別のメモリ装置に）格納し得る。このような実施形態では、プロセッサ１０８は、輝度補正コード２０８にアクセスして輝度補正を実施し得る（例えば、図４および図８を参照）。

図３に、図１のセンサ１０４によって捕捉された光子エネルギーが、時間が経つうちに（例えば、Ｔ１からＴ２）どのように増加し得るかを示すグラフの例３００を示す。例えば、時間Ｔ１では、センサの画像は、（図５を参照して論じるように）薄暗い照明条件で露出不足であり得る。また、時間Ｔ２（例えば、時間Ｔ１の１／２秒後）では、センサの画像には、図６を参照して論じるように（例えば、カメラ、場面内の対象物などの動きのために）ぼけが生じ得る。一実施形態では、図４を参照して以下でさらに論じるように、この露光差を利用して輝度補正を施し得る。

（デジタルカメラにおける輝度補正）
図４に、デジタルカメラで輝度補正を提供する方法の例４００を示す。方法４００は、図１を参照して論じたものなどのデジタルカメラ内でソフトウェア、ハードウェア、ファームウェア、またはこれらの組合せとして実施し得る。

例えば、単独のデジタルカメラまたは別の装置（ＰＤＡ、携帯電話など）に組み込まれたカメラのボタンを押すことによって、画像を取得するコマンドを受け取った（ステップ４０２）後で、カメラのセンサ（例えば、図１のセンサ１０４）は光線に曝される。第１画像は、時間Ｔ１で取得される（ステップ４０４）。時間Ｔ１は、図３のグラフ３００を参照して論じたものとし得る。したがって、第１画像は露出不足であり得る（例えば、図５のＩ_Ｌ）。

次いで、時間Ｔ２で、同じ場面の第２画像を取得する（ステップ４０６）。時間Ｔ２は、図３のグラフ３００を参照して論じたものとし得る。したがって、第２画像にはぼけが生じ得る（例えば、図６のＩ_Ｈ）。ある実施形態では、デジタルカメラの露出ブラケット機能を利用して、これら２枚の画像を取得し得る。さらに、いくつかのカメラ（例えば、キャノン製Ｇモデル、およびいくつかのニコン製クールピクス（Ｃｏｏｌｐｉｘ）モデルのデジタルカメラ）はすでに、露出ブラケット機能を含む。これらのデジタルカメラでは、シャッタボタンを一回押すことによって異なるシャッタスピードで複数の画像が撮影される。しかし、現在のカメラ内蔵機能を使用することには、いくつかの制限がある。すなわち、この機能は、マニュアルモードでは動作せず、シャッタスピードの差には制限があることがある。

次いで、本明細書で論じるように（例えば、図８を参照）、取得画像に輝度補正を適用して（ステップ４０８）、高画質画像（例えば、図７のＩ_Ｃ）を提供する。

シャッタ付きデジタルカメラでは、シャッタを開けたままにして、同じ場面の露出不足画像およびぼけ画像を取得する。このような実施形態では、（例えば、カメラまたは場面内の対象物からの）いかなる動きも制限されるようにし得る。また、シャッタを開けたままにすると、スピードが改善され（すなわち、中間のシャッタ動作の遅れ時間がなくなり）、かつ／または（例えば、自然写真を撮影する場合の）静音性も改善し得る。

一実施形態では、輝度補正（ステップ４０８）を実施するソフトウェアは、（図３３を参照して論じるものなどの）汎用コンピュータを介して提供し得る。このコンピュータを（例えば、図１の）カメラに直接接続するか、あるいは、このカメラからのメモリカードを後でコンピュータにつなげて、画像を処理することができる。

別の実施形態では、方法４００は、デジタルビデオカメラ（またはビデオを取得し得るデジタルカメラ）で実施する。このビデオカメラは、（例えば、１秒当たり約４５フレームから６０フレームを取得する）高速カメラとし得る。このカメラのセンサ（例えば、図１の１０４）は、どのフレーム／フィールドについても積分時間、露光タイミング、および／またはＡＤＣ（アナログ−デジタル変換）利得が調整されるように再構成し得る。あるいは、設定が異なる２つ以上のセンサを使用して連続画像を取得することができる。

（サンプル画像）
図５および図６に、薄暗い照明条件下で同じ場面を撮影した画像を示す。図に示すように、図５の画像（Ｉ_Ｌ）は露出不足であり、図６（Ｉ_Ｈ）の画像はぼけている。図５および図６の画像の露光間隔は異なる。図に示すように、図５の画像（Ｉ_Ｌ）の露光時間は、図６の画像（Ｉ_Ｈ）の露光時間よりも短い。本明細書で論じる技法では、図５および図６に示す画像を使用して、例えば、図８を参照して以下でさらに論じる輝度補正を適用することによって、図７に示すような高画質画像（Ｉ_Ｃ）を構築することができる。

（画像取得）
一実施形態では、取得する画像の露光時間とぼけの程度の間の得失評価（ｔｒａｄｅｏｆｆ）を利用するために、下記の露光設定を有する同じ取得装置（例えば、カメラ）を使用して２枚の入力画像を撮影することができる。

・安全なシャッタスピード付近の露光時間で一方の画像（例えば、図５のＩ_Ｌ）を撮影して、動きによるぼけがかなり小さい露出不足画像を生成する。この画像（Ｉ_Ｌ）は暗すぎるので、画像の色は許容できるものではない。

・他方の画像（例えば、図６のＩ_Ｈ）は、露光時間を長くして取得した画像である。この画像の色および明るさは許容し得るものである。ただし、この画像には、カメラが揺れたか、あるいは場面内の対象物が動いたために、動きによるぼけが生じる。

場面（または場面内の対象物）および／または取得装置（例えば、三脚を使用しない手持ちカメラ）が動き得る状況では、これら２枚の画像を短い間隔で取得してもよい。時間の経過をできるだけ短く保つと、これら２枚の画像間の差異は最小限に抑えられ、かつ／または各画素の位置の局所的な合致度が最大になる。

（輝度補正）
図８に、輝度補正方法の例８００を示す。図５および図６を参照して論じたものなど、同じ場面の２枚の画像（例えば、Ｉ_ＬおよびＩ_Ｈ）が提供された（ステップ８０２）後で、これらの画像の色の統計データ（ステップ８０４）および空間コヒーレンス（ステップ８０６）を求める（これらは、下記の同様の見出しの節でより詳細に説明する）。図５および図６を参照して論じたように、Ｉ_ＬおよびＩ_Ｈは、露光間隔が異なる同じ場面の２枚の画像である。したがって、これらの画像は、色の統計データだけでなく、対応する空間コヒーレンスによっても関連づけられる。

色の統計データおよび空間コヒーレンスの情報を用いて、色空間で露出不足画像（例えば、図５のＩ_Ｌ）の画質を高めて（ステップ８０８）、適正露光の高画質画像（例えば、図７のＩ_Ｃ）を提供する。より具体的には、一実施形態では、ステップ８０８で、カラーマッピング手法を利用する。このカラーマッピング法は、露出不足画像から求められた空間的な細部によって拘束されるため、これまでの純粋な色変換技法と異なり、それらを改善したものである。以下でさらにより詳細に論じるように、色の統計データおよび空間的な拘束を適切に定式化し、これらをベイズ法に組み込むことによって、ＭＡＰ（最大事後確率）解法により、色空間における最適なカラーマッピング関数が得られる。この関数により、画素の色の質が高められるのと同時に、構造的な細部が保存される。

さらに、方法８００は、カメラの揺れおよび対象物の動きを同時に、統一された枠組内で処理し得る。さらに、対象物の異なる部分ではＰＳＦが異なるため、大部分のぼけ除去方法では難しい、対象物のトポロジーの変化または対象物の変形も処理し得る。さらに、（「高コントラスト場面における色の統計データ」でさらに論じるように）１つの拘束をわずかに改変することによって、高コントラスト場面を処理し、最も明るい区域または飽和した区域における撮影された細部を伴う画像を生成するように、方法８００を拡張し得る。

ある実施形態では、方法８００は、光量の少ない状態に容易に適用される。これは、フラッシュなどの人為的な光源が、（例えば、コンパクトカメラ、ＰＤＡ、腕時計やペンなどに一体化されたカメラなどの電力消費制限のために）存在しないか、または、（例えば、光の存在により望まれない生物学的な現象が生じ得る生物学的な物質の画像を取得するには）望まれないか、あるいはその他の理由で、（例えば、交通管制カメラの場合と同様に、距離または環境条件のために）実際的でない状態である。人為的な照明が望まれない例は、顕微鏡、電子顕微鏡などに装着するカメラを含み得る。

（Ｉ_ＬとＩ_Ｈの間の関係）
図５および図６を参照して論じたように、Ｉ_ＬおよびＩ_Ｈは、露光間隔が異なる同じ場面の２枚の画像である。したがって、これらの画像は、色の統計データだけでなく、対応する空間コヒーレンスによっても関連づけられる。これらの間の関係は、ベイズ法におけるカラーマッピング関数を推測するための拘束に変換し得る。

ある実施形態では、露出不足画像Ｉ_Ｌは、時間座標において、適正露光画像Ｉ_Ｈ中の影響を受け易い成分とみなすことができる。こうすると、露光期間中のカメラあるいは場面（または場面の対象物）の動きを合理的にモデル化し、マッピング処理を拘束することが可能になる。これを、以下に続く節でさらに説明する。

（色の統計データ）
ＲＧＢ（赤、緑、および青）の色空間では、重要な色の統計データは、カラーヒストグラムの形状から明らかにし得ることが多い。ヒストグラムは一般に、矩形または棒によって頻度分布を表すものである。これらの矩形または棒の幅は、クラスの間隔を表し、面積は、対応する頻度に比例する。そのため、このヒストグラムを利用して、Ｉ_ＬとＩ_Ｈの解析的な関係を確立することができる。さらに、放射照度が大きいほど、画素が明るくなるので、Ｉ_ＬおよびＩ_Ｈの色の統計データは、画素強度値が小さいほうから大きいほうまで順に一致し得る。したがって、Ｉ_Ｌのヒストグラム

は、下記の形式に直すことができる。

（１）で、ｇ（・）は、ヒストグラムの各色値に対して実施する変換関数であり、

は、Ｉ_Ｈのヒストグラムである。ｇ（・）を推定する一般的なやり方は、通常は目的曲線に従って画像のダイナミックレンジおよびコントラストを改変する適応型ヒストグラム均等化法である。

ただし、ある種の状況では、このヒストグラム均等化法により、満足な結果が得られないことがある。より具体的には、各チャネルの量子化された２５６個の（１バイト精度の）色は、様々なヒストグラムの形状を正確にモデル化するのに十分でないことがある。

図９に、輝度補正で利用し得るカラーヒストグラム均等化法の例９００を示す。より具体的には、方法９００を用いて、変換関数を最適に推定することができる。まず、画像をＲＧＢ空間から知覚色空間ｌαβに変換する（ステップ９０２）。ただし、ｌは無色チャネルであり、αおよびβは色度値を含む。このようにして、既知の蛍光体色度（ｐｈｏｓｐｈｏｒ ｃｈｒｏｍａｔｉｃｉｔｙ）とともに、より離散的な空間に画像を変換する。

新しい色空間における色分布は、６５，５３６個の（２バイト精度の）部分にクラスタ化される（ステップ９０４）。次いで、新しい色空間でヒストグラム均等化法を実施する（ステップ９０６）。ヒストグラム均等化法（ステップ９０６）の結果を変換して、ＲＧＢ空間に戻す（ステップ９０８）。

２枚の画像（例えば、図５および図６）に対してこの変換ヒストグラム均等化法を実施することによって、これら２枚の画像をそれらの色空間において完全に関連づけることができる。ただし、色の統計データは、カメラの画質によって概ね決まる。例えば、比較的暗い画像が大量のノイズを含む場合、まず、（例えば、画像をフィルタリングすることによって）劣化した情報を処理する必要がある。

（空間的な拘束）
上記で説明した色の統計データでは、Ｉ_ＨとＩ_Ｌの間のいかなる時間コヒーレンスも考慮していない。しかし、これら２枚の画像は、同じ場面を撮影したものなので、Ｉ_ＨとＩ_Ｌの間には強い空間的な拘束がある。

ある領域が類似の色の画素を含む状況で、図１０Ａは、元の画像の均質な領域を示し、図１０Ｂは、動きによるぼけを伴って撮影された同じ領域を示す。点１００２は、これらの領域の中心に印をつけたものである。図１１Ａおよび図１１Ｂの対応する曲線は、一方向に沿った画素の色を示す。図１０Ａ、図１０Ｂ、図１１Ａ、および図１１Ｂから、この領域の中心に向かう色は、この領域の面積が十分に大きくかつ均質であると仮定すると、ぼけによる影響をあまり受けないことがわかる。さらに、この領域内の色が一貫していることにより、中心画素の色は一致し得る。

図１２に、輝度補正で利用し得る空間領域マッチング法の例１２００を示す。方法１２００を用いて、Ｉ_ＨとＩ_Ｌのマッチングシード（ｍａｔｃｈｉｎｇ ｓｅｅｄ）を選択し得る。ぼけ画像（例えば、図６のＩ_Ｈ）は、複数の領域にセグメント化される。このセグメント化は、各領域Ｒ_ｍ（Ｉ_Ｈ）が類似の色を含むように行われる（ステップ１２０２）。図１３に、図６を複数の領域にセグメント化した例を示す。

均質性およびサイズに従ってこれらの領域を区分けするために、各領域Ｒ_ｍ（Ｉ_Ｈ）をエロード（ｅｒｏｄｅ）し（ステップ１２０４）、各領域を完全にエロードするための反復数と、各領域のエロード処理における最後の数画素である領域中心を求める（ステップ１２０６）。一実施形態では、領域Ｒ_ｍ（Ｉ_Ｈ）ごとに、同じ形態的エロード操作を実施することができる。図１４に、図１３の画像内の複数領域をエロードして得られた中間画像の例を示す。

反復数を降順に並べ替え、領域がマッチングするのに最も可能性の高い候補として最初のＭ個の領域を選択する（ステップ１２０８）。その結果、これらの領域の中心の位置が、マッチング位置として選択される。画像Ｉ_ＨおよびＩ_Ｌから、このマッチング位置における画素対

を選択し（ステップ１２１０）、隣接画素の色のガウス平均値としてｃ^ｍごとに値を計算する（ステップ１２１２）。ここでの分散は反復数に比例する。図１５に、選択した領域の中心を点１５０２として示す。図に示すように、点１５０２は、最も大きく、かつ最も均質なＭ個の領域に配置される。

マッチング処理（方法１２００）は、理想的なカラーマッピング関数が、Ｉ_Ｌ中のいくつかのマッチングシードの色を、Ｉ_Ｈ中のマッチングシードの色に変換し得るはずであることを示唆している。次の節で、（色および空間の）２つの拘束を考慮に入れて拘束マッピング関数を推測するベイズ法を説明する。

（拘束マッピング関数）
カラーマッピング関数は、

と定義し得る。ただし、ｌ_ｉおよび

はそれぞれ、２つの集合で表される色値である。したがって、得られる画像Ｉ_Ｃは、露出不足画像にｆ（・）を適用する（Ｉ_Ｌ：Ｉ_Ｃ（ｘ，ｙ）＝ｆ（Ｉ_Ｌ（ｘ，ｙ））ことによって形成される。ただし、Ｉ_ｋ（ｘ，ｙ）は、画像Ｉ_ｋ中の画素の値である。ｆ（・）の形は、Ｉ_ＬおよびＩ_Ｈによって拘束されることに留意されたい。

ベイズ法では、Ｉ_ＬおよびＩ_Ｈの観察結果が与えられれば、次のように、事後確率を最大にして（ＭＡＰ）、ｆ^＊を推測する。

前の節では、Ｉ_ＬとＩ_Ｈの間で２種類の関係が観察された。一方は、Ｉ_ＬおよびＩ_Ｈそれぞれの２つのヒストグラム

および

によって記述し得る色の統計データである。他方は、Ｉ_ＬとＩ_Ｈの間のＭ個の対応するマッチングカラーシード

で表し得る領域マッチングによる拘束である。これらの関係は、拘束とみなすことができ、式（２）は次のように書き換えることができる。

次の節では、尤度

および先験的確率（ｐｒｉｏｒ）ｐ（ｆ）を定義する。

（尤度）
離散色空間でグローバルマッチング（ｇｌｏｂａｌ ｍａｔｃｈｉｎｇ）を実施するので、ｆは、離散値ｆ＝｛ｆ１，ｆ２，．．．，ｆｉ，．．．，ｆＮ｝の集合によって近似される。ただし、Ｎは、色空間のビンの総数である。したがって、式（３）における尤度は、ＩＩＤ（独立同分布）の仮定の下で、次のように因数分解することができる。

式（４）では、ｇ（ｌ_ｉ）は、色値ｌ_ｉにおいて、

は、カラーシードの集合

において、ｌ_ｉに最も類似の色であり、

は、カラーシード対における

に対応する色である。

前の節の解析によれば、ｇ（ｌ_ｉ）および

は、各ｆ_ｉの２つの拘束要素である。これらの特性はともに、マッピング関数上で維持されるはずである。その結果、これら２つの拘束を釣り合わせることができ、尤度を次のようにモデル化し得る。

式（５）で、スケールαは、これらの２つの拘束を重み付けし、

は、これら２種類の拘束の不確定性をモデル化するための分散である。αの値が大きくなると、マッチングシード対の信頼度（ｃｏｎｆｉｄｅｎｃｅ）が落ちる。αは、下記の要素に関連づけることができる。

・距離

：距離が大きいことは、領域マッチングによる拘束が弱いことを示し、このため、αが１に近づく。したがってαは、この距離に反比例する。

・マッチングカラー対

の一致の不確定性：前の節で示したように、マッチング領域サイズが大きいほど、マッチングカラーについてこの領域の中心から得られる信頼度が高くなる。したがって、不確定性σ_Ｃは、各マッチングカラーの領域サイズに比例すると定義し得る。これら２つの要素を組み合わせると、αは次のように定義し得る。

式（６）で、βは、αの影響度を制御するスケールパラメータである。

（先験的確率）
先験的確率として、ｆ（・）に対して単調拘束を実施することができ、それによって、Ｉ_Ｌの構造の細部が維持される。さらに、近傍の色についてのカラーマッピングが急激に変化しないように、ある実施形態では、ｆ（・）は、その形状が滑らかなことが求められることがある。別の実施形態では、ｆの２次導関数を次のように最小化することができる。

式（７）で、

は、ｆの滑らかさを制御する分散である。

（ＭＡＰによる解法）
式（４）の対数の尤度と式（７）の対数の先験的確率を組み合わせ、以下の対数の事後関数を最小化することによって最適化問題を解くことができる。

式（８）で、Ｅ（ｆ）は、２次の目的関数である。したがって、グローバル最適マッピング関数ｆ（・）は、ＳＶＤ（特異値分解）によって得ることができる。式（７）では単調拘束を明示的に実施しないが、ある実施形態では、この滑らかさの拘束は、最終的な単調ｆを構築するのに十分である。

（他の例の結果）
本明細書で説明した技法を難しい状況に適用して、この手法の有効性を示す。その結果を、以下のように異なるグループに分類する。図１６に、入力露出不足画像の例を示す。図１７に、図１６の画像に本出願の輝度補正を適用することによって得られた画像の例を示す。図１８に、色変換技法を適用したときの結果の例を示す。図１９に、適応型ヒストグラム均等化法による結果の例を示す。図２０に、２．５のガンマ補正を適用したときの結果の例を示す。図２１に、写真編集プログラムで曲線調整を適用した結果の例を示す。これらの図が示すように、本明細書で説明した拘束を用いることにより、視覚的な画質がより良好になり、より細かい部分が得られる（すなわち、図１７）。

また、ある実施形態では、本明細書で説明した（空間的および色の）２つの拘束がともに有益である。これらの拘束により、２つの異なる側面において解法が最適化される。したがって、一実施形態では、これらの拘束を組み合わせ、かつ釣り合わせることにより、本明細書で説明した方法の視覚的な正しさを保証し得る。

（手持ちカメラによって生じる動きによるぼけ）
図２２〜図２５の岩の例に、本明細書で説明した方法の、２枚の入力画像（すなわち、図２２および図２３の画像）の色情報を最適に組み合わせる能力を示す。各図の左下に、各画像のヒストグラムを示す。他のぼけ除去法と異なり、得られた縁部は切れがよく、鮮明である。これら２枚の入力画像はそれぞれ、１／４０秒および１／３秒のシャッタスピードで撮影したものである。図２４および図２５はそれぞれ、対応するヒストグラム付きのカラーマッピングした画像（Ｉ_Ｃ）および真の基本画像である。真の基本画像（図２５）は、三脚を使用して撮影したものである。図２４および図２５で、これらの画像は視覚的にも統計的にも近いことに留意されたい。

（対象物の動きによって生じる動きによるぼけ）
ある実施形態では、本明細書で論じた技法により、（例えば、通常の露光間隔では、対象物の動きがあまりにも速い場合の）対象物の動きまたは変形の問題を容易に解決することができる。図２６〜図２８に、実験の結果を示す。図に示すように、参照し易くするために図２７および図２８の一部を拡大する。適正露光入力画像は、局所的にぼけている（図２７）。すなわち、ＰＳＦは全画像内で均一に表されず、そのため、デコンボリューション法では失敗し易い。本明細書で論じた技法（および図２６の露出不足画像）を用いて、カメラのシャッタスピードを４つの停止分遅くすることができる。その結果、ぼけの影響が大きく低減された高画質画像（Ｉ_Ｃ）を生成し得る（図２８）。

（高コントラスト場面における色の統計データ）
高コントラスト場面の画像を撮影する場合、Ｉ_Ｈでは明るい領域が飽和することになる。ヒストグラム均等化法では、飽和区域を含めて、Ｉ_ＬからＩ_Ｈに色が忠実に変換され、そのため、最も明るい領域において空間的な細部が劣化するだけでなく、画像の色空間においても急激な変化が生じる。

この問題を解決するために、前の節で説明したカラーマッピング関数ｇ（・）を改変して、より大きな範囲を対象とすることができる。一実施形態では、色変換技法を利用して、高コントラストの状況で画質を改善し得る。この技法は、画像のヒストグラムにおいても機能し、チャネルごとに平均値および標準偏差を整合させることによってソース画像から対象画像に色を変換する。この処理はガウスマッチングなので、変換される色の最大値には何ら制限がない。

一実施形態では、Ｉ_Ｈ中の非飽和画素はすべて、Ｉ_Ｌへの色の変換に使用される。この色変換技法を適用した後で、Ｉ_Ｌのマッピング結果は、色深度を超え（すなわち、２５５よりも大きくなり）、飽和画素は、より大きな色値に拡張される。したがって、より高い範囲の画像は、明るい領域および暗い領域でともに細部が明らかになるように構築される。

図２９〜図３２に、このような実施形態に関連する画像の例を示す。図に示すように、参照し易くするために図２９〜図３２の一部を拡大する。図２９および図３０に、入力画像（それぞれＩ_ＨおよびＩ_Ｌ）を示す。図３１の画像は、元のヒストグラム均等化関数としてｇ（・）を設定することによって再構築したものである。図３２は、色変換法を利用するようにｇ（・）を改変することによって、色および細部の画質が高められた結果である。図３２に示す画像を提示するためにトーンマッピングも実施する。

（一般的なコンピュータ環境）
図３３に、本明細書で説明した技法を実施するために使用し得る一般的なコンピュータ環境３３００を示す。例えば、コンピュータ環境３３００を使用して、（カメラなどの）画像取得装置を制御するソフトウェアプログラムを実行し得る。コンピュータ環境３３００は、コンピューティング環境の単なる一例であり、コンピュータおよびネットワークアーキテクチャの利用法または機能の範囲に関していかなる制限も示唆するものではない。コンピュータ環境３３００を、コンピュータ環境の例３３００に示すコンポーネントのいずれか１つまたはそれらの組合せに関係する依存性または要件を有すると解釈すべきではない。

コンピュータ環境３３００は、コンピュータ３３０２の形態の汎用コンピューティング装置を含む。コンピュータ３３０２のコンポーネントは、（任意選択で、暗号化プロセッサまたはコプロセッサを含む）１つまたは複数のプロセッサまたは処理装置３３０４、システムメモリ３３０６、およびプロセッサ３３０４を含めて様々なシステムコンポーネントをシステムメモリ３３０６に接続するシステムバス３３０８を含み得るが、これらに限定されるものではない。

システムバス３３０８は、メモリバスまたはメモリコントローラ、ペリフェラルバス、アクセラレィティッドグラフィックポート（ａｃｃｅｌｅｒａｔｅｄ ｇｒａｐｈｉｃｓ ｐｏｒｔ）、およびプロセッサまたはローカルのバスを含めて、様々なバスアーキテクチャのいずれかを利用するいくつかの種類のバス構造の１つまたは複数を表す。例を挙げると、このようなアーキテクチャは、ＩＳＡ（業界標準アーキテクチャ）バス、ＭＣＡ（マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ））バス、ＥＩＳＡ（拡張ＩＳＡ）バス、ＶＥＳＡ（ビデオ電子規格協会）ローカルバス、およびメザニン（Ｍｅｚｚａｎｉｎｅ）バスとしても知られるＰＣＩ（ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ））バスを含み得る。

コンピュータ３３０２は一般に、様々なコンピュータ読み取り可能媒体を含む。このような媒体は、コンピュータ３３０２がアクセスし得る任意の利用可能な媒体とすることができ、揮発性および不揮発性の媒体、取り外し可能および固定の媒体をともに含む。

システムメモリ３３０６は、ＲＡＭ（ランダムアクセスメモリ）３３１０などの揮発性メモリ、および／またはＲＯＭ３３１２などの不揮発性メモリの形態のコンピュータ読み取り可能媒体を含む。例えば起動時に、コンピュータ３３０２内の要素間で情報を転送する助けとなる基本ルーチンを含むＢＩＯＳ（基本入出力システム）３３１４は、ＲＯＭ３３１２内に格納される。ＲＡＭ３３１０は一般に、処理装置３３０４が、即座にアクセスすることができ、かつ／または現在操作中のデータおよび／またはプログラムモジュールを含む。

コンピュータ３３０２は、取り外し可能／固定の、揮発性／不揮発性の他のコンピュータ記憶媒体も含み得る。例を挙げると、図３３に、（図示しない）固定の不揮発性磁気媒体に対して読書きを行うハードディスクドライブ３３１６、取り外し可能な不揮発性磁気ディスク３３２０（例えば、「フロッピー（登録商標）ディスク」）に対して読書きを行う磁気ディスクドライブ３３１８、およびＣＤ ＲＯＭ、ＤＶＤその他の光媒体などの取り外し可能不揮発性光ディスク３３２４に対して読出しおよび／または書込みを行う光ディスクドライブ３３２２を示す。ハードディスクドライブ３３１６、磁気ディスクドライブ３３１８、および光ディスクドライブ３３２２はそれぞれ、１つまたは複数のデータ媒体インターフェース３３２５によってシステムバス３３０８に接続される。あるいは、ハードディスクドライブ３３１６、磁気ディスクドライブ３３１８、および光ディスクドライブ３３２２は、（図示しない）１つまたは複数のインターフェースによってシステムバス３３０８に接続し得る。

これらのディスクドライブおよびそれらに関連するコンピュータ読み取り可能媒体は、コンピュータ３３０２用の、コンピュータ読み取り可能命令、データ構造、プログラムモジュールその他のデータの不揮発性記憶装置を提供する。この実施例では、ハードディスク３３１６、取り外し可能磁気ディスク３３２０、および取り外し可能光ディスク３３２４を示すが、磁気カセットその他の磁気記憶装置、フラッシュメモリカード、ＣＤ−ＲＯＭまたはＤＶＤその他の光記憶装置、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読出し専用メモリ）、ＥＥＰＲＯＭ（電気的に消去可能なプログラマブル読出し専用メモリ）など、コンピュータがアクセス可能なデータを記憶し得る他の種類のコンピュータ読み取り可能媒体を使用して、例示のコンピューティングシステムおよび環境を実施することもできることを理解されたい。

ハードディスク３３１６、磁気ディスク３３２０、光ディスク３３２４、ＲＯＭ３３１２、および／またはＲＡＭ３３１０には、例を挙げると、オペレーティングシステム３３２６、１つまたは複数のアプリケーションプログラム３３２８、他のプログラムモジュール３３３０、およびプログラムデータ３３３２を含めて、任意の数のプログラムモジュールを格納することができる。このようなオペレーティングシステム３３２６、１つまたは複数のアプリケーションプログラム３３２８、他のプログラムモジュール３３３０、およびプログラムデータ３３３２（またはこれらのなんらかの組合せ）はそれぞれ、分散ファイルシステムをサポートする常駐コンポーネントの全部または一部を実施し得る。

ユーザは、キーボード３３３４およびポインティングデバイス３３３６（例えば、「マウス」）などの入力装置を介してコンピュータ３３０２にコマンドおよび情報を入力することができる。（具体的に図示しない）他の入力装置３３３８は、マイクロホン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、シリアルポート、スキャナおよび／またはその他のものを含み得る。上記その他の入力装置は、システムバス３３０８に結合された入出力インターフェース３３４０を介して処理装置３３０４に接続されるが、パラレルポート、ゲームポート、またはＵＳＢ（ユニバーサルシリアルバス）など他のインターフェースおよびバス構造によって接続することもできる。ＵＳＢポートを使用して、（図２９を参照して論じたような）カメラまたはフラッシュカードリーダをコンピュータ環境３３００に接続することができる。

モニタ３３４２その他の種類のディスプレイ装置も、ビデオアダプタ３３４４などのインターフェースを介してシステムバス３３０８に接続し得る。モニタ３３４２に加えて、他の周辺出力装置は、入出力インターフェース３３４０を介してコンピュータ３３０２に接続し得る（図示しない）スピーカおよびプリンタ３３４６などのコンポーネントを含み得る。

コンピュータ３３０２は、リモートコンピューティング装置３３４８など、１つまたは複数のリモートコンピュータへの論理接続部を使用するネットワーク環境で動作し得る。例を挙げると、リモートコンピューティング装置３３４８は、パーソナルコンピュータ、携帯型コンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピア装置（ｐｅｅｒ ｄｅｖｉｃｅ）その他一般のネットワークノード、ゲームコンソールなどとすることができる。リモートコンピューティング装置３３４８は、コンピュータ３３０２に関連して本明細書で説明した要素および特徴の多くまたはすべてを含み得る携帯型コンピュータとして示す。

コンピュータ３３０２とリモートコンピュータ３３４８の間の論理接続部は、ＬＡＮ（ローカルエリアネットワーク）３３５０および一般のＷＡＮ（ワイドエリアネットワーク）３３５２として示す。このようなネットワーク環境は、一般事務所、企業規模のコンピュータネットワーク、イントラネット、およびインターネットで一般的なものである。

ＬＡＮネットワーク環境で実施されるとき、コンピュータ３３０２は、ネットワークインターフェースまたはアダプタ３３５４を介してローカルネットワーク３３５０に接続される。ＷＡＮネットワーク環境で実施されるとき、コンピュータ３３０２は一般に、ワイドネットワーク３３５２を介して通信を確立するためのモデム３３５６その他の手段を含む。コンピュータ３３０２に内蔵または外付けとし得るモデム３３５６は、入出力インターフェース３３４０その他の適切な機構を介してシステムバス３３０８に接続することができる。図に示すネットワーク接続部は例であり、コンピュータ３３０２と３３４８の間で１つ（または複数）の通信リンクを確立する他の手段を使用し得ることを理解されたい。

コンピューティング環境３３００とともに示したもののなどのネットワーク環境では、コンピュータ３３０２に関連して示すプログラムモジュールまたはその一部は、リモートメモリ記憶装置に格納することができる。例として、リモートコンピュータ３３４８のメモリ装置上に常駐するリモートアプリケーションプログラム３３５８を示す。この説明では、アプリケーションプログラム、またはオペレーティングシステムなどの他の実行可能なプログラムコンポーネントは、本明細書では離散ブロックとして示すが、このようなプログラムおよびコンポーネントは、様々な時点でコンピューティング装置３３０２の異なる記憶コンポーネントに常駐し、コンピュータの１つ（または複数）のデータプロセッサによって実行されることを理解されたい。

本明細書では、様々なモジュールおよび技法を、１つまたは複数のコンピュータその他の装置によって実行されるコンピュータにより実行可能な命令、例えばプログラムモジュールの一般の状況において説明し得る。一般に、プログラムモジュールは、特定のタスクを実施し、また特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。典型的には、これらのプログラムモジュールの機能は、様々な実施形態において、所望のとおりに組み合わせるか、あるいは分散させることができる。

これらのモジュールおよび技法の実施形態は、なんらかの形態のコンピュータ読み取り可能媒体上に記憶し、またその先に送信することができる。コンピュータ読み取り可能媒体は、コンピュータがアクセスし得る任意の利用可能な媒体とし得る。例を挙げると、コンピュータ読み取り可能媒体は、「コンピュータ記憶媒体」および「通信媒体」を含み得るが、これらに限定されるものではない。

「コンピュータ記憶媒体」は、コンピュータ読み取り可能命令、データ構造、プログラムモジュールその他のデータなどの情報を記憶するための任意の方法または技術で実施される揮発性および不揮発性媒体、取り外し可能および固定の媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリその他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤその他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置その他の磁気記憶装置、あるいは所望の情報を記憶するのに使用することができ、かつコンピュータがアクセスし得る任意の他の媒体を含むが、これらに限定されるものではない。

「通信媒体」は一般に、搬送波その他の搬送機構などの変調データ信号の形で、コンピュータ読み取り可能命令、データ構造、プログラムモジュールその他のデータを含む。通信媒体は、任意の情報配信媒体も含む。「変調データ信号」という用語は、信号に情報を符号化するようにその信号の特性の１つまたは複数が設定または変更された信号を意味する。例を挙げると、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、および音波、ＲＦ、赤外線その他の無線媒体などの無線媒体を含むが、これらに限定されるものではない。上記のいずれの組合せも、コンピュータ読み取り可能媒体の範囲に含まれる。

（結び）
構造の特徴および／または方法の動作に固有の表現で本発明を説明してきたが、添付の特許請求の範囲で定義する本発明は、上記で説明した特定の特徴または動作に必ずしも限定されないことを理解されたい。そうではなくて、これらの特定の特徴および動作は、特許請求する本発明を実施する形態の例として開示するものである。例えば、本明細書で論じた輝度補正技法は、非カラー画像（例えば、グレイスケール画像）に容易に適用し得る。

輝度補正を施すのに使用し得る複数の写真を撮影するデジタルカメラ構成の例を示す図である。 図１に示すセンサによって取得された画像データを記憶する記憶装置構成の例を示す図である。 図１のセンサによって捕捉された光子エネルギーが、時間が経つうちにどのように増加し得るかを示す例示のグラフである。 デジタルカメラで輝度補正を提供する方法の例を示す図である。 薄暗い照明条件下で、図６と同じ場面を撮影した画像を示す写真である。 薄暗い照明条件下で、図５と同じ場面を撮影した画像を示す写真である。 輝度補正を適用した高画質画像の例を示す写真である。 輝度補正方法の例を示す図である。 輝度補正で利用し得るカラーヒストグラム均等化法の例を示す図である。 元の画像の均質な領域を示す図である。 動きによるぼけを伴って撮影された、図１０Ａと同じ領域を示す図である。 一方向に沿った画素の色の曲線を示す図である。 一方向に沿った画素の色の曲線を示す図である。 輝度補正で利用し得る空間領域マッチング法の例を示す図である。 図６の画像を複数領域にセグメント化した例を示す図である。 図１３の画像内の複数領域をエロードして得られた中間画像の例を示す図である。 図１３および図１４の選択した領域の中心を点として示す図である。 入力露出不足画像の例を示す写真である。 図１６の画像に輝度補正を適用することによって得られた画像の例を示す写真である。 図１６の画像に色変換技法を適用したときの結果の例を示す写真である。 図１６の画像に適応型ヒストグラム均等化法を適用した結果の例を示す写真である。 図１６の画像に２．５のガンマ補正を適用したときの結果の例を示す写真である。 写真編集プログラムで、図１６の画像に曲線調整を適用した結果の例を示す写真である。 本明細書で説明する方法の、露光時間が異なる２枚の入力画像の色情報を最適に組み合わせる能力を示す図である。 本明細書で説明する方法の、露光時間が異なる２枚の入力画像の色情報を最適に組み合わせる能力を示す図である。 本明細書で説明する方法の、露光時間が異なる２枚の入力画像の色情報を最適に組み合わせる能力を示す図である。 本明細書で説明する方法の、露光時間が異なる２枚の入力画像の色情報を最適に組み合わせる能力を示す図である。 場面内の対象物の動きによって生じる動きによるぼけの実験結果を示す図である。 場面内の対象物の動きによって生じる動きによるぼけの実験結果を示す図である。 場面内の対象物の動きによって生じる動きによるぼけの実験結果を示す図である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 本明細書で説明した技法を実施するのに使用し得る一般的なコンピュータ環境を示す図である。

符号の説明

３００ 光子エネルギーの時間変化
１５０２ 選択した領域の中心の点
３３００ コンピュータ環境
３３０２ コンピュータ
３３１６ ハードディスクドライブ
３３１８ 磁気ディスクドライブ
３３２０ 取り外し可能な不揮発性磁気ディスク
３３２２ 光ディスクドライブ
３３２４ 取り外し可能不揮発性光ディスク

Claims (39)

1. 同じ場面の第１画像および後続の第２画像を取得する画像センサと、
   前記取得画像を記憶する記憶装置と、
   前記記憶装置に接続され、輝度補正によって前記第１および第２の取得画像の一方の画質を高める処理装置と
   を備えたことを特徴とするデジタルカメラ。
2. 前記処理装置は、前記記憶装置に接続された１つまたは複数のプロセッサを含むことを特徴とする請求項１に記載のデジタルカメラ。
3. 前記処理装置は、前記記憶装置に接続された少なくとも１つのプロセッサを含み、前記記憶装置は、輝度補正によって前記第１および第２の取得画像の一方の画質を高める前記少なくとも１つのプロセッサによって実行される命令を記憶することを特徴とする請求項１に記載のデジタルカメラ。
4. 前記処理装置は、ＡＳＩＣ（特定用途向け集積回路）またはＰＬＡ（プログラム可能な論理回路）として実施されることを特徴とする請求項１に記載のデジタルカメラ。
5. 前記デジタルカメラを制御するステップと、前記記憶装置に記憶されたデータにアクセスするステップと、前記画像センサからデータを受け取るステップとを含む１つまたは複数の動作を実施する外部コンピューティング装置に接続されることを特徴とする請求項１に記載のデジタルカメラ。
6. 前記記憶装置は、前記デジタルカメラの外部にあることを特徴とする請求項１に記載のデジタルカメラ。
7. 前記記憶装置は、複数の記憶装置を含むことを特徴とする請求項１に記載のデジタルカメラ。
8. デジタルカメラ、デジタルビデオカメラ、ビデオを取得し得るデジタルカメラを含む集団から選択された装置であることを特徴とする請求項１に記載のデジタルカメラ。
9. 前記第１または第２の画像を取得する間に、人為的な光が存在しないことを特徴とする請求項１に記載のデジタルカメラ。
10. 前記画像センサは、前記第１画像と前記第２画像との取得の間、露光されたままであることを特徴とする請求項１に記載のデジタルカメラ。
11. 前記画像センサは、取得コマンドに応答して露光されることを特徴とする請求項１に記載のデジタルカメラ。
12. 前記第１および第２の画像は、薄暗い照明条件で撮影されることを特徴とする請求項１に記載のデジタルカメラ。
13. 前記第１画像は、露出不足であることを特徴とする請求項１に記載のデジタルカメラ。
14. 前記第２画像は、ぼけていることを特徴とする請求項１に記載のデジタルカメラ。
15. 前記輝度補正は、
    前記第１および第２の画像の空間コヒーレンスおよび色の統計データを求めるステップと、
    前記求められた色の統計データおよび空間コヒーレンスを用いて、前記第１および第２の画像のうち露出不足画像の画質を高めるステップと
    を含むことを特徴とする請求項１に記載のデジタルカメラ。
16. 前記画像センサは、ＣＣＤおよびＣＭＯＳを含む集団から選択されることを特徴とする請求項１に記載のデジタルカメラ。
17. 携帯電話、腕時計、およびＰＤＡを含む集団から選択される装置に一体化されることを特徴とする請求項１に記載のデジタルカメラ。
18. 前記輝度補正は、比較的広い範囲の高コントラスト場面を対象とするために、前記第１および第２の画像のカラーマッピング関数を改変することを含むことを特徴とする請求項１に記載のデジタルカメラ。
19. 前記輝度補正は、カラーヒストグラム均等化法を利用して、前記第１および第２の画像に対応する色の統計データを求めるステップを含み、前記カラーヒストグラム均等化法は、
    前記第１および第２の画像を知覚色空間に変換するステップと、
    前記知覚空間で色分布をクラスタ化するステップと、
    前記知覚空間でヒストグラム均等化法を実施するステップと、
    前記ヒストグラム均等化法の結果を赤−緑−青の空間に変換するステップと
    を含むことを特徴とする請求項１に記載のデジタルカメラ。
20. 前記輝度補正は、空間領域マッチング法を利用して、前記第１および第２の画像に対応する空間コヒーレンスを求めるステップを含み、前記空間領域マッチング法は、
    前記第１および第２の画像のうちぼけた画像を、複数の同様に色付けした領域にセグメント化するステップと、
    前記各領域をエロードするステップと、
    前記各領域を完全にエロードするための反復数を求めるステップと、
    前記各領域に、領域の中心を求めるステップと、
    前記反復数を降順に並べ替えるステップと、
    マッチング位置における前記第１および第２の画像から画素対を選択するステップと、
    前記選択した各画素に、隣接値を計算するステップと
    を含むことを特徴とする請求項１に記載のデジタルカメラ。
21. デジタルカメラの露光ブラケット機能を利用して、前記第１および第２の画像を取得することを特徴とする請求項１に記載のデジタルカメラ。
22. 前記場面は、速い動きの場面、生物学的な物質の場面、薄暗く照明された場面、動作の激しい場面を含む集団から選択されることを特徴とする請求項１に記載のデジタルカメラ。
23. 顕微鏡および電子顕微鏡を含む集団から選択された装置に装着されることを特徴とする請求項１に記載のデジタルカメラ。
24. 複数の画像センサをさらに備えたことを特徴とする請求項１に記載のデジタルカメラ。
25. データを記憶する複数のバッファをさらに備えたことを特徴とする請求項１に記載のデジタルカメラ。
26. 前記第１および第２の画像を取得する間、開いたままであるシャッタをさらに備えたことを特徴とする請求項１に記載のデジタルカメラ。
27. 画像センサを場面に曝すステップと、
    前記場面の第１画像を取得するステップと、
    前記第１画像を取得した後で、前記場面の第２画像を取得するステップと、
    前記取得画像に輝度補正を適用するステップと
    を含む方法であって、
    前記画像センサは、前記第１画像と前記第２画像との取得の間、露光されたままであることを特徴とする方法。
28. 前記第１画像は、露出不足であることを特徴とする請求項２７に記載の方法。
29. 前記第２画像は、ぼけていることを特徴とする請求項２７に記載の方法。
30. 前記輝度補正は、前記画像センサに通信により接続された記憶装置に記憶された輝度補正命令に従って適用されることを特徴とする請求項２７に記載の方法。
31. 前記輝度補正は、前記画像センサに通信により接続された記憶装置に記憶された輝度補正命令に従って適用され、前記取得画像に対応するデータは、１つまたは複数の記憶装置にバッファされることを特徴とする請求項２７に記載の方法。
32. 前記輝度補正は、前記画像センサに通信により接続された処理装置によって適用されることを特徴とする請求項２７に記載の方法。
33. 前記輝度補正は、前記画像センサに通信により接続された外部コンピューティング装置によって適用されることを特徴とする請求項２７に記載の方法。
34. 前記画像センサは、デジタルカメラ内に実装されることを特徴とする請求項２７に記載の方法。
35. 前記輝度補正を適用するステップは、
    前記第１および第２の画像の空間コヒーレンスおよび色の統計データを求めるステップと、
    前記求められた色の統計データおよび空間コヒーレンスを用いて、前記第１および第２の画像のうち露出不足画像の画質を高めるステップと
    を含むことを特徴とする請求項２７に記載の方法。
36. ある場面の第１画像を取得する手段と、
    前記第１画像を取得した後で、前記場面の第２画像を取得する手段と、
    前記取得画像に輝度補正を適用する手段と
    を備えたことを特徴とする機器。
37. 前記場面に画像センサを曝す手段をさらに備えたことを特徴とする請求項３６に記載の機器。
38. 前記取得画像を記憶する手段をさらに備えたことを特徴とする請求項３６に記載の機器。
39. 前記第１および第２の画像を取得する間、画像センサを露光する手段をさらに備えたことを特徴とする請求項３６に記載の機器。
    

Images