JP2005295566A - 輝度補正 - Google Patents

Abstract

【課題】 ぼけ画像または露出不足画像の画質を改善する技法を提供すること。
【解決手段】 本明細書で説明する一実施形態では、方法は、同じ場面の２枚の画像を提供することを含む。この方法では、これら２枚の画像の空間コヒーレンスおよび色の統計データを求める。求められた色の統計データおよび空間コヒーレンスを用いて、これら２枚の画像の一方の画質を高める。
【選択図】 図４

Description

本発明は、一般に画像処理に関し、より詳細には、輝度補正に関する。

ある場面を写真撮影するとき、この場面内の対象物から放出された光線は、標準のフィルムまたはデジタルフィルムなどのフィルム上に記録される。したがって、写真撮影は、このような光線を記録することに関係するものである。照明条件が不適切なとき（例えば、光量が少ない状態で写真撮影するとき）、写真は、十分な照明条件で撮影された写真に比べて、場面の情報の一部が欠如している。

薄暗い照明条件下で満足な写真を撮影することは、従来から極めて難しい問題であった。多くの場合、画像はぼけ、かつ／または露出不足になる。露出不足は一般に、フィルムが十分な量の光で露光されないことに起因する。露出不足は、フィルムをより長い時間露光することによってある程度補正することができる。これは、例えば、シャッタスピードをより遅くして、より長い時間シャッタを開いたままにすることによって行う。しかし、シャッタスピードを遅くするとぼけが生じる。ぼけの問題は、カメラを（例えば、三脚ではなく）手持ちで使用するときに悪化する。これは１つには、シャッタが開いている間の動きが大きくなるためである。ぼけは、シャッタが開いている間に場面内で対象物が動くことからも生じ得る。

いくつかの一般的な解決策は、（追加の照明を導入することによって光量の不足を補償するために）フラッシュを使用すること、あるいは、ＩＳＯ値（国際標準化機構によって定められた接頭子）のより大きいフィルムを使用することである。

フラッシュの使用は、様々な理由から制限される。例えば、フラッシュは、比較的短い距離でしか使えない。また、フラッシュにより色が変化して、場面の表現が不正確になる。（例えば、遠隔作動による）複数のフラッシュを使用してフラッシュ写真撮影の結果を改善し得るが、場面の周りに複数のフラッシュを設置することは、（例えば、屋外での写真撮影や、間際になって写真を撮るときなど）必ずしも実行可能ではないことがある。

ＩＳＯ値が比較的大きいフィルムもいくつかの理由から限定的なものである。従来方式の写真撮影では、フィルムは多くの場合、一度に１本のロールでしか交換できない。したがって、（例えば、光量が少ない条件に適した）ＩＳＯ値が比較的大きいフィルムをカメラに装填すると、このカメラは、撮影者の選択肢を制限（例えば、露光過多にならないように比較的速いシャッタスピードで写真を撮影しなければならない等）しない限り、通常の照明条件では使用できなくなる。デジタル写真撮影では、ＩＳＯ値が比較的大きい設定での性能は、完全にカメラのセンサによって決まり、これは、異なるカメラでは大きく異なることがある。さらに、より重大な欠点は、ＩＳＯ値を大きくするとノイズの量が比較的多くなることである。

現在、例えば、安全なシャッタスピードよりも長い時間露光したためにぼけた画像の画質を改善するいくつかの技法がある。一般に、安全なシャッタスピードとは、レンズの焦点距離の逆数よりも速いスピードである。これらの技法は、大雑把にインプロセス（ｉｎ−ｐｒｏｃｅｓｓ）手法およびポストプロセス（ｐｏｓｔ−ｐｒｏｃｅｓｓ）手法に分類される。これらの手法により、例えば、長露光時間、カメラの揺れ、または対象物の動きに起因する動きによるぼけが抑えられる。

インプロセス手法は、主にハードウェアに基づく技法であり、カメラの揺れを補償することによってレンズを安定化させる。あるいは、高速デジタルカメラ（ＣＭＯＳ（相補型金属酸化膜半導体）センサを備えたデジタルカメラなど）では、通常の露光時間内で高速コマ撮りを実施することができ、これら複数の画像に基づいて、動きによるぼけを元に戻すことができる。露光時間が適度であれば、これらのインプロセス技法により、比較的鮮明で切れのよい画像を生成することができる。ただし、これらの技法は、特別に設計したハードウェア装置を必要とする。

一方、ポストプロセス法は一般に、動きによるぼけを取り除く技法とみなし得る。中でも、ブラインドデコンボリューション（ｂｌｉｎｄ ｄｅｃｏｎｖｏｌｕｔｉｏｎ）法は、単一のぼけ画像の画質を高めるのに広く採用されており、様々なＰＳＦ（点像分布関数）の仮定の下で適用することができる。あるいは、より一般的な状況では、ぼけ方向が異なる数枚の画像、すなわち画像シーケンスを使用してＰＳＦを推定し得る。いずれの場合でも、空間座標および時間座標で画像を離散化かつ量子化するために、ＰＳＦを高い信頼性で推定することができず、真の基本画像（三脚に載せたカメラで撮影した画像、または、静止した場面の適正露出画像）より劣った結果になる。１次（高空間分解能）検出器および２次（高時間分解能）検出器からなるハイブリッド画像システムも提案されている。この２次検出器により、ＰＳＦを推定するためのより正確な動きの情報が得られ、そのため、露光が長い場合でも、ぼけの除去が可能になる。しかし、この技法は、追加のハードウェアによるサポートを必要とし、ぼけを取り除いた画像は依然として、細部では真の基本画像ほど見栄えがよくない。

したがって、この解決策では十分な画質を提供できない。

（例えば、カメラの揺れ、薄暗い照明条件下での撮影、あるいは、動作の激しい場面の撮影のために）ぼけた画像、または露出不足の画像の画質を改善する技法を開示する。

以下で説明する一実施形態では、方法は、同じ場面の２枚の画像を提供することを含む。この方法では、これら２枚の画像の空間コヒーレンスおよび色の統計データを求める。求められた色の統計データおよび空間コヒーレンスを用いて、これら２枚の画像の一方の画質を高める。

以下で説明する別の実施形態では、方法は、ある場面の露出不足画像および同じ場面のぼけ画像を提供することを含む。この方法では、これらの画像の空間コヒーレンスおよび色の統計データを求める。この色の統計データおよび空間コヒーレンスを用いることによって、露出不足画像の画質を高める。

以下の詳細な説明は、添付の図を参照して説明する。図では、参照数字の左端の１つ（または複数）の桁は、この参照数字を最初に使用した図を表す。異なる図で用いられる同じ参照数字は、類似の、または同じものを示す。

以下の開示では、（例えば、薄暗い照明条件、動作が激しい場面の存在、あるいは、カメラの揺れのために）ぼけた画像、または露出不足画像の画質を改善する技法を説明する。したがって、一方の画像を露出不足とし、他方をぼけ画像とし得る。これら２枚の画像に含まれる情報を用いて、目に見えるぼけまたは暗い部分のない高画質の場面の画像を提供する。これら２枚の画像は、例えば、画像の中心が大きく動かないようにするために、あるいは、カメラの動きまたは場面内の対象物の動きの影響を制限するために、短い間隔で撮影することができる。

（図２２〜図２５を参照して論じるように）この技法は、高コントラスト場面を処理するように容易に拡張することができ、それによって、飽和した領域の細部が明らかになる。さらに、これらの技法の一部を、デジタルカメラに直接組み込むことができる。例えば、デジタルカメラは、（図２９および図３０を参照してさらに論じるように）これら２枚の画像を撮影する間、シャッタが開いたままになるように構成し得る。

（概論）
図１および図２に、薄暗い照明条件下で同じ場面を撮影した画像を示す。図に示すように、図１の画像（Ｉ_Ｌ）は露出不足であり、図２の画像（Ｉ_Ｈ）はぼけている。図１および図２の画像の露光間隔は異なる。図に示すように、図１の画像（Ｉ_Ｌ）の露光時間は、図２の画像（Ｉ_Ｈ）の露光時間よりも短い。本明細書で論じる技法では、図１および図２に示す画像を使用して、図３に示すような高画質画像（Ｉ_Ｃ）を構築することができる。

（画像取得）
一実施形態では、取得する画像の露光時間とぼけの程度の間の得失評価（ｔｒａｄｅｏｆｆ）を利用するために、下記の露光設定を有する同じ取得装置（例えば、カメラ）を使用して２枚の入力画像を撮影することができる。

・安全なシャッタスピード付近の露光時間で一方の画像（例えば、図１のＩ_Ｌ）を撮影して、動きによるぼけがかなり小さい露出不足画像を生成する。この画像（Ｉ_Ｌ）は暗すぎるので、画像の色は許容できるものではない。

・他方の画像（例えば、図２のＩ_Ｈ）は、露光時間を長くして取得した画像である。この画像の色および明るさは許容し得るものである。ただし、この画像には、カメラが揺れたか、あるいは場面内の対象物が動いたために、動きによるぼけが生じる。

場面（または場面内の対象物）および／または取得装置（例えば、三脚を使用しない手持ちカメラ）が動き得る状況では、これら２枚の画像を短い間隔で取得してもよい。時間の経過をできるだけ短く保つと、これら２枚の画像間の差異は最小限に抑えられ、かつ／または各画素の位置の局所的な合致度が最大になる。

（輝度補正）
図４に、輝度補正方法の例４００を示す。図１および図２を参照して論じたものなど、同じ場面の２枚の画像（例えば、Ｉ_ＬおよびＩ_Ｈ）が提供された（ステップ４０２）後で、これらの画像の色の統計データ（ステップ４０４）および空間コヒーレンス（ステップ４０６）を求める（これらは、下記の同様の見出しの節でより詳細に説明する）。図１および図２を参照して論じたように、Ｉ_ＬおよびＩ_Ｈは、露光間隔が異なる同じ場面の２枚の画像である。したがって、これらの画像は、色の統計データだけでなく、対応する空間コヒーレンスによっても関連づけられる。

色の統計データおよび空間コヒーレンスの情報を用いて、色空間で露出不足画像（例えば、図１のＩ_Ｌ）の画質を高めて（ステップ４０８）、適正露光の高画質画像（例えば、図３のＩ_Ｃ）を提供する。より具体的には、一実施形態では、ステップ４０８で、カラーマッピング手法を利用する。このカラーマッピング法は、露出不足画像から求めた空間的な細部によって拘束され、そのため、これまでの純粋な色変換技法と異なり、それらを改善したものである。以下でさらにより詳細に論じるように、色の統計データおよび空間的な拘束を適切に定式化し、これらをベイズ法に組み込むことによって、ＭＡＰ（最大事後確率）解法により、色空間における最適なカラーマッピング関数が得られる。この関数により、画素の色の質が高められるのと同時に、構造的な細部が保存される。

さらに、方法４００は、カメラの揺れおよび対象物の動きを同時に、統一された枠組内で処理し得る。さらに、対象物の異なる部分ではＰＳＦが異なるために大部分のぼけ除去方法では難しい、対象物のトポロジーの変化または対象物の変形も処理し得る。さらに、（「高コントラスト場面における色の統計データ」でさらに論じるように）１つの拘束をわずかに改変することによって、高コントラスト場面を処理し、最も明るい区域または飽和した区域における撮影された細部を伴う画像を生成するように、方法４００を拡張し得る。

（Ｉ_ＬとＩ_Ｈの間の関係）
図１および図２を参照して論じたように、Ｉ_ＬおよびＩ_Ｈは、露光間隔が異なる同じ場面の２枚の画像である。したがって、これらの画像は、色の統計データだけでなく、対応する空間コヒーレンスによっても関連づけられる。これらの間の関係は、ベイズ法におけるカラーマッピング関数を推測するための拘束に変換し得る。

ある実施形態では、露出不足画像Ｉ_Ｌは、時間座標において、適正露光画像Ｉ_Ｈ中の影響を受け易い成分とみなすことができる。こうすると、露光期間中のカメラあるいは場面（または場面の対象物）の動きを合理的にモデル化し、マッピング処理を拘束することが可能になる。これを、以下に続く節でさらに説明する。

（色の統計データ）
ＲＧＢ（赤、緑、および青）の色空間では、重要な色の統計データは、カラーヒストグラムの形状から明らかにし得ることが多い。ヒストグラムは一般に、矩形または棒によって頻度分布を表すものである。これらの矩形または棒の幅は、クラスの間隔を表し、面積は、対応する頻度に比例する。そのため、このヒストグラムを利用して、Ｉ_ＬとＩ_Ｈの解析的な関係を確立することができる。さらに、放射照度が大きいほど、画素が明るくなるので、Ｉ_ＬおよびＩ_Ｈの色の統計データは、画素強度値が小さいほうから大きいほうまで順に一致し得る。したがって、Ｉ_Ｌのヒストグラム

は、下記の形式に直すことができる。

（１）で、ｇ（・）は、ヒストグラムの各色値に対して実施する変換関数であり、

は、Ｉ_Ｈのヒストグラムである。ｇ（・）を推定する一般的なやり方は、通常は目的曲線に従って画像のダイナミックレンジおよびコントラストを改変する適応型ヒストグラム均等化法である。

ただし、ある種の状況では、このヒストグラム均等化法により、満足な結果が得られないことがある。より具体的には、各チャネルの量子化された２５６個の（１バイト精度の）色は、様々なヒストグラムの形状を正確にモデル化するのに十分でないことがある。

図５に、輝度補正で利用し得るカラーヒストグラム均等化法の例５００を示す。より具体的には、方法５００を用いて、変換関数を最適に推定することができる。まず、画像をＲＧＢ空間から知覚色空間ｌαβに変換する（ステップ５０２）。ただし、ｌは無色チャネルであり、αおよびβは色度値を含む。このようにして、既知の蛍光体色度（ｐｈｏｓｐｈｏｒ ｃｈｒｏｍａｔｉｃｉｔｙ）とともに、より離散的な空間に画像を変換する。

新しい色空間における色分布は、６５，５３６個の（２バイト精度の）部分にクラスタ化される（ステップ５０４）。次いで、新しい色空間でヒストグラム均等化法を実施する（ステップ５０６）。ヒストグラム均等化法（ステップ５０６）の結果を変換して、ＲＧＢ空間に戻す（ステップ５０８）。

２枚の画像（例えば、図１および図２）に対してこの変換ヒストグラム均等化法を実施することによって、これら２枚の画像をそれらの色空間において完全に関連づけることができる。ただし、色の統計データは、カメラの画質によって概ね決まる。例えば、比較的暗い画像が大量のノイズを含む場合、まず、（例えば、画像をフィルタリングすることによって）劣化した情報を処理する必要がある。

（空間的な拘束）
上記で説明した色の統計データでは、Ｉ_ＨとＩ_Ｌの間のいかなる時間コヒーレンスも考慮していない。しかし、これら２枚の画像は、同じ場面を撮影したものなので、Ｉ_ＨとＩ_Ｌの間には強い空間的な拘束がある。

ある領域が類似の色の画素を含む状況で、図６Ａは、元の画像の均質な領域を示し、図６Ｂは、動きによるぼけを伴って撮影された同じ領域を示す。点６０２は、これらの領域の中心に印をつけたものである。図７Ａおよび図７Ｂの対応する曲線は、一方向に沿った画素の色を示す。図６Ａ、図６Ｂ、図７Ａ、および図７Ｂから、この領域の中心に向かう色は、この領域の面積が十分に大きくかつ均質であると仮定すると、ぼけによる影響をあまり受けないことがわかる。さらに、この領域内の色が一貫していることにより、中心画素の色は一致し得る。

図８に、輝度補正で利用し得る空間領域マッチング法の例８００を示す。方法８００を用いて、Ｉ_ＨとＩ_Ｌのマッチングシード（ｍａｔｃｈｉｎｇ ｓｅｅｄ）を選択し得る。ぼけ画像（例えば、図２のＩ_Ｈ）は、複数の領域にセグメント化される。このセグメント化は、各領域Ｒ_ｍ（Ｉ_Ｈ）が類似の色を含むように行われる（ステップ８０２）。図９に、図２を複数の領域にセグメント化した例を示す。

均質性およびサイズに従ってこれらの領域を区分けするために、各領域Ｒ_ｍ（Ｉ_Ｈ）をエロード（ｅｒｏｄｅ）し（ステップ８０４）、各領域を完全にエロードするための反復数と、領域ごとのエロード処理における最後の数画素である領域中心を求める（ステップ８０６）。一実施形態では、各領域Ｒ_ｍ（Ｉ_Ｈ）に、同じ形態的エロード操作を実施することができる。図１０に、図９の画像内の領域をエロードして得られた中間画像の例を示す。

反復数を降順に並べ替え、領域がマッチングするのに最も可能性の高い候補として最初のＭ個の領域を選択する（ステップ８０８）。その結果、これらの領域の中心の位置が、マッチング位置として選択される。画像Ｉ_ＨおよびＩ_Ｌから、このマッチング位置における画素対

を選択し（ステップ８１０）、隣接画素の色のガウス平均値として各ｃ^ｍごとに値を計算する（ステップ８１２）。ここでの分散は反復数に比例する。図１１に、選択した領域の中心を点１１０２として示す。図に示すように、点１１０２は、最も大きく、かつ最も均質なＭ個の領域に配置される。

マッチング処理（方法８００）は、理想的なカラーマッピング関数が、Ｉ_Ｌ中のいくつかのマッチングシードの色を、Ｉ_Ｈ中のマッチングシードの色に変換し得るはずであることを示唆している。次の節で、（色および空間の）２つの拘束を考慮に入れて拘束マッピング関数を推測するベイズ法を説明する。

（拘束マッピング関数）
カラーマッピング関数は、

と定義し得る。ただし、ｌ_ｉおよび

はそれぞれ、２つの集合で表される色値である。したがって、得られる画像Ｉ_Ｃは、露出不足画像にｆ（・）を適用する（Ｉ_Ｌ：Ｉ_Ｃ（ｘ，ｙ）＝ｆ（Ｉ_Ｌ（ｘ，ｙ））ことによって形成される。ただし、Ｉ_ｋ（ｘ，ｙ）は、画像Ｉ_ｋ中の画素の値である。ｆ（・）の形は、Ｉ_ＬおよびＩ_Ｈによって拘束されることに留意されたい。

ベイズ法では、Ｉ_ＬおよびＩ_Ｈの観察結果が与えられれば、次のように、事後確率を最大にして（ＭＡＰ）、ｆ^＊を推測する。

前の節では、Ｉ_ＬとＩ_Ｈの間で２種類の関係が観察された。一方は、Ｉ_ＬおよびＩ_Ｈそれぞれの２つのヒストグラム

および

によって記述し得る色の統計データである。他方は、Ｉ_ＬとＩ_Ｈの間のＭ個の対応するマッチングカラーシード

で表し得る領域マッチングによる拘束である。これらの関係は、拘束とみなすことができ、式（２）は次のように書き換えることができる。

次の節では、尤度

および先験的確率（ｐｒｉｏｒ）ｐ（ｆ）を定義する。

（尤度）
離散色空間でグローバルマッチング（ｇｌｏｂａｌ ｍａｔｃｈｉｎｇ）を実施するので、ｆは、離散値ｆ＝｛ｆ１，ｆ２，．．．，ｆｉ，．．．，ｆＮ｝の集合によって近似される。ただし、Ｎは、色空間のビンの総数である。したがって、式（３）における尤度は、ＩＩＤ（独立同分布）の仮定の下で、次のように因数分解することができる。

式（４）では、ｇ（ｌ_ｉ）は、色値ｌ_ｉにおいて、

を

に変換する関数である。

は、カラーシードの集合

において、ｌ_ｉに最も類似の色であり、

は、カラーシード対における

に対応する色である。

前の節の解析によれば、ｇ（ｌ_ｉ）および

は、各ｆ_ｉの２つの拘束要素である。これらの特性はともに、マッピング関数上で維持されるはずである。その結果、これら２つの拘束を釣り合わせることができ、尤度を次のようにモデル化し得る。

式（５）で、スケールαは、これらの２つの拘束を重み付けし、

は、これら２種類の拘束の不確定性をモデル化するための分散である。αの値が大きくなると、マッチングシード対の信頼度（ｃｏｎｆｉｄｅｎｃｅ）が落ちる。αは、下記の要素に関連づけることができる。

・距離

：距離が大きいことは、領域マッチングによる拘束が弱いことを示し、このため、αが１に近づく。したがってαは、この距離に反比例する。

・マッチングカラー対

の一致の不確定性：前の節で示したように、マッチング領域サイズが大きいほど、マッチングカラーについてこの領域の中心から得られる信頼度が高くなる。したがって、不確定性σ_Ｃは、各マッチングカラーの領域サイズに比例すると定義し得る。これら２つの要素を組み合わせると、αは次のように定義し得る。

式（６）で、βは、αの影響度を制御するスケールパラメータである。

（先験的確率）
先験的確率として、ｆ（・）に対して単調拘束を実施することができ、それによって、Ｉ_Ｌの構造の細部が維持される。さらに、近傍の色についてのカラーマッピングが急激に変化しないように、ある実施形態では、ｆ（・）は、その形状が滑らかなことが求められることがある。別の実施形態では、ｆの２次導関数を次のように最小限に抑えることができる。

式（７）で、

は、ｆの滑らかさを制御する分散である。

（ＭＡＰによる解法）
式（４）の対数の尤度と式（７）の対数の先験的確率を組み合わせ、以下の対数の事後関数を最小化することによって最適化問題を解くことができる。

式（８）で、Ｅ（ｆ）は、２次の目的関数である。したがって、グローバル最適マッピング関数ｆ（・）は、ＳＶＤ（特異値分解）によって得ることができる。式（７）では単調拘束を明示的に実施しないが、ある実施形態では、この滑らかさの拘束は、最終的な単調ｆを構築するのに十分である。

（他の例の結果）
本明細書で説明した技法を難しい状況に適用して、この手法の有効性を示す。その結果を、以下のように異なる集団に分類する。図１２に、入力露出不足画像の例を示す。図１３に、図１２の画像に本出願の輝度補正を適用することによって得られた画像の例を示す。図１４に、色変換技法を適用したときの結果の例を示す。図１５に、適応型ヒストグラム均等化法による結果の例を示す。図１６に、２．５のガンマ補正を適用したときの結果の例を示す。図１７に、写真編集プログラムで曲線調整を適用した結果の例を示す。これらの図が示すように、本明細書で説明した拘束を用いることにより、視覚的な画質がより良好になり、より細かい部分が得られる（すなわち、図１３）。

また、一実施形態では、本明細書で説明した（空間的および色の）２つの拘束がともに有益である。これらの拘束により、２つの異なる側面において解法が最適化される。したがって、一実施形態では、これらの拘束を組み合わせ、かつ釣り合わせることにより、本明細書で説明した方法の視覚的な正しさを保証し得る。

（手持ちカメラによって生じる動きによるぼけ）
図１８〜図２１の岩の例に、本明細書で説明した方法の、２枚の入力画像（すなわち、図１８および図１９の画像）の色情報を最適に組み合わせる能力を示す。各図の左下に、各画像のヒストグラムを示す。他のぼけ除去法と異なり、得られた縁部は切れがよく、鮮明である。これら２枚の入力画像はそれぞれ、１／４０秒および１／３秒のシャッタスピードで撮影したものである。図２０および図２１はそれぞれ、対応するヒストグラム付きのカラーマッピングした画像（Ｉ_Ｃ）および真の基本画像である。真の基本画像（図２１）は、三脚を使用して撮影したものである。図２０および図２１で、これらの画像は視覚的にも統計的にも近いことに留意されたい。

（対象物の動きによって生じる動きによるぼけ）
一実施形態では、本明細書で論じた技法により、（例えば、通常の露光間隔では、対象物の動きがあまりにも速い場合の）対象物の動きまたは変形の問題を容易に解決することができる。図２２〜図２４に、実験の結果を示す。図に示すように、参照し易くするために図２３および図２４の一部を拡大する。適正露光入力画像は、局所的にぼけている（図２３）。すなわち、ＰＳＦは全画像内で均一に表されず、そのため、デコンボリューション法では失敗し易い。本明細書で論じた技法（および図２２の露出不足画像）を用いて、カメラのシャッタスピードを４つの停止分遅くすることができる。その結果、ぼけの影響が大きく低減された高画質画像（Ｉ_Ｃ）を生成し得る（図２４）。

（高コントラスト場面における色の統計データ）
高コントラスト場面の画像を撮影する場合、Ｉ_Ｈでは明るい領域が飽和することになる。ヒストグラム均等化法では、飽和区域を含めて、Ｉ_ＬからＩ_Ｈに色が忠実に変換され、そのため、最も明るい領域において空間的な細部が劣化するだけでなく、画像の色空間においても急激な変化が生じる。

この問題を解決するために、前の節で説明したカラーマッピング関数ｇ（・）を改変して、より大きな範囲を対象とすることができる。一実施形態では、色変換技法を利用して、高コントラストの状況で画質を改善し得る。この技法は、画像のヒストグラムにおいても機能し、各チャネルに平均値および標準偏差を整合させることによってソース画像から対象画像に色を変換する。この処理はガウスマッチングなので、変換される色の最大値には何ら制限がない。

ある実施形態では、Ｉ_Ｈ中の非飽和画素はすべて、Ｉ_Ｌへの色の変換に使用される。この色変換技法を適用した後で、Ｉ_Ｌのマッピング結果は、色深度を超え（すなわち、２５５よりも大きくなり）、飽和画素は、より大きな色値に拡張される。したがって、より高い範囲の画像は、明るい領域および暗い領域でともに細部が明らかになるように構築される。

図２５〜図２８に、このような実施形態に関連する画像の例を示す。図に示すように、参照し易くするために図２５〜図２８の一部を拡大する。図２５および図２６に、入力画像（それぞれＩ_ＨおよびＩ_Ｌ）を示す。図２７の画像は、元のヒストグラム均等化関数としてｇ（・）を設定することによって再構築したものである。図２８は、色変換法を利用するようにｇ（・）を改変することによって、色および細部の画質が高められた結果である。図２８に示す画像を提示するためにトーンマッピングも実施する。

（ハードウェアの実施形態）
ハードウェアの一実施形態は、汎用コンピュータに接続されたデジタルカメラを含み得る。異なるシャッタスピードで（図１および図２を参照して論じたものなどの）２枚の画像を取得することは、このコンピュータ上で実行される、対応するカメラ用ソフトウェアによって制御し得る。このように構成することにより、撮影者は、コマとコマの間でカメラのパラメータを手作業で変更することから解放され、それによって、最適な写真を撮ることに専念することができる。あるいは、このソフトウェアは、カメラの内部で（または、フラッシュメモリなど、カメラに装着されたメモリ装置内で）実施し得る。カメラに組み込まれた機能は、ソフトウェア、ハードウェア、ファームウェア、またはこれらの組合せとして実施し得る。

いくつかのカメラ（例えば、キャノン製Ｇモデル、およびいくつかのニコン製クールピクス（Ｃｏｏｌｐｉｘ）モデルのデジタルカメラ）はすでに、露出ブラケット機能を含む。この機能により、シャッタボタンを１回押すことによって異なるシャッタスピードで複数の写真が撮影される。しかし、現在のカメラ内蔵機能を使用することには、いくつかの制限がある。すなわち、この機能は、マニュアルモードでは動作せず、シャッタスピードの差には制限がある。

図２９に、輝度補正を施すのに使用し得る複数の写真を一度に撮影するデジタルカメラ構成の例２９００を示す。このカメラは、単独のカメラとすることもできるし、（ＰＤＡ（携帯情報端末）、携帯電話などの）別の装置に組み込まれたカメラとすることもできる。構成２９００は、光線に曝されるシャッタ２９０２を含む。シャッタ２９０２が、（例えば、カメラのボタンが押された後で）開くと、光線がシャッタ２９０２を通過して、センサ２９０４（例えば、ＣＭＯＳまたはＣＣＤ（電荷結合素子））に至る。シャッタボタンを１回押すことによって、カメラは２枚の写真を撮影することができる。次いで、本明細書で論じるように、これらの写真に輝度補正を適用し得る。

一実施形態では、シャッタ２９０２の存在は任意選択とし得る。例えば、センサ２９０４は、（シャッタ２９０２などの）物理的な仕切りを必要とせずに、必要に応じて作動（例えば、通電）し得る。さらに、（センサカバーなどの）より簡略化した機構を使用して、（例えば、強い太陽光線、ほこり、水、湿気などの）環境要素からセンサ２９０４を保護し得る。

図２９に示すように、グラフ２９０６は、センサ２９０４によって捕捉された光子エネルギーが、時間が経つうちに（例えば、Ｔ１からＴ２になるまでに）どのように増加し得るかを示す。例えば、時間Ｔ１では、センサの画像は、（図１を参照して論じたように）薄暗い照明条件では露出不足であり得る。また、時間Ｔ２（例えば、時間Ｔ１の１／２秒後）では、センサの画像には、図２を参照して論じたように（例えば、カメラ、場面内の対象物などの動きのために）ぼけが生じ得る。一実施形態では、図３０を参照してさらに論じるように、この露光差を利用して、（機械式の露光機構ではなく）ソフトウェアによる露光を実現し得る。

一実施形態では、輝度補正を実施するソフトウェアは、（図３１を参照して論じるものなどの）汎用コンピュータを介して提供し得る。このコンピュータをカメラに直接接続するか、あるいは、このカメラからのメモリカードを後でコンピュータにつなげて、画像を処理に供することができる。あるいは、このソフトウェアは、カメラの内部で（または、フラッシュメモリなど、カメラに装着されたメモリ装置内で）実施し得る。さらに、カメラに組み込まれた機能は、ソフトウェア、ハードウェア、ファームウェア、またはこれらの組合せとして実施し得る。

（ソフトウェアによる露光の実施形態）
図３０に、（例えば、カメラのシャッタを制御する代わりに）ソフトウェアによってカメラの露光を制御する方法の例３０００を示す。方法３０００は、図２９を参照して論じたものなどのデジタルカメラ内でソフトウェア、ハードウェア、ファームウェア、またはこれらの組合せとして実施し得る。

例えば、単独のデジタルカメラまたは別の装置（ＰＤＡ、携帯電話など）に組み込まれたカメラのボタンを押すことによって、画像を取得するコマンドを受け取った（ステップ３００２）後で、カメラのシャッタ（例えば、２９０２）が開く（ステップ３００４）。第１画像は、時間Ｔ１で取得し得る（ステップ３００６）。時間Ｔ１は、図２９のグラフ２９０６を参照して論じたものとし得る。したがって、第１画像は露出不足であり得る（例えば、図１のＩ_Ｌ）。

シャッタを閉じずに、時間Ｔ２で、第２画像を取得する（ステップ３００８）。時間Ｔ２は、図２９のグラフ２９０６を参照して論じたものとし得る。したがって、第２画像にはぼけが生じ得る（例えば、図２のＩ_Ｈ）。

次いで、本明細書で論じたように、取得画像に輝度補正を適用して（ステップ３０１０）、高画質画像（例えば、図３のＩ_Ｃ）を提供する。

このように、シャッタは開いたままなので、方法３０００に従って、露出不足画像およびぼけ画像をともに取得することができる。このような実施形態では、（例えば、カメラまたは場面内の対象物からの）いかなる動きも制限されるようにし得る。

（一般的なコンピュータ環境）
図３１に、本明細書で説明した技法を実施するのに使用し得る一般的なコンピュータ環境３１００を示す。例えば、コンピュータ環境３１００を使用して、（カメラなどの）画像取得装置を制御するソフトウェアプログラムを実行し得る。コンピュータ環境３１００は、コンピューティング環境の単なる一例であり、コンピュータおよびネットワークアーキテクチャの利用法または機能の範囲に関していかなる制限も示唆するものではない。また、コンピュータ環境３１００を、コンピュータ環境の例３１００に示すコンポーネントのいずれか１つまたはそれらの組合せに関係する依存性または要件を有すると解釈すべきではない。

コンピュータ環境３１００は、コンピュータ３１０２の形態の汎用コンピューティング装置を含む。コンピュータ３１０２のコンポーネントは、（任意選択で、暗号化プロセッサまたはコプロセッサを含めて）１つまたは複数のプロセッサまたは処理装置３１０４、システムメモリ３１０６、およびプロセッサ３１０４を含めて様々なシステムコンポーネントをシステムメモリ３１０６に接続するシステムバス３１０８を含み得るが、これらに限定されるものではない。

システムバス３１０８は、メモリバスまたはメモリコントローラ、ペリフェラルバス、アクセラレィティッドグラフィックポート（ａｃｃｅｌｅｒａｔｅｄ ｇｒａｐｈｉｃｓ ｐｏｒｔ）、およびプロセッサまたはローカルのバスを含めて、様々なバスアーキテクチャのいずれかを利用するいくつかの種類のバス構造の１つまたは複数を表す。例を挙げると、このようなアーキテクチャは、ＩＳＡ（業界標準アーキテクチャ）バス、ＭＣＡ（マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ））バス、ＥＩＳＡ（拡張ＩＳＡ）バス、ＶＥＳＡ（ビデオ電子規格協会）ローカルバス、およびメザニン（Ｍｅｚｚａｎｉｎｅ）バスとしても知られるＰＣＩ（ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ））バスを含み得る。

コンピュータ３１０２は一般に、様々なコンピュータ読み取り可能媒体を含む。このような媒体は、コンピュータ３１０２がアクセスし得る任意の利用可能な媒体とすることができ、揮発性および不揮発性の媒体、取り外し可能および固定の媒体をともに含む。

システムメモリ３１０６は、ＲＡＭ（ランダムアクセスメモリ）３１１０などの揮発性メモリ、および／またはＲＯＭ（読出し専用メモリ）３１１２などの不揮発性メモリの形態のコンピュータ読み取り可能媒体を含む。例えば起動時に、コンピュータ３１０２内の要素間で情報を転送する助けとなる基本ルーチンを含むＢＩＯＳ（基本入出力システム）３１１４は、ＲＯＭ３１１２内に格納される。ＲＡＭ３１１０は一般に、処理装置３１０４が、即座にアクセスすることができ、かつ／または現在操作中のデータおよび／またはプログラムモジュールを含む。

コンピュータ３１０２は、取り外し可能／固定の、揮発性／不揮発性の他のコンピュータ記憶媒体も含み得る。例を挙げると、図３１に、（図示しない）固定の不揮発性磁気媒体に対して読書きを行うハードディスクドライブ３１１６、取り外し可能な不揮発性磁気ディスク３１２０（例えば、「フロッピー（登録商標）ディスク」）に対して読書きを行う磁気ディスクドライブ３１１８、およびＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭその他の光媒体などの取り外し可能な不揮発性光ディスク３１２４に対して読出しおよび／または書込みを行う光ディスクドライブ３１２２を示す。ハードディスクドライブ３１１６、磁気ディスクドライブ３１１８、および光ディスクドライブ３１２２はそれぞれ、１つまたは複数のデータ媒体インターフェース３１２５によってシステムバス３１０８に接続される。あるいは、ハードディスクドライブ３１１６、磁気ディスクドライブ３１１８、および光ディスクドライブ３１２２は、（図示しない）１つまたは複数のインターフェースによってシステムバス３１０８に接続し得る。

これらのディスクドライブおよびそれらに関連するコンピュータ読み取り可能媒体は、コンピュータ３１０２用のコンピュータ読み取り可能命令、データ構造、プログラムモジュールその他のデータの不揮発性記憶装置を提供する。この実施例では、ハードディスク３１１６、取り外し可能磁気ディスク３１２０、および取り外し可能光ディスク３１２４を示すが、磁気カセットその他の磁気記憶装置、フラッシュメモリカード、ＣＤ−ＲＯＭまたはＤＶＤ（デジタル多用途ディスク）その他の光記憶装置、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読出し専用メモリ）、ＥＥＰＲＯＭ（電気的に消去可能なプログラマブル読出し専用メモリ）など、コンピュータがアクセス可能なデータを記憶し得る他のタイプのコンピュータ読み取り可能媒体を使用して、例示のコンピューティングシステムおよび環境を実施することもできることを理解されたい。

ハードディスク３１１６、磁気ディスク３１２０、光ディスク３１２４、ＲＯＭ３１１２、および／またはＲＡＭ３１１０には、例を挙げると、オペレーティングシステム３１２６、１つまたは複数のアプリケーションプログラム３１２８、他のプログラムモジュール３１３０、およびプログラムデータ３１３２を含めて、任意の数のプログラムモジュールを格納することができる。このようなオペレーティングシステム３１２６、１つまたは複数のアプリケーションプログラム３１２８、他のプログラムモジュール３１３０、およびプログラムデータ３１３２（またはこれらのなんらかの組合せ）はそれぞれ、分散ファイルシステムをサポートする常駐コンポーネントの全部または一部を実施し得る。

ユーザは、キーボード３１３４およびポインティングデバイス３１３６（例えば、「マウス」）などの入力装置を介してコンピュータ３１０２にコマンドおよび情報を入力することができる。（具体的に図示しない）他の入力装置３１３８は、マイクロホン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、シリアルポート、スキャナおよび／またはその他のものを含み得る。上記その他の入力装置は、システムバス３１０８に結合された入出力インターフェース３１４０を介して処理装置３１０４に接続されるが、パラレルポート、ゲームポート、またはＵＳＢ（ユニバーサルシリアルバス）など他のインターフェースおよびバス構造によって接続することもできる。ＵＳＢポートを使用して、（図２９を参照して論じたような）カメラまたはフラッシュカードリーダをコンピュータ環境３１００に接続することができる。

モニタ３１４２その他の種類のディスプレイ装置も、ビデオアダプタ３１４４などのインターフェースを介してシステムバス３１０８に接続し得る。モニタ３１４２に加えて、他の周辺出力装置は、入出力インターフェース３１４０を介してコンピュータ３１０２に接続し得る（図示しない）スピーカおよびプリンタ３１４６などのコンポーネントを含み得る。

コンピュータ３１０２は、リモートコンピューティング装置３１４８など、１つまたは複数のリモートコンピュータへの論理接続部を使用するネットワーク環境で動作し得る。例を挙げると、リモートコンピューティング装置３１４８は、パーソナルコンピュータ、携帯型コンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピア装置（ｐｅｅｒ ｄｅｖｉｃｅ）その他一般のネットワークノード、ゲームコンソールなどとすることができる。リモートコンピューティング装置３１４８は、コンピュータ３１０２に関連して本明細書で説明した要素および特徴の多くまたはすべてを含み得る携帯型コンピュータとして示す。

コンピュータ３１０２とリモートコンピュータ３１４８の間の論理接続部は、ＬＡＮ（ローカルエリアネットワーク）３１５０および一般のＷＡＮ（ワイドエリアネットワーク）３１５２として示す。このようなネットワーク環境は、一般事務所、企業規模のコンピュータネットワーク、イントラネット、およびインターネットで一般的なものである。

ＬＡＮネットワーク環境で実施されるとき、コンピュータ３１０２は、ネットワークインターフェースまたはアダプタ３１５４を介してローカルネットワーク３１５０に接続される。ＷＡＮネットワーク環境で実施されるとき、コンピュータ３１０２は一般に、ワイドネットワーク３１５２を介して通信を確立するためのモデム３１５６その他の手段を含む。コンピュータ３１０２に内蔵または外付けとし得るモデム３１５６は、入出力インターフェース３１４０その他の適切な機構を介してシステムバス３１０８に接続することができる。図に示すネットワーク接続部は例であり、コンピュータ３１０２と３１４８の間で１つ（または複数）の通信リンクを確立する他の手段を使用し得ることを理解されたい。

コンピューティング環境３１００とともに示したものなどのネットワーク環境では、コンピュータ３１０２に関連して示すプログラムモジュールまたはその一部は、リモートメモリ記憶装置に格納することができる。例として、リモートコンピュータ３１４８のメモリ装置上に常駐するリモートアプリケーションプログラム３１５８を示す。この説明では、アプリケーションプログラム、およびオペレーティングシステムなどの他の実行可能なプログラムコンポーネントは、本明細書では離散ブロックとして示すが、このようなプログラムおよびコンポーネントは、様々な時点でコンピューティング装置３１０２の異なる記憶コンポーネントに常駐し、コンピュータの１つ（または複数）のデータプロセッサによって実行されることを理解されたい。

本明細書では、様々なモジュールおよび技法を、１つまたは複数のコンピュータその他の装置によって実行されるコンピュータにより実行可能な命令、例えばプログラムモジュールの一般の状況において説明し得る。一般に、プログラムモジュールは、特定のタスクを実施し、また特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。典型的には、これらのプログラムモジュールの機能は、様々な実施形態において、所望のとおりに組み合わせるか、あるいは分散させることができる。

これらのモジュールおよび技法の実施形態は、なんらかの形態のコンピュータ読み取り可能媒体上に記憶し、またその先に送信することができる。コンピュータ読み取り可能媒体は、コンピュータがアクセスし得る任意の利用可能な媒体とし得る。例を挙げると、コンピュータ読み取り可能媒体は、「コンピュータ記憶媒体」および「通信媒体」を含み得るが、これらに限定されるものではない。

「コンピュータ記憶媒体」は、コンピュータ読み取り可能命令、データ構造、プログラムモジュールその他のデータなどの情報を記憶するための任意の方法または技術で実施される揮発性および不揮発性媒体、取り外し可能および固定の媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル汎用ディスク（ＤＶＤ）その他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置その他の磁気記憶装置、あるいは所望の情報を記憶するのに使用することができ、かつコンピュータがアクセスし得る任意の他の媒体を含むが、これらに限定されるものではない。

「通信媒体」は一般に、搬送波その他の搬送機構などの変調データ信号の形で、コンピュータ読み取り可能命令、データ構造、プログラムモジュールその他のデータを含む。通信媒体は、任意の情報配信媒体も含む。「変調データ信号」という用語は、信号に情報を符号化するようにその信号の特性の１つまたは複数が設定または変更された信号を意味する。例を挙げると、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、および音波、ＲＦ、赤外線その他の無線媒体などの無線媒体を含むが、これらに限定されるものではない。上記のいずれの組合せも、コンピュータ読み取り可能媒体の範囲に含まれる。

（結び）
構造の特徴および／または方法の動作に固有の表現で本発明を説明してきたが、添付の特許請求の範囲で定義する本発明は、上記で説明した特定の特徴または動作に必ずしも限定されないことを理解されたい。そうではなくて、これらの特定の特徴および動作は、特許請求する本発明を実施する形態の例として開示するものである。例えば、本明細書で論じた輝度補正技法は、非カラー画像（例えば、グレイスケール画像）に容易に適用し得る。

薄暗い照明条件下で、図２と同じ場面を撮影した画像を示す写真である。 薄暗い照明条件下で、図１と同じ場面を撮影した画像を示す写真である。 輝度補正を適用した高画質画像の例を示す写真である。 輝度補正方法の例を示す図である。 輝度補正で利用し得るカラーヒストグラム均等化法の例を示す図である。 元の画像の均質な領域を示す図である。 動きによるぼけを伴って撮影された、図６Ａと同じ領域を示す図である。 一方向に沿った画素の色の曲線を示す図である。 一方向に沿った画素の色の曲線を示す図である。 輝度補正で利用し得る空間領域マッチング法の例を示す図である。 図２の画像を複数領域にセグメント化した例を示す図である。 図９の画像内の領域をエロードして得られた中間画像の例を示す図である。 図９および図１０の選択した領域の中心を点として示す図である。 入力露出不足画像の例を示す写真である。 図１２の画像に輝度補正を適用することによって得られた画像の例を示す写真である。 図１２の画像に色変換技法を適用したときの結果の例を示す写真である。 図１２の画像に適応型ヒストグラム均等化法を適用した結果の例を示す写真である。 図１２の画像に２．５のガンマ補正を適用したときの結果の例を示す写真である。 写真編集プログラムで、図１２の画像に曲線調整を適用した結果の例を示す写真である。 本明細書で説明する方法の、露光時間が異なる２枚の入力画像の色情報を最適に組み合わせる能力を示す写真である。 本明細書で説明する方法の、露光時間が異なる２枚の入力画像の色情報を最適に組み合わせる能力を示す写真である。 本明細書で説明する方法の、露光時間が異なる２枚の入力画像の色情報を最適に組み合わせる能力を示す写真である。 本明細書で説明する方法の、露光時間が異なる２枚の入力画像の色情報を最適に組み合わせる能力を示す写真である。 場面内の対象物の動きによって生じた動きによるぼけの実験結果を示す写真である。 場面内の対象物の動きによって生じた動きによるぼけの実験結果を示す写真である。 場面内の対象物の動きによって生じた動きによるぼけの実験結果を示す写真である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 輝度補正を施すのに使用し得る複数の写真を一度に撮影するデジタルカメラ構成の例を示す図である。 ソフトウェアによってカメラの露光を制御する方法の例を示す図である。 本明細書で説明する技法を実施するのに使用し得る一般的なコンピュータ環境を示す図である。

Claims (40)

1. 同じ場面の２枚の画像を提供するステップと、
   前記２枚の画像の空間コヒーレンスおよび色の統計データを求めるステップと、
   前記求められた色の統計データおよび空間コヒーレンスを用いて、前記２枚の画像の一方の画質を高めるステップと
   を含むことを特徴とする輝度補正方法。
2. 前記画像は、薄暗い照明条件で撮影されることを特徴とする請求項１に記載の方法。
3. 前記２枚の画像の一方は、露出不足であることを特徴とする請求項１に記載の方法。
4. 前記２枚の画像の一方は、ぼけていることを特徴とする請求項１に記載の方法。
5. 前記２枚の画像のうち露出不足画像の画質を高めることを特徴とする請求項１に記載の方法。
6. 前記２枚の画像は、前記色の統計データおよび前記空間コヒーレンスによって関連づけられることを特徴とする請求項１に記載の方法。
7. 前記２枚の画像を、前記２枚の画像の一方の画質を高める汎用コンピュータにダウンロードするステップをさらに備えたことを特徴とする請求項１に記載の方法。
8. 前記２枚の画像を、前記色の統計データおよび空間コヒーレンスの１つまたは複数を求める汎用コンピュータにダウンロードするステップをさらに備えたことを特徴とする請求項１に記載の方法。
9. 前記２枚の画像のカラーマッピング関数を改変して、高コントラスト場面の比較的広い範囲を対象とするステップをさらに備えたことを特徴とする請求項１に記載の方法。
10. カラーヒストグラム均等化法を利用して、前記色の統計データを求めるステップをさらに備えたことを特徴とする請求項１に記載の方法。
11. カラーヒストグラム均等化法を利用して、前記色の統計データを求めるステップをさらに備え、前記カラーヒストグラム均等化法は、
    前記２枚の画像を知覚色空間に変換するステップと、
    前記知覚空間で色分布をクラスタ化するステップと、
    前記知覚空間でヒストグラム均等化法を実施するステップと、
    前記ヒストグラム均等化法の結果を赤−緑−青の空間に変換するステップと
    を含むことを特徴とする請求項１に記載の方法。
12. 空間領域マッチング法を利用して、前記空間コヒーレンスを求めるステップをさらに備えたことを特徴とする請求項１に記載の方法。
13. 空間領域マッチング法を利用して、前記空間コヒーレンスを求めるステップをさらに備え、前記空間領域マッチング法は、
    前記２枚の画像のうちぼけ画像を、複数の同様に色付けした領域にセグメント化するステップと、
    前記各領域をエロードするステップと、
    前記各領域を完全にエロードするための反復数を求めるステップと、
    前記領域ごとに、領域の中心を求めるステップと、
    前記反復数を降順に並べ替えるステップと、
    前記画像からマッチング位置における画素対を選択するステップと、
    前記選択した各画素ごとに、隣接値を計算するステップと
    を含むことを特徴とする請求項１に記載の方法。
14. デジタルカメラの露光ブラケット機能を利用して、前記２枚の画像を提供するステップさらに備えたことを特徴とする請求項１に記載の方法。
15. デジタルカメラによって実施されることを特徴とする請求項１に記載の方法。
16. コンピュータが実行可能な命令を記憶する１つまたは複数のコンピュータ読み取り可能媒体であって、前記命令は、実行されたときに、請求項１に記載の方法を実施し、前記１つまたは複数のコンピュータ読み取り可能媒体は、デジタルカメラに組み込まれることを特徴とするコンピュータ読み取り可能媒体。
17. 一場面の露出不足画像を提供するステップと、
    同じ場面のぼけ画像を提供するステップと、
    前記画像の空間コヒーレンスおよび色の統計データを求めるステップと、
    前記求められた色の統計データおよび空間コヒーレンスを用いて、前記露出不足画像の画質を高めるステップと
    を備えたことを特徴とする輝度補正方法。
18. 前記画像は、薄暗い照明条件で撮影されることを特徴とする請求項１７に記載の方法。
19. 前記画像は、短い間隔で連続して撮影されることを特徴とする請求項１７に記載の方法。
20. カラーヒストグラム均等化法を利用して、前記色の統計データを求めるステップをさらに備えたことを特徴とする請求項１７に記載の方法。
21. カラーヒストグラム均等化法を利用して、前記色の統計データを求めるステップをさらに備え、前記カラーヒストグラム均等化法は、
    前記画像を知覚色空間に変換するステップと、
    前記知覚空間で色分布をクラスタ化するステップと、
    前記知覚空間でヒストグラム均等化法を実施するステップと、
    前記ヒストグラム均等化法の結果を赤−緑−青の空間に変換するステップと
    を含むことを特徴とする請求項１７に記載の方法。
22. 空間領域マッチング法を利用して、前記空間コヒーレンスを求めるステップをさらに備えたことを特徴とする請求項１７に記載の方法。
23. 空間領域マッチング法を利用して、前記空間コヒーレンスを求めるステップをさらに備え、前記空間領域マッチング法は、
    前記画像のうちぼけ画像を、複数の同様に色付けした領域にセグメント化するステップと、
    前記各領域をエロードするステップと、
    前記各領域を完全にエロードするための反復数を求めるステップと、
    前記領域ごとに、領域の中心を求めるステップと、
    前記反復数を降順に並べ替えるステップと、
    前記画像からマッチング位置における画素対を選択するステップと、
    前記選択した画素ごとに、隣接値を計算するステップと
    を含むことを特徴とする請求項１７に記載の方法。
24. コンピュータが実行可能な命令を記憶する１つまたは複数のコンピュータ読み取り可能媒体であって、前記命令は、実行されたときに、請求項１７に記載の方法を実施することを特徴とするコンピュータ読み取り可能媒体。
25. 請求項１７に記載の方法を実施するように構成されることを特徴とするデジタルカメラ。
26. 命令を記憶した１つまたは複数のコンピュータ読み取り可能媒体であって、前記命令は、実行されたときに、
    同じ場面の２枚の画像を提供するステップと、
    前記２枚の画像の空間コヒーレンスおよび色の統計データを求めるステップと、
    前記求められた色の統計データおよび空間コヒーレンスを用いて、前記２枚の画像の一方の画質を高めるステップと
    を含む動作を実施するように機械に指示することを特徴とするコンピュータ読み取り可能媒体。
27. 前記動作は、前記２枚の画像のカラーマッピング関数を改変して、高コントラスト場面の比較的広い範囲を対象とすることをさらに備えたことを特徴とする請求項２６に記載のコンピュータ読み取り可能媒体。
28. 前記動作は、カラーヒストグラム均等化法を利用して、前記色の統計データを求めるステップをさらに備えたことを特徴とする請求項２６に記載のコンピュータ読み取り可能媒体。
29. 前記動作は、カラーヒストグラム均等化法を利用して、前記色の統計データを求めるステップをさらに備え、前記カラーヒストグラム均等化法は、
    前記２枚の画像を知覚色空間に変換するステップと、
    前記知覚空間で色分布をクラスタ化するステップと、
    前記知覚空間でヒストグラム均等化法を実施するステップと、
    前記ヒストグラム均等化法の結果を赤−緑−青の空間に変換するステップと
    を含むことを特徴とする請求項２６に記載のコンピュータ読み取り可能媒体。
30. 前記動作は、空間領域マッチング法を利用して、前記空間コヒーレンスを求めるステップをさらに備えたことを特徴とする請求項２６に記載のコンピュータ読み取り可能媒体。
31. 前記動作は、空間領域マッチング法を利用して、前記空間コヒーレンスを求めるステップをさらに備え、前記空間領域マッチング法は、
    前記２枚の画像のうちぼけ画像を、複数の同様に色付けした領域にセグメント化するステップと、
    前記各領域をエロードするステップと、
    前記各領域を完全にエロードするための反復数を求めるステップと、
    前記領域ごとに、領域の中心を求めるステップと、
    前記反復数を降順に並べ替えるステップと、
    前記画像からマッチング位置における画素対を選択するステップと、
    前記選択した各画素ごとに、隣接値を計算するステップと
    を含むことを特徴とする請求項２６に記載のコンピュータ読み取り可能媒体。
32. 命令を記憶した１つまたは複数のコンピュータ読み取り可能媒体であって、前記命令は、実行されたときに、
    一場面の露出不足画像を提供するステップと、
    同じ場面のぼけ画像を提供するステップと、
    前記画像の空間コヒーレンスおよび色の統計データを求めるステップと、
    前記求められた色の統計データおよび空間コヒーレンスを用いて、前記露出不足画像の画質を高めるステップと
    を含む動作を実施するように機械に指示することを特徴とするコンピュータ読み取り可能媒体。
33. 前記動作は、カラーヒストグラム均等化法を利用して、前記色の統計データを求めるステップをさらに備えたことを特徴とする請求項３２に記載のコンピュータ読み取り可能媒体。
34. 前記動作は、カラーヒストグラム均等化法を利用して、前記色の統計データを求めるステップをさらに備え、前記カラーヒストグラム均等化法は、
    前記画像を知覚色空間に変換するステップと、
    前記知覚空間で色分布をクラスタ化するステップと、
    前記知覚空間でヒストグラム均等化法を実施するステップと、
    前記ヒストグラム均等化法の結果を赤−緑−青の空間に変換するステップと
    を含むことを特徴とする請求項３２に記載のコンピュータ読み取り可能媒体。
35. 前記動作は、空間領域マッチング法を利用して、前記空間コヒーレンスを求めるステップをさらに備えたことを特徴とする請求項３２に記載のコンピュータ読み取り可能媒体。
36. 前記動作は、空間領域マッチング法を利用して、前記空間コヒーレンスを求めるステップをさらに備え、前記空間領域マッチング法は、
    前記画像のうちぼけ画像を、複数の同様に色付けした領域にセグメント化するステップと、
    前記各領域をエロードするステップと、
    前記各領域を完全にエロードするための反復数を求めるステップと、
    前記領域ごとに、領域の中心を求めるステップと、
    前記反復数を降順に並べ替えるステップと、
    前記画像からマッチング位置における画素対を選択するステップと、
    前記選択した画素ごとに、隣接値を計算するステップと
    を含むことを特徴とする請求項３２に記載のコンピュータ読み取り可能媒体。
37. 同じ場面の２枚の画像を提供する手段と、
    前記２枚の画像の空間コヒーレンスおよび色の統計データを求める手段と、
    前記求められた色の統計データおよび空間コヒーレンスを用いて、前記２枚の画像の一方の画質を高める手段と
    を備えたことを特徴とする機器。
38. 前記２枚の画像のカラーマッピング関数を改変して、高コントラスト場面の比較的広い範囲を対象とする手段をさらに備えたことを特徴とする請求項３７に記載の機器。
39. カラーヒストグラム均等化法を利用して、前記色の統計データを求める手段をさらに備えたことを特徴とする請求項３７に記載の機器。
40. 空間領域マッチング法を利用して、前記空間コヒーレンスを求める手段をさらに備えたことを特徴とする請求項３７に記載の機器。
    

Images