JP2004007462A

JP2004007462A - フレア光の影響に対しデジタル画像を補正する方法

Info

Publication number: JP2004007462A
Application number: JP2003063461A
Authority: JP
Inventors: Edward B Gindele; エドワード　ブルックス　ジンデール
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2002-03-22
Filing date: 2003-03-10
Publication date: 2004-01-08
Also published as: US20030179948A1; US6912321B2; EP1387318B1; DE60309545T2; EP1387318A2; DE60309545D1; EP1387318A3

Abstract

【課題】基準の黒い被写体に依存することなく、且つ、オリジナルのカメラにおける撮像されないフレア光を感知する必要なくデジタル画像の画素からフレア光の量を自動的に感知し、感知されたフレア光の量に対し画像を補正する。
【解決手段】デジタル画像を生成するためにフレア光の影響に対しデジタル画像を補正する方法であり、オリジナルのシーンから得られ撮像されたフレア光の影響を受けたソースデジタル画像に対し行われる。ソースデジタル画像は、オリジナルのシーンに対応する光度に対し既知の関係を有する複数の画素を含む。撮像されたフレア光の強度に関連する第１のフレア制御パラメータとオリジナルのシーンにおける撮像された光の平均強度レベルに関連する第２のフレア制御パラメータがソースデジタル画像から得られ、フレア補正関数は第１及び第２のフレア制御パラメータを用いて計算される。
【選択図】　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像処理方法に係り、特に、画像捕捉装置によりもたらされるフレア光による影響を除去するデジタル画像処理方法に係る。
【０００２】
【従来の技術】
プロの写真家やアマチュアの写真家によって使用されるカメラのほとんどは、一様に、フレア光、即ち、画像を形成する光の上に重なる画像を形成しない光の影響を受ける。カメラ設計者は一般的に、バッフルを組込んで、軸から外れたストレイの光源によるフレア光の影響の大きさを減衰しようとする。しかし、フレア光を完全に排除することのできるバッフルセットはない。フレア光の別の成分は、カメラの光学素子から散乱する散光によりもたらされる。例えば、レンズ表面上の汚れ又は指紋によって、光を散乱させてしまう。この光は、こういった汚れ又は指紋がなければ、画像を形成する光である。散光は、全体のフレア光に寄与する。フレア光は、記録された光度のダイナミックレンジを減少することにより画像に影響を与え、更に、カラーの被写体の彩度を減少させる影響を有する。強度レベルが高いフレア光を生成するカメラによって形成される画像は、コントラストが低くなる。
【０００３】
特許文献１において、Ｆｉｓｋｅにより、フレア光の影響を補正するよう設計された光撮像システムが開示される。Ｆｉｓｋｅにより開示されるシステムは、画像からの光を検出し、検出された光の量に関連する信号を生成する検出器と、フレア光を観察し、観察されたフレア光の量に関連する信号を生成するフレア光検出器と、フレア光検出器からの信号に対応して画像検出器からの信号を少なくする補正装置とを含む。このシステムでは、フレア光の量は、別個の電子センサによって監視され、一方、画像を形成する光は、エリア電子撮像センサによって記録される。別個の電子センサによって生成される信号によっておおよその値が求められるフレア光成分は、エリア電子撮像センサによって生成される信号から引算され、それにより、フレア光の影響に関して画像を補正する。Ｆｉｓｋｅにより開示されるフレア補正方法は、画像の形成に寄与する画像形成光と画像の形成に寄与しない非画像形成光の同時測定に依存する。
【０００４】
特許文献２において、Ｏｍｕｒａによってフレア補正方法が開示される。開示される方法は、以下の段階を含む。即ち、走査システムによって、光源により照射される基準画像を光走査して、基準画像に対応する基準画像情報を出力する段階と、走査システムにより得られた基準画像情報に基づいて、フレアにより引き起こされるる画像情報の劣化に関する応答を表す関数を生成する段階と、走査システムによって、光源により照射される文書を光走査する段階と、走査システムによって得られた画像情報と上述の関数を使用するデコンボリューション演算を行う段階とを含む。Ｏｍｕｒａにより開示される方法は、特定の装置のフレア光分布の測定を明示的に使用するので、異なる装置からのデジタル画像の処理には適用できない。
【０００５】
走査されたフィルム画像（動画フィルムフレームを走査することにより得られる）の平均輝度強度レベルは一般的に、走査ビデオカメラのレンズ組立体における散光によって、フレーム毎に望ましくなく異なる。動画フィルムをビデオに変換する一部のシステムは、「フレア補正」アルゴリズムを組み入れて、連続するフレーム間での望ましくない輝度の変化を滑らかにしている。特許文献３では、Ｌｅｖｙ外により、フレア補正ファクタ信号をデジタル的に生成し、そのフレア補正ファクタ信号を使用して、フレーム毎の望ましくない輝度の変化を補正するシステムが開示される。ビデオシステムに用いられるこれらの「フレア補正」方法は、光カメラによりもたらされるフレア光の影響を除去するよう設計されてはいない。
【０００６】
特許文献４において、Ｎａｋａｍｕｒａにより、フレア光の影響を補正するよう設計されたビデオカメラシステムが開示される。Ｎａｋａｍｕｒａにより開示されるビデオカメラは、アナログビデオ信号を生成する画像センサと、アナログビデオ信号のうち所定の輝度レベル以上の成分は切り捨てるようアナログビデオ信号をデジタルビデオ信号に変換するＡ−Ｄ変換器と、デジタルビデオ信号に重なるフレア成分を除去するフレア補正回路が具備される。Ｎａｋａｍｕｒａの方法では、デジタルビデオ信号の幾つかのフィールドの一定期間の間に検出される平均輝度レベルと、明るく照らされた被写体に関連してアナログ信号が切り捨てられる検出時間との両方に依存するフレア補正信号を計算する。フレア補正信号はデジタルビデオ信号から引算される。
【０００７】
特許文献５において、Ｎａｍｉｚｕｋａ外によりフレア光の影響を取り除くよう設計された画像依存型の画像処理モデルを組込む画像処理方法の例が開示される。Ｎａｍｉｚｕｋａの方法は、所定閾値以下のセンシング画像画素に基づくフレア光レベルを計算する処理段階を含む。計算されたフレア光レベルは、後の処理段階において画像データから引算される。Ｎａｍｉｚｕｋａ外により開示される方法では、フレア除去段階は、キャラクタデータを含む画像領域に関連するとして識別された画素データにのみ適用される。というのは、フレア除去段階は、２値処理された画素値を生成するよう設計されるからである。従って、Ｎａｍｉｚｕｋａ外により説明される「フレア」成分は、光学系によりもたらされる全体のフレア光というよりも、撮像されたキャラクタデータの所望の「ブラックレベル」により関連性があり、というのは、フレア補正は、同様に全体的にフレア光を経験する連続階調の画像領域に対して行われないからである。
【０００８】
特許文献６では、Ｇｉｌｍａｎ外は、トーンスケール関数を用いることによりシステムのフレア光の影響を補正する方法を開示する。この方法では、照準トーンスケール関数、又は、曲線は、所定の最大濃度を有する所望の出力媒体に対する照準曲線の群から選択される。曲線群の各曲線は、暗い画像領域のコントラストに関連する曲線の傾斜が、画像領域が暗いほど大きくなるような形で構成される。従って、選択された照準曲線の適用は、デジタル画像に適用すると、画像捕捉装置又は印刷装置のいずれかによりもたらされるフレア光を補正するのと似た効果がある。Ｇｉｌｍａｎ外により開示される方法では、照準曲線の選択は、手動である。即ち、ユーザが、画像処理に使用されるべき照準曲線を選択しなければならない。
【０００９】
マルチスペクトル遠隔感知システムは、多くの異なるスペクトル波長帯域の画像を記録する。散光による大気のかすみによって、感知された画像には高いシーン反射率値が高くなってしまう場合がある。この影響の大きさは光の波長に依存し、その影響は、波長が短いほど大きい。従って、マルチスペクトル遠隔感知システムの複数の帯域が、様々な度合いで大気のかすみにより影響を受ける。
【００１０】
非特許文献１において、Ｃｈａｖｅｚは、大気のかすみによる影響を取り除くデジタル画像処理方法を説明している。この方法では、暗い被写体に対応する画素値が、通常、光の長い波長に対応するマルチスペクトル画像の１つの帯域内に選択される。好適な暗い被写体は、赤外線波長帯域で感知される水で満たされたプールである。というのは、赤外線波長帯域は、大気のかすみによる影響が全くないか又は影響がほとんどないということで知られており、また、水は赤外線において反射率が既知であるからである。相対散乱モデル（波長の関数として大気のかすみの相対的な大きさに関する）を使用して、他のマルチスペクトル帯域のそれぞれに対して画素オフセットを計算する。画素オフセットは、それぞれのマルチスペクトル帯域に対する画像の画素データから引算される。結果として得られる処理画像は、大気のかすみの影響が取り除かれてり、マルチスペクトル画像のラジオメトリが回復されている。大気のかすみを取り除くために使用される線形引算計算は、可視波長撮像システムにおけるフレア光に対してのフレア光除去アルゴリズムに必要なものと同じである。しかし、Ｃｈａｖｅｚにより説明される方法は、可視波長光カメラシステムに対してフレア光を除去するために直接適用することができない。というのは、多くの自然画像は、フレア光のない状態に対応する理想的な暗い被写体を含まないからである。
【００１１】
【特許文献１】
米国特許第４，９７４，８１０号
【特許文献２】
米国特許第５，２０８，８７４号
【特許文献３】
米国特許第５，１５５，５８６号
【特許文献４】
米国特許第５，２８０，３５４号
【特許文献５】
米国特許第５，８９２，８５２号
【特許文献６】
米国特許第６，２２９，６２４号
【非特許文献１】
Ｃｈａｖｅｚ，　“Ａｎ　Ｉｍｐｒｏｖｅｄ　Ｄａｒｋ−Ｏｂｊｅｃｔ　Ｓｕｂｔｒａｃｔｉｏｎ　Ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　Ａｔｍｏｓｐｈｅｒｉｃ　Ｓｃａｔｔｅｒｉｎｇ　Ｃｏｒｒｅｃｔｉｏｎ　ｏｆ　Ｍｕｌｔｉｓｐｅｃｔｒａｌ　Ｄａｔａ”，　Ｒｅｍｏｔｅ　Ｓｅｎｓｉｎｇ　ｏｆｔｈｅ　Ｅｎｖｉｒｏｎｍｅｎｔ，第２４版、１９８８年、ｐ．４５９−４７９
【発明が解決しようとする課題】
従って、基準の黒い被写体に依存することなく、又は、オリジナルのカメラにおける撮像されないフレア光を感知する必要なく、デジタル画像の画素からフレア光の量を自動的に感知し、感知されたフレア光の量に対し画像を補正するデジタル画像処理方法が必要である。
【００１２】
本発明は、上述した１つ以上の問題を解決することを目的とする。
【００１３】
【課題を解決するための手段】
簡単に要約すると、本発明の１つの面では、本発明は、フレア光の影響に対してデジタル画像を補正して、高められたデジタル画像を生成する方法にある。本発明の方法は、ａ）オリジナルのシーンから得られ、撮像されたフレア光の影響を受けており、オリジナルのシーンに対応する光度に対し既知の関係を有する複数の画素を含む、ソースデジタル画像を受信する段階と、ｂ）ソースデジタル画像から、撮像されたフレア光の強度に関連する第１のフレア制御パラメータと、オリジナルのシーンにおける撮像された光の平均強度レベルに関連する第２のフレア制御パラメータとを生成する段階と、ｃ）第１のフレア制御パラメータ及び第２のフレア制御パラメータを用いてフレア補正関数を計算する段階と、ｄ）フレア補正関数及びソースデジタル画像から高められたデジタル画像を生成する段階とを含む。本発明の更なる面では、フレアパラメータは、ソースデジタル画像から生成される線形状態デジタル画像から得られる。線形状態デジタル画像の画素は、オリジナルのシーンに対応する光度と線形関係を有する。
【００１４】
本発明の利点は、基準の黒い被写体に依存する必要なく、また、オリジナルのカメラにおける実際の撮像されないフレア光を感知する必要なく、デジタル画像の画素からフレア光の量を自動的に感知し、感知されたフレア光の量について補正することができる点である。
【００１５】
【発明の実施の形態】
本発明の上述した面及び他の面、目的、特徴、及び、利点は、好適な実施例の詳細な説明、特許請求の範囲、及び、添付図面を参照することにより、より明らかに理解することができるであろう。
【００１６】
デジタル画像は、１つ以上のデジタル画像チャネルで構成される。各デジタル画像チャネルは、画素の２次元アレイで構成される。各画素は、画像捕捉装置が受ける光の量に関連し、画素の幾何学的領域に対応する。カラーの撮像適用については、デジタル画像は一般的に、赤、緑、および、青のデジタル画像チャネルで構成される。他のチャネル構造も使用される。例えば、シアン、マゼンダ、および、イエローのデジタル画像チャネルである。モノクロの適用については、デジタル画像は、１つのデジタル画像チャネルで構成される。動き撮像適用は、デジタル画像を時系列に並べたものとして考えられる。当業者は、本発明が上述したデジタル画像のいずれにも適用することができ、且つ、それに制限されないことを認識するであろう。本発明では、デジタル画像チャネルを、行と列に配置された画素値の２次元的アレイとして説明するが、当業者は、本発明が、同様の効果を有するモザイク（非直線的）アレイにも適用できることを認識するであろう。
【００１７】
本発明は、コンピュータハードウェアにおいて実施されうる。図１を参照しながら、以下において、画像捕捉装置１０、デジタル画像プロセッサ２０、画像出力装置３０、及び、汎用制御コンピュータ４０を含むデジタル撮像システムに関連しながら説明する。画像捕捉装置１０はソースデジタル画像を生成して、この画像はデジタル画像プロセッサ２０により受信される。デジタル画像プロセッサ２０は、ソースデジタル画像から高められたデジタル画像を生成し、その高められたデジタル画像を出力装置３０に転送して、表示させる。デジタル撮像システムは更に、キーボード及び／又はマウスポインタといった、操作者用の入力装置制御器６０を含む。更に、本実施例で使用されるように、本発明は、コンピュータプログラムとしても実施することができ、その場合、プログラムは、オフラインメモリ装置７０、即ち、コンピュータ読み取り可能な記憶媒体に格納され得る。記憶媒体には、例えば、磁気ディスク（例えば、フロッピー（登録商標）ディスク）又は磁気テープといった磁気記憶媒体、光ディスク及び光テープといった光記憶媒体、機械読み取り可能なバーコード、ランダムアクセスメモリ（ＲＡＭ）又は読出し専用メモリ（ＲＯＭ）といった半導体電子記憶装置、又は、コンピュータプログラムを格納するために使用される他の任意の物理的な装置又は媒体が含まれ得る。本発明の方法は、本発明の方法の段階を実行するコンピュータコードを有するコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラムプロダクトとして販売され得る。本発明を説明する前に、本発明は、パーソナルコンピュータといった任意の周知のコンピュータシステムにおいて好適に使用される点に留意することにより、本発明の理解が容易となるであろう。
【００１８】
図１に示したデジタル画像プロセッサを、図２により詳細に示す。ソースデジタル画像１０１は、線形化モジュール１１０及びフレア変換アプリケータ１４０の両方に受信される。線形化モジュール１１０は、ソースデジタル画像１０１を解析するために、ソースデジタル画像１０１から線形状態デジタル画像１０２を生成する。線形状態デジタル画像１０２は、フレアレベルカルキュレータ１２０に受信される。カルキュレータ１２０は、線形状態デジタル画像１０２の画素を使用して、（ａ）少なくとも部分的に画像捕捉装置１０によりもたらされる撮像されたフレア光の強度に関するフレア光値と、（ｂ）画像捕捉装置１０により撮像されたオリジナルのシーンの平均光度レベルに関する平均光値を計算する。フレア光レベル及び平均光レベルは、フレア制御パラメータの例である。フレア変換ジェネレータ１３０は、フレア光値及び平均光値を受信し、ルックアップテーブル（ＬＵＴ）の形であるフレア補正関数を生成する。フレア補正関数は、フレア変換アプリケータ１４０によって受信され、アプリケータ１４０は、フレア補正関数をソースデジタル画像１０１に適用して高められたデジタル画像１０３を生成する。解析変数の計算及びフレア補正関数の構成の詳細は以下に説明する。
【００１９】
線形化モジュール１１０は、２つのタスクを行う。１つは、画素平均化処理によってソースデジタル画像１０１の低空間分解能バージョンを生成する。低空間分解能の画素値は、線形化ＬＵＴによって変更されて、シーン空間デジタル画像１０２が形成される。シーン空間デジタル画像１０２の空間分解能は、約６４×９６画素である。従って、１，０２４×１，５３６画素の空間分解能を有するソースデジタル画像１０１に対して、シーン空間デジタル画像１０２の各画素は、ソースデジタル画像１０１の１６×１６画素のグループを平均化することにより計算される。本発明は、計算効率を良くするためにこのようなブロック平均化法を使用する。当業者は、本発明が、低空間分解能画像を生成するために他の方法も使用できることを認識するであろう。特に、ガウスコンボリューションフィルタが使用可能である。他の寸法を有するシーン空間デジタル画像１０２を使用することもできる。シーン空間デジタル画像１０２に対して６４×９６画素の寸法を選択する最も大きな理由は、画像の確率的ノイズである。約６４×９６画素の空間分解能を有する画像は、比較的かなりの強度レベルのノイズがないのである。従って、シーン空間デジタル画像１０２に依存する解析は、ソースデジタル画像１０１における画像ノイズの影響を受けにくくなる。
【００２０】
線形化ＬＵＴの数学的形成は、ソースデジタル画像１０１の画素値の、その画素値が得られた光度との関係に依存する。線形化ＬＵＴを低空間分解能の画素値に適用することにより、変更された画素値が生成されるが、これは、その画素値が得られた光度に対し線形関係を有する。この関係の効果をあげるために、ソースデジタル画像１０１の画素値の光度に対する関係は既知でなければならない。本発明は、３つの基本的な形で画像データを受け取る。即ち、線形形式、対数形式、及び、指数形式である。線形画像データの場合、ソースデジタル画像１０１の画素値は、その画素値が得られた光と既に線形関係を有し、対応する線形化ＬＵＴは、恒等ＬＵＴである。即ち、出力画素値は入力画素値と等しい。対数及び指数の画像データの線形化ＬＵＴの形成はより複雑である。
【００２１】
一部の撮像装置は、線形画素データを有するデジタル画像を生成することを、ユーザに対して可能にする。しかし、多くの撮像装置は、デフォルトで、指数画素データを有するデジタル画像を生成する。こういったデジタル画像は、一般的なコンピュータのモニタ上で表示されたときに自然に見えるからである。指数画像データを含むソースデジタル画像については、線形化ＬＵＴは、式（１）を用いて計算される。
【００２２】
ｆ（ｘ）＝ｋｘ^ｎ　　　　　　　　　　　　　　　　　　　（１）
ただし、パラメータｎは２．４の値に設定され、パラメータｋはデータを適切な数値内に正規化するために使用され、ｘは線形化ＬＵＴへ入力される画素値を表し、ｆ（ｘ）は、線形化ＬＵＴの出力値を表す。例えば、８ビット画像に対し、ｋの値は０．００６８６３に設定され、これは、０乃至２５５の範囲におよぶ始まりの画素値を、０乃至４，０９５の範囲におよぶ出力範囲に広げる。対応する逆線形化ＬＵＴは、式（２）を用いて生成される。
【００２３】
ｂ（ｘ）＝（ｘ／ｋ）^１／ｎ　　　　　　　　　　　　　　　（２）
逆線形化ＬＵＴの式は、線形化ＬＵＴに用いられる関数に対し逆関数である。逆線形化ＬＵＴは、フレア補正関数を生成するために後で用いられる。
【００２４】
本発明は、画像捕捉装置１０として写真フィルムトランスペアレンシスキャナを用いて生成されるデジタル画像に使用することができる。ソースデジタル画像は、従来のフィルムカメラにより生成される写真フィルムトランスペアレンシを光電子写真式にスキャンすることによって上述したような装置によって生成される。同様に、本発明は、反射プリントスキャナによって生成されるデジタル画像にも使用することができる。このような種類の画像獲得システムでは、システムの各構成要素がフレア光を引き起こしてしまう。
【００２５】
一部の写真フィルムトランスペアレンシスキャナは、線形画素データを有するデジタル画像を生成する。これらの装置に対しては、線形化ＬＵＴは、上述したように、恒等ＬＵＴである。他の写真フィルムトランスペアレンシスキャナは、対数の画素データを有するデジタル画像を生成する。対数の画素データの線形化ＬＵＴを生成するために使用する数式は、以下に式（３）として表す。
【００２６】
ｇ（ｘ）＝ｈ（１０^{ｘ／１０００}−１）　　　　　　　　　　（３）
ただし、パラメータｈはデータを適切な数値範囲に正規化するために用いられ、ｘは線形化ＬＵＴに入力される画素値を表し、ｇ（ｘ）は線形化ＬＵＴの出力値を表す。１２ビット画像に対し、パラメータｈの値は、２．６３３１に設定され、これは、０乃至４，０９５におよぶ始まりの画素値を、０乃至３２，７６７におよぶ出力範囲に広げる。対応する逆線形化ＬＵＴは、式（４）を用いて計算される。
【００２７】
ｒ（ｙ）＝１０００ｌｏｇ（ｙ／ｈ＋１）　　　　　　　　　　（４）
ただし、ｙは逆線形化ＬＵＴに入力される画素値を表し、ｒ（ｙ）は逆線形化ＬＵＴの出力値を表す。線形化ＬＵＴ及び逆線形化ＬＵＴは互いに数学的に逆関数であるので、以下が成立する。
【００２８】
ｘ＝ｒ（ｇ（ｘ））　　　　　　　　　　　　　　　　　　　（５）
当業者は、本発明が、線形、対数、及び、指数の３つの形式のうちの１つの形の画像画素データに制限されないことを認識するであろう。原則的に、光度ｓ（ｘ）に対し関数関係を有するものとして特徴付けられる画像画素データを、逆関数ｓ^−１（ｘ）を生成できる限り、使用することができる。
【００２９】
線形状態デジタル画像１０２は、フレアレベルカルキュレータ１２０によって解析されて、平均光値及びフレア光値が生成される。本発明は、平均光値Ｐ_ａｖｅを計算するのに相加平均式（平均画素値）を使用する。従って、平均光値は、オリジナルのシーンにおける撮像された光の平均の及び全体の強度レベルに関する制御パラメータであり、平均画素値を表す。解析計算は、線形状態デジタル画像１０２の画像画素値に対し行われるので、平均光値は、画像捕捉装置１０によって撮像された単位面積当りの光の平均強度レベルの尺度となる。
【００３０】
画像捕捉装置１０によって撮像されるフレア光の強度は、フレア光値によりおおよその値が求められる。一般的に、光学システムにより撮像されるフレア光パターンは、比較的滑らかな空間関数である。本発明は、フレア光パターンに対し、一定値の関数近似を使用する。フレア光パターンは、線形状態デジタル画像１０２の全ての画素値に寄与する一定値によって近似されるので、フレア光パターンの強度に対応する画素値より低い画素値はない。従って、最小画素値は、フレア光パターンの強度の上限の近似値を表す。しかし、最小画素値は、撮像されるシーン被写体からの光の寄与も有する。従って、画像捕捉装置１０によって経験されるフレア光の実際の強度は、ゼロと最小画素値により制限される。本発明の好適な実施例は、以下の式（６）により与えられるように、フレア光値φとして最小画素値Ｐ_ｍｉｎの分数を使用する。
【００３１】
φ＝αＰ_ｍｉｎ　　　　　　　　　　　　　　　　　　　　（６）
ただし、変数αはフレア光の実際の強度の最小画素値に対しての相対的な寄与を表す。変数αは、デジタル画像のデータベースを用いた実験により得られた経験に基づく定数である。変数αの値が高すぎると、処理されたデジタル画像は、望ましくない、過度に色飽和された画素をもたらし、画像の暗い領域において過度のコントラストをもたらす。変数αの値が低すぎると、処理されたデジタル画像は、ほとんど影響を受けないままとなる。本発明は、変数αに０．５の値を用いるが、他の値も有用であることに留意すべきである。一部のデジタル画像ソースでは、０．７５の値が満足のゆく値をもたらす。一般的に１．０の値は高すぎる。一部の処理されたデジタル画像は、変数αの値を１．０にすると非常に高められるが、多くの画像は高められない。変数αの値が０．２５以下であると、一般的に処理画像はあまり変化を示さない。
【００３２】
カラーのデジタル画像については、最小画素値を計算するのに、２つの異なる方法が有用であることが分かっている。１つは、シーン空間デジタル画像１０２の赤、緑、及び、青の画素値の重み付け平均をとることにより、輝度のデジタル画像チャネルを得ることである。最小画素値Ｐ_ｍｉｎは、最小輝度画素値として計算される。本発明の好適な実施例は、最小画素値Ｐ_ｍｉｎ又は最小カラー画素値を形成するのに、赤、緑、及び、青の画素値の最小値を使用する。最小画素値Ｐ_ｍｉｎを計算するための最小カラー画素値方法は、輝度最小画素値方法より僅かに信憑性が高いことが分かっている。
【００３３】
本発明では、フレア光レベルの計算において最小画素値を使用するが、当業者は、満足のゆく結果を得るために、他の数式を本発明に使用しうることを認識するであろう。例えば、線形状態デジタル画像１０２が、ソースデジタル画像１０１と同じ空間分解能で生成される場合、最小画素値は、確率的ノイズによって、フレア光の強度より小さくなることがある。線形状態デジタル画像１０２から画素値の累積ヒストグラムを計算し、固定の累積領域割合を使用することは、最小画素値の有用な代理としての役割を果たす。例えば、画像領域の０．１乃至１．０パーセントである固定の累積領域割合値が有用であることが分かっている。従って、フレア光値は、撮像されたフレア光の最小の強度レベルに関する制御パラメータである。フレア光値の計算の最も重要な面は、計算された値が、画像捕捉装置１０により撮像されたフレア光の強度に信憑性が高く関連する点である。
【００３４】
１つの光撮像システムに対してフレア光の相対強度を測定することは好都合であり、それにより、様々なシステムをより簡単に比較することができるようになる。本発明において、フレア光の強度の、１００パーセント拡散シーンリフレクタＭＸの強度に対する比を使用する。変数ρとして示されるこの比は、以下に示すとおりである。
【００３５】
ρ＝φ／Ｐ_１００　　　　　　　　　　　　　　　　　　　　（７）
本発明の好適な実施例は、Ｐ_１００に近似するよう平均光値Ｐ_ａｖｅを使用する。これは、式（８）に示す。
【００３６】
Ｐ_１００＝Ｐ_ａｖｅ／Ω　　　　　　　　　　　　　　　　　（８）
ただし、変数Ωは、グレイに統合する平均シーン反射率（ｉｎｔｅｇｒａｔｅ−ｔｏ−ｇｒａｙ　ａｖｅｒａｇｅ　ｓｃｅｎｅ　ｒｅｆｌｅｃｔａｎｃｅ）を表し、１６パーセントリフレクタに対応する約０．１６と実験的で決められている。従って、ρの式は、
ρ＝φΩ／Ｐ_ａｖｅ　　　　　　　　　　　　　　　　　　　（９）
として表される。
【００３７】
一般的な撮像システムは、ρの値の範囲が限定されている。専門家用のカメラシステムは、０．００１までの値を測定した。使い捨てフィルムカメラシステムは、０．０７までのρ値を有することができる。光撮像システムのレンズ表面上に指紋が付けられている場合、ρ値は０．１５までの高い値となることもある。しかし、これらのρ値は極端である。専門家用のカメラでも、カメラの視野の直ぐ外に強烈な光源があるシーンを撮影する場合は、高い強度レベルのフレア光を生成してしまう。０．０３乃至０．０４の範囲における対応するρ値が可能である。
【００３８】
シーン強度の範囲が小さい自然シーンを撮影することが可能である。このようなシーンを、低フレア光性能カメラを使って撮影すると、計算されたフレア光値は、実際のフレア光の強度を過度に予測してしまう場合がある。このような状況を回避するために、本発明の好適な実施例は、以下に示すように、変数ρに対する値τに基づいて、フレア光値の最大値を制限する。
【００３９】
もし、ρ＞τならば、
φ＝τＰ_ａｖｅ／Ω　　　　　　　　　　　　　　　　　　（１０）
本発明は、変数τに対し０．０３５の値を使用する。この値は、専門家用のカメラシステムの変数ρに対する高い値に対応する比較的堅実な設定値である。τの値を０．０３５に設定してあると、低フレア光性能カメラから得られるデジタル画像は、補正が不足し（即ち、システムは、処理されたデジタル画像から可能な限りのフレアを取り除かない）、最高フレア光性能カメラから得られるデジタル画像は、適切にフレアが補正される。変数τの設定値は、大きくシステム設計に依存するものであり、即ち、τの値は、ソースデジタル画像１０１を生成するのに使用される光学系の期待されるフレア光性能に依存して、高く又は低く設定することができる。
【００４０】
本発明の別の実施例では、フレアレベルカルキュレータ１２０は、画像捕捉装置１０からのソースデジタル画像１０２と共に、フレアメタデータ１０４（図２に示す）を受信する。フレアメタデータ１０４は、画像捕捉装置１０に特有であるフレア光性能を示す。このフレアメタデータ１０４は、画像捕捉装置１０により記録され、値τを変化するのに用いられる。本発明では、メタデータに、３つの可能な値を使用する。即ち、０、１、及び、２であり、それぞれ、高フレア光性能カメラ、中フレア光性能カメラ、及び、低フレア光性能カメラを示す。τの対応値は、それぞれ、０．０３５、０．０５、及び、０．７５に設定される。本発明のこの実施例は、上述した好適な実施例よりも実施するのが複雑であり、というのは、メタデータ１０４がソースデジタル画像と調整されなければならないからである。しかし、メタデータ１０４が、ソースデジタル画像を生成するのに用いられた光学系の予期されるフレア光性能を正確に表す場合、メタデータを用いた実施は、優れた結果をもたらす。
【００４１】
一般的に、画像捕捉装置１０の感光素子に到達するフレア光の量は、画像捕捉装置の光学素子の品質（例えば、光学素子の分散及びバッフル特性）と、シーンの照明幾何学（例えば、カメラは光源に向いているか又は光源からそれているか）に影響される。従って、同じ画像捕捉装置を用いて生成される異なるデジタル画像は、異なる量のフレア光の影響を受ける。従って、本発明によって受信されるメタデータ１０４は、デジタル画像からフレアが取り除かれる度合いを変化させるために使用される。専門家用のカメラ（フィルム又はデジタル）では、本発明は、０．０３５の値τを示すメタデータ１０４値を使用する。使い捨てカメラでは、メタデータ１０４値は、０．０７５の値τを示す。オートフォーカスカメラ（着脱不可のレンズを有する小さいカメラ）では、メタデータ１０４値は、０．０５の値τを示す。当業者は、画像捕捉装置の異なる階級に応じて、他の値τがメタデータにより指示可能であることを認識するであろう。
【００４２】
フレアに関するメタデータ１０４は、カメラのフレア光性能を示すために使用できる。このために、カメラのフレア特性を測定することができ、測定されたフレア特性は、メタデータ１０４として数値に符号化される。従って、上に列挙した例に対し、メタデータ１０４はそれぞれ、０．０３５、０．０５、及び、０．０７５として受け取られることとなる。従って、この方法では、フレア特性を表すメタデータは、任意の数値をとることができる。
【００４３】
フレア変換ジェネレータ１３０は、式（１１）を用いて、ＬＵＴの形で実施されるフレア関数を構成するのにフレア光値を使用する。
【００４４】
Ψ（ｘ）＝ｘ−φ　　　　　　　　　　　　　　　　　　（１１）
ただし、ｘはフレア関数に入力される画素値を表し、Ψ（ｘ）はフレアが取り除かれた画素値を表す。式（６）により与えられるフレア関数は、単純な線形減算式である。これは、光学系におけるフレア光が画像を形成する光線に重なるという事実によるものである。従って、画像画素データが変換されて、画素データが得られる光度に対し線形関係を有するようにされると、光学系におけるフレア光の重なりは、引算により数学的に補正され得る。実際の光学系におけるフレア光は空間的に変化する分布を有することができるが、本発明に採用する空間的に変化しない近似値も、非常に良好に機能する。
【００４５】
本発明は、フレア関数ＬＵＴと、線形化ＬＵＴ（Ｆ_１）と、逆線形化ＬＵＴ（Ｆ_２）を組合わせて、ＬＵＴの形で実施されるフレア補正関数を形成する。これは、ソースデジタル画像１０１の画素値に直接適用されて、高められたデジタル画像１０３を生成することができる。フレア補正ＬＵＴξ（ｘ）を構成するための数式は、以下の式（１２）により得られる。
【００４６】
ξ（ｘ）＝Ｆ_２（Ψ（Ｆ_１（ｘ））　　　　　　　　　　　（１２）
ただし、ｘは、ソースデジタル画像の値を表し、ξ（ｘ）は、フレア光の影響が除去された高められたデジタル画像の対応する画素値を表す。図３は、フレア光の変数φに異なる値を用いて本発明により生成されるフレア補正ＬＵＴの群を示す。これらは、対数の画像データに直接適用されるフレア補正関数の非線形を描いている。同様に、図４は、フレア光の変数φに異なる値を用いて本発明により生成されるフレア補正ＬＵＴの群を示し、これは、指数の画像データに直接適用されるフレア補正関数を示す。
【００４７】
或いは、線形化ＬＵＴをソースデジタル画像１０１に適用して、線形化されたデジタル画像を生成することもできる。フレア関数ＬＵＴを線形化されたデジタル画像に適用して、線形化／フレア補正されたデジタル画像を生成することができる。その場合、逆線形化ＬＵＴを、線形化／フレア補正されたデジタル画像に適用して、高められたデジタル画像を生成することができる。
【００４８】
多くのデジタルカメラは、指数法則の指数関数を適用する前に、画像画素データにレンダリングトーンスケール関数を適用する。レンダリングトーンスケール関数を適用することにより、より優美なハイライトクリッピング特性と全体的に所望のコントラストを有する処理画像を生成する。従って、レンダリングトーンスケール関数を適用することにより、ソースデジタル画像の画素値の、オリジナルのシーンにおける光度との関係が変更される。
【００４９】
本発明は、米国特許第５，３００，３８１号（Ｂｕｈｒ外）に開示される方法を用いる。この特許は本願に参考として組込まれる。本発明はこの特許に開示される方法を使用して、レンダリングトーンスケール関数Ｔ（ｘ）を生成して、オリジナルのデジタルカメラにより適用されるレンダリングトーンスケール関数に近似させる。逆レンダリングトーンスケール関数Ｔ^‐１（ｙ）は、以下の通りに計算される。関数Ｔ（）と、Ｘ_ｍｉｎ（最小領域値）及びＸ_ｍａｘ（最大領域値）により画成される領域が与えられると、関数Ｔ^−１（）は、反復過程により計算される。まず、関数Ｔ^−１（）の領域が、最小領域値Ｘ_ｍｉｎ以上及び最大領域値Ｘ_ｍａｘ以下の値ｘすべてに対し関数Ｔ（ｘ）を評価することにより決められる。関数Ｔ（）の最小及び最大評価値は、それぞれ、Ｙ_ｍｉｎ及びＹ_ｍａｘとして見つけられる。最小評価値Ｙ_ｍｉｎ乃至最大評価値Ｙ_ｍａｘにおける全ての値ｙに対し、ｙに最も近い関数Ｔ（ｘ）値、つまり、ｙ以下である値が見つけられる。関数Ｔ^‐１（ｘ）の値は、対応するｘ値により与えられる。
【００５０】
本発明のこの実施例において、線形化ＬＵＴ（Ｆ_１）は、式（１３）により与えられるように、式（１）により説明される関数ｆ（ｘ）を、逆レンダリングトーンスケール関数Ｔ^−１（ｘ）とカスケードする（ｃａｓｃａｄｉｎｇ）ことにより構成される。
【００５１】
Ｆ_１＝Ｔ^−１（ｆ（ｘ））　　　　　　　　　　　　　　　（１３）
逆線形化ＬＵＴ（Ｆ_２）は、式（１４）により与えられるように、式（２）により説明される関数ｂ（ｘ）を、レンダリングトーンスケール関数Ｔ（ｘ）とカスケードすることにより構成される。
【００５２】
Ｆ_２＝ｂ（Ｔ（ｘ））　　　　　　　　　　　　　　　　　（１４）
フレア補正関数は、式（１２）を用いて構成される。拡張された形式で書くと、フレア補正関数は、式（１５）の通りに与えられる。
【００５３】
ξ（ｘ）＝ｂ（Ｔ（（Ψ（Ｔ^−１（ｆ（ｘ）））　　　　　（１５）
フレア光の影響を取り除くために式（１１）により与えられる数式は、大気のかすみによる影響を取り除くために必要な式と同様である。本発明は、フレア光の影響を除去するために設計されているが、大気のかすみにより品質が下がってしまうデジタル画像に対しても良好に役割を果たす。光が散乱した照明条件下で撮影された画像にも、フレア光及び大気のかすみによる劣化と同様の劣化がもたらされる。本発明は、散乱した照明条件により劣化した画像に対しても良好にその役割を果たす。
【００５４】
本発明が、式（１１）によって説明されるようにフレア光の影響を取り除くために使用されると、デジタル画像全体の輝度が影響を受ける。本発明が、輝度バランスアルゴリズム、即ち、デジタル画像の輝度を調節するアルゴリズムと共に使用されると、演算の順序が重要になってくる。本発明を最初にデジタル画像に適用し、その次に輝度バランスアルゴリズムを適用すると、デジタル画像の輝度を調節することができる。この方法によると、本発明の画像全体の輝度への影響は、後続の段階において輝度バランスアルゴリズムを適用することにより、無効にされる。しかし、デジタル画像全体の輝度に影響を与えることなく、フレアの影響を除去することを要求する適用に対し、本発明は、式（１１）に変更を加え、式（１６）に示すようにフレア補正関数を計算する。
【００５５】
Ψ（ｘ）＝（ｘ−φ）φ_０／（φ_０−φ）　　　　　　　　（１６）
ただし、φ_０は、中間トーングレイ値に対応する画素値、例えば、１８パーセントのシーンリフレクタに対応する画素値を表す。式（１１）により表される式は、全ての画素の値を変更するが、処理されたデジタル画像が出力撮像装置上で見られると、画像の暗い領域が最も影響を受けたように見える。しかし、値φが大きいと、処理されたデジタル画像全体の輝度は減少する傾向がある。式（１６）によって、数値の画素値をφ_０と等しく維持する。従って、Ψ（φ_０）は、φ_０と等しいことが分かる。従って、式（１６）が使用されると、中間トーン画素値は比較的変更せず、従って、デジタル画像全体の輝度特性は維持される。従って、本発明は、輝度バランスアルゴリズムと一緒に使用されるか、又は、予めバランスがとられたデジタル画像を処理してフレア光の影響を除去し、デジタル画像輝度特性を維持することもできる。
【００５６】
本発明の別の実施例では、高められたデジタル画像１０３は、電子表示装置を使用して画像出力装置３０上に表示される。デジタル画像システムのユーザは、グラフィカルユーザインタフェースコンピュータソフトウェアプログラムのコンテキストにおいて表示された画像を見る。ユーザには、グラフィカルユーザインタフェースの１つのエレメントとして、フレア調整制御部が与えられ、これは、入力制御装置６０を介して作動される。グラフィカルユーザインタフェースコンピュータソフトウェアプログラムのフレア調節制御部は、ユーザの調節選択に応じてフレア光値に変更を行う。変更されたフレア光値を、上述したような方法と同じような方法で使用して、第２の高められたデジタル画像１０３が生成される。第２の高められたデジタル画像１０３は、次に、画像出力装置３０上で表示され、それにより、ユーザが調節の効果を評価することができる。
【００５７】
図５は、ユーザによる手動の調整により生成されるフレア補正関数の群を示す。ユーザは、高められたデジタル画像１０３を生成する処理において、フレアを除去する又は加えることの両方が可能である。図５に示す低いスロープ曲線は、ソースデジタル画像へのフレア光の追加に対応する。本発明は、フレア光の影響を除去するよう主に設計されるが、一部のユーザ又は一部のイメージの種類には、フレアを加えることによりより好ましい画像が得られる。
【００５８】
本発明の好適な実施例は、ソフトウェアプログラムとして説明した。当業者は、そのようなソフトウェアの等価物がハードウェアとして構成されうることを認識するであろう。画像処理アルゴリズム及びシステムは周知であるので、本願は、本発明の方法の一部を形成する、又は、本発明の方法とより直接的に協働するアルゴリズム及びシステムに、特に、関する。そのようなアルゴリズム及びシステムの他の面、及び、本願に関連する画像信号を生成する又は処理するハードウェア及び／又はソフトウェアは、本願において具体的に示され説明されていないが、従来周知であるシステム、アルゴリズム、コンポーネント、及び、エレメントから選択され得る。上述のように説明が与えられるに、それらのコンピュータプログラムとしてのソフトウェア実施は、従来通りであり、当業者にとっては当然である。
【図面の簡単な説明】
【図１】本発明を実施するためのデジタル撮像システムの構成要素を示す機能ブロック図である。
【図２】図１に示すデジタル画像プロセッサの詳細を示す機能ブロック図である。
【図３】対数のデータに対して本発明により生成されるフレア補正関数の群を示すグラフである。
【図４】指数のデータに対して本発明により生成されるフレア補正関数の群を示すグラフである。
【図５】手動による調整で、対数のデータに対して本発明により生成されるフレア補正関数の群を示すグラフである。
【符号の説明】
１０　画像捕捉装置
２０　デジタル画像プロセッサ
３０　画像出力装置
４０　汎用制御プロセッサ
５０　モニタ装置
６０　入力制御装置
７０　オフラインメモリ装置
１０１　ソースデジタル画像
１０２　線形状態デジタル画像
１０３　高められたデジタル画像
１０４　メタデータ
１１０　線形化モジュール
１２０　フレアレベルカルキュレータ
１３０　フレア変換ジェネレータ
１４０　フレア変換アプリケータ

Claims

高められたデジタル画像を生成するために、フレア光の影響に対しデジタル画像を補正する方法であって、
ａ）オリジナルのシーンから得られ、撮像されたフレア光の影響を受けており、上記オリジナルのシーンに対応する光度に対し既知の関係を有する複数の画素を含む、ソースデジタル画像を受け取る段階と、
ｂ）上記ソースデジタル画像から、撮像されたフレア光の強度に関連する第１のフレア制御パラメータと、上記オリジナルのシーンにおける撮像された光の平均強度レベルに関連する第２のフレア制御パラメータとを生成する段階と、
ｃ）上記第１のフレア制御パラメータ及び上記第２のフレア制御パラメータを用いてフレア補正関数を計算する段階と、
ｄ）上記フレア補正関数及び上記ソースデジタル画像から、高められたデジタル画像を生成する段階とを含む方法。
上記ソールデジタル画像から線形状態デジタル画像を生成する段階を更に含み、
上記線形状態デジタル画像の画素は、上記オリジナルのシーンに対応する光度に対し線形関係を有する請求項１記載の方法。
上記フレア制御パラメータは、上記線形状態デジタル画像から生成される請求項２記載の方法。