JP2009152921A - フレア補正装置 - Google Patents

Abstract

【課題】被写体画像に黒沈みが生じるのを抑止しつつ、光源周辺に生じるフレアを的確に除去でき、効果的にフレア補正を行うことができるフレア補正装置を提供する。
【解決手段】被写体を撮像することにより得られる被写体画像を取得する被写体画像取得部１３１と、被写体中に光源が含まれた場合であっても輝度レベルが飽和しないように、被写体を撮像することにより得られる不飽和画像を取得する不飽和画像取得部１３３と、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分を算出するフレア成分算出部１３２と、フレア成分を被写体画像から除去するフレア成分除去部とを備えている。
【選択図】図１

Description

本発明は、例えばレンズ等の光学系に起因するフレアが生じた被写体画像を補正するフレア補正装置に関する。

夜間に走行する車両とその付近の歩行者をカメラにより撮影した場合、車両のヘッドライト周辺に光が広がって、車両付近の歩行者が見づらく、全体的に眩しく感じる画像になることがある。このような現象は、フレア（Flare）と呼ばれている。フレアは、カメラにより被写体を撮像する際に、極めて明るい光源がレンズに向けて当てられている時に生じる光の像である。

従来、フレアが生じている被写体画像を補正するためのフレア補正装置として、撮像素子から出力される輝度信号のヒストグラムと、光学系の特性に応じて予め測定された補正特性とに基づいて、黒レベル補正値を取得し、撮像素子から出力される画像信号を黒レベル補正値で黒補正して、画像信号中のフレアを除去するものが知られている（例えば、特許文献１）。

従来のフレア補正装置では、フレア部分の輝度レベルを下げるために、画面全体で一律の減算成分を使用して、補正が行われている。以下、従来のフレア補正装置によるフレア補正方法について、図１４を用いて説明する。

フレアが生じた被写体画像の一例として、夜間に走行する車両とその付近の歩行者をカメラにより撮影した画像を図１４（ａ）に示す。図１４（ａ）に示されるように、光源５１（ヘッドライト）周辺にフレア５２が広がっているため、光源５１付近の歩行者４１が見づらい画像となってしまっている。

図１４（ｂ）は、図１４（ａ）の光源５１を通るＡ−Ａ線における輝度の分布を表す。図１４（ｂ）に示されるように、被写体画像の輝度分布４２において、フレアが生じたために光源５１周辺の輝度が上昇している。

図１４（ｃ）はフレア補正後のＡ−Ａ線における輝度の分布を表している。従来のフレア補正装置では、フレア５２の輝度を下げるために、画面全体で一律の減算成分４３を用いて、フレアを除去する補正が行われる。その結果、図１４（ｃ）に示されるように、被写体画像の輝度レベルが減算成分４３の分、画面全体として減少する。これにより、画面全体のコントラストを上昇させることができ、見づらかった歩行者４１が見やすくなり、画面全体が落ち着いた被写体画像を得ることができる。
特開２００６−１６５９３７号公報

しかしながら、従来のフレア補正装置には次のような問題があった。すなわち、フレア５２は光源５１周辺の輝度を上昇させるものであるが、画面全体の輝度レベルを均一に上昇させるものではない。それにもかかわらず、従来技術では減算成分４３が画面全体で一律に設定されている。このため、フレア補正のために減算成分４３を大きくとった場合には、図１４（ｃ）に示されるように、フレア補正後の被写体画像の輝度分布４５において、光源５１周辺以外の位置で黒沈み４４ａ、４４ｂが生じる場合があるという問題があった。また、光源５１周辺にはフレア成分の一部が残っており、フレア５２は完全に除去されないという問題があった。

本発明は、上記従来の問題を解決するためになされたもので、被写体画像に黒沈みが生じるのを抑止しつつ、光源周辺に生じるフレアを的確に除去でき、効果的にフレア補正を行うことができるフレア補正装置を提供することを目的とする。

本発明に係るフレア補正装置は、被写体を撮像することにより得られる被写体画像を取得する被写体画像取得部と、前記被写体中に光源が含まれた場合であっても輝度レベルが飽和しないように前記被写体を撮像することにより得られる不飽和画像を取得する不飽和画像取得部と、前記不飽和画像から得られる前記光源の位置に基づいて、前記光源の位置とフレア成分の位置とが対応するように、前記被写体画像に含まれるフレア成分を算出するフレア成分算出部と、前記フレア成分を前記被写体画像から除去するフレア成分除去部とを備えた構成を有している。

この構成により、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分を算出するので、被写体画像に含まれるフレア成分を正確に算出できる。そして、このように正確に算出されたフレア成分を被写体画像から除去するので、被写体画像全体に対して一律の減算成分を用いてフレア補正するのではなく、フレア成分の位置に応じて、画素毎に異なるフレア補正を行うことができる。この結果、被写体画像に黒沈みが生じるのを抑止しつつ、光源周辺に生じるフレアを的確に除去でき、効果的にフレア補正を行うことができる。

また、本発明に係るフレア補正装置において、前記フレア成分算出部は、点光源を撮像したときの輝度分布を表すボケ関数を前記不飽和画像に畳み込むことにより、前記フレア成分を算出する構成を有している。

この構成により、ボケ関数を不飽和画像に畳み込むことにより、フレア成分を正確に算出することができる。

また、本発明に係るフレア補正装置において、前記不飽和画像を撮影するときの露光時間が前記被写体画像を撮影するときの露光時間よりも短く設定されている構成を有している。

この構成により、不飽和画像を撮影するときの露光時間を被写体画像を撮影するときの露光時間よりも短くするので、被写体画像よりも低感度な画像が得られ、不飽和画像を得ることができる。

また、本発明に係るフレア補正装置において、前記不飽和画像取得部により取得される前記不飽和画像を縮小する不飽和画像縮小部を備え、前記フレア成分算出部は、前記不飽和画像縮小部により縮小された前記不飽和画像に基づいて、前記被写体画像に含まれるフレア成分を算出し、さらに、前記フレア成分を拡大するフレア成分拡大部が設けられ、前記フレア成分除去部は、前記フレア成分拡大部により拡大された前記フレア成分を前記被写体画像から除去する構成を有する。

この構成により、不飽和画像を縮小して、縮小された不飽和画像に基づいて、被写体画像に含まれるフレア成分を算出するので、演算量および演算時間を低減することができる。また、この構成では、フレア成分の解像度は低くなるが、フレアが広範囲に広がった場合、フレア成分の高周波帯域は減少するため、フレア成分の解像度を低くしても補正結果への影響は小さい。このようにして、補正へ大きな影響を及ぼすことなく、演算量と演算時間を低減できる。

また、本発明に係る撮像装置は、本発明のフレア補正装置を備えた構成を有している。この撮像装置によっても、上述した本発明の利点が得られる。

本発明は、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分を算出し、算出されたフレア成分を被写体画像から除去するので、被写体画像に黒沈みが生じるのを抑止しつつ、光源周辺に生じるフレアを的確に除去でき、効果的にフレア補正を行うことができるという効果を有するフレア補正装置を提供することができるものである。

（第１の実施の形態）
以下、本発明の第１の実施の形態に係るフレア補正装置について、図面を用いて説明する。本発明の第１の実施の形態のフレア補正装置を備えた撮像装置の機能ブロックを図１に示す。

図１において、撮像装置１は、レンズ１１と、撮像素子１２と、フレア補正装置１３と、補正画像出力部１４とを備えている。レンズ１１は被写体の像を撮像素子１２の受光面に結像する。撮像素子１２はＣＣＤ（Charge Coupled Device）等により構成され、レンズ１１を介して受光面に結像される被写体の像を撮像する。フレア補正装置１３は、撮像素子１２により撮像された被写体画像中のフレア成分を除去して、被写体画像を補正する。補正画像出力部１４はフレア補正装置１３により補正された被写体画像を出力する。

フレア補正装置１３は、不飽和画像取得部１３１と、フレア成分算出部１３２と、被写体画像取得部１３３と、フレア成分除去部１３４とを備えている。被写体画像取得部１３３は、撮像素子１２により撮像された被写体画像を取得する。不飽和画像取得部１３１は、被写体中に光源が含まれた場合であっても輝度レベルが飽和しないような低感度で撮像素子１２により被写体を撮像することにより得られる不飽和画像を取得する。フレア成分算出部１３２は、不飽和画像取得部１３１により取得される不飽和画像に基づいて、被写体画像に含まれるフレア成分を算出する。フレア成分除去部１３４は、フレア成分算出部１３２により算出されるフレア成分を被写体画像から除去する。

図２は、本発明のフレア補正装置付き撮像装置のハードウエア構成を示している。図２に示されるように、撮像装置１は、レンズ１１と、撮像素子１２と、ＡＦＥ（Analog Front End：アナログフロントエンド）２１と、駆動制御部２２と、表示部２３と、操作ボタン２４と、マイクロプロセッサ部２５とを備えている。レンズ１１および撮像素子１２は図１のものと同一である。レンズ１１は被写体ＯＪの光学像を形成し、この光学像が撮像素子１２に結像される。

ＡＦＥ２１は、撮像素子１２から得られた画像信号を増幅する。駆動制御部２２は、撮像素子１２およびＡＦＥ２１を制御する。表示部２３は、撮像された被写体画像を表示する。操作ボタン２４は操作指令を入力するのに用いられる。マイクロプロセッサ部２５は、撮像装置１全体を制御する。マイクロプロセッサ部２５は、画像入力Ｉ／Ｆ（Inter Face：インターフェース）２５１と、撮影感度制御Ｉ／Ｆ２５２と、ＣＰＵ（Central Processing Unit）２５３と、補正画像出力Ｉ／Ｆ２５４と、メモリ２５５と、操作指令読込みＩ／Ｆ２５６とを備え、これらの構成が内部バスを介して互いに接続されている。

画像入力Ｉ／Ｆ２５１は撮像素子１２からＡＦＥ２１を経て画像信号を読み込む。撮影感度制御Ｉ／Ｆ２５２は駆動制御部２２に対して、感度制御指令を出力する。ＣＰＵ２５３は撮像装置１を制御するためのプログラムを実行する。補正画像出力Ｉ／Ｆ２５４は表示部２３に被写体画像の画像信号を出力する。メモリ２５５には各種処理プログラムが記憶されており、図１で説明したフレア補正装置１３の各機能を実行するためのフレア補正処理プログラムも記憶されており、このプログラムがＣＰＵ２５３で実行され、これにより、撮像装置１にフレア補正装置１３の機能を組み込むことができる。すなわち、図１の各構成が、図２のマイクロプロセッサ部２５により、具体的にはメモリ２５５中のフレア補正処理プログラムをＣＰＵ２５３が実行することによって実現される。操作指令読込みＩ／Ｆ２５６は操作ボタン２４から入力される操作指令を読み込む。

次に、本発明の第１の実施の形態におけるフレア補正装置付きの撮像装置１の動作について説明する。撮像装置全体の動作としては、撮像素子１２が駆動制御部２２の制御下で、レンズ１１により結像された被写体像の電気的な画像信号を生成する。この画像信号がＡＦＥ２１を経てマイクロプロセッサ部２５で処理され、表示部２３に表示され、また、図示しない記録媒体に保存される。

次に、撮像装置１に備えられたフレア補正装置の動作について説明する。図３は、フレア補正処理プログラムの処理フローを示しており、このプログラムをＣＰＵ２５３が実行することによりマイクロプロセッサ部２５がフレア補正装置として機能する。図示のように、ＣＰＵ２５３は、フレア補正ルーチンを実行し（Ｓ３１）、次に、フレア補正画像を表示部２３に出力する（Ｓ３２）。

図４は、図３のステップＳ３１で実行されるフレア補正ルーチンを示す。ＣＰＵ２５３がフレア補正処理プログラムを実行することにより、図１の各種構成として機能して、図４のフレア補正処理が行われる。そこで、下記では、主として図１の構成を用いて図４のフレア補正を説明する。まず、図１の不飽和画像取得部１３１が不飽和画像ｉｓを取得し（Ｓ４１）、被写体画像取得部１３３が被写体画像ｉａを取得する（Ｓ４２）。

不飽和画像ｉｓは、被写体中に光源が含まれる場合であっても輝度レベルが飽和しないように低感度で撮像された画像である。また、被写体画像ｉａは、通常の適正感度で被写体を撮像した画像である。不飽和画像ｉｓは適正感度より低い感度で撮像されているので、不飽和画像ｉｓを低感度画像といい、被写体画像ｉａを適正感度画像ということもできる。また、被写体画像ｉａは、通常画像ということもできる。

不飽和画像ｉｓと被写体画像ｉａは、露光時間の制御により取得することができる。すなわち、ＣＰＵ２５３が不飽和画像取得部１３１及び被写体画像取得部１３３として機能し、駆動制御部２２を制御し、メカニカルシャッター又は電子シャッターを制御して、短露光時間及び適正露光時間で撮影を撮像装置１に行わせる。これにより、撮像素子１２で短露光時間及び適正露光時間の画像信号が得られ、これら画像信号がＡＦＥ２１及び画像入力Ｉ／Ｆ２５１を介してデジタルデータの形式で読み込まれ、不飽和画像ｉｓ及び被写体画像として取得される。上記の不飽和画像ｉａを取得するためのシャッター値は、画像中の光源が飽和しないような値に設定されている。このシャッター値は、予め設定されていてよく、メモリ２５５に記憶されていてよい。

あるいは、不飽和画像ｉｓと被写体画像ｉａを取得するために、ＡＦＥ２１のゲインが制御されてもよい。ＡＦＥ２１は、撮像素子１２で得られる画像信号を増幅する。ＣＰＵ２５３が不飽和画像取得部１３１及び被写体画像取得部１３３として機能し、駆動制御部２２を制御し、ＡＦＥ２１のゲインを変更する。これにより、２つの画像信号が異なるゲインで処理されて、これにより不飽和画像ｉｓと被写体画像ｉａが取得される。不飽和画像ｉａを取得するためのゲイン値は、画像中の光源が飽和しないような値に設定されている。このゲイン値は、予め設定されていてよく、メモリ２５５に記憶されていてよい。

不飽和画像ｉｓと被写体画像ｉａはほぼ同時刻に続けて撮影される。不飽和画像ｉｓと被写体画像ｉａの取得順序は逆でもよく、すなわちステップＳ４１とステップＳ４２が入れ替えられてもよい。

図５は被写体画像ｉａを表しており、図５（ａ）は被写体画像ｉｓの模式図、図５（ｂ）は図５（ａ）中の光源５１を通るＡ−Ａ線における輝度分布を示す。図６は不飽和画像ｉａを表しており、図６（ａ）は不飽和画像ｉａの模式図、図６（ｂ）は図６（ａ）中の光源５１を通るＢ−Ｂ線における輝度分布を示す。

図５（ａ）に示されるように、被写体画像ｉａでは、光源５１周辺にフレア５２が発生している。また、図５（ｂ）に実線で示されるように、光源５１の中心部では、輝度が飽和値に達して輝度レベルが飽和しており、光源５１周辺では、光源５１の中心から遠ざかるにつれて輝度が徐々に減少するように分布している。この結果、被写体画像ｉａの光源５１の周辺に明るい部分が広がり、光源５１がボケた状態となっている。なお、図５（ｂ）の点線は実際の光源５１の輝度と位置を示している。

図６（ａ）に示されるように、不飽和画像ｉｓでは、光源５１周辺にフレアは生じておらず、また、感度が低いため光源５１以外の被写体は写っていない。また、図６（ｂ）に示されるように、光源５１の輝度レベルは飽和しておらず、光源５１の位置に対応して輝度が分布している。

次に、図４に戻り、フレア成分算出部１３２が、被写体画像ｉａに含まれるフレア成分を算出する（Ｓ４３）。フレア成分はフレア５２の輝度分布をいう。フレア成分算出部１３２は、不飽和画像ｉｓの光源５１の位置に基づいて、光源５１の位置とフレア成分の位置とが対応するようにフレア成分を算出する。

被写体画像ｉａに生じるフレア５２は、図５（ｂ）に示されるように、光源５１がボケた部分である。そこで、本実施の形態は、ボケの輝度分布を表すボケ関数（ＰＳＦ：point spread funciton）を使用してフレア成分を算出する。特に、本実施の形態は、フレアによるボケの特徴を表したフレアＰＳＦを用いており、フレアＰＳＦは、点光源を撮影したときの輝度分布である。フレアは撮像装置１内の光学系に起因して生じる現象であるので、フレアＰＳＦは撮像装置１に固有の特徴を有する。この固有のフレアＰＳＦは、撮像装置１の設計時に光学系のシミュレーションから算出されてよい。また、撮像装置試作時に点光源を撮影することによりフレアＰＳＦが取得されてよい。こうして得られるフレアＰＳＦが、フレア成分算出のプログラム中に記録されており、フレア補正に使用される。

図７は、図４のＳ４３で実施されるフレア成分算出ルーチンの処理フローである。図８は、フレア成分算出処理を説明するための図であって、図８（ａ）は不飽和画像とフレアＰＳＦとを畳み込んだ結果を示す図、図８（ｂ）はフレア成分の算出結果を示す図である。図８（ａ）および図８（ｂ）は図６（ｂ）のＢ−Ｂ線に対応した輝度分布を示す。

図７に示されるように、フレア成分算出部１３２は、不飽和画像ｉｓとフレアＰＳＦとを畳み込む（Ｓ７１）。図８（ａ）は畳み込み結果を示している。図８（ａ）において、不飽和画像ｉｓと、フレアＰＳＦが、点線で示されている。不飽和画像ｉｓには、光源５１のみが写っている。したがって、不飽和画像ｉｓとフレアＰＳＦの畳込みは、画像内の光源５１の位置にフレアＰＳＦを貼り付ける処理に相当する。フレアＰＳＦが点光源の周囲の輝度分布であり、光源５１が点光源の集合なので、光源５１の全範囲に渡ってフレアＰＳＦが繰り返し貼り付けられ、全体として図８（ａ）の曲線形状が得られる。

図８（ａ）の畳込み結果の曲線は、フレア成分の形状を表している。ただし、不飽和画像ｉｓと被写体画像ｉａでは感度が異なるので、図８（ａ）の畳込み結果は実際のフレア成分より小さい。そこで、次に、フレア成分算出部１３２が、被写体画像ｉａを撮影した際の通常感度と、不飽和画像ｉｓを撮像した際の低感度との感度比（通常感度／低感度）を算出して（Ｓ７２）、当該感度比をＳ７１で得た畳込み結果に乗算することで、通常感度に対応したフレア成分を算出する（Ｓ７３）。この結果、図８（ｂ）に示されるように、不飽和画像の光源５１の位置に対応した凸状の曲線で表されるフレア成分８１を得ることができる。

上記のように、フレア成分算出では不飽和画像ｉｓが使用されている。不飽和画像ｉｓには光源５１のみが写っている。これは、不飽和画像ｉｓから光源５１の位置が得られることを意味している。このことを利用し、不飽和画像ｉｓから得られる光源５１の位置に基づいて、光源５１の位置とフレア成分の位置が対応するようにフレア成分が算出されている。具体的には、不飽和画像ｉｓとフレア成分の関数を畳み込むことにより、フレア成分の関数が画像内の光源５１の位置に貼り付けられている。

次に、図４に戻り、フレア成分除去部１３４が、被写体画像ｉａからフレア成分を除去する（Ｓ４４）。ここで、図８（ｂ）において、実線はフレア成分であり、点線は被写体画像ｉａの輝度分布８２を示している。図８（ｂ）に示されるように、フレア成分８１は光源５１の位置で輝度が飽和値を超えているのに対し、被写体画像ｉａは光源５１の位置において、輝度レベルが飽和している。このため、フレア成分８１を被写体画像ｉａからそのまま減算した場合、被写体画像ｉａで輝度が飽和している領域で黒沈みが生じてしまう。そこで、本実施の形態では、被写体画像ｉａ中で輝度レベルが飽和している飽和領域を検出して、飽和領域では被写体画像ｉａからのフレア成分８１の減算を行わないようにしている。

図９は、図４のＳ４４のフレア成分除去ルーチンの処理フローである。図１０は、フレア成分除去の処理を説明するための図であって、図１０（ａ）はフレア減算成分を示す図、図１０（ｂ）はフレア補正結果を示す図である。図９に示されるように、まず、フレア成分除去部１３４が被写体画像ｉａの飽和領域を検出する（Ｓ９１）。検出の結果、飽和領域である場合（Ｓ９２、ＹＥＳ）、被写体画像ｉａからのフレア成分８１の減算を行わない。一方、飽和領域でない場合（Ｓ９２、ＮＯ）、被写体画像ｉａからのフレア成分８１の減算を行う（Ｓ９３）。この結果、フレア成分除去ルーチン（Ｓ４４）は、図１０（ａ）のフレア減算成分が減算されることになる。この減算成分は、フレア成分から被写体画像ｉａの輝度が飽和した部分を除去したものである。このような減算処理の結果、図１０（ｂ）に示されるように、光源５１周辺に広がるフレア成分を除去することができる。図１０（ｂ）において、点線はフレア減算成分を示している。

以上により、図３のステップＳ３１のフレア補正ルーチンの処理が終了し、フレア補正が施された被写体画像ｉａを得ることができる。フレア補正が施された被写体画像ｉａをフレア補正画像を呼ぶ。次に、ＣＰＵ２５３がフレア補正プログラムの実行により、フレア補正画像を表示部２３に出力して（Ｓ３２）、フレア補正処理プログラムの処理を終了する。フレア補正画像は、補正画像出力Ｉ／Ｆ２５４を介して表示部２３に出力される。図１では、補正画像出力部１４が、フレア成分除去部１３４から出力されたフレア補正画像を出力する。

次に、図１４（ａ）と同じシーンにおけるフレア補正処理の過程について図１１を参照して説明する。図１１は、夜間に走行する車両とその付近の歩行者を撮像した被写体画像のフレア補正処理の過程を説明するための図である。図１１（ａ）は図１４（ａ）と同じシーンを撮影したときの被写体画像の輝度分布４２と、フレア成分８２とを重ね合わせて示した図である。ここで、被写体画像の輝度成分４２は上述の図４のＳ４１の処理により取得され、フレア成分８２は図４のＳ４３の処理により取得される。

図１１（ｂ）は、被写体画像の輝度成分４２からフレア成分８１を減算した結果を示している（但し、図９を用いて説明したように、被写体画像の飽和領域では、被写体画像からフレア成分の減算は行われていない）。図１１（ｂ）に示されるように、フレア５２によって上昇していた光源５１周辺の輝度が減少し、フレアが補正される。図１１（ｃ）はフレア補正後の被写体画像を示す。図１１（ｃ）に示されるように、フレア補正後の被写体画像では、光源５１周辺のフレア５２が除去されており、歩行者４１がはっきりと写っている。

本実施の形態では、不飽和画像ｉｓが用いられており、フレア成分が、実際のフレアの位置にのみ求められている。これにより、フレアが生じてる部分でのみ、フレア成分が減算される。フレアが生じていない部分では、輝度が減算されず、フレア補正が施されない。その結果、図１１（ｂ）に示されるように、画面全体に輝度が残っており、したがって、フレア以外の部分の黒沈みを回避できる。この点に関し、図１１（ｂ）と従来技術の図１４（ｃ）を比較すると、図１４（ｃ）では画面全体から一律に減算成分を減算しているためにフレア以外の部分で黒沈みが生じているが、図１１（ｂ）では画面全体に輝度成分が残り、黒沈みが回避されている。

さらに、図１１（ｂ）と図１４（ｃ）を比較すると、フレア部分の補正効果も本発明の方が有利である。図１４（ｃ）では、フレア成分の大きさは光源からの距離によって異なるにも拘わらず、画面全体から一律に減算成分が除去されている。そのため、フレア補正後の画像においても光源周囲の輝度分布が斜めであり、つまり、フレアが完全に除去されず、一部が残っている。一方、本実施の形態では、上述した処理により、フレアＰＳＦに基づいて、光源に近づくほどフレア成分が大きくなるように正確にフレア成分が算出されており、フレア成分をより正確に除去することができている。

このような本発明の第１の実施の形態のフレア補正装置によれば、不飽和画像から得られる光源の位置に基づいて、光源の位置とフレア成分の位置とが対応するように、被写体画像に含まれるフレア成分を算出するので、被写体画像に含まれるフレア成分を正確に算出できる。そして、このように正確に算出されたフレア成分を被写体画像から除去するので、被写体画像全体に対して一律の減算成分を用いてフレア補正するのではなく、フレア成分の位置に応じて、画素毎に異なるフレア補正を行うことができる。この結果、被被写体画像に黒沈みが生じるのを抑止しつつ、光源周辺に生じるフレアを的確に除去でき、効果的にフレア補正を行うことができる。

また、本実施の形態のフレア補正装置によれば、点光源を撮像したときの輝度分布を表すボケ関数を不飽和画像に畳み込むことにより、フレア成分を正確に算出することができる。

また、本実施の形態のフレア補正装置によれば、不飽和画像を得る際の露光時間を、被写体画像を得る際の露光時間よりも短くするので、被写体画像よりも低感度な画像が得られ、不飽和画像を得ることができる。

（第２の実施の形態）
以下、本発明の第２の実施の形態に係るフレア補正装置について、図面を用いて説明する。上記の第１の実施の形態にあっては、フレア成分算出部１３２において、不飽和画像ｉｓとフレアＰＳＦとの畳込みが行われている。フレアＰＳＦが広範囲に広がっている場合、演算量が大きくなり、処理時間が増加し、又は、より高性能なＣＰＵが必要になる。第２の実施の形態は、以下に説明するように、畳込みを行う際に使われる画像を縮小し、これにより演算量を低減する。

図１２は本発明の第２の実施の形態のフレア補正装置を備えた撮像装置を示す機能ブロック図であり、この撮像装置をハードウエア面から見た構成は図２と同様である。以下では、図１と同一の構成要素については、同一符号を付して、詳細な説明を省略する。

図１２に示されるように、撮像装置３は、図１のフレア補正装置１３に代えて、フレア補正装置３３を備えている。フレア補正装置３３は、不飽和画像取得部１３１と、フレア成分算出部１３２と、被写体画像取得部１３３と、フレア成分除去部１３４と、不飽和画像縮小部３３１と、フレア成分拡大部３３２とを備えている。本実施形態のフレア補正装置３３は、不飽和画像縮小部３３１と、フレア成分拡大部３３２とを備えている点で、第１の実施の形態のフレア補正装置１３と相違する。

不飽和画像縮小部３３１は、不飽和画像取得部１３１により取得される不飽和画像ｉｓの空間解像度を変更して所定の縮小率で縮小する。フレア成分算出部１３２は、不飽和画像縮小部３３１により縮小された不飽和画像に基づいて、被写体画像ｉａに含まれるフレア成分を算出する。フレア成分の算出処理は、第１の実施の形態と同様でよい。ただし、処理される画像が縮小された不飽和画像（縮小不飽和画像）である。また、フレア成分算出部１３２は、不飽和画像ｉｓの縮小率と同一の縮小率で縮小したフレアＰＳＦ（縮小フレアＰＳＦ）を用いる。この縮小フレアＰＳＦは、フレア成分算出のプログラム中に記録されている。フレア成分算出部１３２は、縮小フレアＰＳＦと縮小不飽和画像とを畳込むことで、縮小サイズのフレア成分（縮小フレア成分）を算出する。フレア成分拡大部３３２は、フレア成分算出部１３２により算出されるフレア成分の空間解像度を変更して拡大する。拡大率としては、上記縮小率の逆数が用いられる。フレア成分除去部１３４は、フレア成分拡大部３３２により拡大されたフレア成分を被写体画像ｉａから除去する。

なお、上述した通り、撮像装置３のハードウエア構成は第１の実施の形態と同一であり、マイクロプロセッサ部２５にインストールされるフレア補正プログラムの一部だけが相違する。

次に、第２の実施の形態におけるフレア補正装置付の撮像装置の動作について、図に基づいて説明する。図１３はフレア補正プログラム中のフレア補正ルーチンの処理フローを示す。図４に示した第１の実施の形態における補正ルーチンとの相違点として、本実施の形態のフレア補正ルーチンの処理フローでは、Ｓ４２およびＳ４３の間に不飽和画像縮小のステップＳ５１が挿入され、Ｓ４３およびＳ４４の間にフレア成分拡大ステップＳ５２が挿入されている。

図１３に示されるように、ＣＰＵ２５３がフレア補正プログラムの処理を実行することにより、まず、不飽和画像取得部１３１が不飽和画像ｉｓを取得し（Ｓ４１）、被写体画像取得部１３３が被写体画像ｉａを取得する（Ｓ４２）。なお、第１の実施の形態と同様に、被写体画像および不飽和画像は略同時刻に撮影され、Ｓ４１およびＳ４２の実行順は逆でもよい。

次に、不飽和画像縮小部３３１が、不飽和画像ｉｓの空間解像度を変更して所定の縮小率で縮小して、これを縮小不飽和画像とする（Ｓ５１）。フレア算出部１３２は、縮小不飽和画像に基づいて、被写体画像ｉａに含まれるフレア成分を算出する（Ｓ４３）。ここでの処理は、基本的に第１の実施の形態と同様である。ただし、処理される画像が縮小不飽和画像である。また、この処理では、上述の通り、不飽和画像ｉｓの縮小率と同一の縮小率で縮小した縮小フレアＰＳＦを用いる。そして、フレア算出部１３２が縮小不飽和画像と縮小フレアＰＳＦを畳込むことにより、縮小フレア成分が算出される。フレア成分拡大部３３２が縮小フレア成分の空間解像度を変更して拡大し（Ｓ５２）、フレア成分除去部１３４が、拡大されたフレア成分を被写体画像ｉａから除去する（Ｓ４４）。このとき、図８〜図１０を用いて説明したように、被写体画像ｉａの飽和領域では、被写体画像ｉａからフレア成分の減算は行わない。

以上により、フレア補正ルーチンの処理が行われ、フレア補正が施された被写体画像を得ることができる。上記の処理では、フレア成分算出前にステップＳ５１で不飽和画像ｉｓが縮小され、ステップＳ４３で縮小画像を用いてフレア成分が算出され、フレア成分算出後にステップＳ５２でフレア成分が拡大されている。この構成により、ステップＳ４３のフレア成分算出時の画像サイズが小さいので、畳込み計算の演算量を小さくできる。その反面、拡大処理を行っているので、フレア成分の解像度は低くなる。しかし、フレア成分が広い範囲に広がった場合、フレア成分の高周波帯域は減少する。したがって、フレア成分の解像度が低くなっても、補正結果への影響は小さく、ステップＳ４４では良好なフレア補正画像が得られる。

このような本発明の第２の実施の形態のフレア補正装置によれば、不飽和画像を縮小して、縮小された不飽和画像に基づいて、被写体画像に含まれるフレア成分を算出するので、演算量および演算時間を低減することができる。また、この構成では、フレア成分の解像度は低くなるが、フレアが広範囲に広がった場合、フレア成分の高周波帯域は減少するため、フレア成分の解像度を低くしても補正結果への影響は小さい。このようにして、補正へ大きな影響を及ぼすことなく、演算量と演算時間を低減できる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更および変形することが可能である。

以上のように、本発明は、被写体画像に黒沈みが生じるのを抑止しつつ、光源周辺に生じるフレアを的確に除去でき、効果的にフレア補正を行うことができるという効果を有し、フレア補正装置等として有用である。

本発明の第１の実施の形態におけるフレア補正装置付の撮像装置を示す機能ブロック図 本発明の第１の実施の形態におけるフレア補正装置付の撮像装置のハードウエア構成を示す図 フレア補正処理プログラムの処理フローを示す図 フレア補正処理プログラム中のフレア補正ルーチンの処理フローを示す図 （ａ） 被写体画像の模式図 （ｂ） 被写体画像中の光源を通る切断線における輝度分布を示す図 （ａ） 不飽和画像の模式図 （ｂ） 不飽和画像中の光源を通る切断線における輝度分布を示す図 フレア成分算出ルーチンのフローを示す図 （ａ） 不飽和画像とフレアＰＳＦとを畳み込んだ結果を示す図 （ｂ） フレア成分の算出結果を示す図 フレア成分除去ルーチンのフローを示す図 （ａ） フレア減算成分を示す図 （ｂ） フレア補正結果を示す図 （ａ） フレアが生じた被写体画像の輝度分布とフレア成分を示す図 （ｂ） フレア補正後の輝度分布を示す図 （ｃ） フレア補正後の被写体画像を示す図 本発明の第２の実施の形態におけるフレア補正装置付の撮像装置を示す機能ブロック図 フレア補正処理プログラム中のフレア補正ルーチンの処理フローを示す図 （ａ） フレアが生じた被写体画像の一例を示す図 （ｂ） フレアが生じた被写体画像の輝度分布を示す図 （ｃ） 従来技術によるフレア補正後の被写体画像の輝度分布を示す図

符号の説明

１１ レンズ
１２ 撮像素子
１３、３３ フレア補正装置
１４ 補正画像出力部
２１ ＡＦＥ
２２ 駆動制御部
２３ 表示部
２４ 操作ボタン
２５ マイクロプロセッサ部
１３１ 不飽和画像取得部
１３２ フレア成分算出部
１３３ 被写体画像取得部
１３４ フレア成分除去部
２５１ 画像入力Ｉ／Ｆ
２５２ 撮影感度制御Ｉ／Ｆ
２５３ ＣＰＵ
２５４ 補正画像出力Ｉ／Ｆ
２５５ メモリ
２５６ 操作指令読込みＩ／Ｆ
３３１ 不飽和画像縮小部
３３２ フレア成分拡大部

Claims (5)

1. 被写体を撮像することにより得られる被写体画像を取得する被写体画像取得部と、
   前記被写体中に光源が含まれた場合であっても輝度レベルが飽和しないように前記被写体を撮像することにより得られる不飽和画像を取得する不飽和画像取得部と、
   前記不飽和画像から得られる前記光源の位置に基づいて、前記光源の位置とフレア成分の位置とが対応するように、前記被写体画像に含まれるフレア成分を算出するフレア成分算出部と、
   前記フレア成分を前記被写体画像から除去するフレア成分除去部とを備えたことを特徴とするフレア補正装置。
2. 前記フレア成分算出部は、点光源を撮像したときの輝度分布を表すボケ関数を前記不飽和画像に畳み込むことにより、前記フレア成分を算出することを特徴とする請求項１に記載のフレア補正装置。
3. 前記不飽和画像を撮影するときの露光時間が前記被写体画像を撮影するときの露光時間よりも短く設定されていることを特徴とする請求項１または２に記載のフレア補正装置。
4. 前記不飽和画像取得部により取得される前記不飽和画像を縮小する不飽和画像縮小部を備え、
   前記フレア成分算出部は、前記不飽和画像縮小部により縮小された前記不飽和画像に基づいて、前記被写体画像に含まれるフレア成分を算出し、
   さらに、前記フレア成分を拡大するフレア成分拡大部が設けられ、
   前記フレア成分除去部は、前記フレア成分拡大部により拡大された前記フレア成分を前記被写体画像から除去することを特徴とする請求項１〜３のいずれかに記載のフレア補正装置。
5. 請求項１〜４のいずれかに記載のフレア補正装置を備えたことを特徴とする撮像装置。