JP2018019436A - 画像処理プログラム、画像処理装置および撮像装置 - Google Patents

Abstract

【課題】 フレアの発生していない飽和領域に対する不要なフレアの補正を防ぐ。【解決手段】 画像処理プログラムは、撮影光学系の結像を撮像した入力画像を取得する手順と、前記入力画像を閾値上限及び閾値下限の組み合わせが異なる複数種類の範囲の閾値で二値化して複数の二値化画像を生成する手順と、前記複数の二値化画像に基づいて、フレアを抑制する補正をする手順と、をコンピュータに実行させる。【選択図】 図１

Description

本発明は、画像処理プログラム、画像処理装置および撮像装置に関する。

電子カメラで撮影を行う際に、撮影範囲内に極めて高輝度な物体（輝点）が存在していると、撮影画像上の輝点像の周辺にはフレアが発生することがある。例えば、予め記憶されている撮影光学系の結像特性データと、撮影画像上の輝点の位置とに基づいてフレア成分を推定し、推定したフレア成分を撮影画像から除去する技術も従来から知られている。

特許第４２５０５１３号公報

従来の技術では、撮影画像上の飽和領域をフレアの発生している光源とみなして補正を行っている。そのため、従来技術では、実際にはフレアの発生していない飽和領域に対しても不必要な補正が行われることで、補正後の画像に違和感が生じるおそれがある。

一つの観点による画像処理プログラムは、撮影光学系の結像を撮像した入力画像を取得する手順と、前記入力画像を閾値上限及び閾値下限の組み合わせが異なる複数種類の範囲の閾値で二値化して複数の二値化画像を生成する手順と、前記複数の二値化画像に基づいて、フレアを抑制する補正をする手順と、をコンピュータに実行させる。

一つの観点による画像処理装置は、撮影光学系の結像を撮像した入力画像を取得する取得部と、前記入力画像を閾値上限及び閾値下限の組み合わせが異なる複数種類の範囲の閾値で二値化して複数の二値化画像を生成する生成部と、前記複数の二値化画像に基づいて、フレアを抑制する補正をする補正部と、を備える。

一つの観点による撮像装置は、撮影光学系の結像を撮像する撮像部と、上記に記載の画像処理装置と、を備える。

本件開示の画像処理プログラム、画像処理装置および撮像装置によれば、フレアの発生していない飽和領域に対する不要なフレアの補正を防ぐことができる。

第１実施形態のコンピュータの構成例を示す図 第１実施形態でのコンピュータの動作例を示す流れ図 入力画像の一例を示す図 図３から飽和領域を抽出した状態を示す図 （ａ）〜（ｆ）：図３に対応する二値化画像の例を示す図 （ａ）〜（ｆ）：図３に対応する第１の二値化画像から第６の二値化画像の例を示す図 フレアが発生している光源に対応する度数分布の一例を示す図 フレアが発生していない光源に対応する度数分布の一例を示す図 度数分布のシャープ度合いの求め方を示す図 第２実施形態の電子カメラの構成例を示す図 第２実施形態での電子カメラの動作例を示す流れ図

＜第１実施形態の説明＞
図１は、第１実施形態のコンピュータの構成例を示す図である。第１実施形態のコンピュータは、画像処理プログラムを実行することで、撮影光学系の結像を撮像した撮影画像に対してフレア補正処理を施す。

図１に示すコンピュータ１０１は、データ読込部１０２、記憶装置１０３、ＣＰＵ（Central Processing Unit）１０４、メモリ１０５および入出力インターフェース（Ｉ／Ｆ）１０６、バス１０７を有している。データ読込部１０２、記憶装置１０３、ＣＰＵ１０４、メモリ１０５および入出力Ｉ／Ｆ１０６は、バス１０７を介して相互に接続されている。さらに、コンピュータ１０１には、入出力Ｉ／Ｆ１０６を介して、入力デバイス１０８（キーボード、ポインティングデバイスなど）とモニタ１０９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１０６は、入力デバイス１０８からの各種入力を受け付けるとともに、モニタ１０９に対して表示用のデータを出力する。

データ読込部１０２は、取得部の一例であって、撮影画像のデータや、画像処理プログラムを外部から取得する。データ読込部１０２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。

記憶装置１０３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。記憶装置１０３には、上記の画像処理プログラムや、画像処理プログラムの実行に必要となる各種の情報が記憶されている。なお、記憶装置１０３には、データ読込部１０２から読み込んだ撮影画像のデータなどを記憶しておくこともできる。

ＣＰＵ１０４は、コンピュータ１０１の各部を統括的に制御するプロセッサである。ＣＰＵ１０４は、画像処理プログラムの実行によって、本件開示の画像処理装置の一例である画像処理部２００として機能する。画像処理部２００は、画像生成部２０１、輪帯検出部２０２、光源推定部２０３、フレア補正部２０４をそれぞれ有している。なお、画像処理部２００、画像生成部２０１、輪帯検出部２０２、光源推定部２０３、フレア補正部２０４の動作についてはそれぞれ後述する。

なお、図１に示す画像処理部２００の各機能ブロック（２０１〜２０４）は、ソフトウェア的にはメモリにロードされたプログラムによって実現される。しかし、画像処理部２００の各機能ブロックの一部または全部は、プロセッサ、メモリ、電子回路の組み合わせによりハードウェア的に実現してもよい。

メモリ１０５は、画像処理プログラムでの演算結果等を一時的に記憶する。メモリ１０５は、例えば揮発性の半導体メモリである。

以下、図２の流れ図を参照しつつ、第１実施形態でのコンピュータの動作例を説明する。図２の処理は、ユーザによるプログラム実行指示に応じて、ＣＰＵ１０４が画像処理プログラムを実行することで開始される。

ステップＳ１１において、画像処理部２００は、処理対象となる撮影画像（以下、入力画像とも称する）のデータを、データ読込部１０２を介して外部から取得する。ステップＳ１１で取得された入力画像のデータは、画像処理部２００の制御によって、記憶装置１０３またはメモリ１０５に記録される。なお、画像処理部２００は、入力画像のデータが予め記憶装置１３に記憶されている場合には、ステップＳ１１の処理を省略してもよい。なお、図３に入力画像の一例を示す。

一例として、第１実施形態の入力画像は、撮影光学系の被写体像を電子カメラで撮影（撮像）したＲＧＢ色空間のカラー画像である。また、第１実施形態の入力画像は、回折光学素子（ＤＯＥ：Diffractive Optical Element）を有する撮影光学系による撮影画像である。回折光学素子を有する撮影光学系で撮影を行う際、極めて高輝度な物体（輝点）が撮影範囲内に存在すると、撮影画像上の輝点像の周辺に色滲みを伴うフレア（色フレア）が発生する。回折光学素子に由来する色フレアは、無色のフレアと比較すると著しく不自然であるため、フレア補正処理で補正されることが望まれる。

ステップＳ１２において、画像処理部２００は、入力画像にフレア補正処理を施すフレア補正モードであるか否かを判定する。一例として、画像処理部２００は、ユーザがフレア補正モードの設定をオンにしている場合に、フレア補正モードであると判定する。また、画像処理部２００は、入力画像のヘッダ領域に付加されている撮影情報を参照し、入力画像が回折光学素子を含む撮影光学系で撮影されている場合に、フレア補正モードであると判定する。

フレア補正モードである場合（ステップＳ１２の肯定判定）には、ステップＳ１３に処理が移行する。一方、フレア補正モードではない場合（ステップＳ１２の否定判定）には、ステップＳ２４に処理が移行する。

ステップＳ１３において、画像処理部２００は、入力画像の輝度成分を示す輝度画像を生成する。例えば、画像処理部２００は、入力画像をＹＣｂＣｒ色空間に変換し、入力画像のＹチャネルを輝度画像としてもよい。あるいは、画像処理部２００は、入力画像の各画素でＲＧＢ値の平均（（Ｒ＋Ｇ＋Ｂ）／３）を求めることにより、輝度画像を生成してもよい。

ステップＳ１４において、画像処理部２００は、輝度画像のうちで画素値が飽和レベルに達した飽和画素を検出する。そして、画像処理部２００は、検出した飽和画素のまとまりを求めるラベリング処理を行う。以下、ラベリング処理後の飽和画素のまとまりを飽和領域と称することもある。なお、飽和領域には、フレアが発生している光源だけでなく、フレアとは無関係な光源も混在している可能性がある。また、図４は、図３から飽和領域を抽出した状態を示す。

ステップＳ１５において、画像処理部２００は、輝度画像内に存在する各々の飽和領域にゼロ値から順にナンバリングする。以下、飽和領域の番号を示す変数をｉ（但し、ｉは０を含む正の整数）とする。上記のナンバリングにより、画像処理部２００は、輝度画像内の飽和領域の総数ｉｍａｘを取得する。また、画像処理部２００は、各々の飽和領域ｉにつき、輝度画像内での位置を示す座標（Ｘｉ，Ｙｉ）をそれぞれ取得する。例えば、画像処理部２００は、上記の座標として飽和領域ｉの重心の座標を取得する。

ステップＳ１６において、画像生成部２０１は、輝度画像をそれぞれ異なる閾値で二値化して複数の二値化画像を生成する。このとき、画像生成部２０１は、閾値上限および閾値下限の組み合わせを変化させて複数種類の画素値の範囲を抽出することで、複数の二値化画像を生成する。

一例として、輝度画像の階調が８ビット（０〜２５５）のときに、画像生成部２０１は、以下の設定で６枚の２値化画像を生成する。

まず、画像生成部２０１は、画素値２１０〜２５０の範囲に含まれる画素か否かで輝度画像を二値化して、第１の二値化画像を生成する。また、画像生成部２０１は、画素値１７０〜２１０の範囲に含まれる画素か否かで輝度画像を二値化して、第２の二値化画像を生成する。また、画像生成部２０１は、画素値１３０〜１７０の範囲に含まれる画素か否かで輝度画像を二値化して、第３の二値化画像を生成する。また、画像生成部２０１は、画素値９０〜１３０の範囲に含まれる画素か否かで輝度画像を二値化して、第４の二値化画像を生成する。また、画像生成部２０１は、画素値５０〜９０の範囲に含まれる画素か否かで輝度画像を二値化して、第５の二値化画像を生成する。また、画像生成部２０１は、画素値３０〜５０の範囲に含まれる画素か否かで輝度画像を二値化して、第６の二値化画像を生成する。なお、二値化画像の生成数や、上記の閾値の範囲は適宜変更してもよい。

図５（ａ）〜（ｆ）は、図３に対応する二値化画像の例を示している。図５（ａ）は、画素値２５０を閾値とする二値化画像であり、図５（ｂ）は画素値２１０を閾値とする二値化画像である。図５（ｃ）は画素値１７０を閾値とする二値化画像であり、図５（ｄ）は画素値１３０を閾値とする二値化画像である。図５（ｅ）は画素値９０を閾値とする二値化画像であり、図５（ｆ）は画素値５０を閾値とする二値化画像である。図５（ａ）〜（ｆ）では、画素値が閾値以上の部分は白画素で示し、画素値が閾値未満の部分は黒画素で示している。

図５（ａ）〜（ｆ）を比較すると、フレアが発生している光源の周囲には、二値化画像において円形模様が生じていることが分かる。上記の円形模様は、光源を中心として輝度値を徐々に低下させながら外側に広がってゆく画像構造を有している。ここで、異なる２枚の２値化画像の差分をとると、上記のフレアによる画像構造は、光源を中心とした同心円状の画像構造（輪帯）として表現される。つまり、閾値上限および閾値下限で定義される画素値の或る帯域を抽出して二値化画像を生成すると、上記の輪帯を利用してフレアの発生を判定することができる。そのため、画素値の或る帯域を抽出した二値化画像を用いると、フレアが発生している光源の推定が容易になる。

図６（ａ）〜（ｆ）は、図３に対応する第１の二値化画像から第６の二値化画像の例をそれぞれ示している。図６（ａ）〜（ｆ）では、画素値が閾値の範囲内の部分は白画素で示し、画素値が閾値の範囲外の部分は黒画素で示している。図６（ａ）に示す第１の二値化画像は、図５（ａ）と図５（ｂ）との差分に相当する。図６（ｂ）に示す第２の二値化画像は、図５（ｂ）と図５（ｃ）との差分に相当する。図６（ｃ）に示す第３の二値化画像は、図５（ｃ）と図５（ｄ）との差分に相当する。図６（ｄ）に示す第４の二値化画像は、図５（ｄ）と図５（ｅ）の差分に相当する。図６（ｅ）に示す第５の二値化画像は、図５（ｅ）と図５（ｆ）の差分に相当する。図６（ｆ）に示す第６の二値化画像は、図５（ｆ）と画素値３０を閾値とする二値化画像との差分に相当する。図６（ａ）〜（ｆ）によれば、フレアが発生している光源の周囲に輪帯が形成されていることが分かる。

ステップＳ１７において、画像処理部２００は、フレアの発生を判定している光源の番号を示すカウンタｋをゼロ値に初期化する（ｋ＝０）。なお、例えばｋ＝ｉのときには、画像処理部２００は、ステップＳ１５で番号ｉを付与された飽和領域についてフレアの発生を判定する。

ステップＳ１８において、輪帯検出部２０２は、カウンタｋの値に対応する飽和領域ｋを判定対象として、複数の二値化画像から輪帯を検出する。一例として、輪帯検出部２０２は、以下の手順（Ａ）、（Ｂ）により、第１の二値化画像から第６の二値化画像のそれぞれで輪帯を検出する。

（Ａ）まず、輪帯検出部２０２は、各々の二値化画像において、判定対象の飽和領域ｋからの距離と、二値化画像で抽出される抽出画素数との相関を示す度数分布を求める。

例えば、輪帯検出部２０２は、判定対象の飽和領域ｋについて、ステップＳ１５で取得した飽和領域の座標を基準点（Ｘｋ，Ｙｋ）とする。そして、輪帯検出部２０２は、上記の基準点からの距離に対応付けて二値化画像の白画素をカウントする。これにより、輪帯検出部２０２は、基準点からの距離と、白画素の数との相関を示す度数分布を得ることができる。なお、輪帯検出部２０２は、１つの飽和領域につき、第１の二値化画像から第６の二値化画像のそれぞれで上記の度数分布を求めることとなる。

図７は、フレアが発生している光源に対応する度数分布の一例である。また、図８は、フレアが発生していない光源に対応する度数分布の一例である。図７、図８の縦軸は白画素の数を示し、図７、図８の横軸は飽和領域の基準点からの距離を示す。なお、図７、図８では、同じ光源について異なる二値化画像から求めた６つの度数分布をまとめて示している。

フレアが発生している光源の場合、各二値化画像での光源の周囲には、上記のようにそれぞれ輪帯が現れる。これにより、フレアが発生している光源の度数分布図（図７）では、輪帯の位置に応じて白画素のピークがグラフ上に明確に現れる。

上記のように、フレアの画像構造は光源を中心として輝度値を徐々に低下させながら外側に広がってゆく。したがって、相対的に画素値の高い範囲を抽出した二値化画像では輪帯の位置が光源に近付くため、度数分布のグラフ上で白画素のピークが現れる距離が基準点に近くなる。逆に、相対的に画素値の低い範囲を抽出した二値化画像では輪帯の位置が光源から遠ざかるため、相対的に画素値の高い範囲を抽出した二値化画像の場合と比べて、度数分布のグラフ上で白画素のピークが現れる距離が基準点から離れる。

なお、図７の比較例として、フレアが発生していない光源の度数分布図（図８）では、複数の二値化画像のいずれでも白画素の数に明確なピークが現れず、各度数分布のグラフは平坦なものとなることが分かる。

（Ｂ）次に、輪帯検出部２０２は、上記の手順（Ａ）で求めた度数分布での抽出画素数のピークと、抽出画素のピーク区間の幅とに基づいて輪帯を検出する。

例えば、輪帯検出部２０２は、各々の度数分布について、グラフのシャープ度合いを示す評価値ＥＶを以下の式（１）により求める。そして、輪帯検出部２０２は、評価値ＥＶの高さが所定の閾値を超えるときに、二値化画像から輪帯を検出できたと判定する。
ＥＶ＝ｐｅａｋ／ｗｉｄｔｈ％ …（１）
上記の「ｐｅａｋ」は、度数分布でのピーク強度（例えば、度数分布での白画素の最大値や、最大値近傍で重心をとった位置での白画素の数）を示す値である（図９参照）。ｐｅａｋの値は、ピーク位置で白画素の数が増えるほど高くなる。

また、「ｗｉｄｔｈ％」は、度数分布の区間全体（図９では「α」で示す）に対して、
白画素のピーク区間（図９では「β」で示す）が占める割合（β／α）を示す値である。上記のピーク区間は、白画素のピークを隔てて白画素の数が所定値をとる２点を結んだ幅である（図９参照）。例えば、ピーク区間としてピークの半値幅などを用いてもよい。ピークの高さが同じ条件下では、ピーク区間でのグラフの傾きが急峻であればピーク区間は狭くなるのでｗｉｄｔｈ％の値は低くなり、ピーク区間でのグラフの傾きが緩やかであればピーク区間は広くなるのでｗｉｄｔｈ％の値は高くなる。

なお、上記の式（１）では、ｐｅａｋの値が高くなるほど評価値ＥＶの値は高くなり、ｗｉｄｔｈ％の値が低くなるほど評価値ＥＶの値は高くなる。

ところで、輪帯検出部２０２は、各々の二値化画像での輪帯の検出位置（白画素のピーク）が、白画素として抽出される画素値の高さの順に並んでいない場合には、輪帯を検出できていないと判定してもよい。例えば、輪帯検出部２０２は、第１の二値化画像での白画素のピークが、第２の二値化画像での白画素のピークと比べて基準点から離れている場合には、輪帯を検出できていないと判定する。上記の場合には、白画素がフレアと無関係である可能性が高いからである。

また、上記の例では、ステップＳ１５で取得した飽和領域の座標を基準点（Ｘｋ，Ｙｋ）とする場合を説明した。しかし、実際には飽和領域の重心と輪帯の中心とは必ずしも一致しない。そのため、輪帯検出部２０２は、ステップＳ１５で取得した飽和領域の座標から基準点を平面方向にずらしてもよい。そして、輪帯検出部２０２は、複数の基準点でそれぞれ評価値ＥＶを求め、評価値ＥＶが最大値をとる位置を最終的に基準点として決定してもよい。

ステップＳ１９において、輪帯検出部２０２は、ステップＳ１８で輪帯が検出できたか否かを判定する。輪帯が検出できた場合（ステップＳ１９の肯定判定）には、ステップＳ２０に処理が移行する。一方、輪帯が検出できない場合（ステップＳ１９の否定判定）には、ステップＳ２１に処理が移行する。

ステップＳ２０において、光源推定部２０３は、判定対象の飽和領域ｋがフレアを生じさせる光源であると推定する。そして、光源推定部２０３は、輪帯の中心に位置する飽和領域ｋの基準点を光源位置として保存する。このとき、光源推定部２０３は、飽和領域ｋのサイズを示す情報や、飽和領域ｋに対応する輪帯のサイズ（フレアの大きさ）の情報も保存する。なお、光源推定部２０３は、例えば、ステップＳ１８における白画素のピークを示す距離から輪帯のサイズを算出すればよい。

なお、ステップＳ１８で評価値ＥＶが最大値をとる位置を探索して基準点を決定した場合、ステップＳ２０での輪帯検出部２０２は、上記の探索により決定された基準点を光源位置として保存する。

ステップＳ２１において、画像処理部２００は、全ての飽和領域を判定対象としたか（ｋ＝ｉｍａｘであるか）否かを判定する。ｋ＝ｉｍａｘである場合（ステップＳ２１の肯定判定）には、ステップＳ２３に処理が移行する。一方、ｋ＝ｉｍａｘでない場合（ステップＳ２１の否定判定）には、ステップＳ２２に処理が移行する。

ステップＳ２２において、画像処理部２００は、カウンタｋの値をインクリメントし（ｋ＝ｋ＋１）、ステップＳ１８に処理を移行させる。ステップＳ２２でｋの値が更新されることにより、ループ後のＳ１８以降の処理では、異なる飽和領域を判定対象として上記の動作が繰り返されることとなる。

なお、上記のステップＳ１４〜ステップＳ２２の例では、輝度画像で輪帯を抽出する場合を説明した。しかし、画像処理部２００は、さらにＲＧＢの各チャネルを対象としてそれぞれステップＳ１４〜ステップＳ２２と同様の処理を行ってもよい。

ステップＳ２３において、フレア補正部２０４は、入力画像のうち、フレアが発生していると推定された光源の周囲にフレアを抑制する補正処理（フレア補正処理）を施す。例えば、フレア補正部２０４は、特開２０１２−１３４６３０号公報に開示の手法を適用してフレア補正処理を施せばよい。

上記のフレア補正処理の概要を説明すると、フレア補正部２０４は、以下の手順（Ｃ）〜（Ｅ）により、フレアが発生していると推定された各々の光源を基準として、それぞれフレア補正処理を施せばよい。

（Ｃ）第１に、フレア補正部２０４は、入力画像のうち、フレア補正処理を施すフレア補正範囲を設定する。例えば、フレア補正部２０４は、ステップＳ２０で保存された光源位置の情報を用いて、フレア補正範囲の中心を決定する。そして、フレア補正部２０４は、ステップＳ２０で保存された輪帯のサイズの情報を用いて、光源位置を中心としてフレア補正範囲の位置を設定する。上記のフレア補正範囲の形状は、円形に限定されず、例えば矩形や輪帯の相似形であってもよい。なお、フレア補正範囲は、フレアが発生していると推定された各々の光源にそれぞれ設定される。

（Ｄ）第２に、フレア補正部２０４は、フレア補正範囲にフレアでの色にじみ（色フレア）が発生しているか否かを判定する。例えば、フレア補正部２０４は、フレア補正範囲での入力画像の平均値を色成分（ＲＧＢ）毎に算出する。そして、上記の平均値の色成分間でのばらつきが所定範囲を超えている場合、フレア補正部２０４は、フレア補正範囲に色フレアが発生していると判定する。色フレアが発生しているフレア補正範囲には、フレア補正部２０４が後述の（Ｅ）の処理を行う。

一方、上記の平均値の色成分間でのばらつきが所定範囲を超えていない場合、フレア補正部２０４は、フレア補正範囲に色フレアが発生していない（無色のフレアである）と判定する。なお、色フレアが発生していないフレア補正範囲には、フレア補正部２０４は後述の（Ｅ）の処理を行わない。なお、フレア補正部２０４は、色フレアが発生していないフレア補正範囲に無色の輝度フレアに対する一般的な補正処理を施してもよい。

（Ｅ）第３に、フレア補正部２０４は、フレア補正範囲の各画素につき、補正すべき色成分（例えばＲ成分またはＢ成分）を他の基準色成分（例えばＧ成分）で除算する。これにより、フレア補正範囲内の相関色分布が生成される。そして、フレア補正部２０４は、フレア補正範囲の各画素において、基準色成分に相関色分布の値を乗算する。これにより、フレア補正部２０４は、フレア補正範囲での補正すべき色成分の補正画素値を取得できる。上記のフレア補正範囲での色成分の補正は、１つの色成分のみを対象としてもよく、２つの色成分を対象としてもよい。以上の処理によって、入力画像上で飽和領域の周囲に発生していた色フレアが抑制される。

なお、フレア補正部２０４は、フレア補正範囲に対応するマスク画像にガウシアンフィルタをかけてグレースケールマスク画像を生成し、色フレアを補正した色成分についてグレースケールマスク画像との論理積をとって平滑化処理を施してもよい。上記のグレースケールマスクの適用により、フレア補正範囲の境界部分での階調変化を目立ちにくくすることができる。

ステップＳ２４において、画像処理部２００は、入力画像をモニタ１０９へ再生表示さ
せる。画像処理部２００による補正が行われている場合、モニタ１０９には補正後の入力画像が表示される。なお、ステップＳ２４において、ユーザから保存指示が入力された場合、画像処理部２００は、補正後の画像をユーザが指示した保存先（例えば記憶装置１０３など）に記録する。

ステップＳ２５において、画像処理部２００は、例えば、階調変換、ノイズ除去、輪郭強調、明度補正、彩度補正などの画像処理を含むレタッチ処理の指示をユーザから受け付けたか否か判定する。レタッチ処理の指示を受け付けた場合（ステップＳ２５の肯定判定）には、ステップＳ２６に処理が移行する。一方、レタッチ処理の指示を受け付けていない場合（ステップＳ２５の否定判定）には、ステップＳ２７に処理が移行する。

ステップＳ２６において、画像処理部２００は、入力画像に対してユーザから指示された内容の画像処理（レタッチ処理）を施し、ステップＳ２４に処理を移行させる。

ステップＳ２７において、画像処理部２００は、終了指示を受け付けたか否かを判定する。終了指示を受け付けた場合（ステップＳ２７の肯定判定）には、画像処理部２００は処理を終了させる。一方、終了指示を受け付けていない場合（ステップＳ２７の否定判定）には、ステップＳ２４に処理が移行する。以上で、図２の流れ図の説明を終了する。

以下、第１実施形態での作用効果を述べる。

第１実施形態の画像処理部２００は、複数の二値化画像を用いて、入力画像に含まれる輪帯を検出する（Ｓ１６〜Ｓ１８）。そして、画像処理部２００は、検出された輪帯の位置からフレアを生じさせる光源位置を推定し（Ｓ２０）、推定された光源位置を基準として設定されたフレア補正範囲にフレア補正処理を行う（Ｓ２３）。これにより、画像処理部２００は、輪帯がなくフレアの発生していない飽和領域に対して不要なフレア補正が行われることを防止できる。また、画像処理部２００は、入力画像の画素値の情報からフレアの発生箇所を特定できるので、撮影光学系の結像特性を示す情報が利用できない環境でも、フレアの補正を精度よく行うことが可能となる。

また、画像処理部２００は、二値化画像を生成するときに閾値上限および閾値下限の組み合わせを変化させて、それぞれ抽出する白画素の範囲が異なる複数の二値化画像（図６）を用いて輪帯を検出する（Ｓ１６〜Ｓ１８）。これにより、画像処理部２００は、入力画像に含まれる輪帯の形状を明確に抽出できるので、フレアが発生している光源を容易に推定できる。

また、画像処理部２００は、二値化画像での飽和領域からの距離と、二値化画像の白画素数との相関を示す度数分布を求め、度数分布での白画素のピークの高さと、ピークの幅とに基づいて輪帯を検出する（Ｓ１８）。これにより、画像処理部２００は、各々の二値化画像で輪帯の位置を明確に抽出できる。

また、画像処理部２００は、フレア補正処理（Ｓ２３）により、入力画像の光源の周囲に生じる色フレアを補正する。上記の処理により、例えば、回折光学素子を含む撮影光学系で撮影された画像では、回折光学素子による不自然な色フレアを除去できるので、画像の見栄えを向上させることができる。

＜第２実施形態の説明＞
図１０は、本件開示の撮像装置の一例である第２実施形態の電子カメラの構成例を示す図である。なお、第２実施形態において、第１実施形態と同一または同様の構成には同じ符号を付して説明を省略する。

電子カメラ３００は、レンズユニット３０１と、撮像部３０２と、カメラマイコン３０３と、第１メモリ３０４と、第２メモリ３０５と、各種の画像を表示する表示デバイスを含む表示部３０６と、メディアＩ／Ｆ３０７と、ユーザからの操作を受け付ける操作部３０８とを有する。ここで、撮像部３０２、第１メモリ３０４、第２メモリ３０５、表示部３０６、メディアＩ／Ｆ３０７、操作部３０８は、それぞれカメラマイコン３０３に接続されている。

レンズユニット３０１は、電子カメラ３００に着脱可能であり、例えば、回折光学素子などの複数のレンズを含む撮影光学系３０９を有している。撮影光学系３０９のレンズ構成等を示すレンズ情報は、電子カメラ３００とレンズユニット３０１とのマウント（不図示）を介してカメラマイコン３０３に入力される。なお、図１０では、撮影光学系３０９を１枚のレンズで示している。

撮像部３０２は、撮影光学系３０９を介して入射された光束による被写体の結像を撮像（撮影）するモジュールである。例えば、撮像部３０２は、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やＡ／Ｄ変換処理などを施す信号処理回路とを含んでいる。なお、上記の撮像素子の画素には、例えば公知のベイヤ配列に従ってＲＧＢのカラーフィルタが配置されており、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像部３０２は、撮影時に例えばＲＧＢのカラー画像を取得できる。

カメラマイコン３０３は、電子カメラ３００の動作を統括的に制御するプロセッサである。例えば、カメラマイコン３０３は、撮像部３０２での撮影制御、自動露出制御、表示部３０６での画像の表示制御、メディアＩ／Ｆ３０７での画像の記録制御を行う。また、第２実施形態でのカメラマイコン３０３は、本件開示の画像処理装置の一例である画像処理部２００を有している。第２実施形態においても、画像処理部２００は、画像生成部２０１、輪帯検出部２０２、光源推定部２０３、フレア補正部２０４をそれぞれ有している。なお、図１０に示す画像処理部２００は、メモリにロードされた画像処理プログラムによって実現されてもよく、任意のプロセッサ、メモリ、電子回路によってハードウェア的に実現されてもよい。

第１メモリ３０４は、画像処理の前工程や後工程で撮像した画像のデータを一時的に記憶するバッファメモリである。例えば、第１メモリ３０４は、揮発性の半導体メモリである。第２メモリ３０５は、カメラマイコン３０３で処理されるプログラムや、プログラムで使用される各種データを記憶するメモリである。例えば、第２メモリ３０５は、フラッシュメモリ等の不揮発性メモリである。

メディアＩ／Ｆ３０６は、不揮発性の記憶媒体３１０を接続するためのコネクタを有している。そして、メディアＩ／Ｆ３０６は、コネクタに接続された記憶媒体３１０に対してデータ（記録用画像）の書き込み／読み込みを実行する。記憶媒体３１０は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。

図１１は、第２実施形態での電子カメラの動作例を示す流れ図である。図１１の例では、電子カメラ３００が撮影直後に画像にフレア補正処理を施す場合を説明する。図１１の例では、図２に示すステップＳ１１、Ｓ１２がそれぞれステップＳ１１’、Ｓ１２’に置き換わる。また、図１１の例では、図２に示すステップＳ２４以降の処理がステップＳ３１に置き換わる。なお、図１１のステップＳ１３〜Ｓ２３の処理は、図２の場合と同様であるので重複説明を省略する。

ステップＳ１１’において、カメラマイコン３０３は、撮像部３０２を駆動させて被写体の像を撮影する。撮像部３０２で撮影された撮影画像のデータは、カメラマイコン３０３に入力される。これにより、カメラマイコン３０３は、フレア補正処理の対象となる入力画像を撮像部３０２から取得する。

ステップＳ１２’において、画像処理部２００は、入力画像にフレア補正処理を施すフレア補正モードであるか否かを判定する。一例として、ユーザがフレア補正モードの設定をオンにしている場合や、レンズユニット３０１のレンズ情報を参照して、装着中のレンズユニット３０１が回折光学素子を有している場合に、画像処理部２００は、フレア補正モードであると判定する。

フレア補正モードである場合（ステップＳ１２’の肯定判定）には、図１１のステップＳ１３に処理が移行する。一方、フレア補正モードではない場合（ステップＳ１２’の否定判定）には、図１１のステップＳ３１に処理が移行する。

ステップＳ３１において、カメラマイコン３０３は、メディアＩ／Ｆ３０７を介して撮影画像のデータを記憶媒体３１０に記録する。以上で、図１１の流れ図の説明を終了する。

なお、第２実施形態において、メディアＩ／Ｆ３０７を介して取得した撮影画像のデータを対象として、画像処理部２００が後処理工程でフレア補正処理を行うこともできる。上記の場合の処理は、第１実施形態で説明した図２の処理と同様となるので説明は省略する。

以上のように、第２実施形態の電子カメラにおいても、第１実施形態の構成と同様の効果を得ることができる。

＜実施形態の補足事項＞
（１）上記の実施形態では、入力画像から二値化画像を生成する例を説明した。しかし、本件開示の構成では、入力画像の代わりに、入力画像を間引きまたは低解像度化した縮小画像を用いてもよい。縮小画像を用いる場合には、演算処理を行う画素数が少なくなるので、演算負荷を低下させることができる。

また、本件開示の構成では、入力画像の代わりに、入力画像を平滑化した平滑化画像を用いてもよい。平滑化画像を用いる場合には、例えば、細かい輝点やノイズによる白点が除去されるので、フレアを生じさせる光源の推定をより精度よく行うことができる。

なお、本件開示の構成では、入力画像の代わりに、平滑化処理を施した縮小画像を用いてもよい。上記の場合、平滑化処理と縮小画像を生成する処理の順番は適宜入れ替えることができる。

（２）上記の実施形態ではカラー画像の輝度成分を用いて輪帯を検出する例を説明した。しかし、本件開示の構成では、入力画像のＧ成分を輝度成分とみなして、Ｇ成分の二値化画像から輪帯を検出してもよい。

（３）上記の実施形態で説明したフレア補正処理はあくまで一例にすぎず、本件開示の構成が他の手法によりフレアの補正を行うものであってもよい。例えば、色フレアの補正のときに、フレア補正範囲の彩度を低下させる処理を行ってもよい。なお、本件開示の構成によるフレアの光源位置の推定は、回折光学素子による色フレアに限定されず、他のフレアの光源位置の推定にも適用できる。

（４）上記の第２実施形態ではレンズ交換式の電子カメラの構成例を説明した。しかし、本件開示の撮像装置は、レンズ一体型の電子カメラであってもよい。また、本件開示の撮像装置は、例えば、携帯電子機器（スマートフォン、携帯電話、タブレットコンピュータ等）に組み込まれるカメラモジュールであってもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０１…コンピュータ、１０２…データ読込部、１０３…記憶装置、１０４…ＣＰＵ、１０５…メモリ、１０６…入出力Ｉ／Ｆ、１０７…バス、１０８…入力デバイス、１０９…モニタ、２００…画像処理部、２０１…画像生成部、２０２…輪帯検出部、２０３…光源推定部、２０４…フレア補正部、３００…電子カメラ、３０１…レンズユニット、３０２…撮像部、３０３…カメラマイコン、３０４…第１メモリ、３０５…第２メモリ、３０６…表示部、３０７…メディアＩ／Ｆ、３０８…操作部、３０９…撮影光学系、３１０…記憶媒体

Claims (8)

1. 撮影光学系の結像を撮像した入力画像を取得する手順と、
   前記入力画像を閾値上限及び閾値下限の組み合わせが異なる複数種類の範囲の閾値で二値化して複数の二値化画像を生成する手順と、
   前記複数の二値化画像に基づいて、フレアを抑制する補正をする手順と、
   をコンピュータに実行させる画像処理プログラム。
2. 請求項１に記載の画像処理プログラムにおいて、
   前記複数の二値化画像を用いて、フレアを補正する位置を特定する手順を実行させ、
   前記補正をする手順では、前記特定する手順で特定した位置に基づいて前記フレアを抑制する画像処理プログラム。
3. 請求項１に記載の画像処理プログラムにおいて、
   前記複数の二値化画像を用いて所定の分布を求める手順を実行させ、
   前記補正をする手順では、前記分布に基づいて前記フレアを抑制する画像処理プログラム。
4. 請求項１または３に記載の画像処理プログラムにおいて、
   前記撮影光学系は、回折光学素子を含み、
   前記補正をする手順では、前記回折光学素子に由来するフレアでの色にじみを補正することを特徴とする画像処理プログラム。
5. 請求項１から請求項４のいずれか１項に記載の画像処理プログラムにおいて、
   前記二値化画像を生成する手順では、前記入力画像の輝度成分について前記複数の二値化画像を生成する画像処理プログラム。
6. 撮影光学系の結像を撮像した入力画像を取得する取得部と、
   前記入力画像を閾値上限及び閾値下限の組み合わせが異なる複数種類の範囲の閾値で二値化して複数の二値化画像を生成する生成部と、
   前記複数の二値化画像に基づいて、フレアを抑制する補正をする補正部と、
   を備える画像処理装置。
7. 撮影光学系の結像を撮像する撮像部と、
   請求項６に記載の画像処理装置と、
   を備える撮像装置。
8. 請求項７に記載の撮像装置において、
   前記撮影光学系は、回折光学素子を含む撮像装置。