JP2014123805A - 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

【課題】不均一なぼけ（特定のぼけ）を良好な精度で検出する。
【解決手段】画像処理装置２０４は、光学系を用いた撮像により生成された入力画像に光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を記憶する記憶部１０８と、撮像時の撮像条件の情報を取得する撮像条件取得部１０７と、撮像時の撮像条件が特定の撮像条件に対して一致するとき又は所定の近接範囲にあるときに、入力画像に含まれる特定のぼけ成分を検出するためのぼけ検出処理を行う処理部１０４とを有する。
【選択図】図１４

Description

本発明は、デジタルスチルカメラ、ビデオカメラ等の撮像装置による撮像により取得された画像に対して行う画像処理技術に関する。

撮像により取得された画像に対して行われる電子的な画像処理技術が従来種々提案されている。例えば特許文献１には、画像内の被写体の顔を認識して、顔以外の領域を塗りつぶしたり、ぼかしたり、あるいは顔を中心とした領域を切り出したりするという画像処理技術が開示されている。また、特許文献２には、画像の情報とともに、その画像を取得したときの撮像条件を用いて処理に必要な判定を行う画像処理技術が開示されている。さらに、特許文献３には、画像中に含まれる被写体までの距離情報を取得し、該距離情報に応じて異なる画像回復フィルタを用いて画像回復処理を行う画像処理技術が知られている。

ところで、光学系を通して撮像を行うと、得られた画像には、光学系の結像性能（例えば、収差や回折）に起因した劣化が少なからず生ずる。非合焦領域で、点光源に近い被写体では、後述する結像性能に起因する不均一なぼけ（例えば、中抜けしたぼけや非対称性が大きいぼけ）が発生する。このような不均一なぼけを、画像処理により除去したり低減したりすることが望まれる。

特開２０１１−１８７２０８号公報 特開２００４−１４５２８７号公報 特開２０１１−４４８２５号公報

しかしながら、光学系の結像性能に起因する非合焦領域にて発生する不均一なぼけと、不均一な形状を有する被写体とを画像処理によって正確に識別することは難しい。このため、不均一な形状の被写体が含まれる領域を不均一なぼけが発生している領域として誤検出し、該誤検出した領域に対して画像処理を行うことで、本来得られるべき被写体画像とは異なる画像が得られるおそれがある。特許文献１〜３のいずれにも、不均一なぼけを精度良く検出する方法に関しては開示されていない。

本発明は、不均一なぼけ（特定のぼけ）を良好な精度で検出できるようにした画像処理方法および画像処理装置を提供する。

本発明の他の一側面としての画像処理装置は、光学系を用いた撮像により生成された入力画像を取得する画像取得部と、入力画像に光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を記憶する記憶部と、撮像時の撮像条件の情報を取得する撮像条件取得部と、撮像時の撮像条件が特定の撮像条件に対して一致するとき又は所定の近接範囲にあるときに、入力画像に含まれる特定のぼけ成分を検出するためのぼけ検出処理を行う処理部とを有することを特徴とする。

なお、光学系を用いて撮像を行い、入力画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、光学系を用いた撮像により生成された入力画像を取得するステップと、入力画像に光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を用意するステップと、撮像時の撮像条件の情報を取得するステップと、撮像時の撮像条件が特定の撮像条件に対して一致するとき又は所定の近接範囲にあるときに、入力画像に含まれる特定のぼけ成分を検出するためのぼけ検出処理を行うステップとを含む処理を実行させることを特徴とする。

また、本発明の他の一側面としての画像処理方法は、光学系を用いた撮像により生成された入力画像を取得するステップと、入力画像に光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を用意するステップと、撮像時の撮像条件の情報を取得するステップと、撮像時の撮像条件が特定の撮像条件に対して一致するとき又は所定の近接範囲にあるときに、入力画像に含まれる特定のぼけ成分を検出するためのぼけ検出処理を行うステップとを有することを特徴とする。

本発明によれば、特定の撮像条件にて発生し易い特定のぼけを良好な精度で検出することができる。

本発明の実施例である画像処理装置（画像処理方法）が処理の対象とする不均一なぼけの例を示す図。 上記不均一なぼけを説明する図。 上記不均一なぼけが発生領域を示す図。 本発明の各実施例に共通する処理内容を示すフローチャート。 撮像条件を用いた判定例を示す図。 撮像条件を用いた別の判定例を示す図。 距離マップを説明する図。 入力画像中での不均一なぼけの検出領域を示す図。 不均一なぼけのメリジオナル方向での対称性を示す図。 入力画像に含まれる不均一なぼけを示す図。 予め用意する不均一なぼけ形状を示す図。 予め用意したぼけ形状データと検出した不均一なぼけとの照合方法を示す図。 本発明の実施例１である画像処理装置の処理を示すフローチャート。 実施例１の画像処理装置の構成を示すブロック図。 本発明の実施例２である画像処理装置の処理を示すフローチャート。 複数枚の画像の取得を説明する図。 実施例２の画像処理装置の構成を示すブロック図。本発明の実施例２の構成図 本発明の実施例３である画像処理装置の処理を示すフローチャート。 実施例３の画像処理装置の構成を示すブロック図。

以下、本発明の実施例について図面を参照しながら説明する。

まず具体的な実施例の説明に先立って、実施例で用いる用語の定義について説明する。「入力画像」
実施例において、入力画像は、デジタルスチルカメラやビデオカメラ等の撮像装置に設けられた撮像光学系により形成された被写体像（光学像）を撮像素子により光電変換して得られる撮像信号を用いて生成されるデジタル画像である。入力画像は、レンズや各種光学フィルタを含む撮像光学系の収差に応じた光学伝達関数（ＯＴＦ）によって劣化している。撮像光学系は、レンズの他にも、曲率を有するミラー（反射面）を用いて構成することもできる。

また、入力画像の色成分は、例えばＲＧＢ色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることが可能である。さらには色温度を用いることも可能である。

また、入力画像には、撮像光学系の焦点距離、絞り値おび撮影距離等の撮像条件、さらにはこの入力画像を補正するための各種の補正情報を付帯させることができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合には、上記のように画像に撮像条件情報や補正情報を付帯させるとよい。
「不均一ぼけ」
実施例において、非合焦領域にて撮像光学系の結像性能に起因して発生する不均一にぼけた像を不均一ぼけという。この不均一ぼけが撮像素子によって光電変換されることで入力画像中に含まれることになった画像成分を、特定のぼけ成分としての不均一ぼけ成分という。ただし、以下の説明では、不均一ぼけ成分を単に、不均一ぼけともいう。

図１を用いて不均一ぼけについてより具体的に説明する。例えば、図１（ａ）のような不均一ぼけが入力画像中に存在した場合、この不均一ぼけの長軸方向の長さａと短軸方向の長さｂとを計算する。ここで、長軸方向は、図中にＭで示すメリジオナル方向とＳで示すサジタル方向のうちぼけの長さが長い方向をいい、短軸方向は、メリジオナル方向とサジタル方向のぼけの長さが短い方向をいう。また、メリジオナル方向は、入力画像の中心と不均一ぼけの重心とを結ぶ方向であり、サジタル方向は、該メリジオナル方向に直交する方向である。

次に、長軸をａとし、短軸をｂとする不均一ぼけの重心を中心とした図１（ｂ）に示すような楕円を描く。そして、図１（ｃ）に示すように、図１（ｂ）の楕円と図１（ａ）の不均一ぼけとの面積の差分を計算する。

また、メリジオナル方向とサジタル方向について、画素ごとに長軸方向の長さＡと短軸方向の長さＢを計算し、ＡとＢの最大値をそれぞれＡｍａｘ，Ｂｍａｘとする。次に、長軸をＡｍａｘとし、短軸をＢｍａｘとするぼけの重心を中心とした楕円を描く。そして、楕円とぼけとの面積の差分を計算してもよい。

ぼけが均一か不均一かはそれぞれ、人間が見たときに不自然に感じないか感じるかで定義するとよい。例えば、上記差分が楕円の面積に対して１０％以上であることを不均一の定義としてもよい。つまり、１０％未満であれば、均一なぼけとして扱うこととしてもよい。また、上記差分が楕円の面積に対して２０％以上または３０％以上であることを不均一の定義とし、それぞれ２０％未満または３０％未満であれば均一なぼけとして扱うこととしてもよい。

次に、ぼけの面積の計算について説明する。例えば、輝度信号を８ビットで格納する場合は、輝度信号値は０から２５５までになる。その際に閾値を設定し、閾値を越えた画素の数を積算することでぼけの面積としてもよい。閾値は、ノイズの影響を排除する必要や飽和画素ではぼけが見えないことを考えて、０と２５５の間の中間の輝度信号値を採用するとよい。

また、不均一ぼけが発生している画素領域（不均一ぼけ領域）の判定について説明する。この判定では、面積の場合と同様に、ノイズの影響を避けるために０より大きい閾値を設ける。例えば、８ビットで輝度信号を格納する場合には、輝度信号値が３０以上の領域を不均一ぼけ領域としてもよい。

図１（ｄ）および図１（ｇ）に示すぼけも不均一ぼけに含まれる。図１（ａ）に示した不均一ぼけは、図１（ｂ）の楕円がぼけに内包された。しかし、図１（ｄ）に示すぼけのように、図１（ｅ）に示す楕円に内包されるぼけであってもよい。この場合の面積の差分は、図１（ｆ）に示すようになる。また、図１（ｇ）のように、回折によるリング状のぼけも不均一ぼけである。このぼけは、図１（ｈ）に示す惰円（円）に内包され、この場合の面積の差分は、図１（ｉ）に示すようになる。

さらに、図１（ａ），（ｄ），（ｇ）に示したぼけ以外の形状を有するぼけ、例えば、図１（ｇ）に示した回折によるぼけに、図１（ａ）や図１（ｄ）に示した収差によるぼけが足されたぼけも、不均一ぼけに含まれる。つまり、不均一ぼけとしての条件を満たせば、その形状にかかわらず不均一ぼけとして扱う。例えば、メリジオナル方向とサジタル方向の長さのうち長いほうを長軸方向とし、短い方向を短軸方向とした場合に、長軸方向が短軸方向の１．３倍以上であることを不均一ぼけとして扱う条件としてもよい。 また、図２に示すように、ぼけの０度方向、４５度方向、９０度方向および１３５度方向の長さを検出し、これら４方向でのぼけの長さの最大値と最小値の比が１．３以上であることを不均一ぼけとして扱う条件としてもよい。
「特定物体距離範囲」
実施例において、不均一ぼけの検出処理を行う物体距離の範囲を、特定物体距離範囲という。図３には、不均一ぼけが発生する物体距離範囲を示している。図３の縦軸は撮像画面（入力画像）中の被写体までの物体距離を示し、横軸は撮像光学系のピントが合っている物体距離（合焦物体距離）を示す。平面ではない被写体を撮像した場合、取得される画像は、物体距離が異なる複数の被写体を内包する。その中でピントが合っている被写体の物体距離が合焦物体距離であり、入力画像中における該合焦物体距離に対応する被写体が含まれる画像領域が合焦画像領域である。図５中の斜線が合焦物体距離を示す。そして、この合焦物体距離から外れた物体距離範囲が非合焦物体距離範囲であり、非合焦物体距離範囲に対応する画像領域が、非合焦画像領域である。非合焦領域の中で、撮像条件を示すパラメータ情報（以下、撮像条件パラメータ情報という）から決定される不均一ぼけの発生領域、つまりは特定物体距離範囲において不均一ぼけ検出処理を行う。

次に、図４のフローチャートを用いて、後述する各実施例で行われる不均一ぼけ検出処理（画像処理方法）の基本的な内容について説明する。この処理は、コンピュータがコンピュータプログラムとしての画像処理プログラムに従って実行する。

ステップＳ１０１において、撮像装置の撮像光学系のピントが被写体に合った状態でユーザが撮像装置のシャッタボタンを押す（シャッターＯＮ）と、処理が開始される。

ステップＳ１０２では、撮像時の撮像条件パラメータ情報を取得する。撮像条件パラメータ情報は、例えば、撮像光学系の焦点距離やＦナンバー（Ｆｎｏ）、さらには撮影距離（合焦物体距離）を含む。例えば、焦点距離が短く、パンフォーカス状態になる場合は、不均一ぼけは発生しにくい。また、Ｆｎｏを変化させると、回折の影響で不均一ぼけの形状は変化する。さらに、撮影距離を変化させると、不均一ぼけが発生する物体距離が変化する。撮像条件パラメータ情報の取得は、シャッタボタンを押す前であってもよいし後であってもよい。デジタルスチルカメラには、シャッタボタンの半押し操作によって合焦動作を行い、シャッタボタンが全押し操作されることで撮像を行うものがある。このようなデジタルスチルカメラでは、シャッタボタンの半押し操作にて撮像条件は固定されるので、その時点で撮像条件パラメータ情報を取得してもよい。

次に、ステップＳ１０３では、撮影時の撮像条件パラメータ情報と、不均一ぼけが発生する撮像条件を示すパラメータ情報として予めデータベースに用意された特定撮像条件パラメータ情報とが一致するか否かを判定する。

ここで、図５と表１を用いて特定撮像条件パラメータ情報およびこれと撮像時の撮像条件パラメータ情報との一致判定、つまりは不均一ぼけの発生判定について説明する。前述したように、撮像条件パラメータ情報には、撮像光学系の焦点距離、Ｆｎｏおよび撮影距離を含む。

焦点距離については、広角側の焦点距離や望遠端付近では不均一ぼけは目立ちにくいが、中間焦点距離では不均一ぼけが目立ちやすい。これは、広角側ではパンフォーカス状態となり、画面全体が合焦画像領域となるために、非合焦画像領域で発生する不均一ぼけは目立ちにくいからである。また、望遠端付近では被写界深度が浅いために、物体距離が変化するとすぐにぼけが大きくなるために不均一ぼけが目立ちにくいからである。これに対して、中間焦点距離では、パンフォーカス状態でもなく、物体距離が変化しても望遠端付近ほど大きくぼけないために、不均一ぼけは目立ち易い。

Ｆｎｏを絞ると回折の影響によってリング状のぼけが発生するが、収差の影響は少なくなるためにぼけの異形は目立ちにくい。撮影距離が至近である場合は、無限遠にピントを合わせた場合に対して、一般に結像性能が低下するために不均一ぼけは目立ちにくい。このように焦点距離、Ｆｎｏおよび撮影距離等の撮像条件に応じて不均一ぼけの発生度合い（目立ち度合い）が変化するため、撮像条件パラメータ情報を判定に用いることで誤検出を低減できる。判定方法は、例えば表１に示すような内容であってもよい。焦点距離、Ｆｎｏおよび撮影距離に応じた不均一ぼけの発生をデータテーブルとして予め用意（記憶）し、これと実際の撮像時の撮像条件と比較することで判定を行ってもよい。実際の撮像時の撮像条件が、データテーブルに用意された値ではなく中間の値であった場合、最も値の近いデータテーブルの値を用いてもよい。例えば表１では、撮影距離が５ｍの場合は撮影距離３ｍのデータテーブルの判定結果を参照する。撮影距離が８ｍの場合は１０ｍのデータテーブルの判定結果を参照する。他の撮像条件パラメータに関しても同様である。

また、図６および表２に示すように、撮像条件パラメータ情報に、撮像光学系のデフォーカス量を含んでもよい。デフォーカス量を用いことで、不均一ぼけの検出精度をより向上させることができる。

特定撮像条件パラメータ情報と撮像時の撮像条件パラメータ情報とが一致しない場合は不均一ぼけ検出処理は行わない。一方、特定撮像条件パラメータ情報と撮像時の撮像条件パラメータ情報とが一致した場合は、ステップＳ１０４にて、以下に説明する距離マップを取得し、その後、不均一ぼけ検出処理を行う。

距離マップとは、入力画像を複数の画像領域に分割し、その画像領域ごとの物体距離の情報（つまりは入力画像における物体距離分布の情報）を示すデータマップである。距離マップの取得方法としては、例えば、複数回の撮像において互いに異なる物体距離にピントを合わせ複数枚の画像を取得し、これら複数の画像それぞれにおいて合焦画像領域を抽出する方法を用いてもよい。これにより、画像内での画像領域ごとの物体距離を示す距離マップが得られる。また、複数回の撮像において互いに異なる絞り値を設定して複数枚の画像を取得し、これら複数の画像それぞれにおいて合焦画像領域を抽出する方法を用いてもよい。絞り値によって被写界深度が変化し、合焦画像領域も変化するため、各絞り値にて被写界深度に含まれる物体距離（つまりは合焦物体距離）を求めることで、距離マップを得ることができる。

図７を用いて、絞り値を変化させることによる距離マップの取得方法についてより詳しく説明する。ここでは、ピントを合わせる被写体が入力画像（撮像画面）の中心に存在する場合について説明する。

図７（ａ）は絞り開放状態を示し、黒領域はピントが合っている画像領域（合焦画像領域）を示す。図７（ｂ）は絞りを開放状態から１段絞った状態を示す。図７（ｃ）は、図７（ａ），（ｂ）に示した状態の差分を示す。撮影距離とＦｎｏと焦点距離から被写界深度を計算することで、ピントが合っている被写体までの距離（合焦物体距離）を計算できる。

例えば、図７（ａ）に示した合焦画像領域に対応する合焦物体距離範囲が２ｍから４ｍとすると、図７（ｂ）ではこれよりも広い２ｍから１０ｍの合焦物体距離範囲を有する。そして、図７（ｂ）に示した合焦画像領域から図７（ａ）の合焦画像領域を差し引いた残り（差分）の画像領域に対応する物体距離４ｍから１０ｍが、絞りを開放状態から一段絞った状態に対して固有に対応する合焦物体距離である。このようにして、画像領域ごとの物体距離を得ることができ、距離マップを取得することができる。なお、絞り値は１段刻みだけでなく、０．５段刻み等、より細かく変化させることで、距離マップの精度を向上させることができる。

さらに、距離マップの取得方法としては、撮像光学系の瞳を分割し、それぞれの分割瞳領域からの光を用いた位相差検出方式による合焦動作を行い、画像領域ごとの物体距離を求める方法もある。瞳の分割は、撮像素子の画素ごとにマイクロレンズを配置する方法や、画素を複数に分割する方法がある。また、瞳分割により視差画像を取得し、該視差画像から画像領域（画素）ごとの物体距離を求めてもよい。

このような距離マップは、シャッタボタンが押されてから不均一ぼけ検出処理が開始されるまでのいずれのタイミングで取得してもよい。距離マップを取得して、撮像条件パラメータ情報としてデフォーカス量を含むことで、不均一ぼけの検出精度が向上する。

例えば、不均一ぼけの発生判定前に距離マップを取得すると、すべての入力画像の撮像において距離マップを取得することになる。この場合は、距離マップの取得負荷が増加するものの、距離マップを全ての入力画像に対して取得できるため、この後の工程での処理の自由度が増える。例えば、後の工程で画像回復フィルタを用いた画像回復処理を行う場合には、距離マップから得られる情報に基づいて画像回復フィルタを変化させてもよい。一方、不均一ぼけの発生判定後に距離マップを取得すると、不均一ぼけが発生する撮像条件にて撮像された入力画像に対してのみ距離マップを取得すれば済むので、距離マップの取得負荷は最小限に抑えられる。

次に、図４に示すステップＳ１０５では、不均一ぼけ検出処理を行う。この際、撮像条件パラメータ情報を参照してもよい。例えば、撮像条件パラメータ情報に含まれている、距離マップから得られるデフォーカス量を参照して特定物体距離範囲を決定してもよい。例えば、デフォーカス量が著しく大きくなると、被写体画像のぼけも大きくなり、被写体画像か不均一ぼけかの判別が不可能になるが、この状態では不均一ぼけは背景と判別不可能になる。また、デフォーカス量が著しく小さいと、ピントが合っている状態に近い結像性能となり、不均一ぼけが発生する可能性が低い。このため、デフォーカス量を参照することで、不均一ぼけの検出が確実に行える可能性を高め、その結果、不均一ぼけの検出精度を高めることができる。

また、撮像条件パラメータ情報に焦点距離、Ｆｎｏおよび撮影距離だけでなく、そのときに不均一ぼけが発生する被写体距離を含んでもよく、それを参照して特定物体距離範囲を決定してもよい。

以下、不均一ぼけ検出処理について詳しく説明する。まず、入力画像の全体に対して画像処理用のフィルタを用いた不均一ぼけ検出処理を行うと、処理の負荷が大きい。このため、実施例では、前述したように撮像条件パラメータ情報に基づいて不均一ぼけの発生の有無を予め判定し、不均一ぼけが発生している場合に限り、不均一ぼけ検出処理を行う。しかも、不均一ぼけ検出処理を不均一ぼけの発生の可能性が高い画像領域のみで行うことで、検出処理の負荷を軽減している。

不均一ぼけを検出する際に、以下の条件を満足するＣ×Ｃ個の画素（フィルタセル）を有するフィルタを用いる、つまりは、Ｃ×Ｃ個の画素を含む領域内で不均一ぼけ検出処理を行うと、検出精度と処理の負荷とのバランスが取れるのでよい。
１＜Ｃ＜ｄｅｆ／Ｐ ・・・ （１）
ただし、ｄｅｆはデフォーカス量であり、Ｐは画素ピッチである。

不均一ぼけの検出領域について、図８を用いて説明する。不均一ぼけは、撮像光学系の結像性能（収差や回折など）に起因して発生する。収差量に対して被写体が十分大きければ、図８（ａ）に示すように、不均一ぼけは目立たなくなる。その閾値として、例えば条件式（１）で定義されるＣを用いてもよい。逆に被写体の大きさが小さく、１画素に近いほど、図８（ｂ）に示すように不一ぼけの発生が顕著になる。

例えば、１／２．３型（４．６５ｍｍ×６．２ｍｍ）撮像素子であって、１．４μｍの画素ピッチを有する撮像素子を用いて撮像を行う場合において、デフォーカス量を０．１ｍｍとすると、Ｃの上限は７１画素となる。上記撮像素子で取得された入力画像の総画素数は、４４２８×３３２１となる。例えば、この入力画像で１０００×１０００画素の大きさの被写体が非合焦領域に存在したとしても、不均一ぼけは目立たないと考えられる。

条件式（１）では、下限値として１（画素）を有する。不均一ぼけが発生していても、１画素よりも小さい領域であれば、１画素の中で信号強度が積算されて目立たないためである。このように下限値を設定することで、処理負荷をより軽減することができる。

不均一ぼけを検出する際に、不均一ぼけがメリジオナル方向においてサジタル方向に延びる対称軸に関して対称な形状を有することを利用するとよい。このことについて、図＋を用いて説明する。

図９（ａ）に示すように、撮像光学系の結像性能に依存して発生する不均一ぼけは、撮像光学系が光軸に対して回転対称な光学系である場合には、メリジオナル方向Ｍにおいて、サジタル方向Ｓに延びる対称軸に関して対称な形状を有する。一方、不均一ぼけではない不均一な形状の被写体は、図９（ｂ）に示すように、メリジオナル方向において対称な形状を有するとは限らない。そこで、図９（ｃ），（ｄ）に示すように不均一ぼけを検出する画像領域をメリジオナル方向に対して折り返し、折り返した画像と折り返していない画像との信号強度の差分をとる。そして、その差分を積算した結果が閾値を超えた場合は不均一な形状の被写体であり、閾値を下回った場合は収差や回折に起因する不均一ぼけと判別できる。

また、撮像条件に応じた不均一ぼけの形状のデータを用意し、このデータを不均一ぼけを検出する際に参照してもよい。不均一ぼけが発生する撮像条件において、被写体がたまたま不均一な形状を有する場合が考えられ、このまま検出処理を行うと、被写体を不均一ぼけとして誤検出するおそれがある。このため、不均一ぼけの形状を予めデータとして用意し、これを参照することで誤検出を回避することができる。

例えば、図１０に示すように、入力画像中に不均一ぼけが存在したとする。一方、図１１に示すように、撮像条件および像高ごとに不均一ぼけの形状データを用意しているとする。形状データは、入力画像の長辺方向または短辺方向に平行なメリジオナル方向を有するように予め計算しておくとよい。全ての撮像条件に対して形状データを用意してもよいが、これではデータ量が膨大となり、必要な記憶容量も増大するため、不均一ぼけが発生する撮像条件に対してのみ形状データを用意することで、データ量の削減を図ることができる。

また、不均一ぼけを検出する際に、撮像条件に応じて用意した不均一ぼけの形状データ（の重心）を入力画像の中心回りで回転させてから参照するとよい。すなわち、図１１に示すように用意した形状データを、図１２（ａ），（ｂ）に示すように回転させて、不均一ぼけのメリジオナル方向と形状データのメリジオナル方向が一致するようにする。Ｖは垂直方向を示し、Ｈは水平方向を示す。

その後に、図１０に示した不均一ぼけと照合する。この照合は、例えば、不均一ぼけの検出領域内で該不均一ぼけと不均一ぼけ形状データとの輝度信号の差分をとり、検出領域内で積算した値が一定の閾値以下であれば一致するとみなす、という方法を採用すればよい。不均一ぼけ形状データを回転させて用いることで、不均一な形状の被写体を不均一ぼけと誤検出することを回避することができる。

さらに、被写体の大きさに依存して不均一ぼけの大きさは変化する。このため、不均一ぼけの大きさを変化させた形状パターンを用意して検出処理を行うとよい。

また、不均一ぼけを検出する際に、微分フィルタを使用してエッジが検出できない画像領域から検出するとよい。例えば、エッジが検出できる画像領域は合焦画像領域の可能性が高く、この合焦画像領域では不均一ぼけは発生しにくい。このため、エッジが検出できない画像領域、すなわち合焦画像領域から外れた画像領域で不均一ぼけの検出処理を行うことで、検出精度を向上させることができる。

また、不均一ぼけを検出する際に色情報を利用してもよい。具体的には、複数の色成分（例えば、ＲＧＢチャンネル）で画素信号を検出し、その中で最も輝度（強度）が高い色成分で検出を行うとよい。例えば、点光源を含む夜景を撮像した場合のように不均一ぼけの周辺が黒の画像領域となる場合には、その周辺画像領域の輝度信号は０に近いので、検出領域外とするのは容易である。しかし、その周辺画像領域に輝度が高い画素が存在していた場合には、不均一ぼけを検出することが困難になるおそれがある。このような場合に、色成分を用いて判別するとよい。例えば、不均一ぼけを発生させている被写体の色が赤であり、その周辺の画像領域の色が灰色であったとする。例えばデジタルスチルカメラでよく用いられているＲＧＢチャンネルで輝度信号の検出を行っている場合、被写体はＲチャンネルの信号強度が最も強くなる。これに対して、周辺の画像領域ではＲＧＢチャンネルでほぼ同等の信号強度になる。このように両者の色が異なるため、不均一ぼけが発生している画像領域とその周辺画像領域と判別が容易になる。

その他、不均一ぼけ検出処理を、入力画像のうち輝度飽和画素の周辺の画像領域で行うことが好ましい。

以上のようにして不均一ぼけ検出処理が終了した後は、入力画像における不均一ぼけを除去したり低減したりするために、入力画像に対して整形処理（補正処理）や画像回復処理等の画像処理を行ってもよい。

整形処理は、例えば、検出した不均一ぼけを距離情報やＦｎｏをもとに推定した大きさの円形のぼけ像に置き換えることで、丸く整形してもよい。また、検出した不均一ぼけを、同輝度を持つ領域となるように塗りつぶしてもよい。また、複数回の撮像により得られた複数の画像のうち一部の画像にのみ不均一ぼけが含まれる場合は、不均一ぼけがない画像から切り抜いた画像領域を、不均一ぼけを含む画像における該不均一ぼけの領域に張り付けてもよい。 また、検出した不均一ぼけを平滑化処理することでぼかしてもよい。その他、エッジ処理やにじみ処理を整形処理として行ってもよい。

なお、図４では、距離マップを取得する場合について説明した、距離マップは必ずしも取得しなくてもよい。この場合は、入力画像の全体を特定物体距離範囲し、撮像条件パラメータ情報と特定撮像条件パラメータ情報とが一致した場合に、入力画像全体に対して不均一ぼけ検出処理を行う。この場合、距離マップを用いる場合に比べて検出精度は下がるおそれがあるが、距離マップの取得負荷が削減される。

また、必ずしも撮像時の撮像条件パラメータ情報が特定撮像条件パラメータ情報に一致しなくても、所定の近接範囲にあれば不均一ぼけ検出処理を行ってもよい。

以下、本発明の具体的な実施例について説明する。

図１３のフローチャートには、本発明の実施例１である画像処理装置が搭載された撮像装置にて行われる画像処理方法を示している。ステップＳ２０１では、まずシャッタボタンが半押しされることに応じて撮像光学系のピント状態が固定され、その後のステップＳ２０３で、シャッタボタンが全押しされることに応じてその固定されたピント状態での撮像が行われる。これにより、入力画像が取得される。ステップＳ２０１とステップＳ２０３の間のステップＳ２０２では、撮像が行われる前に、撮像時の撮像条件パラメータ情報を取得する。

次に、ステップＳ２０４では、不均一ぼけが発生する特定撮像条件パラメータ情報をデータベースから読み出し、ステップＳ２０２で取得した撮像時の撮像条件パラメータ情報と比較する。これらが一致しない（または所定の近接範囲にない）場合は、不均一ぼけの検出を行なわずにそのまま本処理を終了する。不均一ぼけの検出を行わないので、その整形処理も行わない。

一方、撮像条件パラメータ情報が一致する（または所定の近接範囲にある）場合は、ステップＳ２０５にて、特定物体距離範囲に対応する画像領域にて不均一ぼけ検出処理を行う。ただし、本実施例では距離マップを取得していないため、入力画像全体に対して不均一ぼけ検出処理を行う。その代わり、本実施例では、前述した不均一ぼけの形状データを用いて、入力画像内の不均一ぼけを検出することで、検出精度を高めている。

次に、ステップＳ２０６では、検出した不均一ぼけに対する整形処理を行い、不均一ぼけを目立たなくしている。

図１４には、図１３を用いて説明した画像処理方法を実施する撮像装置の構成を示している。撮像装置は、撮像光学系１０１で形成された被写体像を撮像素子１０２で光電変換する。Ａ／Ｄ変換器１０３は、撮像素子１０２から出力されたアナログ撮像信号をデジタル撮像信号に変換する。デジタル撮像信号は、ＲＧＢ色成分ごとに信号強度を有する。画像処理部１０４は、デジタル画像信号に対して各種処理を行うことで、デジタル画像としての入力画像を生成する。撮像素子１０２から画像処理部１０４により撮像系が構成される。

システムコントローラ１１０は、撮像光学系制御部１０６を通じて撮像光学系１０１のズーム動作、フォーカス動作および絞り動作を制御する。撮像光学系制御部１０６は、撮像条件取得部としての状態検知部１０７に対して撮像時の撮像条件パラメータ情報を送る。

記憶部１０８は、特定撮像条件パラメータ情報のデータベースを格納（記憶）しており、画像処理部（処理部）１０４内の判定部１０４ａに該パラメータ情報を送る。判定部１０４ａは、記憶部１０８から受け取った特定撮像条件パラメータ情報と、状態検知部１０７から受け取った撮像時の撮像条件パラメータ情報とが一致している（又は所定の近接範囲にある）か否かを判定する。判定部１０４ａで一致判定がなされた場合は、画像処理部１０４内の検出部１０４ｂにおいて、入力画像に対して不均一ぼけ検出処理を行う。そして、整形部１０４ｃで、検出した不均一ぼけに対する整形処理を行う。

整形処理後の出力画像（結果画像）は、画像記録媒体１０９に記録されたり、ＬＣＤ等により構成される表示部１０５に表示されたりする。

実施例１では、一般的なコンパクトデジタルカメラを想定し、センサーサイズは１／２．３型（４．６５ｍｍ×６．２ｍｍ）としている。１．４μｍの画素ピッチとしたとき、デフォーカス量を０．１ｍｍとすると、Ｃの上限値は７１画素となる。

図１５のフローチャートには、本発明の実施例２である画像処理装置が搭載された撮像装置にて行われる画像処理方法を示している。本実施例では、ステップＳ３０１にてシャッタボタンの全押しの前または後に撮像時の撮像条件パラメータ情報を取得する。そして、ステップＳ３０２にて、シャッタボタンの全押しの後（撮像後）にデータベースから特定撮像条件パラメータ情報を読み出して、撮像時の撮像条件パラメータ情報と比較する。これらが一致しない（または所定の近接範囲にない）場合は、不均一ぼけの検出を行なわずにそのまま本処理を終了する。不均一ぼけの検出を行わないので、その整形処理も行わない。

一方、撮像条件パラメータ情報が一致する（または所定の近接範囲にある）場合は、ステップＳ３０３にて、フォーカス位置（合焦物体距離）を変えて複数回撮像を行い、複数枚の画像を取得する。このとき、図１６（ａ）に示すように本来の撮像対象である被写体に合焦した画像と、図１６（ｂ）に示すように不均一ぼけが発生する物体距離に対して合焦した画像とを取得する。これらの画像間では、不均一ぼけの形状は、被写体の形状と比較して大きく変化するので、図１６（ｃ）に示すように画像の差分をとることで、不均一ぼけを誤検出の可能性を低くしつつ検出することができる。

続いてステップＳ３０４では、前述した距離マップを取得する。その後、ステップＳ３０５で不均一ぼけ検出処理を行い、さらにステップＳ３０６で整形処理を行う。

図１７には、図１５を用いて説明した画像処理方法を実施する撮像装置の構成を示している。本実施例の撮像装置において、画像処理部２０４以外の構成要素（２０１〜２０３，２０５〜２１０）は実施例１の撮像装置の構成要素（１０１〜１０３，１０５〜１１０）と同じである。

記憶部２０８は、画像処理部（処理部）２０４内の判定部２０４ａに特定撮像条件パラメータ情報を送る。判定部２０４ａは、特定撮像条件パラメータ情報と、状態検知部２０７から受け取った撮像時の撮像条件パラメータ情報とが一致している（又は所定の近接範囲にある）か否かを判定する。判定部２０４ａで一致判定がなされた場合は、画像処理部２０４内の取得部２０４ｂにて距離マップを取得し、検出部２０４ｃにおいて、入力画像に対して不均一ぼけ検出処理を行う。そして、整形部２０４ｄで、検出した不均一ぼけに対する整形処理を行う。

実施例２では、撮像素子としてフルサイズ（２４ｍｍ×３６ｍｍ）のセンサーを想定し、画素ピッチは６μｍとして計算する。デフォーカス量は０．４ｍｍとして計算する。Ｃの上限値は６７画素となる。

図１５のフローチャートには、本発明の実施例３である画像処理装置が搭載された撮像装置にて行われる画像処理方法を示している。本実施例では、ステップＳ４０１にてシャッタボタンの全押しの前または後に撮像時の撮像条件パラメータ情報を取得する。そして、ステップＳ４０２にて、シャッタボタンの全押しの後（撮像後）にデータベースから特定撮像条件パラメータ情報を読み出して、距離マップを取得する。この際に、上述した瞳分割による距離マップの取得を行う。また、ステップＳ４０３では、特定撮像条件パラメータ情報と撮像時の撮像条件パラメータ情報と比較する。これらが一致しない（または所定の近接範囲にない）場合は、不均一ぼけの検出を行なわずにそのまま本処理を終了する。不均一ぼけの検出を行わないので、その整形処理も行わない。

一方、撮像条件パラメータ情報が一致する（または所定の近接範囲にある）場合は、ステップＳ４０４にて、特定物体距離範囲に対応する画像領域にて不均一ぼけ検出処理を行う。特定物体距離範囲は、特定撮像条件パラメータ情報を参照して決定する。特定撮像条件パラメータ情報に焦点距離、Ｆｎｏおよび撮影距離だけでなく、そのときに不均一ぼけが発生する物体距離を含ませて、これを参照して特定物体距離範囲を決定する。これにより、扱うデータ量が多くなるが、不均一ぼけの検出精度は高くなる。その際、被写体を不均一ぼけとして誤検出する可能性を低減するために、顔認識技術を用いてもよい。顔認識は画像の中から人物の顔を検出する画像処理技術である。顔認識技術で検出した顔認識領域は例外処理することで、人間の目などをぼけ像として誤検出する可能性は低減できる。

次に、ステップＳ４０５で不均一ぼけの整形処理を行い、さらにステップＳ４０６では整形処理後に結果画像に対して画像回復処理を行う。画像回復処理の際に、取得した距離マップを用いて画像回復フィルタを変化させてもよい。

図１９には、図１８を用いて説明した画像処理方法を実施する撮像装置の構成を示している。本実施例の撮像装置において、画像処理部３０４以外の構成要素（３０１〜３０３，３０５〜３１０）は実施例１の撮像装置の構成要素（１０１〜１０３，１０５〜１１０）と同じである。

記憶部３０８は、画像処理部（処理部）３０４内の判定部３０４ａに特定撮像条件パラメータ情報を送る。判定部３０４ａは、特定撮像条件パラメータ情報と状態検知部３０７から受け取った撮像時の撮像条件パラメータ情報とが一致している（又は所定の近接範囲にある）か否かを判定する。また、画像処理部３０４内の取得部３０４ｂは、距離マップを取得する。判定部３０４ａで一致判定がなされた場合は、画像処理部３０４内の検出部３０４ｃにおいて、入力画像に対して不均一ぼけ検出処理を行う。そして、整形部３０４ｄで、検出した不均一ぼけに対する整形処理を行う。さらに、回復部３０４ｅで、整形処理後の結果画像に対して画像回復処理を行い、回復画像を画像記録媒体３０９や表示部３０５に出力する。

実施例３では、撮像素子としてＡＰＳ−Ｃ（１５．２ｍｍ×２２．７ｍｍ）のセンサーを想定している。画素ピッチは４．３μｍとして計算している。デフォーカス量は０．３ｍｍを想定している。Ｃの上限値は７０画素となる。

表１と表２に撮像条件の判定例を示す。

実施例１〜３では、画像処理装置が撮像装置に搭載された場合について説明したが、撮像装置とは別に設けられたパーソナルコンピュータを画像処理装置として用いてもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

良好な撮影画像を生成することが可能な画像処理技術を提供することができる。

１０１ 撮像光学系
１０２ 撮像素子
１０４ 画像処理部
１０７ 状態検知部
１０８ 記憶部

Claims (16)

1. 光学系を用いた撮像により生成された入力画像に前記光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を記憶する記憶部と、
   前記撮像時の撮像条件の情報を取得する撮像条件取得部と、
   前記撮像時の撮像条件が前記特定の撮像条件に対して一致するとき又は所定の近接範囲にあるときに、前記入力画像に含まれる前記特定のぼけ成分を検出するためのぼけ検出処理を行う処理部とを有することを特徴とする画像処理装置。
2. 前記処理部は、前記ぼけ検出処理を、前記撮像時の撮像条件の情報を用いて得られる、前記特定のぼけ成分が発生する特定の物体距離範囲に対応する画像領域で行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理部は、前記ぼけ検出処理を、Ｃ×Ｃ個の画素を含む領域で行い、
   ｄｅｆを前記光学系のデフォーカス量とし、Ｐを前記画素のピッチとするとき、
   １＜Ｃ＜ｄｅｆ／Ｐ
   なる条件を満足することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記特定のぼけ成分は、前記入力画像の中心と該特定のぼけ成分の重心とを結ぶメリジオナル方向において、該メリジオナル方向に直交するサジタル方向に延びる対称軸に関して対称なぼけ成分であることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記処理部は、前記ぼけ検出処理を、前記入力画像のうち微分フィルタを使用してエッジが検出されない画像領域で行うことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記処理部は、前記ぼけ検出処理を、前記入力画像のうち輝度飽和画素の周辺の画像領域で行うことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
7. 前記処理部は、前記ぼけ検出処理を、前記入力画像を構成する複数の色成分のうち最も強度が高い色成分に対して行うことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
8. 前記撮像条件として、前記光学系の焦点距離およびＦナンバーと、撮影距離とを用いることを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記入力画像における物体距離分布の情報を取得し、
   前記撮像条件として、前記物体距離分布の情報から得られるデフォーカス量を用いることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記処理部は、前記特定のぼけ成分の形状に関するデータを用意し、
    前記ぼけ検出処理において該データを参照することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
11. 前記処理部は、前記特定のぼけ成分の形状に関するデータを、それぞれ異なる前記特定の撮像条件ごとに用意し、
    前記撮像時の撮像条件に対して一致する又は前記所定の近接範囲にある前記特定の撮像条件に対応する前記データを参照することを特徴とする請求項１０に記載の画像処理装置。
12. 前記処理部は、前記ぼけ検出処理により検出された前記特定のぼけ成分を除去または低減するためのぼけ補正処理を行うことを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
13. 前記処理部は、前記入力画像に対して前記ぼけ補正処理が行われた結果画像に対して、画像回復処理を行うことを特徴とする請求項１２に記載の画像処理装置。
14. 光学系を用いて撮像を行い、入力画像を生成する撮像系と、
    請求項１から１３のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
15. コンピュータに、
    光学系を用いた撮像により生成された入力画像を取得するステップと、
    前記入力画像に前記光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を用意するとともに、前記撮像時の撮像条件の情報を取得するステップと、
    前記撮像時の撮像条件が前記特定の撮像条件に対して一致するとき又は所定の近接範囲にあるときに、前記入力画像に含まれる前記特定のぼけ成分を検出するためのぼけ検出処理を行うステップとを含む処理を実行させるコンピュータプログラムであることを特徴とする画像処理プログラム。
16. 光学系を用いた撮像により生成された入力画像を取得するステップと、
    前記入力画像に前記光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を用意するステップと、
    前記撮像時の撮像条件の情報を取得するステップと、
    前記撮像時の撮像条件が前記特定の撮像条件に対して一致するとき又は所定の近接範囲にあるときに、前記入力画像に含まれる前記特定のぼけ成分を検出するためのぼけ検出処理を行うステップとを有することを特徴とする画像処理方法。