JP2012231416A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】高精度のブラー情報を抽出可能な画像処理装置及び画像処理プログラムを提供する。
【解決手段】本発明の画像処理装置３０は、光学部材１２を通過した被写体光を撮影した撮影画像に写り込む、前記光学部材１２に付着した異物影の検出を行う異物検出部３２と、前記異物検出部３２により検出された異物影の検出結果に基づいて、前記異物影を処理する異物処理部３３と、該異物影を処理した後の前記撮影画像より、該撮影画像のブラー情報を抽出するブラー情報抽出部３４と、を備えること、を特徴とする。
【選択図】図５

Description

本発明は、画像処理装置及び画像処理プログラムに関するものである。

従来、一枚の画像よりブラー（ボケ、ブレ）情報を抽出する（さらにはブラーを除去する）手段が提案されている。例えば、画像のエッジ情報を用いる方法や、統計的な特性を用いる方法である（例えば、特許文献１参照）。また、ブラー情報抽出手段では、計算時間の短縮や、局所的なブラー情報を求めるために、撮影画像全体ではなく、その一部を用いることも行われる。

特開２０１０−１５７２１０号公報

しかし、前述した従来方法では、対象画像の中に著しく異なるブラー情報を含む場合には、その検出精度が悪化するという問題点がある。例えば、撮像素子上に乗った異物画像は他のブラー情報とはまったく異なった特性を示し、本来のブラー情報の算出に誤差を生じさせるという問題点である。

本発明の課題は、高精度のブラー情報を抽出可能な画像処理装置及び画像処理プログラムを提供することである。

本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

請求項１に記載の発明は、光学部材（１２）を通過した被写体光を撮影した撮影画像に写り込む、前記光学部材（１２）に付着した異物影の検出を行う異物検出部（３２）と、前記異物検出部（３２）により検出された異物影の検出結果に基づいて、前記異物影を処理する異物処理部（３３）と、該異物影を処理した後の前記撮影画像より、該撮影画像のブラー情報を抽出するブラー情報抽出部（３４）と、を備えること、を特徴とする画像処理装置（３０）である。
請求項２に記載の発明は、請求項１に記載の画像処理装置（３０）であって、前記異物処理部（３３）が行う前記異物影の処理は、前記異物影を前記撮影画像より消去すること、前記異物影が含まれている部分を前記ブラー情報抽出部（３４）の抽出範囲より除去すること、及び前記ブラー情報の抽出の対象外となるように前記異物影をぼかすこと、のいずれかであること、を特徴とする画像処理装置（３０）である。
請求項３に記載の発明は、請求項２に記載の画像処理装置（３０）であって、前記異物検出部（３２）が前記異物影の検出を行い、且つ前記ブラー情報抽出部（３４）が前記ブラー情報を抽出する範囲は、前記撮影画像の一部分であること、を特徴とする画像処理装置（３０）である。
請求項４に記載の発明は、請求項１または２に記載の画像処理装置（３０）であって、前記異物検出部（３２）は、前記撮影画像の輝度勾配を用いることにより前記異物影の検出を行うこと、を特徴とする画像処理装置（３０）である。
請求項５に記載の発明は、請求項１または２に記載の画像処理装置（３０）であって、前記異物検出部（３２）は、異物検出用の基準画像を用いることにより前記異物影の検出を行うこと、を特徴とする画像処理装置（３０）である。
請求項６に記載の発明は、請求項１〜５のいずれか１項に記載の画像処理装置（３０）の機能をコンピュータに実行させること、を特徴とする画像処理プログラムである。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。

本発明によれば、高精度のブラー情報を抽出可能な画像処理装置及び画像処理プログラムを提供することができる。

レンズ交換式のカメラの概念構成図である。 カメラにおける制御系のブロック構成図である。 画像処理装置のブロック構成図である。 撮影画像におけるブラー情報抽出範囲の設定と異物処理の説明図である。 画像処理装置による画像異物補正処理のフローチャートである。

以下、図面等を参照して、本発明の実施形態について説明する。
図１は、レンズ交換式のカメラ１の概念構成図である。図２は、カメラ１における制御系のブロック構成図である。
カメラ１は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。

カメラ１は、カメラ本体２と、カメラ本体２に対して着脱可能な撮像レンズ３と、により構成されている。
撮像レンズ３は、合焦レンズを含む複数の光学レンズ群（図１においては１枚のレンズで示す）から成る結像光学系３Ｌと、合焦レンズを合焦駆動する合焦駆動機構３Ｍと、を備えている。

カメラ本体２は、シャッター１１、光学フィルタ１２、撮像素子１３、ＡＦ制御部１４、画像処理部１５、操作部１６、表示部１７、記録媒体１８、制御装置２０等を備えている。

シャッター１１は、結像光学系３Ｌから撮像素子１３へ向かう撮影光を遮蔽および通過させることによって、露光時間を調整する。
光学フィルタ１２は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。なお、符号４は、この光学フィルタ１２の表面に付着した塵や埃などの異物を示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ１２に異物４が付着していると、撮像素子１３によって取得される画像データのなかに、異物４の影響を受けた画素が含まれる場合がある。

撮像素子１３は、ＣＣＤやＣＭＯＳ等の光電変換素子であって、複数の画素から構成される矩形形状の撮像領域を有している。そして、撮像素子１３は、その結像面に結像された像を電気信号に変換し、被写体像に対応する画像信号（撮像信号）を出力する。撮像素子１３から出力された画像信号は、所定のアナログ信号処理の後、Ａ／Ｄ変換されて画像処理部１５に入力される。

ＡＦ制御部１４は、撮像レンズ３における合焦駆動機構３Ｍを介して合焦レンズを移動操作して、ＡＦ動作を制御する。ＡＦ動作は、撮影画面上に配置された複数のＡＦフレームの中から設定されたＡＦフレーム内の被写体に対して行う。

画像処理部１５は、撮像素子１３から入力された画像データに対して、補間，階調変換や輪郭強調などの画像処理を行う。

操作部１６は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部１６は、それらの操作情報を制御装置２０に入力する。
表示部１７は、ＬＣＤ等によって構成され、カメラ１における各種設定メニュー、撮像素子１３による撮像画像や記録媒体１８に格納された画像データに基づく再生画像を表示する。
記録媒体１８は、着脱可能なメモリカード（カード状のリムーバブルメモリ）であって、撮影画像データを記録する。

制御装置２０は、ＣＰＵ等を備えて構成され、カメラ１における各機能部を統括制御する。すなわち、制御装置２０は、ＡＦ制御部１４を介したＡＦフレームの被写体に対するＡＦ動作、シャッター１１による露光等の撮影動作を制御する。
また、制御装置２０は、画像処理部１５で画像処理が行われた画像データを表示部１７に表示すると共に記録媒体１８に記録する。
さらに、制御装置２０は、記録媒体１８に記憶された画像データを呼び出し、表示部１７に表示する。

上記のように構成されたカメラ１は、撮影時において制御装置２０によって制御されて、下記のように作用する。
カメラ１は、操作者によって操作部１６のレリーズボタンが押圧操作されると、設定されたＡＦフレームの被写体に対して合焦させ、シャッター１１を所定時間開放する。撮像素子１３は、結像光学系３Ｌにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子１３によって生成された画像信号は、画像データとして画像処理部１５に入力され、画像処理部１５によって所定の画像処理が施される。そして、表示部１７が、画像処理部１５で画像処理された画像データに基づく撮影画像を表示する。その画像データは、必要に応じてＪＰＥＧ等による圧縮処理が施され、記録媒体１８に記憶・保存される。

ここで、記録媒体１８に記憶・保存される画像データは、たとえば、Ｅｘｉｆファイルに記録される。Ｅｘｉｆファイルには、カメラ名，カメラメーカー名，撮像画素情報，ＡＦエリア位置，絞り値やシャッター速度および露光補正等の露出条件、撮影時刻などの付加情報が共に記録される。

図３は本実施形態の画像処理装置３０のブロック構成図である。
画像処理装置３０は、パーソナルコンピュータ（ＰＣ）等であってもよく、この場合、ＣＤ−ＲＯＭ等に記録された、以下に説明する画像回復処理に係るアプリケーションプログラムが予めインストールされている。
カメラ１の記録媒体１８に記憶・保存された画像データは、画像処理装置３０にメモリカードを介して、またはＵＳＢケーブル等で画像処理装置３０に読み込まれる。

画像処理装置３０は、ブラー情報抽出範囲選択部３１と、異物検出部３２と、異物処理部３３と、ブラー情報抽出部３４と、画像回復部３５と、により構成されている。

ブラー情報抽出範囲選択部３１は、読み込まれた撮影画像内において、後述するブラー情報抽出部３４によってブラー情報を抽出する領域（ブラー情報抽出範囲）を選択する。ここでは、図４に示すように、ＡＦ制御部１４において適用した撮像画像におけるＡＦエリア５内の範囲を、ブラー情報抽出範囲として選択する。

このように、画像の一部にブラー情報抽出範囲を設定することにより、撮像画面全体を抽出対象とすることによる処理情報量の増大を抑制して処理を高速化できる。また、ＡＦエリア５をブラー情報抽出範囲とすることにより、撮影者が注目する領域からブラー情報を抽出することができ、撮影意図を反映した画像回復を行うことができる。

図４は、撮影画像におけるブラー情報抽出範囲の設定と異物処理の説明図であって、（ａ）は撮影画像の全体図，（ｂ）は異物影４′が写り込んだブラー情報抽出範囲（ＡＦエリア５）の拡大図，（ｂ）は異物影４′を異物処理した後のブラー情報抽出範囲（ＡＦエリア５）の拡大図である。
図４（ａ），（ｂ）中、ＡＦエリア５（すなわちブラー情報抽出範囲）に含まれる符号４′は、画像に写り込んだ異物影を示している。

なお、ブラー情報抽出範囲は、ＡＦエリアに一致しなければならないものではない。ＡＦエリア内の一部の範囲、またはＡＦエリアを中心とするより広い範囲に設定しても良い。また、ブラー情報抽出範囲をＡＦエリアとせず、撮影者が任意に選択できるように構成しても良い。

異物検出部３２は、ブラー情報抽出範囲選択部３１によって選択されたブラー情報抽出範囲内における、異物影等の画像異物を検出する。なお、以下の説明においては、異物影による画像異物を対象として説明する。
異物検出部３２による異物影の検出は、たとえば、予め撮影した基準画像に基づく検出や、明度勾配に基づく検出を用いる。

基準画像に基づく異物影の検出は、たとえば、予め撮影した基準画像データから生成した輝度面に対して、着目画素の値とこの画素を含む局所範囲の画素平均値との相対比を各々の画素について取って局所的な画素値の規格化（正規化）処理を行い、各画素の透過率信号を算出する、これにより、異物影による透過率の低下のみを抽出した透過率マップ（ゲインマップ）を生成する。この透過率マップは、異物影の画素位置とその異物度合いを表す。つまり、異物影を検出できる。

また、明度勾配に基づく異物影の検出は、対象画像を形成するＲＧＢによる各画素の画像データをＨＳＶ変換して対象画像平面に対応する明度平面を生成し、この明度平面と各画素の明度値からその明度勾配平面を生成する。明度勾配平面では、異物影の周縁のエッジ部分では高い画素値を示し、空などの一様な平面では低い画素値を示す。これにより、高い画素値を示すエッジ部分により囲まれた領域を異物影として検出する。これに加えて、明るさ判定（領域の内外の明度比が小さいものを選択）、色相判定（ＨＳＶ変換によって求められた色相値と色相平面とを用いて領域内外の色相比が１に近いものを選択）、彩度判定（ＨＳＶ変換によって求められた彩度値と彩度平面とを用いて領域内外の彩度が１に近いものを選択）等を行って、各条件を満たしたものを、異物影であるとして検出する。

異物処理部３３は、異物検出部３２によって検出されたブラー情報抽出範囲における異物影を、後述するブラー情報抽出部３４におけるブラー情報の抽出に影響を与えないように処理（異物補正処理）する。異物補正処理は、たとえば、異物影の撮影画像からの消去、異物影のブラー情報抽出範囲からの除外、または、ブラー情報の抽出の対象外となるように異物影をぼかす等の処理である。

異物影の撮影画像からの消去は、前述した異物検出部３２における透過率マップに基づいて、撮像画像データにゲイン補正する。たとえば、補正対象画像データのＲ，Ｇ，Ｂ値各々に対して、透過率信号の逆数を掛け算してゲイン補正を行う。これにより、異物影をブラー情報の抽出に影響を与えないレベルに補正するものである。すなわち、図４（ｂ）に示すＡＦエリア５（ブラー情報抽出範囲）に含まれる異物影４′を、図４（ｃ）にブラー情報の抽出に影響を与えない異物補正部４″とする。

また、異物影のブラー情報抽出範囲からの除外は、異物検出部３２において検出された異物影部位と対応する画素における画像データを、後述するブラー情報抽出部３４におけるブラー情報抽出に用いないようにブラー情報抽出範囲から除外するものである。これにより、異物影のブラー情報抽出への影響を除去する。

さらに、ブラー情報の抽出の対象外となるように異物影をぼかす処理とは、異物影のエッジ部分が、後述するブラー情報抽出部３４におけるブラー情報の抽出の際において抽出対象とならない明度勾配となるように変更する。

ブラー情報抽出部３４は、異物処理部３３によって異物影が処理されたブラー情報抽出範囲から、ブラー情報を抽出する。
ブラー情報の抽出は、たとえば、撮影された画像（ブラー情報抽出範囲）から、点像分布関数（ＰＳＦ＝Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を演算する。つまり、この例では、ＰＳＦがブラー情報である。

画像回復部３５は、ブラー情報抽出部３４によって抽出されたブラー情報（ＰＳＦ）に基づいて、画像全体に対して画像回復処理を施す。
画像回復処理は、たとえば、ＰＳＦを用いてブラインドデコンボリューションと呼ばれる画像回復手法を用い、劣化画像から元画像に像回復させる。

つぎに、図５に示すフローチャートに沿って、画像回復処理の流れを説明する。図５は、画像処理装置３０による画像異物補正処理のフローチャートである。以下の説明中、ステップを「Ｓ」とも略記する。

画像異物補正処理は、まず、ブラー情報抽出範囲選択部３１によってブラー情報抽出範囲を選択する（Ｓ５０１）。ここでは、前述したように、撮像画像おけるＡＦエリアをブラー情報抽出範囲として選択する。
つづくステップ５０２では、ステップ５０１において選択されたブラー情報抽出範囲内における異物影を、異物検出部３２によって検出する。

ステップ５０３では、ステップ５０１において選択されたブラー情報抽出範囲内における異物影に対して、異物処理部３３によってブラー情報の抽出に影響を与えない異物補正処理を施す。

ステップ５０４では、ステップ５０３において異物影が処理されたブラー情報抽出範囲から、ブラー情報抽出部３４によってブラー情報を抽出する。
そして、ステップ５０５では、画像回復部３５によって、ステップ５０４において抽出されたブラー情報に基づいて、撮像画像全体に対して画像回復処理を施す。

以上、本実施形態によると、以下の効果を有する。
（１）画像処理装置３０は、ブラー情報抽出範囲選択部３１によって選択されたブラー情報抽出範囲における画像異物部位（異物影）を、異物検出部３２によって検出し、異物処理部３３によって異物補正した後、ブラー情報抽出部３４によってブラー情報を抽出し、画像回復部３５によって画像回復処理を行う。これにより、ブラー情報抽出範囲に異物影等の画像異物が存在しても、それによるブラー情報への影響を抑え、精度の高いブラー情報を得ることができる。

たとえば、ブラー情報抽出範囲の中に、シャープに写っている被写体とボケたごみ影が写り込んでいるような場合に、そのままブラー情報を抽出しようとするとシャープな画像の情報とボケた画像の情報とが混合し、本来必要としている被写体の画像のブラー情報のみを正確に取り出すことはできない。本実施形態の構成によれば、異物影の影響を排除して被写体画像の正確なブラー情報を取り出すことができる。
その結果、精度の高い画像回復処理を行うことが可能となる。

（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）本実施形態では、カメラ１（カメラ本体２）で撮影した画像を、カメラ１と別の画像処理装置３０において、画像処理を行う構成について説明した。しかし、本発明はこれに限定されるものではなく、画像処理装置はカメラ内に設けられていても良い。

（２）さらに、プリンタや投影装置などに画像処理プログラムを備えてもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。

１：カメラ、４′：異物影、５：ＡＦエリア、１２：光学フィルタ、１３：撮像素子、１５：画像処理部、３０：画像処理装置、３１：ブラー情報抽出範囲選択部、３２：異物検出部、３３：異物処理部、３４：ブラー情報抽出部

Claims (6)

1. 光学部材を通過した被写体光を撮影した撮影画像に写り込む、前記光学部材に付着した異物影の検出を行う異物検出部と、
   前記異物検出部により検出された異物影の検出結果に基づいて、前記異物影を処理する異物処理部と、
   該異物影を処理した後の前記撮影画像より、該撮影画像のブラー情報を抽出するブラー情報抽出部と、
   を備えること、を特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記異物処理部が行う前記異物影の処理は、
   前記異物影を前記撮影画像より消去すること、
   前記異物影が含まれている部分を前記ブラー情報抽出部の抽出範囲より除去すること、及び
   前記ブラー情報の抽出の対象外となるように前記異物影をぼかすこと、
   のいずれかであること、
   を特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記異物検出部が前記異物影の検出を行い、且つ前記ブラー情報抽出部が前記ブラー情報を抽出する範囲は、前記撮影画像の一部分であること、
   を特徴とする画像処理装置。
4. 請求項１または２に記載の画像処理装置であって、
   前記異物検出部は、前記撮影画像の輝度勾配を用いることにより前記異物影の検出を行うこと、
   を特徴とする画像処理装置。
5. 請求項１または２に記載の画像処理装置であって、
   前記異物検出部は、異物検出用の基準画像を用いることにより前記異物影の検出を行うこと、
   を特徴とする画像処理装置。
6. 請求項１〜５のいずれか１項に記載の画像処理装置の機能をコンピュータに実行させること、
   を特徴とする画像処理プログラム。

Images