JP2022175606A - 画像処理装置、画像処理装置の制御方法、および、プログラム - Google Patents

Abstract

【課題】 ぼけを評価して画像を選択あるいは記録したとしても、それらの画像が、ユーザの意図に沿ったものになるとは限らない。【解決手段】 取得した画像データに対して推定領域を設定し、推定領域における画像のぼけの程度を推定するための演算を行い、推定されたぼけの程度に基づいて、当該画像データのぼけを判定し、このぼけを判定する際の閾値をユーザに調整させるための表示を行わせる画像処理装置を提供する。【選択図】 図２

Description

本発明は、デジタルカメラやスマートフォンなどで撮像された画像のぼけの程度を推定する処理を行う画像処理装置に関するものである。

デジタルカメラやスマートフォンなどで撮像された画像を評価するにあたり、ピントのズレ、手振れ、あるいは、被写体が動くことに起因する、画像のぼけの程度を確認することは重要な要素である。しかし、ぼけの程度を確認するために、撮影した画像を一枚一枚目視で確認することは時間を要するという課題がある。そこで、画像から画像の点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を推定する技術を用いることにより、上述した課題を解決する技術が知られている。

例えば特許文献１には、画像を複数のパッチに分割し、選択した１つのブロックから推定したＰＳＦに基づいて各パッチに共通となるＰＳＦを推定し、画像のデコンボリューションを行う技術が開示されている。

また特許文献２には、連写により撮影した複数の画像からＰＳＦを算出し、ブレ量とぼけ量にそれぞれ異なる重み付けを行ったうえで画像の劣化量を評価し、劣化量の少ない画像情報を保存する技術が開示されている。

特開２０１３－１９２２２７ 特開２００９－２５３９３６

上述したように画像のぼけの程度を推定することは、画像を評価する上で重要な要素ではあるが、実際にユーザが好みの画像を選ぶための評価基準はそれだけではない。被写体の構図や被写体の表情が望ましくなければ、ぼけていない画像であってもユーザの評価は低くなる。また、画像全体としてぼけの程度が小さくとも、ユーザが意図した被写体がぼけていたら、ユーザの評価は低くなる。また、特定のイベントの中からユーザが画像を選択するときは、画像の絶対評価ではなく、画像間の相対評価が行われることが多い。

特許文献１および特許文献２に開示されている構成は、ぼけに関して好適な画像を生成したり記録したりすることができるが、その生成された画像や記録された画像が、ユーザの意図に沿ったものになるとは限らない。

そこで、本発明は、上記課題を解決するための画像処理装置および画像処理方法を提供することを目的とする。

上記課題を解決するため、本願請求項１に係る画像処理装置は、取得した画像データに対して推定領域を設定する領域設定手段と、前記推定領域における画像のぼけの程度を推定するための演算を行う推定手段と、前記推定手段によって推定されたぼけの程度に基づいて、当該画像データのぼけを判定する判定手段と、表示手段に、前記判定手段がぼけを判定する際の閾値をユーザに調整させるための表示を行わせる制御手段と、を有することを特徴とするものである。

同様に、上記課題を解決するため、本願請求項１１に係る画像処理装置は、取得した画像データから被写体領域を検出する検出手段と、前記被写体領域において、画像のぼけの程度を推定するための推定小領域を設定する領域設定手段と、表示手段に、前記推定小領域を当該画像データに基づく画像に重畳した表示を行わせる制御手段と、前記推定小領域における画像のぼけの程度を推定する推定手段と、を有することを特徴とするものである。

本発明によれば、ユーザがぼけを含む画像の評価を適切に行うことが容易になる画像処理装置を提供することが可能となる。

本発明の実施形態における画像処理装置を説明するための図である。 本発明の実施形態における画像処理装置の構成を示すブロック図である。 本発明の第１の実施形態における画像のぼけ判定に関する動作処理を説明するためのフローチャートである。 ＰＳＦの推定処理を説明するためのフローチャートである。 ＰＳＦの推定領域を説明するための図である。 ＰＳＦの推定結果を説明するための図である。 本発明の第１の実施形態におけるスコアゲインＧｓ算出方法を説明するための図である。 本発明の第１の実施形態におけるＰＳＦのスコアに対する閾値の調整処理を説明するためのフローチャートである。 本発明の第１の実施形態における出力サイズに応じたＰＳＦスコアの閾値の設定例を説明するための図である。 本発明の第１の実施形態におけるＰＳＦスコアの閾値の設定機能を説明するための図である。 本発明の第１の実施形態における複数画像に対するＰＳＦスコアの閾値の設定機能を説明するための図である。 本発明の実施形態におけるＰＳＦスコアの分布の例を説明するための図である。 本発明の第２の実施形態における画像のぼけ判定に関する動作処理を説明するためのフローチャートである。 動画からフレーム画像を抽出する処理を説明するための図である。 本発明の第３の実施形態における画像のぼけ判定に関する動作処理を説明するためのフローチャートである。 エッジ特徴量の算出のために用いるヒストグラムを示す図である。 本発明の第３の実施形態におけるＰＳＦの推定の小領域を説明するための図である。 本発明の第４の実施形態における画像のぼけ補正に関する動作処理を説明するためのフローチャートである。 選択した小領域に対するＰＳＦの推定結果とデコンボリューション結果を説明するための図である。 本発明の第５の実施形態における画像のぼけ補正に関する動作処理を説明するためのフローチャートである。 本発明の第５の実施形態におけるぼけレベルの変更に連動して小領域が変更される様子を説明するための図である。 本発明の第６の実施形態における画像のぼけ判定に関する動作処理を説明するためのフローチャートである。 本発明の第６の実施形態におけるライブビュー動画における表示画像を説明するための図である。

以下、図を参照して本発明の実施形態を詳細に説明する。

図１は、本発明の実施形態における画像処理装置を説明するための図である。図１においてデジタルカメラ１００ａ、スマートフォン１００ｂ、および、サーバ１００ｃはネットワーク１１０を介して互いに通信可能である。デジタルカメラ１００ａとスマートフォン１００ｂはｂｌｕｅｔｏｏｔｈ（登録商標）などの近接通信によって接続されていてもよい。デジタルカメラ１００ａは、デジタルビデオカメラや監視カメラであってもよい。スマートフォン１００ｂは、タブレット端末やパーソナルコンピュータであってもよい。スマートフォン１００ｂおよびサーバ１００ｃは、デジタルカメラ１００ａで撮影された静止画および動画を、通信によって受け取ることができる。また、スマートフォン１００ｂおよびサーバ１００ｃは、ネットワーク１１０上に存在する静止画および動画を受け取ることができる。本発明は、取得した画像を評価するための演算機能を備えた画像処理装置において実施することが可能であり、デジタルカメラ１００ａ、スマートフォン１００ｂ、および、サーバ１００ｃのいずれも本発明の画像処理装置とすることができる。

（第１の実施形態）
図２は、本実施形態における画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、制御回路２０１、通信回路２０２、指示受付回路２０３、ディスプレイ２０４、および、ストレージ２０５を備えている。

制御回路２０１はマイクロプロセッサやＣＰＵで構成されており、画像処理装置１００の全体の動作を制御するとともに、画像の加工、補正、および、解析を行うことができる。通信回路２０２はネットワークを介して画像を受信したり、制御回路２０１で生成された画像を、ネットワークを介して外部装置に送信したりする。指示受付回路２０３はユーザの指示を受け付ける回路である。画像処理装置１００がボタンやダイヤル等の操作部材を備えていれば、指示受付回路２０３は、ユーザによる操作部材の操作を検知して制御回路２０１に送信する。ディスプレイ２０４がタッチパネルの機能を有していれば、指示受付回路２０３は、ユーザによるタッチ操作を検知して制御回路２０１に送信する。画像処理装置１００が音声認識機能を有していれば、指示受付回路２０３は、不図示のマイクを介して入力されたユーザの音声を分析して制御回路に送信する。画像処理装置が視線検出機能を備えていれば、指示受付回路２０３は、ユーザの視線を検知して制御回路２０１に送信する。ディスプレイ２０４は、画像だけでなく、制御回路２０１で解析された画像のぼけの程度を示す情報を表示する。ディスプレイ２０４は、また、画像処理装置１００に対するユーザからの指示を受け付けるためのアイコンやメニューを表示する。ストレージ２０５は通信回路２０２を介して取得した画像や、制御回路２０１から出力された画像を記憶するメモリである。

制御回路２０１は、内部のメモリに記録されたプログラムを実行することで、信号処理部２１１、推定領域設定部２１２、ＰＳＦ推定部２１３、および、判定部２１４として機能する。ここではソフトウェア処理としてこれらの機能を実行する例を用いて説明を行うが、一部もしくは全部をＡＳＩＣやＦＰＧＡなどのハードウェアによって実現するようにしても構わない。

信号処理部２１１は、ノイズ低減処理、現像処理、および、ガンマ変換による階調圧縮処理などを行う。また、信号処理部２１１は、画像データから被写体領域を検出したり、画像データのシーンを評価したりする解析処理を行う。推定領域設定部２１２は、信号処理部２１１で生成された画像、あるいは、ストレージ２０５から読み出した画像の被写体領域の検出結果に基づいて、画像データ上で、ＰＳＦの推定を行うための推定領域を決定する。ＰＳＦ推定部２１３は、推定領域設定部２１２が設定した推定領域の点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を推定するための演算を行う。判定部２１４は、ＰＳＦ推定部２１３によって推定されたＰＳＦに基づいて、画像のぼけの程度の判定処理を行う。

図３は、本実施形態における画像のぼけ判定に関する動作処理を説明するためのフローチャートである。図３のフローチャートは制御回路２０１によって実行される。

ステップ３０１では、画像処理装置１００が画像データを取得する。画像処理装置１００は、通信回路２０２を介して外部から画像データを取得してもよいし、ストレージ２０５に記憶されていた画像データを読み出してもよい。画像処理装置１００が撮像装置であれば、画像処理装置１００自身が撮像を行って画像データを生成してもよい。取得した画像データがＲＡＷ形式であれば、信号処理部２１１が現像処理を行い、ＪＰＥＧ、ＡＶＩ、あるいは、ＭＰ４といった所定のファイル形式の画像データに変換する。

ステップ３０２では、画像データにおいて、ぼけの程度の判定に用いる領域を決定する。本実施例では、推定領域設定部２１２が、画像データにおいて主被写体と判定された領域を囲う矩形領域を、ぼけの程度を判定するための推定領域として設定する。図５はＰＳＦの推定領域を説明するための図であり、画像処理装置１００が取得した画像データ５０１に対して、推定領域５０２が設定される様子を示している。信号処理部２１１が被写体領域として顔領域を検出すれば、顔領域を囲う領域が推定領域として設定される。画像データ内に複数の人物の顔が含まれる場合は、画像の中央あるいはＡＦ（オートフォーカス）位置に近い方の顔を選択しても良いし、ユーザに選択させても良い。また、主被写体として検出する対象としては人物の顔に限らず、動物の顔や、乗り物などであってもよい。

ステップ３０３では、信号処理部２１１が、推定領域が、ＰＳＦ推定部２１３がＰＳＦを正しく推定することが可能な領域であるかどうかを判定する。後述するが、ＰＳＦを推定するためにはエッジ信号を参照するため、推定領域の画像データに十分なエッジ信号が存在しない場合、ＰＳＦの推定を正しく行えない可能性がある。したがって、信号処理部２１１が、推定領域に含まれるエッジを検出して積分行い、積分値が所定値以上である場合にはＰＳＦの推定可能と判定し処理をＳ３０４へ進め、そうでない場合には推定不可として処理を終了する。

ステップ３０４では、制御回路２０１は、推定領域５０２を囲う枠を重畳した画像をディスプレイ２０４に表示させる。これにより、ユーザは、画像のどの領域に基づいて、ぼけの判定が行われたかを知ることができる。すなわち、ぼけの判定が行われた領域と、ユーザが着目している領域が一致しているか否かを、ユーザは確認することができる。

ステップ３０５では、ＰＳＦ推定部２１３が、推定領域のＰＳＦを推定する。本実施形態において、ＰＳＦ推定処理は公知の技術を用いることができる。

具体的には、撮像で得られた画像データのうち、推定領域の画像信号をＢ、推定の対象となるＰＳＦをＫ、推定領域におけるぼけの無い画像（潜像）をＬとして、撮像で得られた画像データのノイズを無視すると、以下の式（１）の関係が成り立つ。
Ｂ＝Ｃｏｎｖ（Ｋ，Ｌ） ・・・（１）
式１において、Ｃｏｎｖは畳み込み演算を表す。

式１において、ＫとＬがともに未知数であるため、適当な潜像Ｌを推定する。例えば、入力された画像データに対してショックフィルタを適用して、エッジ強調処理を施した推定画像データを算出し、潜像Ｌとする。

続いて、以下の式（２）で表されるエネルギー関数Ｅ（Ｋ）において、Ｌを固定、Ｋを未知数として、エネルギー関数Ｅ（Ｋ）を最小化するＫを算出する。

式（２）において、σは正則化項を表し、ここではＰＳＦの各要素の二乗和を取るＬ２ノルムを用いている。

さらに、算出したＫを用いて、式（３）で表されるエネルギー関数Ｅ（Ｌ）において、Ｋを固定、Ｌを未知数として、エネルギー関数Ｅ（Ｌ）を最小化するＬを算出する。

式（３）において、σは正則化項を表し、ここでは潜像Ｌの各画素値の二乗和を取るＬ２ノルムを用いている。

そして、算出したＬを用いてエネルギー関数Ｅ（Ｋ）を最小化するＫを算出し、算出したＫを用いてエネルギー関数Ｅ（Ｌ）を最小化するＬを算出するという処理を、算出したＫが一定の値に収束するまで反復的に行う。一定の値に収束したＫが、ＰＳＦである。

図４は、このＰＳＦの推定処理を説明するためのフローチャートである。

ステップ４０１では、ＰＳＦ推定部２１３が、潜像Ｌの推定画像を算出する。

ステップ４０２では、ＰＳＦ推定部２１３が、エネルギー関数Ｅ（Ｋ）を最小化するＫを算出する。

ステップ４０３では、ＰＳＦ推定部２１３が、ステップ４０２で算出したＫが一定の値に収束したかを判定する。Ｋが収束したか否かを判定するため、ステップ４０２でＫを算出した回数が閾値に達していない場合は、ステップ４０３の条件は満たさないと判定してステップ４０４に進む。ステップ４０２でＫを算出した回数が閾値に達しており、かつ、先に算出されたＫと比較することにより、Ｋが一定の値に収束したと判断できる場合には、フローチャートを終了する。

ステップ４０４では、ＰＳＦ推定部２１３が、エネルギー関数Ｅ（Ｌ）を最小化するＬを算出し、ステップ４０２に戻る。

以上が、本実施の形態におけるＰＳＦ推定方法の概要である。図６はＰＳＦの推定結果を示す図であり、ＰＳＦ６０１が、図４のステップ４０３で算出されたＫに相当する。

図３に戻り、ステップ３０６では、判定部２１４がステップ３０５で算出したＫをスコアに変換する処理を行う。画像のぼけが小さければＰＳＦも小さくなり、画像のぼけが大きければＰＳＦも大きく広がる。画像にぶれが生じている場合には、ＰＳＦはぶれの方向に伸びる特性がある。そのため、ＰＳＦの大きさの指標として、ＰＳＦを積分し、この積分値をスコアとする。つまり、ぼけが大きいほど、スコアも大きくなる。

なお、スコアの算出方法としては積分値に限らず、他の方法であっても良い。例えば、ＰＳＦがどの程度伸びているかに着目するため、ＰＳＦにおいて値が非０となっている領域の外接矩形を算出し、該矩形の長辺の長さをスコアとしても良く、あるいは複数の指標を用いるようにしても良い。

ステップ３０７では、判定部２１４が、ステップ３０６で算出したスコアを現像時の各種パラメータに基づいて補正する処理を行う。現像時のノイズ低減処理の強度を強くするほど、エッジ信号は潰れてレベルが小さくなり、シャープネス処理の強度を強くするほど、エッジ信号のレベルが拡大される。ＰＳＦの推定は、エッジ信号のレベルに左右されるため、同じシーンを撮影した画像であっても、その画像データに適用したノイズ低減処理やシャープネス処理のレベルに違いがあると、推定されるＰＳＦにも差が生じてしまう。具体的には、エッジ信号のレベルが高いほど、ＰＳＦを示すスコアが小さくなりやすい。そこで、ノイズ低減処理やシャープネス処理のレベルによってＰＳＦのスコアに差が出てしまうことを防ぐために、ＰＳＦの推定を行った画像データに適用されているエッジの強さに影響する処理のパラメータに基づいて、スコアを補正する必要がある。

図７は、ステップ３０６で求めたスコアに乗算するゲインＧｓの設定方法を示したものである。図７が示すように、シャープネス処理のレベルが強いほど、ゲインＧｓが大きく設定され、シャープネス処理のレベルが弱いほど、ゲインＧｓが小さく設定される。反対に、ノイズ低減処理のレベルが強いほど、ゲインＧｓが小さく設定され、ノイズ低減処理のレベルが弱いほど、ゲインＧｓが大きく設定される。つまり、エッジのレベルが高くなる処理が適用された場合には、ぼけの程度を示すスコアが小さくなりやすいため、判定部２１４は、ぼけが生じていると判定されやすくするためのスコアの補正を行う。反対に、エッジのレベルが低くなる処理が適用された場合には、ぼけの示すスコアが大きくなりやすいため、判定部２１４は、ぼけが生じていると判定されにくくするためのスコアの補正を行う。

なお、スコアの補正方法としてはこれに限らず、コントラストの強さなど他のパラメータを参照してもよい。あるいは、画像データの解像度に応じて補正するようにしても良い。例えば、解像度が高いほど、ぼけは目立ちやすくなるため、スコアが大きくなるように補正することで、よりぼけがあると判定されやすくすることができる。

また、スコアではなく、次のステップ３０８で算出される閾値を補正することによっても同様の効果を得ることができる。なお、閾値はスコアと比較するために用いるものであるため、閾値に対するゲインの大きさは、スコアに対するゲインの大きさとは逆の関係になる。すなわち、シャープネス処理のレベルが強いほど、また、ノイズ低減処理のレベルが弱いほど、閾値が小さくなるようにゲインが設定される。なお、ステップ３０７は必須ではなく、省略してもよい。

ステップ３０８では、ステップ３０７で補正されたスコアと比較するための閾値を決定する処理を行う。図８は、本実施形態におけるＰＳＦのスコアに対する閾値の調整処理を説明するためのフローチャートである。

ステップ８０１では、判定部２１４は、ユーザが任意に閾値を調整するモードに設定されているか否か判定し、ユーザが任意に調整するモードに設定されている場合はステップ８０４へ進み、設定されていない場合はステップ８０２へ処理を進める。ユーザが任意に閾値を調整するモードは、予めメニュー画面を用いてユーザが選択できるようにしておけばよい。あるいは、ステップ３０８において、ユーザが任意に閾値を調整するモードを開始するためのアイコン等をディスプレイ２０４に表示し、ユーザがそのアイコンを選択した場合に、ユーザが任意に閾値を調整するモードに設定するようにしてもよい。

ステップ８０２では、判定部２１４は、画像の解像度を出力サイズに置き換えてユーザに選択させる。図９は、本実施形態における、出力サイズに応じたＰＳＦスコアの閾値の設定例を説明するための図である。図９（ａ）はユーザに選択させるためにディスプレイ２０４に表示させる画面を示したものであり、ポスターサイズのＡ１やハガキサイズのＡ６など、用途として出力するサイズをユーザに選択させる。

ステップ８０３では、判定部２１４は、ステップ８０２でユーザによって選択された出力サイズに応じて閾値を決定する。図９（ｂ）は、各解像度に対して予め定められた閾値を示す。画像の解像度が低いほど、画像のぼけは目立たなくなる。そのため、画像の解像度が低いほど、ぼけていると判定されにくくなるように、閾値が大きく設定される。なお、予めユーザによって所定以下（例えば、Ａ５フライヤー以下）の解像度が選択されている場合には、ステップ３０１で取得した画像データを縮小してからＰＳＦの推定処理を行ってもよい。これは、出力する画像データの解像度が小さい場合には、ＰＳＦを推定に用いる画像データの解像度を小さくしても、ぼけの判定結果への影響が小さいため、画像データを小さくすることで処理負荷を低減することができる。

ステップ８０４では、判定部２１４は、ディスプレイ２０４に同時に表示されている複数の画像に連動して、閾値を調整するためのスライダーバーの調整範囲を変更するモードが設定されているか否かを判定する。予めユーザがメニュー画面からスライダーバーの調整範囲を変更するモードを選択できるようにしてもよいし、ディスプレイ２０４に複数の画像が同時に表示されている場合に、自動的にこのモードに設定されるようにしてもよい。スライダーバーの調整範囲を変更するモードが設定されていればステップ８０６に進み、そうでなければステップ８０５に進む。

ステップ８０５では、判定部２１４は、ディスプレイ２０４に表示されたスライダーバーに対するユーザの操作にしたがって、ぼけを判定するための閾値を変更する。図１０は、本実施形態におけるＰＳＦのスコアの閾値の設定機能を説明するための図である。図１０に示すように、ディスプレイ２０４において推定領域を囲う枠が表示された画像１００１の下に、スライダーバーが表示される。このスライダーバーは、ぼけを判定するための閾値の大きさを示しており、ユーザがタッチ操作をすることによって、閾値の大きさを変更することができる。タッチ操作に代えて、カーソルやダイヤル操作によって閾値の大きさを変更できるようにしてもよい。このステップ８０５では、ディスプレイ２０４に表示する画像を変更したとしても、スライダーバーにおける閾値の最小値と最大値は変化しない。

図１０に示す例では、ユーザが指を右にスライドさせるほど、閾値が大きくなり、画像がぼけている、と判定されにくくなる（ぼけていない、と判定されやすくなる）。このように、絶対的な基準でぼけの有無を判定するのではなく、ユーザの所望する基準で画像のぼけの有無を判定できるようにすることで、ユーザの意図にあった画像の評価を行うことが可能となる。

ステップ８０６では、ディスプレイ２０４に同時に表示されている複数の画像のスコアに基づいて、ディスプレイ２０４に表示するスライダーバーにおける閾値の最大値と最小値の少なくとも一方を変更する処理を行う。図１１は、実施形態における複数画像に対するＰＳＦスコアの閾値の設定機能を説明するための図である。図１１（ａ）では、同時に９枚の画像１１０１がディスプレイ２０４に表示され、これら９枚の画像の基となる９つの画像データから得られたＰＳＦのスコアに基づいて、画像の下に表示されるスライダーバーが示す閾値の範囲が変更される。

判定部２１４は、ディスプレイ２０４に同時に表示されている９枚の画像の基となる９つの画像データについて得られたスコアのうち、所定値以下のスコアのみを抽出する。図１２は、ＰＳＦスコアの分布の例を説明するための図であり、スコアが大きい画像ほど、ぼけが大きいことを示す。このうち、所定値（例えば、４０００）以上のスコアを除外した残りのスコアの中から、最大値および最小値を抽出する。そして、そのスコアの最小値から最大値までを、スライダーバーで調整可能な閾値の範囲として設定し、ディスプレイ２０４に表示する。

ここで閾値の調整範囲を変更する理由について述べる。スライダーバーで調整可能な閾値の範囲を固定した場合、同時に表示される画像のスコアの範囲を漏れなくカバーするためには、スライダーバーで調整可能な閾値の最大値および最小値の幅を大きくする必要がある。この場合、ディスプレイ２０４に同時に表示されている画像のスコアがどれも近い値であると、複数の画像間でぼけの有無の判定結果に差が出るようにするための閾値の範囲は、かなり狭い限定的な範囲となる。この限定的な範囲を、例えばタッチ操作でユーザに指定させるのは、困難が伴う。

そこで本実施形態のように、同時に表示している複数の画像のスコアの分布に適した範囲および粒度で、スライダーバーの閾値を変更する構成とすることで、画像間でぼけの有無の判定結果について差をつけやすくすることができる。なお、スコアが所定値以上のものを除外したのは、ぼけが大きくＰＳＦのスコアが非常に大きな値となる画像が含まれていると、調整範囲の上限値が大きくなり過ぎてしまい、調整の粒度が粗くなってしまうのを避けるためである。また、明らかにぼけている画像は、ユーザがぼけていることを認識することは容易であるため、スライダーバーの閾値の調整範囲に含めなくとも問題はないと考えられる。

なお、本実施例では調整範囲としてスコアの最大値および最小値を用いているが、これに限らず他の手法でも本発明は適用可能である。例えば、スコアの中央値を中心とした所定の範囲（中央値±２０００など）を調整範囲としてもよいし、スコアの平均値Ｎおよび分散値σを算出し、Ｎ±σで示される範囲を調整範囲としてもよい。

ステップ８０７では、判定部２１４は、ディスプレイ２０４に表示されたスライダーバーに対するユーザの操作にしたがって、ぼけを判定するための閾値を変更する。このときのスライダーバーの調整可能な閾値の範囲としては、ステップ８０６で決定されたものを用いる。

図３に戻り、ステップ３０９で、判定部２１４は、ステップ３０７で補正されたスコアと、ステップ３０８で設定された閾値を比較し、スコアが閾値以上の画像については、ぼけありと判定し、そうでない画像については、ぼけ無しと判定する。図１１（ｂ）において、９枚の画像１１０２のうち、ぼけ無しと判定された画像については、画像にカラーの枠を付与する。これにより、ユーザは、どの画像がぼけ無しと判定されたかを容易に把握することが可能となる。なお、ステップ３０９に進んだ後でも、ユーザがスライダーバーに対して操作を行った場合には、ステップ３０８に戻るように構成してもよい。このように構成すれば、ユーザはスライダーバーを動かしながら、判定部２１４による判定結果の変化を確認することができるため、ユーザにとって、画像間の相対的なぼけの大きさの違いを比較しやすくすることが可能となる。なお、画像にカラーの枠を付ける際に、ぼけの大きさに応じて、枠の色や太さを変更するようにしても良い。また、カラー枠は、ぼけの程度をユーザに示す手段の１つの例であって、ボケの程度に比例するスコアを表示したり、ボケの程度を示すアイコンを表示したりしてもよい。

以上のように、ユーザが画像のぼけを判定するための閾値を操作できるようにしたことで、ユーザが着目する画像間におけるぼけの程度の優劣を、ユーザが容易に把握できるようになる。そのため、ユーザは画像の相対評価を行いやすくなり、ユーザの目的に適う画像を選択しやすくすることができる。

なお、本実施形態では、ステップ３０８において、ディスプレイ２０４に同時に表示している複数の画像のＰＳＦのスコアに基づいて、スライダーバーの調整範囲を決定したが、これに限らず、他の画像群のスコアに基づいて決定しても良い。例えば、連写で撮影した一連の画像群のＰＳＦのスコアを元にスライダーバーの調整範囲を決定するようにしてもよい。連写で撮影した画像が多数存在する場合、同時に全ての画像を表示できない場合がある。このとき、ディスプレイ２０４に表示する画像を切り替えるたびに、スライダーバーの調整範囲が変化してしまうと、連写で撮影した一連の画像群のぼけを同一の基準で判断することが難しくなってしまう。これに対して、連写で撮影した一連の画像群の全てのＰＳＦのスコアを元にスライダーバーの調整範囲を設定すれば、この一連の画像群のいずれかを表示している限りは、同一の基準でぼけの程度を判断しやすくなる。ここでは連写で撮影した画像群を対象として説明を行ったが、日時によって一連の画像群を決定してもよいし、画像が保存されているフォルダ等の記憶領域によって一連の画像群を決定してもよい。

また、本実施形態では、画像処理装置１００においてＰＳＦの推定やぼけの判定を行う構成を例にあげて説明したが、一部の処理を外部装置によって実行するようにしても良い。例えば、画像処理装置１００が画像データを外部装置へ転送し、外部装置側で推定領域の決定とＰＳＦの推定を行い、その結果を画像処理装置１００に送るようにしても良いし、ＰＳＦの推定のみを外部装置で行ってもよい。

また、本実施形態では、ＰＳＦのスコアと閾値を比較して、ぼけ判定を行う構成について述べたが、代わりに、画像を出力する際の、推奨する出力サイズを判定するようにしても良い。例えば、ＰＳＦのスコアが２０００の場合はＡ４以下の出力を推奨するなど、ぼけが目立たない出力サイズの上限を示すことで、ユーザは用途に応じた画像の選定を容易に行うことが可能となる。

また、本実施形態では、指定枠が囲まれた推定領域のエッジ信号が少ない場合に、ぼけ判定を行わない構成について述べたが、他の情報を参照して判定するようにしても良い。例えば、撮影時に取得したコントラスト、複数の光学像の位相差など各種オートフォーカス評価値、あるいは、ジャイロセンサなどの出力信号に基づいて、ぼけ判定を行うか否かについて判定するようにしても良い。

また、本実施形態では、スライダーバーを右に移動させるほど、ぼけの程度が大きくともぼけ無しと判定される構成としたが、これに限られるものではない。スライダーバーをボケ判定の厳しさを示すものとすれば、スライダーバーを右に移動させるほど、ぼけの程度が小さくないとぼけ無しと判定されない構成とすることができる。また、スライダーバーは１つの例であって、ユーザが閾値の調整を視認できるものであれば、スライダーバーの代わりに、ダイヤルやカウンタを用いても構わない。

（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態では、動画もしくは連写撮影した静止画群の中から、ぼけが抑制された好適なフレームの画像を選択できるようにすることを目的とする。

図１３は、本実施形態における画像のぼけ判定に関する動作処理を説明するためのフローチャートである。第１の実施形態と異なる処理を中心に説明を行う。

ステップ１３０１では、画像処理装置１００は、動画もしくは連写撮影された静止画群を取得する。ここでは動画を例にあげて説明を行う。

ステップ１３０２では、信号処理部２１１が、取得した動画からハイライトシーンとなる区間を検出する。ハイライトシーンの検出方法は公知の方法を用いればよい。例えば、特開２０１０－２８７７３に開示されているように、人物の笑顔を認識し、その評価に基づいてハイライトシーンとなる区間を検出する。あるいは、被写体の動き量やシーン変化、音声情報などを用いる手法であってもよい。あるいは、ランダムに一部の区間を選択するようにしてもよい。

図１４は、動画からフレーム画像を抽出する処理を説明するための図である。図１４において、時刻ｔ－２～ｔ＋２の区間のフレームがハイライトシーンとして検出されている。

ステップ１３０３では、信号処理部２１１が、ステップ１３０２で検出した区間の動画フレームから静止画を生成する。図１４では、時刻ｔ－２～ｔ＋２の区間の５フレームのうち、時刻ｔ－２、ｔ、ｔ＋２における３フレームから静止画を生成している。ここで、動画フレームに対して生成する静止画のフレームレートを間引いているのは、処理負荷を削減するためである。このステップ１３０３は省略してもよい。

ステップ１３０４～ステップ１３１１の処理は、図３のステップ３０２～ステップ３０９の処理と同様である。図１４には、時刻ｔ－２、ｔ、ｔ＋２におけるフレームから生成された静止画に対するぼけ判定の結果が示されている。つまり、時刻ｔ－２およびｔにおける静止画は、ぼけありと判定され、ｔ＋２における静止画は、ぼけ無しと判定されている。

ステップ１３１１では、静止画を生成する画像を再選択するか否かをユーザに指示させるための画面をディスプレイが２０４に表示させ、ユーザが再選択を指示した場合には、ステップ１３０２に戻る。ステップ１３０２に戻った場合には、先にハイライトシーンとして選択された区間のフレームを除く範囲から、新たなハイライトシーンを検出する。ユーザが再選択を指示しない場合には、この処理を終了する。

ユーザがステップ１３１１でのぼけの判定結果に基づいて所望の画像を選択しようとしても、判定の対象となった画像の中に、ユーザが意図する画像が含まれていない場合がある。本実施形態によれば、そのような場合に、ハイライトシーンとして抽出する区間を変更して再びぼけの判定を行うことで、ユーザに大きな負荷を掛けることなく、ユーザが所望とする画像を選択しやすくなる。

（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態では、ぼけを判定するための領域をユーザに指定させることで、ボケの判定に対するユーザの納得度を向上することを目的とする。

図１５は、本実施形態における画像のぼけ判定に関する動作処理を説明するためのフローチャートである。第１の実施形態と異なる処理を中心に説明を行う。

ステップ１５０１では、画像処理装置１００が画像データを取得する。

ステップ１５０２では、推定領域設定部２１２が、画像データにおいて、主被写体と判定された領域を囲う矩形領域を推定領域として設定する。

ステップ１５０３では、推定領域設定部２１２が、ステップ１５０２で設定した推定領域に対して、複数の小領域を設定する。本実施形態では予め定められた数に分割することで複数の小領域を設定する。ここでは１６分割するものとする。ただし、小領域の設定方法はこれに限定されるものはなく、例えば端部が重複するように複数の小領域を設定してもよいし、小領域の間に隙間を設けてもよい。小領域の数も１６に限定されるものではなく、推定領域の大きさに応じて小領域の数を変更してもよい。

ステップ１５０４では、信号処理部２１１が、小領域ごとにエッジ特徴量ｅ＿ｖａｌｕｅを計算する。エッジ特徴量ｅ＿ｖａｌｕｅは、エッジの強度とエッジの方向の偏りを評価して求める。まずエッジの強度を公知の手法で計算する。例えば式（４）のように、小領域の画像に対して水平方向と垂直方向にハイパスフィルタを掛ける。水平方向にハイパスフィルタを掛けて得られた各画素の値Ｉｈと、垂直方向にハイパスフィルタを掛けて得られた各画素の値Ｉｖの二乗和の平方根を、各画素のエッジ強度｜Ｉ｜とする。

次に、前述のエッジ強度が予め定めた値より大きいエッジを用いて、小領域内のエッジ方向の偏りを評価する。例えばエッジ方向θは、前述のＩｈ、Ｉｖを用いて式（５）のように求める。

図１６は、エッジ特徴量の算出のために用いるヒストグラムを示す図である。図１６（ａ）および図１６（ｂ）は、どちらも横軸がエッジの角度を所定の分解能で区切ったものであり、縦軸が予め定めた値よりも大きいエッジ強度を有するエッジの観測頻度（個数）である。

図１６（ａ）に示すように、ヒストグラムの高さのばらつきが小さければ、小領域内のエッジ方向のばらつきが少ないことを示し、図１６（ｂ）に示すように、ヒストグラムの高さのばらつきが大きければ、小領域内のエッジ方向に偏りがあることを示す。そこでＰＳＦ推定部２１３は、観測頻度の分散値をエッジ特徴量ｅ＿ｖａｌｕｅとして用いる。

ステップ１５０５では、信号処理部２１１が、ステップ１５０４で求めた各小領域のエッジ特徴量ｅ＿ｖａｌｕｅが所定の値より大きい小領域を、ＰＳＦを推定するための推定小領域として選択する。

ステップ１５０６では、制御回路２０１は、推定小領域枠を示す枠を重畳した画像をディスプレイ２０４に表示する。図１７は、本実施形態におけるＰＳＦの推定小領域の表示を説明するための図である。図１７（ａ）は画像データに対し、ステップ１５０２において設定した推定領域を重畳した様子を示す。図１７（ｂ）は、この推定領域を分割した小領域のうち、ステップ１５０５において選択した推定小領域を、他の小領域と区別して表示する様子を示す。例えば、推定小領域の輪郭を太くしたり着色したりすることで、他の小領域よりも目立たせてもよいし、推定小領域を半透明の有彩色で着色して目立たせてもよい。なお、推定小領域のみを画像に重畳して表示するようにしてもよい。こうすることで、ユーザは、より具体的に、画像のどこの領域に基づいてぼけが判定されるのかを知ることができる。

ステップ１５０７では、ＰＳＦ推定部２１３は、ステップ１５０５で選択した２以上の推定小領域における共通のＰＳＦを推定する。各推定小領域においてステップ３０５で説明した方法でＰＳＦの推定処理を行い、各推定小領域において推定したＰＳＦの平均を求める。他にも、Ｎ個の推定小領域を選択した場合、式（６）のようにＮ個の推定小領域で共通するＫを求めることでＰＳＦを推定しても良い。

ステップ１５０８～１５１１の処理は、図３のステップ３０６～３０９の処理と同様である。

なお、ステップ１５０７で求めたＰＳＦを画像データと共にストレージ２０５に記録し、再度画像を確認する際に、記録したＰＳＦを読みだせるようにしても良い。

以上、推定に適した複数の推定小領域を選択した上で推定を行うとともに、また選択した推定小領域をユーザに提示する構成とするとで、ぼけの評価に対するユーザの納得度を向上させることが可能となる。

（第４の実施形態）
次に、第４の実施形態について説明する。本実施形態では、推定小領域において推定されたＰＳＦに基づいて、ぼけを解消するためのデコンボリューション処理を行う。推定小領域は自動で選択する構成としても、ユーザが任意の小領域を選択する構成としてもよい。

図１８は、本実施形態における画像のぼけ補正に関する動作処理を説明するためのフローチャートである。第３の実施形態と異なる処理を中心に説明を行う。ここでは、ユーザが任意の小領域を選択できる仕様を例にあげて説明を行う。

ステップ１８０１～１８０３は、ステップ１５０１～１５０３と同じである。

ステップ１８０４では、制御回路２０１が、ステップ１８０３で決定された推定小領域を画像に重畳してディスプレイ２０４に表示させ、ユーザに１つ以上の小領域を選択させる。そして、制御回路２０１は、ユーザが選択した１つ以上の小領域を、推定小領域として設定する。制御回路２０１は、設定された推定小領域をディスプレイ２０４に表示させる。

ステップ１８０５では、ステップ１５０７と同様の方法で、ＰＳＦ推定部２１３は、ステップ１８０４でユーザによって選択された複数の推定小領域における共通のＰＳＦを推定する。

ステップ１８０６では、信号処理部２１１が、ステップ１８０５で推定したＰＳＦに基づいて、画像データにデコンボリューション処理を適用して、ぼけを補正するための回復処理を行う。

回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（７）が成立する。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（７）

ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。

また、式（７）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（８）が得られる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（８）

ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像ｇからもとの画像ｆを得るには、以下の式（９）のように両辺を光学伝達関数Ｈで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） ・・・（９）

Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

１／Ｈを逆フーリエ変換したものをＲとすると、以下の式（１０）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ・・・（１０）

ステップ１８０７では、制御回路２０１がデコンボリューション処理を適用して得られた画像データを用いて、ディスプレイ２０４に画像を表示する。

ステップ１８０８では、制御回路２０１は、ユーザに小領域を選択し直すか、それとも処理を終了するかを問い合わせる表示を行う。ユーザから処理を終了せずに、小領域を再選択する旨の指示がなされた場合には、ステップ１８０４に戻る。つまり、ユーザはステップ１８０４で選択した小領域におけるＰＳＦに基づくデコンボリューション処理の結果に満足できない場合は、小領域を選択し直して、別のＰＳＦに基づくデコンボリューション処理をやり直すことができる。

ステップ１８０８で、ユーザから処理を終了する指示がなされた場合には、ステップ１８０９で、制御回路２０１は、デコンボリューション処理を適用した画像データをストレージ２０５に記録させる。

図１９は、ユーザが選択した小領域、選択した小領域におけるＰＳＦの推定結果、および、ＰＳＦの推定結果に基づくデコンボリューション処理を適用した画像の様子を示す図である。

図１９（ａ）は、ユーザが１つの小領域のみを選択した場合の図であり、図１９（ｂ）は、ユーザが図１９（ａ）に示すデコンボリューション処理の結果に満足できず、複数の小領域を選択した場合の図である。ユーザが指定した小領域のエッジ情報が少ない場合には、画像のぼけを精度良く補正するためのＰＳＦを推定することが難しい場合がある。本実施形態によれば、ユーザが、デコンボリューション処理の結果を確認しながら、ぼけを重点的に解消したい小領域を指定できるようにすることで、ユーザの意図に沿ったぼけ補正を行うことができるようになる。

（第５の実施形態）
次に、第５の実施形態について説明する。本実施形態では、ぼけの程度と、ぼけの程度に対応する小領域の表示を行い、ユーザがぼけの程度と小領域の関係を直感的に把握できるようにすることを目的とする。

図２０は、本実施形態における画像のぼけ補正に関する動作処理を説明するためのフローチャートである。第３の実施形態と異なる処理を中心に説明を行う。ここでは、ユーザが任意の小領域を選択できる仕様を例にあげて説明を行う。

ステップ２００１では、画像処理装置１００が画像データを取得する。

ステップ２００２では、推定領域設定部２１２が、画像データにおいて、被写体領域を囲う矩形領域を推定領域として設定する。本実施形態では、複数の被写体が検出された場合には、それぞれの被写体に対して推定領域を設定する。あるいは、検出された被写体を全て包含する領域を推定領域とする。

ステップ２００３では、推定領域設定部２１２が、ステップ２００２で設定した推定領域に対して、複数の小領域を設定する。あるいは、ステップ２００２を省略して、画像データ全体を複数に分割して複数の小領域を設定してもよい。

ステップ２００４では、ＰＳＦ推定部２１３が、ステップ１８０３で決定された推定小領域ごとにＰＳＦを推定する。

ステップ２００５では、判定部２１４は、ディスプレイ２０４に、画像とともに、ぼけの程度であるぼけレベルを示すスライダーバーを表示させる。

ステップ２００６では、判定部２１４は、ユーザが指定したスライダーバーにおけるぼけレベルに対応するＰＳＦを選択する。

図２１は、本実施形態におけるぼけレベルの変更に連動して小領域が変更される様子を説明するための図である。ユーザがぼけレベルを指定すると、そのぼけレベルに対応するＰＳＦが推定された小領域が強調された状態で、画像に重畳して表示される。図２１において、ぼけレベルのスライダーバーは、左から右に行くに従ってぼけレベルが高くなるように構成されている。図２１の左側の図は、ユーザが小さいぼけレベルを指定しているため、撮影時にＡＦの対象となった手前の被写体における小領域が強調表示されている。図２１の右側の図は、ユーザが大きいぼけレベルを指定しているため、撮影時のピント位置から大きく外れた位置に存在する奥の被写体における小領域が強調表示されている。なお、指定されたぼけレベルに対応するＰＳＦが推定された小領域のみを画像に重畳して表示するようにしても構わない。

ユーザがぼけレベルを連続的に変更すれば、そのぼけレベルに対応するＰＳＦが推定された小領域の選択が連続的に行われる。そのため、ユーザは小領域間のぼけレベルの類似度や、小領域間のぼけレベルの差の大きさを、容易に理解することが可能となる。

なお、スライダーバーが示すぼけレベルの最大値と最小値を、全ての小領域から得られたＰＳＦの最大値と最小値、あるいは、ＰＳＦの分布に基づいて適用的に設定するようにしてもよい。また、ぼけレベルをスライダーバーの位置だけでなく、数値で示してもよいし、弱、中、強といったレベルを示す言葉で示してもよい。また、スライダーバーのタッチ操作に代えて、ボタンやダイヤルなどの他の操作部材を用いてぼけレベルを指定できるようにしてもよい。

ステップ２００７では、判定部２１４は、ユーザによるぼけレベルの変更が行われなくなったかを判定し、変更がなければステップ２００８に進み、変更があればステップ２００６に戻る。この判定は、ユーザによるぼけレベルの変更の操作が行われなかった時間に基づいてもよいし、ユーザにぼけレベルの変更がない旨の指示があるか否かに基づいてもよい。

ステップ２００８では、信号処理部２１１が、ユーザが指定したぼけレベルに対応する小領域に共通するＰＳＦに基づいて、画像データにデコンボリューション処理を適応して、ぼけを補正するための回復処理を行う。

ステップ２００９では、制御回路２０１が、デコンボリューション処理を適用して得られた画像データを用いて、ディスプレイ２０４に画像を表示させる。

ステップ２０１０では、判定部２１４は、ユーザからぼけレベルを変更する指示がなされたかを再度判定し、ぼけレベルを変更する指示があった場合にはステップ２００６に戻り、無ければステップ２０１１に進む。ユーザはステップ２００６で選択したぼけレベルに基づくデコンボリューション処理の結果に満足できない場合は、ぼけレベルを選択し直して、別のぼけレベルに基づくデコンボリューション処理をやり直すことができる。

ステップ２０１１では、制御回路２０１は、デコンボリューション処理を適用した画像データをストレージ２０５に記録させる。

以上のように、本実施形態によれば、ぼけの程度と、ぼけの程度に対応する小領域の対応付けた表示を行い、ユーザが領域ごとのぼけの程度を直感的に把握できる。

（第６の実施形態）
次に、第６の実施形態について説明する。本実施形態では、画像データに推定領域を設定してＰＳＦを推定し、推定したＰＳＦからスコアを算出する処理を、動画に適用する。本実施形態では、動画、特にライブビュー動画において連続的にＰＳＦの推定処理を行い、ユーザにＰＳＦのスコアを提示することで、ぼけによる劣化の少ないタイミングでユーザが撮影できるようアシストする例について説明する。

図２２は、本実施形態における画像のぼけ判定に関する動作処理を説明するためのフローチャートである。このフローチャートはフレームごとに行われる。

ステップ２２０１では、画像処理装置１００がライブビュー動画に用いられる画像データを取得する。

ステップ２２０２では、推定領域設定部２１２が、画像データにおいて、主被写体の領域を囲う矩形領域を推定領域として設定する。

ステップ２２０３では、推定領域設定部２１２が、ステップ２００２で設定した推定領域に対して、複数の小領域を設定する。

ステップ２２０４では、信号処理部２１１が、エッジの強度とエッジの方向の偏りに基づいて、小領域ごとにエッジ特徴量を算出する。

ステップ２２０５では、信号処理部２１１が、エッジ特徴量が所定の値より大きい小領域を、推定小領域として選択する。エッジ特徴量が所定の値より大きい小領域が存在しない場合、そのフレームの画像データに対してはステップ２２０５以降の処理は行わずに、このフレームの画像データに対する処理を終了する。

ステップ２２０６では、ＰＳＦ推定部２１３は、ステップ２２０５で選択した複数の推定小領域における共通のＰＳＦを推定する。

ステップ２２０７では、判定部２１４が、図３のステップ３０６と同様の方法で、算出したＰＳＦをスコアに変換する。あるいは、前のフレームの画像データから得られたスコアに基づいて、現在のフレームの画像データのスコアを計算してもよい。例えば、現在のフレームの画像データのスコアと、前の所定数のフレームの画像データのスコアを平均したり加重加算したりした結果を、現在のフレームのスコアとして置き換えてもよい。

ステップ２２０８では、判定部２１４が、図３のステップ３０７と同様の方法で、ステップ２２０７で算出したスコアを現像時の各種パラメータに基づいて補正する処理を行う。

ステップ２２０９では、制御回路２０１が、ステップ２２０６で推定したＰＳＦの程度を示す情報と、ステップ２２０８で得られたスコアの一方あるいは両方を、動画に重畳してディスプレイ２０４に表示させる。さらに、ＰＳＦの推定処理が行われた推定小領域を知らせるための表示を行ってもよい。フレームごとにこれらの情報の表示の更新を行うと非常に見にくくなってしまうため、これらの情報の表示の更新は、ユーザが見やすい程度に間隔を空けて行う。あるいは、スコアが閾値以上変動した場合のみに情報を更新したり、ぼけの程度が閾値を下回ったときのみ情報を表示したりするようにしてもよい。

図２３は、ステップ２２０９における、ライブビュー動画における表示画像を説明するための図である。

図２３（ａ）では、複数の小領域２３０１、ＰＳＦの算出結果２３０２、および、ＰＳＦから計算したスコアの評価結果を示すテキスト２３０３が、ライブビュー動画の１フレームの画像に重畳して表示されている。複数の小領域２３０１のうち、斜線が掛かっている領域がステップ２２０５で選択された推定小領域であり、ＰＳＦの算出結果２３０２はこれら推定小領域に共通するＰＳＦを示す。

図２３（ｂ）は、視線検出機能によって後ろの被写体が主被写体として選択された場合の図である。図２３（ｂ）においては、推定領域２３０４、ＰＳＦの算出結果２３０５、および、ＰＳＦから計算したスコアの評価結果を示すテキスト２３０６が、ライブビュー動画の１フレームの画像に重畳して表示されている。図２３（ｂ）では、ステップ２２０５においてエッジ特徴量が所定の値より大きい小領域が存在しなかったため、推定領域２３０４のみが表示されており、ＰＳＦの算出結果２３０５はこの推定領域２３０４全体から得られたＰＳＦを示す。

このように、ライブビュー動画において、被写体のぼけの程度を確認しながら撮影を行うことが可能となり、被写体のぼけが抑制されたタイミングで、静止画の撮影を行うためのアシストを可能とする。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。

１００ 画像処理装置
１００ａ デジタルカメラ
１００ｂ スマートフォン
１００ｃ サーバ
１１０ ネットワーク
２０１ 制御回路
２０２ 通信回路
２０３ 指示受付回路
２０４ ディスプレイ
２０５ ストレージ
２１１ 信号処理部
２１２ 推定領域設定部
２１３ ＰＳＦ推定部
２１４ 判定部

Claims (27)

1. 取得した画像データに対して推定領域を設定する領域設定手段と、
   前記推定領域における画像のぼけの程度を推定するための演算を行う推定手段と、
   前記推定手段によって推定されたぼけの程度に基づいて、当該画像データのぼけを判定する判定手段と、
   表示手段に、前記判定手段がぼけを判定する際の閾値をユーザに調整させるための表示を行わせる制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記制御手段は、ユーザにぼけを判定する際の閾値を調整させるために、前記表示手段に、ぼけを判定する際の閾値を連続的に調整するための表示を行わせることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、ぼけを判定する際の閾値を連続的に調整するための表示の最大値および最小値の少なくとも一方を、複数の画像データに基づいて設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、前記最大値および最小値の少なくとも一方を、前記表示手段に表示されている複数の画像に対応する画像データを解析した結果に基づいて設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記最大値および最小値の少なくとも一方を、前記表示手段に表示されている複数の画像に含まれるぼけの程度に基づいて設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記制御手段は、前記画像データの出力サイズに応じて、前記判定手段がぼけを判定する際の閾値を変更することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記判定手段は、前記推定手段によって推定されたぼけの程度をスコアに変換し、前記スコアと閾値を比較することで、当該画像データのぼけを判定するものであって、前記画像データに施された画像処理のパラメータに応じて、前記スコアおよび閾値の少なくとも一方を補正することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記判定手段は、前記画像データに施された画像処理がエッジのレベルを高くする処理であれば、ぼけが生じていると判定されやすくするように前記スコアおよび閾値の少なくとも一方を補正することを特徴とする請求項７に記載の画像処理装置。
9. 前記制御手段は、前記表示手段に、前記推定領域を当該画像データに基づく画像に重畳した表示を行わせることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 動画の画像データの中から一部の区間に含まれるフレームの画像データを取得する信号処理手段を有し、
    前記領域設定手段、前記推定手段、および、前記判定手段は、前記信号処理手段が取得した画像データに対して処理を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 取得した画像データから被写体領域を検出する検出手段と、
    前記被写体領域において、画像のぼけの程度を推定するための推定小領域を設定する領域設定手段と、
    表示手段に、前記推定小領域を当該画像データに基づく画像に重畳した表示を行わせる制御手段と、
    前記推定小領域における画像のぼけの程度を推定する推定手段と、
    を有することを特徴とする画像処理装置。
12. 前記設定手段は、前記被写体領域を解析した結果に基づいて、前記推定小領域を設定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記設定手段は、前記被写体領域に複数の小領域を設定し、前記複数の小領域の中から、それぞれの小領域に含まれるエッジに基づいて、前記推定小領域として設定する小領域を選択することを特徴とする請求項１２に記載の画像処理装置。
14. 前記取得した画像データは動画を構成するフレームの画像データであり、
    前記領域設定手段、前記制御手段、および、前記推定手段は動画に含まれる複数のフレームに対して連続的に処理を行うことを特徴とする請求項１１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記制御手段は、前記表示手段に、前記推定手段が推定した画像のぼけの程度を示す情報の表示を行わせることを特徴とする請求項１４に記載の画像処理装置。
16. 前記設定手段は、前記被写体領域に複数の小領域の設定し、前記複数の小領域の中から、ユーザの指示に基づいて、前記推定小領域として設定する小領域を選択することを特徴とする請求項１１に記載の画像処理装置。
17. 前記制御手段は、前記推定小領域として設定する小領域をユーザに選択させるために、前記表示手段に、前記設定手段が設定した前記複数の小領域を表示させることを特徴とする請求項１６に記載の画像処理装置。
18. 前記制御手段は、ユーザにぼけの程度を選択させて、ユーザによって選択されたぼけの程度に対応する小領域を選択することを特徴とする請求項１６に記載の画像処理装置。
19. 前記制御手段は、ユーザにぼけの程度を選択させるために、前記表示手段に、ぼけの程度を連続的に調整するための表示を行わせることを特徴とする請求項１８に記載の画像処理装置。
20. 前記制御手段は、前記ユーザがぼけの程度を選択しなおす度に、ユーザによって選択されたぼけの程度に対応する小領域を選択することを特徴とする請求項１８または１９に記載の画像処理装置。
21. 前記制御手段は、前記表示手段に、前記ユーザの指示に基づいて前記推定小領域として設定した小領域を表示させることを特徴とする請求項１６乃至２０のいずれか１項に記載の画像処理装置。
22. 前記推定手段は、前記推定小領域として２以上の小領域を選択した場合に、前記２以上の小領域に共通するぼけの程度を推定することを特徴とする請求項１１乃至２１のいずれか１項に記載の画像処理装置。
23. 前記画像データに対して、前記推定手段によって推定されたぼけの程度に応じたデコンボリューション処理を行って、ぼけを抑制した画像を生成する信号処理手段を有することを特徴とする請求項２２に記載の画像処理装置。
24. 前記推定手段は、前記画像のぼけの程度を推定するために、前記画像の点拡がり関数を算出することを特徴とする請求項１乃至２３のいずれか１項に記載の画像処理装置。
25. 取得した画像データに対して推定領域を設定する工程と、
    前記推定領域における画像のぼけの程度を推定するための演算を行う工程と、
    推定された前記ぼけの程度に基づいて、当該画像データのぼけを判定する工程と、
    表示手段に、前記ぼけを判定する際の閾値をユーザに調整させるための表示を行わせる工程と、
    を有することを特徴とする画像処理装置の制御方法。
26. 取得した画像データから被写体領域を検出する工程と、
    前記被写体領域において、画像のぼけの程度を推定するための推定小領域を設定する工程と、
    表示手段に、前記推定小領域を当該画像データに基づく画像に重畳した表示を行わせる工程と、
    前記推定小領域における画像のぼけの程度を推定する工程と、
    を有することを特徴とする画像処理装置の制御方法。
27. コンピュータを、請求項１乃至２４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images