JP2010079446A - 電子機器、ぼけ画像選別方法及びプログラム - Google Patents

Abstract

【課題】注視すべき被写体がぼけた、ユーザにとって不要な画像を確実に選別すること。
【解決手段】ＰＣ１００のムービー作成アプリケーション２０は、記憶部８に記憶された複数の素材画像を顔認識エンジン１２０及び特徴認識エンジン１３０へ供給して、各素材画像に含まれる顔領域及び特徴領域に関するメタデータを取得し、各顔領域及び特徴領域のサイズを最適化した上で特徴認識エンジン１３０へ供給して各顔領域及び特徴領域の領域ぼけ指数を取得し、１つの素材画像中の複数の領域の領域ぼけ指数を、領域面積等に比例した重み付け平均することで、１つの素材画像に対して１つの画像ぼけ指数を算出し、複数の素材画像のうち、画像ぼけ指数が閾値以上である素材画像のみをぼけ画像として選別して表示する。
【選択図】図３

Description

本発明は、複数の静止画像を記憶し出力することが可能な電子機器、当該電子機器におけるぼけ画像選別方法及びプログラムに関する。

従来から、撮像され保存された写真等の画像を整理するアルバム作成機能や、画像のスライドショー機能を有する電子機器が存在する。電子機器でこれらの機能を実行する場合、ユーザは、保存させたり表示させたりする所望の画像を選択する必要があるが、大量の画像の中から所望の画像を選別するのは大変な作業である。

そこで、複数の画像の中から、いわゆるベストショット、つまりユーザの鑑賞に堪え得ると推定される画像を選択する技術として、連写された複数の画像からベストショットを選択する技術が知られている（例えば、特許文献１参照）。

また、画像のシャープネス、顔の画像の品質、およびフレアの有無に基づいて、写真としての画像の品質を評価する技術も知られている（例えば、特許文献２参照）。さらに、画像から顔を検出し、その検出結果に応じて最適な構図を選択して切り出す技術も知られている（例えば、特許文献３参照）。

特開２００６−３１１３４０号公報 特表２００５−５２１９２７号公報 特開２００７−２７９７１号公報

しかしながら、上述した技術では、評価対象の画像が、ユーザの鑑賞に堪え得ないと推定される画像であるか否か、すなわち被写体がぼけている画像であるか否かを確実に評価して選別することは困難であった。

例えば、上記特許文献１に記載の、連写された画像からベストショットを選択する技術では、画像全体のぼけ度合いおよび露出の評価が行われる。しかし、一般的な、連写されて得られたものではない画像に対してぼけ度合いや露出の評価が行われても、必ずしもぼけた画像を選別できるとは限らない。つまり、一般的には被写体にピントが合い、背景がぼけている写真は、被写体が鮮明に写るため上手く撮像された、いわゆるベストショットであることが多い。ところが、特許文献１に記載の技術を、連写されたものではない画像に対して用いると、被写体にピントが合っているが、背景がぼけている画像がぼけた画像であると判断されてしまう可能性がある。

また、特許文献２に記載の技術では、被写体が人の顔であるとして画像の品質が評価され、画像から顔が検出できなかった場合には、シャープネスとフレアの有無により画像の品質が評価される。したがって、そのような場合にも、被写体にピントが合っているが、背景がぼけている画像がぼけた画像であると判断されてしまう。

さらに、特許文献３に記載の技術では、最適な構図を切り出すことはできるが、画像がぼけているか否かを評価することはできない。また、この技術では、画像に被写体として人の顔がない場合には、最適な構図を切り出すことはできない。

以上のような事情に鑑み、本発明の目的は、注視すべき被写体がぼけた、ユーザにとって不要な画像を確実に選別することが可能な電子機器、ぼけ画像選別方法及びそのプログラムを提供することにある。

上述の課題を解決するため、本発明の一の形態に係る電子機器は、抽出手段と、第１の算出手段と、第２の算出手段と、選別手段とを有する。
上記抽出手段は、画像中の所定の特徴を有する被写体領域を当該画像から抽出する。
上記第１の算出手段は、上記抽出された被写体領域のぼけ度を示す第１のぼけ度を算出する。
上記第２の算出手段は、上記画像中の１つの上記被写体領域のみから上記第１のぼけ度が算出された場合に、当該第１のぼけ度を基に上記画像の全体についてのぼけ度を示す第２のぼけ度を算出する。また第２の算出手段は、上記画像中の複数の上記被写体領域から上記第１のぼけ度が算出された場合に、当該第１のぼけ度を上記複数の被写体領域の面積に応じて重み付け平均した値を基に上記第２のぼけ度を算出する。
上記選別手段は、複数の上記画像から、所定の閾値以上の上記算出された第２のぼけ度を有する画像をぼけ画像として選別する。
この構成により、電子機器は、画像中の被写体領域のぼけ度（第１のぼけ度）と、被写体領域の面積とを基に、画像全体としてのぼけ度（第２のぼけ度）を算出することで、複数の画像からぼけ画像を選別することができる。上記所定の特徴を有する被写体とは、人、動物、植物、建物等あらゆる物である。上記第１のぼけ度は、例えば上記被写体領域内のエッジ強度により算出される。上記所定の特徴を有する被写体領域とは、画像の閲覧者が注視する領域である。すなわち、電子機器は、注視される領域が１つしかない場合には、その領域のぼけ度を基に画像全体としてのぼけ度を算出する。また電子機器は、注視される領域が複数存在する場合には、各領域の面積に応じて各領域のぼけ度を重み付け平均して画像全体としてのぼけ度を算出する。これは、面積が大きいほど注視される確率が高いと考えられるためである。このような処理により、電子機器は、画像のぼけ度を確実に算出して、ユーザにとって不要なぼけ画像を選別することができる。ユーザは、この選別結果に応じて、ぼけ画像を削除したり、オリジナルムービー等の素材から除外したりすることができ、利便性が向上する。

上記電子機器は、上記抽出された領域を、上記第１のぼけ度の算出に適した所定のサイズとなるように最適化する最適化手段をさらに有してもよい。
ここで最適化とは、第１のぼけ度の算出処理に長時間を要してしまうような大きすぎる領域を縮小したり、逆に小さすぎて第１のぼけ度を正確に算出できないような領域を処理から除外したりすることをいう。これにより電子機器は、第１のぼけ度をより正確に算出することができ、その結果第２のぼけ度をより正確に算出することができる。

上記抽出手段は、上記被写体領域の抽出の確からしさを示すスコアを算出してもよい。
この場合上記第２の算出手段は、上記画像中の複数の上記被写体領域から上記第１のぼけ度が算出された場合、当該第１のぼけ度を、上記複数の被写体領域の面積と上記算出されたスコアとに応じて重み付け平均した値を基に上記第２のぼけ度を算出してもよい。
ここでスコアとは、他の領域に比べて被写体領域が有する輝度、色、エッジ（方位）、顔等の特徴の度合いを示す評価値である。このスコアが大きいほど閲覧者に注視される確率が高いと考えられる。電子機器は、複数の被写体領域から第１のぼけ度が算出された場合に、被写体領域の面積のみならず、スコアにも応じて第１のぼけ度を重み付け平均することで、第２のぼけ度をより正確に算出し、ぼけ画像をより正確に選別することができる。

また上記抽出手段は、顔認識手段と特徴認識手段とを有してもよい。
上記顔認識手段は、上記被写体領域として人の顔の領域を認識し、当該認識された顔の領域の上記スコアを示す第１のスコアを算出する。
上記特徴認識手段は、上記被写体領域として視覚的な顕著性の高い特徴領域を認識し、当該認識された特徴領域の上記スコアを示す第２のスコアを算出する。
この場合、上記第２の算出手段は、上記画像中の複数の上記被写体領域から上記第１のぼけ度が算出された場合において、上記被写体領域として上記顔認識手段により上記顔の領域が認識された場合は、上記重み付け平均に上記第１のスコアを用いずに上記第２のぼけ度を算出してもよい。また上記第２の算出手段は、上記被写体領域として上記特徴認識手段により上記特徴領域が認識された場合は、上記重み付け平均に上記第２のスコアを用いて上記第２のぼけ度を算出してもよい。
この構成では、電子機器は、被写体領域として複数の顔が認識された場合には、顔の領域の面積のみに応じて第１のぼけ度を重み付け平均して第２のぼけ度を算出する。一方、電子機器は、被写体領域として特徴領域が認識された場合、その領域の面積と、その領域のスコアとに応じて第１のぼけ度を重み付け平均して第２のぼけ度を算出する。すなわち、電子機器は、抽出された被写体領域が顔領域である場合には、その顔のスコアに関わらず面積のみに応じて重み付け平均し、被写体領域が特徴領域である場合には、その領域の面積に加えスコアにも応じて重み付け平均する。このように処理に差が設けられるのは、特徴領域に比べて顔領域は閲覧者に無条件で注視される可能性が高いと考えられるためである。これにより、電子機器は、画像中の注視される領域をより正確に判断し、注視される領域がぼけている程、画像全体におけるぼけ度が高くなるように演算を行うことで、画像全体におけるぼけ度をより正確に算出することができる。

上記第１の算出手段は、上記被写体領域が抽出されない場合には、上記画像全体を上記被写体領域として上記第１のぼけ度を算出してもよい。
これにより、電子機器は、画像中に注視すべき領域が存在しない場合でも、画像全体を被写体領域とみなすことで、画像全体としてのぼけ度を算出することができる。

上記電子機器は、ユーザの操作を受け付ける操作受付手段をさらに具備してもよい。
この場合上記選別手段は、上記ユーザの所定の操作に応じて上記ぼけ画像を選別してもよい。
この場合当該電子機器は、上記複数の画像を表示し、上記所定の操作が受け付けられたときに、上記表示された複数の画像のうち上記選別されたぼけ画像のみを表示する表示手段をさらに有してもよい。
これにより、ユーザは、所定の操作を実行するだけで、複数の画像からぼけ画像のみを選別して閲覧することができ、不要なぼけ画像を容易に削除したり除外したりできる。所定の操作とは、例えばボタンのアイコン等のＧＵＩであるが、これに限られない。

本発明の他の形態に係る画像選別方法は、画像中の所定の特徴を有する被写体領域を当該画像から抽出することを含む。
この方法においては、上記抽出された被写体領域のぼけ度を示す第１のぼけ度を算出される。
上記画像中の１つの上記被写体領域のみから上記第１のぼけ度が算出された場合には、当該第１のぼけ度を基に上記画像の全体についてのぼけ度を示す第２のぼけ度が算出される。上記画像中の複数の上記被写体領域から上記第１のぼけ度が算出された場合には、当該第１のぼけ度を上記複数の被写体領域の面積に応じて重み付け平均した値を基に上記第２のぼけ度を算出される。
そして、複数の上記画像から、所定の閾値以上の上記算出された第２のぼけ度を有する画像がぼけ画像として選別される。
この方法によれば、画像のぼけ度を確実に算出して、ユーザにとって不要なぼけ画像を選別することができる。

本発明のまた別の形態に係るぼけ画像選別方法は、画像中から抽出された、所定の特徴を有する被写体領域を、所定のサイズとなるように最適化することを含む。
この方法においては、上記最適化された被写体領域から算出された、被写体領域のぼけ度を示す第１のぼけ度が取得される。
上記画像中の１つの上記被写体領域のみから上記第１のぼけ度が算出された場合には、当該第１のぼけ度を基に上記画像の全体についてのぼけ度を示す第２のぼけ度が算出される。また上記画像中の複数の上記被写体領域から上記第１のぼけ度が算出された場合には、当該第１のぼけ度を上記複数の被写体領域の面積に応じて重み付け平均した値を基に上記第２のぼけ度が算出される。
そして、複数の上記画像から、所定の閾値以上の上記算出された第２のぼけ度を有する画像がぼけ画像として選別される。
この方法によれば、抽出された個々の被写体領域のサイズを最適化し、また個々の被写体領域から算出されたぼけ度を基に、画像全体としてのぼけ度を算出することで、ぼけ画像を確実に選別することができる。

本発明のまた別の形態に係るプログラムは、電子機器に、抽出ステップと、第１の算出ステップと、第２の算出ステップと、選別ステップとを実行させるためのものである。
上記抽出ステップは、画像中の所定の特徴を有する被写体領域を当該画像から抽出する。
上記第１の算出ステップは、上記抽出された被写体領域のぼけ度を示す第１のぼけ度を算出する。
上記第２の算出ステップは、上記画像中の１つの上記被写体領域のみから上記第１のぼけ度が算出された場合に、当該第１のぼけ度を基に上記画像の全体についてのぼけ度を示す第２のぼけ度を算出する。また上記第２の算出ステップは、上記画像中の複数の上記被写体領域から上記第１のぼけ度が算出された場合に、当該第１のぼけ度を上記複数の被写体領域の面積に応じて重み付け平均した値を基に上記第２のぼけ度を算出する。
上記選別ステップは、複数の上記画像から、所定の閾値以上の上記算出された第２のぼけ度を有する画像をぼけ画像として選別する。
このプログラムによれば、画像のぼけ度を確実に算出して、ユーザにとって不要なぼけ画像を選別することができる。

本発明のまた別の形態に係るプログラムは、電子機器に、最適化ステップと、取得ステップと、算出ステップと、選別ステップとを実行させるためのものである。
上記最適化ステップは、画像中から抽出された、所定の特徴を有する被写体領域を、所定のサイズとなるように最適化する。
上記取得ステップは、上記最適化された被写体領域から算出された、被写体領域のぼけ度を示す第１のぼけ度を取得する。
上記算出ステップは、上記画像中の１つの上記被写体領域のみから上記第１のぼけ度が算出された場合に、当該第１のぼけ度を基に上記画像の全体についてのぼけ度を示す第２のぼけ度を算出する。また上記算出ステップは、上記画像中の複数の上記被写体領域から上記第１のぼけ度が算出された場合に、当該第１のぼけ度を上記複数の被写体領域の面積に応じて重み付け平均した値を基に上記第２のぼけ度を算出する。
上記選別ステップは、複数の上記画像から、所定の閾値以上の上記算出された第２のぼけ度を有する画像をぼけ画像として選別する。
このプログラムによれば、抽出された個々の被写体領域のサイズを最適化し、また個々の被写体領域から算出されたぼけ度を基に、画像全体としてのぼけ度を算出することで、ぼけ画像を確実に選別することができる。

以上のように、本発明によれば、注視すべき被写体がぼけた、ユーザにとって不要な画像を確実に選別することができる。

以下、本発明の実施の形態を図面に基づき説明する。

［ＰＣのハードウェア構成］
図１は、本発明の一実施形態に係るＰＣのハードウェア構成を示した図である。
同図に示すように、ＰＣ１００は、ＣＰＵ（Central Processing Unit）１、ＲＯＭ（Read Only Memory）２、ＲＡＭ（Random Access Memory）３を有し、これらはバス４により相互に接続されている。

またＰＣ１００は、入出力インタフェース５、入力部６、出力部７、記憶部８、通信部９及びドライブ１０を有し、これらは入出力インタフェース５に接続されている。

ＣＰＵ１は、必要に応じてＲＡＭ３等に適宜アクセスし、各種演算処理を行いながらＰＣ１００の各ブロック全体を統括的に制御する。ＲＯＭ２は、ＣＰＵ１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ３は、ＣＰＵ１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、処理中の各種データを一時的に保持する。

入力部６は、例えばキーボード、マウス、タッチパッド、ボタン等であり、ユーザの各種操作を受け付け、入力された操作信号をＣＰＵ１へ出力する。出力部７は、例えば各種コンテンツの映像信号を出力するＬＣＤ（Liquid Crystal Display）やＯＥＬ（Organic Electro-Luminescence）ディスプレイ等の表示部や、各種コンテンツの音声信号を出力するスピーカ等である。

記憶部８は、例えばＨＤＤや、フラッシュメモリ等の不揮発性メモリ等である。記憶部８は、上記ＯＳ、各種プログラムや各種アプリケーション、各種データを内蔵のハードディスクまたはメモリ素子に記憶する。また記憶部８は、それらのプログラムやデータをＲＡＭ３へ読み出す。

特に本実施形態においては、記憶部８は、ムービー作成アプリケーションを記憶する。また記憶部８には、このムービー作成のための素材となる動画像ファイル、静止画像ファイル及び音楽ファイルや、作成されたムービーファイルも記憶される。このムービー作成アプリケーションは、ユーザが撮影して上記記憶部８に保存した動画像ファイル、静止画像ファイル及び音楽ファイル等の素材を基に、ユーザ独自のオリジナル動画像（ムービー）を作成するためのアプリケーションである。具体的には、ムービー作成アプリケーションは、動画像の枠、静止画像の枠等が予め定められたテンプレートに、ユーザが選択した動画像や静止画像を挿入して１つのファイルとして合成することでムービーを作成する。

通信部９は、例えばネットワークインタフェースカードやモデム等を有し、インターネット等のネットワークを介して他の機器との間で通信処理を行う。例えば、通信部９は、ネットワークを介して他の機器からプログラムやデータを受信することができる。

ドライブ１０は、リムーバブルメディア１１を装着して、各リムーバブルメディア１１に記録されたプログラムやデータを読み出し、入出力インタフェース５を介して記憶部８に記憶したり出力部７により再生したりする。

リムーバブルメディア１１は、例えばＤＶＤ、ＢＤ、ＣＤ等の光ディスクや、メモリカード等の半導体メモリからなるメディアである。

［ムービー作成アプリケーションの機能］
上記ムービー作成アプリケーションは、ムービーを作成するのに先立って、記憶部８に記憶された複数の静止画像から、ユーザにとって不要な、ムービーの素材となり得ない、ぼけた画像（以下、ぼけ画像と称する）を選別する機能を有する。以下、このぼけ画像選別機能について説明する。図２は、このぼけ画像選別機能を説明するための図である。

同図に示すように、ムービー作成アプリケーション２０は、メタデータ解析部２１、メタデータ蓄積部２２、ぼけ画像選別部２３及び画像表示部２４を有する。またＰＣ１００は、ムービー作成アプリケーション２０の外部エンジンとして、顔認識エンジン１２０と、特徴認識エンジン１３０とを記憶する。

顔認識エンジン１２０は、ムービー作成アプリケーション２０から与えられた素材画像から、被写体領域として人の顔を認識し、その顔を含む矩形領域（顔領域）を抽出する。そして顔認識エンジン１２０は、当該顔領域のデータ、そのサイズ情報（高さ、幅、傾き）、認識の確からしさを示す顔認識スコア等のメタデータをムービー作成アプリケーション２０へ出力する。

顔認識エンジン１２０における顔認識技術としては、種々の周知の技術が用いられる。例えば顔認識エンジン１２０は、特徴フィルターを用いて顔の特徴を認識してもよい。この特徴フィルターは、例えば画像中の長方形のある部分は検出し、ある部分はマスクするようなフィルターである。この特徴フィルターにより、顔を含む画像からは、目、眉毛、鼻、頬等の位置関係が顔特徴として検出され、顔を含まない画像からは、顔以外の物体の形、その物体の各構成要素の位置関係等が非顔特徴として検出される。顔認識エンジン１２０は、この特徴フィルターの枠の大きさ及び位置を変更しながら画像を特徴フィルターにかけ、最も確からしい検出値が得られたときの特徴フィルターの大きさを、顔領域の大きさと認識して顔領域を抽出する。特徴フィルターとしては、長方形のフィルター以外にも、例えば円形の特徴を検出する分離度フィルターや、特定方位のエッジにより顔の各パーツの位置関係を検出するGaborフィルター等が用いられても構わない。また、顔認識技術としては、特徴フィルター以外にも、例えば画像中の輝度分布情報や肌色情報等が用いられても構わない。

特徴認識エンジン１３０は、ムービー作成アプリケーション２０から与えられた画像から、被写体領域として視覚的な顕著性の高い特徴領域を認識して抽出する特徴領域認識機能と、当該与えられた画像のぼけ具合を判別するぼけ認識機能とを有する。

特徴認識エンジン１３０は、上記特徴領域認識機能として、与えられた画像の特徴を認識して特徴マップ（Feature maps）を生成し、当該特徴マップを統合して顕著性マップ（Saliency map）を生成することで、矩形の特徴領域を認識し、抽出する。認識される特徴としては、輝度特徴、色特徴、エッジ（方位）特徴がある。特徴認識エンジン１３０は、画像中の輝度特徴、色特徴、エッジ特徴から、それぞれ輝度マップ、色マップ、エッジマップを生成し、これらの各マップを線形統合して、顕著性マップを生成する。そして、特徴認識エンジン１３０は、この顕著性マップを基に矩形の特徴領域を抽出し、抽出した特徴領域のデータ、そのサイズ（高さ・幅・傾き）、認識の確からしさを示す特徴認識スコア等のメタデータをムービー作成アプリケーション２０へ出力する。

また、特徴認識エンジン１３０は、上記ぼけ認識機能として、与えられた顔領域及び特徴領域から、必要に応じて上記顕著性マップを用いて、エッジポイントを抽出し、そのエッジポイントを分析することで、各領域のぼけ指数を算出する。そして、特徴認識エンジン１３０は、算出したぼけ指数を、ムービー作成アプリケーション２０へ出力する。

メタデータ解析部２１は、上記顔認識エンジン１２０と特徴認識エンジン１３０とそれぞれ協働する顔認識プラグインと特徴認識プラグインとを有する。メタデータ解析部２１は、顔認識エンジン１２０及び特徴認識エンジン１３０へ素材画像（静止画像）を供給し、顔領域及び特徴領域に関するメタデータを取得する。またメタデータ解析部２１は、取得した顔領域及び特徴領域を、ぼけ認識処理に適したサイズとなるよう加工した上で特徴認識エンジン１３０へ供給し、ぼけ認識結果としてのぼけ指数を基に、画像全体としてのぼけ指数を算出する。以降の説明では、特徴認識エンジン１３０が算出する顔領域及び特徴領域のぼけ指数を領域ぼけ指数と称し、メタデータ解析部２１が算出する画像全体としてのぼけ指数を画像ぼけ指数と称する。

メタデータ蓄積部２２は、上記顔認識エンジン１２０及び特徴認識エンジン１３０から取得した顔領域及び特徴領域に関するメタデータを蓄積する。またメタデータ蓄積部２２は、上記メタデータ解析部２１が算出した画像ぼけ指数を蓄積する。

ぼけ画像選別部２３は、ユーザの操作に応じて、上記ぼけ指数を基に、複数の素材画像からぼけ画像を選別する。画像表示部２４は、複数の素材画像の一覧を表示すると共に、ユーザの操作に応じて、ぼけ画像選別部２３により選別されたぼけ画像のみを表示する。

［ＰＣの動作］
次に、以上のように構成されたＰＣ１００の動作について説明する。以降の説明では、上記ムービー作成アプリケーション２０、顔認識エンジン１２０及び特徴認識エンジン１３０の各ソフトウェアを主な動作主体として説明するが、この動作は、全てＣＰＵ１等のハードウェアの制御下で実行される。
（メタデータ解析部の動作の概要）
図３は、本実施形態における上記メタデータ解析部２１の大まかな動作の流れを示したフローチャートである。

同図に示すように、まず、メタデータ解析部２１の顔認識プラグインは、上記記憶部８に蓄積された素材画像を、顔認識エンジン１２０へ供給する（ステップ３１）。

顔認識エンジン１２０は、入力された素材画像に対して、顔認識処理を実行し、その結果として、抽出された顔領域データ、顔領域のサイズ、顔認識スコアの各メタデータを顔認識プラグインへ出力する（ステップ３２）。

顔認識プラグインは、顔認識エンジン１２０から供給されたメタデータに、矩形領域が存在するか否かを判断し（ステップ３３）、存在する場合（Ｙｅｓ）には、全ての矩形領域に関する上記メタデータをメタデータ蓄積部２２に登録する（ステップ３４）。

次に、特徴認識プラグインは、上記特徴認識エンジン１３０と協働して、素材画像からの特徴認識処理を実行する（ステップ３５）。この処理の詳細については後述する。

続いて、特徴認識プラグインは、特徴認識処理により特徴認識エンジン１３０から供給されたメタデータに、矩形領域が存在するか否かを判断し（ステップ３６）、存在する場合（Ｙｅｓ）には、全ての矩形領域に関する上記メタデータをメタデータ蓄積部２２に登録する（ステップ３７）。

続いて、特徴認識プラグインは、メタデータ蓄積部２２に登録された矩形領域を特徴認識エンジン１３０に供給して、当該矩形領域についてぼけ認識処理を実行する（ステップ３８）。この処理の詳細も後述する。

続いて、特徴認識プラグインは、上記ぼけ認識処理の結果に基づいて、１つの画像（画像全体）に対して１つの画像ぼけ指数を算出する（ステップ３９）。この処理の詳細も後述する。そして特徴認識プラグインは、算出された各素材画像のぼけ指数を、メタデータ蓄積部２２へ登録する（ステップ４０）。

（メタデータ解析部の特徴認識処理）
図４は、上記ステップ３５における特徴認識処理の詳細な流れを示したフローチャートである。
同図に示すように、まず、特徴認識プラグインは、記憶部８から取得した素材画像のサイズが、上記特徴認識エンジン１３０による特徴認識処理における最低有効サイズ以上であるか否かを判断する（ステップ４１）。最低有効サイズとは、例えば256×256（画素）であるが、これに限られない。この処理により、素材画像が、特徴認識処理に耐え得ない程小さいか否かが判断される。

続いて、特徴認識プラグインは、上記素材画像のサイズが、上記特徴認識エンジン１３０による特徴認識処理における最大解析対象サイズ以下であるか否かを判断する（ステップ４２）。最大解析対象サイズとは、例えば３２００×３２００（画素）であるが、これに限られない。素材画像のサイズが最大解析対象サイズを越えている場合（Ｎｏ）、特徴認識プラグインは、当該素材画像のサイズが最大解析対象サイズ以下となるように素材画像を縮小処理する（ステップ４３）。このように素材画像が縮小されるのは、素材画像が最大解析対象サイズ以上の場合、特徴認識エンジン１３０による特徴認識処理自体は可能であるが、その処理に時間がかかりすぎてしまうためである。すなわち、この縮小処理により、特徴認識エンジン１３０の処理負荷が軽減される。

続いて、特徴認識プラグインは、必要に応じて縮小処理した素材画像を、特徴認識エンジン１３０へ供給する（ステップ４４）。特徴認識エンジン１３０は、この供給された素材画像についての特徴認識処理を実行する（ステップ４５）。そして、特徴認識プラグインは、特徴認識エンジン１３０から、特徴認識結果として特徴領域に関するメタデータを取得する（ステップ４６）。

（特徴認識エンジンの特徴認識処理）
図５は、上記ステップ４５における特徴認識エンジン１３０による特徴認識処理の詳細な流れを示したフローチャートである。
同図に示すように、特徴認識エンジン１３０は、まず、供給された素材画像から輝度マップを生成する（ステップ５１）。
具体的には、特徴認識エンジン１３０は、素材画像の各画素の各輝度値を各画素値とする輝度画像を生成する。次に、特徴認識エンジン１３０は、当該輝度画像を用いて、解像度の異なる複数の輝度画像（ピラミッド画像）を生成する。このピラミッド画像は、例えばレベルＬ１〜Ｌ８までの８つの解像度の階層についてそれぞれ生成される。レベルＬ１のピラミッド画像が最も高い解像度を有し、レベルＬ１からＬ８まで順に解像度が低くなる。あるレベルのピラミッド画像の１つの画素の画素値は、その１つ上のレベルのピラミッド画像における隣接する４つの画素の画素値の平均値とされる。
続いて特徴認識エンジン１３０は、複数のピラミッド画像から、階層の異なる２つのピラミッド画像を選択し、両ピラミッド画像の差分を求めて、輝度に関する差分画像を生成する。この差分画像の画素値は、各レベルのピラミッド画像の輝度値の差、つまり、素材画像における所定の画素における輝度と、その画素の周囲の平均的な輝度との差分を示している。そして、特徴認識エンジン１３０は、算出された所定数の差分画像に基づいて輝度マップを生成する。

次に、特徴認識エンジン１３０は、素材画像から色マップを生成する（ステップ５２）。この色マップの生成も、基本的には、上記輝度マップと同様の手法で実行される。
まず、特徴認識エンジン１３０は、素材画像の画素のＲ（赤）成分とＧ（緑）成分との差分を各画素値とするＲＧ差分画像を生成し、素材画像の画素のＢ（青）成分とＹ（黄）成分との差分を各画素値とするＢＹ差分画像を生成する。
続いて、特徴認識エンジン１３０は、ＲＧ差分画像とＢＹ差分画像とを用いて、解像度の異なる複数のＲＧ差分画像及びＢＹ差分画像（ピラミッド画像）を生成する。続いて、特徴認識エンジン１３０は、複数のピラミッド画像から、階層の異なる２つのピラミッド画像を選択し、両ピラミッド画像の差分を求めて、ＲＧ及びＢＹの差分に関する差分画像を生成する。そして、特徴認識エンジン１３０は、算出された所定数の差分画像に基づいて、ＲＧ及びＢＹについてそれぞれ色マップを生成する。

次に、特徴認識エンジン１３０は、素材画像からエッジマップを生成する（ステップ５３）。このエッジマップの生成も、基本的には上記輝度マップ及び色マップと同様の手法で実行される。
まず、特徴認識エンジン１３０は、素材画像にガボアフィルタによるフィルタリング処理を施し、例えば０度、４５度、９０度及び１３５度の各方向のエッジ強度を各画素値とするエッジ画像を生成する。
続いて、特徴認識エンジン１３０は、各方向のエッジ画像を用いて、解像度の異なる複数のエッジ画像を（ピラミッド画像）を生成する。続いて、特徴認識エンジン１３０は、複数のピラミッド画像から、階層の異なる２つのピラミッド画像を選択し、両ピラミッド画像の差分を求めて、各方向のエッジに関する差分画像を生成する。そして、特徴認識エンジン１３０は、算出された所定数の差分画像に基づいて、各方向についてのエッジマップを生成する。

次に、特徴認識エンジン１３０は、上記素材画像からそれぞれ生成された輝度マップ、色マップ及びエッジマップを線形統合し、顕著性マップを生成する。すなわち、特徴認識エンジン１３０は、輝度マップ、色マップ及びエッジマップの各領域の情報（特徴量）を、同じ位置にある領域（重なっている領域）毎に重み付き加算することで、顕著性マップを生成する。

ここで、この重み付き加算に用いられる重みは、例えばニューラルネットワークによる学習により求められる。具体的には、特徴認識エンジン１３０は、所定の学習画像について、上述と同様の処理により、顕著性マップを生成する。そして特徴認識エンジン１３０は、上記顕著性マップの生成処理に用いられた重みと、画像ラベルとを用いて、重み差分を求め、この重み差分を、被写体マップ生成処理で用いられた重みに加えることで、重みを更新する。画像ラベルとは、学習画像における実際の特徴（被写体）の画素単位での有無を０と１とで示したものである。すなわち、画像ラベルは、理想的な顕著性マップである。特徴認識エンジン１３０は、この重みの更新処理と顕著性マップの生成処理とを繰り返すことで、最終的に適切な重みを決定する。

次に、特徴認識エンジン１３０は、この顕著性マップを基に、素材画像から、特徴量の高い領域を矩形領域として抽出する（ステップ５５）。そして、特徴認識エンジン１３０は、この矩形領域のデータ、サイズ、特徴認識スコア等のメタデータを、メタデータ解析部２１の特徴認識エンジンへ出力する（ステップ５６）。

（メタデータ解析部のぼけ認識処理）
図６は、上記ステップ３８におけるぼけ認識処理の詳細な流れを示したフローチャートである。
同図に示すように、まず、特徴認識プラグインは、ぼけ認識の対象である素材画像のサイズが、特徴認識エンジン１３０によるぼけ認識処理における最低有効サイズ以上であるか否かを判断する（ステップ６１）。最低有効サイズとは、例えば６４×６４（画素）であるが、これに限られない。これにより、素材画像のサイズが、ぼけ認識処理に耐え得ない程小さいか否かが判断される。ここで、上記特徴認識処理において素材画像が縮小処理されている場合には、その縮小画像がぼけ認識の対象画像とされる。

素材画像のサイズがぼけ認識処理の最低有効サイズに満たない場合（Ｎｏ）、特徴認識プラグインは、その素材画像は、ぼけ認識が不能な画像としてその素材画像についてのぼけ認識処理を中止する。

素材画像のサイズがぼけ認識処理の最低有効サイズ以上である場合（Ｙｅｓ）、特徴認識プラグインは、メタデータ蓄積部２２から、顔領域に関するメタデータを取得する（ステップ６２）。ここで、この顔領域の抽出元となった素材画像が、上記特徴認識処理において素材画像が縮小処理されている場合は、この顔領域のサイズは、素材画像の元のサイズに応じて変換される。

続いて、特徴認識プラグインは、当該顔領域が、特徴認識エンジン１３０によるぼけ認識処理における有効矩形であるか否かを判断する（ステップ６３）。ここで有効矩形とは、特徴認識エンジン１３０によるぼけ認識処理の上記最低有効サイズを満たす矩形、または、その矩形の短辺の画素数が、その矩形の抽出元となった素材画像の短辺の画素数の２０％以上である矩形である。

顔領域が有効矩形である場合（Ｙｅｓ）、特徴認識プラグインは、当該顔領域を特徴認識エンジン１３０へ供給し（ステップ６７）、当該顔領域についてのぼけ認識処理を実行させる（ステップ６８）。この場合における特徴認識エンジン１３０によるぼけ認識処理は、上記顕著性マップを用いずに実行される。

顔領域が有効矩形でない場合（Ｎｏ）、特徴認識プラグインは、その顔領域の抽出元となった素材画像のサイズが、特徴認識エンジンによる特徴認識処理における上記最低有効サイズ（２５６×２５６画素）以上であるか否かを判断する（ステップ６４）。

素材画像のサイズが特徴認識処理の最低有効サイズ以上である場合（Ｙｅｓ）、特徴認識プラグインは、上記メタデータ蓄積部２２から、特徴領域に関するメタデータを取得する（ステップ６５）。ここで、この特徴領域の抽出元となった素材画像が上記特徴認識処理において素材画像が縮小処理されている場合は、この特徴領域のサイズは、素材画像の元のサイズに応じて変換される。

続いて、特徴認識プラグインは、当該特徴領域が、特徴認識エンジン１３０によるぼけ認識処理における有効矩形であるか否かを判断する（ステップ６６）。ここで有効矩形とは、特徴認識エンジン１３０によるぼけ認識処理の上記最低有効サイズを満たす矩形である。

特徴領域が有効矩形である場合（Ｙｅｓ）、特徴認識プラグインは、当該特徴領域を特徴認識エンジン１３０へ供給し（ステップ６７）、当該特徴領域についてのぼけ認識処理を実行させる（ステップ６８）。この場合における特徴認識エンジン１３０によるぼけ認識処理は、上記顕著性マップを用いて実行される。

特徴領域が有効矩形でない場合（Ｎｏ）、特徴認識プラグインは、その特徴領域の抽出元となった素材画像を矩形領域として特徴認識エンジン１３０へ供給し（ステップ６９）、当該素材画像についてのぼけ認識処理を実行させる（ステップ７０）。すなわち、特徴領域ではなく素材画像全体についてのぼけ認識処理が実行される。この場合における特徴認識エンジン１３０によるぼけ認識処理は、上記顕著性マップを用いて実行される。

また上記ステップ６４において、素材画像のサイズが特徴認識処理の最低有効サイズに満たない場合（Ｎｏ）、特徴認識プラグインは、当該素材画像を特徴認識エンジン１３０へ供給し（ステップ７１）、当該素材画像全体についてのぼけ認識処理を実行させる（ステップ７２）。この場合における特徴認識エンジン１３０によるぼけ認識処理は、上記顕著性マップを用いずに実行される。

（特徴認識エンジンのぼけ認識処理の詳細）
図７は、上記ステップ６８、７０及び７２における特徴認識エンジン１３０によるぼけ認識処理の詳細な流れを示したフローチャートである。
同図に示すように、特徴認識エンジン１３０は、まず、供給された顔領域または特徴領域または素材画像から、エッジマップを生成する（ステップ８１）。供給された画像が顔領域の場合、エッジマップの生成に上記顕著性マップは用いられず、供給された画像が特徴領域の場合、エッジマップの生成に上記顕著性マップが用いられる。また、供給された画像が素材画像全体である場合、当該素材画像が特徴認識処理の最低有効サイズ以上である場合には、エッジマップの生成に顕著性マップが用いられ、最低有効サイズに満たない場合には、エッジマップの生成に顕著性マップは用いられない。以下の説明では、特徴認識プラグインから供給される上記顔領域、特徴領域、または素材画像全体の各画像を総称して「被写体領域」と称する。

具体的には、特徴認識エンジン１３０は、供給された被写体領域を２×２画素のサイズのブロックに分割して、各ブロック内の画素間の画素値の差分の絶対値を算出し、当該各差分の絶対値の平均値を算出する。この平均値は、ブロック内の上下、左右及び斜め方向のエッジ強度の平均値を示す。そして、特徴認識エンジン１３０は、算出した平均値を、被写体領域における対応するブロックと同じ順序に並べることで、スケールＳＣ１のエッジマップを生成する。さらに、特徴認識エンジン１３０は、スケールＳＣ１における上記ブロック内の画素値の平均値を１つの画素値とする平均化画像を基に、スケールＳＣ２のエッジマップを生成する。同様に、特徴認識エンジン１３０は、スケールＳＣ２における平均化画像を２×２画素のサイズのブロックに分割した場合のブロック内の画素の平均値を１つの画素値とする平均化画像を基に、スケールＳＣ３のエッジマップを生成する。このように、異なる大きさのブロック単位で異なるスケールのエッジマップを生成するのは、エッジ強度のばらつきを抑えるためである。

続いて、特徴認識エンジン１３０は、上記各エッジマップを用いて、被写体領域のダイナミックレンジ検出する（ステップ８２）。具体的には、特徴認識エンジン１３０は、上記スケールＳＣ１〜ＳＣ３のエッジマップの中から画素値の最大値と最小値を検出し、その最大値と最小値の差分を、被写体領域のエッジ強度のダイナミックレンジとして検出する。

続いて、特徴認識エンジン１３０は、検出されたダイナミックレンジに応じて、演算パラメータの初期値を設定する（ステップ８３）。ここで、演算パラメータには、エッジポイントであるか否かの判定に用いるエッジ基準値、およびエッジポイント抽出量が適切であるか否かの判定に用いる抽出基準値が含まれる。

すなわち、特徴認識エンジン１３０は、ダイナミックレンジが所定の閾値を越えるか否かに応じて、被写体領域をローダイナミックレンジの画像とハイダイナミックレンジの画像とに分け、それぞれの画像の演算パラメータに初期値を設定する。ローダイナミックレンジの画像用の演算パラメータは、ハイダイナミックレンジの画像用の演算パラメータと比較して小さい値とされる。これは、ローダイナミックレンジの画像は、ハイダイナミックレンジの画像よりもエッジが少なく、抽出されるエッジポイントの量が少ないことから、ローダイナミックレンジの画像からも、ぼけ認識精度を保つのに十分な量のエッジポイントを抽出するためである。

続いて、特徴認識エンジン１３０は、上記生成されたエッジマップを用いてローカルマックスを生成する（ステップ８４）。具体的には、特徴認識エンジン１３０は、上記スケールＳＣ１のエッジマップを２×２画素のブロックに分割する。そして特徴認識エンジン１３０は、エッジマップの各ブロックの最大値を抽出して、その最大値を、対応するブロックと同じ順序に並べることで、スケールＳＣ１のローカルマックスＬＭ１を生成する。すなわち、各ブロック内の画素値の最大値が抽出される。

同様に特徴認識エンジン１３０は、上記スケールＳＣ２のエッジマップを４×４画素のブロックに分割し、各ブロックの最大値を抽出し、その最大値を、対応するブロックと同じ順序に並べることで、スケールＳＣ２のローカルマックスＬＭ２を生成する。同様に特徴認識エンジン１３０は、上記スケールＳＣ３のエッジマップを８×８画素のブロックに分割し、各ブロックの最大値から、スケールＳＣ３のローカルマックスＬＭ３を生成する。

続いて、特徴認識エンジン１３０は、上記生成された各ローカルマックスを用いて、被写体領域からエッジポイントを抽出する。このエッジポイント抽出処理には、上述したように、被写体領域が顔領域か特徴領域かに応じて、顕著性マップが用いられる。また、被写体領域が素材画像全体である場合、特徴認識処理の最低有効サイズ以上であるか否かに応じて顕著性マップが共に用いられる。

具体的には、特徴認識エンジン１３０は、被写体領域内の画素を１つ選択し、注目画素とする。上記顕著性マップが用いられる場合は、被写体領域内における顕著性の高い、画素値が所定値以上である特徴領域から注目画素が選択される。

また、特徴認識エンジン１３０は、選択した注目画素の被写体領域上におけるｘｙ座標系の座標を（ｘ，ｙ）として、次式（１）により、注目画素に対応するローカルマックスＬＭ１の画素の座標（ｘ１，ｙ１）を求める。
（ｘ１，ｙ１）＝（ｘ／４，ｙ／４）・・・（１）
ローカルマックスＬＭ１の１つの画素は、被写体領域の４×４画素のブロックから生成される。よって、被写体領域の注目画素に対応するローカルマックスＬＭ１の画素の座標は、注目画素のｘ座標およびｙ座標をそれぞれ１／４にした値となる。

同様に、特徴認識エンジン１３０は、次式（２）および（３）により、注目画素に対応するローカルマックスＬＭ２の画素の座標（ｘ２，ｙ２）、及び注目画素に対応するローカルマックスＬＭ３の画素の座標（ｘ３，ｙ３）を求める。
（ｘ２，ｙ２）＝（ｘ／１６，ｙ／１６）・・・（２）
（ｘ３，ｙ３）＝（ｘ／６４，ｙ／６４）・・・（３）
さらに、特徴認識エンジン１３０は、上記各座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）の各画素値がエッジ基準値以上である場合、注目画素をローカルマックスＬＭ１、ＬＭ２及びＬＭ３における各エッジポイントとして抽出する（ステップ８５）。そして、特徴認識エンジン１３０は、注目画素の座標（ｘ，ｙ）と、ローカルマックスＬＭ１、ＬＭ２及びＬＭ３の各座標（ｘ１，ｙ１）（ｘ２，ｙ２）、（ｘ３，ｙ３）の画素値とをそれぞれ対応づけて記憶する。特徴認識エンジン１３０は、被写体領域内の全ての画素が注目画素とされるまで、以上の処理を繰り返す。

これにより、ローカルマックスＬＭ１に基づいて、被写体領域内の４×４画素のブロックのうち、エッジ強度がエッジ基準値以上となるブロックに含まれる画素がエッジポイントとして抽出される。

同様に、ローカルマックスＬＭ２に基づいて、被写体領域内の１６×１６画素のブロックのうち、ブロック内のエッジ強度がエッジ基準値以上となるブロックに含まれる画素がエッジポイントとして抽出される。また、ローカルマックスＬＭ３に基づいて、被写体領域内の６４×６４画素のブロックのうち、ブロック内のエッジ強度がエッジ基準値以上となるブロックに含まれる画素がエッジポイントとして抽出される。

したがって、エッジ強度がエッジ基準値以上となる、被写体領域内の４×４画素、１６×１６画素、または６４×６４画素のブロックの少なくとも１つに含まれる画素がエッジポイントとして抽出される。

特徴認識エンジン１３０は、ローカルマックスＬＭ１に基づいて抽出したエッジポイントの座標（ｘ，ｙ）と、そのエッジポイントに対応するローカルマックスＬＭ１の画素値とが対応づけられたテーブルであるエッジポイントテーブルＥＴ１を生成する。

同様に、特徴認識エンジン１３０は、ローカルマックスＬＭ２に基づいて抽出したエッジポイントの座標（ｘ，ｙ）と、そのエッジポイントに対応するローカルマックスＬＭ２の画素値とが対応づけられたエッジポイントテーブルＥＴ２を生成する。また、特徴認識エンジン１３０は、ローカルマックスＬＭ３に基づいて抽出したエッジポイントの座標（ｘ，ｙ）と、そのエッジポイントに対応するローカルマックスＬＭ３の画素値とが対応づけられたエッジポイントテーブルＥＴ３も生成する。

続いて、特徴認識エンジン１３０は、上記生成された各エッジポイントテーブルＥＴ１〜ＥＴ３を用いて、エッジポイント抽出量が適切であるか否かを判定する（ステップ８６）。例えば、抽出されたエッジポイントの合計数、すなわちエッジポイントテーブルＥＴ１乃至エッジポイントテーブルＥＴ３のデータ数の合計が、上記抽出基準値未満である場合、エッジポイント抽出量が適切でないと判定される。

エッジポイント抽出量が適切でないと判定された場合（Ｎｏ）、特徴認識エンジン１３０は、上記演算パラメータを調整する（ステップ８７）。例えば、特徴認識エンジン１３０は、現時点よりも、より多くのエッジポイントが抽出されるように、エッジ基準値を、現時点において設定されている値から所定の値だけ小さくする。演算パラメータが調整されると、その後、処理は、上記ステップ８５に戻り、エッジポイント抽出量が適切であると判定されるまで、上述した処理が繰り返される。

以上の処理により、ぼけ認識精度を向上させるために、ローダイナミックレンジの画像については、ぼけ認識精度を一定のレベル以上とするのに十分な量のエッジポイントを確保できるよう、エッジ強度の弱いブロックからもエッジポイントが抽出される。一方、ハイダイナミックレンジの画像については、より強いエッジを構成するエッジポイントが抽出されるように、極力エッジ強度の強いブロックからエッジポイントが抽出される。

エッジポイント抽出量が適切であると判定された場合（Ｙｅｓ）、特徴認識エンジン１３０は、上記エッジ基準値、エッジポイントテーブル及びローカルマックスを用いて、エッジ分析を行う（ステップ８８）。

具体的には、特徴認識エンジン１３０は、エッジポイントテーブルＥＴ１乃至エッジポイントテーブルＥＴ３に基づいて、被写体領域から抽出されたエッジポイントのうちの１つを注目画素とする。そして、特徴認識エンジン１３０は、注目画素のｘｙ座標系の座標を（ｘ，ｙ）とし、上述した式（１）〜（３）により、注目画素に対応するローカルマックスＬＭ１〜ＬＭ３の画素の座標（ｘ１，ｙ１）〜（ｘ３，ｙ３）を求める。

特徴認識エンジン１３０は、ローカルマックスＬＭ１の座標（ｘ１，ｙ１）の画素を左上隅の画素とするｍ×ｍ画素（例えば、４×４画素）のローカルマックスＬＭ１上のブロック内の画素の画素値の最大値をLocal Max1(x1,y1)に設定する。同様に、特徴認識エンジン１３０は、ローカルマックスＬＭ２の座標（ｘ２，ｙ２）の画素を左上隅の画素とするｎ×ｎ画素（例えば、２×２画素）のブロック内の画素値の最大値をLocal Max2(x2,y2)に設定する。また特徴認識エンジン１３０は、ローカルマックスＬＭ３の座標（ｘ３，ｙ３）の画素値をLocal Max3(x3,y3)に設定する。

ここで、Local Max1(x1,y1)の設定に用いるｍ×ｍ、及びLocal Max2(x2,y2)の設定に用いるｎ×ｎのパラメータは、ローカルマックスＬＭ１〜ＬＭ３の１画素に対応する、被写体領域のブロックの大きさの差を調整するためのパラメータである。

特徴認識エンジン１３０は、Local Max1(x1,y1)、Local Max2(x2,y2)及びLocal Max3(x3,y3)が以下の条件式（４）を満足するか否かを判定する。
Local Max1(x1,y1) ＞ エッジ基準値 or
Local Max2(x2,y2) ＞ エッジ基準値 or
Local Max3(x3,y3) ＞ エッジ基準値 ・・・（４）
Local Max1(x1,y1)、Local Max2(x2,y2)及びLocal Max3(x3,y3)が条件式（４）を満足する場合、特徴認識エンジン１３０は、変数Nedgeの値を１つインクリメントする。
条件式（４）を満足するエッジポイントは、その構造に関わらず、一定以上の強度を有するエッジを構成するエッジポイントであると推定される。

図８は、エッジの種類について説明するための図である。同図（Ａ）に示すエッジは、急峻なインパルス状のエッジであり、同図（Ｂ）に示すエッジは、同図（Ａ）のエッジよりは傾きが緩やかなパルス状のエッジである。同図（Ｃ）に示すエッジは、傾きがほぼ垂直な階段状のエッジであり同図（Ｄ）に示すエッジは、同図（Ｃ）のエッジよりは傾きが緩やかな、階段状のエッジである。

特徴認識エンジン１３０は、Local Max1(x1,y1)、Local Max2(x2,y2)およびLocal Max3(x3,y3)が条件式（４）を満足する場合、さらに、以下の条件式（５）または条件式（６）を満足するか否かを判定する。
Local Max1(x1,y1) ＜ Local Max2(x2,y2) ＜ Local Max3(x3,y3)・・・（５）
Local Max2(x2,y2) ＞ Local Max1(x1,y1) and
Local Max2(x2,y2) ＞ Local Max3(x3,y3) ・・・（６）
Local Max1(x1,y1)、Local Max2(x2,y2)およびLocal Max3(x3,y3)が条件式（５）または条件式（６）を満足する場合、特徴認識エンジン１３０は、変数Nsmallblurの値を１つインクリメントする。
条件式（４）を満足し、かつ条件式（５）または条件式（６）を満足するエッジポイントは、一定以上の強度を有するが、図８（Ａ）または（Ｃ）のエッジと比較して強度の弱い、図８（Ｂ）または（Ｄ）の構造を有するエッジを構成するエッジポイントであると推定される。

さらに、特徴認識エンジン１３０は、Local Max1(x1,y1)、Local Max2(x2,y2)及びLocal
Max3(x3,y3)が条件式（４）を満足し、かつ条件式（５）または条件式（６）を満足する場合、Local Max1(x1,y1)が、以下の条件式（７）を満足するか否かを判定する。
Local Max1(x1,y1) ＜ エッジ基準値 ・・・（７）
Local Max1(x1,y1)が条件式（５）を満足する場合、特徴認識エンジン１３０は、変数Nlargeblurの値を１つインクリメントする。

条件式（４）を満足し、かつ条件式（５）または条件式（６）を満足し、かつ条件式（７）を満足するエッジポイントは、一定以上の強度の図８（Ｂ）または（Ｄ）の構造を有するエッジのうち、ぼけが発生し、鮮明さを失ったエッジを構成するエッジポイントであると推定される。換言すれば、そのエッジポイントにおいてぼけが発生していると推定される。

特徴認識エンジン１３０は、被写体領域から抽出された全てのエッジポイントが注目画素とされるまで、以上の処理を繰り返す。これにより、抽出されたエッジポイントのうち、エッジポイントの数Nedge、エッジポイントの数Nsmallblur、およびエッジポイントの数Nlargeblurが求められる。

ここで、数Nedgeは、条件式（５）を満足するエッジポイントの数であり、数Nsmallb
lurは、条件式（４）を満足し、かつ、条件式（５）または条件式（６）を満足するエッジポイントの数である。また、数Nlargeblurは、条件式（４）を満足し、かつ、条件式（５）または条件式（６）を満足し、かつ、条件式（７）を満足するエッジポイントの数である。

続いて、特徴認識エンジン１３０は、算出された数Nsmallblurおよび数Nlargeblurを用いて、次式（８）を計算し、被写体領域のぼけ具合の指標となる、上記領域ぼけ指数を算出する（ステップ８９）。
領域ぼけ指数 ＝ Nlargeblur／Nsmallblur・・・（８）
すなわち、領域ぼけ指数は、一定以上の強度の図８（Ｂ）または（Ｄ）の構造を有するエッジを構成すると推定されるエッジポイントのうち、ぼけが発生しているエッジを構成すると推定されるエッジポイントが占める比率である。したがって、領域ぼけ指数が大きいほど、被写体領域のぼけ具合は大きく、領域ぼけ指数が小さいほど、被写体領域のぼけ具合は小さいと推定される。この領域ぼけ指数は、例えば０〜１０００の範囲の値として算出される。

特徴認識エンジン１３０は、算出された上記領域ぼけ指数を上記特徴認識プラグインへ出力して、ぼけ認識処理を終了する。

（メタデータ解析部の画像ぼけ指数算出処理）
次に、メタデータ解析部２１の特徴認識プラグインは、上記特徴認識エンジン１３０から取得した各被写体領域についての領域ぼけ指数を基に、画像全体としての画像ぼけ指数を算出する（図３のステップ３８）。図９は、上記画像ぼけ指数の算出処理の詳細な流れを示したフローチャートである。
同図に示すように、特徴認識プラグインは、上記特徴認識エンジン１３０から、１つの素材画像中の被写体領域についての領域ぼけ指数を取得すると（ステップ９１）、有効なぼけ認識結果を取得できたか否かを判断する（ステップ９２）。

有効なぼけ認識結果を取得できなかった場合（Ｎｏ）、特徴認識プラグインは、画像ぼけ指数を無効値「−１」に設定する（ステップ９７）。ここで有効なぼけ認識結果を取得できなかった場合とは、特徴認識エンジン１３０から取得した領域ぼけ指数が異常値である場合や、図６のステップ６４のＮｏの場合で示したように、そもそも矩形領域を特徴認識エンジン１３０に供給しなかった場合である。この画像ぼけ指数は、上記メタデータ蓄積部２２へ登録される。

有効なぼけ認識結果を取得できた場合（Ｎｏ）、特徴認識プラグインは、１つの素材画像について、複数の被写体領域から有効なぼけ認識結果を取得できたか否かを判断する（ステップ９２）。

１つの素材画像について１つの被写体領域のみから有効なぼけ認識結果を取得できた場合（Ｎｏ）、特徴認識プラグインは、上記取得した領域ぼけ指数を画像ぼけ指数として設定する（ステップ９８）。ここで、特徴認識エンジン１３０により算出された領域ぼけ指数は０〜１０００の範囲の値であるのに対して、画像ぼけ指数は０〜１００の範囲の値として算出されるため、特徴認識プラグインは、領域ぼけ指数を１０で割った値を画像ぼけ指数とする。この画像ぼけ指数も、上記メタデータ蓄積部２２へ登録される。

１つの素材画像について複数の被写体領域から有効なぼけ認識結果を取得できた場合（Ｙｅｓ）、特徴認識プラグインは、それら各被写体領域からのぼけ認識結果が、顔領域から取得されたものか、それとも特徴領域から取得されたものかを判断する（ステップ９４）。

ぼけ認識結果が複数の顔領域から取得されたものである場合（Ｙｅｓ）、特徴認識プラグインは、当該各顔領域の面積に比例して、各顔領域の領域ぼけ指数を重み付け平均する。これにより、その領域ぼけ指数の算出元である１つの素材画像に対して１つの画像ぼけ指数が算出される（ステップ９５）。

ぼけ認識結果が複数の特徴領域から取得されたものである場合（Ｎｏ）、特徴認識プラグインは、当該各特徴領域の面積と、当該各特徴領域の特徴認識スコアとに比例して、各特徴領域の領域ぼけ指数を重み付け平均する。これにより、その特徴認識スコアの算出元である１つ素材画像に対して１つの画像ぼけ指数が算出される（ステップ９６）。

図１０は、上記ステップ９５及び９６において算出される画像ぼけ指数の算出式を示した図である。
同図に示すように、画像ぼけ指数は、１つの素材画像における各被写体領域ｎの領域ぼけ指数（Ｂｎ）を、被写体領域ｎの面積（Ｓｎ）及び当該被写体領域ｎの認識スコア（Ｄｎ）を重みとして重み付け加算した値を、その重みの和で除して算出される。被写体領域が特徴領域である場合、Ｄｎはその特徴領域の領域ぼけ指数であるが、被写体領域が顔領域である場合、Ｄｎは１に固定される。すなわち、被写体領域が顔領域である場合には、顔認識スコアに比例した重み付けは行われない。ここでｎは、１つの素材画像から認識される複数の被写体領域を識別する値である。なお、この算出式において、分母に１０が乗じられるのは、上述したように、０〜１０００の値の範囲で表される領域ぼけ指数から算出される画像ぼけ指数を、０〜１００の値の範囲で表現するためである。

各被写体領域の面積に比例した重み付けが行われるのは、各被写体領域の面積が大きいほど、閲覧者に注視される確率が高いと考えられるためである。また顔領域については顔認識スコアに比例した重み付けが行われないのは、一般的に、閲覧者は、被写体が顔であることを認識すれば、その顔の領域を、その認識スコア（特徴量）に関わらず、無条件で注視する可能性が高いと考えられるためである。一方、特徴領域については、特徴認識プラグインは、その領域の被写体が何であり、注視されやすいものであるかを認識することができないため、画像ぼけ指数の算出にあたって特徴認識スコアに比例した重み付けが行われる。

上記画像ぼけ指数の算出処理は、素材画像がＰＣ１００の記憶部８に取り込まれた時点で開始される。算出された画像ぼけ指数は、素材画像と関連付けられてメタデータ蓄積部２２に登録される。後述のぼけ画像選別処理においては、この既に算出されている画像ぼけ指数を基にぼけ画像の選別が実行されている。

（ぼけ画像の選別処理）
次に、以上のように算出された画像ぼけ指数を基にした、ぼけ画像の選別処理について説明する。
図１１は、ぼけ画像選別部２３及び画像表示部２４の処理の流れを示したフローチャートである。
同図に示すように、画像表示部２４は、ムービー作成アプリケーション２０によるムービー作成工程の冒頭で、ユーザにムービーの素材を選択させるための素材選択画面を表示させる（ステップ１０１）。

図１２は、当該素材選択画面を示した図である。同図に示すように、素材選択画面１１０は、記憶部８に記憶された、ムービーの素材となり得る複数の静止画像のうち、ぼけ画像のみを選別して表示するためのぼけ画像選別ボタン１１１を有している。また素材選択画面１１０は、その他にも、人画像選択ボタン１１２、笑顔画像選別ボタン１１３、音画像選別ボタン１１４、声画像選別ボタン１１５、動画像選別ボタン１１６、静止画像選別ボタン１１７を有する。人画像選択ボタン１１２は、人が映っている静止画像のみをその人の人数に応じて選別して表示するためのボタンである。笑顔画像選別ボタン１１３は、人の笑顔が映っている静止画像のみを選別して表示するためのボタンである。音画像選別ボタン１１４は、人の声以外の物音を含む動画像のみを選別して表示するためのボタンである。声画像選別ボタン１１５は、人の声を含む動画像のみを選別して表示するためのボタンである。動画像選別ボタン１１６及び静止画像選別ボタン１１７は、複数の素材（動画像及び静止画像）のうち、それぞれ動画像のみ及び静止画像のみを選別して表示するためのボタンである。同図（Ａ）では、静止画像選別ボタン１１７により、静止画像１１８のみの一覧が表示されている場合を示している。表示されている複数の静止画像１１８のうち、静止画像１１８ａ及び１１８ｂがぼけ画像である。

図１１に戻り、ぼけ画像選別部２３は、上記ぼけ画像選別ボタン１１１がユーザにより押下されたか否かを判断する（ステップ１０２）。ぼけ画像選別ボタンが押下されたと判断した場合（Ｙｅｓ）、ぼけ画像選別部２３は、各静止画像の上記画像ぼけ指数をメタデータ蓄積部２２から取得する（ステップ１０３）。

続いて、ぼけ画像選別部２３は、取得した画像ぼけ指数が、所定の閾値以上であるか否かを、複数の静止画像について順に判断する（ステップ１０４）。この所定の閾値は例えば６０であるが、これに限られない。

ある静止画像の画像ぼけ指数が閾値に満たない場合（Ｎｏ）、ぼけ画像選別部２３は次の静止画像についての判断を実行する。
ある静止画像の画像ぼけ指数が閾値以上である場合（Ｙｅｓ）、ぼけ画像選別部２３は、その静止画像をぼけ画像として選別し、画像表示部２４に、その選別されたぼけ画像のみを表示するように指示する（ステップ１０５）。

そして、画像表示部２４は、上記ぼけ画像選別部２３からの指示に従って、それまで表示されていた複数の静止画像のうち、ぼけ画像のみを表示するように表示を切り替える（ステップ１０６）。

図１２（Ｂ）は、ぼけ画像選別ボタン１１１の押下により、ぼけ画像のみが選別されて表示された状態を示している。同図（Ｂ）に示すように、同図（Ａ）で表示されていた静止画像１１８のうち、ぼけ画像１１８ａ及び１１８ｂのみが選別されて表示されている。

ユーザは、この選別されて表示されたぼけ画像１１８ａ及び１１８ｂを削除したり、他の静止画像とは別の記憶領域に記憶したりして、ムービーの素材から除外することができる。すなわち、ユーザは、素材選択画面１１０上で、上記ぼけ画像選別ボタン１１１を押下するだけで、不要なぼけ画像を瞬時に把握することができる。

［まとめ］
以上説明したように、本実施形態では、ＰＣ１００は、１つの素材画像内の１つまたは複数の被写体領域（顔領域または特徴領域）の領域ぼけ指数を基に、１つの素材画像について１つの画像ぼけ指数を算出することができる。１つの素材画像内の複数の被写体領域から有効な領域ぼけ指数が算出された場合には、各被写体領域の面積（及び認識スコア）に比例して、各領域ぼけ指数が重み付け平均されて画像ぼけ指数が算出される。そして、上記素材選択画面１１０上でぼけ画像選別ボタン１１１が押下された場合には、画像ぼけ指数を基にぼけ画像のみが選別され表示される。したがって、ＰＣ１００は、素材画像中の、より注視されやすい被写体領域を判別した上で、当該注視されやすい被写体領域がぼけている程、画像全体としてのぼけ指数が高くなるように処理することで、ぼけ画像をより正確に選別することができる。

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。

上述の実施形態においては、素材選択画面１１０上でぼけ画像選別ボタン１１１が押下されることでぼけ画像が選別され表示された場合に、ユーザによって適宜削除等の処理がなされた。しかし、ムービー作成アプリケーション２０は、素材画像がＰＣ１００に取り込まれた時点で、上記画像ぼけ指数の算出処理及び上記ぼけ画像の選別処理を実行し、ぼけ画像を自動的に削除してもよい。またこの際、ムービー作成アプリケーション２０は、例えば、「取り込まれた画像にぼけ画像が含まれています。ぼけ画像を削除しますか？」といった確認メッセージをユーザに向けて表示し、ユーザの指示に応じてぼけ画像を削除してもよい。また、ムービー作成アプリケーション２０は、素材画像が取り込まれるときに、ぼけ画像の選別処理を実行し、ぼけ画像についてはＰＣ１００への取り込み自体を中止してもよい。この場合も、ぼけ画像についての取り込みの中止をユーザに確認するためのメッセージが表示されてもよい。さらに、ムービー作成アプリケーション２０は、素材画像が取り込まれた時点ではなく、例えば１日に１回、１週間に１回等、定期的にぼけ画像の選別処理を実行し、自動的に、またはユーザの指示に応じてぼけ画像を削除してもよい。

上述の実施形態において、特徴認識エンジン１３０は、顕著性マップを生成することで画像から特徴領域を抽出した。しかし、特徴領域の抽出は、顕著性マップを用いる場合に限られない。例えば、画像中における、いわゆる黄金線上に存在する物体が被写体として検出されてもよい。

上述の実施形態において、特徴認識エンジン１３０は、輝度マップ、色マップ及びエッジマップを基に顕著性マップを生成した。しかし、顕著性マップは、例えばさらに、連続した画像の動きベクトルに関する特徴から生成される動きベクトルマップ等、他の特徴に関するマップを用いて生成されてもよい。

上述の実施形態では、ムービー作成アプリケーション２０は、複数の静止画像についてぼけ画像の選別を実行した。しかし、ムービー作成アプリケーション２０は、複数の動画像からも同様にぼけ映像を選別することもできる。この場合、ムービー作成アプリケーション２０は、複数の動画像を構成する各フレームを上記静止画像として処理することで、ぼけ画像を含む映像をぼけ映像として選別できる。この場合、全フレームのうち所定フレーム割合以上のぼけ画像が含まれる動画像がぼけ映像として選別されてもよい。

上述の実施形態では、ムービー作成アプリケーションの一機能としてぼけ画像選別機能を説明した。しかし、ムービー作成アプリケーション以外のアプリケーションが上述のぼけ画像選別機能を有してもよいし、ぼけ画像選別機能のみを有する汎用的なアプリケーションが独立して存在していてもよい。この場合、上記顔認識エンジン１２０及び特徴認識エンジン１３０は、ぼけ画像選別機能を有するアプリケーションとは別個の外部エンジンとして存在してもよいし、内部エンジンとして存在してもよい。

上述の実施形態においては、ＰＣ１００のローカルの記憶部８に記憶された静止画像についてぼけ画像の選別が実行された。しかし、ＰＣ１００は、通信部９を介して接続されたネットワーク上の記憶部に記憶された静止画像についてのぼけ画像の選別処理を実行してもよい。

上述の実施形態においては、ぼけ画像選別処理における各処理は、ソフトウェアにより実行した。しかし、上記顔認識処理、特徴認識処理、ぼけ認識処理、ぼけ選別処理等の各処理は、それらの処理を担う回路基板等の各種ハードウェアにより実行されてもよい。

上述の実施形態においては、電子機器としてＰＣを例に挙げた。しかし本発明は、テレビジョン装置、ＨＤＤ（Hard Disk Drive）／ＤＶＤ／ＢＤ（Blu-ray Disc）等の記録媒体を用いた記録再生装置、デジタルスチルカメラ、デジタルビデオカメラ、携帯型ＡＶ機器、携帯電話機、ゲーム機器等の他の電子機器にも同様に適用できる。

本発明の一実施形態に係るＰＣのハードウェア構成を示した図である。 本発明の一実施形態に係るＰＣの画像選別機能を説明するための図である。 本実施形態に係るＰＣのメタデータ解析部の大まかな動作の流れを示したフローチャートである。 本発明の一実施形態における特徴認識処理の流れを示したフローチャートである。 本発明の一実施形態における特徴認識エンジンによる特徴認識処理の詳細な流れを示したフローチャートである。 本発明の一実施形態におけるぼけ認識処理の流れを示したフローチャートである。 本発明の一実施形態における特徴認識エンジンによるぼけ認識処理の詳細な流れを示したフローチャートである。 本発明の一実施形態において検出されるエッジの種類について説明するための図である。 本発明の一実施形態における画像ぼけ指数の算出処理の流れを示したフローチャートである。 本発明の一実施形態において算出される画像ぼけ指数の算出式を示した図である。 本発明の一実施形態におけるぼけ画像選別部及び画像表示部の処理の流れを示したフローチャートである。 本発明の一実施形態における素材選択画面を示した図である。

符号の説明

１…ＣＰＵ
５…入出力インタフェース
８…記憶部
２０…ムービー作成アプリケーション
２１…メタデータ解析部
２２…メタデータ蓄積部
２３…画像選別部
２４…画像表示部
１００…ＰＣ
１１０…素材選択画面
１１１…画像選別ボタン
１１８…静止画像
１１８…静止画像
１１８ａ、１１８ｂ…ぼけ画像
１２０…顔認識エンジン
１３０…特徴認識エンジン

Claims (10)

1. 画像中の所定の特徴を有する被写体領域を当該画像から抽出する抽出手段と、
   前記抽出された被写体領域のぼけ度を示す第１のぼけ度を算出する第１の算出手段と、
   前記画像中の１つの前記被写体領域のみから前記第１のぼけ度が算出された場合に、当該第１のぼけ度を基に前記画像の全体についてのぼけ度を示す第２のぼけ度を算出し、前記画像中の複数の前記被写体領域から前記第１のぼけ度が算出された場合に、当該第１のぼけ度を前記複数の被写体領域の面積に応じて重み付け平均した値を基に前記第２のぼけ度を算出する第２の算出手段と、
   複数の前記画像から、所定の閾値以上の前記算出された第２のぼけ度を有する画像をぼけ画像として選別する選別手段と
   を具備する電子機器。
2. 請求項１に記載の電子機器であって、
   前記抽出された領域を、前記第１のぼけ度の算出に適した所定のサイズとなるように最適化する最適化手段をさらに具備する
   電子機器。
3. 請求項２に記載の電子機器であって、
   前記抽出手段は、前記被写体領域の抽出の確からしさを示すスコアを算出し、
   前記第２の算出手段は、前記画像中の複数の前記被写体領域から前記第１のぼけ度が算出された場合に、当該第１のぼけ度を、前記複数の被写体領域の面積と、前記算出されたスコアとに応じて重み付け平均した値を基に前記第２のぼけ度を算出する
   電子機器。
4. 請求項３に記載の電子機器であって、
   前記抽出手段は、
   前記被写体領域として人の顔の領域を認識し、当該認識された顔の領域の前記スコアを示す第１のスコアを算出する顔認識手段と、
   前記被写体領域として視覚的な顕著性の高い特徴領域を認識し、当該認識された特徴領域の前記スコアを示す第２のスコアを算出する特徴認識手段と
   を有し、
   前記第２の算出手段は、前記画像中の複数の前記被写体領域から前記第１のぼけ度が算出された場合において、前記被写体領域として前記顔認識手段により前記顔の領域が認識された場合は、前記重み付け平均に前記第１のスコアを用いずに前記第２のぼけ度を算出し、前記被写体領域として前記特徴認識手段により前記特徴領域が認識された場合は、前記重み付け平均に前記第２のスコアを用いて前記第２のぼけ度を算出する
   電子機器。
5. 請求項２に記載の電子機器であって、
   前記第１の算出手段は、前記被写体領域が抽出されない場合には、前記画像全体を前記被写体領域として前記第１のぼけ度を算出する
   電子機器。
6. 請求項２に記載の電子機器であって、
   ユーザの操作を受け付ける操作受付手段をさらに具備し、
   前記選別手段は、前記ユーザの所定の操作に応じて前記ぼけ画像を選別し、
   当該電子機器は、
   前記複数の画像を表示し、前記所定の操作が受け付けられたときに、前記表示された複数の画像のうち前記選別されたぼけ画像のみを表示する表示手段をさらに具備する
   電子機器。
7. 画像中の所定の特徴を有する被写体領域を当該画像から抽出し、
   前記抽出された被写体領域のぼけ度を示す第１のぼけ度を算出し、
   前記画像中の１つの前記被写体領域のみから前記第１のぼけ度が算出された場合に、当該第１のぼけ度を基に前記画像の全体についてのぼけ度を示す第２のぼけ度を算出し、前記画像中の複数の前記被写体領域から前記第１のぼけ度が算出された場合に、当該第１のぼけ度を前記複数の被写体領域の面積に応じて重み付け平均した値を基に前記第２のぼけ度を算出し、
   複数の前記画像から、所定の閾値以上の前記算出された第２のぼけ度を有する画像をぼけ画像として選別する
   ぼけ画像選別方法。
8. 画像中から抽出された、所定の特徴を有する被写体領域を、所定のサイズとなるように最適化し、
   前記最適化された被写体領域から算出された、被写体領域のぼけ度を示す第１のぼけ度を取得し、
   前記画像中の１つの前記被写体領域のみから前記第１のぼけ度が算出された場合に、当該第１のぼけ度を基に前記画像の全体についてのぼけ度を示す第２のぼけ度を算出し、前記画像中の複数の前記被写体領域から前記第１のぼけ度が算出された場合に、当該第１のぼけ度を前記複数の被写体領域の面積に応じて重み付け平均した値を基に前記第２のぼけ度を算出し、
   複数の前記画像から、所定の閾値以上の前記算出された第２のぼけ度を有する画像をぼけ画像として選別する
   ぼけ画像選別方法。
9. 電子機器に、
   画像中の所定の特徴を有する被写体領域を当該画像から抽出するステップと、
   前記抽出された被写体領域のぼけ度を示す第１のぼけ度を算出するステップと、
   前記画像中の１つの前記被写体領域のみから前記第１のぼけ度が算出された場合に、当該第１のぼけ度を基に前記画像の全体についてのぼけ度を示す第２のぼけ度を算出し、前記画像中の複数の前記被写体領域から前記第１のぼけ度が算出された場合に、当該第１のぼけ度を前記複数の被写体領域の面積に応じて重み付け平均した値を基に前記第２のぼけ度を算出するステップと、
   複数の前記画像から、所定の閾値以上の前記算出された第２のぼけ度を有する画像をぼけ画像として選別するステップと
   を実行させるためのプログラム。
10. 電子機器に、
    画像中から抽出された、所定の特徴を有する被写体領域を、所定のサイズとなるように最適化するステップと、
    前記最適化された被写体領域から算出された、被写体領域のぼけ度を示す第１のぼけ度を取得するステップと、
    前記画像中の１つの前記被写体領域のみから前記第１のぼけ度が算出された場合に、当該第１のぼけ度を基に前記画像の全体についてのぼけ度を示す第２のぼけ度を算出し、前記画像中の複数の前記被写体領域から前記第１のぼけ度が算出された場合に、当該第１のぼけ度を前記複数の被写体領域の面積に応じて重み付け平均した値を基に前記第２のぼけ度を算出するステップと
    複数の前記画像から、所定の閾値以上の前記算出された第２のぼけ度を有する画像をぼけ画像として選別するステップと
    を実行させるためのプログラム。

Images