JP2013054430A - 画像評価装置、撮像装置およびプログラム - Google Patents

Abstract

【課題】 簡易な操作で画像の評価にユーザの嗜好を反映させる。
【解決手段】 画像評価装置の画像評価部は、各々の候補画像から特徴量を抽出するとともに、特徴量を変数とする評価式を用いて複数の候補画像のうちから代表画像を選出する。表示処理部は、代表画像および複数の候補画像を表示装置に表示させる。入力部は、候補画像のうちから最適画像の指定を受け付ける。学習処理部は、代表画像の選出後に最適画像の指定があったときに、最適画像が代表画像として選出されるように評価式を調整する。
【選択図】 図１

Description

本発明は、画像評価装置、撮像装置およびプログラムに関する。

従来から、評価対象となる画像の特徴の解析結果を用いて、撮影のやり直しや良好な画像の抽出を行う装置が提案されている。

特開２００７−４８１０８号公報

上記のような画像の抽出処理では、必ずしもユーザの嗜好に合致した画像が抽出されるとは限らない。そのため、より簡易な操作で画像の評価にユーザの嗜好を反映させる手段が要望されている。

本発明の一態様である画像評価装置は、撮像された複数の候補画像を取得する取得部と、画像評価部と、表示処理部と、入力部と、学習処理部とを備える。画像評価部は、各々の候補画像から特徴量を抽出するとともに、特徴量を変数とする評価式を用いて複数の候補画像のうちから代表画像を選出する。表示処理部は、代表画像および複数の候補画像を表示装置に表示させる。入力部は、候補画像のうちから最適画像の指定を受け付ける。学習処理部は、代表画像の選出後に最適画像の指定があったときに、最適画像が代表画像として選出されるように評価式を調整する。

上記の一態様において、画像評価部は、第１評価式を用いて複数の初期候補画像のうちから複数の中間候補画像を選出してもよい。また、画像評価部は、第１評価式と異なる第２評価式を用いて複数の中間候補画像のうちから代表画像を選出してもよい。表示処理部は、複数の中間候補画像および複数の初期候補画像を表示装置に表示させてもよい。そして、学習処理部は、初期候補画像が最適画像として指定されたときに、第１評価式および第２評価式を調整してもよい。

上記の一態様において、評価式は、複数種類の特徴量を重み付け加算する式であってもよい。また、学習処理部は、評価式での重みを変化させてもよい。このとき、学習処理部は、画像評価部によって選出された代表画像の特徴量に対する最適画像の特徴量の比が最も大きくなる特徴量を指定し、指定された特徴量の重みを変化させてもよい。

上記の一態様において、画像評価部は、調整された評価式で複数の候補画像から代表画像を再び選出してもよい。そして、表示処理部は、再選出された代表画像を表示装置に表示させてもよい。

上記の一態様において、画像評価部は、候補画像の人物の有無または複数の候補画像における動きの有無に応じて、異なる評価式を用いて代表画像を選出してもよい。

本発明の他の態様である画像評価装置は、撮像された複数の候補画像を取得する取得部と、画像評価部と、表示処理部と、入力部と、学習処理部とを備える。画像評価部は、各々の候補画像から特徴量を抽出するとともに、特徴量に基づく評価値を用いて複数の候補画像のうちから代表画像を選出する。表示処理部は、代表画像および複数の候補画像を表示装置に表示させる。入力部は、候補画像のうちから最適画像の指定を受け付ける。学習処理部は、代表画像の選出後に最適画像の指定があったときに、最適画像が代表画像として選出されるように評価値を調整する。

なお、上記の各態様の画像評価装置を含む撮像装置や、コンピュータを上記の各態様の画像評価装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の画像評価装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。

簡易な操作で画像の評価にユーザの嗜好を反映させることができる。

第１実施形態の電子カメラの構成例を示す図 第１実施形態での電子カメラの動作例を示す流れ図 撮影シーンと、第１評価式および第２評価式の特徴量との対応関係の一例を示す表 一覧表示画面の一例を示す図 一覧表示画面の他の例を示す図 初期候補画像の第１評価式による演算結果の例を示す表 第２実施形態の画像処理装置の構成例を示す図

＜第１実施形態の説明＞
図１は、画像評価装置および撮像装置の一例である第１実施形態の電子カメラの構成例を示す図である。第１実施形態の電子カメラは、連写撮影等で時系列に撮像した複数の候補画像のうちからベストショットの画像（代表画像）を自動的に選出する機能（ベストショット選出機能）を有している。上記のベストショット選出機能では、選出された代表画像がユーザの嗜好と異なるときに、ユーザが候補画像のうちから最適画像を指定することで、ユーザの嗜好を電子カメラに学習させることができる。

電子カメラ１１は、撮影レンズ１２と、撮像部１３と、カメラマイコン１４と、第１メモリ１５と、第２メモリ１６と、記録Ｉ／Ｆ１７と、表示部１８と、操作部１９とを備えている。撮像部１３、第１メモリ１５、第２メモリ１６、記録Ｉ／Ｆ１７、表示部１８、操作部１９は、それぞれカメラマイコン１４と接続されている。

撮像部１３は、撮影レンズ１２によって結像された被写体の像を撮像（撮影）するモジュールである。例えば、撮像部１３は、光電変換を行う撮像素子と、アナログ信号処理を行うアナログフロントエンド回路と、Ａ／Ｄ変換およびデジタル信号処理を行うデジタルフロントエンド回路とを含んでいる。なお、撮像部１３で撮影された画像のデータは、カメラマイコン１４に入力される。これにより、第１実施形態のカメラマイコン１４は、候補画像を取得することができる。

また、電子カメラ１１の撮影モードにおいて、撮像部１３は、ユーザの撮影指示に応じて、不揮発性の記録媒体への記録を伴う記録用の静止画像を撮影する。また、撮像部１３は、静止画像の撮影待機時にも所定間隔ごとに観測用の画像（スルー画像）を撮影する。

カメラマイコン１４は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、カメラマイコン１４は、撮影モードにおいて、スルー画像を用いたＡＦ制御およびＡＥ演算などを行う。また、カメラマイコン１４は、ユーザの撮影指示に応じて、撮像部１３に記録用の静止画像を撮影させる。さらに、カメラマイコン１４は、プログラムの実行により、画像処理部２１、画像評価部２２、表示処理部２３、学習処理部２４として機能する。

画像処理部２１は、撮像部１３から入力された画像のデータに対して、色補間、ホワイトバランス補正、階調変換、色変換、輪郭強調などの処理を施す。

画像評価部２２は、上記のベストショット選出機能がオンのときに、画像解析によって各候補画像の特徴量を抽出する。そして、画像評価部２２は、特徴量を変数とする評価式を用いて、複数の候補画像のうちから代表画像を選出する。

ここで、第１実施形態の画像評価部２２は、ベストショット選出機能で代表画像を選出するときに、第１評価式を用いてｐ枚の初期候補画像のうちからｑ枚の中間候補画像（ｐ、ｑは０以外の自然数であり、ｐ＞ｑ）を選出し、候補画像の絞り込みを行う。そして、画像評価部２２は、第１評価式と異なる第２評価式を用いてｑ枚の中間候補画像のうちから代表画像を選出する。これにより、第２評価式による演算対象は、第１評価式のときよりも少なくなるので、演算処理の負荷を軽減させることができる。

また、第１実施形態の画像評価部２２は、初期候補画像を解析結果から撮影シーンを推定するとともに、ベストショット選出に用いる第１評価式および第２評価式の組み合わせを撮影シーンに応じて切り替える。これにより、撮影シーンに応じて適切な代表画像を選出することができる。

表示処理部２３は、表示部１８に画像を表示させる制御を実行する。なお、表示処理部２３は、表示対象の画像の解像度（画像サイズ）を変換する処理を必要に応じて実行する。

学習処理部２４は、上記のベストショット選出機能がオンのときに、ユーザの指定した最適画像が代表画像として選出されるように評価式のパラメータを調整する。

第１メモリ１５は、画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭで構成される。また、第２メモリ１６は、カメラマイコン１４の実行するプログラムや、ベストショット選出機能等で使用される各種データを記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリで構成される。

記録Ｉ／Ｆ１７は、不揮発性の記憶媒体２５を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体２５に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２５は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１では記憶媒体２５の一例としてメモリカードを図示する。

表示部１８は、各種画像を表示する表示装置（液晶モニタや有機ＥＬモニタなど）である。例えば、表示部１８は、表示処理部２３の制御により、スルー画像の動画表示（ビューファインダ表示）や、撮影指示に応じて撮影された静止画像の再生表示を行う。また、表示部１８は、ベストショット選出機能がオンのときに、複数の候補画像と代表画像とを一覧表示する。

操作部１９は、ユーザの各種操作を受け付ける複数のスイッチを有している。例えば、操作部１９は、撮影モードでの撮影指示をユーザから受け付ける。また、操作部１９は、ベストショット選出機能がオンのときに、ユーザによる最適画像の指定を受け付ける入力部としても機能する。なお、操作部１９は、十字キーやボタンで構成されていてもよく、あるいは表示部１８に積層配置されたタッチパネルであってもよい。

次に、図２の流れ図を参照しつつ、第１実施形態での電子カメラ１１の動作例を説明する。図２の処理は、撮影モード下でユーザの撮影指示があったときに開始される。なお、以下の動作例では、ベストショット選出機能がオンであることを前提として説明を行う。

（ステップ＃１０１）
カメラマイコン１４は、ユーザの撮影指示に応じて、記録用の静止画像の連写撮影を撮像部１３に実行させる。連写撮影で時系列に撮像されたｐ枚の画像のデータは、信号処理部および画像処理部２１での処理後にそれぞれ第１メモリ１５に記録される。なお、第１実施形態では、＃１０１の連写撮影で取得されたすべての静止画像（ｐ枚）がそれぞれ初期候補画像として取得される。

（ステップ＃１０２）
画像評価部２２は、初期候補画像（＃１０１）を解析して撮影シーンを推定する。例えば、画像評価部２２は、「［ＣａｓｅＡ］人物撮影、［ＣａｓｅＢ］動体撮影（視点・画角移動の場合を含む）、［ＣａｓｅＣ］静止撮影」のいずれの撮影シーンであるかを推定するために、下記の（処理＃Ａ１）、（処理＃Ａ２）の処理を行う。

（処理＃Ａ１）：第１に、画像評価部２２は、ｐ枚の初期候補画像に対してそれぞれ顔検出処理を施すとともに、初期候補画像のうちで一定以上の大きさの顔領域を含む人物撮影画像の枚数をカウントする。そして、画像評価部２２は、人物撮影画像の枚数と、シーン推定用の閾値ｔｈ＿ｐｆとを比較する。

人物撮影画像の数が閾値ｔｈ＿ｐｆ以上の場合（人物撮影画像が多い場合）、画像評価部２２は、第２メモリ１６に用意されたフラグ「Ｃａｓｅ＿ＰＦ」の値を「１」にする。一方、人物撮影画像の数が閾値ｔｈ＿ｐｆ未満の場合、画像評価部２２は、フラグ「Ｃａｓｅ＿ＰＦ」の値を「０」にする（なお、初期候補画像の枚数が変化する場合、画像評価部２２は、初期候補画像に対する人物撮影画像の比率によって「Ｃａｓｅ＿ＰＦ」のフラグを判断してもよい）。

（処理＃Ａ２）：第２に、画像評価部２２は、ｐ枚の初期候補画像のうち、第１フレームと最終フレームとのフレーム差分を算出する。そして、画像評価部２２は、上記のフレーム差分の大きさと、シーン推定用の閾値ｔｈ＿ｆｒとを比較する。

フレーム差分が閾値ｔｈ＿ｆｒ以上の場合（第１フレームと最終フレームとが大きく異なる場合）、画像評価部２２は、第２メモリ１６に用意されたフラグ「Ｃａｓｅ＿ＭＶ」の値を「１」にする。一方、フレーム差分が閾値ｔｈ＿ｆｒ未満の場合（第１フレームと最終フレームの差が少ない場合）、画像評価部２２は、「Ｃａｓｅ＿ＭＶ」の値を「０」にする。

（ステップ＃１０３）
画像評価部２２は、推定した撮影シーンに応じてベストショット選出に用いる第１評価式および第２評価式の組み合わせを決定する。例えば、画像評価部２２は、フラグ「Ｃａｓｅ＿ＰＦ」および「Ｃａｓｅ＿ＭＶ」を参照し、撮影シーンに相応する第１評価式および第２評価式の組み合わせを決定すればよい。

「Ｃａｓｅ＿ＰＦ」の値が「１」である場合、画像評価部２２は、「［ＣａｓｅＡ］人物撮影」に対応する第１評価式および第２評価式を使用する。

また、「Ｃａｓｅ＿ＰＦ」の値が「０」で、「Ｃａｓｅ＿ＭＶ」の値が「１」である場合、画像評価部２２は、「［ＣａｓｅＢ］動体撮影（視点・画角移動の場合を含む）」に対応する第１評価式および第２評価式を使用する。

また、「Ｃａｓｅ＿ＰＦ」、「Ｃａｓｅ＿ＭＶ」の値がともに「０」である場合、画像評価部２２は、「［ＣａｓｅＣ］静止撮影」に対応する第１評価式および第２評価式を使用する。

ここで、上記の第１評価式および第２評価式は、いずれも画像から抽出される複数の特徴量を重み付け加算して評価値を求める式である。異なる撮影シーンに対応する評価式の間では、要素となる特徴量の種類や重みの値はそれぞれ相違する。また、同じ撮影シーンに対応する第１評価式および第２評価式の間でも、要素となる特徴量の種類や重みの値はそれぞれ相違する。第１実施形態の例において、評価式に含まれうる要素（特徴量）は以下の通りである。なお、各特徴量は、重み係数を除外した状態の最大値が１程度となるように正規化されるものとする。

（特徴量Ｈ１：人物の近接度）
特徴量Ｈ１は、画像内で複数の顔領域が検出された場合において、顔領域間の距離の大きさを示す要素である。一例として、特徴量Ｈ１は、人物が単独で撮影されている場合に高い値となる。また、人物が複数撮影されている場合、特徴量Ｈ１は、顔領域間の距離が大きいほど高い値となる。また、顔領域間の距離が同じでも、顔領域の面積が大きくなると特徴量Ｈ１の値は小さくなる。

（特徴量Ｈ２：顔の信頼度）
特徴量Ｈ２は、顔検出の信頼度を示す要素であって、顔検出の信頼度（顔らしさ、顔曲率の指数など）の高さに比例して高い値となる。なお、顔が複数ある場合には、最も大きい顔を対象として特徴量Ｈ２を求めればよい。

（特徴量Ｈ３：目瞑り度）
特徴量Ｈ３は、画像内で最も大きな顔の目瞑り状態の度合いを示す要素であって、目瞑り状態に近いほど低い値となる。

（特徴量Ｈ４：主要被写体のフレームアウト検出）
特徴量Ｈ４は、ＡＦエリアに対応する主要被写体（または人物の顔）がフレームアウトに近い状態か否かを示す要素である。特徴量Ｈ４は、ＡＦエリアの被写体が画像の外縁に位置する場合には「０」値となり、それ以外の場合には「１」値となる。

（特徴量Ｈ５０：主要被写体のブレ検出／特徴量Ｈ５１：主要被写体の鮮鋭度）
特徴量Ｈ５０および特徴量Ｈ５１は、主要被写体（または人物の顔）の部分にハイパスフィルタ（ＨＰＦ）をかけて求めた評価値（ＨＰＦ＿ａｖ）と、合焦状態を示すＨＰＦの基準値（ＨＰＦ＿ｋ）との比（ＨＰＦ＿ａｖ／ＨＰＦ＿ｋ）を示す要素である。なお、特徴量Ｈ５０は、評価値ＨＰＦ＿ａｖが基準値ＨＰＦ＿ｋよりも大きい場合には「１」に固定される点で特徴量Ｈ５１と相違する。

（特徴量Ｈ６：全体輝度ヒストグラム：Ｈ６）
特徴量Ｈ６は、画像全体での白トビや黒潰れの頻度を示す要素である。特徴量Ｈ６は、白トビした画素が画像内に多いほど低い値となり、黒トビした画素が画像内に多いほど低い値となる。

（特徴量Ｈ７：顔面積）
特徴量Ｈ７は、画像内で最も大きな顔の面積を示す要素であって、顔の面積が大きいほど高い値となる。

（特徴量Ｈ８：笑顔度）
特徴量Ｈ８は、画像内で最も大きな顔の笑顔の度合いを示す要素であって、笑顔に近いほど高い値となる。

（特徴量Ｈ９：主要被写体の大きさ）
特徴量Ｈ９は、画像内での主要被写体の大きさを示す要素であって、主要被写体が大きいほど高い値となる。

（特徴量Ｈ１０：構図の最適度）
特徴量Ｈ１０は、画像内の構図の良さを示す要素である。一例として、画像内に設定された構図評価用の基準点（画像の中心や、画像を縦横１／３に９分割したときの中央ブロックの４隅）の１つと、主要被写体の中心座標との距離が小さいほど、特徴量Ｈ１０は高い値となる。

図３は、撮影シーンと、第１評価式および第２評価式の特徴量との対応関係の一例を示す。なお、図３では、或る撮影シーンにおいて、評価式の要素となる特徴量は「○」で示し、評価式の要素とならない特徴量は「×」で示す。また、図３の例では、一部の特徴量の対応関係を示すものとする。

例えば、「［ＣａｓｅＡ］人物撮影」の場合、第１評価式では特徴量Ｈ１〜Ｈ４、Ｈ５０、Ｈ６が要素となり、第２評価式では特徴量Ｈ５１、Ｈ６〜Ｈ８、Ｈ１０が要素となる。

また、「［ＣａｓｅＢ］動体撮影（視点・画角移動の場合を含む）」の場合、第１評価式では特徴量Ｈ４、Ｈ５０、Ｈ６を要素としてもよく、第２評価式では特徴量Ｈ５１、Ｈ６、Ｈ９、Ｈ１０を要素としてもよい。

また、「［ＣａｓｅＣ］静止撮影」の場合、特徴量Ｈ５１、Ｈ６のみを評価式の要素としてもよい。すなわち、［ＣａｓｅＣ］の場合、画像評価部２２は第２評価式のみでベストショット選出を行ってもよい。

以下、［ＣａｓｅＡ］での第１評価式の例を式（１）で示し、［ＣａｓｅＢ］での第１評価式の例を式（２）で示す。

本明細書において、「ＲＭＶ」は画像の不要度を示す評価値を意味し、この値が低いほど画像の不要度が高くなるものとする。また、本明細書において、「（ｎ）」はｎ枚目の候補画像を示す引数を意味する。また、本明細書において、「ａｒ１〜ａｒ６、ｂｒ４〜ｂｒ６」は、それぞれ第１評価式における特徴量の重み係数である。

また、［ＣａｓｅＡ］〜［ＣａｓｅＣ］での第２評価式の例を式（３）〜（５）でそれぞれ示す。

本明細書において、「ＯＰＴ」は画像の最適度を示す評価値を意味し、この値が高いほど代表画像に選出されやすくなる。また、本明細書において、「ａｏ５〜ａｏ１０、ｂｏ５、ｂｏ６、ｂｏ９、ｂｏ１０、ｃｏ５、ｃｏ６」は、それぞれ第２評価式における特徴量の重み係数である。

なお、以下の例では、「［ＣａｓｅＡ］人物撮影」に対応する第１評価式および第２評価式を使用することを前提として説明を行う。

（ステップ＃１０４）
画像評価部２２は、撮影シーンに対応する第１評価式を用いて、すべての初期候補画像について評価値ＲＭＶを求める。そして、画像評価部２２は、評価値ＲＭＶの高い順に、初期候補画像からｑ枚の中間候補画像を選出する。

なお、撮影シーンが［ＣａｓｅＣ］である場合、画像評価部２２は＃１０４の処理を省略して＃１０５の処理に移行すればよい。

（ステップ＃１０５）
画像評価部２２は、撮影シーンに対応する第２評価式を用いて、すべての中間候補画像（ｑ枚）について評価値ＯＰＴを求める。そして、画像評価部２２は、評価値ＯＰＴの最も高い画像を代表画像として選出する。

（ステップ＃１０６）
表示処理部２３は、代表画像（＃１０５）および中間候補画像（＃１０４）の一覧と、画像選出の適否を確認するメッセージとを表示部１８に表示させる。これにより、ユーザは、電子カメラ１１による代表画像の選出プロセスを確認することができる。

図４は、＃１０６での一覧表示画面の一例を示している。図４の一覧表示画面では、４枚の中間候補画像が２×２の配列で表示されており、電子カメラ１１の選出した代表画像（左下の画像）の外周が強調表示されている。また、図４の画面下側には、メッセージ（「一番良い画像を選んで下さい」）と、ＧＵＩ形式のアイコン（「保存」、「変更」、「全画像表示」）とが表示されている。図４の「全画像表示」のアイコンを選択する入力があったときに、表示処理部２３は、図４の一覧表示画面から図５の一覧表示画面に表示部１８の表示を移行させる。

図５の画面では、代表画像、中間候補画像、初期候補画像が一覧表示される。図５では、１６枚の画像が４×４の配列で表示される状態を簡略化して示している。図５において、一点鎖線で囲まれた範囲内の画像は初期候補画像であり、二点鎖線で囲まれた範囲内の画像は中間候補画像である。また、図５の例でも、代表画像の外周が強調表示されている。

（ステップ＃１０７）
カメラマイコン１４は、選出された代表画像を最適画像として保存する入力（保存入力）を、操作部１９を介してユーザから受け付けたか否かを判定する。一例として、図４または図５の画面が表示されている状態で、代表画像を変更せずに「保存」のアイコンが選択されたときに、カメラマイコン１４は上記の保存入力があったと判定する。

上記要件を満たす場合（ＹＥＳ側）には＃１１２に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０８に処理が移行する。

（ステップ＃１０８）
カメラマイコン１４は、中間候補画像または初期候補画像から最適画像を指示する入力（変更入力）を、操作部１９を介してユーザから受け付けたか否かを判定する。一例として、図４または図５の画面が表示されている状態で、「変更」のアイコンの選択後にユーザによる最適画像の指示入力があったときに、カメラマイコン１４は上記の変更入力があったと判定する。

上記要件を満たす場合（ＹＥＳ側）には＃１０９に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０７に戻って上記の処理が繰り返される。

（ステップ＃１０９）
カメラマイコン１４は、ユーザの指定した最適画像が中間候補画像であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１１０に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１１１に処理が移行する。

（ステップ＃１１０）
学習処理部２４は、中間候補画像から指定された最適画像が代表画像として選出されるように第２評価式の重み係数を調整する。

一例として、撮影シーンが［ＣａｓｅＡ］のときに、中間候補画像のうちで３枚目の画像が代表画像として選出され、２枚目の画像が最適画像に指定される場合の処理を説明する。

上記のケースで代表画像の選出に使用される第２評価式は、上記の式（３）である。ここで、重み係数の調整後の評価値ＯＰＴ’を下式（６）とおく。なお、「Ｋ５〜Ｋ８、Ｋ１０」は重み調整用の変数である。

代表画像を「ＤＦＢＴ」とし、ユーザの指定した最適画像を「ｕＢＴ」とする。このとき、重み調整前の最適画像の評価値ＯＰＴ（ｕＢＴ）は式（７）で表現され、重み調整前の代表画像の評価値ＯＰＴ（ＤＦＢＴ）は式（８）で表現される。また、重み調整後の最適画像の評価値ＯＰＴ’（ｕＢＴ）は式（９）で表現され、重み調整後の代表画像の評価値ＯＰＴ’（ＤＦＢＴ）は式（１０）で表現される。

上記の式（９）は、式（７）の関係を用いて式（１１）に変形できる。同様に、上記の式（１０）は、式（８）の関係を用いて式（１２）に変形できる。

最適画像が代表画像として選出される場合には、ＯＰＴ’（ｕＢＴ）＞ＯＰＴ’（ＤＦＢＴ）が成り立つ。この場合の関係は式（１３）で表すことができる。

また、式（１３）の左辺は、式（１４）のように展開できる。

一方、学習処理部２４は、代表画像ＤＦＢＴの特徴量に対する最適画像ｕＢＴの各特徴量の比（ＤＨ（ｍ））を式（１５）でそれぞれ求める。ここで、「ｍ」は特徴量の種類を示す引数である。例えば、［ＣａｓｅＡ］の第２評価式には、Ｈ５１、Ｈ６、Ｈ７、Ｈ８、Ｈ１０が要素に含まれるため、この場合のｍの値は「５１、６、７、８、１０」のいずれかとなる。
ＤＨ（ｍ）＝Ｈｍ（ｕＢＴ）／Ｈｍ（ＤＦＢＴ） …（１５）
次に、学習処理部２４は、ＤＨ（ｍ）が最も大きくなる特徴量ｍを選出する。なお、ＤＨ（ｍ）が同じ値となるｍが複数ある場合、学習処理部２４は、重み係数が大きな特徴量を選出する。以下、学習処理部２４で選出された特徴量を「ｍ＿ｍａｘ」とし、特徴量ｍ＿ｍａｘに対応する重み調整用の変数を「Ｋｍ＿ｍａｘ」とする。

そして、学習処理部２４は、Ｋｍ＿ｍａｘ以外の変数Ｋｍに１を代入する（ｍ≠ｍ＿ｍａｘのとき、Ｋｍ＝１）。その結果、上記の式（１４）は、式（１６）で表すことができる。式（１６）では、式（１４）のうち特徴量ｍ＿ｍａｘに対応する部分のみが残されることとなる。

上記の式（１３）および式（１６）から、Ｋｍ＿ｍａｘは以下の式（１７）の条件を満たせばよい。

チューニングパラメータである補正量ｏｆｆｓｅｔを式（１７）の右辺に加算することで、式（１７）の条件を満たすＫｍ＿ｍａｘは式（１８）で決定できる。

以上の演算結果により、学習処理部２４は、式（６）の「Ｋ５〜Ｋ８、Ｋ１０」について、Ｋｍ＿ｍａｘ以外の変数Ｋｍには「１」を代入し、Ｋｍ＿ｍａｘには式（１８）で求めた値を代入する。そして、学習処理部２４は、変数Ｋｍ＿ｍａｘの分だけ特徴量の重み係数を調整して新たな式（３）を求めればよい。

なお、［ＣａｓｅＢ］、［ＣａｓｅＣ］の場合においても、学習処理部２４は、上記と同様の手法で重み係数を調整すればよい。

その後、カメラマイコン１４は＃１０５に戻って処理をループさせる。ループ後の＃１０５において、画像評価部２２は、＃１１０で調整された第２評価式を用いて中間候補画像から代表画像を再選出する。そして、ループ後の＃１０６において、表示処理部２３の制御により、再選出された代表画像が中間候補画像等とともに表示部１８に表示される。なお、上記の例であれば、ループ後の＃１０６で表示される図４の一覧表示画面では、２枚目の画像（右上の画像）の外周が強調表示されることとなる。

（ステップ＃１１１）
学習処理部２４は、中間候補画像以外から指定された最適画像が代表画像として選出されるように第１評価式および第２評価式の重み係数を調整する。

例えば、＃１１１での学習処理部２４は、下記の（処理＃Ｂ１）〜（処理＃Ｂ３）の処理を行えばよい。なお、以下の処理例では、撮影シーンが［ＣａｓｅＡ］のときに、１６枚の初期候補画像（Ｎ１〜Ｎ１２、Ｂ１〜Ｂ４）のうち、中間候補画像（Ｂ１〜Ｂ４）に該当しない画像（例えばＮ８）から最適画像が指定された場合を説明する。

（処理＃Ｂ１：第１評価式の調整）
学習処理部２４は、最適画像が中間候補画像として選出されるように第１評価式を調整する。

まず、学習処理部２４は、各初期候補画像について、式（１）の右辺の各項（特徴量および重み係数の乗算値）のうちで、最適画像が最上位となるものを選出する。

図６は、初期候補画像の第１評価式による演算結果の例を示す表である。初期候補画像のうち不要度のランク（ＲＭＶランク）が最も低い画像（評価値ＲＭＶが最も高くなる画像）を「ＲＮＩ＿ＭＩＮ」とする。なお、図６のＲＭＶランクは、初期候補画像を評価値ＲＭＶの値の高い順に並べたときの順番を示している。

ここで、最適画像ｕＢＴの評価値ＲＭＶは式（１９）で表すことができる。また、図６の例において、ＲＮＩ＿ＭＩＮに該当する画像Ｂ１の評価値ＲＭＶ（ＲＮＩ＿ＭＩＮ）は式（２０）で表すことができる。

このとき、ＲＭＶ（ＲＮＩ＿ＭＩＮ）＞ＲＭＶ（ｕＢＴ）の関係が成り立つ。

重み調整後のＲＭＶ（ｎ）を「ＲＭＶ’（ｎ）」としたとき、最適画像を中間候補画像に選出されやすくするためには、ＲＭＶ’（ＲＮＩ＿ＭＩＮ）＜ＲＭＶ’（ｕＢＴ）の関係を満足させる必要がある。なお、ＲＭＶ’（ｕＢＴ）は式（２１）で表すことができ、ＲＭＶ’（ＲＮＩ＿ＭＩＮ）は式（２２）で表すことができる。なお、式中の「Ｋ１〜Ｋ６」は重み調整用の変数である。

ＲＭＶ’（ＲＮＩ＿ＭＩＮ）＜ＲＭＶ’（ｕＢＴ）の関係から、式（２３）を導くことができる。

また、式（２３）の左辺は、式（２４）のように展開できる。

一方、学習処理部２４は、画像ＲＮＩ＿ＭＩＮの特徴量に対する最適画像ｕＢＴの各特徴量の比（ＤＨ（ｍ））を式（２５）でそれぞれ求める。
ＤＨ（ｍ）＝Ｈｍ（ｕＢＴ）／Ｈｍ（ＲＮＩ＿ＭＩＮ） …（２５）
次に、学習処理部２４は、ＤＨ（ｍ）が最も大きくなる特徴量ｍを選出する。そして、学習処理部２４は、Ｋｍ＿ｍａｘ以外の変数Ｋｍに１を代入する（ｍ≠ｍ＿ｍａｘのとき、Ｋｍ＝１）。その結果、上記の式（２４）は、式（２６）で表すことができる。

上記の式（２４）および式（２６）から、Ｋｍ＿ｍａｘは以下の式（２７）の条件を満たせばよい。

チューニングパラメータである補正量ＲＭＶ＿ｏｆｆｓｅｔを式（２７）の右辺に加算することで、式（２７）の条件を満たすＫｍ＿ｍａｘは式（２８）で決定できる。

以上の演算結果により、学習処理部２４は、各式中の「Ｋ１〜Ｋ６」について、Ｋｍ＿ｍａｘ以外の変数Ｋｍには「１」を代入し、Ｋｍ＿ｍａｘには式（２８）で求めた値を代入する。そして、学習処理部２４は、変数Ｋｍ＿ｍａｘの分だけ特徴量の重み係数を調整して新たな式（１）を求めればよい。

（処理＃Ｂ２：中間候補画像および代表画像の再選出）
画像評価部２２は、処理＃Ｂ１で更新された第１評価式を用いて、初期候補画像から中間候補画像を再選出する。なお、処理＃Ｂ２で再選出された中間候補画像は「Ｃ１〜Ｃ４」と表記する。

また、画像評価部２２は、第２評価式を用いて、再選出された中間候補画像（Ｃ１〜Ｃ４）のうちから代表画像を選出する。そして、処理＃Ｂ２の結果、ユーザの指定した最適画像（Ｎ８）が代表画像として選出された場合には、学習処理部２４は＃１１１の処理を終了させる。一方、処理＃Ｂ２の結果、最適画像と代表画像が異なる場合には、学習処理部２４は以下の処理＃Ｂ３をさらに実行する。

（処理＃Ｂ３：第２評価式の調整）
学習処理部２４は、上記の＃１１０と同じ手順で、最適画像が代表画像として選出されるように第２評価式の重み係数を調整する。

なお、処理＃Ｂ２の結果、再選出された中間候補画像（Ｃ１〜Ｃ４）に最適画像が含まれていない場合、学習処理部２４は、中間候補画像Ｃ１〜Ｃ４のうちで特徴量ｍ＿ｍａｘの値が最適画像に最も近くなる画像を代用して、重み係数を調整してもよい。以上で、＃１１１での第１評価式および第２評価式の調整の説明を終了する。

その後、カメラマイコン１４は＃１０４に戻って処理をループさせる。ループ後の＃１０４、＃１０５において、画像評価部２２は、＃１１０で調整された第１評価式および第２評価式を用いて、中間候補画像および代表画像を初期候補画像から再選出する。そして、ループ後の＃１０６において、表示処理部２３の制御により、再選出された代表画像が中間候補画像等とともに表示部１８に表示される。

（ステップ＃１１２）
カメラマイコン１４は、選出された代表画像を記憶媒体２５に記録する。以上で、図２の処理の説明を終了する。

以下、第１実施形態の作用効果を説明する。第１実施形態の電子カメラ１１は、ベストショット選出機能により、連写撮影で取得した複数の初期候補画像のうちから中間候補画像を選出し、さらに中間候補画像から代表画像を選出する（＃１０１〜＃１０５）。また、表示部１８には、代表画像と中間候補画像とが一覧表示される（＃１０６、図４、図５）。そして、表示部１８に表示された代表画像がユーザの嗜好に合わない場合、ユーザが操作部１９から最適画像を指定することで（＃１０８）、電子カメラ１１は最適画像が代表画像として選出されるように評価式を調整する（＃１１０、＃１１１）。これにより、最適画像がより代表画像として選出されやすくなり、簡易な操作で電子カメラ１１による画像の評価にユーザの嗜好を反映させることができる。

また、第１実施形態の電子カメラ１１は、再選出された代表画像を中間候補画像等とともに表示部１８に表示させる（ループ後の＃１０６）。これにより、ユーザは、変更入力後における代表画像の選出プロセスの適否を確認できる。

また、第１実施形態の電子カメラ１１は、評価式の組み合わせを撮影シーン毎に変更するため（＃１０２、＃１０３）、ユーザの嗜好の学習結果を撮影シーン毎に適切に蓄積させることができる。

＜第２実施形態の説明＞
図７は、第２実施形態の画像評価装置の構成例を示す図である。第２実施形態の画像評価装置は、画像評価プログラムがインストールされたパーソナルコンピュータである。第２実施形態は、電子カメラによって連写撮影などで時系列に撮影された初期候補画像を画像評価装置が読みこんで、画像評価プログラムによる後処理工程で代表画像を選出する例である。

図７に示すコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。

データ読込部３２は、画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部３２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。なお、第２実施形態でのデータ読込部３２は初期候補画像を取得する取得部として機能する。

記憶装置３３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置３３には、画像処理プログラムが記録される。なお、記憶装置３３には、データ読込部３２から読み込んだ候補画像のデータなどを記憶しておくこともできる。

ＣＰＵ３４は、コンピュータ３１の各部を統括的に制御するプロセッサである。このＣＰＵ３４は、画像評価プログラムの実行によって、第１実施形態の画像処理部２１、画像評価部２２、表示処理部２３、学習処理部２４として動作する。

メモリ３５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭである。

なお、第２実施形態での動作例は、画像評価装置が初期候補画像をデータ読込部３２から取得する点を除いて、図２の流れ図とほぼ共通するので説明を省略する。かかる第２実施形態においても、上記の第１実施形態とほぼ同様の効果を得ることができる。

＜実施形態の補足事項＞
（補足１）上記実施形態における第１評価式および第２評価式はあくまで一例にすぎず、評価式に採用する評価式の特徴量の組み合わせは適宜変更してもよい。また、上記の［ＣａｓｅＡ］〜［ＣａｓｅＣ］以外の撮影シーンについても、別途評価式を用意してベストショットを選出するようにしてもよい。

（補足２）上記実施形態では、画像処理装置の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明では、ＡＳＩＣを用いて画像処理部２１、画像評価部２２、表示処理部２３、学習処理部２４の各機能をハードウエア的に実現してもかまわない。

（補足３）上記の第２実施形態では、電子カメラで撮影された画像を読み込んで代表画像の選出を行う画像評価装置の一例として、パーソナルコンピュータの場合を説明したが、例えば第２実施形態の画像評価装置は、フォトビューアー、プリンタなどに応用することも可能である。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…電子カメラ、１２…撮影レンズ、１３…撮像部、１４…カメラマイコン、１５…第１メモリ、１６…第２メモリ、１７…記録Ｉ／Ｆ、１８…表示部、１９…操作部、２１…画像処理部、２２…画像評価部、２３…表示処理部、２４…学習処理部、２５…記憶媒体、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ

Claims (10)

1. 撮像された複数の候補画像を取得する取得部と、
   各々の前記候補画像から特徴量を抽出するとともに、前記特徴量を変数とする評価式を用いて複数の前記候補画像のうちから代表画像を選出する画像評価部と、
   前記代表画像および複数の前記候補画像を表示装置に表示させる表示処理部と、
   前記候補画像のうちから最適画像の指定を受け付ける入力部と、
   前記代表画像の選出後に前記最適画像の指定があったときに、前記最適画像が前記代表画像として選出されるように前記評価式を調整する学習処理部と、
   を備える画像評価装置。
2. 請求項１に記載の画像評価装置において、
   前記画像評価部は、第１評価式を用いて複数の初期候補画像のうちから複数の中間候補画像を選出するとともに、前記第１評価式と異なる第２評価式を用いて複数の前記中間候補画像のうちから前記代表画像を選出し、
   前記表示処理部は、複数の前記中間候補画像および複数の前記初期候補画像を前記表示装置に表示させ、
   前記学習処理部は、前記初期候補画像が前記最適画像として指定されたときに、前記第１評価式および前記第２評価式を調整する画像評価装置。
3. 請求項１または請求項２に記載の画像評価装置において、
   前記評価式は、複数種類の特徴量を重み付け加算する式であり、
   前記学習処理部は、前記評価式での前記重みを変化させる画像評価装置。
4. 請求項３に記載の画像評価装置において、
   前記学習処理部は、前記画像評価部によって選出された代表画像の特徴量に対する前記最適画像の特徴量の比が最も大きくなる特徴量を選出し、前記選出された特徴量の重みを変化させる画像評価装置。
5. 請求項１から請求項４のいずれか１項に記載の画像評価装置において、
   前記画像評価部は、調整された前記評価式で複数の前記候補画像から前記代表画像を再び選出し、
   前記表示処理部は、再選出された前記代表画像を前記表示装置に表示させる画像評価装置。
6. 請求項１から請求項５のいずれか１項に記載の画像評価装置において、
   前記画像評価部は、前記候補画像の人物の有無または複数の前記候補画像における動きの有無に応じて、異なる評価式を用いて前記代表画像を選出する画像評価装置。
7. 撮像された複数の候補画像を取得する取得部と、
   各々の前記候補画像から特徴量を抽出するとともに、前記特徴量に基づく評価値を用いて複数の前記候補画像のうちから代表画像を選出する画像評価部と、
   前記代表画像および複数の前記候補画像を表示装置に表示させる表示処理部と、
   前記候補画像のうちから最適画像の指定を受け付ける入力部と、
   前記代表画像の選出後に前記最適画像の指定があったときに、前記最適画像が前記代表画像として選出されるように前記評価値を調整する学習処理部と、
   を備える画像評価装置。
8. 複数の候補画像を撮像する撮像部と、
   請求項１から請求項７のいずれか１項に記載の画像評価装置と、
   代表画像および複数の前記候補画像を表示する表示装置と、
   を備える撮像装置。
9. 撮像された複数の候補画像を取得する処理と、
   各々の前記候補画像から特徴量を抽出するとともに、前記特徴量を変数とする評価式を用いて複数の前記候補画像のうちから代表画像を選出する処理と、
   前記代表画像および複数の前記候補画像を表示装置に表示させる処理と、
   前記候補画像のうちから最適画像の指定を受け付ける処理と、
   前記代表画像の選出後に前記最適画像の指定があったときに、前記最適画像が前記代表画像として選出されるように前記評価式を調整する処理と、
   をコンピュータに実行させるプログラム。
10. 撮像された複数の候補画像を取得する処理と、
    各々の前記候補画像から特徴量を抽出するとともに、前記特徴量に基づく評価値を用いて複数の前記候補画像のうちから代表画像を選出する処理と、
    前記代表画像および複数の前記候補画像を表示装置に表示させる処理と、
    前記候補画像のうちから最適画像の指定を受け付ける処理と、
    前記代表画像の選出後に前記最適画像の指定があったときに、前記最適画像が前記代表画像として選出されるように前記評価値を調整する処理と、
    をコンピュータに実行させるプログラム。
    

Images