JP2017098634A - 画像評価装置、画像評価方法及びプログラム - Google Patents

Abstract

【課題】適切に撮影画像を評価できるようにすること。
【解決手段】撮影装置１は、候補画像取得部５２と、付帯情報取得部５３と、総合評価部５６とを備える。候補画像取得部５２は、候補画像を画像記憶部７１から取得する。付帯情報取得部５３は、画像の撮影時における、装置が備えるセンサによる測定値を取得する。総合評価部５６は、候補画像取得部５２の取得する撮影画像の内容と、付帯情報取得部５４が取得する付帯情報の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価する。
【選択図】図２

Description

本発明は、画像評価装置、画像評価方法及びプログラムに関する。

デジタルカメラの普及により、撮影に失敗しないようにすることよりも、決定的瞬間を逃さないようにすることに、より比重が高まり、撮影枚数が格段に増大している。その結果膨大な撮影画像からより好適な画像を抽出するために、より手間がかかるようになったり、判断に迷ってしまったりするようになって来ている。
ここで、特許文献１には、同じような構図、同じような被写体を連続して撮影した画像に対し、プリントに値する最良な画像を自動的に抽出する技術が開示されている。

特開２００７−８８５９４号公報

しかしながら、更に異なる構図や異なる被写体といったように、抽出するための基準がより増えてしまうと、最良な画像を自動的に抽出することは困難である。

本発明は、このような状況に鑑みてなされたものであり、適切に撮影画像を評価できるようにすることを目的とする。

上記目的を達成するため、本発明の一態様の画像評価装置は、
画像評価装置であって、
画像の撮影時における、当該画像評価装置が備えるセンサによる測定値を取得する測定値取得手段と、
撮影された画像の内容を取得する画像内容取得手段と、
前記測定値取得手段により取得された測定値及び前記画像内容取得手段により取得された画像の内容の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価する総合評価手段と、
を備えることを特徴とする。

本発明によれば、適切に撮影画像を評価することができる。

本発明の一実施形態に係る撮影装置のハードウェアの構成を示すブロック図である。 図１の撮影装置の機能的構成のうち、画像評価処理を実行するための機能的構成を示す機能ブロック図である。 第１評価モードにおいてスコアを算出する際の評価項目の分類例を示す模式図である。 第２評価モードにおける撮影時の水平角及び仰俯角に基づくスコアを表す模式図である。 第３評価モードにおいて推定される撮影装置の平行移動成分を示す模式図である。 図２の機能的構成を有する図１の撮影装置が実行する画像評価処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

［構成］
［ハードウェア構成］
図１は、本発明の一実施形態に係る撮影装置１のハードウェアの構成を示すブロック図である。
撮影装置１は、例えば、デジタルカメラとして構成される。

撮影装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、センサ部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号が撮影画像のデータとして出力される。撮影画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給され、撮影画像が生成される。

センサ部１７は、加速度、角速度等の装置の姿勢に関する情報を取得可能な各種センサにより構成される。センサ部を構成する各種センサは、地磁気センサ、気圧センサ等でもよく、取得する情報は装置の姿勢に関する情報には限られない。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。

出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

記憶部２０は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。

通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

［機能的構成］
図２は、このような撮影装置１の機能的構成のうち、画像評価処理を実行するための機能的構成を示す機能ブロック図である。
画像評価処理とは、センサ情報等の画像の付帯情報と、画像の内容とに基づいて、所定の評価項目に応じた重み付けを行って画像のスコア（評価値）を算出し、スコアの高い画像を選択する一連の処理をいう。

画像評価処理が実行される場合には、図２に示すように、ＣＰＵ１１において、モード設定部５１と、候補画像取得部５２と、付帯情報取得部５３と、付帯情報評価部５４と、画像内容評価部５５と、総合評価部５６と、画像生成部５７とが機能する。
また、記憶部２０の一領域には、画像記憶部７１が設定される。
画像記憶部７１には、画像評価処理において評価の対象となる候補画像のデータが記憶される。

モード設定部５１は、ユーザの選択に従って、画像のスコアを算出する方法に関する第１評価モードと、第２評価モードと、第３評価モードとのいずれかを設定する。
第１評価モードは、画像の付帯情報に基づくスコア（以下、適宜「センサスコア」と呼ぶ。）と、画像の内容に基づくスコア（以下、適宜「画質スコア」と呼ぶ。）とを算出し、付帯情報及び画像の内容における評価項目に応じて設定された重み付けを行ってスコアを合計することにより、総合的なスコア（以下、適宜「総合スコア」と呼ぶ。）を算出するモードである。
図３は、第１評価モードにおいてスコアを算出する際の評価項目の分類例を示す模式図である。
図３に示すように、第１評価モードにおける評価項目は、大分類として、（１）「装置が備えるセンサによる測定値（付帯情報）に基づく評価」と、（２）「撮影された画像の内容に基づく評価」とに分けられている。

また、第１評価モードにおいて、大分類（１）は、小分類として、（１−１）「絶対的な測定値」と、（１−２）「相対的な測定値（変化量）」とに分けられている。そして、画像の付帯情報に関しては、小分類（１−１）及び（１−２）に属する評価項目それぞれについて、スコアが算出される。図３に示すように、センサによる「絶対的な測定値」には、評価項目として、撮影時の水平角及び仰俯角（撮影装置１の光軸方向と水平面とで特定される姿勢）が含まれ、センサによる「相対的な測定値」には、評価項目として、角度又は加速度の変化である撮影時のぶれ量、行動推定結果（加速度の変化である歩行、走行あるいは乗り物による移動等）及びカメラワーク（角度の変化であるパンニング、チルティングあるいはフィックス等）が含まれている。
また、第１評価モードにおいて、大分類（２）は、小分類として、（２−１）「画像全体の内容」と、（２−２）「画像の特徴部分の内容」とに分けられている。そして、画像の内容に関しては、小分類（２−１）及び（２−２）に属する評価項目それぞれについて、スコアが算出される。図３に示すように、「画像全体の内容」には、評価項目として、自動露出（ＡＥ）の結果（露出オーバーあるいは露出アンダー等）、構図解析結果（被写体が配置された構図）、及び自動焦点（ＡＦ）の結果（合焦状態）が含まれ、「画像の特徴部分の内容」には、評価項目として、顔検出の結果が含まれている。

第２評価モードは、第１評価モードのスコアの算出において、撮影時の水平角及び仰俯角に対応したスコアを特有の算出方法で算出するモードである。具体的には、第１評価モードでは、撮影装置１の姿勢が基準姿勢（水平角及び仰俯角が０度）に近い程、大きいスコアが算出される一方、第２評価モードでは、目線より上や見下すように撮影装置１を傾けて撮影しても自然に見えるという点に着目して、撮影装置１の仰俯角が０度でない場合には、水平角が０度でなくても違和感がないことから、第１評価モードに比べて大きいスコアが付与される。

図４は、第２評価モードにおける撮影時の水平角及び仰俯角に基づくスコアを表す模式図である。
図４に示すように、第２評価モードでは、仰俯角が０度である場合には、水平角が０度（水平）からずれる程、付与されるスコアが小さくなっている。一方、仰俯角が０度（地面と平行）からずれる程、水平角が０度からずれていても、付与されるスコアの減少度合いは小さくなり、仰俯角が上限（ここでは９０度）の場合、水平角に関わらず、最大のスコアが付与される。

第３評価モードは、第１評価モードのスコアの算出において、撮影時のぶれ量として、撮影装置１の平行移動成分をさらに推定し、推定結果に基づいてスコアを算出するモードである。
撮影装置１が移動していない状態における回転ぶれ（Ｘ軸、Ｙ軸、Ｚ軸の各回転方向のぶれ）は、ジャイロセンサ等によって比較的容易に検出できるものの、撮影装置１が特定の方向に進行している場合の平行移動成分については、ノイズの多さ等も起因して、検出することが困難である。そこで、第３評価モードでは、撮影装置１の平行移動成分を行動推定結果（歩行／走行、その他、静止等）として推定し、その推定結果に応じてぶれ量を算出することにより、画像の評価に反映させる。
なお、行動推定は、撮影装置１の平行移動分の移動速度を加速度から測定し、その測定した速度と所定の閾値（例えば、時速１ｋｍ）とを比較することにより実現可能であるが、推定方法はこれに限定されず、他の公知の技術を使用して推定してもよい。

図５は、第３評価モードにおいて推定される撮影装置１の平行移動成分を示す模式図である。
図５に示すように、第３評価モードにおいては、予め検出した鉛直方向ベクトルＶと、現在の加速度ベクトルＡとに基づいて、現在の平行移動成分Ｃ（＝Ａ−Ｖ）が推定される。第３評価モードでは、この平行移動成分Ｃを基に、付帯情報評価部５４によって、後述する方法で平行移動成分に基づくぶれ量が算出される。

候補画像取得部５２は、画像評価処理において評価の対象となる候補画像を画像記憶部７１から取得する。本実施形態において、候補画像取得部５２によって取得される候補画像は、高速連写あるいはインターバル撮影等、互いに関連する撮影制御によって取得された一群の画像である。
付帯情報取得部５３は、各候補画像に付帯している撮影時のセンサ情報（付帯情報）を取得する。

付帯情報評価部５４は、第１評価モードにおいて、付帯情報取得部５３によって取得された各候補画像の付帯情報に基づくスコア（センサスコア）を算出する。このとき、付帯情報評価部５４は、センサスコアとして、センサによる絶対的な測定値に基づくスコアと、センサによる相対的な測定値に基づくスコアとを算出する。
具体的には、付帯情報評価部５４は、センサによる絶対的な測定値に属する評価項目それぞれ（水平角及び仰俯角）について設定されている重みを測定値に乗算し、重み付け後の測定値（評価項目のスコア）を合計することにより、センサによる絶対的な測定値に基づくスコア（絶対値評価）を算出する。また、付帯情報評価部５４は、センサによる相対的な測定値に属する評価項目それぞれ（撮影時のぶれ量、行動推定結果（歩行、走行あるいは乗り物による移動等）及びカメラワーク（パンニング、チルティングあるいはフィックス等））について設定されている重みを測定値（または推定結果に応じて設定された値）に乗算し、重み付け後の測定値（評価項目のスコア）を合計することにより、センサによる相対的な測定値等に基づくスコア（相対値評価）を算出する。そして、付帯情報評価部５４は、絶対値評価及び相対値評価それぞれについて設定されている重みを絶対値評価及び相対値評価を示す各スコアに乗算して合計し、付帯情報に基づくスコア（センサスコア）を算出する。

また、付帯情報評価部５４は、第２評価モードにおいて、撮影時の水平角及び仰俯角に対応した特有のスコアを算出する。
具体的には、付帯情報評価部５４は、第２評価モードにおいて、仰俯角に対応したスコアＳａを、水平角Ａｈ及び仰俯角Ａｅに基づいて、以下のように算出する。
Ｖｈ＝θ−｜Ｍｏｄ（Ａｈ，θ）｜
Ｖｅ＝｜θ×Ａｅ／９０｜
Ｓａ＝１００×ｍｉｎ（Ｖｈ＋Ｖｅ，θ）／θ
θ＝３６０／ｎ
ただし、Ｖｈは水平角の特徴量でその範囲は、−１８０度＜０度（水平）＜１８０度、Ｖｅは仰俯角方向の特徴量でその範囲は、−９０度＜０度（水平）＜９０度、θは撮影装置１の傾きの許容角度、ｎは角度分割数、Ｍｏｄは第１引数を第２引数で除算した剰余を与える演算子、ｍｉｎは各引数のうちで最小の値を選択する演算子である。なお、角度分割数は、いずれの角度でスコアを低くするかを決定するパラメータであり、撮影が横撮りまたは縦撮りで行われること等を考慮して設定される。
なお、光軸方向の水平面に対する角度である仰俯角は、センサ部１７により測定された鉛直方向に対する仰角から算出する。

また、付帯情報評価部５４は、第３評価モードにおいて、撮影装置１の平行移動成分の推定結果に基づくぶれ量を算出する。
具体的には、付帯情報評価部５４は、第３評価モードにおいて、次式によって、平行移動成分に基づくぶれ量を算出する。
ぶれ量＝｜平行移動成分Ｃ｜×ｆ（行動推定結果）×α
ただし、平行移動成分Ｃ＝（加速度ベクトルＡ）−（鉛直方向ベクトルＶ）、ｆ（行動推定結果）は行動推定結果に応じて所定の係数を返す関数、αはぶれ量に換算するための係数である。なお、本実施形態において、ｆ（行動推定結果）は、行動推定結果が走行または歩行である場合には１、静止状態である場合には０、それ以外である場合には０．５を返す関数となっている。
これにより、平行移動成分によるぶれ度合いを表す付帯情報（加速度）が、行動推定結果に応じて、画像の評価のためのぶれ度合いに補正される。

画像内容評価部５５は、第１評価モードにおいて、候補画像取得部５２によって取得された各候補画像の内容に基づくスコア（画質スコア）を算出する。このとき、画像内容評価部５５は、画質スコアとして、画像全体の内容を示すスコアと、画像の特徴部分の内容を示すスコアとを算出する。
具体的には、画像内容評価部５５は、画像全体の内容に属する評価項目それぞれ（自動露出（ＡＥ）の結果、構図解析結果、及び自動焦点（ＡＦ）の結果（合焦状態））について設定されている重みを測定値に乗算し、重み付け後の測定値（評価項目のスコア）を合計することにより、画像全体の内容を示すスコア（画像全体評価）を算出する。また、画像内容評価部５５は、画像の特徴部分の内容に属する評価項目（顔検出の結果）について設定されている重みを測定値に乗算し、重み付け後の測定値（評価項目のスコア）を合計することにより、画像の特徴部分の内容を示すスコア（特徴部分評価）を算出する。そして、付帯情報評価部５４は、画像全体評価及び特徴部分評価それぞれについて設定されている重みを画像全体評価及び特徴部分評価を示す各スコアに乗算して合計し、画像の内容に基づくスコア（画質スコア）を算出する。

総合評価部５６は、各候補画像について、センサスコア及び画質スコアそれぞれについて設定されている重みをスコアに乗算して合計することにより、各候補画像の総合スコアを算出する。
画像生成部５７は、総合評価部５６によって算出された総合スコアを参照し、候補画像の中から総合スコアが最も高いもの（または総合スコアが上位のもの）を選択する。また、画像生成部５７は、複数の候補画像群から選択した画像を用いて、一つの新たな画像（複数の画像を動画像として連結させたハイライトムービーあるいは複数の画像を１枚の静止画像に合成したハイライトフォト等）を生成する。

［動作］
図６は、図２の機能的構成を有する図１の撮影装置１が実行する画像評価処理の流れを説明するフローチャートである。
画像評価処理は、ユーザによる入力部１８への画像評価処理開始の操作により開始される。

ステップＳ１において、モード設定部５１は、ユーザの選択に従って、画像のスコアを算出する方法に関する第１評価モードと、第２評価モードと、第３評価モードとのいずれかを設定する。ここで設定されたモードに応じた評価方法で、以下の処理における画像の評価が実行される。

ステップＳ２において、候補画像取得部５２は、画像評価処理において評価の対象となる候補画像を画像記憶部７１から取得する。
ステップＳ３において、各候補画像に付帯している撮影時のセンサ情報（付帯情報）を取得する。

ステップＳ４において、付帯情報評価部５４は、設定されているモードに応じて、付帯情報取得部５３によって取得された各候補画像の付帯情報に基づくスコア（センサスコア）を算出する。
ステップＳ５において、画像内容評価部５５は、設定されているモードに応じて、候補画像取得部５２によって取得された各候補画像の内容に基づくスコア（画質スコア）を算出する。

ステップＳ６において、総合評価部５６は、各候補画像について、センサスコア及び画質スコアそれぞれについて設定されている重みをスコアに乗算して合計することにより、各候補画像の総合スコアを算出する。
ステップＳ７において、画像生成部５７は、総合評価部５６によって算出された総合スコアを参照し、候補画像の中から総合スコアが最も高いもの（または総合スコアが上位のもの）を選択する。
ステップＳ７の後、画像評価処理は終了する。
このように選択された画像を用いて、画像生成部５７によってハイライトムービー等の新たな画像が生成される。

このような処理により、撮影装置１においては、ハイライトムービーやハイライトフォト等の画像を作成する際に、撮影時のセンサ情報及び画像の内容を適切に反映させたスコアを算出することができる。そして、スコアに基づいて画像を選択することで、総合的にバランスのとれた良い画像を選択することができる。即ち、ぶれが少ない、水平である、顔が写っている、露出が適正である、合焦状態が良好であるといった条件を総合的に満たす画像を選択することができる。
また、撮影時における撮影装置１の姿勢が仰俯角を持っていた場合、水平角が０度でない状態で撮影された画像にも、より大きいスコアが付与され、より選択されやすいように処理される（第２評価モード）。
これにより、多様な画角で撮影された画像をより適切に選択することが可能となる。
また、撮影時に撮影装置１が平行移動成分をもって移動していた場合、平行移動成分に基づくぶれ量がスコアに反映され、より選択され難いように処理される（第３評価モード）。
これにより、センサで直接検出し難い平行移動成分によるぶれをスコアに反映させることができ、より適切に画像を選択することが可能となる。

以上のように構成される撮影装置１は、付帯情報取得部５３と、画像内容評価部５５と、総合評価部５６とを備える。
付帯情報取得部５３は、画像の撮影時における、当該撮影装置１が備えるセンサによる測定値を取得する。
画像内容評価部５５は、撮影された画像の内容を取得する。
総合評価部５６は、付帯情報取得部５３により取得された測定値及び候補画像取得部５２により取得された画像の内容の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価する。
これにより、撮影時のセンサ情報及び画像の内容を適切に反映させた画像の評価を行うことができる。
したがって、適切に撮影画像を評価することができる。

また、撮影装置１は、付帯情報評価部５４を更に備える。
付帯情報評価部５４は、付帯情報取得部５３により取得された測定値に基づき、撮影された画像を評価する。
画像内容評価部５５は、取得された画像の内容に基づき、撮影された画像を評価する。
総合評価部５６は、付帯情報評価部５４による評価及び画像内容評価部５５による評価の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価する。
これにより、撮影時のセンサ情報及び画像の内容を適切に反映させた画像のスコアを算出することができる。
したがって、このスコアに基づいて画像を評価することで、適切に撮影画像を評価することができる。

付帯情報評価部５４は、センサによる絶対的な測定値に基づき、撮影された画像を評価する。
また、付帯情報評価部５４は、センサによる相対的な測定値である変化量に基づき、撮影された画像を評価する。
これにより、センサの測定値自体から判断される絶対評価及びセンサの測定値の変化から判断される相対評価のそれぞれを反映させて、より適切に画像を評価することができる。

総合評価部５６は、絶対評価及び相対評価の各々に、更に所定の重み付けをした総合評価に基づき、撮影された画像を評価する。
これにより、絶対評価及び相対評価を適切に反映させて、画像を総合的に評価することが可能となる。

付帯情報評価部５４は、当該撮影装置１の角度を測定するセンサよる絶対的な測定値に基づき、撮影された画像を評価する。
これにより、撮影装置１の角度固有の適切性を反映させて、画像を評価することができる。

付帯情報評価部５４は、当該撮影装置１の角度を測定するセンサによる相対的な測定値である変化量に基づき、撮影された画像を評価する。
これにより、撮影装置１の角度変化における適切性を反映させて、画像を評価することができる。

付帯情報評価部５４は、当該撮影装置１の加速度を測定するセンサによる相対的な測定値である変化量に基づき、撮影された画像を評価する。
これにより、撮影装置１の加速度変化における適切性を反映させて、画像を評価することができる。

画像内容評価部５５は、撮影された画像の内容の全体に基づき、撮影された画像を評価する。
また、画像内容評価部５５は、撮影された画像の内容の特徴部分に基づき、撮影された画像を評価する。
これにより、画像の内容における全体と部分とを適切に反映させて、画像を総合的に評価することが可能となる。

総合評価部５６は、撮影された画像の内容の全体の評価及び特徴部分の評価の各々に、更に所定の重み付けをした総合評価に基づき、撮影された画像を評価する。
これにより、撮影された画像の内容の全体の評価及び特徴部分の評価を適切に反映させて、画像を総合的に評価することが可能となる。

画像内容評価部５５は、自動露出の結果に基づき、撮影された画像を評価する。
これにより、露出の適切性を反映させて、画像を評価することが可能となる。

画像内容評価部５５は、構図の解析結果に基づき、撮影された画像を評価する。
これにより、画角における被写体の配置の適切性を反映させて、画像を評価することが可能となる。

画像内容評価部５５は、特定被写体の検出結果に基づき、撮影された画像を評価する。
これにより、顔等の特定の被写体が写っているか否か、あるいは、写っている状態を適切に反映させて、画像を評価することが可能となる。

画像内容評価部５５は、自動フォーカス調整の結果に基づき、撮影された画像を評価する。
これにより、画像の合焦状態の適切性を反映させて、画像を評価することが可能となる。

また、撮影装置１は、画像生成部５７を備える。
画像生成部５７は、撮影された複数の画像から、前記総合評価手段による評価に基づき、画像を選択する。
これにより、適切な撮影画像を選択することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態において、画質スコアを算出する際に、ユーザが手動設定した内容（手動によりホワイトバランス設定した場合等）については、その評価項目の評価を高めるように重み付けを大きくすることが可能である。例えば、次式に基づいて、その評価項目のスコアを補正することができる。
評価項目のスコア＝（評価項目の測定値＋手動設定内容に付与する測定値のバイアス）×手動設定に付与するゲイン

また、上述の実施形態において、付帯情報評価部５４が第２評価モードにおける仰俯角に対応したスコアＳａを算出した計算式は、これに限らず、三角関数等を使用してもよい。

また、上述の実施形態において、各評価項目に対する重み付けは、第１評価モード、第２評価モード及び第３評価モードそれぞれにおいて、異なるものとしてもよい。また、同一の評価モードであっても、画像の評価結果の用途に応じて、異なる重み付けを設定することとしてもよい。このように重み付けを異ならせることにより、画像の評価目的に応じて適切な評価値を算出することができる。
また、上述の実施形態において、画質スコアを算出する際に、画像の特徴部分を、顔が写っているか否かに基づいて評価することとしたが、これに限られない。即ち、画像の内容を解析し、顔の大きさ、写っている顔の数、顔に基づく個人認証の結果、被写体の位置、シーン、コントラスト等の評価項目を設定し、これらの評価結果を画質スコアに反映させることとしてもよい。

また、上述の実施形態において、第３評価モードでぶれ量を算出する際に、行動推定結果として、歩行と走行とを区別しないものとして説明したが、これに限られない。即ち、速度（加速度×時間）によって歩行と走行とを区別し、関数ｆ（行動推定結果）が返す係数として、歩行と走行とで異なるものとしてもよい。この場合、例えば、時速７ｋｍを閾値として歩行と走行とを区別し、関数ｆ（行動推定結果）が、歩行の場合は係数０．７、走行の場合は係数１を返すこととしてもよい。

また、上述の実施形態において、撮像部１６、センサ部１７は、撮影装置１と一体のものとして説明したが、これに限られない。即ち、撮像部１６、センサ部１７は他の構成とは別の筐体からなり、撮像部１６により取得される撮像画像、センサ部１７により取得されるセンサ情報が、通信を介して送信されるように構成することとしてもよい。

また、上述の実施形態では、本発明が適用される撮影装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、評価処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮影装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像評価装置であって、
画像の撮影時における、当該画像評価装置が備えるセンサによる測定値を取得する測定値取得手段と、
撮影された画像の内容を取得する画像内容取得手段と、
前記測定値取得手段により取得された測定値及び前記画像内容取得手段により取得された画像の内容の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価する総合評価手段と、
を備えることを特徴とする画像評価装置。
［付記２］
前記測定値取得手段により取得された測定値に基づき、撮影された画像を評価する測定値評価手段と、
前記画像内容取得手段により取得された画像の内容に基づき、撮影された画像を評価する画像内容評価手段と、
を更に、備え、
前記総合評価手段は、前記測定値評価手段による評価及び前記画像内容評価手段による評価の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価することを特徴とする付記１に記載の画像評価装置。
［付記３］
前記測定値評価手段は、
前記センサによる絶対的な測定値に基づき、撮影された画像を評価する絶対値評価手段と、
前記センサによる相対的な測定値である変化量に基づき、撮影された画像を評価する相対値評価手段と、
を含むことを特徴とする付記２に記載の画像評価装置。
［付記４］
前記総合評価手段は、前記絶対値評価手段による評価及び前記相対値評価手段による評価の各々に、更に所定の重み付けをした総合評価に基づき、撮影された画像を評価することを特徴とする付記３に記載の画像評価装置。
［付記５］
前記絶対値評価手段は、当該画像評価装置の角度を測定するセンサよる絶対的な測定値に基づき、撮影された画像を評価することを特徴とする付記３に記載の画像評価装置。
［付記６］
前記相対値評価手段は、当該画像評価装置の角度を測定するセンサによる相対的な測定値である変化量に基づき、撮影された画像を評価することを特徴とする付記４または５に記載の画像評価装置。
［付記７］
前記相対値評価手段は、当該画像評価装置の加速度を測定するセンサによる相対的な測定値である変化量に基づき、撮影された画像を評価することを特徴とする付記４から６のいずれか１つに記載の画像評価装置。
［付記８］
前記画像内容評価手段は、
撮影された画像の内容の全体に基づき、撮影された画像を評価する画像全体評価手段と、
撮影された画像の内容の特徴部分に基づき、撮影された画像を評価する特徴部分評価手段と、
を含むことを特徴とする付記２から７のいずれか１つに記載の画像評価装置。
［付記９］
前記総合評価手段は、前記画像全体評価手段による評価及び前記特徴部分評価手段による評価の各々に、更に所定の重み付けをした総合評価に基づき、撮影された画像を評価することを特徴とする付記８に記載の画像評価装置。
［付記１０］
前記画像全体評価手段は、自動露出の結果に基づき、撮影された画像を評価することを特徴とする付記８または９に記載の画像評価装置。
［付記１１］
前記画像全体評価手段は、構図の解析結果に基づき、撮影された画像を評価することを特徴とする付記８から１０のいずれか１つに記載の画像評価装置。
［付記１２］
前記特徴部分評価手段は、特定被写体の検出結果に基づき、撮影された画像を評価することを特徴とする付記８から１１のいずれか１つに記載の画像評価装置。
［付記１３］
前記特徴部分評価手段は、自動フォーカス調整の結果に基づき、撮影された画像を評価することを特徴とする付記８から１２のいずれか１つに記載の画像評価装置。
［付記１４］
撮影された複数の画像から、前記総合評価手段による評価に基づき、画像を選択する選択手段を、更に備えることを特徴とする付記１から１３のいずれか１つに記載の画像評価装置。
［付記１５］
画像評価装置で実行される画像評価方法であって、
画像の撮影時における、当該画像評価装置が備えるセンサによる測定値を取得する測定値取得処理と、
撮影された画像の内容を取得する画像内容取得処理と、
前記測定値取得処理により取得された測定値及び前記画像内容取得処理により取得された画像の内容の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価する総合評価処理と、
を含むことを特徴とする画像評価方法。
［付記１６］
画像評価装置を制御するコンピュータに、
画像の撮影時における、当該画像評価装置が備えるセンサによる測定値を取得する測定値取得機能と、
撮影された画像の内容を取得する画像内容取得機能と、
前記測定値取得機能により取得された測定値及び前記画像内容取得機能により取得された画像の内容の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価する総合評価機能と、
を実現させることを特徴とするプログラム。

１・・・撮影装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・センサ部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・モード設定部，５２・・・候補画像取得部，５３・・・付帯情報取得部，５４・・・付帯情報評価部，５５・・・画像内容評価部，５６・・・総合評価部，５７・・・画像生成部，７１・・・画像記憶部

Claims (16)

1. 画像評価装置であって、
   画像の撮影時における、当該画像評価装置が備えるセンサによる測定値を取得する測定値取得手段と、
   撮影された画像の内容を取得する画像内容取得手段と、
   前記測定値取得手段により取得された測定値及び前記画像内容取得手段により取得された画像の内容の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価する総合評価手段と、
   を備えることを特徴とする画像評価装置。
2. 前記測定値取得手段により取得された測定値に基づき、撮影された画像を評価する測定値評価手段と、
   前記画像内容取得手段により取得された画像の内容に基づき、撮影された画像を評価する画像内容評価手段と、
   を更に、備え、
   前記総合評価手段は、前記測定値評価手段による評価及び前記画像内容評価手段による評価の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価することを特徴とする請求項１に記載の画像評価装置。
3. 前記測定値評価手段は、
   前記センサによる絶対的な測定値に基づき、撮影された画像を評価する絶対値評価手段と、
   前記センサによる相対的な測定値である変化量に基づき、撮影された画像を評価する相対値評価手段と、
   を含むことを特徴とする請求項２に記載の画像評価装置。
4. 前記総合評価手段は、前記絶対値評価手段による評価及び前記相対値評価手段による評価の各々に、更に所定の重み付けをした総合評価に基づき、撮影された画像を評価することを特徴とする請求項３に記載の画像評価装置。
5. 前記絶対値評価手段は、当該画像評価装置の角度を測定するセンサよる絶対的な測定値に基づき、撮影された画像を評価することを特徴とする請求項３に記載の画像評価装置。
6. 前記相対値評価手段は、当該画像評価装置の角度を測定するセンサによる相対的な測定値である変化量に基づき、撮影された画像を評価することを特徴とする請求項４または５に記載の画像評価装置。
7. 前記相対値評価手段は、当該画像評価装置の加速度を測定するセンサによる相対的な測定値である変化量に基づき、撮影された画像を評価することを特徴とする請求項４から６のいずれか１項に記載の画像評価装置。
8. 前記画像内容評価手段は、
   撮影された画像の内容の全体に基づき、撮影された画像を評価する画像全体評価手段と、
   撮影された画像の内容の特徴部分に基づき、撮影された画像を評価する特徴部分評価手段と、
   を含むことを特徴とする請求項２から７のいずれか１項に記載の画像評価装置。
9. 前記総合評価手段は、前記画像全体評価手段による評価及び前記特徴部分評価手段による評価の各々に、更に所定の重み付けをした総合評価に基づき、撮影された画像を評価することを特徴とする請求項８に記載の画像評価装置。
10. 前記画像全体評価手段は、自動露出の結果に基づき、撮影された画像を評価することを特徴とする請求項８または９に記載の画像評価装置。
11. 前記画像全体評価手段は、構図の解析結果に基づき、撮影された画像を評価することを特徴とする請求項８から１０のいずれか１項に記載の画像評価装置。
12. 前記特徴部分評価手段は、特定被写体の検出結果に基づき、撮影された画像を評価することを特徴とする請求項８から１１のいずれか１項に記載の画像評価装置。
13. 前記特徴部分評価手段は、自動フォーカス調整の結果に基づき、撮影された画像を評価することを特徴とする請求項８から１２のいずれか１項に記載の画像評価装置。
14. 撮影された複数の画像から、前記総合評価手段による評価に基づき、画像を選択する選択手段を、更に備えることを特徴とする請求項１から１３のいずれか１項に記載の画像評価装置。
15. 画像評価装置で実行される画像評価方法であって、
    画像の撮影時における、当該画像評価装置が備えるセンサによる測定値を取得する測定値取得処理と、
    撮影された画像の内容を取得する画像内容取得処理と、
    前記測定値取得処理により取得された測定値及び前記画像内容取得処理により取得された画像の内容の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価する総合評価処理と、
    を含むことを特徴とする画像評価方法。
16. 画像評価装置を制御するコンピュータに、
    画像の撮影時における、当該画像評価装置が備えるセンサによる測定値を取得する測定値取得機能と、
    撮影された画像の内容を取得する画像内容取得機能と、
    前記測定値取得機能により取得された測定値及び前記画像内容取得機能により取得された画像の内容の各々に所定の重み付けをした総合評価に基づき、撮影された画像を評価する総合評価機能と、
    を実現させることを特徴とするプログラム。

Images