JP2017098635A - 撮影装置、画像評価方法及びプログラム - Google Patents

Abstract

【課題】連写速度と評価の精度を両立させて、連続撮影される画像を適切に評価する撮影装置、画像評価方法及びプログラムを提供する。【解決手段】撮影装置は、画像評価部５６を備える。画像評価部５６は、連続して画像を撮影している期間中に、第１評価基準に基づき、撮影される撮影画像を評価する。また、画像評価部５６は、連続した画像の撮影が終了したことを契機として、評価された撮影画像を、第２評価基準に基づき、評価する。【選択図】図２

Description

本発明は、撮影装置、画像評価方法及びプログラムに関する。

従来より、決定的瞬間を逃さないように連写による撮影を行い、撮影後に、より写りのよい撮影画像を選択するといったことが行われている。撮影する枚数が多くなればなるほど後からの選択には手間がかかるため、例えば、特許文献１のように撮影時に評価値を撮影画像に付加しておき、後からその評価値に基づき自動で撮影画像を選択する技術が開示されている。

特開２００１−８１３５号公報

しかしながら、上述した特許文献１に開示されたような技術では、撮影時に評価値を付加するためには、連写速度の制限の中で評価を行う必要があるため、連写速度を優先すると評価の精度が下がり、評価の精度を優先すると連写速度が制限されるという背反する問題がある。

本発明は、このような状況に鑑みてなされたものであり、連写速度と評価の精度を両立させて、連続撮影される画像を適切に評価することを目的とする。

上記目的を達成するため、本発明の一態様の撮影装置は、
連続して画像を撮影している期間中に、第１の評価基準に基づき、撮影される撮影画像を評価する第１の評価手段と、
連続した画像の撮影が終了したことを契機として、前記第１の評価手段により評価された前記撮影画像を、第２の評価基準に基づき、評価する第２の評価手段と、
を備えることを特徴とする。

本発明によれば、連写速度と評価の精度を両立させて、連続撮影される画像を適切に評価することができる。

本発明の一実施形態に係る撮影装置のハードウェアの構成を示すブロック図である。 図１の撮影装置の機能的構成のうち、画像選択処理を実行するための機能的構成を示す機能ブロック図である。 図２の機能的構成を有する図１の撮影装置が実行する画像選択処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮影装置のハードウェアの構成を示すブロック図である。
撮影装置１は、例えば、デジタルカメラとして構成される。

撮影装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、センサ部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号が撮影画像のデータとして出力される。撮影画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給され、撮影画像が生成される。

センサ部１７は、加速度、角速度等の装置の姿勢に関する情報を取得可能な各種センサにより構成される。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。

出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。

通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

このように構成される撮影装置１では、高速連写やインターバル撮影等の撮影（以下、「連続撮影」という。）された大量の画像群から、最適な１枚の画像を短時間に選択することができる機能を有する。撮影装置１では、連続撮影期間中のリアルタイムな画像の選択（以下、「高速取捨選択」という。）と、連続撮影終了後の画像の選択（以下、「低速取捨選択」という。）の２段階の画像の選択を行う。
高速取捨選択の手法では、連続撮影のうちの各撮影時の加速度やジャイロ等のセンサ情報を解析して、画像が撮影された状況から画像の取捨選択を行う。本実施形態においては、センサ情報の解析結果から、ブレがある等の適切でない画像を選択しない。
また、低速取捨選択の手法では、画像解析を行って、画像の内容から画像の取捨選択を行う。本実施形態においては、画像解析の結果から、最適な１枚の画像を選択する。

図２は、図１の撮影装置１の機能的構成のうち、画像選択処理を実行するための機能的構成を示す機能ブロック図である。
画像選択処理とは、連続撮影された大量の撮影画像から、１枚の撮影画像を選択する一連の処理をいう。

画像選択処理を実行する場合には、図２に示すように、ＣＰＵ１１において、撮影制御部５１と、画像取得部５２と、センサ情報取得部５３と、画像解析部５４と、特徴量算出部５５と、画像評価部５６と、画像選択部５７と、が機能する。

また、記憶部２０の一領域には、画像記憶部７１と、特徴量記憶部７２と、が設定される。

画像記憶部７１には、撮像部１６で撮影された撮影画像のデータが記憶される。

特徴量記憶部７２には、センサ部１７から取得したセンサ情報（例えば、撮影装置１の撮影状態（水平角や仰角からの装置姿勢）、露光中のブレ量、手ブレ補正、カメラワーク推定（パンニング、チルティング推定等）、カメラアングル推定（鉛直推定）、行動推定結果等）に基づいて算出された特徴量と、画像解析結果（例えば、顔の有無、顔の位置、顔の数、個人認証、注目領域の位置、大きさ、コントラスト等）に基づいて算出された特徴量が記憶される。

撮影制御部５１は、撮影を行うように撮像部１６を制御する。
本実施形態においては、撮影制御部５１は、例えば、５秒間に３０ｆｐｓで連続撮影を行い、合計で１５０枚の撮影を行うように撮像部１６を制御する。

画像取得部５２は、撮像部１６によって撮影された撮影画像を取得する。

センサ情報取得部５３は、センサ部１７から取得した撮影画像に対応する撮影時のセンサ情報を取得する。高速取捨選択時には、センサ情報取得部５３は、連続撮影に対応して、センサ部１７からセンサ情報を取得する。
具体的には、センサ情報取得部５３は、例えば、撮影装置１の撮影状態（水平角や仰角からの装置姿勢）、露光中のブレ量、手ブレ補正、カメラワーク推定（パンニング、チルティング推定等）、カメラアングル推定（鉛直推定）、行動推定結果等をセンサ部１７から取得する。

画像解析部５４は、撮影画像の画像解析を行う。画像解析結果として、例えば、顔の有無、顔の位置、顔の数、個人認証の有無、注目領域の位置・大きさ、コントラスト等が出力される。画像解析は、既存の周知の画像解析技術を用いて行う。

特徴量算出部５５は、センサ情報や画像解析結果から評価基準に基づいて、評価に用いる特徴量を算出する。
例えば、評価基準としてセンサ情報のうち露光中のブレ量を用いる場合には、適切で品質が高い画像となるブレ量が少ない状態は、特徴量が多くなり、不適切で品質が低い画像となるブレ量が多い状態は特徴量が少なくなるように特徴量を算出する。また、評価基準としてセンサ情報のうち撮影状態を用いる場合には、適切で品質が高い画像となる水平な状態では、特徴量が多くなり、不適切で品質が低い画像となる水平でない状態は特徴量が少なくなるように特徴量を算出する。
また、評価基準として画像解析結果のうち顔の有無を用いるには、適切で品質が高い画像となる顔がある状態は特徴量が多くなり、不適切で品質が低い画像となる顔がない状態は特徴量が少なくなるように特徴量を算出する。また、評価基準として画像解析結果のうち注目領域の位置を用いる場合には、適切で品質が高い画像となる注目領域が画角の中央である状態では特徴量が多くなり、不適切で品質が低い画像となる注目領域が画角の中央以外である状態では特徴量が少なくなるように特徴量を算出する。
なお、特徴量は、所望する画像に応じて、適切／不適切・量の多寡が変わることになる。

画像評価部５６は、所定の評価基準に基づいて、撮影画像の評価を行う。
本実施形態においては、画像評価部５６は、高速取捨選択時には、撮影処理を優先させるために、撮影処理とは関係がなく処理負担の少ない第１評価基準に基づいて撮影画像の評価を行う。また、低速取捨選択時には、処理負担を考慮せずに精度の高い第２評価基準に基づいて撮影画像の評価を行う。
なお、低速取捨選択時には、さらに精度を高めるために、第１評価基準に基づいた評価も行うように構成してもよい。

第１評価基準は、センサ部１７から取得した連写撮影の撮影画像の各々に対応する撮影時のセンサ情報に基づき、例えば、露光中のブレ量と、撮影状態の特徴量を用いる。
第１評価基準に用いる特徴量を露光中のブレ量と、撮影状態とした場合には、例えば、露光中のブレ量が少ない場合や撮影状態が水平に近いほど、画像として適切で品質が高いために、高い特徴量となり、高い評価値が付与されて、結果として高い評価となる。

第２評価基準は、撮影画像の画像解析結果に基づき、例えば、顔の有無、顔の位置、顔の数、個人認証の有無、注目領域の位置・大きさ、コントラスト等の特徴量を用いる。
例えば、顔がある、顔の位置が画角の中央、顔の数多い／少ない、個人認証がある、注目領域の位置が画角の中央・大きさが大きい、コントラストが高いほど、画像としての品質が高いために、高い特徴量となり、高い評価値が付与され、結果として高い評価となる。

画像選択部５７は、評価結果に基づいて撮影画像を取捨選択する。
具体的には、画像選択部５７は、評価が低かった撮影画像を選択対象から外したり、評価が高かった撮影画像を選択したりする。
詳細には、画像選択部５７は、画像評価部５６による評価結果のうち、露光中のブレ量が少なく、撮影状態が水平でない撮影画像を除いた撮影画像を選択したり、画像評価部５６による評価結果のうち、最も特徴量が多い、評価値の高い撮影画像を選択したりする。
また、画像選択部５７は、選択した撮影画像を画像記憶部７１に仮保存／保存する。なお、画像記憶部７１への仮保存の場合には、本実施形態においては、ＲＡＷ形式の撮影画像を保存することになるため、予め保存枚数が決定されている。

図３は、図２の機能的構成を有する図１の撮影装置１が実行する画像選択処理の流れを説明するフローチャートである。
画像選択処理は、ユーザによる入力部１８への画像選択処理開始の操作により開始される。また、ユーザによる入力部１８への連続撮影開始操作により撮影制御部５１によって、撮像部１６が制御されて、連続撮影が行われる。なお、本実施形態においては、例えば、５秒間に３０ｆｐｓで連続撮影を行い、合計で１５０枚の撮影を行う。撮影装置１では、撮影の結果、撮影した１５０枚の画像から１枚の画像を選択することになる。

ステップＳ１１において、画像取得部５２は、連続撮影によって撮影された撮影画像を取得する。
そして、センサ情報取得部５３は、センサ部１７から取得した撮影画像に対応する撮影時のセンサ情報を取得する。センサ情報取得部５３は、センサ部１７から、例えば、露光中のブレ量、撮影状態を取得する。

ステップＳ１２において、特徴量算出部５５は、センサ情報取得部５３によって取得されたセンサ情報に基づいて、特徴量を算出する。具体的には、特徴量算出部５５は、露光中のブレ量、撮影状態における特徴量を算出する。算出した特徴量は、特徴量記憶部７２に記憶される。

ステップＳ１３において、画像評価部５６は、取得した撮影画像を評価対象として第１評価基準に基づいて評価する。具体的には、画像評価部５６は、特徴量算出部５５によって算出された特徴量から、第１評価基準として露光中のブレ量と、撮影状態を用いて、撮影画像を評価する。評価においては、例えば、露光中のブレ量が小さく、撮影状態が水平に近いほど、高い評価となる。

ステップＳ１４において、画像選択部５７は、仮保存されている枚数が所定の仮保存枚数以上であるか否かを判定する。
仮保存枚数以上でない場合には、ステップＳ１４においてＮＯと判定されて、処理はステップＳ１５に進む。

ステップＳ１５において、画像選択部５７は、仮保存枚数に達していないため、撮影画像を仮保存する。なお、仮保存される撮影画像は、ＲＡＷ形式（ベイヤ画像）で画像記憶部７１に保存される。その後、処理はステップＳ１７に進む。

これに対して、仮保存枚数以上であった場合には、ステップＳ１４においてＹＥＳと判定されて、処理はステップＳ１６に進む。

ステップＳ１６において、画像評価部５６による評価結果に基づいて、仮保存枚数となるように撮影画像を評価値により選択から外して破棄する。具体的には、画像選択部５７は、既に仮保存されている撮影画像と、今回の評価対象の撮影画像との評価値を比較して、今回の評価対象の撮影画像の評価値より、既に仮保存されている撮影画像のうち評価値の低い仮保存されている撮影画像がある場合は、その撮影画像を破棄して、今回の評価対象の撮影画像を仮保存する一方、今回の評価対象の撮影画像の評価値が、既に仮保存されている撮影画像の評価値のいずれよりも低い場合は、今回の評価対象の撮影画像を破棄して仮保存しない。即ち、既に仮保存されている撮影画像と、今回の評価対象の撮影画像の中で、評価の最も低い、最も露光中のブレ量が多く、撮影状態が水平でない撮影画像が仮保存の対象から外れて破棄される。
このようにして、連続撮影時にリアルタイムに評価の低い撮影画像が破棄されていく。

ステップＳ１７において、撮影制御部５１は、連続撮影が終了したか否かを判定する。なお、本実施形態においては、撮影制御部５１によって、３０ｆｐｓで連続撮影を行い５秒後に連続撮影を終了するように撮像部１６が制御される。
連続撮影が終了した場合には、ステップＳ１７においてＹＥＳと判定されて、処理はステップＳ１８に進む。
これに対して、連続撮影が終了していない場合には、ステップＳ１７においてＮＯと判定されて、処理はステップＳ１１に戻る。

ステップＳ１８において、画像解析部５４は、評価対象となる撮影画像の画像解析を行う。画像解析では、例えば、顔の有無、顔の位置、顔の数、個人認証の有無、注目領域の位置・大きさ、コントラスト等が結果として出力される。

ステップＳ１９において、特徴量算出部５５は、画像解析部５４によって解析された画像解析結果に基づいて、特徴量を算出する。具体的には、特徴量算出部５５は、顔の有無、顔の位置、顔の数、個人認証の有無、注目領域の位置・大きさ、コントラスト等における特徴量を算出する。算出した特徴量は、特徴量記憶部７２に記憶される。

ステップＳ２０において、画像評価部５６は、評価対象の撮影画像を第２評価基準に基づいて評価する。具体的には、画像評価部５６は、第２評価基準として画像解析部５４による画像解析結果を用いて、撮影画像を評価する。評価においては、例えば、顔がある、顔の位置が画角の中央、顔の数多い／少ない、個人認証がある、注目領域の位置が画角の中央、大きさが大きい、コントラストが高いほど、高い評価となる。

ステップＳ２１において、画像評価部５６は、全ての撮影画像を評価したか否かを判定する。
全ての撮影画像を評価した場合には、ステップＳ２１においてＹＥＳと判定されて、処理はステップＳ２２に進む。
これに対して、全ての撮影画像を評価していない場合には、ステップＳ２１においてＮＯと判定されて、処理はステップＳ１８に戻る。

ステップＳ２２において、画像選択部５７は、画像評価部５６による評価結果のうち、最も評価の高い撮影画像を選択して、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で画像記憶部７１に保存する。その結果、１５０枚撮影された画像の中から１枚の撮影画像を選択することができる。その後、画像選択処理は終了する。

したがって、本実施形態では、ステップＳ１１〜ステップＳ１６において高速取捨選択を行う、ステップＳ１８〜ステップＳ２２において低速取捨選択を行う。

なお、上述した実施形態では、撮影終了後の低速取捨選択時にもセンサ情報を用いて画像を判断するように構成してもよい。この際、高速取捨選択時と同様の手法で行ってもよいが、低速取捨選択時は撮影処理を行っていないために、処理負担の大きな手法を用いて、画像を判断するように構成してもよい。

即ち、連続撮影のうち高速連写撮影を行う場合や撮影装置１を体に装着してスポーツ等をしながらインターバル撮影をした場合には、ブレていたり傾いていたり、子供が写っていない等の画像が大量に撮影されてしまうことがある。また、これらの機能で撮影した大量の画像から、ユーザが後から所望の画像を選択することは大変である。

仮に連続撮影を５秒間に３０ｆｐｓで撮影を行ったときには１５０枚の大量の画像が撮影されるが、その中から１枚の画像を選択する場合、従来では、例えば、以下のようなことが行われており、実現が困難であった。
（１）高速連写で撮影した画像を全て保存しておき、後から選択する。
メモリは有限であり、撮影保持可能枚数は限られている。
さらに全ての画像を解析していると処理時間がかかってしまう。
（２）高速連写中に画像解析をし、リアルタイムに選択する。
連続連写（３０ｆｐｓの場合、３３ｍｓ）以内に処理を完了する必要があり、処理負荷の大きい解析処理はできない。

なお、画像選択のために用いるセンサ情報とは、以下のようのものがある。
・ジャイロセンサを用いた手ブレ検出（手ブレ補正）
・加速度センサやジャイロセンサを用いた行動推定
・加速度センサやジャイロセンサを用いたカメラワーク推定
・加速度センサ、もしくは加速度センサ＋ジャイロセンサによる鉛直推定（カメラアングル推定）

そこで、本実施形態の撮影装置１では、加速度とジャイロ等の各種センサのセンサ情報の解析によるリアルタイムスクリーニング（高速取捨選択：撮影処理を優先させた選択）と、画像解析（センサ情報の解析を含む）によるポスト解析（低速取捨選択：解析の精度を優先させた選択）による２段階選択処理によって、撮影された画像群の中から高速に最適な１枚を選択する。

したがって、撮影装置１では、加速度センサ、ジャイロセンサ等から取得したセンサ情報の解析による高速取捨選択と、画像解析（センサデータ解析を含む）による低速取捨選択の２段階選択によって、高速連写で撮影された大量の画像群から最適な１枚を短時間に選択することができる。
高速取捨選択では、センサ情報から算出できるブレ量やカメラ姿勢の特徴量を用って連続撮影時の処理と関わらない、かつ、処理負担の軽い選択を行う。
これに対して、低速取捨選択では、精度の高い画像から算出できる顔検出や構図解析などを利用した選択をする。
よって、撮影装置１では、連続撮影時での処理高速化と、連続撮影後の選択精度向上を両立させて、最適な画像を選択することができる。

以上のように構成される撮影装置１は、画像評価部５６を備える。
画像評価部５６は、連続して画像を撮影している期間中に、第１評価基準に基づき、撮影される撮影画像を評価する。
また、画像評価部５６は、連続した画像の撮影が終了したことを契機として、評価された撮影画像を、第２評価基準に基づき、評価する。
これにより、撮影装置１においては、連写速度と評価の精度を両立させて、連続撮影される画像を適切に評価することができる。

また、撮影装置１は、画像選択部５７を備える。
画像選択部５７は、連続して画像を撮影している期間中に、画像評価部５６による評価に基づき、撮影される撮影画像を選択する。
また、画像選択部５７は、連続した画像の撮影が終了したことを契機として、選択された撮影画像の中から、画像評価部５６により評価に基づき、当該撮影画像を選択する。
これにより、撮影装置１においては、連写速度と評価の精度を両立させて、連続撮影される画像から適切な画像を選択することができる。

画像評価部５６による第１評価基準の評価に基づいた評価処理は、画像選択部５７による第２評価基準の評価に基づいた評価処理よりも処理負担が軽い。
これにより、撮影装置１においては、連続して画像を撮影している期間中は、処理速度を優先した処理を行って、連写速度と評価の精度を両立させて、連続撮影される画像を適切に評価することができる。

また、撮影装置１においては、第１評価基準は、当該撮影装置１が取得する情報に基づく。
これにより、撮影装置１においては、当該撮影装置１が取得する情報に基づいているために、画像解析等を行う必要がなく、撮影処理に影響を抑えることができ、連写速度と評価の精度を両立させて、連続撮影される画像を適切に評価することができる。

また、撮影装置１は、当該装置の移動状況を検出するセンサ部１７を、更に備える。
また、撮影装置１は、センサ部１７により検出される移動状況に基づき算出された特徴量を算出する特徴量算出部５５を、更に備える。
また、撮影装置１においては、第１評価基準は、特徴量算出部５５により算出される特徴量に基づく。
これにより、撮影装置１においては、センサ部１７で検出された装置の移動状況に基づいて算出された特徴量を第１評価基準とするために、例えば、撮影のブレが想定される画像を外形的な情報から判断することができ、簡単に適切な評価を行うことができる。

また、撮影装置１においては、第２評価基準は、撮影画像の内容に基づく。
これにより、撮影装置１においては、連写速度と評価の精度を両立させて、連続撮影される画像を適切に評価することができる。

また、特徴量算出部５５は、撮影画像を解析して所定の解析評価基準に基づき特徴量を算出する。
また、撮影装置１においては、第２評価基準は、画像評価部５６により算出された特徴量に基づく。
これにより、撮影装置１においては、連続した画像の撮影終了後の撮影処理を考慮する必要がない状態で、処理負担の大きな第２評価基準を行うため、評価精度を高めることができ、連写速度と評価の精度を両立させて、連続撮影される画像を適切に評価することができる。

また、撮影装置１においては、第２評価基準は、注目する被写体の有無、大きさ、数又は位置に基づく。
これにより、撮影装置１においては、第２評価基準が注目する被写体の有無、大きさ、数又は位置基づいているために、精度の高い評価を行うことができ、連写速度と評価の精度を両立させて、連続撮影される画像を適切に評価することができる。

画像評価部５６は、第１評価基準を、更に加味して撮影画像を評価する。
これにより、撮影装置１においては、第２評価基準に第１評価基準を加味するため、より精度を高めることができ、連続撮影される画像をより適切に評価することができる。

画像選択部５７は、第１評価基準に基づいて選択されなかった撮影画像からは、選択しない。
これにより、撮影装置１においては、２段階で画像を選択するために、連続撮影される画像からより適切な画像を選択することができる。

また、撮影装置１は、画像選択部５７により選択された撮影画像を保存する画像記憶部７１を、更に備える。
これにより、撮影装置１においては、選択された撮影画像を保存することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、高速連写やインターバル撮影等の連続撮影として説明したが、通常の静止画の撮影や動画撮影であってもよく、動画撮影の場合には、動画を構成するフレーム画像が画像の選択対象となる。

また、上述の実施形態では、加速度センサ、ジャイロセンサ等の各種センサを例としたが、地磁気センサ、気圧センサ等のセンサを用いて各種センサ情報を利用してもよい。

また、上述の実施形態では、最終的に１枚の撮影画像を選択するようにしているが、１枚に限らず、ユーザの所望する任意の枚数の撮影画像を選択するようにしてもよい。

また、上述の実施形態では、撮影装置１においては、特徴量算出部５５は、第２評価基準として、画像解析部５４による画像解析の結果を使用して特徴量を算出するようにしているが、これに限らず、更に、センサ情報取得部５３により取得されたセンサ情報を解析した結果を使用した特徴量により、より高い精度の評価を行うように構成してもよい。

また、上述の実施形態では、撮影装置１においては、第２評価基準には複数の評価レベルが設定される。例えば、低速取捨選択時の評価に複数のレベルを設け、レベル毎に、よりハイライト度が高い画像、捨てるには惜しいかもしれない画像等のように、分類して保存するように構成してもよい。
具体的には、画像選択部５７は、評価レベルごとに分類して選択する。

また、上述の実施形態では、最適な撮影画像から評価の高い順に選択するように構成したが、好適でない撮影画像として、評価が所定の基準を満たない撮影画像を選択対象から外すように構成してもよい。また、好適でない画像順に選択する対象から外していき、最終的に予定した選択枚数となるように構成してもよい。

また、上述の実施形態では、本発明が適用される撮影装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像選択処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮影装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
連続して画像を撮影している期間中に、第１の評価基準に基づき、撮影される撮影画像を評価する第１の評価手段と、
連続した画像の撮影が終了したことを契機として、前記第１の評価手段により評価された前記撮影画像を、第２の評価基準に基づき、評価する第２の評価手段と、
を備えることを特徴とする撮影装置。
［付記２］
連続して画像を撮影している期間中に、前記第１の評価手段による評価に基づき、撮影される撮影画像を選択する第１の選択手段と、
連続した画像の撮影が終了したことを契機として、前記第１の選択手段により選択された前記撮影画像の中から、前記第２の評価手段による評価に基づき、当該撮影画像を選択する第２の選択手段と、
を更に、備えることを特徴とする付記１に記載の撮影装置。
［付記３］
前記第１の評価手段による評価処理は、前記第２の評価手段による評価処理よりも処理負担が軽い、
ことを特徴とする付記１又は２に記載の撮影装置。
［付記４］
前記第１の評価基準は、当該撮影装置が取得する情報に基づく、
ことを特徴とする付記１乃至３の何れか１つに記載の撮影装置。
［付記５］
当該撮影装置の移動状況を検出する検出手段と、
前記検出手段により検出される移動状況に基づき算出された第１の特徴量を算出する第１の特徴量算出手段と、
を、更に備え、
前記第１の評価基準は、前記第１の特徴量算出手段により算出される第１の特徴量に基づく、
ことを特徴とする付記４に記載の撮影装置。
［付記６］
前記第２の評価基準は、前記撮影画像の内容に基づく、
ことを特徴とする付記１乃至５の何れか１つに記載の撮影装置。
［付記７］
前記撮影画像を解析して所定の解析評価基準に基づき第２の特徴量を算出する第２の特徴量算出手段を、更に備え、
前記第２の評価基準は、前記第２の特徴量算出手段により算出された前記第２の特徴量に基づく、
ことを特徴とする付記６に記載の撮影装置。
［付記８］
前記第２の評価基準は、注目する被写体の有無、大きさ、数又は位置に基づく、
ことを特徴とする付記７に記載の撮影装置。
［付記９］
前記第２の評価手段は、前記第１の評価基準を、更に加味して前記撮影画像を評価する、
ことを特徴とする付記１乃至８の何れか１つに記載の撮影装置。
［付記１０］
前記第２の評価基準には複数の評価レベルが設定され、
前記第２の評価手段は、評価レベルごとに分類して評価する、
ことを特徴とする付記１乃至９の何れか１つに記載の撮影装置。
［付記１１］
前記第２の選択手段は、前記第１の選択手段により選択されなかった撮影画像からは、選択しない、
ことを特徴とする付記２に記載の撮影装置。
［付記１２］
前記第２の選択手段により選択された前記撮影画像を保存する保存手段を、更に備える、
ことを特徴とする付記２又は１１に記載の撮影装置。
［付記１３］
撮影装置で実行される画像評価方法であって、
連続して画像を撮影している期間中に、第１の評価基準に基づき、撮影される撮影画像を評価する第１の評価処理と、
連続した画像の撮影が終了したことを契機として、前記第１の評価処理により評価された前記撮影画像を、第２の評価基準に基づき、評価する第２の評価処理と、
を含むことを特徴とする画像評価方法。
［付記１４］
撮影装置を制御するコンピュータを、
連続して画像を撮影している期間中に、第１の評価基準に基づき、撮影される撮影画像を評価する第１の評価機能と、
連続した画像の撮影が終了したことを契機として、前記第１の評価機能により評価された前記撮影画像を、第２の評価基準に基づき、評価する第２の評価機能と、
を実現させることを特徴とするプログラム。

１・・・撮影装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・センサ部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮影制御部，５２・・・画像取得部，５３・・・センサ情報取得部，５４・・・画像解析部，５５・・・特徴量算出部，５６・・・画像評価部，５７・・・画像選択部，７１・・・画像記憶部，７２・・・特徴量記憶部

Claims (14)

1. 連続して画像を撮影している期間中に、第１の評価基準に基づき、撮影される撮影画像を評価する第１の評価手段と、
   連続した画像の撮影が終了したことを契機として、前記第１の評価手段により評価された前記撮影画像を、第２の評価基準に基づき、評価する第２の評価手段と、
   を備えることを特徴とする撮影装置。
2. 連続して画像を撮影している期間中に、前記第１の評価手段による評価に基づき、撮影される撮影画像を選択する第１の選択手段と、
   連続した画像の撮影が終了したことを契機として、前記第１の選択手段により選択された前記撮影画像の中から、前記第２の評価手段による評価に基づき、当該撮影画像を選択する第２の選択手段と、
   を更に、備えることを特徴とする請求項１に記載の撮影装置。
3. 前記第１の評価手段による評価処理は、前記第２の評価手段による評価処理よりも処理負担が軽い、
   ことを特徴とする請求項１又は２に記載の撮影装置。
4. 前記第１の評価基準は、当該撮影装置が取得する情報に基づく、
   ことを特徴とする請求項１乃至３の何れか１項に記載の撮影装置。
5. 当該撮影装置の移動状況を検出する検出手段と、
   前記検出手段により検出される移動状況に基づき算出された第１の特徴量を算出する第１の特徴量算出手段と、
   を、更に備え、
   前記第１の評価基準は、前記第１の特徴量算出手段により算出される第１の特徴量に基づく、
   ことを特徴とする請求項４に記載の撮影装置。
6. 前記第２の評価基準は、前記撮影画像の内容に基づく、
   ことを特徴とする請求項１乃至５の何れか１項に記載の撮影装置。
7. 前記撮影画像を解析して所定の解析評価基準に基づき第２の特徴量を算出する第２の特徴量算出手段を、更に備え、
   前記第２の評価基準は、前記第２の特徴量算出手段により算出された前記第２の特徴量に基づく、
   ことを特徴とする請求項６に記載の撮影装置。
8. 前記第２の評価基準は、注目する被写体の有無、大きさ、数又は位置に基づく、
   ことを特徴とする請求項７に記載の撮影装置。
9. 前記第２の評価手段は、前記第１の評価基準を、更に加味して前記撮影画像を評価する、
   ことを特徴とする請求項１乃至８の何れか１項に記載の撮影装置。
10. 前記第２の評価基準には複数の評価レベルが設定され、
    前記第２の評価手段は、評価レベルごとに分類して評価する、
    ことを特徴とする請求項１乃至９の何れか１項に記載の撮影装置。
11. 前記第２の選択手段は、前記第１の選択手段により選択されなかった撮影画像からは、選択しない、
    ことを特徴とする請求項２に記載の撮影装置。
12. 前記第２の選択手段により選択された前記撮影画像を保存する保存手段を、更に備える、
    ことを特徴とする請求項２又は１１に記載の撮影装置。
13. 撮影装置で実行される画像評価方法であって、
    連続して画像を撮影している期間中に、第１の評価基準に基づき、撮影される撮影画像を評価する第１の評価処理と、
    連続した画像の撮影が終了したことを契機として、前記第１の評価処理により評価された前記撮影画像を、第２の評価基準に基づき、評価する第２の評価処理と、
    を含むことを特徴とする画像評価方法。
14. 撮影装置を制御するコンピュータを、
    連続して画像を撮影している期間中に、第１の評価基準に基づき、撮影される撮影画像を評価する第１の評価機能と、
    連続した画像の撮影が終了したことを契機として、前記第１の評価機能により評価された前記撮影画像を、第２の評価基準に基づき、評価する第２の評価機能と、
    を実現させることを特徴とするプログラム。

Images