JP2017091291A - 画像評価装置、画像評価方法及びプログラム - Google Patents

画像評価装置、画像評価方法及びプログラム Download PDF

Info

Publication number
JP2017091291A
JP2017091291A JP2015221847A JP2015221847A JP2017091291A JP 2017091291 A JP2017091291 A JP 2017091291A JP 2015221847 A JP2015221847 A JP 2015221847A JP 2015221847 A JP2015221847 A JP 2015221847A JP 2017091291 A JP2017091291 A JP 2017091291A
Authority
JP
Japan
Prior art keywords
unit
state
images
evaluation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015221847A
Other languages
English (en)
Other versions
JP6701677B2 (ja
Inventor
康佑 松本
Kosuke Matsumoto
康佑 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015221847A priority Critical patent/JP6701677B2/ja
Publication of JP2017091291A publication Critical patent/JP2017091291A/ja
Application granted granted Critical
Publication of JP6701677B2 publication Critical patent/JP6701677B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】動体が撮影された複数の画像の評価を適正に行う。
【解決手段】撮像装置100であって、複数の画像を連続して撮影した際の撮像装置の状態を検出する装置評価部206cと、複数の画像内における動体の状態を検出する動体評価部206dと、検出された撮像装置の状態及び動体の状態に基づいて、複数の画像を評価する画像評価部206eと、を備えている。
【選択図】図3

Description

本発明は、画像評価装置、画像評価方法及びプログラムに関する。
従来、撮影された複数の画像からより良い画像を選択するために、撮影時における装置のブレ量を特徴量として評価する技術が使用されている。また、特徴量として、画像の水平度を用いる手法も知られている(例えば、特許文献1参照)。
特開2010−262531号公報
しかしながら、上記特許文献の場合、例えば、定点撮影のように撮像装置が固定されている状態でインターバル撮影された複数の画像は、装置のブレ量や水平度等を特徴量としても差が生じないという問題がある。特に、動体を撮影する場合、露光時間によっては被写体がブレた画像が撮影される虞があるものの、上記した技術では、画像内で被写体がブレているか否かに関して評価することができない。
そこで、本願発明の課題は、動体が撮影された複数の画像の評価を適正に行うことができる画像評価装置、画像評価方法及びプログラムを提供することである。
上記課題を解決するための本発明の一態様は、画像評価装置であって、
複数の画像を連続して撮影した際の撮像装置の状態を検出する装置状態検出手段と、
前記複数の画像内における動体の状態を検出する動体状態検出手段と、
前記装置状態検出手段により検出された前記撮像装置の状態と、前記動体状態検出手段により検出された前記動体の状態とに基づいて、前記複数の画像を評価する画像評価手段と、
を備えたことを特徴としている。
本発明によれば、動体が撮影された複数の画像の評価を適正に行うことができる。
本発明を適用した一実施形態の撮像装置を示す斜視図である。 図1の撮像装置を構成する撮像ユニットの概略構成を示すブロック図である。 図1の撮像装置を構成する制御ユニットの概略構成を示すブロック図である。 図1の撮像装置による画像評価処理に係る動作の一例を示すフローチャートである。 図4の画像評価処理に係る複数の画像の一例を模式的に示す図である。 図4の画像評価処理における動体評価処理に係る動作の一例を示すフローチャートである。 図6の動体評価処理を説明するための図である。 図6の動体評価処理を説明するための図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1(a)及び図1(b)は、本発明を適用した一実施形態の撮像装置100の概略構成を示す図である。
図1(a)及び図1(b)に示すように、本実施形態の撮像装置100は、着脱自在に構成された撮像ユニット1と制御ユニット2とを備え、これら撮像ユニット1と制御ユニット2とが所定の無線通信回線を介して無線通信を行う。すなわち、撮像装置100は、撮像ユニット1と制御ユニット2とを組み合わせた合体状態(図1(a)参照)や、撮像ユニット1と制御ユニット2とを分離させた分離状態(図1(b)参照)で使用可能となっている。
具体的には、撮像ユニット1と制御ユニット2とは、着脱機構3を介して着脱自在に接続される。
着脱機構3は、例えば、撮像ユニット1の筐体1Aの一端に設けられた金属製のプレート31と、制御ユニット2の筐体の一面側(図1(a)及び図1(b)における下面側)に設けられた着脱用スリット(図示略)とを有している。そして、着脱用スリット内にプレート31が差し込まれ、図示しないロック機構によりロックされることで、撮像ユニット1と制御ユニット2とが分離不可の状態に組み合わされる(図1(a)参照)。
また、制御ユニット2の筐体2Aの側面に設けられた接続解除ボタン32が押されることで、ロックが解除され、撮像ユニット1と制御ユニット2とを分離可能な状態となる(図1(b)参照)。
また、着脱機構3は、撮像ユニット1の筐体1Aと制御ユニット2の筐体2Aの一面どうしを重ね合わせた状態となるように略180°回動自在なヒンジ部33を備えている。これにより、例えば、撮像ユニット1と制御ユニット2の合体状態にて、撮像ユニット1のレンズ部103a(後述)が被写体側に露出される一方で、制御ユニット2の表示パネル204a(後述)がユーザ側に露出された状態、すなわち、一般的なデジタルカメラのような形態での使用が可能となる。
次に、撮像ユニット1について、図2を参照して説明する。
図2は、撮像ユニット1の概略構成を示すブロック図である。
撮像ユニット1は、主要な機能を撮像機能とし、被写体を撮影する。具体的には、図2に示すように、撮像ユニット1は、中央制御部101と、メモリ102と、撮像部103と、信号処理部104と、動き検出部105と、無線制御部106と、操作入力部107等を備えている。
また、中央制御部101、メモリ102、撮像部103、信号処理部104、動き検出部105、無線制御部106は、バスライン108を介して接続されている。
中央制御部101は、撮像ユニット1の各部を制御するものである。具体的には、中央制御部101は、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備え、撮像ユニット1用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
メモリ102は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部101の他、当該撮像ユニット1の各部によって処理されるデータ等を一時的に記録する。
撮像部103は、レンズ部103aと、電子撮像部103bと、撮像制御部103cとを備えている。
レンズ部103aは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部103bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサ(撮像素子)から構成され、レンズ部103aの各種レンズを通過した光学像を二次元の画像信号に変換する。
撮像制御部103cは、例えば、タイミング発生器、ドライバ等を備えている。そして、撮像制御部103cは、タイミング発生器、ドライバにより電子撮像部103bを走査駆動して、レンズ部103aにより結像された光学像を電子撮像部103bにより二次元の画像信号に変換させ、当該電子撮像部103bの撮像領域から1画面分ずつフレーム画像を読み出して信号処理部104に出力させる。
また、撮像制御部103cは、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の制御を行う。
信号処理部104は、電子撮像部103bから転送されたフレーム画像のアナログ値の信号に対して各種の画像信号処理を施す。具体的には、信号処理部104は、電子撮像部103bから転送されたフレーム画像のアナログ値の信号に対してRGBの色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
また、信号処理部104は、生成された各フレーム画像の画像データを無線制御部106に出力する。
動き検出部105は、3軸角速度センサ105aと、3軸加速度センサ105bとを具備している。
3軸角速度センサ105aは、例えば、撮像ユニット1の互いに直交する3軸(ロール軸、ピッチ軸及びヨー軸)を中心とする回動の角速度をそれぞれ検出する。そして、動き検出部105は、例えば、被写体の撮影の際等に、3軸角速度センサ105aにより逐次検出された信号を角速度情報として無線制御部106に出力する。
3軸加速度センサ105bは、例えば、撮像ユニット1の互いに直交する3軸方向の加速度をそれぞれ検出する。そして、動き検出部105は、例えば、被写体の撮影の際等に、3軸加速度センサ105bにより逐次検出された信号を加速度情報として無線制御部106に出力する。
無線制御部106は、所定の無線通信回線を介して接続された制御ユニット2との間で通信制御を行う。
すなわち、無線制御部106は、例えば、通信アンテナ106aを介して制御ユニット2との間でBluetooth(登録商標)の通信規格に基づく無線通信を行うための制御モジュール(図示略)を具備している。この無線制御部106は、例えば、予めペアリングと呼ばれる通信設定処理を行うことで、互いのデバイス情報や認証鍵のデータを無線信号により制御ユニット2と交換する。これにより、その後、通信設定処理を毎回行わなくとも、例えば、撮像ユニット1と制御ユニット2とが電波が届かない範囲に離れれば通信接続が解除される一方で、電波が届く範囲に近づけば自動的に通信接続される。
具体的には、無線制御部106は、信号処理部104から出力されて入力された画像データを通信アンテナ106aを介して制御ユニット2に送信する。
また、無線制御部106は、動き検出部105から出力されて入力された角速度情報及び加速度情報を通信アンテナ106aを介して制御ユニット2に送信する。このとき、無線制御部106は、画像データと角速度情報及び加速度情報とを対応付けて制御ユニット2に送信しても良い。
操作入力部107は、例えば、被写体の撮影指示に係るシャッタボタン、撮影モードや機能等の選択指示に係る選択決定ボタン(何れも図示略)等を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部107は、操作されたボタンに応じた操作指示を中央制御部101に出力する。中央制御部101は、操作入力部107から出力され入力された操作指示に従って所定の動作を各部に実行させる。
次に、制御ユニット2について、図3を参照して説明する。
図3は、制御ユニット2の概略構成を示すブロック図である。
制御ユニット2は、主要な機能を制御機能や表示機能としている。具体的には、図3に示すように、制御ユニット2は、中央制御部201と、メモリ202と、無線制御部203と、表示部204と、画像記録部205と、評価制御部206と、操作入力部207等を備えている。
また、中央制御部201、メモリ202、無線制御部203、表示部204、画像記録部205及び評価制御部206は、バスライン208を介して接続されている。
中央制御部201は、制御ユニット2の各部を制御するものである。具体的には、中央制御部201は、図示は省略するが、CPU、RAM、ROMを備え、制御ユニット2用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
メモリ202は、例えば、DRAM等により構成され、中央制御部201の他、当該制御ユニット2の各部によって処理されるデータ等を一時的に記録する。
無線制御部203は、所定の無線通信回線を介して接続された撮像ユニット1との間で通信制御を行う。
すなわち、無線制御部203は、上記撮像ユニット1の無線制御部106と略同様の構成をなし、例えば、通信アンテナ203aを介して撮像ユニット1との間でBluetoothの通信規格に基づく無線通信を行うための制御モジュール(図示略)を具備している。
具体的には、無線制御部203は、撮像ユニット1から送信された各フレーム画像の画像データを通信アンテナ203aを介して受信する。また、無線制御部203は、撮像ユニット1から送信された角速度情報及び加速度情報を通信アンテナ203aを介して受信する。
また、無線制御部203は、受信した画像データや角速度情報や加速度情報をメモリ202に出力しても良く、当該メモリ202は、画像データや角速度情報や加速度情報を一時的に格納する。
表示部204は、表示パネル204aの表示画面に画像を表示する。
すなわち、表示部204は、静止画像や動画像の撮影モードにて、撮像ユニット1による被写体の撮影により生成された複数のフレーム画像を表示パネル204aに表示する。具体的には、表示部204は、撮像ユニット1から送信されて無線制御部203により受信された複数のフレーム画像の画像データをメモリ202から取得し、所定の再生フレームレートで逐次更新しながら表示パネル204aの表示画面に表示する。
なお、表示パネル204aは、例えば、液晶表示パネルや有機EL(Electro-Luminescence)表示パネル等から構成されているが、一例であってこれらに限られるものではない。
画像記録部205は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、撮像ユニット1により撮影された被写体の画像を記録する。具体的には、画像記録部205は、例えば、撮像ユニット1から送信されて無線制御部203により受信された複数のフレーム画像の画像データをメモリ202から取得し、取得された画像データを所定の圧縮形式(例えば、JPEG形式等)で符号化して記録用の静止画像の画像データとして記録する。このとき、画像記録部205は、各フレーム画像の画像データと角速度情報及び加速度情報とが対応付けられている場合には、当該画像データと角速度情報及び加速度情報とを対応付けて記録しても良い。
なお、画像記録部205は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
評価制御部206は、画像取得部206aと、定点撮影判定部206bと、装置評価部206cと、動体評価部206dと、画像評価部206eと、画像選択部206fを具備している。
なお、評価制御部206の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
画像取得部206aは、画像評価処理(後述)の処理対象となる複数の画像I、…(図5参照)を取得する。
ここで、複数の画像I、…は、被写体が連続して撮影されたものであれば良く、動画像であっても良いし、所定の撮影時間間隔を空けてインターバル撮影されたものであっても良い。
すなわち、画像取得部206aは、撮像ユニット1により被写体が連続して撮影された複数の画像I、…を取得する。具体的には、画像取得部206aは、撮像ユニット1から送信されて無線制御部203により受信された複数のフレーム画像の画像データの複製をメモリ202から取得する。例えば、画像取得部206aは、画角外から動体であるサッカーボール(被写体)が画角内に移動してきて、地面で跳ねて画角から外れるという状態を撮影した五枚の画像I1〜I5を取得する。
なお、画像評価処理の処理対象を画像記録部205に記録されている複数の静止画像とする場合には、画像取得部206aは、画像記録部205から読み出され復号された複数の静止画像の画像データの複製を取得しても良い。
定点撮影判定部(判定手段)206bは、撮像装置100による定点撮影であるか否かを判定する。
すなわち、定点撮影判定部206bは、画像評価処理の際に、処理対象となる複数の画像I、…を撮影した際の撮像装置100の撮影状況が、当該撮像装置100による定点撮影であるか否かを判定する。具体的には、定点撮影判定部206bは、画像取得部206aにより画像評価処理の処理対象として取得された複数の画像I、…の各々と対応付けられている角速度情報(例えば、ロール軸回りの角速度等)に基づいて、複数の画像I、…を撮影した際の撮像装置100のブレ量をそれぞれ算出する。例えば、定点撮影が行われる場合、撮像装置100が三脚等に固定された状態となるため、当該撮像装置100自体にブレは生じないと考えられる。
そして、定点撮影判定部206bは、算出された撮像装置100のブレ量に基づいて、定点撮影であるか否かを判定する。
なお、定点撮影判定部206bは、例えば、画像評価処理の処理対象の複数の画像I、…の各々から特徴点を抽出し、抽出された特徴点どうしにずれが生じているか否かに応じて定点撮影であるか否かを判定するようにしても良い。ここでの判定の具体的な手法は、後述する被写体ブレ評価部d2による判定手法を援用しても良い。
装置評価部(装置評価手段)206cは、撮像装置100の状態を評価する。
すなわち、装置評価部206cは、画像取得部206aにより画像評価処理の処理対象として取得された複数の画像I、…を連続して撮影した際の撮像装置100の状態を評価する。具体的には、装置評価部206cは、装置ブレ評価部c1と、姿勢評価部c2とを具備している。
装置ブレ評価部(装置ブレ評価手段)c1は、複数の画像I、…を撮影した際の撮像装置100のブレ量に基づいて当該撮像装置100の状態を評価する。
すなわち、装置ブレ評価部c1は、複数の画像I、…間での特徴点のずれ量を撮像装置100のブレ量として検出する。具体的には、装置ブレ評価部c1は、複数の画像I、…の各々に対して特徴抽出処理を行い、複数の画像I、…のうちの、何れか一の画像(例えば、一枚目の画像I1等)を基準画像として、当該基準画像から所定数の特徴の高いブロック領域(特徴点)を選択し、当該ブロックの内容をテンプレートとして検出する。また、装置ブレ評価部c1は、複数の画像I、…のうちの、基準画像以外の画像(例えば、二枚目の画像I2等)内にて各テンプレートがどこに対応するか、つまり、テンプレートの画素値が最適にマッチする位置(対応領域)をそれぞれ探索する探索処理を行う。そして、装置ブレ評価部c1は、例えば、複数の画像I、…を撮影した撮像ユニット1の撮像部103の撮像素子の画素ピッチ、露光時間、焦点距離等に基づいて、複数の画像I、…間での特徴点のずれ量を撮像素子の画素数に換算して、撮像装置100のブレ量として検出する。
また、装置ブレ評価部c1は、検出された撮像装置100のブレ量が大きくなるほど評価が低く(悪く)なるように、撮像装置100のブレ量を所定数の段階(例えば、5段階等)で評価する。例えば、撮像素子の有効画素数を1200万画素とした場合、装置ブレ評価部c1は、1画素のズレが生じていないと「100点」、1画素のズレが生じていると「80点」、2画素のズレが生じていると「60点」、3画素のズレが生じていると「40点」、4画素のズレが生じていると「20点」、5画素以上のズレが生じていると「0点」とする評価付けを行う。
そして、装置ブレ評価部c1は、複数の画像I、…の各々についての評価の結果(点数)を「装置ブレスコア」として画像評価部206eに出力する。
なお、上記した装置ブレ評価部c1による評価手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、上記した特徴抽出処理や探索処理は、公知の技術であるので、ここでは詳細な説明は省略する。
また、装置ブレ評価部c1は、複数の画像I、…を連続して撮影した際の撮像装置100の角速度情報に基づいて当該撮像装置100のブレ量を検出しても良い。ここでの判定の具体的な手法は、上記した定点撮影判定部206bによる判定手法を援用しても良い。
姿勢評価部(姿勢評価手段)c2は、複数の画像I、…を撮影した際の撮像装置100の姿勢に基づいて撮像装置100の状態を評価する。
すなわち、姿勢評価部c2は、複数の画像I、…を撮影した際の撮像装置100の水平度に基づいて撮像装置100の姿勢を検出する。具体的には、姿勢評価部c2は、複数の画像I、…の各々と対応付けられている加速度情報に基づいて、複数の画像I、…を撮影した際の撮像装置100の重力方向に対する傾きをそれぞれ算出する。そして、姿勢評価部c2は、算出された撮像装置100の重力方向に対する傾きから当該撮像装置100の水平度を撮像装置100の姿勢として検出する。
撮像装置100の水平度とは、当該撮像装置100の構え方(例えば、横持ちや縦持ち等)に拘わらず、ピッチ軸の延在方向が重力方向と直交する状態を水平として、最も水平度が高く(良く)なる。また、ピッチ軸の延在方向が重力方向に対して45°傾いた状態が最も水平度が低く(悪く)なる。
例えば、姿勢評価部c2は、検出された撮像装置100の姿勢が水平に近いほど評価が高くなり、ピッチ軸の延在方向と重力方向とのなす角度が45°に近いほど評価が低くなるように、撮像装置100の姿勢を45°の範囲内で連続的に評価する。具体的には、姿勢評価部c2は、撮像装置100の姿勢が水平であると「100点」、ピッチ軸の延在方向と重力方向とのなす角度が45°であると「0点」、ピッチ軸の延在方向と重力方向とのなす角度に応じて「99点」〜「1点」とする評価付けを行う。
そして、姿勢評価部c2は、複数の画像I、…の各々についての評価の結果(点数)を「装置姿勢スコア」として画像評価部206eに出力する。
なお、上記した姿勢評価部c2による評価手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
動体評価部(動体評価手段)206dは、複数の画像I、…内における動体の状態を評価する。
すなわち、動体評価部206dは、画像取得部206aにより画像評価処理の処理対象として取得された複数の画像I、…間にて移動する被写体(動体;例えば、サッカーボール等)の状態を評価する。具体的には、動体評価部206dは、動体検出評価部d1と、被写体ブレ評価部d2とを具備している。
動体検出評価部(動体検出評価手段)d1は、動体の検出結果に基づいて当該動体の状態を評価する。以下、図7参照。
すなわち、動体検出評価部d1は、複数の画像I、…間での差分情報に基づいて動体の検出を行い、この動体の検出結果に基づいて動体の状態を評価する。具体的には、動体検出評価部d1は、複数の画像I、…の各々を対象画像(例えば、一枚目の画像I1等)とし、対象画像の各々について総当たりで比較画像(対象画像自体を含む)との間で対応する画素どうしの差分の絶対値から差分絶対値画像Dをそれぞれ生成する。そして、動体検出評価部d1は、対象画像の各々について、生成された差分絶対値画像Dの画素値の総和を差分絶対値和としてそれぞれ算出する。
つまり、移動する被写体を撮影した場合、被写体が写っている画像を対象画像とすると、差分絶対値和の値が大きくなり、一方、被写体が写っていない画像を対象画像とすると、差分絶対値和の値が小さくなる。例えば、動体であるサッカーボールが写っている画像(例えば、二枚目から四枚目の画像I2〜I4等)では、差分絶対値和の値が大きくなり、サッカーボールが写っていない画像(例えば、一枚目の画像I1や五枚目の画像I5等)では、差分絶対値和の値が小さくなる。
また、動体検出評価部d1は、対象画像の各々について算出された差分絶対値和を「0」〜「100」の範囲の値で正規化し、正規化後の値を評価の結果(「動体検出スコア」)として画像評価部206eに出力する。
被写体ブレ評価部(被写体ブレ評価手段)d2は、複数の画像I、…内での被写体のブレ量に基づいて動体の状態を評価する。以下、図8参照。
すなわち、被写体ブレ評価部d2は、複数の画像I、…間での差分領域における対象画像のエッジ情報に基づいて被写体のブレ量を検出し、検出された被写体のブレ量に基づいて動体の状態を評価する。具体的には、被写体ブレ評価部d2は、複数の画像I、…の各々を対象画像(例えば、一枚目の画像I1等)とし、対象画像の各々に対してエッジ検出処理を施してエッジ画像E(例えば、五枚のエッジ画像E1〜E5等)をそれぞれ生成する。また、被写体ブレ評価部d2は、対象画像の各々について、動体検出評価部d1により生成された比較画像(対象画像自体を含む)の各々との間の差分絶対値画像Dを取得し、取得された差分絶対値画像Dを所定の閾値で二値化した二値化画像Bをそれぞれ生成する。そして、被写体ブレ評価部d2は、生成された二値化画像Bの各々をマスク処理用の画像として、対象画像の各々についてマスクされていない領域(図中の白抜き部分)内のエッジ強度をそれぞれ算出する。そして、被写体ブレ評価部d2は、対象画像の各々について、算出されたエッジ強度の総和をエッジ強度和としてそれぞれ算出する。
つまり、移動する被写体を撮影した場合、被写体が鮮明に写っている画像を対象画像とすると、エッジ強度和の値が大きくなり、一方、被写体がブレて写っている画像や全く写っていない画像を対象画像とすると、エッジ強度和の値が小さくなる。例えば、動体であるサッカーボールが鮮明に写っている画像(例えば、三枚目の画像I3等)では、エッジ強度和の値が最も大きくなり、サッカーボールが全く写っていない画像(例えば、一枚目の画像I1や五枚目の画像I5等)では、エッジ強度和の値が最も小さくなり、サッカーボールがブレて写っている画像(例えば、二枚目の画像I2や四枚目の画像I4等)では、エッジ強度和の値が上記した値の中間程度となる。
また、被写体ブレ評価部d2は、対象画像の各々について算出されたエッジ強度和を「0」〜「100」の範囲の値で正規化し、正規化後の値を評価の結果(「被写体ブレスコア」)として画像評価部206eに出力する。
画像評価部(画像評価手段)206eは、装置評価部206cにより評価された撮像装置100の状態と、動体評価部206dにより評価された動体の状態とに基づいて、複数の画像I、…を総合的に評価する。
すなわち、画像評価部206eは、装置評価部206cにより評価された撮像装置100の状態と、動体評価部206dにより評価された動体の状態とを統合して、複数の画像I、…を評価する。ここで、画像評価部206eは、定点撮影判定部206bにより定点撮影であると判定された場合に、上記のように、撮像装置100の状態と動体の状態とを統合して複数の画像I、…の評価を行っても良い。
具体的には、画像評価部206eは、動体検出評価部d1から出力された複数の画像I、…の各々についての「動体検出スコア」を取得するとともに、被写体ブレ評価部d2から出力された複数の画像I、…の各々についての「被写体ブレスコア」を取得し、これら「動体検出スコア」と「被写体ブレスコア」を加算して、「動体スコア」とする。また、画像評価部206eは、装置ブレ評価部c1から出力された複数の画像I、…の各々についての「装置ブレスコア」を取得するとともに、姿勢評価部c2から出力された複数の画像I、…の各々についての「装置姿勢スコア」を取得する。
そして、画像評価部206eは、複数の画像I、…の各々について、下記式(1)に従って「画像スコア」をそれぞれ算出する。
画像スコア=装置ブレスコア+装置姿勢スコア+動体スコア×f …式(1)
なお、上記式において、「f」は、撮像装置100のブレ量等に応じて規定される係数であるが、例えば、定点撮影判定部206bによる定点撮影であるか否かの判定結果に応じて簡易的に「0」或いは「1」を用いても良い。つまり、撮像装置100による定点撮影である場合には、撮像装置100にブレが生じない状態であると考えられるため、「f」の値を「1」とし、定点撮影でない場合には、撮像装置100にブレが生じ得る状態であると考えられるため、「f」の値を「0」とする。
上記式(1)によれば、定点撮影である場合には、「装置ブレスコア」や「装置姿勢スコア」自体に変化がほとんどないため、「動体検出スコア」が高くなる被写体(動体)が写っている画像で、且つ、「被写体ブレスコア」が高くなる被写体(動体)が鮮明に写っている画像(例えば、三枚目の画像I3等)の「画像スコア」が高くなる。また、定点撮影でない場合には、複数の画像I、…からの動体の検出自体が不可能となるため、「動体スコア」は重視されず、「装置ブレスコア」や「装置姿勢スコア」に応じて「画像スコア」が高くなる。
画像選択部(選択手段)206fは、複数の画像I、…の中から画像を選択する。
すなわち、画像選択部206fは、画像評価部206eによる評価の結果に基づいて、画像取得部206aにより画像評価処理の処理対象として取得された複数の画像I、…の中から、画像評価部206eにより算出された「画像スコア」の最も高かった一の画像(例えば、三枚目の画像I3)や、「画像スコア」が所定の閾値以上となった所定数の画像を選択する。
操作入力部207は、例えば、制御ユニット2本体の電源のON/OFFに係る電源ボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部207は、操作されたボタンに応じた操作指示を中央制御部201に出力する。中央制御部201は、操作入力部207から出力され入力された操作指示に従って所定の動作を各部に実行させる。
なお、操作入力部207は、表示パネル204aと一体となって設けられたタッチパネル(図示略)を有していても良く、ユーザによるタッチパネルの所定操作に基づいて、当該所定操作に応じた操作指示を中央制御部201に出力しても良い。
<画像評価処理>
次に、本実施形態の撮像装置100による画像評価処理について、図4〜図8を参照して説明する。
図4は、画像評価処理に係る動作の一例を示すフローチャートである。また、図5(a)〜図5(e)は、画像評価処理に係る複数の画像I、…の一例を模式的に示す図である。
なお、以下に説明する画像評価処理では、撮像ユニット1と制御ユニット2とが所定の無線通信回線(例えば、Bluetooth)を介して接続されているものとする。
図4に示すように、先ず、撮像ユニット1は、被写体を所定の撮影時間間隔を空けて連続して撮影し、信号処理部104は、電子撮像部103bにより光電変換された複数のフレーム画像の画像データを生成する(ステップS1)。このとき、動き検出部105の3軸角速度センサ105aは、撮像ユニット1の互いに直交する3軸(ロール軸、ピッチ軸及びヨー軸)を中心とする回動の角速度をそれぞれ検出するとともに、3軸加速度センサ105bは、撮像ユニット1の互いに直交する3軸方向の加速度をそれぞれ検出する。
そして、無線制御部106は、信号処理部104から複数のフレーム画像の画像データを取得するとともに、動き検出部105から角速度情報及び加速度情報を取得し、画像データと角速度情報と加速度情報とを対応付けて制御ユニット2に送信する(ステップS2)。この送信処理は、各フレーム画像毎に行われても良いし、撮像ユニット1による撮影の終了後に複数のフレーム画像をまとめて行われても良い。
次に、制御ユニット2の無線制御部203は、撮像ユニット1から送信された各フレーム画像の画像データと角速度情報と加速度情報を通信アンテナ203aを介して受信する(ステップS3)。そして、無線制御部203は、受信した画像データと角速度情報と加速度情報をメモリ202に出力して、当該メモリ202に一時的に格納させる。
その後、画像取得部206aは、画像評価処理の処理対象として、メモリ202に一時的に格納されている複数のフレーム画像の画像データの複製を当該メモリ202から取得する(ステップS4)。例えば、画像取得部206aは、画角外から動体であるサッカーボール(被写体)が画角内に移動してきて、地面で跳ねて画角から外れるという状態を撮影した五枚の画像I1〜I5を取得する。
続けて、定点撮影判定部206bは、画像評価処理の処理対象として取得された複数の画像I、…を撮影した際の撮像装置100の撮影状況が、当該撮像装置100による定点撮影であるか否かを特定する(ステップS5)。具体的には、定点撮影判定部206bは、例えば、五枚の画像I1〜I5の各々と対応付けられている角速度情報に基づいて撮像装置100のブレ量をそれぞれ算出し、算出された撮像装置100のブレ量に基づいて、定点撮影であるか否かを判定する。
そして、定点撮影判定部206bは、定点撮影であるか否かの判定結果を画像評価部206eに出力する。
次に、装置評価部206cの装置ブレ評価部c1は、複数の画像I、…の各々について、撮像装置100のブレ量に基づいて当該撮像装置100の状態を評価する(ステップS6)。具体的には、装置ブレ評価部c1は、例えば、五枚の画像I1〜I5の各々について、画像I間での特徴点のずれ量を撮像素子の画素数に換算して、撮像装置100のブレ量として検出する。そして、装置ブレ評価部c1は、検出されたブレ量に応じた評価の結果(点数)を「装置ブレスコア」として画像評価部206eに出力する。
続けて、装置評価部206cの姿勢評価部c2は、複数の画像I、…の各々について、撮像装置100の姿勢に基づいて当該撮像装置100の状態を評価する(ステップS7)。具体的には、姿勢評価部c2は、例えば、五枚の画像I1〜I5の各々について、各画像Iと対応付けられている加速度情報に基づいて撮像装置100の重力方向に対する傾きをそれぞれ算出し、撮像装置100の水平度を撮像装置100の姿勢として検出する。そして、姿勢評価部c2は、検出された姿勢(水平度)に応じた評価の結果(点数)を「装置姿勢スコア」として画像評価部206eに出力する。
なお、上記した撮像装置100のブレ量に基づく当該撮像装置100の状態の評価と、撮像装置100の姿勢に基づく当該撮像装置100の状態の評価の順序は、一例であってこれに限られるものではなく、例えば、逆であっても良い。
次に、動体評価部206dは、複数の画像I、…内における動体の状態を評価する動体評価処理(図6参照)を行う(ステップS8)。
以下に、動体評価処理について、図6〜図8を参照して詳細に説明する。
<動体評価処理>
図6は、動体評価処理に係る動作の一例を示すフローチャートである。また、図7は、動体評価処理における動体検出評価処理を説明するための図であり、図8は、動体評価処理における被写体ブレ評価処理を説明するための図である。
図6に示すように、動体評価部206dは、画像評価処理の処理対象として取得された複数の画像I、…(例えば、五枚の画像I1〜I5等)の中で、何れか一の画像(例えば、一枚目の画像I1等)を対象画像として指定する(ステップS21)。
そして、動体評価部206dの動体検出評価部d1は、対象画像について総当たりで比較画像(例えば、五枚の画像I1〜I5等)との間での差分絶対値画像Dをそれぞれ生成する(ステップS22;図7参照)。続けて、動体検出評価部d1は、対象画像について、生成された差分絶対値画像Dの画素値の総和を差分絶対値和として算出する(ステップS23)。なお、算出された差分絶対値和の値は、所定の格納手段(例えば、メモリ202等)に一時的に格納されても良い。
次に、動体評価部206dの被写体ブレ評価部d2は、対象画像に対してエッジ検出処理を施してエッジ画像E(例えば、一枚目の画像I1のエッジ画像E1等)を生成する(ステップS24;図8参照)。
続けて、被写体ブレ評価部d2は、対象画像について、動体検出評価部d1により生成された比較画像の各々との間の差分絶対値画像Dを所定の閾値で二値化して二値化画像Bをそれぞれ生成する(ステップS25)。
そして、被写体ブレ評価部d2は、生成された二値化画像Bの各々をマスク処理用の画像として、対象画像についてマスクされていない領域内のエッジ強度をそれぞれ算出し(ステップS26)、算出されたエッジ強度の総和をエッジ強度和として算出する(ステップS27)。なお、算出されたエッジ強度和の値は、所定の格納手段(例えば、メモリ202等)に一時的に格納されても良い。
次に、動体評価部206dは、複数の画像I、…(例えば、五枚の画像I1〜I5等)の全ての画像を画像評価処理の処理対象として処理したか否かを判定する(ステップS28)。
ここで、全ての画像を画像評価処理の処理対象として処理していないと判定されると(ステップS28;NO)、動体評価部206dは、複数の画像I、…(例えば、五枚の画像I1〜I5等)の中で、次の画像(例えば、二枚目の画像I2等)を対象画像として指定する(ステップS29)。そして、動体評価部206dは、処理をステップS22に戻し、新たに対象画像として指定された画像について、ステップS22以降の各処理を実行する。すなわち、新たに対象画像として指定された画像について、動体検出評価部d1は、差分絶対値和を算出し(ステップS22、S23)、被写体ブレ評価部d2は、エッジ強度和を算出する(ステップS24〜S27)。
一方、ステップS28にて、全ての画像を画像評価処理の処理対象として処理したと判定されると(ステップS28;YES)、動体検出評価部d1は、対象画像の各々(例えば、五枚の画像I1〜I5の各々等)について算出された差分絶対値和を正規化した値を「動体検出スコア」として画像評価部206eに出力する(ステップS30)。続けて、被写体ブレ評価部d2は、対象画像の各々について算出されたエッジ強度和を正規化した値を「被写体ブレスコア」として画像評価部206eに出力する(ステップS31)。
なお、上記した動体評価処理では、動体の検出結果に基づく当該動体の状態の評価と、被写体のブレ量に基づく動体の状態の評価の順序は、一例であってこれに限られるものではなく、例えば、逆であっても良い。
図4に戻り、画像評価部206eは、装置評価部206cにより評価された撮像装置100の状態と、動体評価部206dにより評価された動体の状態とを統合して、複数の画像I、…(例えば、五枚の画像I1〜I5等)を総合的に評価する(ステップS9)。
具体的には、画像評価部206eは、複数の画像I、…の各々について、動体検出評価部d1から出力された「動体検出スコア」と、被写体ブレ評価部d2から出力された「被写体ブレスコア」とを取得して加算し、「動体スコア」とする。また、画像評価部206eは、複数の画像I、…の各々について、装置ブレ評価部c1から出力された「装置ブレスコア」と、姿勢評価部c2から出力された「装置姿勢スコア」を取得する。そして、画像評価部206eは、複数の画像I、…の各々について、「装置ブレスコア」、「装置姿勢スコア」及び「動体スコア」(「動体検出スコア」及び「被写体ブレスコア」)に基づいて、上記式(1)に従って「画像スコア」をそれぞれ算出する。
そして、画像選択部206fは、画像評価部206eによる評価の結果に基づいて、複数の画像I、…の中から画像を選択する(ステップS10)。例えば、画像選択部206fは、複数の画像I、…の中から、画像評価部206eにより算出された「画像スコア」の最も高かった一の画像(例えば、三枚目の画像I3)等を選択する。
なお、選択された画像の画像データは、表示部204に転送されて表示パネル204aに表示されても良いし、画像記録部205に転送されて記録されても良い。
以上のように、本実施形態の撮像装置100によれば、複数の画像I、…を連続して撮影した際の撮像装置100の状態の評価結果と、複数の画像I、…内における動体の状態の評価結果とに基づいて、複数の画像I、…を評価するので、例えば、定点撮影のように撮像装置100が固定されている状態、すなわち、撮像装置100のブレ量や水平度といった状態に基づく評価が困難な状況で撮影された複数の画像I、…であっても、画像I内での動体の状態を考慮して当該画像Iの評価を行うことができ、また、例えば、撮像装置100が固定されていない状態で撮影された複数の画像I、…の場合には、従来と略同様に、撮像装置100の状態を重視して当該画像Iの評価を行うことができる。
従って、複数の画像I、…を撮影した際の撮影状況を考慮して、動体が撮影された複数の画像I、…の評価を適正に行うことができる。さらに、当該複数の画像I、…の評価の結果に基づいて、複数の画像複数の画像I、…の中からの画像の選択を適正に行うことができる。
また、例えば、撮像装置100のブレ量に基づいて、撮像装置100による定点撮影であるか否かの判定を行い、当該判定結果を利用することで、撮像装置100の状態を重視して複数の画像I、…の評価を行ったり、動体の状態も考慮して複数の画像I、…の評価を行ったりすることができる。
また、複数の画像I、…間での差分情報に基づいて動体の検出を行い、動体の検出結果に基づいて動体の状態を評価し、さらに、複数の画像I、…間での差分領域における対象画像のエッジ情報に基づいて被写体のブレ量を検出し、検出された被写体のブレ量に基づいて動体の状態を評価するので、単に動体が検出されたか否かだけでなく、被写体がブレているか否かも考慮して、動体の状態を適正に評価することができる。すなわち、例えば、露光時間を相対的に長くすることによっては被写体がブレた画像が複数撮影された場合であっても、これらの画像の評価を適正に行うことができる。
また、複数の画像I、…間での特徴点のずれ量や撮像装置100の角速度を利用して撮像装置100のブレ量を検出することができ、検出された撮像装置100のブレ量に基づいて撮像装置100の状態の評価を適正に行うことができる。さらに、複数の画像I、…を撮影した際の撮像装置100の水平度を利用して撮像装置100の姿勢を検出することができ、検出された撮像装置100の姿勢に基づいて撮像装置100の状態の評価を適正に行うことができる。
従って、撮像装置100による定点撮影であるか否かに拘わらず、撮像装置100のブレ量や撮像装置100の姿勢を利用することで、撮像装置100の状態の評価を適正に行うことができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、定点撮影であるか否かの判定を、複数の画像I、…を撮影した際の撮像装置100のブレ量を基準として行うようにしたが、一例であってこれに限られるものではなく、例えば、撮像ユニット1と制御ユニット2とが一体となっている場合には、撮像装置100による定点撮影であると判定しても良い。
すなわち、例えば、撮像ユニット1と制御ユニット2の分離状態では、撮像ユニット1をユーザの身体等に装着した状態での撮影が想定されることから、撮像ユニット1と制御ユニット2とを組み合わせた合体状態では、定点撮影判定部206bは、撮像装置100のブレ量を判定することなく、定点撮影であると判断する。撮像ユニット1と制御ユニット2が合体状態であるか分離状態であるかの判断は、例えば、着脱用スリット内に差し込まれたプレート31がロックされている状態であるか否かに応じて行っても良い。
また、上記実施形態にあっては、撮像ユニット1による被写体の撮影が終了した後に、制御ユニット2により複数の画像I、…の各々を評価する処理を行うようにしたが、一例であってこれに限られるものではなく、例えば、撮像ユニット1による被写体の撮影と並行して制御ユニット2による画像の評価を逐次行うようにしても良い。
また、上記実施形態にあっては、装置状態検出手段としての装置評価部206cにより検出された複数の画像I、…を連続して撮影した際の撮像装置100の状態と、動体状態検出手段としての動体評価部206dにより検出された複数の画像I、…内における動体の状態とに基づいて、複数の画像I、…を評価するようにしても良い。
また、上記実施形態にあっては、例えば、動体評価部206dが、連続して撮影された複数の画像I、…内における動体の検出結果及び複数の画像I、…内での被写体のブレ量に基づいて、当該動体の状態を評価し、画像評価部206eが、評価された動体の状態と、複数の画像I、…を撮影した際の撮影状況とに基づいて、複数の画像I、…を評価するようにしても良い。
これにより、例えば、定点撮影のように撮像装置100が固定されている状態、すなわち、撮像装置100のブレ量や水平度といった状態に基づく評価が困難な状況で撮影された複数の画像I、…であっても、画像I内での動体の状態を考慮して当該画像Iの評価を行うことができる。従って、上記実施形態と同様に、複数の画像I、…を撮影した際の撮影状況を考慮して、動体が撮影された複数の画像I、…の評価を適正に行うことができる。
さらに、上記した撮像装置100の構成は、一例であってこれに限られるものではなく、適宜任意に変更可能である。すなわち、撮像装置100は、必ずしも撮像ユニット1と制御ユニット2とに分離可能に構成されている必要はなく、これらが一体となっている構成であっても良い。
また、撮像ユニット1及び制御ユニット2の構成は、一例であってこれらに限られるものではない。すなわち、撮像ユニット1及び制御ユニット2は、例えば、互いに対応する専用の装置である必要はなく、例えば、撮像ユニット1は、撮像機能を具備するものであれば、デジタルカメラや携帯電話やスマートフォンやPDA(Personal Data Assistants)等から構成されても良いし、また、制御ユニット2は、少なくとも撮像ユニット1により撮像された画像データ等を取得可能なものであれば、上記と同様に、携帯電話やスマートフォンやPDA等から構成されても良い。
また、撮像ユニット1は、所定の圧縮形式(例えば、JPEG形式等)で符号化した記録用の画像データを画像記録部(図示略)に記録するように構成され、制御ユニット2による画像評価が行われる際に、必要に応じて画像データを制御ユニット2に送信するようにしても良い。
さらに、撮像ユニット1と制御ユニット2とが無線通信を行うようにしたが、一例であってこれに限られるものではなく、例えば、有線で接続して通信を行っても良い。
また、画像評価装置として、撮像装置100を例示したが、これに限られるものではなく、撮像機能を具備するか否かは適宜任意に変更可能である。すなわち、撮像装置100は、撮像ユニット1以外の撮像手段(例えば、外部機器の撮像部等)により撮像された複数の画像I、…を画像評価処理の処理対象としても良い。
加えて、上記実施形態にあっては、装置状態検出手段、動体状態検出手段、画像評価手段としての機能を、制御ユニット2の中央制御部201のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムを記録するプログラムメモリ(図示略)に、装置状態検出処理ルーチン、動体状態検出処理ルーチン、画像評価処理ルーチンを含むプログラムを記録しておく。そして、装置状態検出処理ルーチンにより中央制御部201のCPUを、複数の画像I、…を連続して撮影した際の撮像装置100の状態を検出する手段として機能させるようにしても良い。また、動体状態検出処理ルーチンにより中央制御部201のCPUを、複数の画像I、…内における動体の状態を検出する手段として機能させるようにしても良い。また、画像評価処理ルーチンにより中央制御部201のCPUを、検出された撮像装置100の状態及び動体の状態に基づいて、複数の画像I、…を評価する手段として機能させるようにしても良い。
同様に、装置評価手段、動体評価手段、判定手段、動体検出評価手段、被写体ブレ評価手段、装置ブレ評価手段、姿勢評価手段、選択手段についても、中央制御部201のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
複数の画像を連続して撮影した際の撮像装置の状態を検出する装置状態検出手段と、
前記複数の画像内における動体の状態を検出する動体状態検出手段と、
前記装置状態検出手段により検出された前記撮像装置の状態と、前記動体状態検出手段により検出された前記動体の状態とに基づいて、前記複数の画像を評価する画像評価手段と、
を備えたことを特徴とする画像評価装置。
<請求項2>
前記装置状態検出手段により検出された前記撮像装置の状態を評価する装置評価手段と、
前記動体状態検出手段により検出された前記動体の状態を評価する動体評価手段と、
を更に備え、
前記画像評価手段は、前記装置評価手段による前記撮像装置の状態の評価結果と、前記動体評価手段による前記動体の状態の評価結果とに基づいて、前記複数の画像を評価することを特徴とする請求項1に記載の画像評価装置。
<請求項3>
前記撮像装置による定点撮影であるか否かを判定する判定手段を、更に備え、
前記画像評価手段は、前記判定手段により定点撮影であると判定された場合に、前記動体状態検出手段による前記動体の状態に基づいて、前記複数の画像を評価することを特徴とする請求項2に記載の画像評価装置。
<請求項4>
前記判定手段は、前記複数の画像を撮影する際に前記装置状態検出手段により検出される前記撮像装置のブレ量に基づいて、定点撮影であるか否かを判定することを特徴とする請求項3に記載の画像評価装置。
<請求項5>
前記撮像装置は、撮像部を備える撮像ユニットと、前記撮像ユニットと着脱自在に構成された制御ユニットとを備え、
前記判定手段は、前記撮像ユニットと前記制御ユニットとが一体となっている場合に、前記撮像装置による定点撮影であると判定することを特徴とする請求項3に記載の画像評価装置。
<請求項6>
前記動体評価手段は、
前記動体の検出結果に基づいて当該動体の状態を評価する動体検出評価手段と、
前記複数の画像内での被写体のブレ量に基づいて前記動体の状態を評価する被写体ブレ評価手段と、を有することを特徴とする請求項2〜5の何れか一項に記載の画像評価装置。
<請求項7>
前記動体検出評価手段は、前記複数の画像間での差分情報に基づいて前記動体の検出を行い、前記動体の検出結果に基づいて前記動体の状態を評価することを特徴とする請求項6に記載の画像評価装置。
<請求項8>
前記被写体ブレ評価手段は、前記複数の画像間での差分領域における対象画像のエッジ情報に基づいて前記被写体のブレ量を検出し、検出された前記被写体のブレ量に基づいて前記動体の状態を評価することを特徴とする請求項7に記載の画像評価装置。
<請求項9>
前記装置評価手段は、
前記複数の画像を撮影した際の前記撮像装置のブレ量に基づいて前記撮像装置の状態を評価する装置ブレ評価手段と、
前記複数の画像を撮影した際の前記撮像装置の姿勢に基づいて前記撮像装置の状態を評価する姿勢評価手段と、を有することを特徴とする請求項2〜8の何れか一項に記載の画像評価装置。
<請求項10>
前記装置ブレ評価手段は、前記複数の画像間での特徴点のずれ量を前記撮像装置のブレ量として検出するか、或いは、前記撮像装置の角速度に基づいて前記撮像装置のブレ量を検出し、検出された前記撮像装置のブレ量に基づいて前記撮像装置の状態を評価することを特徴とする請求項9に記載の画像評価装置。
<請求項11>
前記姿勢評価手段は、前記複数の画像を撮影した際の前記撮像装置の水平度に基づいて前記撮像装置の姿勢を検出し、検出された前記撮像装置の姿勢に基づいて前記撮像装置の状態を評価することを特徴とする請求項9に記載の画像評価装置。
<請求項12>
前記画像評価手段による評価の結果に基づいて、前記複数の画像の中から画像を選択する選択手段を更に備えることを特徴とする請求項1〜11の何れか一項に記載の画像評価装置。
<請求項13>
連続して撮影された複数の画像内における動体の検出結果及び前記複数の画像内での被写体のブレ量に基づいて、当該動体の状態を評価する動体評価手段と、
前記動体評価手段による前記動体の状態の評価結果と、前記複数の画像を撮影した際の撮影状況とに基づいて、前記複数の画像を評価する画像評価手段と、
を備えたことを特徴とする画像評価装置。
<請求項14>
画像評価装置を用いた画像評価方法であって、
複数の画像を連続して撮影した際の撮像装置の状態を検出する処理と、
前記複数の画像内における動体の状態を検出する処理と、
検出された前記撮像装置の状態と、検出された前記動体の状態とに基づいて、前記複数の画像を評価する処理と、
を含むことを特徴とする画像評価方法。
<請求項15>
画像評価装置のコンピュータに、
複数の画像を連続して撮影した際の撮像装置の状態を検出する機能と、
前記複数の画像内における動体の状態を検出する機能と、
検出された前記撮像装置の状態と、検出された前記動体の状態とに基づいて、前記複数の画像を評価する機能と、
を実現させることを特徴とするプログラム。
100 撮像装置
1 撮像ユニット
103 撮像部
105 動き検出部
105a 3軸角速度センサ
105b 3軸加速度センサ
2 制御ユニット
206 評価制御部
206a 画像取得部
206b 定点撮影判定部
206c 装置評価部
c1 装置ブレ評価部
c2 姿勢評価部
206d 動体評価部
d1 動体検出評価部
d2 被写体ブレ評価部
206e 画像評価部
206f 画像選択部

Claims (15)

  1. 複数の画像を連続して撮影した際の撮像装置の状態を検出する装置状態検出手段と、
    前記複数の画像内における動体の状態を検出する動体状態検出手段と、
    前記装置状態検出手段により検出された前記撮像装置の状態と、前記動体状態検出手段により検出された前記動体の状態とに基づいて、前記複数の画像を評価する画像評価手段と、
    を備えたことを特徴とする画像評価装置。
  2. 前記装置状態検出手段により検出された前記撮像装置の状態を評価する装置評価手段と、
    前記動体状態検出手段により検出された前記動体の状態を評価する動体評価手段と、
    を更に備え、
    前記画像評価手段は、前記装置評価手段による前記撮像装置の状態の評価結果と、前記動体評価手段による前記動体の状態の評価結果とに基づいて、前記複数の画像を評価することを特徴とする請求項1に記載の画像評価装置。
  3. 前記撮像装置による定点撮影であるか否かを判定する判定手段を、更に備え、
    前記画像評価手段は、前記判定手段により定点撮影であると判定された場合に、前記動体状態検出手段による前記動体の状態に基づいて、前記複数の画像を評価することを特徴とする請求項2に記載の画像評価装置。
  4. 前記判定手段は、前記複数の画像を撮影する際に前記装置状態検出手段により検出される前記撮像装置のブレ量に基づいて、定点撮影であるか否かを判定することを特徴とする請求項3に記載の画像評価装置。
  5. 前記撮像装置は、撮像部を備える撮像ユニットと、前記撮像ユニットと着脱自在に構成された制御ユニットとを備え、
    前記判定手段は、前記撮像ユニットと前記制御ユニットとが一体となっている場合に、前記撮像装置による定点撮影であると判定することを特徴とする請求項3に記載の画像評価装置。
  6. 前記動体評価手段は、
    前記動体の検出結果に基づいて当該動体の状態を評価する動体検出評価手段と、
    前記複数の画像内での被写体のブレ量に基づいて前記動体の状態を評価する被写体ブレ評価手段と、を有することを特徴とする請求項2〜5の何れか一項に記載の画像評価装置。
  7. 前記動体検出評価手段は、前記複数の画像間での差分情報に基づいて前記動体の検出を行い、前記動体の検出結果に基づいて前記動体の状態を評価することを特徴とする請求項6に記載の画像評価装置。
  8. 前記被写体ブレ評価手段は、前記複数の画像間での差分領域における対象画像のエッジ情報に基づいて前記被写体のブレ量を検出し、検出された前記被写体のブレ量に基づいて前記動体の状態を評価することを特徴とする請求項7に記載の画像評価装置。
  9. 前記装置評価手段は、
    前記複数の画像を撮影した際の前記撮像装置のブレ量に基づいて前記撮像装置の状態を評価する装置ブレ評価手段と、
    前記複数の画像を撮影した際の前記撮像装置の姿勢に基づいて前記撮像装置の状態を評価する姿勢評価手段と、を有することを特徴とする請求項2〜8の何れか一項に記載の画像評価装置。
  10. 前記装置ブレ評価手段は、前記複数の画像間での特徴点のずれ量を前記撮像装置のブレ量として検出するか、或いは、前記撮像装置の角速度に基づいて前記撮像装置のブレ量を検出し、検出された前記撮像装置のブレ量に基づいて前記撮像装置の状態を評価することを特徴とする請求項9に記載の画像評価装置。
  11. 前記姿勢評価手段は、前記複数の画像を撮影した際の前記撮像装置の水平度に基づいて前記撮像装置の姿勢を検出し、検出された前記撮像装置の姿勢に基づいて前記撮像装置の状態を評価することを特徴とする請求項9に記載の画像評価装置。
  12. 前記画像評価手段による評価の結果に基づいて、前記複数の画像の中から画像を選択する選択手段を更に備えることを特徴とする請求項1〜11の何れか一項に記載の画像評価装置。
  13. 連続して撮影された複数の画像内における動体の検出結果及び前記複数の画像内での被写体のブレ量に基づいて、当該動体の状態を評価する動体評価手段と、
    前記動体評価手段による前記動体の状態の評価結果と、前記複数の画像を撮影した際の撮影状況とに基づいて、前記複数の画像を評価する画像評価手段と、
    を備えたことを特徴とする画像評価装置。
  14. 画像評価装置を用いた画像評価方法であって、
    複数の画像を連続して撮影した際の撮像装置の状態を検出する処理と、
    前記複数の画像内における動体の状態を検出する処理と、
    検出された前記撮像装置の状態と、検出された前記動体の状態とに基づいて、前記複数の画像を評価する処理と、
    を含むことを特徴とする画像評価方法。
  15. 画像評価装置のコンピュータに、
    複数の画像を連続して撮影した際の撮像装置の状態を検出する機能と、
    前記複数の画像内における動体の状態を検出する機能と、
    検出された前記撮像装置の状態と、検出された前記動体の状態とに基づいて、前記複数の画像を評価する機能と、
    を実現させることを特徴とするプログラム。
JP2015221847A 2015-11-12 2015-11-12 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム Expired - Fee Related JP6701677B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015221847A JP6701677B2 (ja) 2015-11-12 2015-11-12 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015221847A JP6701677B2 (ja) 2015-11-12 2015-11-12 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム

Publications (2)

Publication Number Publication Date
JP2017091291A true JP2017091291A (ja) 2017-05-25
JP6701677B2 JP6701677B2 (ja) 2020-05-27

Family

ID=58771681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015221847A Expired - Fee Related JP6701677B2 (ja) 2015-11-12 2015-11-12 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム

Country Status (1)

Country Link
JP (1) JP6701677B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021119462A (ja) * 2020-09-23 2021-08-12 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 信号機画像の処理方法、装置、コンピュータシステム及び路側デバイス
CN116193240B (zh) * 2023-04-27 2023-10-03 天津奇立软件技术有限公司 一种电子设备状态评估方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296713A (ja) * 2002-04-04 2003-10-17 Mitsubishi Electric Corp 顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法
WO2011074049A1 (ja) * 2009-12-18 2011-06-23 富士通株式会社 画像選別装置及び画像選別方法
JP2011151614A (ja) * 2010-01-21 2011-08-04 Nikon Corp 電子カメラ
JP2011172266A (ja) * 2011-04-27 2011-09-01 Casio Computer Co Ltd 撮像装置、撮像方法および撮像プログラム
JP2011176386A (ja) * 2010-01-28 2011-09-08 Panasonic Corp 撮像装置、画像表示装置及び画像表示プログラム
JP2013135444A (ja) * 2011-12-27 2013-07-08 Canon Inc 撮像装置およびその制御方法
JP2013223038A (ja) * 2012-04-13 2013-10-28 Olympus Imaging Corp 撮像装置及び撮像のための照明方法
JP2015154164A (ja) * 2014-02-12 2015-08-24 株式会社ニコン 電子機器、撮像装置、プログラム、及び電子機器システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296713A (ja) * 2002-04-04 2003-10-17 Mitsubishi Electric Corp 顔画像合成装置、顔画像合成方法およびその方法を実行するプログラムならびに顔画像合成装置を備えた通信用端末およびその通信用端末による通信方法
WO2011074049A1 (ja) * 2009-12-18 2011-06-23 富士通株式会社 画像選別装置及び画像選別方法
JP2011151614A (ja) * 2010-01-21 2011-08-04 Nikon Corp 電子カメラ
JP2011176386A (ja) * 2010-01-28 2011-09-08 Panasonic Corp 撮像装置、画像表示装置及び画像表示プログラム
JP2011172266A (ja) * 2011-04-27 2011-09-01 Casio Computer Co Ltd 撮像装置、撮像方法および撮像プログラム
JP2013135444A (ja) * 2011-12-27 2013-07-08 Canon Inc 撮像装置およびその制御方法
JP2013223038A (ja) * 2012-04-13 2013-10-28 Olympus Imaging Corp 撮像装置及び撮像のための照明方法
JP2015154164A (ja) * 2014-02-12 2015-08-24 株式会社ニコン 電子機器、撮像装置、プログラム、及び電子機器システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021119462A (ja) * 2020-09-23 2021-08-12 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 信号機画像の処理方法、装置、コンピュータシステム及び路側デバイス
JP7267333B2 (ja) 2020-09-23 2023-05-01 阿波▲羅▼智▲聯▼(北京)科技有限公司 信号機画像の処理方法、装置、コンピュータシステム及び路側デバイス
US11790772B2 (en) 2020-09-23 2023-10-17 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd Traffic light image processing
CN116193240B (zh) * 2023-04-27 2023-10-03 天津奇立软件技术有限公司 一种电子设备状态评估方法及系统

Also Published As

Publication number Publication date
JP6701677B2 (ja) 2020-05-27

Similar Documents

Publication Publication Date Title
JP6186521B2 (ja) 合焦制御装置、撮像装置、合焦制御方法、及び合焦制御プログラム
JP5776903B2 (ja) 画像処理装置及び画像処理方法並びにプログラム
JP5819564B2 (ja) 画像判定装置、撮像装置、3次元計測装置、画像判定方法、及びプログラム
JP5750558B2 (ja) 撮像装置及び合焦制御方法
CN109417592B (zh) 拍摄装置、拍摄方法及拍摄程序
JP6024728B2 (ja) 検出装置、検出方法及びプログラム
JPWO2017037978A1 (ja) 検出装置、検出方法、検出プログラムおよび撮像装置
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JPWO2020158069A1 (ja) 撮像装置、撮像方法、及びプログラム
JP6701677B2 (ja) 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム
KR102497526B1 (ko) 검출 장치, 검출 제어 방법 및 컴퓨터 프로그램
JP2013098935A (ja) 追尾装置及び追尾方法
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
JP5451364B2 (ja) 被写体追跡装置及びその制御方法
JP2009098850A (ja) 演算装置及びそのプログラム
JP6493746B2 (ja) 画像追尾装置及び画像追尾方法
JP6432290B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP6237201B2 (ja) 撮像装置、撮像システム、撮像方法及びプログラム
JP6810298B2 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置
WO2020110710A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2020116102A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2020003944A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2019202983A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
JP2017198872A (ja) 撮影装置、撮影制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200420

R150 Certificate of patent or registration of utility model

Ref document number: 6701677

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees