JP2018148483A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】静止画記録時において記録される画像とともに後の処理に有益な情報を記録することができる撮像装置及び撮像方法を提供すること。【解決手段】撮像装置１は、対象物を繰り返して撮像して複数の画像データを取得する撮像部１０と、画像データのうちの第１の画像データをユーザの操作に応じて選択する第１の選択部８０５ａと、第１の画像データに基づいて複数の画像データのうちの複数の第２の画像データを選択する第２の選択部８０５ｂと、第１の画像データと、複数の第２の画像データを含む動画データと、第１の画像データの特徴情報と、動画データの特徴情報とを記録媒体４０に記録する記録制御部８１０とを備える。【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

動画配信サイト等においてネットワーク上にアップロードされている動画は、膨大な数に上る。この膨大な数の動画の中からユーザの所望の画像を見つけることができるようにするための各種の提案がなされている。例えば、特許文献１の動画検索装置は、動画データに含まれるフレーム画像の特徴量を有する情報資源の数が多い動画データ、例えば画質のよい動画データ、ブロックノイズの小さい動画データ、手ぶれが小さい動画データを優先的にユーザに対して提示するようにしている。

特開２００５−１６７３７７号公報

近年、動きのある対象物等に対してユーザの望みの静止画を記録できるようにするための技術として、ユーザによる静止画記録の指示がされる前にも画像記録を実行しておく技術が知られている。このような技術を用いることにより、被写体の動きに対してユーザの静止画記録の指示が遅れたとしても先に記録されている画像からユーザの望みの画像が得られる可能性がある。このようにしてユーザの意思を伴って選択された画像からは、ネットワーク上の動画の検索等の幅を広げるために有益な情報を取得できると考えられる。さらに、ユーザの意思を伴って選択された画像の前後に記録されている画像からも同様にネットワーク上の動画の検索等の幅を広げるために有益な情報を取得できると考えられる。

本発明は、前記の事情に鑑みてなされたものであり、静止画記録時において記録される画像とともに後の処理に有益な情報を記録することができる撮像装置及び撮像方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、対象物を繰り返して撮像して複数の画像データを取得する撮像部と、複数の前記画像データのうちの第１のタイミングの第１の画像データをユーザの操作に応じて選択する第１の選択部と、前記第１の画像データに基づいて複数の前記画像データのうちの複数の第２のタイミングの画像データを選択する第２の選択部と、前記第１の画像データと、複数の前記第２の画像データと、前記第１の画像データの特徴情報と、複数の前記第２の画像データの特徴情報とを記録媒体に記録する記録制御部とを具備する。

前記の目的を達成するために、本発明の第２の態様の撮像方法は、撮像部により、対象物を繰り返して撮像して複数の画像データを取得することと、複数の前記画像データのうちの第１の画像データをユーザの操作に応じて選択することと、前記第１の画像データに基づいて複数の前記画像データのうちの複数の第２の画像データを選択することと、前記第１の画像データと、複数の前記第２の画像データを含む動画データと、前記第１の画像データの特徴情報と、前記動画データの特徴情報とを記録媒体に記録することとを具備する。

静止画記録時において記録される画像とともに後の処理に有益な情報を記録することができる撮像装置及び撮像方法を提供することができる。

本発明の一実施形態に係る撮像装置の構成を示すブロック図である。 撮像装置の基本的な動作を示すフローチャートである。 撮像装置の基本的な動作を示すフローチャートである。 一覧表示の例を示す図である。 一覧表示の例を示す図である。 選択処理について示すフローチャートである。 選択処理を経て記録される動画ファイルの一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る撮像装置の構成を示すブロック図である。図１に示す撮像装置１は、例えばデジタルカメラ、スマートフォン、カメラ機能付き携帯電話機といった撮像機能を有する各種の機器である。図１に示す撮像装置１は、撮像部１０と、記憶部２０と、表示部３０と、記録媒体４０と、操作部５０と、姿勢検出部６０と、通信部７０と、信号処理部８０とを有している。

撮像部１０は、撮影レンズ１０１と、絞り１０２と、撮像素子１０３とを有している。撮影レンズ１０１は、図示しない被写体からの光束を撮像素子１０３に入射させる。撮影レンズ１０１は、フォーカスレンズを含んでいてもよい。また、撮影レンズ１０１は、ズームレンズを含んでいてもよい。絞り１０２は、その口径を変えられるように構成されており、撮影レンズ１０１を介して撮像素子１０３に入射する光束を制限する。撮像素子１０３は、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサを含み、対象物を撮像し、対象物に係る画像データを取得する。撮像素子１０３は、対象物までの距離検出が可能なように位相差検出画素を含んでいてもよい。

記憶部２０は、例えばＤＲＡＭであり、撮像素子１０３で取得された画像データを一時的に記憶する。この他、記憶部２０は、信号処理部８０における各種の処理結果を一時的に記憶する。

表示部３０は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、各種の画像を表示する。

記録媒体４０は、例えばフラッシュＲＯＭで構成されている。記録媒体４０には、信号処理部８０で生成された画像ファイル等が記録される。

操作部５０は、ボタン、スイッチ、ダイヤル等の操作部材を含む。操作部５０には、例えば、レリーズボタン、動画ボタン、設定ボタン、選択キー、電源ボタンが含まれる。レリーズボタンは、静止画撮影の指示をするための操作部材である。動画ボタンは、動画撮影の開始又は終了を指示するための操作部材である。設定ボタンは、撮像装置１の設定画面を表示させるための操作部材である。選択キーは、例えば設定画面上での項目の選択や決定をするための操作部材である。電源ボタンは、撮像装置１の電源をオン又はオフするための操作部材である。なお、操作部５０は、タッチパネルを有していてもよい。この場合、タッチパネルによって前述したレリーズボタン、動画ボタン、設定ボタン、選択キー、電源ボタンと同等の操作ができるように構成されていてもよい。

姿勢検出部６０は、例えば３軸の角速度センサ又は加速度センサによって構成され、撮像装置１の姿勢を検出する。

通信部７０は、撮像装置１が外部機器との間で各種の情報を通信するための通信インターフェイスを含む。通信部７０は、例えば無線通信を利用してインターネット等のネットワーク２に接続し、ネットワーク２を介して撮像装置１の外部機器である外部サーバ３と通信する。図１では、撮像装置１は、外部サーバ３と通信する例を示している。これに対し、撮像装置１の通信対象である外部機器は、サーバに限らない。例えば、通信部７０は、同じくネットワーク２を利用した通信をすることができる各種のＩｏＴ（Internet of Things）機器を通信対象として情報を通信するように構成されていてもよい。また、通信部７０による通信は、必ずしもネットワーク２を介さなくてもよく、外部機器との直接通信であってもよい。この場合の直接通信は、有線通信によって行われてもよい。

信号処理部８０は、ＡＳＩＣ等の制御回路によって構成され、撮像装置１の全体的な動作を制御するための各種処理を行う。信号処理部８０は、撮像制御部８０１と、読み取り部８０２と、ライブビュー処理部８０３と、記録画像処理部８０４と、画像選択部８０５と、表示制御部８０６と、特徴検出部８０７と、静止画処理部８０８と、動画処理部８０９と、記録制御部８１０と、通信制御部８１１とを有している。信号処理部８０の各ブロックの機能は、ソフトウェアによって実現されてもよいし、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。また、信号処理部８０の一部のブロックの機能は、信号処理部８０と別個に設けられていてもよい。

撮像制御部８０１は、撮像部１０の動作を制御する。例えば、撮像制御部８０１は、撮影レンズ１０１のフォーカスレンズを駆動して撮像部１０の合焦制御を行ったり、ズームレンズを駆動して撮像部１０の画角制御を行ったりする。また、撮像制御部８０１は、絞り１０２の開口量を制御して撮像部１０の露出制御を行う。さらに、撮像制御部８０１は、撮像素子１０３の撮像動作を制御する。

読み取り部８０２は、撮像素子１０３から画像データを読み出して記憶部２０に記憶させる。

ライブビュー処理部８０３は、記憶部２０に記憶されている画像データに対してライブビュー表示のために必要な画像処理を施す。ライブビュー表示のために必要な画像処理は、例えば、ホワイトバランス（ＷＢ）補正処理、色変換処理、ガンマ変換処理、ノイズ低減処理、拡大縮小処理を含む。記録画像処理部８０４は、記憶部２０に記憶されている画像データに対して記録のために必要な画像処理を施す。記録のために必要な画像処理は、例えば、ホワイトバランス（ＷＢ）補正処理、色変換処理、ガンマ変換処理、ノイズ低減処理、拡大縮小処理、圧縮処理を含む。記録画像処理部８０４は、ライブビュー処理部８０３とは異なる処理パラメータで処理を行うように構成されていてよい。勿論、記録画像処理部８０４は、ライブビュー処理部８０３と同じ処理パラメータで処理を行うように構成されていてもよい。さらに、ライブビュー処理部８０３と記録画像処理部８０４とは１つのブロックで構成されていてもよい。

画像選択部８０５は、ライブビュー処理部８０３で処理された画像データ又は記録画像処理部８０４で処理された画像データを選択し、選択した画像データを表示制御部８０６、特徴検出部８０７、静止画処理部８０８、動画処理部８０９に入力する。画像選択部８０５は、第１の選択部８０５ａと第２の選択部８０５ｂとを有している。第１の選択部８０５ａは、静止画撮影の際にユーザの選択に基づいて画像データ（第１の画像データ）を選択する。第２の選択部８０５ｂは、第１の画像データに基づいて動画として記録する第２の画像データを選択する。第１の選択部８０５ａ及び第２の選択部８０５ｂの詳細については後で説明する。

表示制御部８０６は、ライブビュー処理部８０３で処理されて画像選択部８０５で選択された画像データに基づく画像及び記録媒体４０に記録されている画像データに基づく画像といった各種の画像を表示部３０に表示させる制御を行う。

特徴検出部８０７は、ライブビュー処理部８０３で処理されて画像選択部８０５で選択された画像データ又は記録画像処理部８０４で処理されて画像選択部８０５で選択された画像データにおける特徴を検出する。この特徴は、対象物特徴と動画特徴とを含む。対象物特徴は、画像データ中の対象物の特徴である。対象物特徴は、例えば対象物の位置、形状、大きさ、対象物の種別、対象物の背景の種別といった情報を含む。これらの対象物特徴は、パターンマッチング、エッジ検出、色分布検出等の技術を利用して検出される。動画特徴は、後で説明する静止画撮影に伴って記録される動画の特徴である。動画特徴は、動画中の代表画像の撮影時間、動画中の対象物の移動方向、動画中の対象物の移動速度、動画の撮影日付、動画の撮影場所、動画の撮影シーン、撮像装置１の機種種別、動画撮影時の撮像部１０の焦点距離、絞り、シャッタ速度、撮像装置１のユーザ情報といった情報を含む。これらの情報の詳細については後で説明する。これらの動画特徴は、撮像装置１に設定されている情報から検出されたりする。

静止画処理部８０８は、記録画像処理部８０４で処理されて画像選択部８０５で選択された画像データに対して静止画圧縮処理を行う。静止画圧縮処理は、例えばＪＰＥＧ圧縮処理であるが、これに限定されない。動画処理部８０９は、記録画像処理部８０４で処理されて画像選択部８０５で選択された画像データに対して動画圧縮処理を行う。動画圧縮処理は、例えばＭＰＥＧ圧縮処理であるが、これに限定されない。

記録制御部８１０は、静止画処理部８０８で圧縮された画像データ及び動画処理部８０９で圧縮された画像データを記録媒体４０に記録する処理を行う。例えば、記録制御部８１０は、静止画処理部８０８で圧縮された画像データに基づいて静止画ファイルを生成し、生成した静止画ファイルを記録媒体４０に記録する。また、記録制御部８１０は、動画処理部８０９で圧縮された画像データに基づいて動画ファイルを生成し、生成した動画ファイルを記録媒体４０に記録する。さらに、記録制御部８１０は、必要に応じて特徴検出部８０７で検出された対象物特徴及び動画特徴の情報を生成したファイルに関連付けて記録媒体４０に記録する。

通信制御部８１１は、通信部７０を用いての通信を制御する。例えば、通信制御部８１１は、記録媒体４０に記録されている画像データや画像データに関連付けられている特徴情報を外部サーバ３に送信する。また、通信制御部８１１は、外部サーバ３から各種の情報を受信する。

以下、本実施形態の撮像装置１の動作について説明する。図２Ａ及び図２Ｂは、撮像装置１の基本的な動作を示すフローチャートである。図２Ａ及び図２Ｂのフローチャートの動作は、信号処理部８０によって制御される。

ステップＳ１において、信号処理部８０は、現在の撮像装置１の動作モードが撮影モードであるか否かを判定する。撮像装置１は、動作モードとして撮影モードと、再生モードと、通信モードとを有している。撮影モードは、静止画又は動画を記録する処理を行う動作モードである。再生モードは、記録媒体４０に記録されている画像ファイル等を表示部３０に再生する処理を行う動作モードである。通信モードは、外部サーバ３との通信によって種々の情報の授受をするためのモードである。動作モードは、例えばユーザによる操作部５０の操作よって設定される。ステップＳ１において、現在の撮像装置１の動作モードが撮影モードであると判定されたときには、処理はステップＳ２に移行する。ステップＳ１において、現在の撮像装置１の動作モードが撮影モードでないと判定されたときには、処理はステップＳ１８に移行する。

ステップＳ２において、信号処理部８０は、撮像制御部８０１により、ライブビュー表示のための撮像動作を開始させる。ライブビュー表示のための撮像動作として、撮像制御部８０１は、撮像素子１０３による撮像動作を所定のフレームレートで実行させる。

ステップＳ３において、信号処理部８０は、読み取り部８０２により、撮像素子１０３において逐次に生成される画像データを読み出し、読み出した画像データを記憶部２０に記憶させる。記憶部２０は、ライブビュー表示のための撮像動作で得られた画像データをコピーして記憶している。すなわち、ステップＳ３の後の処理においてライブビュー表示のための撮像動作で得られた画像データが使用される場合であっても、記憶部２０に記憶される画像データは残される。なお、記憶部２０は、コピーの画像データを所定コマ数分だけ記憶するように構成されていてもよい。この場合、記憶部２０は、古いコマの画像データを順次削除して新規のコマの画像データを記憶する。もちろん、ライブビュー表示のための画像でないものを含んでもよく、ライブビュー表示用画像とは画像処理や画像サイズ等が異なっていてもよい。近年、撮像素子の高速化が進んでいるが、ユーザが、撮像素子で得られた画像のすべてを見る必要はない。つまり、動画像は、人間の目にも止まらぬ速さのものを捉えることができるが、それだけ膨大な情報を有することになる。このため、ユーザが視認して捉えた結果の画像から対象物やその動きの特徴を特定する方が、ユーザが後で見たい画像に対するニーズを確実に捉えていると考えられる。

ステップＳ４において、信号処理部８０は、特徴検出部８０７により、ライブビュー表示のための撮像動作によって得られる画像データの特徴を検出する。その後、処理はステップＳ５に移行する。例えば、特徴検出部８０７は、画像データの特徴として、パターンマッチング、輝度分布の認識、色分布の認識等を利用した顔検出技術を用いて、画像データ中の顔の有無、位置、大きさを検出する。さらに、特徴検出部８０７は、検出した顔の表情の認識を行ったり、検出した顔を予め登録されている顔のデータと照合することによって個人を特定したりするように構成されていてもよい。また、特徴検出部８０７は、対象物の検出として、顔以外の各種の対象物の種別を特定するように構成されていてもよい。また、特徴検出部８０７は、画像の輝度分布、色分布等を利用して対象物の背景の種別を特定する。対象物又は背景を特定するためのデータベースは、特徴検出部８０７に設けられていてもよいし、外部サーバ３等に設けられていてもよい。さらに、背景の種別の特定に、撮像装置１の現在位置、文字認識の認識結果等が併用されてもよい。このあたりは、シーンに応じて様々な不具合が画像に生じることがあり、必要に応じて教師画像を深層学習させた人工知能の技術を併用してもよい。

ステップＳ５において、信号処理部８０は、姿勢検出部６０によって検出された撮像装置１の姿勢の情報を取得する。

ステップＳ６において、信号処理部８０は、表示制御部８０６により、撮像素子１０３の撮像動作によって得られた画像データに基づく画像をリアルタイムで表示部３０に表示させることでライブビュー表示を行う。より詳しくは、ライブビュー処理部８０３は、記憶部２０から画像データを読み出し、読み出した画像データに対してライブビュー表示のために必要な画像処理を施す。画像選択部８０５は、ライブビュー処理部８０３で得られたライブビュー表示のための画像データを表示制御部８０６に出力する。表示制御部８０６は、入力された画像データに基づいて表示部３０を駆動してライブビュー表示を行う。

ステップＳ７において、信号処理部８０は、撮像制御部８０１により、撮影用制御を行うか否かを判定する。撮影用制御は、静止画撮影に先立つ自動露出制御（ＡＥ）、自動合焦制御（ＡＦ）、画角制御等を含む。例えば撮像装置１が自動露出制御と自動合焦制御の何れかを行うように設定されているときには、撮影用制御を行うと判定される。これらの設定は、例えば設定画面においてなされる。また、ユーザの操作部５０の操作によって、露出調節の指示、焦点調節の指示、画角調節の指示がされた場合も撮影制御を行うと判定される。ステップＳ７において、撮影用制御を行うと判定されたときには、処理はステップＳ８に移行する。ステップＳ７において、撮影用制御を行わないと判定されたときには、処理はステップＳ９に移行する。

ステップＳ８において、信号処理部８０は、撮像制御部８０１により、撮影用制御を行う。その後、処理はステップＳ９に移行する。例えば、自動露出制御を行うときには、撮像制御部８０１は、ライブビュー用の撮像動作で得られた画像データから算出される被写体輝度に基づいて静止画撮影時において適正露出を得るために必要な絞り値及びシャッタ速度を算出する。また、例えば、自動合焦制御を行うときには、撮像制御部８０１は、被写体のコントラスト値を評価してフォーカスレンズを駆動したり、位相検出画素の出力から算出される位相差情報に基づいてフォーカスレンズを駆動したりする。さらに、例えば、画角調整の指示がされたときには、撮像制御部８０１は、ユーザの指示に従ってズームレンズを駆動する。このように、ユーザがよく確認した画像は、ユーザがこだわりを持って見つめていたと考えられ、それにふさわしい価値があると考えられる。

ステップＳ９において、信号処理部８０は、ユーザによる撮影操作がなされたか否かを判定する。撮影操作は、例えばユーザによるレリーズボタンの操作である。ステップＳ９において、ユーザによる撮影操作がなされたと判定されたときには、処理はステップＳ１０に移行する。ステップＳ９において、ユーザによる撮影操作がなされていないと判定されたときには、処理はステップＳ１７に移行する。

ステップＳ１０において、信号処理部８０は、撮像制御部８０１により、静止画記録のための撮像動作を開始させる。その後、処理はステップＳ１１に移行する。ステップＳ１１の撮像動作として、撮像制御部８０１は、例えばステップＳ８の自動露出制御によって設定された絞り値及びシャッタ速度に従って撮像素子１０３の撮像動作を制御する。記憶部２０は、撮像動作によって得られた画像データを記憶する。

ステップＳ１１において、信号処理部８０は、記録制御部８１０により、静止画記録のための撮像動作によって得られた画像データを記録媒体４０に記録させる。その後、処理はステップＳ１２に移行する。より詳しくは、記録画像処理部８０４は、記憶部２０から画像データを読み出し、読み出した画像データに対して静止画記録のために必要な画像処理を施す。画像選択部８０５は、記録画像処理部８０４で得られた記録のための画像データを静止画処理部８０８に出力する。静止画処理部８０８は、入力された画像データに対して静止画圧縮を施す。そして、記録制御部８１０は、静止画圧縮された画像データに所定のヘッダ情報を付与して静止画ファイルを生成し、生成した静止画ファイルを記録媒体４０に記録する。

ステップＳ１２において、信号処理部８０は、撮像制御部８０１により、所定のコマ数の画像データが記憶部２０に記憶されるように、撮像素子１０３による撮像動作を所定のフレームレートで実行させる。

ステップＳ１３において、信号処理部８０は、表示制御部８０６により、記憶部２０に記憶されている画像データの一覧を表示部３０に表示させる。図３Ａ及び図３Ｂは、一覧表示の例である。ここで、図３Ａ及び図３Ｂにおいて、左上の画像が最も古い時刻に撮像された画像データであり、そこから右に向かうほど、また、下に向かうほど新しい時刻に撮像された画像データであるとする。また、図３Ａ及び図３Ｂにおける撮影の対象物は鳥であり、ユーザは鳥の飛び立つ瞬間を撮影しようとしていたとする。図３Ａは、ユーザによる撮像装置１の動きが飛び立とうとしている鳥の動きに追従できているときの一覧表示の例である。この場合、一覧表示されている画像データにおける鳥の位置は殆ど変化しない。一方、図３Ｂは、ユーザによる撮像装置１の動きが飛び立とうとしている鳥の動きに追従できていないときの一覧表示の例である。この場合、一覧表示されている画像データにおける鳥の位置は時々刻々に変化して安定しない。図３Ａも図３Ｂも、同様にユーザのフレーミングによって取得されたものであるが、ユーザがどちらの例で、対象物を確認できていたかと言うと、図３Ａの方であるから、こちらの動画が有する貴重な情報は、撮影の時点で使われるだけでなく、後でも有効利用できるようにしておいた方がよい。

ステップＳ１４において、信号処理部８０は、一覧表示されている中から画像データがユーザによって選択されたか否かを判定する。ステップＳ１４において、画像データがユーザによって選択されたと判定されたときには、処理はステップＳ１５に移行する。ステップＳ１４において、画像データがユーザによって選択されていないと判定されたときには、処理はステップＳ１６に移行する。このように、ユーザが選択したかどうかという情報も非常に貴重である。このような選択動作があるかないかで、ユーザがどのような画像を必要としていたか、ユーザの嗜好などが情報として取得できるかどうかが決まる。特に、動画には目まぐるしく変化する対象物を記録できるという特徴があるから、情報量が膨大化する傾向があるが、このようなユーザ嗜好による絞り込みによって、その膨大な情報の中から、何が本当に重要かの絞り込みが可能となる。こうしたユーザ嗜好を蓄積して学習するようなシステムとしてもよく、この場合、画像とユーザの選択によって、学習時の教師情報となる。

ステップＳ１５において、信号処理部８０は、画像選択部８０５により、選択処理を行う。選択処理は、ステップＳ１４におけるユーザの画像データの選択に応じてさらに画像データの選択を行う処理である。選択処理の詳細については後で説明するが、選択処理によって画像データの選択がされると、前述した画像データの特徴（対象物特徴及び動画特徴）が検出される。そして、検出された画像データの特徴は選択された画像データと関連付けて記録される。選択処理の終了後、処理はステップＳ１６に移行する。

ステップＳ１６において、信号処理部８０は、画像データの選択を終了するか否かを判定する。ステップＳ１６においては、例えば一覧表示とともに表示された終了ボタンがユーザによって選択されたときには、画像データの選択を終了すると判定される。ステップＳ１６において、画像データの選択を終了しないと判定されたときには、処理はステップＳ１３に戻る。ステップＳ１６において、画像データの選択を終了すると判定されたときには、処理はステップＳ１７に移行する。

ステップＳ１７において、信号処理部８０は、撮像装置１の電源がオフされたか否かを判定する。ステップＳ１７において、撮像装置１の電源がオフされたと判定されたときには、図２Ａ及び図２Ｂの処理は終了する。ステップＳ１７において、撮像装置１の電源がオフされていないと判定されたときには、処理はステップＳ１に戻る。

ステップＳ１において現在の撮像装置１の動作モードが撮影モードでないと判定されたときのステップＳ１８において、信号処理部８０は、現在の撮像装置１の動作モードが再生モードであるか否かを判定する。ステップＳ１８において、現在の撮像装置１の動作モードが再生モードであると判定されたときには、処理はステップＳ１９に移行する。ステップＳ１８において、現在の撮像装置１の動作モードが再生モードでないと判定されたときには、処理はステップＳ２９に移行する。再生モードで、画像の確認をすることもあるが、これもまた、上述のステップＳ１４と同様の処理で、貴重な情報を取得することができる。

ステップＳ１９において、信号処理部８０は、表示制御部８０６により、記録媒体４０に記録されている画像ファイルの一覧を表示部３０に表示させる。その後、処理はステップＳ２０に移行する。

ステップＳ２０において、信号処理部８０は、ユーザによって画像ファイルが選択されたか否かを判定する。ステップＳ２０において、ユーザによって画像ファイルが選択されたと判定されたときには、処理はステップＳ２１に移行する。ステップＳ２０において、ユーザによって画像ファイルが選択されていないと判定されたときには、処理はステップＳ２８に移行する。

ステップＳ２１において、信号処理部８０は、表示制御部８０６により、選択された画像ファイルを表示部３０に再生する。なお、後で説明する選択処理を経て記録される動画ファイルには、動画と代表画像との２種類の画像が記録される。このため、信号処理部８０は、動画と代表画像の何れを再生するのかをユーザによって選択させ、この選択に応じて画像ファイルを再生する。

ステップＳ２２において、信号処理部８０は、再生する画像ファイルを変更するか否かを判定する。ステップＳ２２においては、再生する画像ファイルを変更するための操作部５０の操作がユーザによってなされたときには、再生する画像ファイルを変更すると判定される。ステップＳ２２において、再生する画像ファイルを変更すると判定されたときには、処理はステップＳ２３に移行する。ステップＳ２２において、再生する画像ファイルを変更しないと判定されたときには、処理はステップＳ２４に移行する。

ステップＳ２３において、信号処理部８０は、ユーザの操作部５０の操作に応じて、再生する画像ファイルを変更する。その後、処理はステップＳ２１に戻る。この場合、変更後の画像ファイルが再生される。このようなユーザ操作も、ユーザがよく再生する画像がわかるので、学習機能を有する場合には有効情報にすることが可能であることは言うまでもない。

ステップＳ２４において、信号処理部８０は、再生中の画像データを用いての検索を行うか否かを判定する。ステップＳ２４においては、例えば、画像データの再生とともに表示部３０に表示される検索ボタンがユーザによる操作部５０の操作によって選択されたとき、再生中の画像データを用いての検索処理を行うと判定される。ステップＳ２４において、検索を行うと判定されたときには、処理はステップＳ２５に移行する。ステップＳ２４において、検索を行わないと判定されたときには、処理はステップＳ２７に移行する。

ステップＳ２５において、信号処理部８０は、通信制御部８１１により、再生中の画像データの特徴（対象物特徴及び動画特徴）を外部サーバ３に送信する。その後、処理はステップＳ２６に移行する。画像データの特徴を受信した外部サーバ３は、例えば再生中の画像データの特徴と類似する特徴を有する画像データを検索し、検索した画像データを撮像装置１に対して送信する。なお、画像データは、外部サーバ３を経由して他のサーバ等から検索されてもよい。また、再生中の画像データの特徴は、必ずしも他の画像データの検索に用いられる必要はない。再生中の画像データの特徴は、例えば画像データ以外の情報の検索に使用されてもよい。また、再生中の画像データの特徴は、例えば、各種のＩｏＴ機器における制御のために使用されてもよい。

ステップＳ２６において、信号処理部８０は、表示制御部８０６により、外部サーバ３から受信した検索結果（例えば特徴が類似する画像データを示す表示）を表示部３０に表示させる。例えば、特徴が類似する画像データを示す表示がされることで、ユーザは、このような表示を手本としてさらなる撮影スキルの向上を図ることができる。この特徴が類似する手本画像は、単に、対象物が似ているといった情報のみならず、対象物の動きの特徴やユーザがどのような代表画像を選択したかといった情報までが加味されて表示されるので、ユーザは、思った通りの手本を利用することができる。手本が正しくないと、無駄な情報ばかりを見る事になり、電池が消耗したり、撮影のチャンスを逃したりする等の問題につながる。

ステップＳ２７において、信号処理部８０は、画像ファイルの再生を終了するか否かを判定する。ステップＳ２７においては、例えばユーザによる操作部５０の操作によって画像ファイルの再生の終了が指示されたときに、画像ファイルの再生を終了すると判定される。ステップＳ２７において、画像ファイルの再生を終了しないと判定されたときには、処理はステップＳ２１に戻る。この場合には、画像ファイルの再生は継続される。ステップＳ２７において、画像ファイルの再生を終了すると判定されたときには、処理はステップＳ２８に移行する。

ステップＳ２８において、信号処理部８０は、再生モードの処理を終了するか否かを判定する。ステップＳ２８において、再生モードの処理を終了しないと判定されたときには処理はステップＳ１９に戻る。ステップＳ２８において、再生モードの処理を終了すると判定されたときには処理はステップＳ１７に移行する。

ステップＳ１８において、現在の撮像装置１の動作モードが再生モードでないと判定されたときのステップＳ２９において、信号処理部８０は、通信モードの処理を行う。通信モードにおいては、信号処理部８０は、通信制御部８１１により、ユーザによって指定された画像ファイルを外部機器に送信したり、外部機器から画像ファイル等を受信したりする処理を行う。通信モードの処理の終了後、処理はステップＳ１７に移行する。

次に、選択処理について説明する。図４は、選択処理について示すフローチャートである。ここで、選択処理に先立って、ユーザにより、図３Ａに示す画像データＳ１又は図３Ｂに示す画像データＳ２が選択されていたとする。この選択に応じて、画像選択部８０５の第１の選択部８０５ａは、選択画像データを特定する。

ステップＳ１０１において、信号処理部８０は、選択画像データにおける対象物を検出する。対象物は、特徴検出部８０７によって検出されている特徴から検出される。信号処理部８０は、例えば、中央に存在する対象物、動きのある対象物といった対象物を検出する。

ステップＳ１０２において、信号処理部８０は、選択画像データの前に記憶部２０に記憶された複数の画像データを取得する。記憶部２０から読み出された画像データ（前画像データ）は、画像選択部８０５に入力される。

ステップＳ１０３において、信号処理部８０は、第２の選択部８０５ｂにより、選択画像データと前画像データとで背景が同等であるか否かを判定する。背景が同等であるか否かは例えば選択画像データと前画像データとの背景部分（対象物を除く部分）の差分によって判定される。例えば、図３Ａにおいては、選択画像データＳ１と前画像データＢ１の背景は空であるので、背景は同等であると判定される。同様に、図３Ｂにおいては、選択画像データＳ２と前画像データＢ２の背景は空であるので、背景は同等であると判定される。なお、ステップＳ１０３における同等とは、完全一致を意味していない。例えば、背景が同等の前画像データの数が所定コマ以上あれば同等であるとみなすようにしてもよい。ステップＳ１０３において、選択画像データと前画像データとで背景が同等であると判定されたときには、処理はステップＳ１０４に移行する。ステップＳ１０３において、選択画像データと前画像データとで背景が同等でないと判定されたときには、処理はステップＳ１０６に移行する。つまり、ここでは、ユーザの選択動作を基準にして、その嗜好を反映させて、膨大な画像データの中で、意味があるものを推測するような考え方が含まれている。構図的に、図３Ａは、ユーザの嗜好に近い画像が続き、図３Ｂはそうではない。したがって、どちらかと言えば、ユーザの嗜好に近いのは、図３Ａの方であることなどが判定可能で、こうした選択と解析、推論によって、構図の切り口で有用な情報が得られることを示している。ユーザが行う事は単純な選択にすぎないが、本願の考え方の技術がそこから様々な有用情報を引き出している。これはユーザの嗜好の確定に使われたり、検索に使われたりする。

ステップＳ１０４において、信号処理部８０は、第２の選択部８０５ｂにより、選択画像データと前画像データとで撮影品質が同等であるか否かを判定する。ここでの撮影品質とは、対象物に対する合焦状態、対象物に対する露出状態、撮像部１０の画角状態の少なくとも何れかである。この他に、手振れの有無等も撮影品質として用いられ得る。合焦状態の判定は、例えば選択画像データと前画像データとのコントラスト値を比較することで行われる。露出状態の判定は、例えば選択画像データと前画像データとの輝度値を比較することで行われる。画角状態の判定は、例えば対象物の位置及び大きさと撮像装置１の姿勢とに基づいて行われる。例えば、図３Ａにおいては、選択画像データＳ１と前画像データＢ１とで合焦状態、露出状態、画角状態の何れも同等であるので、撮影品質が同等であると判定される。一方、図３Ｂにおいては、選択画像データＳ２と前画像データＢ２とでは少なくとも画角状態が異なっているので、撮影品質は同等でないと判定される。なお、ステップＳ１０４における同等とは、完全一致を意味していない。例えば、撮影品質が同等の前画像データの数が所定コマ以上あれば同等であるとみなすようにしてもよい。また、例えば、幾つかの撮影品質が同等であれば比較した画像データ同士の撮影品質は同等であるとみなすようにしてもよい。ここでも、ユーザの選択動作を基準にして、その嗜好を反映させて、膨大な画像データの中で、意味があるものを推測するような考え方が含まれているが、その確認の仕方がさらに厳格化された例を示している。図３Ａは、画質的にもユーザの嗜好に近い画像が続き、図３Ｂはそうではない。したがって、どちらかと言えば、ユーザの嗜好に近いのは、図３Ａの方であることなどが判定可能で、こうした選択と解析、推論によって、画質の切り口でのユーザの嗜好や動画全体としてのユーザの満足度など有用な情報が得られることを示している。ステップＳ１０４において、選択画像データと前画像データとで撮影品質が同等であると判定されたときには、処理はステップＳ１０５に移行する。ステップＳ１０５において、選択画像データと前画像データとで撮影品質が同等でないと判定されたときには、処理はステップＳ１０６に移行する。

ステップＳ１０５において、信号処理部８０は、記録制御部８１０により、第２の画像データとしての前画像データと選択画像データとを動画像として記録媒体４０に記録する。このとき、動画処理部８０９は、前画像データ及び選択画像データを動画圧縮して記録制御部８１０に入力する。記録制御部８１０は、動画圧縮された前画像データ及び選択画像データを例えば動画ファイルの形式で記録媒体４０に記録する。ステップＳ１０５で記録される動画ファイルについては後で説明する。

ステップＳ１０６において、信号処理部８０は、選択画像データの後に記憶部２０に記憶された複数の画像データを取得する。記憶部２０から読み出された画像データ（後画像データ）は、画像選択部８０５に入力される。

ステップＳ１０７において、信号処理部８０は、第２の選択部８０５ｂにより、選択画像データと後画像データとで背景が同等であるか否かを判定する。背景が同等であるか否かの判定は、前画像データのときと同様に行われる。ステップＳ１０７において、選択画像データと後画像データとで背景が同等であると判定されたときには、処理はステップＳ１０８に移行する。ステップＳ１０７において、選択画像データと後画像データとで背景が同等でないと判定されたときには、処理はステップＳ１１０に移行する。

ステップＳ１０８において、信号処理部８０は、第２の選択部８０５ｂにより、選択画像データと後画像データとで撮影品質が同等であるか否かを判定する。撮影品質が同等であるかの判定は、前画像データのときと同様に行われる。ステップＳ１０８において、選択画像データと後画像データとで撮影品質が同等であると判定されたときには、処理はステップＳ１０９に移行する。ステップＳ１０８において、選択画像データと後画像データとで撮影品質が同等でないと判定されたときには、処理はステップＳ１１０に移行する。

ステップＳ１０９において、信号処理部８０は、記録制御部８１０により、第２の画像データとしての後画像データと選択画像データとを動画像として記録媒体４０に記録する。このとき、動画処理部８０９は、後画像データ及び選択画像データを動画圧縮して記録制御部８１０に入力する。記録制御部８１０は、動画圧縮された後画像データ及び選択画像データを例えば動画ファイルの形式で記録媒体４０に記録する。なお、ステップＳ１０５で既に動画ファイルが生成されているときには、記録制御部８１０は、生成されている動画ファイルに後画像データを追記する。

ステップＳ１１０において、信号処理部８０は、動画が記録されているか否かを判定する。ステップＳ１１０においては、ステップＳ１０５とステップＳ１０９の少なくとも何れかの処理が行われたときには、動画が記録されていると判定される。ステップＳ１１０において、動画が記録されていると判定されたときには、処理はステップＳ１１１に移行する。ステップＳ１１０において、動画が記録されていないと判定されたときには、図４の処理は終了する。

ステップＳ１１１において、信号処理部８０は、記録制御部８１０により、代表画像を動画ファイルに追記する。このとき、静止画処理部８０８は、代表画像データを静止画圧縮して記録制御部８１０に入力する。ここで、代表画像は、先に記録した動画の特徴を示す画像であって、ユーザによって選択された選択画像（代表画像１）、動画の特定のタイミングの画像（例えば最初のコマの画像（代表画像２））等を含む。代表画像の記録後、処理はステップＳ１１２に移行する。

ステップＳ１１２において、信号処理部８０は、特徴検出部８０７により、対象物特徴及び動画特徴を検出する。対象物特徴及び動画特徴の検出後、信号処理部８０は、検出した対象物特徴及び動画特徴を動画ファイルに追記する。その後、図４の処理は終了する。

特徴検出部８０７は、対象物特徴として、例えば、選択画像データの対象物の位置、大きさ、形状（エッジ形状）、色（色分布）を検出する。なお、対象物の位置、大きさ、形状（エッジ形状）、色（色分布）の情報は、コマ毎に検出されてよい。さらに、特徴検出部８０７は、対象物及び背景の種別を特定する。種別の特定は、対象物及び背景を特定するためのデータベースを参照することで行われる。前述したように、このデータベースは、必ずしも撮像装置１の内部にある必要はない。

また、特徴検出部８０７は、動画特徴として、例えば、代表画像１及び代表画像２の撮影時間を取得する。また、特徴検出部８０７は、コマ間の対象物の動きから対象物の移動方向時間及び移動速度（１コマ当たりの移動量）を検出する。また、動画の撮影日付、撮影場所、撮影シーン（静止画撮影時のシーンモード、背景の分析等から判定される）、撮像装置１のカメラ機種種別を取得する。また、特徴検出部８０７は、前画像データ及び後画像データの撮像時の焦点距離、絞り、シャッタ速度を取得する。また、特徴検出部８０７は、撮像装置１のユーザ情報の登録がされている場合には、ユーザ情報を取得する。

図５は、選択処理を経て記録される動画ファイルの一例を示す図である。図５に示すように、動画ファイルには、動画、サムネイル画像、代表画像１、代表画像２、対象物特徴、動画特徴が記録される。

動画は、ユーザによって選択された選択画像の前後に取得された複数の画像データを動画の形式で記録した動画データである。撮影開始前に取得される画像データ（前画像データ）は、ユーザが対象物を追いかけて撮像装置１を動かしていたり、画角調節を行ったりといった撮影に至るまでの過程を表している画像データと考えることができる。このような過程を表す画像データをユーザの選択した画像データとともに動画データとして記録しておけば、この動画データは、ユーザの選択した画像データに関連した有益な情報となり得る。しかしながら、図３Ｂのような変化が大きすぎる前画像は、動画として鑑賞するのには余りふさわしくはない。したがって、本実施形態では、背景及び撮影品質が選択画像データと同等の画像データのみが動画として記録される。なお、動画の鑑賞よりも、撮影に至るまでの過程を記録するという意味においては、図３Ｂのような動画も記録できるように構成されていてもよい。同じような対象物の画像をその動画を構成する複数コマの中に含みながらも、ユーザの選択によって同じ対象物を得るにせよ、両方の動画を記録しておくことで、例えば図３Ａの動画の方がよく、図３Ｂの方の動画は劣るといった判定が可能である。こうした成功、失敗の情報も記録、学習等によって、良い教師情報、反面教師情報として、手本画像などアドバイスの精度を上げたり、ありがちな失敗例を示したりもすることができる。つまり、ユーザが満足しそうな構図や画質のコマが全体にどれだけ含まれるかをコマ数の比や、或いは数値化した特徴量の差異の比（あるいはそれらの加算や加重平均）等を、満足度の情報として記録しておけば、どの動画が嗜好を満たすものかがわかり、さらに動画の善し悪し情報にもすることができる。つまり、対象物を繰り返して撮像された複数の画像データを取得し、この複数の画像データのうちユーザが第１の画像データを選択すると、それを反映して複数の画像データの満足度を判定することができる。もちろん、この複数の画像データは、動画全体でなく一部でもよい。この選択された第１の画像データを含む動画データと満足度の情報とを記録媒体に記録することによって、ユーザの嗜好が反映された１枚（あるいは複数枚を選べるようにしてもよい）と、それに準拠した前後の画像がどれだけあるかがわかりやすく記録でき、表示や検索に有用な情報となる。

サムネイル画像は、再生モード時の一覧表示の際などで用いられる動画ファイル中の代表画像の縮小画像である。サムネイル画像は、代表画像１又は代表画像２の縮小画像であってもよいし、これらとは別の画像の縮小画像であってもよい。

代表画像１は、選択画像データである。代表画像２は、例えば最初のコマの画像データである。代表画像１及び代表画像２は、静止画として記録される。すなわち、本実施形態では、静止画撮影時において、ユーザによって撮影操作がなされることで記録される撮影画像と、その後にユーザによって選択された代表画像１と、別の代表画像２の３種類の画像が記録される。撮影画像、代表画像１、代表画像２のすべてが記録される必要はない。例えば撮影画像は、動画ファイルの記録後に削除されるように構成されていてもよい。

前述したように、対象物特徴は、選択画像データ（代表画像１）の対象物の特徴情報である。また、動画特徴は、選択画像データの取得の前後の画像データによって構成される動画の特徴情報である。ユーザが画像データを選択するという行為は、様々な情報を含むと考えることができる。例えば、ユーザは他の画像データよりも代表画像１を好んだという情報である。また、一連の画像は代表画像１を撮影するための準備であったという情報である。ユーザによって選ばれなかった画像データのうち、合焦状態、露出状態、画角状態等は、基本的には選択時においてユーザによって確認されているはずである。これらが同一であれば、それ以外の何らかの不満があることがわかる。こういったユーザの撮影の過程を表す画像を動画として記録するとともに、その動画の対象物の特徴及び動画自体の特徴を分析し、他の画像データの検索等に用いればよりユーザの嗜好、意図を反映した検索等が行われることが期待される。

ここで、図５で示したファイルの形式は一例である。図５で示した形式以外に例えば動画は動画コンテナファイルの形式で記録されてもよい。また、図５で示した動画と代表画像とは別のファイルに記録されてもよい。この場合には、両者を関連付けるための情報も併せて記録することが望ましい。

以上説明したように本実施形態によれば、ユーザの撮影操作の前に画像データを取得しておき、その中からユーザによって画像データを選択できるようにしている。これにより、ユーザは、高速で移動する被写体等を撮影する際であっても望む画像を取得できる。また、選択画像データの前後の画像データを動画として記録することにより、撮影の過程を示す動画を記録することができ、選択画像の鑑賞価値をより高めることができる。撮りっぱなしの動画では、ユーザが満足したかどうかがわからずに情報ばかりが蓄積されて行く。一方で、本願のように、ユーザの選択した画像を基準に、その嗜好情報を蓄積したり利用したりすることは、ユーザの画像撮影のスキルアップや他のユーザとの相互参照などの時の迅速性、正確さ、好ましさにつながる。

さらに、対象物特徴及び動画特徴を記録しておくことにより、撮影の過程におけるユーザの意図を情報として記録することができる。このような情報を用いて画像データの検索等を行うことで、よりユーザの意図を反映した検索等が行われ得る。なお、このような検索に際して、対象物の特定やユーザの嗜好、意図の分析等をするために機械学習等が用いられてもよい。

ここで、前述した実施形態では、選択画像データの選択がされなければ、動画が記録されない。これに対し、選択画像データの選択にかかわらずに図５で示したような動画ファイルが記録されるように構成されていてもよい。どの画像も選択されないという情報も、ユーザが最初に撮影された撮影画像で満足した等の情報を得ることができると考えられる。また、前述した実施形態では、選択画像データの前後の画像データを動画として記録しているが、例えば選択画像データの前の画像データだけを動画として記録してもよい。

以上実施形態に基づいて本発明を説明したが、本発明は前述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本実施形態の技術は、セキュリティ用途、監視カメラ、車載カメラ等にも適用され得る。動画は、静止画のような決定的瞬間の記録という目的の他、その瞬間に到るまで、あるいはその瞬間から、あるいは対象物の動きそのものを記録できるという特徴があるので、こうした変化や過程を記録する医療用、科学用、産業用の記録用途にも、本発明は活用することが可能となっていることは言うまでもない。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータである信号処理部８０に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、信号処理部８０は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。また、フローチャートで一律に示した分岐や判定のプロセスは、人工知能によって、より多くの変数を処理した複雑な分岐にしてもよく、ユーザの手動の操作の結果を蓄積した機械学習や深層学習を組み合わせることによって、判断、判定、決定のプロセスを高精度化することが可能となる。また、こうした人工知能の併用は、対象物特徴や画像判定の性能を高度化することが可能となる。つまり、特徴検出部８０７において、このような技術を使って、対象物特徴及び動画特徴の情報をより正確、詳細なものにしてもよい。
本発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、前記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
例えば、本願出願の当初の特許請求の範囲に記載された発明の他に以下の発明が抽出され得る。
［１］ 対象物を繰り返して撮像された複数の画像データを取得することと、
複数の前記画像データのうちの第１の画像データをユーザの操作に応じて選択することと、
前記第１の画像データに基づいて前記撮像された複数の画像データの満足度を判定することと、
前記第１の画像データを含む動画データと、前記満足度の情報とを記録媒体に記録することと、
を具備する撮像方法。

１ 撮像装置、２ ネットワーク、３ 外部サーバ、１０ 撮像部、２０ 記憶部、３０ 表示部、４０ 記録媒体、５０ 操作部、６０ 姿勢検出部、７０ 通信部、８０ 信号処理部、１０１ 撮影レンズ、１０２ 絞り、１０３ 撮像素子、８０１ 撮像制御部、８０２ 読み取り部、８０３ ライブビュー処理部、８０４ 記録画像処理部、８０５ 画像選択部、８０５ａ 第１の選択部、８０５ｂ 第２の選択部、８０６ 表示制御部、８０７ 特徴検出部、８０８ 静止画処理部、８０９ 動画処理部、８１０ 記録制御部、８１１ 通信制御部。

Claims (7)

1. 対象物を繰り返して撮像して複数の画像データを取得する撮像部と、
   複数の前記画像データのうちの第１の画像データをユーザの操作に応じて選択する第１の選択部と、
   前記第１の画像データに基づいて複数の前記画像データのうちの複数の第２の画像データを選択する第２の選択部と、
   前記第１の画像データと、複数の前記第２の画像データを含む動画データと、前記第１の画像データの特徴情報と、前記動画データの特徴情報とを記録媒体に記録する記録制御部と、
   を具備する撮像装置。
2. 前記第２の選択部は、複数の前記画像データのうちの前記第１の画像データと撮影品質が同等の複数の画像データを前記第２の画像データとして選択する請求項１に記載の撮像装置。
3. 前記撮影品質は、前記対象物に対する前記撮像部の合焦状態、前記対象物に対する前記撮像部の露出状態、前記撮像部の画角状態の少なくとも何れかを含む請求項２に記載の撮像装置。
4. 前記第１の画像データの特徴情報は、前記第１の画像データにおける前記対象物の情報を含む請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記対象物の情報は、前記第１の画像データにおける前記対象物の位置、大きさ、形状、色、種別、及び前記第１の画像データの背景の情報の少なくとも何れかを含む請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記動画データの特徴情報は、前記対象物を含むコマの撮影時間、前記対象物の移動方向、移動速度の情報の少なくとも何れかを含む請求項１乃至５の何れか１項に記載の撮像装置。
7. 撮像部により、対象物を繰り返して撮像して複数の画像データを取得することと、
   複数の前記画像データのうちの第１の画像データをユーザの操作に応じて選択することと、
   前記第１の画像データに基づいて複数の前記画像データのうちの複数の第２の画像データを選択することと、
   前記第１の画像データと、複数の前記第２の画像データを含む動画データと、前記第１の画像データの特徴情報と、前記動画データの特徴情報とを記録媒体に記録することと、
   を具備する撮像方法。