JP2011139123A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】動画や連写画像などの画像群の特徴を良く表したサムネイル画像を生成する。
【解決手段】本発明に係る画像処理装置は、第１画像データ取得部が保持する複数の撮像画像データと第２画像データ取得部が取得した複数の撮像画像データとを含む一連の撮像画像データのうちの１つに基づいて、一連の撮像画像データについてのサムネイル画像を生成するサムネイル生成手段を備え、このサムネイル生成手段は、撮影開始タイミング以前に取得された撮像画像データに基づいてサムネイル画像を生成する。
【選択図】図４

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

動画撮影中におけるトリガ条件成立時（例えば、ズームイン後、一定時間以上画角が固定された場合や、フォーカスロックしてから一定時間が経過した場合）のフレーム画像から新たにサムネイル画像を生成する技術が、特許文献１において提案されている。

特開２００７−２６６６５５号公報

しかし、特許文献１の技術では、動画や連写画像などの画像群の特徴を良く表したサムネイル画像を生成するには、いまだ十分ではない。

本発明は、上記のような問題点を鑑みてなされたものであり、動画や連写画像などの画像群の特徴を良く表したサムネイル画像を生成する、画像処理装置及び画像処理プログラムを提供することを目的とする。

上記の課題を解決するために、本発明の第１の観点に係る画像処理装置は、
撮像部が行う撮像によって得られる撮像画像を表す撮像画像データを順次取得し、取得した前記撮像画像データを新しいものから複数保持する第１画像データ取得手段と、
前記第１画像データ取得手段が順次取得する前記撮像画像データに基づいて、前記撮像画像における所定の被写体像の動きを検出する検出手段と、
前記検出手段が検出した前記被写体像の動きに基づいて、撮影開始タイミングを特定するタイミング特定手段と、
前記タイミング特定手段が特定した前記撮影開始タイミング以降に、前記撮像画像を表す撮像画像データを順次複数取得する第２画像データ取得手段と、
前記第１画像データ取得手段が保持する前記複数の撮像画像データと前記第２画像データ取得手段が取得した前記複数の撮像画像データとを含む一連の撮像画像データのうちの１つに基づいて、前記一連の撮像画像データについてのサムネイル画像を生成するサムネイル生成手段と、を備え、
前記サムネイル生成手段は、前記撮影開始タイミング以前に取得された前記撮像画像データに基づいて前記サムネイル画像を生成する。

上記の課題を解決するために、本発明の第２の観点に係る画像処理プログラムは、
コンピュータを、
撮像部が行う撮像によって得られる撮像画像を表す撮像画像データを順次取得し、取得した前記撮像画像データを新しいものから複数保持する第１画像データ取得手段と、
前記第１画像データ取得手段が順次取得する前記撮像画像データに基づいて、前記撮像画像における所定の被写体像の動きを検出する検出手段と、
前記検出手段が検出した前記被写体像の動きに基づいて、撮影開始タイミングを特定するタイミング特定手段と、
前記タイミング特定手段が特定した前記撮影開始タイミング以降に、前記撮像画像を表す撮像画像データを順次複数取得する第２画像データ取得手段と、
前記第１画像データ取得手段が保持する前記複数の撮像画像データと前記第２画像データ取得手段が取得した前記複数の撮像画像データとを含む一連の撮像画像データのうちの１つに基づいて、前記一連の撮像画像データについてのサムネイル画像を生成するサムネイル生成手段と、として機能させ、
前記サムネイル生成手段は、前記撮影開始タイミング以前に取得された前記撮像画像データに基づいて前記サムネイル画像を生成する。

本発明に係る画像処理装置及び画像処理プログラムによれば、精度良く、動画や連写画像などの画像群の特徴を良く表したサムネイル画像が生成される。

本発明の一実施形態に係る画像処理装置の構成を説明するための図である。 本発明の一実施形態に係る画像処理装置のハードウェア構成を説明するための図である。 本発明の一実施形態に係る画像処理装置が行うサムネイル生成処理（１）を説明するためのフローチャートである。 サムネイル生成処理（１）で生成される、一連の撮像画像と、サムネイル画像との関係を説明するための図である。 本発明の一実施形態に係る画像処理装置が行うサムネイル生成処理（２）を説明するためのフローチャートである。 サムネイル生成処理（２）で生成される、一連の撮像画像と、サムネイル画像との関係を説明するための図である。 本発明の一実施形態に係る画像処理装置が行うサムネイル生成処理（３）を説明するためのフローチャートである。 サムネイル生成処理（３）で生成される、一連の撮像画像と、サムネイル画像との関係を説明するための図である。 サムネイル生成処理の他の例で生成される、一連の撮像画像と、サムネイル画像との関係を説明するための図である。

本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。下記の実施形態及び図面に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、重要でない公知の技術的事項の説明を適宜省略する。

（実施形態１）
まず、本実施形態に係る画像処理装置１００の構成を、図１を参照して説明する。本実施形態に係る画像処理装置１００は、デジタルカメラである。

画像処理装置１００は、図１のように、制御部１１０と、Ｉ／Ｆ部１２０と、撮像部１３０と、操作部１４０と、表示部１５０と、信号処理部１６０と、を備える。

撮像部１３０は、制御部１１０の制御のもと、撮像する方向にある人物及び背景等の像（撮像画像）を取り込んで撮像信号を生成し、生成した撮像信号を信号処理部１６０に供給する。

信号処理部１６０は、制御部１１０の制御のもと、撮像部１３０から供給される撮像信号に基づいて撮像画像を表す画像元データを生成し、生成した画像元データを制御部１１０に供給する。

制御部１１０は、画像処理装置１００全体（撮像部１３０等の各構成要素）を制御する。制御部１１０は、第１画像データ取得部１１０ａと、検出部１１０ｂと、タイミング特定部１１０ｃと、第２画像データ取得部１１０ｄと、サムネイル生成部１１０ｅと、操作受付部１１０ｆとを備える。詳しくは後述するがこれらは、サムネイル生成処理（画像処理）を行う。

Ｉ／Ｆ部１２０は、外部とのインターフェース（Ｉ／Ｆ）である。Ｉ／Ｆ部１２０は、制御部１１０が記憶媒体５０にデータを読み書きする場合に使用される。

操作部１４０は、制御部１１０の制御のもと、ユーザからの操作入力を受け付け、受け付けた操作入力に応じた操作信号を制御部１１０に対して供給する。制御部１１０は、供給された操作信号に応じて処理を行う。

表示部１５０は、制御部１１０の制御のもと、画像処理装置１００を操作するために必要なメニュー画面、設定画面、ライブビュー画像等を表示する。

記憶媒体５０は、画像処理装置１００に接続される、画像処理装置１００の外部記憶装置である。記憶媒体５０は、例えば、フラッシュメモリを搭載したメモリーカードによって構成される。制御部１１０は、Ｉ／Ｆ部１２０を介して、撮像画像データ等を記憶媒体５０に記録する。

次に、図２を参照して、本実施形態に係る画像処理装置１００のハードウェア構成を説明する。

画像処理装置１００は、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read Only Memory）１１２と、ＲＡＭ（Random Access Memory）１１４と、ＴＧ（Timing Generator）１１５と、ドライバ１１６と、メディアコントローラ１２１と、撮像素子１３１と、撮像レンズ群１３２と、撮像駆動部１３３と、操作キー群１４１と、ディスプレイ１５１と、ＡＦＥ（Analog Front End）１６１と、バス１９９と、を備える。ＣＰＵ１１１等は、適宜、バス１９９に接続される。

図１の撮像部１３０は、撮像素子１３１と、撮像レンズ群１３２と、撮像駆動部１３３と、によって構成される。

撮像レンズ群１３２は、フォーカスレンズ及びズームレンズ等から構成されるレンズ群からなる。

撮像レンズ群１３２を構成する複数のレンズは、それぞれ、撮像駆動部１３３が備えるレンズ駆動部によって駆動される。レンズ駆動部は、撮像レンズ群１３２を光軸方向にそれぞれ移動させるモータと、このモータを駆動するモータドライバとから構成される。レンズ駆動部は、ＣＰＵ１１１の制御のもと、モータドライバによってモータを駆動させ、撮像レンズ群１３２を光軸方向にそれぞれ移動させる。

さらに、撮像駆動部１３３は、絞り兼用シャッター部を備える。この絞り兼用シャッター部は、絞り兼用シャッターと、駆動回路とを含む。駆動回路はＣＰＵ１１１の制御のもと、絞り兼用シャッターを動作させる。この絞り兼用シャッターは、絞りとシャッターとして機能する。絞りとは、撮像レンズ群１３２を介して入射する光の量を制御する機構のことをいい、シャッターとは、撮像素子１３１に光を当てる時間、つまり、受光素子が受光する時間を制御する機構のことをいう。

撮像素子１３１は、例えば、ベイヤー配列の色フィルタを有する各種ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサによって構成される。撮像素子１３１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等、他のイメージセンサであってもよい。

撮像素子１３１は、ドライバ１１６から供給される駆動信号に従い、撮像レンズ群１３２を介して入射する光による画像を取り込んで画素毎に光電変換し、光電変換により発生した画素毎の電荷に基づく信号を撮像信号としてＡＦＥ１６１に供給する。このようにして、撮像素子１３１は、ドライバ１１６を介してＣＰＵ１１１によって制御され、撮像信号をＡＦＥ１６１に供給する。

図１の信号処理部１６０は、ＡＦＥ１６１を含んで構成される。ＡＦＥ１６１は、撮像素子１３１から供給される撮像信号に所定の処理（以下、処理Ａという。）を行い、撮像素子１３１が撮像した撮像画像を表すデジタルデータ（元画像データ）を生成して出力する。処理Ａは、ＯＢ（Optical Black）クランプ処理、ＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Automatic Gain Control）処理、Ａ／Ｄ（Analog/digital）処理等を含む処理である。ＡＦＥ１６１は、生成した元画像データをＲＡＭ１１４に記録（供給）する。

ここで、元画像データは、撮像画像における画素値等によって表現される、１フレーム分の画像データである。元画像データは、例えば、ベイヤデータである。

図１の制御部１１０（第１画像データ取得部１１０ａ、検出部１１０ｂ、タイミング特定部１１０ｃ、第２画像データ取得部１１０ｄ、サムネイル生成部１１０ｅ、操作受付部１１０ｆ）は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１４と、ＴＧ１１５と、ドライバ１１６と、によって構成される。

ＣＰＵ１１１は、画像処理装置１００の各構成要素を制御する。また、ＣＰＵ１１１は、ＲＯＭ１１２に記録されている画像処理プログラム１１３に従い、さらに、ＲＯＭ１１２に記録されている各種データを用いる等して、また、ドライバ１１６、ＴＧ１１５、他の各構成要素等を制御することによって、サムネイル生成処理等、制御部１１０（第１画像データ取得部１１０ａ、検出部１１０ｂ、タイミング特定部１１０ｃ、第２画像データ取得部１１０ｄ、サムネイル生成部１１０ｅ、操作受付部１１０ｆ）が行う処理を実行する。ＲＯＭ１１２に記録されている画像処理プログラム１１３、データ等は、一度、ＲＡＭ１１４に読み出されて使用されても良い。

ＣＰＵ１１１の機能の少なくとも一部は、各種専用回路によって実現されてもよい。つまり、制御部１１０の少なくとも一部を各種専用回路によって構成してもよい。各種専用回路としては、例えば、ＤＳＰ（Digital Signal Processor）、エンコーダ、デコーダ等がある。

ＲＯＭ１１２は、適宜の半導体記憶装置によって構成される。ＲＯＭ１１２には、画像処理プログラム１１３等の各種プログラム、及び、ＣＰＵ１１１が使用するデータ等が記憶されている。

ＲＡＭ１１４は、適宜の半導体記憶装置によって構成される。ＲＡＭ１１４は、ＣＰＵ１１１のワーキングメモリ等として機能し、ＣＰＵ１１１が使用するデータ（テンプレート画像のデータ）、ＣＰＵ１１１が生成したデータ（撮像画像データ等）、ＣＰＵ１１１に供給されるデータ（元画像データ）等を一時記憶する。ＲＡＭ１１４は、例えば、ＤＲＡＭ（Synchronous Dynamic Random Access Memory）を含む。

なお、画像処理プログラム１１３は、ＯＳ（Operation System）と協働してＣＰＵ１１１に撮像制御処理を行わせるものであってもよい。この場合、ＯＳもＲＯＭ１１２に記録される。また、画像処理プログラム１１３は、持ち運び可能な記憶媒体（例えば、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory））に記録され、画像処理装置１００に供給されてもよい。また、画像処理プログラム１１３は、ネットワークを介して画像処理装置１００に供給されてもよい。

画像処理プログラム１１３が記録されたＲＯＭ１１２、ＲＡＭ１１４、又は、持ち運び可能な記憶媒体は、コンピュータが読み取り可能なプログラム製品（プログラムを記憶したコンピュータが読み取り可能な記憶媒体）になる。画像処理プログラム１１３は、機能の少なくとも一部が専用回路によって実現されたコンピュータを動作させるものであってもよい。つまり、コンピュータは、全体として、撮像制御処理を行うものであればよく、画像処理プログラム１１３は、そのようなコンピュータを動作させるものであればよい。

ＣＰＵ１１１は、ＡＦＥ１６１から供給される元画像データに対して各種処理（以下、処理Ｂという）を行い、ＹＵＶ（輝度・色差）形式の撮像画像データへの変換を行う。処理Ｂは、輪郭強調、オートホワイトバランス、オートアイリス等の画質を向上させる処理を含む。このように、ＣＰＵ１１１は、ＡＦＥ１６１から供給された元画像データに基づいて撮像画像データを生成することによって、撮像画像データを取得する。

なお、制御部１１０がＤＳＰを含む場合、ＤＳＰは、ＡＦＥ１６１から元画像データを受け取り、受け取った元画像データを前記の処理Ｂと同様の処理によって撮像画像データ（ＹＵＶ形式）に変換する。これによって、制御部１１０は、撮像画像データを取得する。

ＣＰＵ１１１は、適宜、前記で生成した撮像画像データを表示用データに変換し、ディスプレイ１５１に供給する。また、ＣＰＵ１１１は、適宜、メニュー画面、設定画面等を表す表示用データ（これらのテンプレート画像のデータは、ＲＯＭ１１２に記録されている。）を生成し、ディスプレイ１５１に供給する。表示用データは、例えば、ＲＧＢデータである。

ＣＰＵ１１１は、適宜、ＲＡＭ１１４に記録された撮像画像データを圧縮し、圧縮した圧縮画像データ（これも撮像画像データの一例である。）を生成する。制御部１１０がエンコーダを含む場合、このエンコーダが圧縮を行っても良い。ＣＰＵ１１１は、適宜、圧縮画像データを、メディアコントローラ１２１を介して記憶媒体５０に記録する。圧縮画像データは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式の撮像画像データである。

ＴＧ１１５は、ＣＰＵ１１１によって制御され、ドライバ１１６を動作させるためのパルス信号を生成し、ドライバ１１６に供給する。つまり、撮像素子１３１から１フレーム分（つまり、１画像分）の撮像信号が供給される間隔（シャッタースピード）は、ＴＧ１１５からドライバ１１６に供給されるパルス信号等に依存する。また、ＴＧ１１５は、ＡＦＥ１６１にも同様のパルス信号を供給する。ＴＧ１１５は、パルス信号の供給によって、ＡＦＥ１６１とドライバ１１６との動作タイミングの同期を図る。このようにして、ＡＦＥ１６１とドライバ１１６とは、ＴＧ１１５を介してＣＰＵ１１１によって制御される。

ドライバ１１６は、ＴＧ１１５からのパルス信号に従い、撮像素子１３１に駆動信号を供給する駆動回路である。撮像素子１３１は、ＴＧ１１５とドライバ１１６とを介してＣＰＵ１１１によって制御される。

ＣＰＵ１１１は、ドライバ１１６、ＴＧ１１５等を制御する等して、撮像画像データを所定のフレームレートで順次取得し、順次取得した撮像画像データを用いて、サムネイル生成処理を行う。なお、このときに使用される撮像画像データは、データ形式がＣＰＵ１１１によって適宜変更されてもよい。つまり、撮像画像データは、所定の撮像画像を表すものであればよい。制御部１１０は、撮像制御処理において撮像画像データを使用するとき、撮像画像データを適宜のデータ形式（例えば、ＲＧＢ（Red-Green-Blue）形式）に変換して使用できるものとする。

図１のＩ／Ｆ部１２０は、メディアコントローラ１２１によって構成される。メディアコントローラ１２１は、ＣＰＵ１１１の制御のもと、ＣＰＵ１１１からデータ（撮像画像データ、差分データ等）を受け取り、受け取ったデータを記憶媒体５０に保存（記録）する等、ＣＰＵ１１１と記憶媒体５０とを仲立ちする。これによって、記憶部に撮像画像データが記録等される。

図１の操作部１４０は、操作キー群１４１によって構成される。操作キー群１４１は、半押し全押しの二段階操作可能なシャッターキー、モード切り替えキー、十字キー、ズームキー、及び、メニューキー、セットキー、電源キー等の複数の操作キーを含む。操作キー群１４１は、さらに、各キーの操作に対応した操作信号を出力する信号出力部（基板、接点等によって構成される。）を備える。操作キー群１４１は、ＣＰＵ１１１に制御され、各キーの操作に応じた操作信号をＣＰＵ１１１に供給する。

図１の表示部１５０は、ディスプレイ１５１によって構成される。ディスプレイ１５１は、表示パネルと表示コントローラとを備える。表示コントローラには、ＣＰＵ１１１の制御のもと、表示用データが供給される。表示コントローラは、ＣＰＵ１１１の制御のもと、供給された表示用データをアナログ信号に変換し、変換したアナログ信号に基づいて表示パネルに画像を表示する。つまりディスプレイ１５１は、ＣＰＵ１１１の制御のもと、供給された表示用データに基づいて、この表示用データが表す画像（メニュー画面、設定画面、ライブビュー画像等）を表示する。

次に、画像処理装置１００が行うサムネイル生成処理（１）の詳細な一例を、図３及び図４を参照して説明する。この処理は、画像処理装置１００の操作部１４０が操作されて、ムーブイン（ＭＩ）連写撮影モードが選択されたこと等を契機として開始されるものとする。このモードでは、ムーブイン検出機能、パスト撮影機能等が用いられて、ムーブイン検出後に、自動的に連写撮影が行われる。ムーブイン検出機能とは、所定の被写体像が画像内の所定領域（検出枠）に入ってきたタイミングを検出する公知の機能である。パスト撮影機能とは、撮影開始タイミングから所定期間遡った期間に撮像された画像を撮像画像データとして記憶しておく公知の機能である。また、撮影は、適宜、動画撮影であってもよい。

第１画像データ取得部１１０ａは、撮像画像データを取得する（ステップＳ１０１）。第１画像データ取得部１１０ａは、撮像部１３０、信号処理部１６０等を制御し、撮像と画像元データの供給とを行わせる。第１画像データ取得部１１０ａは、信号処理部１６０から供給される画像元データに処理Ｂを行い、撮像画像データを生成（取得）する。なお、後述のムーブインが検出されるまで、第１画像データ取得部１１０ａは、撮像画像データを所定のフレームレートで順次取得する。また、ここで取得された撮像画像データは、パスト撮影によって撮影され記録されたデータとして扱われる。

なお、第１画像データ取得部１１０ａは、取得した撮像画像データに基づいて表示用データを生成し、表示部１５０に供給し、撮像画像データが表す撮像画像を表示部１５０に表示してもよい。これによって、ライブビュー画像が表示される。

なお、第１画像データ取得部１１０ａは、取得した撮像画像データをＲＡＭ１１４の所定の記憶領域に時系列順に一時記録（保持）する。第１画像データ取得部１１０ａは、撮像画像データを所定数記憶するまで蓄積して記憶し、その後、新しい撮像画像データを記憶するたびに、最も古い撮像画像データを削除する。これによって、第１画像データ取得部１１０ａは、所定数の撮像画像データを循環記憶する。

第１画像データ取得部１１０ａが撮像画像データを取得すると、検出部１１０ｂとタイミング特定部１１０ｃとがムーブインの検出を試みる（ステップＳ１０２等）。この検出は、被写体像の動き等によって成されるものであり、複数の撮像画像データを用いて行われるので、最初はムーブインが検出されない（ステップＳ１０３；ＮＯ）。ムーブインが検出されない場合（ステップＳ１０３；ＮＯ）、第１画像データ取得部１１０ａは、予め設定されているフレームレートに応じた時間間隔で待機し（ステップＳ１０４）、その後にステップＳ１０１の処理を再び行う。フレームレートは、パスト撮影によって得たい撮像画像の間隔に応じて予め設定されているものとする。ステップＳ１０２等は、ムーブインの検出が検出されるまで繰り返し行われる。

繰り返し行われるステップＳ１０２において、検出部１１０ｂは、第１画像データ取得部１１０ａが保持する連続する撮像画像データ（最新のものと前回のもの）を用いて、被写体像の位置の変化（つまり、被写体像の動き）の検出を試みる。検出出来なければムーブインも検出されないことになる（ステップＳ１０３；ＮＯ）。被写体像の動きの検出は、ムーブイン機能の技術を利用して行われる。この検出については、動きベクトル、テンプレートマッチング等が使用される。例えば、検出枠において、動きベクトルの大きさが閾値以上の、所定の大きさを有する領域が検出された場合、この領域が被写体像であるとしてこの位置を被写体像の位置として検出する。

そして、タイミング特定部１１０ｃは、検出部１１０ｂが被写体像の動きを検出すると、この検出した被写体の動きに基づいて、被写体像が画像上の検出枠（予め設定されたものである。図４も参照）内に位置するか（例えば、被写体像の一部が検出枠内に位置する）、つまり、ムーブインがあるかを判別する（ステップＳ１０３）。被写体像が検出枠に入っていない場合、ムーブインが検出されないとして（ステップＳ１０３；ＮＯ）、第１画像データ取得部１１０ａは、ステップＳ１０４の処理を行う。

タイミング特定部１１０ｃは、被写体像が検出枠に入っていると判別すると、ムーブインを検出したとして（ステップＳ１０３；ＹＥＳ）、第２画像データ取得部１１０ｄに、第１画像データ取得部１１０ａと同様の処理を行わせ、予め指定された枚数の撮像画像データを順次取得（連写撮影）させる（ステップＳ１０５）。これによって、連写撮影（フレームレートは予め設定される。）が開始され実行されることになる。このように、タイミング特定部１１０ｃは、ムーブインを検出したタイミングを連写撮影の開始タイミングとして特定し、このタイミングで連写撮影を第２画像データ取得部１１０ｄに開始させる。第２画像データ取得部１１０ｄは、ＲＡＭ１１４に撮像画像データを順次記録していく（撮像画像データを保持する）。

連写撮影が終了すると、サムネイル生成部１１０ｅは、第１画像データ取得部１１０ａが保持する複数の撮像画像データ（パスト撮影用の撮像画像データ）と第２画像データ取得部１１０ｄが取得した（ここでは、保持されている）複数の撮像画像データとを含む一連の撮像画像データ（図４参照）のうちの１つに基づいて、一連の撮像画像データについてのサムネイル画像を生成する。ここでは、撮影開始タイミングに第２画像データ取得部１１０ｄが取得した撮像画像データに基づいてサムネイル画像を生成する（ステップＳ１０６）。

ここで、一連の撮像画像データがそれぞれ表す一連の撮像画像について、図４を参照して説明すると、ムーブイン検出時点の画像に被写体像Ｘが入ってきている。この撮像画像は、連写撮影で得られる最初の画像であるとともに、被写体像が検出枠に入ってきたタイミングで撮影された画像である。このため、この画像は、一連の撮像画像の中で、これらの画像の特徴を良く表すものと考えられる。この画像をサムネイル化することによって、画像群の特徴を良く表したサムネイル画像が生成される。

サムネイル生成部１１０ｅは、サムネイル画像を表す画像データと、前記一連の撮像画像データとを関連づけ、また、必要に応じて各画像データを圧縮し、Ｉ／Ｆ部１２０を介して、記憶媒体５０に記録する。これによって、サムネイル生成処理（１）は終了する。

サムネイル生成部１１０ｅは、適宜のタイミングで、記憶媒体５０からサムネイル画像データを読み出し、このデータに基づいて表示用データを生成し、表示部１５０に供給する。これによって、サムネイル生成部１１０ｅは、サムネイル画像を表示部１５０に表示する。

次に、画像処理装置１００が行うサムネイル生成処理（２）の詳細な一例を、図５及び図６を参照して説明する。この処理は、画像処理装置１００の操作部１４０が操作されて、ムーブアウト（ＭＯ）連写撮影モードが選択されたこと等を契機として開始されるものとする。このモードでは、ムーブアウト検出機能、パスト撮影機能等が用いられて、ムーブアウト検出後に、自動的に連写撮影が行われる。ムーブアウト検出機能とは、所定の被写体像が画像内の所定領域（検出枠）から外に出たタイミングを検出する公知の機能である。また、撮影は、適宜、動画撮影であってもよい。なお、下記では、サムネイル生成処理（１）と同様の処理については説明を適宜省略する。

第１画像データ取得部１１０ａは、撮像画像データを取得する（ステップＳ２０１）。この処理は、上記で説明したステップＳ１０１と同様の処理であるので説明を省略する。

第１画像データ取得部１１０ａは、取得した撮像画像データに基づいて所定の被写体像の位置を検出する（ステップＳ２０２）。被写体像の位置の検出は、ムーブアウト機能の技術を利用して行われる。なお、この検出については、予め設定されている所定のテンプレート画像（ＲＯＭ１１２に記録されているものとする。）を用いたテンプレートマッチング等による検出（例えば顔検出）が使用されてもよい。第１画像データ取得部１１０ａは、検出した被写体像の位置を示すデータ（以下、位置データという。）を撮像画像データに対応付けて保持する。検出した被写体像の位置は、例えば被写体像の中心にある任意の点の位置であるものとする。

第１画像データ取得部１１０ａが被写体像の位置を検出すると、検出部１１０ｂとタイミング特定部１１０ｃとは、ムーブアウトの検出を試みる（ステップＳ２０３等）。この検出は、被写体像の動き等によって成されるものであり、複数の撮像画像データを用いて行われるので、最初はムーブアウトが検出されない（ステップＳ２０４；ＮＯ）。ムーブアウトが検出されない場合（ステップＳ２０４；ＮＯ）、第１画像データ取得部１１０ａは、予め設定されているフレームレートに応じた時間間隔で待機し（ステップＳ２０５）、その後にステップＳ２０１等の処理を再び行う。フレームレートは、パスト撮影によって得たい撮像画像の間隔に応じて予め設定されているものとする。

繰り返し行われるステップＳ２０３において、検出部１１０ｂは、第１画像データ取得部１１０ａが保持する連続する撮像画像データ（最新のものと前回のもの、なお上記の位置データであってもよい）を用いて、被写体像の位置の変化（つまり、被写体像の動き）の検出を試みる。検出出来なければムーブアウトも検出されないことになる（ステップＳ２０４；ＮＯ）。被写体像の動きの検出は、ムーブアウト機能の技術を利用して行われる。被写体像の検出は、動きベクトル、テンプレートマッチング等が使用される。例えば、所定のテンプレート画像（例えば、顔画像のテンプレート画像）を用いたテンプレートマッチングによって被写体像を検出してもよい（例えば、顔検出）。また、被写体像の動きは、前回のフレームの被写体像をテンプレート画像として次のフレームの被写体像をテンプレートマッチングで探す方法、動きベクトルを用いた方法、第１画像データ取得部１１０ａが検出した被写体像の位置等によって追跡しても良い。

そして、タイミング特定部１１０ｃは、検出部１１０ｂが被写体像の動きを検出すると、この検出した被写体の動きに基づいて、被写体像が画像上の検出枠内から外に移動したか（例えば、被写体像のうちの所定の閾値未満の大きさの部分しか検出枠内に残っていないか）、つまり、ムーブアウトがあるかを判別する（ステップＳ２０４）。被写体像が検出枠の外に移動していない場合、ムーブアウトが検出されないので（ステップＳ２０４；ＮＯ）、第１画像データ取得部１１０ａは、ステップＳ２０５の処理を行う。

タイミング特定部１１０ｃは、被写体像が検出枠から外に移動したと判別すると、ムーブアウトが検出されたとして（ステップＳ２０４；ＹＥＳ）、第２画像データ取得部１１０ｄに、第１画像データ取得部１１０ａと同様の処理を行わせ、予め指定された枚数の撮像画像データを順次取得（連写撮影）させる（ステップＳ２０６）。この処理は、上記ステップＳ１０５の処理と同様であるので説明を省略する。このように、タイミング特定部１１０ｃは、ムーブアウトを検出したタイミングを連写撮影の開始タイミングとして特定し、このタイミングで連写撮影を第２画像データ取得部１１０ｄに開始させる。第２画像データ取得部１１０ｄは、ＲＡＭ１１４に撮像画像データを順次記録していく（撮像画像データを保持する）。

連写撮影が終了すると、サムネイル生成部１１０ｅは、ＲＡＭ１１４に記録された（第１画像データ取得部１１０ａが保持する）撮像画像データの中から連写撮影のトリガとなった画像の画像データを特定する（ステップＳ２０７）。トリガとなった画像データは、第１画像データ取得部１１０ａが最後に取得保持している撮像画像データである。サムネイル生成部１１０ｅは、この撮像画像データを特定する。この撮像画像データは、位置情報が対応付けて記録されている最新の撮像画像データであるので、このようなデータをＲＡＭ１１４内から探せば、連写撮影のトリガとなった画像データを特定することが出来る。

次に、サムネイル生成部１１０ｅは、第１画像データが記録されたＲＡＭ１１４内を探し、前回特定した（ステップＳ２０７又は前回のステップＳ２０８で特定した）撮像画像データの１つ前のフレームの撮像画像データを特定する（ステップＳ２０８）。

続いて、サムネイル生成部１１０ｅは、前回特定した撮像画像データに対応付けて記録されている位置データと、今回ステップＳ２０８で特定した撮像画像データに対応付けて記録されている位置データと、をＲＡＭ１１４から読み出す（ステップＳ２０９）。

次に、サムネイル生成部１１０ｅは、ＲＡＭ１１４から読み出した二つの位置データに基づいて、この位置データに対応する撮像画像データのフレームが、被写体像が動き出す直前のフレームであるかを判別する（Ｓ２１０）。この判別は、例えば、二つの位置データが特定する画像上の位置間の距離が、所定の閾値以下になっているかによって判別する。

サムネイル生成部１１０ｅは、前記の距離が所定の閾値を超えている場合に、判別対象の位置データに対応する撮像画像データのフレーム（特に後のフレーム）が、被写体像が動き出す直前のフレームでないと判別し（ステップＳ２１０；ＮＯ）、ステップＳ２０８の処理を再び行う。また、サムネイル生成部１１０ｅは、前記の距離が所定の閾値以下の場合に、判別対象の位置データに対応する撮像画像データのフレーム（特に後のフレーム）が、被写体像が動き出す直前のフレームであると判別する（ステップＳ２１０；ＹＥＳ）。

ここで、前記の距離が所定の閾値以下になっていれば、被写体像は、この二つの位置データに対応する撮像画像間において、同じ又は略同じ所に留まっていると考えることができる。一方で、前記の距離が所定の閾値を超えれば、被写体像は、この二つの位置データに対応する撮像画像間において、移動したと考えることができる。

サムネイル生成部１１０ｅがステップＳ２１０の処理でＮＯと繰り返し判別した場合、サムネイル生成部１１０ｅは、ステップＳ２１０等の処理を繰り返し行うので、連写撮影の開始タイミングから遡って、被写体像が同じ又は略同じ所に留まっているかを判別することになる。そして、ステップＳ２１０の処理で最初にＹＥＳと判別されたとき、この判別に係る撮像画像データが撮像された時期が、連写撮影の開始タイミングから遡って最初に被写体像が同じ又は略同じ所に留まっている時期と考えることができる。そして、このような時期は、撮影開始のタイミングにおいて動いていた被写体像が動き出す直前の時期であると考えることができる。このため、ステップＳ２１０の判別で、前記の距離が所定の閾値以下になっていると判別される場合、判別対象の位置データに対応する撮像画像データのフレーム（特に後のフレーム）が、被写体像が動き出す直前のフレームであると判別する事が出来る。

サムネイル生成部１１０ｅは、ステップＳ２１０の処理でＹＥＳと判別した場合、第１画像データ取得部１１０ａが保持する複数の撮像画像データ（パスト撮影用の撮像画像データ）と第２画像データ取得部１１０ｄが取得した（ここでは、保持されている）複数の撮像画像データとを含む一連の撮像画像データ（図６参照）のうちの１つに基づいて、一連の撮像画像データについてのサムネイル画像を生成する。ここでは、撮影開始タイミング前に第１画像データ取得部１１０ａが取得した撮像画像データに基づいてサムネイル画像を生成する（ステップＳ２１１）。

特にここでは、サムネイル生成部１１０ｅは、ステップＳ２１０の処理でＹＥＳと判別したときの判別対象である位置データに対応する撮像画像データ（ここでは、二つの撮像画像データのうちの後の方のフレームの撮像画像データとするが、前の方のフレームの撮像画像であってもよい。）を、ＲＡＭ１１４から読み出し、読み出した撮像画像データに基づいて、サムネイル画像（サムネイル画像データ）を生成する（ステップＳ２１１）。上述のように、この読み出された撮像画像データは、被写体像が動き出す直前のフレームの撮像画像データとされるものである。

このようにして、サムネイル生成部１１０ｅは、第１画像データ取得部１１０ａが保持する複数の撮像画像データのうちの１つの撮像画像データに基づいてサムネイル画像を生成する。特に、サムネイル生成部１１０ｅは、検出部１１０ｂが検出した被写体像の動きに基づいて、被写体像が検出枠内に位置しているときの撮像画像データを第１画像データ取得部１１０ａが保持する複数の撮像画像データの中から特定し、特定した撮像画像データに基づいてサムネイル画像を生成する。

ここで、一連の撮像画像データがそれぞれ表す一連の撮像画像について、図６を参照して説明すると、ムーブアウト検出時点の画像では被写体像Ｘが検出枠の外に移動している。また、パスト撮影によって撮影された撮像画像には、被写体像Ｘが存在する。そして、被写体像Ｘが動き出す直前の撮像画像について、サムネイル化がされる。このような画像は、被写体像Ｘが存在する撮像画像になるので、この画像をサムネイル化することによって、画像群（一連の撮像画像）の特徴を良く表したサムネイル画像が生成される。

なお、サムネイル生成部１１０ｅは、ステップＳ２１１において、第１取得部１１０ａが保持する撮像画像データのうちの新しい方から数えて、予め定められたフレーム数遡った、撮像画像データに基づいてサムネイル画像を生成してもよい。この場合、ステップＳ２０８乃至ステップＳ２１０の処理は不要になる。ムーブアウトの検出では、ムーブアウトの検出前に撮像された撮像画像に被写体像Ｘが存在する。このため、サムネイル生成部１１０ｅは、第１画像データ取得部１１０ａが保持する複数の撮像画像データのうちの１つの撮像画像データに基づいてサムネイル画像を生成すれば、このサムネイル画像には、被写体像Ｘが存在する可能性が高いので、このサムネイル画像は、画像群（一連の撮像画像）の特徴を良く表した画像となる。

サムネイル生成部１１０ｅは、サムネイル画像を表す画像データと、前記一連の撮像画像データとを関連づけ、また、必要に応じて各画像データを圧縮し、Ｉ／Ｆ部１２０を介して、記憶媒体５０に記録する。

サムネイル生成部１１０ｅは、適宜のタイミングで、記憶媒体５０からサムネイル画像データを読み出し、このデータに基づいて表示用データを生成し、表示部１５０に供給する。これによって、サムネイル生成部１１０ｅは、サムネイル画像を表示部１５０に表示する。

次に、画像処理装置１００が行うサムネイル生成処理（３）の詳細な一例を、図７及び図８を参照して説明する。この処理は、画像処理装置１００の操作部１４０が操作されて、ムーブイン連写撮影モードが選択されたこと等を契機として開始されるものとする。このモードでは、ムーブイン検出機能、パスト撮影機能等が用いられて、ムーブイン検出後に、自動的に連写撮影が行われる。また、ここでは、画像処理装置１００は、ユーザのシャッターキーの押圧操作（シャッター操作）を受け付けるものとする。また、撮影は、適宜、動画撮影であってもよい。また、サムネイル生成処理（３）は、サムネイル生成処理（１）にシャッタ操作に応じた処理を付加したものであるので、下記の説明では、サムネイル生成処理（１）と異なる部分について説明する。なお、両者のフローチャートで処理が同様のものについては、同じステップ符号とした。

第１画像データ取得部１１０ａは、撮像画像データを取得する（ステップＳ１０１）。この処理は、サムネイル生成処理（１）における処理と同様であるので説明を省略する。

第１画像データ取得部１１０ａが撮像画像データを取得すると、操作受付部１１０ｆは操作部１４０からシャッター操作の操作信号が供給されたかを判別する（ステップＳ３０１）。操作部１４０は、シャッターキー群１４１のシャッターキーが押圧操作（シャッター操作）された場合、このシャッター操作の操作信号を操作受付部１１０ｆに供給するものとする。

操作受付部１１０ｆがステップＳ３０１でシャッター操作の操作信号が供給されたと判別すると（ステップＳ３０１；ＹＥＳ）、第１画像データ取得部１１０ａは、直近のステップＳ１０１で取得保持した撮像画像データに、シャッタフラグを付加する（ステップＳ３０２）。このステップによって、シャッター操作がされたときに、撮像された撮像画像が特定されることになる。

ステップＳ３０２の処理が終わると、又は、ステップＳ３０１で操作受付部１１０ｆがシャッター操作の操作信号が供給されていないと判別すると（ステップＳ３０１；ＮＯ）、ステップＳ１０２の処理が行われる。ここで、ステップＳ１０２、ステップＳ１０３、ステップＳ１０４の処理は、サムネイル生成処理（１）における処理と同様であるので説明を省略する。

タイミング特定部１１０ｃは、ステップＳ１０３の処理において、被写体像が検出枠に入っていると判別すると、ムーブインを検出したとして（ステップＳ１０３；ＹＥＳ）、第２画像データ取得部１１０ｄに、第１画像データ取得部１１０ａと同様の処理を行わせ、撮像画像データを取得させる（ステップＳ３０３）。これによって、連写撮影（フレームレートは予め設定される。）が開始されることになる。このように、タイミング特定部１１０ｃは、ムーブインを検出したタイミングを連写撮影の開始タイミングとして特定し、このタイミングで連写撮影を第２画像データ取得部１１０ｄに開始させる。第２画像データ取得部１１０ｄは、ＲＡＭ１１４に撮像画像データを記録していく（撮像画像データを保持する）。

第２画像データ取得部１１０ｄが１つの撮影画像を取得し保持すると、操作受付部１１０ｆは操作部１４０からシャッター操作の操作信号が供給されたかを判別する（ステップＳ３０４）。

操作受付部１１０ｆがステップＳ３０４でシャッター操作の操作信号が供給されたと判別すると（ステップＳ３０４；ＹＥＳ）、第１画像データ取得部１１０ａは、直近のステップＳ３０３で取得保持した撮像画像データに、シャッターフラグを付加する（ステップＳ３０５）。このステップによって、シャッター操作がされたときに、撮像された撮像画像が特定されることになる。

ステップＳ３０５の処理が終わると、又は、ステップＳ３０４で操作受付部１１０ｆがシャッター操作の操作信号が供給されていないと判別すると（ステップＳ３０４；ＮＯ）、第２画像データ取得部１１０ｄは、指定枚数の撮影を行ったかを判別する（ステップＳ３０６）。例えば、第２画像データ取得部１１０ｄは、予め設定されている、連写撮影で撮影した枚数（指定枚数）の静止画像データを保持しているかを判別することによって上記の判別を行う。

第２画像データ取得部１１０ｄは、指定枚数の撮像画像データを保持していない場合に、指定枚数の撮影を行っていないと判別し（ステップＳ３０６；ＮＯ）、予め設定されているフレームレートに応じた時間間隔で待機し（ステップＳ３０７）、その後にステップＳ３０３の処理を再び行う。フレームレートは、ムーブイン検出後の連写撮影によって得たい撮像画像の間隔に応じて予め設定されているものとする。このような処理の繰り返しによって、第２画像データ取得部１１０ｄは、順次所定のフレームレートで撮像画像データを取得し、ＲＡＭ１１４に保持する。

第２画像データ取得部１１０ｄは、指定枚数の撮像画像データを保持している場合に、指定枚数の撮影を行ったと判別し（ステップＳ３０６；ＹＥＳ）、連写撮影を終了し、サムネイル生成部１１０ｅは、第１画像データ取得部１１０ａが保持する複数の撮像画像データ（パスト撮影用の撮像画像データ）と第２画像データ取得部１１０ｄが取得した（ここでは、保持されている）複数の撮像画像データとを含む一連の撮像画像データ（図４参照）のうちの１つに基づいて、一連の撮像画像データについてのサムネイル画像を生成する。ここでは、撮影開始タイミングに第２画像データ取得部１１０ｄが取得した撮像画像データに基づいてサムネイル画像を生成する（ステップＳ３０８）。

さらに、ステップＳ３０８において、サムネイル生成部１１０ｅは、第１画像データ取得部１１０ａ及び第２画像データ取得部１１０ｄが保持する撮像画像データの中で、シャッターフラグが付加された撮像画像データを特定し、特定した撮像画像データに基づいて、一連の撮像画像データについてのサムネイル画像を生成する。このようにして、サムネイル生成部１１０ｅは、操作受付部１１０ｆがシャッター操作の操作信号を受け付けたタイミングで第１画像データ取得部１１０ａ又は第２画像取得部１１０ｄが取得した撮像画像データに基づいて新たなサムネイル画像をさらに生成する。シャッターフラグが付加されている撮像画像データが表す撮像画像は、ユーザがシャッター操作によって撮影した画像であり、ユーザが興味のある画像である可能が高い。このため、このようなサムネイル化で、一連の撮像画像の中で、ユーザの興味を引く画像がサムネイル化される。

ここで、一連の撮像画像データがそれぞれ表す一連の撮像画像について、図８を参照して説明すると、ムーブイン検出時点の画像に被写体像Ｘが入ってきている。この撮像画像は、連写撮影で得られる最初の画像であるとともに、被写体像が検出枠に入ってきたタイミングで撮影された画像である。このため、この画像は、一連の撮像画像の中で、これらの画像の特徴を良く表すものと考えられる。この画像をサムネイル化することによって、画像群の特徴を良く表したサムネイル画像が生成される。また、シャッター操作があったタイミングで撮影された撮像画像についてもサムネイル化されるので、ユーザの興味を引く画像がサムネイル化される。このような撮像画像は、被写体Ｘが写ったものでなくても、ユーザの興味を引く画像である可能が高い。

サムネイル生成部１１０ｅは、サムネイル画像を表す画像データと、前記一連の撮像画像データとを関連づけ、また、必要に応じて各画像データを圧縮し、Ｉ／Ｆ部１２０を介して、記憶媒体５０に記録する。これによって、サムネイル生成処理（３）は終了する。

サムネイル生成部１１０ｅは、適宜のタイミングで、記憶媒体５０からサムネイル画像データを読み出し、このデータに基づいて表示用データを生成し、表示部１５０に供給する。これによって、サムネイル生成部１１０ｅは、サムネイル画像を表示部１５０に表示する。ここで、サムネイル生成部１１０ｅは、シャッター操作のタイミングで撮像された撮像画像のサムネイル画像と、ムーブイン検出時点で撮像された撮像画像のサムネイル画像とを、表示部１５０に表示するときに、これらの画像を所定期間毎に切り替えて表示するか、並べて表示する。これによって、ユーザは、両画像を見比べることもできる。

サムネイル生成処理（３）におけるシャッター操作に応じた処理は、サムネイル生成処理（２）に付加することもできる。この場合、サムネイル生成処理（３）におけるステップＳ３０１及びＳ３０２の処理がステップＳ２０１とステップＳ２０２との間等に入る。また、ステップＳ２０６の処理をステップＳ３０３乃至ステップＳ３０７の処理に置き換える。また、ステップＳ２１１の処理で、さらに、ステップＳ３１１の、シャッターフラグが付加された撮像画像データに基づいて、サムネイル画像を生成する処理を行う。

ここで、このサムネイル生成処理によって得られる一連の撮像画像データがそれぞれ表す一連の撮像画像について、図９を参照して説明すると、ムーブアウト検出時点の画像では被写体像Ｘが検出枠の外に移動している。また、パスト撮影によって撮影された撮像画像には、被写体像Ｘが存在する。そして、被写体像Ｘが動き出す直前の撮像画像について、サムネイル化がされる。このような画像は、被写体像Ｘが存在する撮像画像になるので、この画像をサムネイル化することによって、画像群（一連の撮像画像）の特徴を良く表したサムネイル画像が生成される。また、シャッター操作があったタイミングで撮影された撮像画像についてもサムネイル化されるので、ユーザの興味を引く画像がサムネイル化される。このような撮像画像は、被写体Ｘが写ったものでなくても、ユーザの興味を引く画像である可能が高い。

本実施形態に係る撮像装置１００は、上記サムネイル生成処理のいずれか１つを少なくとも行うものであってもよい。

以上で説明したように、本実施形態では、サムネイル生成部１１０ｅは、撮影開始タイミング以前に取得された撮像画像データに基づいてサムネイル画像を生成する。ムーブインやムーブアウトの検出をトリガとして連写撮影等を行う場合、被写体像の動きがトリガ条件になるので、撮影開始タイミング以前に取得された撮像画像に被写体像が存在する場合が多い。このため、サムネイル生成部１１０ｅが、撮影開始タイミング以前に取得された撮像画像データに基づいてサムネイル画像を生成することによって、画像群（一連の撮像画像）の特徴を良く表したサムネイル画像が生成されることになる。なお、撮影開始タイミング前後に被写体像が写っている可能性が高いので、サムネイル画像を生成するための元になる撮像画像データは、例えば、一連の静止画像データのうちの先頭付近（特に先頭）の静止画像データよりも後に取得された撮像画像データであった方がよい。また、サムネイル画像の生成に使用される撮像画像データは、一連の静止画像データのうちの第１画像所得部１１０ａが取得する撮像画像データに基づいて決定される。連写撮影の撮影タイミングもこれらのデータに基づいて決定されているので、ムーブインにおける、サムネイル画像の生成に使用される撮像画像データも、第１画像取得部１１０ａが取得する撮像画像データに基づいて決定されている。また、例えば、ムーブアウトにおける、第１画像取得部１１０ａが保持する撮像画像データのうちの新しい方から数えて、予め定められたフレーム数遡った、撮像画像データに基づいてサムネイル画像を生成する場合も、撮影開始タイミングが第１画像取得部１１０ａが取得する撮像画像データに基づいて決定されるため、サムネイル画像のもとになる、この撮像画像データは、第１画像所得部１１０ａが取得する撮像画像データに基づいて決定されていることになる。

５０・・・記憶媒体、１００・・・画像処理装置、１１０・・・制御部、１１０ａ・・・第１画像データ取得部、１１０ｂ・・・検出部、１１０ｃ・・・タイミング特定部、１１０ｄ・・・第２画像データ取得部、１１０ｅ・・・サムネイル生成部、１１０ｆ・・・操作受付部、１１１・・・ＣＰＵ、１１２・・・ＲＯＭ、１１３・・・画像処理プログラム、１１４・・・ＲＡＭ、１１５・・・ＴＧ、１１６・・・ドライバ、１２０・・・Ｉ／Ｆ部、１２１・・・メディアコントローラ、１３０・・・撮像部、１３１・・・撮像素子、１３２・・・撮像レンズ群、１３３・・・撮像駆動部、１４０・・・操作部、１４１・・・操作キー群、１５０・・・表示部、１５１・・・ディスプレイ、１６０・・・信号処理部、１６１・・・ＡＦＥ、Ｘ・・・被写体像

Claims (6)

1. 撮像部が行う撮像によって得られる撮像画像を表す撮像画像データを順次取得し、取得した前記撮像画像データを新しいものから複数保持する第１画像データ取得手段と、
   前記第１画像データ取得手段が順次取得する前記撮像画像データに基づいて、前記撮像画像における所定の被写体像の動きを検出する検出手段と、
   前記検出手段が検出した前記被写体像の動きに基づいて、撮影開始タイミングを特定するタイミング特定手段と、
   前記タイミング特定手段が特定した前記撮影開始タイミング以降に、前記撮像画像を表す撮像画像データを順次複数取得する第２画像データ取得手段と、
   前記第１画像データ取得手段が保持する前記複数の撮像画像データと前記第２画像データ取得手段が取得した前記複数の撮像画像データとを含む一連の撮像画像データのうちの１つに基づいて、前記一連の撮像画像データについてのサムネイル画像を生成するサムネイル生成手段と、を備え、
   前記サムネイル生成手段は、前記撮影開始タイミング以前に取得された前記撮像画像データに基づいて前記サムネイル画像を生成する、
   ことを特徴とする画像処理装置。
2. 前記タイミング特定手段は、前記被写体像の動きに基づいて前記被写体像が画像上の所定領域内に入ったタイミングを検出し、検出したタイミングを前記撮影開始タイミングとして特定し、
   前記サムネイル生成手段は、前記一連の撮像画像データのうちの、前記撮影開始タイミングに前記第２画像データ取得手段が取得した前記撮像画像データに基づいて前記サムネイル画像を生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記タイミング特定手段は、前記被写体像の動きに基づいて前記被写体像が画像上の所定領域内から外に移動したタイミングを検出し、検出したタイミングを前記撮影開始タイミングとして特定し、
   前記サムネイル生成手段は、前記第１画像データ取得手段が保持する前記複数の撮像画像データのうちの１つの撮像画像データに基づいて前記サムネイル画像を生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記サムネイル生成手段は、前記検出手段が検出した被写体像の動きに基づいて、前記被写体像が前記所定領域内に位置しているときの前記撮像画像データを前記第１画像データ取得手段が保持する前記複数の撮像画像データの中から特定し、特定した前記撮像画像データに基づいて前記サムネイル画像を生成する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 操作部からの操作信号を受け付ける操作受付手段をさらに備え、
   前記サムネイル生成手段は、前記一連の撮像画像データのうちの、前記操作受付手段が前記操作信号を受け付けたタイミングで前記第１画像データ取得手段又は前記第１画像データ取得手段が取得した前記撮像画像データに基づいて新たなサムネイル画像をさらに生成する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. コンピュータを、
   撮像部が行う撮像によって得られる撮像画像を表す撮像画像データを順次取得し、取得した前記撮像画像データを新しいものから複数保持する第１画像データ取得手段と、
   前記第１画像データ取得手段が順次取得する前記撮像画像データに基づいて、前記撮像画像における所定の被写体像の動きを検出する検出手段と、
   前記検出手段が検出した前記被写体像の動きに基づいて、撮影開始タイミングを特定するタイミング特定手段と、
   前記タイミング特定手段が特定した前記撮影開始タイミング以降に、前記撮像画像を表す撮像画像データを順次複数取得する第２画像データ取得手段と、
   前記第１画像データ取得手段が保持する前記複数の撮像画像データと前記第２画像データ取得手段が取得した前記複数の撮像画像データとを含む一連の撮像画像データのうちの１つに基づいて、前記一連の撮像画像データについてのサムネイル画像を生成するサムネイル生成手段と、として機能させ、
   前記サムネイル生成手段は、前記撮影開始タイミング以前に取得された前記撮像画像データに基づいて前記サムネイル画像を生成する、
   ことを特徴とする画像処理プログラム。

Images