JP2012213117A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】動画又は静止画群から、位置情報を考慮に入れつつ最適な静止画を抽出することが可能な画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】撮像装置１ａは、メインメモリ２０４等から読み出された複数の撮影ファイルのそれぞれから、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する最適静止画抽出部４０１と、抽出された複数の各最適静止画から、当該最適静止画が撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する空間情報抽出部４０２と、空間情報抽出部４０２が抽出した空間情報に基づいて、複数の最適静止画を１以上のグループにグループ化するグループ化部４０３とを有する。そして、最適静止画抽出部４０１は、グループ化部４０３がグループ化したグループに複数枚の最適静止画が含まれる場合は、当該グループ毎に一の最適静止画を再度抽出する。
【選択図】図１

Description

本発明はビデオカメラ及びデジタルビデオカメラ等の画像処理装置及び画像処理方法に関し、特に、動画像又は連写若しくは連続取得された静止画データ内から最適な静止画を抽出する画像処理装置及び画像処理方法に関する。

従来のビデオカメラ等の動画記録再生装置では、再生動画に対して、再生中又は再生一時停止中にシャッタボタンを押すことによって、そのピクチャを静止画として記録する（抽出する）ことができる。動画は静止画の連続体であり、大量の静止画の中からその動画の特徴的な静止画を選び出す作業は困難であった。そこで、動画データの中から、その動画を代表するような静止画を自動的に選び出し、静止画として抽出するような技術が存在する。

例えば、特許文献１には、動画像から代表画像を抽出する際に、動画像中のシーンの数に応じて代表画像の枚数が決まってしまうことで動画像内容の一括参照の作業が非効率的になってしまうような状況を回避したり、あるいは，動画像内容を一括把握するための情報としては不十分な代表画像が抽出されることを回避したりすることを目的とした動画像中の代表画像の抽出方法が開示されている。

また、特許文献２には、静止画像抽出手段は、撮像した画像を処理して得られた画像処理情報に含まれるフレーム間差分値がしきい値以上である期間を除いた中から静止画像を抽出するか、またはフレーム間差分値が小さいほど高い評価値を出力する静止画像抽出知識にもとづいて各画像についての評価値を求め、評価値が高い画像を抽出する静止画像抽出装置が開示されている。

さらに、特許文献３には、動画像を撮影する際に撮影者がカメラを操作したカメラ操作情報を取り込むカメラ操作情報獲得手段と、撮像した画像を処理して得られた画像処理情報を取り込む画像処理情報獲得手段と、センサからの信号を処理して得られた撮影中の撮影状態情報を取り込む撮影状態情報獲得手段と、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出する静止画像抽出手段を備え、画像処理情報獲得手段からの画像処理情報と撮影状態情報獲得手段からの撮影状態情報の少なくとも一つの情報とカメラ操作情報獲得手段からのカメラ操作情報をもとにして静止画像抽出手段で静止画像を抽出する静止画像抽出装置について開示されている。

特許３９３６６６６号公報 特許３５２５４９３号公報 特許３４０４８０３号公報

しかしながら、従来の動画から最適な静止画を選び出す機能は、いずれも動画ファイル１つに対して、条件に適した１乃至複数の最適な静止画を切り出すものであり、例えば同一箇所で断続的に動画を撮影した場合、同じ場面で撮影した動画ファイルが複数個存在することになり、前述の従来の最適静止画選択機能を使っても、同じ場面の同じような静止画が複数個生成されてしまうことになる。このような静止画選択は、ユーザの希望に沿っているとは言い切れず、結局ユーザ自身の手でさらに選択し直す必要が生るという問題点がある。

本発明は、このような問題点を解決するためになされたものであり、動画又は静止画群から、位置情報を考慮に入れつつ最適な静止画を抽出することが可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

本発明に係る画像処理装置は、動画又は連写若しくは連続取得された静止画群の何れかから成る撮影ファイルを複数記憶する記憶部と、前記記憶部が記憶した前記複数の撮影ファイルそれぞれから、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する最適静止画抽出部と、前記最適静止画抽出部が抽出した複数の各最適静止画から、当該最適静止画が撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する空間情報抽出部と、前記空間情報抽出部が抽出した前記空間情報に基づいて、前記複数の最適静止画を１以上のグループにグループ化するグループ化部とを備え、前記最適静止画抽出部は、前記グループ化部がグループ化したグループに複数枚の最適静止画が含まれる場合は、当該グループ毎に一の最適静止画を再度抽出することを特徴とするものである。

本発明に係る画像処理装置は、動画又は連写若しくは連続取得された静止画群の何れかから成る撮影ファイルを複数記憶する記憶部と、前記記憶部が記憶した前記複数の撮影ファイルそれぞれから、当該撮影ファイルが撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する空間情報抽出部と、前記空間情報抽出部が抽出した前記空間情報に基づいて、前記複数の撮影ファイルを１以上のグループにするグループ化部とを備え、前記グループ化部がグループを複数生成した場合には、当該グループ毎に、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する最適静止画抽出部とを備えることを特徴とするものである。

また、前記空間情報抽出部は、前記動画を構成する各フレーム画像、又は前記連写若しくは連続取得された静止画群を構成する各静止画の少なくとも一部から、撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出することにより、フレーム画像又は静止画の空間情報を考慮してグループ化を実施することができる。

さらに、前記記憶部は、Ｎ（Ｎは２以上の自然数）以上の撮影ファイルを記憶するものであって、前記グループ化部は、前記最適静止画抽出部が抽出した第ｎ（ｎは、２以上、（Ｎ−１）以下の自然数）番目の撮影ファイルから抽出した最適静止画の空間情報と、第（ｎ＋１）番目の撮影ファイルから抽出した最適静止画の空間情報とに基づき、両最適静止画が同一グループに含まれるか否か判断することができ、各撮影ファイルの空間情報を順次比較していくことで、確実にグループ化を行うことができる。

さらにまた、前記最適静止画抽出部は、前記グループ化部がグループを複数生成し、当該グループ毎に最適な静止画を再度抽出する際は、空間情報からなる第１の情報、及び前記所定の基準又はアルゴリズムで使用した基準値又は特徴量からなる第２の情報のいずれか１以上を使用して最適静止画を抽出することができ、最適静止画抽出部は、再度最適静止画を抽出する際には、既に算出する等している情報から最適静止画抽出処理を実施することができる。

また、前記各撮影ファイルに含まれるフレーム画像又は静止画の少なくとも一部の前記空間情報の変化量を抽出し、当該空間情報の変化量の大きさに基づき、モードを判定するモード判定部を備え、前記空間情報の変化量が所定の閾値より大きい場合は、前記最適静止画抽出部より最適静止画を抽出した後前記グループ化部でグループ化し、必要に応じて前記最適静止画抽出部により再度最適静止画を抽出する第１のモードを選択し、前記空間情報の変化量が所定の閾値より小さい場合は、前記グループ化部によりグループ化した後前記最適静止画抽出部により最適静止画を抽出する第２のモードを選択することができ、空間情報の変化量の大きさに基づきモードを判定することで、特に変化量の大きさに適したモードに設定することができる。

さらに、前記モード判定部は、前記空間情報の変化量の大きさに換えて、又は加えて、前記撮影ファイルの数及び全撮影ファイルに含まれるフレーム画像又は静止画の枚数のいずれか１以上の情報に基づき、前記第１又は第２のモードを選択することができ、モードの設定は、変化量の大きさだけでなく、全体の処理速度を考慮して設定することも可能である。

さらにまた、前記モード判定部は、各撮影ファイル毎に、各撮影ファイルに含まれる各フレーム画像又は静止画における前記空間情報の変化量の平均値、最大値、及び最小値をそれぞれ算出し、当該平均値と最大値又は最小値との差のうち大きい方を代表値として求め、各撮影ファイル毎に算出された前記代表値が所定の閾値より大きい場合は、前記第１のモードを選択し、各撮影ファイル毎に算出された前記代表値が所定の閾値より小さい場合は、前記第２のモードを選択することができ、平均値と、最大値・最小値とからその撮影ファイルを代表する位置情報となる代表値を決定し、これに応じてモードを判定することができる。

また、前記最適静止画抽出部は、前記動画を構成するフレーム画像、又は前記連写若しくは連続取得された静止画群を構成する静止画から得られる特徴量に基づき最適静止画を抽出することができ、最適静止画抽出処理は、特徴慮に基づく実施することができる。

さらに、前記最適静止画抽出部は、前記所定の基準又はアルゴリズムにしたがって一のフレーム画像を抽出して前記最適静止画とするか、２以上のフレーム画像を抽出しこれらを合成して前記最適静止画を生成することができ、２以上のフレーム画像を合成して１枚の静止画を生成することで、フレーム画像に含まれる各種ノイズを低減することができる。

本発明に係る画像処理方法は、動画又は連写若しくは連続取得された静止画群の何れかから成る撮影ファイルを複数記憶する記憶部が記憶した前記複数の撮影ファイルそれぞれから、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する最適静止画抽出工程と、前記最適静止画抽出工程にて抽出された複数の各最適静止画から、当該最適静止画が撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する空間情報抽出工程と、前記空間情報抽出工程にて抽出された前記空間情報に基づいて、前記複数の最適静止画を１以上のグループにグループ化するグループ化工程とを有し、前記最適静止画抽出工程では、前記グループ化工程にてグループ化されたグループに複数枚の最適静止画が含まれる場合は、当該グループ毎に一の最適静止画を再度抽出することを特徴とするものである。

本発明に係る画像処理方法は、動画又は連写若しくは連続取得された静止画群の何れかから成る撮影ファイルを複数記憶する記憶部が記憶した前記複数の撮影ファイルそれぞれから、当該撮影ファイルが撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する空間情報抽出工程と、前記空間情報抽出工程にて抽出された前記空間情報に基づいて、前記複数の撮影ファイルを１以上のグループにするグループ化工程とを有し、前記グループ化工程にてグループが複数生成された場合には、当該グループ毎に、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する最適静止画抽出工程とを有することを特徴とするものである。

本発明に係るプログラムは、上述の画像処理を、コンピュータに実行させるためのものである。

本発明によれば、動画又は静止画群から、位置情報を考慮に入れつつ最適な静止画を抽出することが可能な画像処理装置、画像処理方法及びプログラムを提供することができる。

本発明の実施の形態１に係る撮像装置１ａの構成を示すブロック図である。 本発明の実施の形態１にかかる最適静止画抽出方法を示すフローチャートである。 本発明の実施の形態２にかかる最適静止画抽出方法を示すフローチャートである。 本発明の実施の形態３にかかる最適静止画抽出方法を示すフローチャートである。 本発明の実施の形態４に係る撮像装置１ｂの構成を示すブロック図である。 本発明の実施の形態４にかかる最適静止画抽出方法を示すフローチャートである。

以下に図面を参照しながら、本発明に係る撮像装置及び撮像システムの好適な実施の形態について説明する。かかる実施の形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

本実施の形態にかかる撮像装置は、例えば、ビデオカメラやデジタルスチルカメラ等の画像処理装置であって、動画又は連写若しくは連続取得された静止画群から最適静止画を切り出す機能を有するものである。そして、動画又は静止画群１ファイルから単純に最適な静止画を切り出すのではなく、ＧＰＳ機能等から取得した位置又は撮影方向等を含む空間情報を使用し、同一場面かつ同一方向で撮影している動画又は静止画群を１つの動画静止画群と判別してグループ化し、各グループの中から既存の方法、つまり所定の基準又はアルゴリズムにしたがって最適な静止画を選び出す。または、先ず、既存の方法でフィル毎に最適静止画を抽出し、抽出した最適静止画の空間情報を得て、一のファイルから得た最適静止画の空間情報と、他のファイルから同様に得た最適静止画の空間情報とを比較し、同一と判断できる場合は、いずれか一方を最適静止画として選び出す。以上の処理により、同じような状況（位置・方角）で取得された静止画を複数切り出してしまうようなことを防止し、特徴的な静止画だけを抽出させるものである。以下、本発明の実施の形態について説明する。

＜１＞本発明の実施の形態１．
上述したように、本発明は、動画又は静止画群から同じような状況（位置・方角）で取得された静止画を複数抽出することを防止するものであり、空間的にも特徴ある静止画を抽出する点に特徴を有するものであるが、本発明の理解を容易とするため、ここでは、先ず、本発明の実施の形態にかかる撮像装置の全体構成について説明する。

図１は、本発明の実施の形態１に係る撮像装置１ａの全体構成を示すブロック図である。本実施の形態にかかる撮像装置１ａは、動画及び静止画像を撮影することができる。なお、本発明は、動画を撮像できるものであれば、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、その他の電子機器においても採用することができる。

撮像装置１ａは、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４を有する撮像部１２０を備える。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。

撮像装置１ａを用いた撮影は以下の手順で行われる。撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。

アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、Ａ／Ｄ変換部１０６が、その増幅された信号を画像デジタルデータに変換する。画像入力コントローラ１０７は、Ａ／Ｄ変換部１０６から出力された画像デジタルデータを取り込んで、バス２００を介してラインメモリ２０３及びメインメモリ２０４に格納する。

動画像を撮像する場合は、Ａ／Ｄ変換部１０６から出力されたデジタル画像データはバス２００を介して、メインメモリ２０４に格納される。

静止画を取得する場合は、撮像素子１０４で取得された動画から任意のタイミングで静止画フレーム（フレーム画像）を取得し、ラインメモリ２０３にそのフレーム画像の一部であるフレームデータを格納する。なお、例えば１秒間に６０フレームからなる動画の６０フレーム全部を静止画として取得する場合は、画像入力コントローラ１０７からの動画を順次ラインメモリ２０３に格納すればよく、静止画を任意のタイミングで取得するための構成（例えば静止画取得部）は不要である。また、ユーザの指示により任意のタイミングで静止画を取得する場合は、例えばユーザが撮像装置１ａの図示しないシャッタボタンを押下したタイミングに基づき、動画像から所定枚数のフレーム画像を取得しそのフレームデータをラインメモリ２０３に入力できるようにスイッチ動作するスイッチ等により、静止画取得部を構成することができる。

上記のように処理することで、撮像装置１が動画像と静止画像を同時に撮像する場合等に、静止画データが直接ラインメモリ２０３により圧縮処理されたのち、その圧縮後の静止画データがメインメモリ２０４に格納されるよう構成できるため、メインメモリ２０４へのデータの格納量を削減することができる。これにより、メインメモリ２０４のバス帯域を確保することができ、例えば、毎秒６０枚取得される静止画フレーム等の圧縮後の静止画データのメインメモリ２０４への書き込みが可能となるのである。

デジタル信号処理部１０８は、バス２００を介して中央制御部１００からの指令に基づき、メインメモリ２０４に格納された画像デジタルデータを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。

デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。

多重化部１１２は、メインメモリ２０４に格納された画像デジタルデータ及び音声デジタルデータを多重化しストリームデータを生成する。

圧縮・伸長処理部２０１は、バス２００を介して中央制御部１００からの指示に従い、メインメモリ２０４に格納されたデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部１００からの指令に従い、カード型記録媒体３０２等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。

なお、本実施の形態の撮像装置１ａでは、静止画に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。

音声・画像処理部２０２は、バス２００を介して中央制御部１００の指示に従い、メインメモリ２０４から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やＯＳＤ画像等、各種処理のための画像データを生成し、その画像データをメインメモリ２０４から読み出されたオリジナルの画像デジタルデータに重畳させて液晶モニタ３０４に出力する。この出力によって、液晶モニタ３０４に表示される画像は各種画像データが合成されたものとなる。

フラッシュＲＯＭ２０６は、ユーザの設定情報等、撮像装置１ａの動作に関する各種設定情報を格納している。メインメモリ２０４は、中央制御部１００の演算作業領域として使用されるとともに、画像データの一時記憶領域としても使用される。ＶＲＡＭ２０５は、表示用の画像データの一時記憶領域として使用される。

メディア制御部２０７は、中央制御部１００の指令に従い、カードＩ／Ｆ３０１を通じてカード型記録媒体３０２へのデータの書き込みやデータの読み出しを制御する。

位置センサ２０８は、３以上のＧＰＳ（Global Positioning System）衛星（図示せず）が発信するＧＰＳ信号を復調して、発信元のＧＰＳ衛星がＧＰＳ信号を発信した時刻（発信時刻）と、それぞれのＧＰＳ衛星の位置とを取得する。そして、位置センサ２０８は、時計部２１０が取得した時刻情報に基づいて、ＧＰＳ信号を受信した時刻（受信時刻）を抽出し、抽出した受信時刻と、取得した発信時刻とからそれぞれのＧＰＳ衛星と当該撮像装置１ａとの相対距離を算出し、さらに、三点測位法に基づいて、ＧＰＳ衛星のそれぞれの位置から算出した相対距離にある当該撮像装置１ａの平面位置（緯度、経度情報）を導出する。

ここで、本実施の形態にかかる位置センサ２０８はＧＰＳ信号を用いて撮像装置１ａの平面位置を導出しているが、位置導出の方法としてはＧＰＳ信号を用いるものに限定されない。例えば、平面位置が固定されている少なくとも３つの電波塔からの距離を用い三点測位法に基づいて平面位置を導出したり、撮像装置１ａに方位計と３軸の加速度計を搭載し加速度計の積分値を用いて内部的に平面位置を導出したり、既存の様々な平面位置の導出方法を適用することができる。

方位角センサ２０９は、地磁気センサや複数のＧＰＳ素子等を用いて構成され、水平面上で撮像部１２０の光軸が向いている光軸方位角を検出する。

位置センサ２０８が検出した平面位置及び方位センサ２０９が検出した光軸方位角に関する情報は、多重化部１０９が生成するストリーム内に付加的な情報として付与される。例えば、Ｈ．２６４／ＡＶＣでは、ＳＥＩ（Supplemental Enhancement Information）内に当該情報を付与することができる。ＳＥＩ内に当該情報を付与することで、各ピクチャ毎に当該情報を保有することができる。一方、当該情報はストリームとは別にメタデータとして付与してもよい。メタデータとして付与した場合は、ストリームをデコードしなくとも、各ピクチャ毎の情報を得られるというメリットがある。

液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばメインメモリ２０４に一時記録された撮影画像や各種メニュー画像等、各種画像を表示する。スピーカ３０５は、例えばメインメモリ２０４に一時記録された音声を出力する。操作部３０６は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１ａへの操作入力を受け付ける。

入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。

中央制御部１００は、ＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ、及びワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成され、撮影、各種画像の表示、記録、及び後述する最適静止画の抽出処理等、撮像装置１ａ全体の動作を統括的に制御する。

＜１−１＞最適静止画抽出装置の構成
次に、本実施の形態にかかる撮像装置１ａにおける中央制御部１００について詳細に説明する。本実施の形態にかかる中央制御部１００は、最適静止画抽出部４０１、空間情報抽出部４０２、及びグループ化部４０３を有する。また、中央制御部１００には、顔画像情報が登録された顔画像情報登録部４０４に接続されている。

中央制御部１００は、メインメモリ２０４やカードＩ／Ｆ３０１を介してカード型記録媒体３０２等に記憶されている複数の動画を撮影ファイルとして取得する。なお、本明細書においては、ユーザが一のファイルとして保存している動画データを動画ファイルといい、後述する、ユーザが一のファイルとして保存している連写若しくは連続取得された静止画群を静止画群ファイルといい、また、動画ファイル及び静止画群ファイルを総称して撮影ファイルという。本実施の形態においては、複数の撮影ファイル、特に動画ファイルから任意の枚数の最適静止画を抽出する方法について説明する。

本実施の形態においては、先ず、最適静止画抽出部４０１は、上記のように取得した複数の撮影ファイルそれぞれから、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する。最適静止画の抽出方法は、特に限定されない。例えば、ユーザが家族や友人の顔画像を顔画像情報登録部４０４に登録し、動画データを構成する各フレーム画像において、登録した顔画像に一致する顔画像が検出された場合はそれを抽出し、さらに複数抽出された場合は、検出された登録顔画像の数、当該顔画像の大きさ・画面における位置、画像のピント情報・明るさ情報、笑顔のレベル等の各情報の一部又は全部を使用し、最適と判断されるフレーム画像を、１ファイルにつき、１枚、最適静止画として抽出する。この場合、一のフレーム画像を抽出して最適静止画としてもよいし、２以上のフレーム画像を抽出しこれらを合成して最適静止画を生成するようにしてもよい。複数のフレーム画像から１枚の静止画を生成することで、フレーム画像に含まれる各種ノイズを取り除くことができる。

また、本実施の形態においては、中央制御部１００が顔画像検出を実施するものとして説明するが、図１に示すように、図示せぬ顔画像情報登録部を内蔵した顔画像検出部４１０を別途設け、この顔画像検出部４１０にて顔画像検出処理を実施し、検出結果を中央制御部１００の最適静止画抽出部４０１に送るようにしてもよい。また、顔画像の検出のみならず、例えばペット等、他の対象物を登録して検出対象に加えるようにしてもよい。

空間情報抽出部４０２は、最適静止画抽出部４０１が抽出した複数の各最適静止画から、当該最適静止画が撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する。上述したように、本実施の形態にかかる撮像装置１ａは、位置センサ２０８及び方位センサ２０９を有する。本実施の形態においては、位置センサ２０８により取得された位置情報及び方位センサ２０９により取得された方角情報を合わせて空間情報ということとする。

ここで、本実施の形態においては、動画データを撮影する際に、各フレーム画像に対し、位置センサ２０８により取得された位置情報及び方位センサ２０９により取得された方角情報を付与するようにしておく。空間情報抽出部４０２は、これら付与された空間情報を読み出す。

また、空間情報は、各フレーム毎ではなく、位置情報や方角情報を取得するタイミングで、１乃至複数枚のフレーム画像毎、又は１乃至複数のＧＯＰ毎等に付与するようにしてもよい。例えば各ＧＯＰの先頭フレーム画像に空間情報を付与した場合は、１番目のＧＯＰに含まれる各フレーム画像の空間情報は、１番目及び２番目の先頭フレーム画像に付与された空間情報から変化分を時間平均するなどして求めればよい。また、最適静止画を抽出する際には、空間情報が付与されているフレーム画像のみを使用するようにしてもよい。

次に、グループ化部４０３は、空間情報抽出部４０２が抽出した空間情報に基づいて、複数の動画ファイルから各１枚ずつ抽出した複数の最適静止画を１以上のグループにグループ化する。この場合、例えばグループ化部４０３は、空間情報として、緯度、経度、方角（角度）を取得していた場合、ある一定のエリア内に緯度・経度が存在し、かつ方角が所定角以内である場合に、同一のグループと判断する等とすることができる。ある一定のエリアは、得られる位置情報の精度に応じて単純に１〜数ｍ^２毎に位置を区画してもよく、またエリアは長方形の区域であってもよい。

方角に関しても、例えばある対象物を、角度を変えて撮影し、どのくらいの角度が異なれば、異なる静止画と判別してよいかの基準値を予め測定しておくかユーザが決定する等してもよい。また、例えば、動画ファイルが２０個あり、そこから５枚の最適静止画を得たい場合は、２０個の最適静止画を５つのグループにグループ化する必要があるが、ユーザが５枚の最適静止画を得たいという設定をすることで、グループ化部４０３が動的に上記エリアや角度の基準値を大きくし、又は小さくするなどして、所望の数のグループにグループ化するようにしてもよい。この場合、５つにグループ化された各グループの１以上には、複数のフレーム画像（最適静止画）が含まれることになる。

グループ化部４０３は、具体的には、撮像装置１ａに、Ｎ（Ｎは２以上の自然数）以上の撮影ファイルが記憶されている場合において、最適静止画抽出部４０１が抽出した第ｎ（ｎは、２以上、かつ（Ｎ−１）以下の自然数）番目の撮影ファイルから抽出した最適静止像の空間情報と、第（ｎ＋１）番目の撮影ファイルから抽出した最適静止画の空間情報とに基づき、両最適静止画が同一グループに含まれるか否か判断することにより、全Ｎ個の撮影ファイルをグループ化することができる。

そして、グループ化部４０３がグループ化したグループに複数枚の最適静止画が含まれる場合は、最適静止画抽出部４０１は、当該グループ毎に一の最適静止画を再度抽出する。この場合、最適静止画抽出部４０１は、上述と同様又は異なる既存の基準又はアルゴリズムにしたがって最適静止画を再抽出してもよい。この場合は、最適静止画抽出部４０１が最初の最適静止画抽出の際に求めた各フレーム画像の特徴量や基準値等（第２の情報）を使用することができる。又は、空間情報抽出部４０２により抽出された空間情報（第１の情報）を使用し、より最適と判断されるものを抽出するようにしてもよい。又は、これら第１及び第２の情報を合わせて使用し、最適静止画を再抽出するようにしてもよい。

＜１−２＞最適静止画抽出方法
次に、本実施の形態にかかる撮像装置１ａにおける最適静止画抽出方法について説明する。図２は、本実施の形態にかかる最適静止画抽出方法を示すフローチャートである。図２に示すように、先ず、中央制御部１００は、メインメモリ２０４やカードＩ／Ｆ３０１を介してカード型記録媒体３０２等に記憶されている動画ファイルを読み込む（ステップＳ１０１）。この場合の動画ファイルは、通常は単一の動画ファイルであるが、ユーザによって１つのファイルとして指定されている複数の動画ファイルから成るものであってもよい。次に、最適静止画抽出部４０１により、対象物の検出等、既存の方法により、一の動画ファイルから一の最適静止画の抽出を行う（ステップＳ１０２）。上述したように、顔画像情報登録部４０４の登録情報を使用して、登録された顔画像の有無に応じて最適静止画か否かを判断するようにしてもよい。

次に、空間情報抽出部４０２は、各動画ファイルにつき１枚抽出されたフレーム画像（最適静止画）の空間情報を取得する（ステップＳ１０３）。このとき、抽出された各最適静止画は、最適静止画抽出処理により使用した特徴量の情報を有する。この特徴量の情報と空間情報抽出部４０２が取得した空間情報とを合わせて、当該最適静止画の画像情報とする。これら最適静止画の画像情報は空間情報抽出部４０２に送られる。

次に、中央制御部１００内の図示せぬ記憶領域に、別動画ファイルからステップＳ１０１〜Ｓ１０３により抽出した最適静止画があるか否かをグループ化部４０３が判断する（ステップＳ１０４）。既に抽出されている最適静止画（以下、既存最適静止画ともいう。）が存在する場合（ステップＳ１０４：Ｙｅｓ）、グループ化部４０３は、既存最適静止画の画像情報と、現在の最適静止画の画像情報、すなわち、位置・方角情報（空間情報）、及び特徴量を比較する（ステップＳ１０５）。空間情報を比較する場合、先ず、位置情報を抽出して比較し、位置情報が同一とみなせる範囲（同一のグループ）内と見なせない場合は、他の空間情報を比較する必要がない。位置情報が一致した場合、次に方角情報を比較し、方角が同一のグループ内と見なせるか否かを判断すればよい。

以上のようにし、既存最適静止画のいずれか１以上と現在の最適静止画との空間情報が同一のグループ内と判断される場合（ステップＳ１０６：Ｙｅｓ）、両者の特徴量を比較し、現在の最適静止画の方が特徴量が既存最適静止画の特徴量より大きい場合（ステップＳ１０８：Ｙｅｓ）、当該現在の最適静止画で、記憶領域にある既存最適静止画を上書きする（ステップＳ１１０）。

なお、この場合、２以上の既存最適静止画より特徴量が大きいと判断されれば、２以上の既存最適静止画のデータを削除し、現在の最適静止画のデータで置き換える。そして、中央制御部１００は、次の動画ファイルがあるか否かを判断し（ステップＳ１１１）、動画ファイルがある場合は、ステップＳ１０１からの処理を繰り返す。

一方、記憶領域に別動画ファイルから抽出した最適静止画がない場合は次の動画ファイルの処理を実施する（ステップＳ１１１）。また、ステップＳ１０６で、比較した最適静止画において、両者の空間情報が同一の範囲内にあると判断されなかった場合は、新たに抽出した最適静止画も最適静止画として保存し（ステップＳ１０７）、新たな動画ファイルがある場合はステップＳ１０１からの処理を繰り返す（ステップＳ１１１）。また、ステップＳ１０８で特徴量を比較した結果、もともと記憶されていた最適静止画の方が特徴量が大きい場合は、現在処理中の最適静止画は不敵として削除す（ステップＳ１０９）、同様に新たな動画ファイルがある場合は、ステップＳ１０１からの処理を繰り返す（ステップＳ１１１）。

以上、本発明の実施の形態１においては、既存の最適画像抽出方法により抽出した最適静止画について、空間情報抽出部４０２が空間情報を取得して、空間的に最適静止画が同様な状況で撮影されているか否かを判定する。したがって、同じようなアングルで動画ファイルを複数個作成した場合には、抽出した空間情報が所定の範囲で一致することとなり、これらはグループ化され、再度最適画像抽出処理によりより最適な静止画を抽出することができ、上述したような、同じような状況（位置・方角）で取得された静止画を複数切り出してしまうことを防止することができる。

また、動画ファイル内で各フレーム画像の位置や方角情報が大きく変化している場合でも、最適静止画抽出部４０１により最適静止画を抜き出すため、最適静止画の位置情報は１つに決定される。このため、グループ化部４０３の空間情報の比較により確実に位置・方向が異なる最適静止画を抽出することができる。

＜２＞本発明の実施の形態２．
次に、本発明の実施の形態２について説明する。上述の実施の形態１では、既存の方法で最適静止画を一旦抽出した後、空間情報でグループ化して再度最適静止画を抽出するものであったが、本実施の形態においては、最初に空間情報でグループ化してから最適静止画を抽出するものである。

本実施の形態にかかる撮像装置の構成は、図１に示す撮像装置１ａと同様であり、中央制御部１００には、最適静止画抽出部４０１、空間情報抽出部４０２、及びグループ化部４０３を備える。詳細な説明は、実施の形態１と同様であり省略する。

次に、本実施の形態にかかる静止画抽出方法について説明する。図３は、本実施の形態にかかる最適静止画抽出方法を示すフローチャートである。図３に示すように、先ず、ステップＳ１０１と同様に、中央制御部１００は、メインメモリ２０４やカードＩ／Ｆ３０１を介してカード型記録媒体３０２等に記憶されている動画ファイルを１つ読み込む（ステップＳ２０１）。次に、空間情報抽出部４０２は、動画ファイルの位置情報及び方角情報を取得し、そこから特徴量Ｍを算出する（ステップＳ２０２）。

ここで、各動画ファイルにおける空間情報については後述するが、簡単には、各動画ファイルの先頭、中央、又は最終フレーム画像における空間情報又はこれらの平均値などを使用することができる。もしくは、全フレーム画像の空間情報の平均値を算出してもよいし、上述のように、空間情報が特定の位置（特定のフレーム画像）にのみ付与されている場合は、それらのうちの１つ又は平均値等を使用してもよい。

さらに、ここでの特徴量Ｍの決め方は特に規定しないが、特徴量Ｍとは、計算値が一定の範囲内にあるとき、その範囲内にある結果すべてがＭとなるような値である。例えば、算出された計算値が１．５から２．４の範囲内にあるとき、四捨五入により得られる特徴量Ｍは２となる。すなわち、フレーム画像から算出された特徴量の値が１．５から２．４の範囲内にあれば、それらのフレーム画像の特徴量Ｍ＝２と求まる。この特徴量に基づきグループ化する場合は、例えば特徴量Ｍの値毎にグループ化することもできるし、特徴量Ｍ＝０〜５、６〜１０、・・等というように、ある範囲毎にグループ化することも可能である。

ここで特徴量Ｍの算出方法の一例について説明する。
（１）
特徴量Ｍは、５つの要素からなる配列ｍ［５］とし、ｍ［０］は緯度、ｍ［１］は経度、ｍ［２］は標高、ｍ［３］は方角情報、ｍ［４］は顔特徴量とする。緯度、経度、標高は、一般的なＧＰＳで用いられるＧＰＸ形式で得られるものとし、精度は全て１／１００００００単位まで得られる。方角は内蔵コンパスで得られるものとし、３６０度単位で得られるものとする。顔特徴量は、顔画像検出部４１０又は中央制御部１００内に設けられた図示せぬ顔画像検出部から得られるものとし、各フレーム画像内で検出された顔の特徴量を現す。

（２）
それぞれの値に対し、どこまでの誤差を同一の値とするかを規定する設定値をｍ'［５］とする。説明の簡単のため、緯度のみに対して数値例を示す。

（３）
ｍ'［５］にしたがってｍ［５］を丸めた値をＭ［５］とする。
ｍ［０］とｍ'［０］から、Ｍ［０］を求める場合について説明する。
ｍ［０］＝３５．４２７４４１
ｍ'［０］＝１／１００００の場合、１／１００００００の桁を四捨五入することでＭ［０］が得られる。すなわちＭ［０］＝３５．４２７４４と求まる。

（４）
同様に他の要素についてもＭを求め、最終的に配列Ｍ［５］を出力する。

以上により、特徴量Ｍを算出したら、この特徴量Ｍの値に応じてグループを決定する（ステップＳ２０３）。ここで、グループ化するグループの個数はユーザがその個数、又は個数の下限若しくは上限を指定してもよいし、特徴量Ｍの変化量が予め定められた範囲を超えた場合は別グループにするなどの基準を設けてもよい。特徴量Ｍの値に応じては、例えば１０個の動画ファイルがそのまま１０のグループとされることもあり、１０未満のグループにグループ化されることもある。

次に、グループ登録していない動画ファイルが存在する場合は（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０１からの処理を繰り返す。すべての動画ファイルをグループ登録し終わったら、各グループを１つの動画ファイルとみなして、ステップＳ１０２と同様に、最適静止画抽出部４０１により、既存の最適静止画抽出方法にしたがって最適静止画抽出処理を行い、各グループにつき１つの最適静止画を抽出する（ステップＳ２０５）。上述したように、最適静止画抽出部４０１は、一のフレーム画像を抽出して最適静止画としてもよいし、２以上のフレーム画像を抽出しこれらを合成して最適静止画を生成するようにしてもよい。複数のフレーム画像から１枚の静止画を生成することで、フレーム画像に含まれる各種ノイズを取り除くことができる。

以上、本発明の実施の形態２においては、空間情報抽出部４０２が空間情報を使用して、動画ファイルをグループ化する。つまり、従来は、単純に例えば１０個の動画ファイルを１０個のファイルとみなして最適静止画を抽出したいたのに対し、本実施の形態においては、１０個の動画ファイルが空間的にも異なるファイルであるか否かを空間情報に応じて再度判定し、空間的にも異なる１０個のファイルであるか否かを判定する。この結果、空間的に同一のファイルであると判定された場合は、それらをグループ化して１つのファイルとみなすため、実施の形態１と同様に、同じような状況（位置・方角）で取得された静止画を複数切り出してしまうことを防止することができる。

また、実施の形態１においては、最適静止画抽出、グループ化、再度最適静止画抽出という３段階の処理であるのに対し、本実施の形態においては、グループ化して最適静止画抽出という２段階の処理となるため、実施の形態１と比べて、動画ファイルの個数、動画ファイルを構成するフレーム画像の枚数等にもよるが、最適静止画抽出処理全体の処理量が軽くなる場合がある。ただし、後述するように、移動しながら撮影した場合など、１つの動画ファイル内で空間情報が大きく変化している場合は、抽出された最適静止画の空間情報と、動画ファイルの代表的な空間情報とが異なる可能性があり、その場合は実施の形態１の方法により最適静止画を抽出する方がユーザにとって好ましい場合がありうる。

＜３＞本発明の実施の形態３．
次に、本発明の実施の形態３について説明する。上述の実施の形態１及び２については、動画ファイルから最適な静止画を抽出する方法について説明したが、本実施の形態においては、動画ファイルではなく、高速で連写若しくは連続取得された静止画群を１つのファイルとみなして処理する場合について説明する。

本実施の形態にかかる撮像装置の構成は、図１に示す撮像装置１ａと同様であり、中央制御部１００には、最適静止画抽出部４０１、空間情報抽出部４０２、及びグループ化部４０３を備える。詳細な説明は、実施の形態１と同様であり省略する。

次に、本実施の形態にかかる静止画抽出方法について説明する。図４は、本実施の形態にかかる最適静止画抽出方法を示すフローチャートである。図４に示すように、先ず、ステップＳ１０１と同様に、中央制御部１００は、メインメモリ２０４やカードＩ／Ｆ３０１を介してカード型記録媒体３０２等に記憶されている、１つのファイルとして保存されている、連写若しくは連続取得された静止画群を１つ読み込む（ステップＳ２０１）。

次に、読みこんだ静止画群ファイルに対して、既存の最適静止画抽出処理を行って最適静止画を抽出する（ステップＳ３０２）。一の静止画群ファイルについて処理が終わったら、別の静止画群ファイルから抽出された最適静止画があるかどうかを判定する。

次に、中央制御部１００内の図示せぬ記憶領域に、別動画ファイルからステップＳ３０１、Ｓ３０２により抽出された最適静止画があるか否かをグループ化部４０３が判断する（ステップＳ３０３）。既に抽出されている最適静止画（以下、既存最適静止画ともいう。）が存在する場合（ステップＳ３０３：Ｙｅｓ）、グループ化部４０３は、既存最適静止画の画像情報と、現在の最適静止画の画像情報、すなわち、位置・方角情報（空間情報）、及び特徴量を比較する（ステップＳ３０４）。そして、既存最適静止画のいずれか１以上と現在の最適静止画との空間情報が同一の範囲内と判断される場合（ステップＳ３０５：Ｙｅｓ）、両者の特徴量を比較し、現在の最適静止画の方が、特徴量が既存最適静止画の特徴量より大きい場合（ステップＳ３０６：Ｙｅｓ）、当該現在の最適静止画で、記憶領域にある既存最適静止画を上書きする（ステップＳ３０７）。そして、中央制御部１００は、次の静止画群ファイルがあるか否かを判断し（ステップＳ３１０）、静止画群ファイルがある場合は、ステップＳ３０１からの処理を繰り返す。

また、記憶領域に別動画ファイルから抽出した最適静止画がない場合は次の静止画群ファイルの処理を実施する（ステップＳ３１０）。また、ステップＳ３０５で、比較した最適静止画において、両者の空間情報が同一の範囲内にあると判断されなかった場合は、新たに抽出した最適静止画も最適静止画として保存し（ステップＳ３０８）、新たな静止画群ファイルがある場合はステップＳ３０１からの処理を繰り返す（ステップＳ３１０）。さらに、ステップＳ３０６で特徴量を比較した結果、元々記憶されていた最適静止画の方が特徴量が大きい場合は、現在処理中の最適静止画は不敵として削除し（ステップＳ３０９）、同様に新たな静止画群ファイルがある場合は、ステップＳ３０１からの処理を繰り返す（ステップＳ３１０）。

以上のステップＳ３０３〜ステップＳ３１０の処理は、図２に示す実施の形態１のステップＳ１０１〜ステップＳ１１１に対応する。最適静止画を抽出する撮影ファイルが動画か静止画群かが異なる点である。

ここで、撮影ファイルが、本実施の形態のように、高速連写された連続静止画群の場合、動画から抽出する静止画（フレーム画像）とは異なり、静止画１枚毎に、予め位置情報や方角情報等の空間情報を付与することが可能である。本実施の形態においては、例えば、撮像部１２０が撮影したデータを圧縮・伸張処理部２０１により圧縮してメインメモリ２０４に保存する際に、位置センサ２０８から位置情報、方位センサ２０９から方角情報を取得し、各静止画１枚毎に付与しておく。これにより、動画の場合は、例えば空間情報が所定のフレーム間隔で付与される場合は、抽出した静止画（フレーム画像）の空間情報をそれらの空間情報に基づき算出して付与する必要が生じるが、撮影時に予め空間情報を付与しておくことで、抽出した静止画の空間情報を計算する必要がなくなる。

なお、例えば撮影時には位置情報のみを付与しておき、必要に応じて、すなわち位置情報が一致した場合にその方向情報を取得し、比較するようにしてもよい。これにより、各静止画全てに方角情報を付与する処理が削減される。

以上のように、本発明の実施の形態３においては、実施の形態１及び２と同様に、空間情報をも用いて最適静止画を抽出するため、同じような状況（位置・方角）で取得された静止画を複数切り出してしまうことを防止することができると共に、実施の形態１と同様に、連続静止画群ファイル内で各静止画の位置や方角情報が大きく変化している場合でも、確実に位置・方向が異なる最適静止画を抽出することができる。

更に、静止画群に含まれる各静止画に空間情報が予め付与されているので、ステップＳ１０３のように、空間情報を取得し付与する処理が不要となり、ステップＳ３０４で空間情報を比較する際、空間情報抽出部４０２は、各静止画に付与されている空間情報を読み出し比較するのみでよく、空間情報抽出部４０２における処理を軽減することが可能となる。

＜４＞本発明の実施の形態４．
次に、本発明の実施の形態４について説明する。上述の実施の形態１乃至３においては、基本的には、実施の形態１及び３のように、撮影ファイルから既存の最適静止画抽出処理により最適静止画を抽出してから空間情報でグループ化し、その後最適静止画を抽出する方法と、実施の形態２のように、撮影ファイルを空間情報で先ずグループ化し、その後既存の最適静止画抽出処理により最適静止画を抽出する方法との２つの方法を説明した。以下、この実施の形態１及び３の方法で最適静止画を抽出するモードを第１のモードといい、実施の形態２の方法で最適静止画を抽出する方法を第２のモードという。

本実施の形態においては、この第１のモード又は第２のモードのいずれの方法を使用して最適静止画抽出を行うかを自動で判断するようにするものである。例えば、上述の実施の形態、特に実施の形態１及び２に示す動画ファイルから最適静止画を抽出する場合には、第１及び第２のモードのいずれのモードを使用して最適静止画抽出を行うかの判断のために、撮影ファイルの空間情報が一意に決定されるか否かの基準を用いることができる。

＜４−１＞最適静止画抽出装置の構成
図５は、本発明の実施の形態４に係る撮像装置１ｂの構成を示すブロック図である。図５に示すように、本実施の形態にかかる撮像装置１ｂは、第１及び第２のモードのいずれのモードを使用するかを判断するために、中央制御部１００に、新たにモード判定部４０５を有している点が実施の形態１と異なる点である。

このモード判定部４０５は、各撮影ファイルに含まれるフレーム画像又は静止画の少なくとも一部の空間情報の変化量を抽出し、その空間情報の変化量が所定の閾値より大きい場合は、第１のモードを選択し、空間情報の変化量が所定の閾値より小さい場合は、第２のモードを選択する。

このモード判定部４０５は、具体的には、各撮影ファイル毎に、各撮影ファイルに含まれる各フレーム画像又は静止画における空間情報の変化量の平均値、最大値、及び最小値をそれぞれ算出し、当該平均値と最大値又は最小値との差のうち大きい方を代表値Ａとして求め、各撮影ファイル毎に算出された代表値Ａが所定の閾値Ｔより大きい場合は、第１のモードを選択し、各撮影ファイル毎に算出された代表値Ａが所定の閾値Ｔより小さい場合は、第２のモードを選択するものとすることができる。

ここで、本実施の形態においては、モード判定部４０５は、空間情報の変化量の大きさに応じてモードを選択するものとして説明するが、この空間情報の変化量の大きさに換えて、又は加えて、撮影ファイルの数及び全撮影ファイルに含まれるフレーム画像又は静止画の総枚数のいずれか１以上の情報に基づき、第１又は第２のモードを選択ことも可能である。すなわち、第１のモードでは、抽出処理、グループ化、及び抽出処理の３段階の処理からなり、第２のモードでは、グループ化及び抽出処理の２段階の処理からなる。いずれの処理の総処理時間は、抽出処理においては抽出処理するフレーム画像又は静止画の枚数による。グループ化においては、グルーピングする対象のファイル数又はフレーム画像若しくは静止画の枚数による。これらの条件に応じて、処理時間の速さを判断し、これに基づき第１のモードか第２のモードかを選択するようにすることも可能である。

＜４−２＞最適静止画抽出方法
次に、本実施の形態にかかる撮像装置１ｂにおける最適静止画抽出方法について説明する。図６は、本実施の形態にかかる最適静止画抽出方法を示すフローチャートである。本例においては、撮影ファイルが動画からなるものとして説明する。例えばＧＰＳ付撮像装置で動画を撮影した場合、単位時間あたりにＧＰＳ情報が更新され、動画ストリーム内に埋め込まれる。移動しながら動画を撮影した場合、ＧＰＳ情報は同一動画（一の動画ファイル）内でも大きく変化することがある。そこで、図６に示すように、先ず、任意の空間情報変化量閾値Ｔを設定する（ステップＳ４０１）。この閾値Ｔは、予め実験等などして所望の値を求めておいてもよいし、第１のモードが推奨されるような場合は、閾値Ｔを小さくし、第２のモードが推奨されるような場合は閾値Ｔを大きくするなど動的に変化させてもよい。

次に、全ての動画ファイルについて、各動画ファイルに含まれる全フレーム画像の一部又は全部の空間情報を全て参照し（ステップＳ４０２）、各動画ファイルについて、平均値と、最大値及び最小値とを求める。そして、平均値と、最大値及び最小値との差をそれぞれ求め、それらのうち大きい方の値を動画の代表位置情報を示す代表値Ａとして決定する（ステップＳ４０３）。

そして、全ての動画ファイルの代表値Ａと閾値Ｔを比較する（ステップＳ４０４）。そして、全ての動画ファイルのうち、１つでも代表値Ａ＞閾値Ｔの場合、動画の代表値Ａではグループ化できないと判断し、図２に示す第１のモード、すなわち、各動画ファイルから最適静止画を抽出した上で位置情報等の空間情報を使用してグループ化するモードにより最適静止画を抽出する（ステップＳ４０５）。一方、全ての動画ファイルの代表値Ａ＜閾値Ｔの場合、各動画ファイルの代表値Ａとする（ステップＳ４０６）。そして、図３に示す第２のモードで最適静止画抽出を行う。すなわち、各動画ファイルの代表値Ａでグループ化した後、最適静止画抽出を行うモードで最適静止画抽出を実施する（ステップＳ４０７）。

以上、本発明の実施の形態４においては、各動画ファイルの位置情報の変化量の大きさに応じて、最適静止画を抽出するモードを動的に変更することができる。また、位置情報の変化量の情報として、代表値Ａを算出するため、第２のモードと判断した場合には、そのままその代表値Ａを使用してグルーピングすることができる。例えば、一動画ファイル内で位置情報が大きく変化している場合は、最適静止画の位置情報とその動画ファイルの代表的な位置情報とが異なる場合があり、同じような状況（位置・方角）で撮影されたか否かを正確に判断できない場合が起こりうるが、このように、位置情報の変化量を基準とすることで、最適静止画と動画ファイルの代表的な位置情報とを一致させることができ、同様な状況で撮影されてるか否かを正確に判断することができる。以上により、ユーザは任意の動画ファイル群内から自動的に場面毎の最適な静止画を抽出することができる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の最適静止画抽出処理、空間情報抽出処理、グループ化処理、及びモード判定処理は、ＣＰＵにコンピュータプログラムを実行させることにより実現することが可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ａ 撮像装置
１ｂ 撮像装置
１００ 中央制御部
１２０ 撮像部
２０１ 圧縮・伸張処理部
２０３ ラインメモリ
２０４ メインメモリ
２０６ フラッシュＲＯＭ
２０８ 位置センサ
２０９ 方位センサ
３０１ カードＩ／Ｆ
３０２ カード型記録媒体
４０１ 最適静止画抽出部
４０２ 空間情報抽出部
４０３ グループ化部
４０４ 顔画像情報登録部
４０５ モード判定部
４１０ 顔画像検出部

Claims (12)

1. 動画又は連写若しくは連続取得された静止画群の何れかから成る撮影ファイルを複数記憶する記憶部と、
   前記記憶部が記憶した前記複数の撮影ファイルそれぞれから、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する最適静止画抽出部と、
   前記最適静止画抽出部が抽出した複数の各最適静止画から、それら各最適静止画が撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する空間情報抽出部と、
   前記空間情報抽出部が抽出した前記空間情報に基づいて、前記複数の最適静止画を１以上のグループにグループ化するグループ化部とを備え、
   前記最適静止画抽出部は、前記グループ化部がグループ化したグループに複数枚の最適静止画が含まれる場合は、当該グループ毎に一の最適静止画を再度抽出する
   ことを特徴とする画像処理装置。
2. 動画又は連写若しくは連続取得された静止画群の何れかから成る撮影ファイルを複数記憶する記憶部と、
   前記記憶部が記憶した前記複数の撮影ファイルそれぞれから、当該撮影ファイルが撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する空間情報抽出部と、
   前記空間情報抽出部が抽出した前記空間情報に基づいて、前記複数の撮影ファイルを１以上のグループにするグループ化部とを備え、
   前記グループ化部がグループを複数生成した場合には、当該グループ毎に、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する最適静止画抽出部とを備える
   ことを特徴とする画像処理装置。
3. 前記空間情報抽出部は、前記動画を構成する各フレーム画像、又は前記連写若しくは連続取得された静止画群を構成する各静止画の少なくとも一部から、撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記記憶部は、Ｎ（Ｎは２以上の自然数）以上の撮影ファイルを記憶するものであって、
   前記グループ化部は、前記最適静止画抽出部が抽出した第ｎ（ｎは、２以上、（Ｎ−１）以下の自然数）番目の撮影ファイルから抽出した最適静止画の空間情報と、第（ｎ＋１）番目の撮影ファイルから抽出した最適静止画の空間情報とに基づき、両最適静止画が同一グループに含まれるか否か判断する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記最適静止画抽出部は、前記グループ化部がグループを複数生成し、当該グループ毎に最適な静止画を再度抽出する際は、空間情報からなる第１の情報、及び前記所定の基準又はアルゴリズムで使用した基準値又は特徴量からなる第２の情報のいずれか１以上を使用して最適静止画を抽出する
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記各撮影ファイルに含まれるフレーム画像又は静止画の少なくとも一部の前記空間情報の変化量を抽出し、当該空間情報の変化量の大きさに基づき、モードを判定するモード判定部を備え、
   前記空間情報の変化量が所定の閾値より大きい場合は、前記最適静止画抽出部より最適静止画を抽出した後前記グループ化部でグループ化し、必要に応じて前記最適静止画抽出部により再度最適静止画を抽出する第１のモードを選択し、
   前記空間情報の変化量が所定の閾値より小さい場合は、前記グループ化部によりグループ化した後前記最適静止画抽出部により最適静止画を抽出する第２のモードを選択する
   ことを特徴とする請求項１又は２記載の画像処理装置。
7. 前記モード判定部は、前記空間情報の変化量の大きさに換えて、又は加えて、前記撮影ファイルの数及び全撮影ファイルに含まれるフレーム画像又は静止画の枚数のいずれか１以上の情報に基づき、前記第１又は第２のモードを選択する
   ことを特徴とする請求項６記載の画像処理装置。
8. 前記モード判定部は、各撮影ファイル毎に、各撮影ファイルに含まれる各フレーム画像又は静止画における前記空間情報の変化量の平均値、最大値、及び最小値をそれぞれ算出し、当該平均値と最大値又は最小値との差のうち大きい方を代表値として求め、各撮影ファイル毎に算出された前記代表値が所定の閾値より大きい場合は、前記第１のモードを選択し、各撮影ファイル毎に算出された前記代表値が所定の閾値より小さい場合は、前記第２のモードを選択する
   ことを特徴とする請求項６記載の画像処理装置。
9. 動画又は連写若しくは連続取得された静止画群の何れかから成る撮影ファイルを複数記憶する記憶部が記憶した前記複数の撮影ファイルそれぞれから、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する最適静止画抽出工程と、
   前記最適静止画抽出工程にて抽出された複数の各最適静止画から、当該最適静止画が撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する空間情報抽出工程と、
   前記空間情報抽出工程にて抽出された前記空間情報に基づいて、前記複数の最適静止画を１以上のグループにグループ化するグループ化工程とを有し、
   前記最適静止画抽出工程では、前記グループ化工程にてグループ化されたグループに複数枚の最適静止画が含まれる場合は、当該グループ毎に一の最適静止画を再度抽出する
   ことを特徴とする画像処理方法。
10. 動画又は連写若しくは連続取得された静止画群の何れかから成る撮影ファイルを複数記憶する記憶部が記憶した前記複数の撮影ファイルそれぞれから、当該撮影ファイルが撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する空間情報抽出工程と、
    前記空間情報抽出工程にて抽出された前記空間情報に基づいて、前記複数の撮影ファイルを１以上のグループにするグループ化工程とを有し、
    前記グループ化工程にてグループが複数生成された場合には、当該グループ毎に、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する最適静止画抽出工程とを有する
    ことを特徴とする画像処理方法。
11. 動画又は連写若しくは連続取得された静止画群の何れかから成る撮影ファイルを複数記憶する記憶部が記憶した前記複数の撮影ファイルそれぞれから、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する最適静止画抽出処理と、
    前記最適静止画抽出処理にて抽出された複数の各最適静止画から、当該最適静止画が撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する空間情報抽出処理と、
    前記空間情報抽出処理にて抽出された前記空間情報に基づいて、前記複数の最適静止画を１以上のグループにグループ化するグループ化処理とをコンピュータに実行させるプログラムであって、
    前記最適静止画抽出処理では、前記グループ化処理にてグループ化されたグループに複数枚の最適静止画が含まれる場合は、当該グループ毎に一の最適静止画を再度抽出する
    ことを特徴とするプログラム。
12. 動画又は連写若しくは連続取得された静止画群の何れかから成る撮影ファイルを複数記憶する記憶部が記憶した前記複数の撮影ファイルそれぞれから、当該撮影ファイルが撮影された際の撮影位置又は撮影方向の少なくとも何れか一方の情報を含む空間情報を抽出する空間情報抽出処理と、
    前記空間情報抽出処理にて抽出された前記空間情報に基づいて、前記複数の撮影ファイルを１以上のグループにするグループ化処理とを有し、
    前記グループ化処理にてグループが複数生成された場合には、当該グループ毎に、所定の基準又はアルゴリズムにしたがって最適静止画を抽出する最適静止画抽出処理とをコンピュータに実行させる
    ことを特徴とするプログラム。

Images