JP2018163700A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】動画像からベストショットに対応するフレーム画像を、精度よく、効率的かつ高速に抽出することができる画像処理装置等を提供する。【解決手段】画像処理装置では、特徴情報抽出部が、複数の静止画像から特徴情報を抽出する。画像解析条件決定部が、特徴情報に基づいて、動画像の一の部分に対する画像解析条件を、動画像の他の部分に対する画像解析条件よりも、粗い画像解析条件とする。フレーム画像解析部が、画像解析条件に基づいて、動画像からフレーム画像を抽出し、抽出されたフレーム画像に対して画像解析を行う。フレーム画像出力部が、画像解析の結果に基づいて、フレーム画像の評価値を算出し、評価値が第１閾値以上であるフレーム画像を出力する。【選択図】図１

Description

本発明は、動画像からベストショットに対応するフレーム画像を抽出して出力する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

近年、一般家庭においてもたくさんの動画像が撮影されている。撮影された動画像の中には、例えば、子供が誕生日にろうそくを吹き消す瞬間等のように、静止画像では捉えきれない（撮影が難しい）ベストショット（動画像に撮影された人物の動作を好適に表すショット）が含まれている可能性がある。その一方で、動画像の中には、人物の動きが少ないもの、重要度が低いもの、構図が悪いもの、画質が悪いもの等が含まれている場合がある。

従って、動画像の中からベストショットを見つけ出し、動画像からベストショットに対応するフレーム画像を抽出するのは非常に手間がかかるという問題がある。

また、カメラマンを学校に派遣して運動会などの学校行事の静止画像を撮影するスクールフォトサービスが利用されている。このサービスでは、撮影された静止画像がネットワーク上にアップロードされ、保護者は、静止画像のプリント注文をネットワーク経由で行うことができる。このサービスにおいて、例えば、静止画像とともに、定点カメラなどで動画像を撮影し、動画像からベストショットに対応するフレーム画像を抽出すれば、静止画像と同様にフレーム画像のプリント注文をすることが可能になる。

この場合、静止画像に撮影されていないフレーム画像を動画像から優先的に抽出するなど、静止画像の情報も考慮して、動画像からベストショットに対応するフレーム画像を抽出したいという要求がある。

また、例えば、家族動画の被写体として兄弟の２人だけが撮影されている場合には、動画像の中から兄弟の２人だけを追尾すればよいが、運動会の場合には、数１０人の人物が入れ替わりで動画像に登場する。この場合、単純に動画像に撮影された人物全員の追尾を行うと処理時間が長くなり、関係のない人物を追尾するとフレーム画像の抽出精度が悪くなる。そのため、多数の人物が撮影された動画像からでも、うまくベストショットに対応するフレーム画像を抽出したいという要求がある。

また、定点カメラなどで動画像の撮影を行うと撮影時間が長時間となり、処理時間がネックとなる。そのため、動画像から必要なフレーム画像のみをできるだけ効率的かつ高速に抽出したいという要求がある。

ここで、本発明に関連性のある先行技術文献には、特許文献１〜３がある。

特許文献１は、動画コンテンツのハイライトシーンを再生する映像再生装置に関するものである。同文献には、動画コンテンツと同時に撮影される静止画コンテンツの時間情報を動画コンテンツのハイライトシーンの検出に利用することが記載されている。

特許文献２は、動画コンテンツのハイライトシーンを再生する情報処理装置等に関するものである。同文献には、動画コンテンツのハイライトシーン内に存在するハイライトシーン検出希望箇所を撮影した静止画撮影機器数によって、そのハイライトシーンの重要度を制御することが記載されている。

特許文献３は、複数の画像のレイアウトを行う画像処理装置等に関するものである。同文献には、動画像と静止画像の関連性に応じて動画像からフレーム画像を抽出し、静止画像およびフレーム画像のレイアウトを決定することが記載されている。

特開２００８−２９４５１３号公報 特開２０１０−９３４０５号公報 特開２０１２−４４６４６号公報

上記のように、特許文献３には、動画像と静止画像の関連性に応じて動画像からフレーム画像を抽出することが記載されているが、特許文献１〜３には、動画像からベストショットに対応するフレーム画像を、精度よく、効率的かつ高速に抽出する方法は記載されていない。

本発明の目的は、従来技術の問題点を解消し、動画像からベストショットに対応するフレーム画像を、精度よく、効率的かつ高速に抽出することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、動画像および複数の静止画像を取得する画像取得部と、
複数の静止画像から特徴情報を抽出する特徴情報抽出部と、
特徴情報に基づいて、動画像の一の部分に対する画像解析条件を、動画像の他の部分に対する画像解析条件よりも、粗い画像解析条件とする画像解析条件決定部と、
画像解析条件に基づいて、動画像からフレーム画像を抽出し、抽出されたフレーム画像に対して画像解析を行うフレーム画像解析部と、
画像解析の結果に基づいて、フレーム画像の評価値を算出し、フレーム画像の中から評価値が第１閾値以上であるフレーム画像を出力するフレーム画像出力部とを備える、画像処理装置を提供するものである。

ここで、画像解析条件は、フレーム画像の抽出頻度であり、
画像解析条件決定部は、動画像と複数の静止画像との関連性が第２閾値未満である動画像の部分からフレーム画像を抽出する際の抽出頻度を、関連性が第２閾値以上である動画像の部分からフレーム画像を抽出する際の抽出頻度よりも低くすることが好ましい。

また、画像解析条件は、画像解析の項目数であり、
画像解析条件決定部は、動画像と複数の静止画像との関連性が第２閾値未満である動画像の部分から抽出されるフレーム画像に対する画像解析の項目数を、関連性が第２閾値以上である動画像の部分から抽出されるフレーム画像に対する画像解析の項目数よりも少なくすることが好ましい。

また、画像解析条件は、画像解析を行う際のフレーム画像の画像サイズであり、
画像解析条件決定部は、動画像と複数の静止画像との関連性が第２閾値未満である動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズを、関連性が第２閾値以上である動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズよりも縮小することが好ましい。

また、本発明は、画像取得部が、動画像および複数の静止画像を取得するステップと、
特徴情報抽出部が、複数の静止画像から特徴情報を抽出するステップと、
画像解析条件決定部が、特徴情報に基づいて、動画像の一の部分に対する画像解析条件を、動画像の他の部分に対する画像解析条件よりも、粗い画像解析条件とするステップと、
フレーム画像解析部が、画像解析条件に基づいて、動画像からフレーム画像を抽出し、抽出されたフレーム画像に対して画像解析を行うステップと、
フレーム画像出力部が、画像解析の結果に基づいて、フレーム画像の評価値を算出し、フレーム画像の中から評価値が第１閾値以上であるフレーム画像を出力するステップとを含む、画像処理方法を提供する。

ここで、画像解析条件は、フレーム画像の抽出頻度であり、
画像解析条件を決定するステップは、動画像と複数の静止画像との関連性が第２閾値未満である動画像の部分からフレーム画像を抽出する際の抽出頻度を、関連性が第２閾値以上である動画像の部分からフレーム画像を抽出する際の抽出頻度よりも低くすることが好ましい。

また、画像解析条件は、画像解析の項目数であり、
画像解析条件を決定するステップは、動画像と複数の静止画像との関連性が第２閾値未満である動画像の部分から抽出されるフレーム画像に対する画像解析の項目数を、関連性が第２閾値以上である動画像の部分から抽出されるフレーム画像に対する画像解析の項目数よりも少なくすることが好ましい。

また、画像解析条件は、画像解析を行う際のフレーム画像の画像サイズであり、
画像解析条件を決定するステップは、動画像と複数の静止画像との関連性が第２閾値未満である動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズを、関連性が第２閾値以上である動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズよりも縮小することが好ましい。

また、本発明は、上記の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明では、複数の静止画像から特徴情報が抽出され、特徴情報を利用して、複数の静止画像との関連性が低い動画像の部分に対する画像解析条件が、複数の静止画像との関連性が高い動画像の部分に対する画像解析条件によりも、粗い画像解析条件に設定され、動画像からフレーム画像の抽出および解析が行われる。これにより、本発明によれば、動画像からベストショットに対応するフレーム画像を、精度よく、効率的かつ高速に抽出することができる。

本発明の画像処理装置の構成を表す一実施形態のブロック図である。 図１に示すフレーム画像解析部の構成を表す一実施形態のブロック図である。 （Ａ）〜（Ｃ）の左側は、注目人物の運動軌跡を表す一例の概念図、右側は、注目人物の動作履歴画像を表す一例の概念図である。 画像処理装置の動作を表す一例のフローチャートである。 フレーム画像解析部の動作を表す一例のフローチャートである。 （Ａ）は、従来の画像処理装置による動画像からのフレーム画像の抽出方法を表す一例の概念図、（Ｂ）は、本発明の画像処理装置による動画像からのフレーム画像の抽出方法を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、複数の静止画像に基づいて、動画像からベストショットに対応するフレーム画像を抽出して出力するものであり、画像取得部１２と、特徴情報抽出部１４と、注目対象検出部１６と、画像解析条件決定部１８と、フレーム画像解析部２０と、フレーム画像出力部２２とを備えている。

画像取得部１２は、処理対象となる動画像（動画像データ）および複数の静止画像（静止画像データ）を取得するものである。

ここで、動画像および動画像とともに取得された複数の静止画像は、例えば、スクールフォトサービスのように、同じ学校行事が撮影された動画像および静止画像を例示することができる。しかし、スクールフォトサービスに限らず、例えば、同じイベントが撮影された動画像および静止画像であってもよいし、あるいは、同じ被写体が撮影された動画像および静止画像等であってもよい。

特徴情報抽出部１４は、画像取得部１２により取得された複数の静止画像から、複数の静止画像とともに取得された動画像との関連性を表す特徴情報を抽出するものである。

ここで、特徴情報は、動画像と静止画像との関連性を表す情報であれば何ら限定されないが、例えば、複数の静止画像における同一被写体の登場回数の情報を例示することができる。

注目対象検出部１６は、特徴情報抽出部１４により抽出された特徴情報に基づいて、注目対象とする被写体である注目被写体を検出するものである。

特徴情報が、複数の静止画像における同一被写体の登場回数である場合、注目対象検出部１６は、登場回数が多い（登場回数が閾値以上である）被写体を注目被写体として検出する。

ここで、被写体には、人物の他、動物（犬や猫など）、オブジェクト（料理、花、盆栽、指輪、アクセサリなど）、およびシーン（夜景、夕景、海、森などのように、動画像内において同一の背景を有する一定の時間帯、あるいは、運動会におけるリレー、玉入れのような個々のイベントを撮影した時間帯）が含まれる。

画像解析条件決定部１８は、特徴情報抽出部１４により抽出された特徴情報に基づいて、複数の静止画像との関連性が低い（関連性が閾値未満である）動画像の部分（非重要時間帯）に対する画像解析条件を、複数の静止画像との関連性が高い（関連性が閾値以上である）動画像の部分（重要時間帯）に対する画像解析条件よりも、粗い画像解析条件とするものである。また、画像解析条件決定部１８は、注目対象検出部１６により検出された注目被写体であるか否かに応じて、画像解析条件を変更する。

特徴情報が、複数の静止画像における同一被写体の登場回数である場合、画像解析条件決定部１８は、登場回数が多い（登場回数が閾値以上である）被写体である注目被写体が存在しない動画像の部分に対する画像解析条件を、注目被写体が存在する動画像の部分に対する画像解析条件よりも、粗い画像解析条件とする。

ここで、画像解析条件は、動画像、つまり、フレーム画像の解析を行う際の条件であれば何ら限定されないが、例えば、動画像からフレーム画像を抽出する際の抽出頻度や、フレーム画像に対する画像解析の項目数、画像解析を行う際のフレーム画像の画像サイズ等を例示することができる。また、粗い画像解析条件とは、密な画像解析条件の場合よりも劣る条件（悪い条件）、例えば、フレーム画像の抽出頻度がより低い条件、フレーム画像に対する画像解析の項目数がより少ない条件、画像解析を行う際のフレーム画像の画像サイズをより縮小する条件等を例示することができる。

画像解析条件が、動画像からフレーム画像を抽出する際の抽出頻度である場合、画像解析条件決定部１８は、注目被写体が存在しない動画像の部分からフレーム画像を抽出する際の抽出頻度を、注目被写体が存在する動画像の部分からフレーム画像を抽出する際の抽出頻度よりも低くする。

また、画像解析条件が、フレーム画像に対する画像解析の項目数である場合、画像解析条件決定部１８は、注目被写体が存在しない動画像の部分から抽出されるフレーム画像に対する画像解析の項目数を、注目被写体が存在する動画像の部分から抽出されるフレーム画像に対する画像解析の項目数よりも少なくする。

例えば、注目被写体が存在する動画像の部分から抽出されるフレーム画像に対する画像解析の項目数を、人物検出、人物の動作分析、動画像における人物の連続存在時間の検出、構図分析および画質判定のうち、人物検出を含む２以上の項目数とする。一方、注目被写体が存在しない動画像の部分から抽出されるフレーム画像に対する画像解析の項目数を、人物検出を含み、注目被写体が存在する動画像の部分から抽出されるフレーム画像に対する画像解析の項目数よりも少ない項目数とする。

また、画像解析条件が、画像解析を行う際のフレーム画像の画像サイズである場合、画像解析条件決定部１８は、注目被写体が存在しない動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズを、注目被写体が存在する動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズよりも縮小する。

例えば、動画像から抽出されるフレーム画像の画像サイズが、８００画素×６００画素である場合、注目被写体が存在する動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズを、８００画素×６００画素（縮小なし）とし、注目被写体が存在しない動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズを、４００画素×３００画素に縮小する。注目被写体が存在しない動画像の部分から抽出されるフレーム画像の場合、注目被写体が存在するか否かだけを確認できればよいため、フレーム画像に対して画像解析を行う際の画像サイズを縮小しても問題はない。

なお、画像解析条件決定部１８は、フレーム画像の抽出頻度、画像解析の項目数、および、画像解析を行う際のフレーム画像の画像サイズを含む複数の画像解析条件のうちの１つもしくは２以上を同時に設定することができる。

フレーム画像解析部２０は、画像解析条件決定部１８により決定された画像解析条件に基づいて、動画像からフレーム画像を抽出し、抽出されたフレーム画像に対して画像解析を行うものである。

フレーム画像解析部２０は、例えば、画像解析条件に応じた抽出頻度で動画像からフレーム画像を抽出し、フレーム画像を画像解析条件に応じた画像サイズに縮小し、画像解析条件に応じた項目数の画像解析を行う。フレーム画像解析部２０の詳細は後述する。

フレーム画像出力部２２は、フレーム画像解析部２０による画像解析の結果に基づいて、動画像から抽出されたそれぞれのフレーム画像の評価値を算出し、動画像から抽出された複数のフレーム画像の中から、評価値が高い（評価値が閾値以上である）１枚以上のフレーム画像を、ベストショットに対応するフレーム画像として出力するものである。

次に、フレーム画像解析部２０について詳細に説明する。

図２は、図１に示すフレーム画像解析部の構成を表す一実施形態のブロック図である。
同図に示すフレーム画像解析部２０は、注目対象検出部１６により検出された注目被写体（例えば、注目対象人物）が存在するフレーム画像を出力する場合の例であり、フレーム画像抽出部２４と、注目人物検出部２６と、運動軌跡検出部２８と、動作分析部３０と、重要度判定部３２と、構図分析部３４と、画質判定部３６とを備えている。

フレーム画像抽出部２４は、画像解析条件決定部１８により決定された画像解析条件に基づいて、画像取得部１２により取得された動画像から複数のフレーム画像を抽出するものである。

フレーム画像抽出部２４は、密な画像解析条件である場合、例えば、動画像の全てのフレームのフレーム画像を抽出する。しかし、本発明はこれに限定されず、一定数のフレーム毎に、例えば、２フレーム毎に１つのフレーム画像を抽出してもよい。また、動画像の任意の区間のフレーム画像のみを抽出してもよい。一方、フレーム画像抽出部２４は、粗い画像解析条件である場合、密な画像解析条件である場合よりも低い抽出頻度で、動画像からフレーム画像を抽出する。

注目人物検出部２６は、フレーム画像抽出部２４により動画像から抽出された複数のフレーム画像の各々の中から、注目対象検出部１６により検出された注目対象人物に一致ないし類似した人物を、注目人物として検出するものである。

注目人物検出部２６は、例えば、複数枚のフレーム画像の各々において、人物の有無を検出し、検出された人物の画像と、注目対象検出部１６により検出された注目対象人物の画像とを比較（顔画像等を比較）することにより、検出された人物の中から、注目対象人物に一致ないし類似した人物（類似度が閾値以上の人物）を、注目人物として特定することができる。

また、注目人物検出部２６は、フレーム画像における、注目人物の位置、注目人物の大きさ、注目人物の領域、注目人物の上半身の領域、注目人物の顔の位置、注目人物の顔の大きさ、注目人物の顔領域、注目人物の顔の向き等を検出することができる。

なお、フレーム画像における人物の検出方法、人物の顔の検出方法等は公知であるから、ここでは詳細な説明は省略するが、その具体的な検出方法は何ら限定されない。また、注目人物の検出方法も何ら限定されない。

運動軌跡検出部２８は、注目人物検出部２６による、複数枚のフレーム画像における注目人物の検出結果に基づいて、動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出するものである。また、運動軌跡検出部２８は、注目人物の運動軌跡を検出することにより、注目人物の運動軌跡の長さや、注目人物の移動パターン、動画像における人物の連続存在時間等を検出することができる。

ここで、注目人物の運動軌跡は、関心領域（ＲＯＩ：Region of Interest）、例えば、図３（Ａ）〜（Ｃ）の左側に示すように、注目人物の顔領域が移動した軌跡をライン状に表したものを使用することができる。また、注目人物の運動軌跡として、同図（Ａ）〜（Ｃ）の右側に示すように、動作履歴画像（ＭＨＩ：Motion History Image）を使用してもよい。動作履歴画像は、注目人物の動作の履歴を、例えば、一定時間毎に色を変えて表したものである。動作履歴画像を利用することにより、動作履歴画像における、注目人物の位置、注目人物の大きさ、注目人物の移動箇所、注目人物の移動方向等を知ることができる。

運動軌跡検出部２８は、例えば、注目人物の顔領域に基づいて、現在のフレームのフレーム画像における注目人物の顔領域と、その次のフレームのフレーム画像における注目人物の顔領域に相当する任意の位置の検出領域とを比較し、現在のフレームのフレーム画像における注目人物の顔領域との類似度が閾値以上である、次のフレームのフレーム画像における検出領域の位置に基づいて、現在のフレームのフレーム画像における注目人物の顔領域が、その次のフレームのフレーム画像のどの位置の検出領域に移動しているかを検出することにより、動画像における注目人物の動きを追跡することができる。

ここで、注目人物の顔領域を検出するだけでは、フレーム画像における注目人物の位置、注目人物の大きさ等が時間の経過に伴って変化することにより、注目人物の動きを追跡することが困難となる場合がある。この場合、注目人物の顔領域に加えて、注目人物の上半身の領域を一定数、例えば、４つの領域に分割し、合計５つの領域のそれぞれについて、同様に注目人物の動きを追跡することにより、追跡の成功率を向上させることができる。

また、現在のフレームのフレーム画像における注目人物の顔領域と、その次のフレームのフレーム画像における検出領域との類似度を求める場合、次のフレームのフレーム画像において、現在のフレームのフレーム画像における注目人物の顔領域に対応する位置の検出領域を検出するために、任意の位置の検出領域内に含まれる全ての画素の輝度値の総和を算出することを、複数の位置の検出領域について順次繰り返す必要がある。そのため、各々のフレーム毎に輝度値の総和を計算するための計算量は膨大となる。

この場合、次のフレーム（つまり、各々のフレーム）のフレーム画像の積分画像を生成し、生成された積分画像を利用して輝度値の総和を算出することにより、その計算量を削減し、処理を高速化することができる。積分画像とは、例えば、フレーム画像の画素の座標が、フレーム画像の左から右へ、かつ、上から下へ向かうに従って大きくなるとすると、各々の座標の画素が、左上の画素から各々の座標の画素までの輝度値の積分値を持つ画像である。

なお、積分画像を利用して、注目人物の顔領域に相当する領域内に含まれる全ての画素の輝度値の総和を算出する方法は公知であるから、ここでは、その詳細な説明は省略する。また、注目人物の動きを追跡する場合に、計算量の削減や、処理の高速化の目的のために、積分画像を利用することは限定されず、例えば、平均変位（Mean Shift）法等の各種の方法を利用することができる。平均変位法についても公知であるから、その詳細な説明は省略する。

動作分析部３０は、運動軌跡検出部２８により検出された注目人物の運動軌跡、例えば、顔領域等の関心領域の運動軌跡に基づいて、動画像における注目人物の動作を分析するものである。

動作分析部３０は、注目人物の動作に対する運動軌跡、例えば、注目人物が走っている時の運動軌跡をあらかじめ定義しておき、運動軌跡検出部２８により検出された注目人物の運動軌跡の中から、あらかじめ定義された運動軌跡と類似した部分を検出することにより、注目人物の動作を分析する。

また、動作分析部３０は、注目人物の運動軌跡として、図３（Ａ）〜（Ｃ）の右側に示すような動作履歴画像に基づいて、注目人物の動作を分析することができる。

動作分析部３０は、動作履歴画像に基づいて注目人物の動作を分析することにより、図３（Ａ）の右側に示すように、注目人物が、同図中、右側から左側へ走っていること、同図（Ｂ）の右側に示すように、注目人物が、静止した状態で右手だけを動かしていること、同図（Ｃ）の右側に示すように、注目人物が、地面に落ちているものを拾っていること等を認識することができる。

重要度判定部３２は、注目人物の運動軌跡の長さ、フレーム画像における注目人物の位置、フレーム画像における注目人物の大きさのうちの少なくとも１つに基づいて、複数枚のフレーム画像の各々の重要度を判定するものである。

例えば、注目人物の運動軌跡が長い場合（長さが閾値以上である場合）、その注目人物に対する撮影者の関心度は高いと推測できる。そのため、重要度判定部３２は、動画像の中で、注目人物の運動軌跡が長い部分に対応するフレーム画像の重要度が高いと判定する。また、注目人物が中央部に撮影されているフレーム画像や、注目人物が大きく撮影されている（注目人物の大きさが閾値以上である）フレーム画像の重要度は高いと判定する。

構図分析部３４は、フレーム画像における注目人物の位置、フレーム画像における注目人物の大きさ、注目人物の移動パターンのうちの少なくとも１つに基づいて、複数枚のフレーム画像の各々の構図の良否を分析するものである。

構図分析部３４は、例えば、注目人物が中央部に撮影されているフレーム画像や、注目人物が大きく撮影されている（注目人物の大きさが閾値以上である）フレーム画像の構図は、注目人物が中央部に撮影されていないフレーム画像や、注目人物が大きく撮影されていないフレーム画像の構図よりもよいと分析する。

また、構図分析部３４は、注目人物の移動パターン、例えば、動画像の左端から右端まで注目人物が移動する移動パターンをあらかじめ定義しておき、運動軌跡検出部２８により検出された注目人物の運動軌跡の中から、あらかじめ定義された移動パターンで注目人物が移動している部分を検出する。そして、あらかじめ定義された移動パターンで注目人物が移動している部分に対応するフレーム画像の構図はよいと分析する。

画質判定部３６は、フレーム画像における注目人物の領域、例えば、顔領域等の関心領域に基づいて、複数枚のフレーム画像の各々の画質を判定するものである。

動画像から抽出されたフレーム画像は、動画像の圧縮方式によって、画質がよい場合も悪い場合もある。また、ピンボケ、手ぶれ等によって、フレーム画像にボケやブレが発生している場合や、輝度、色合い、コントラスト等が適切ではない場合もある。しかし、背景等の画質が悪い場合でも、関心領域である注目人物の顔領域や体の領域の画質がよい場合、画質判定部３６は、そのフレーム画像の画質はよいと判定する。

なお、注目人物検出部２６、運動軌跡検出部２８、動作分析部３０、重要度判定部３２、構図分析部３４および画質判定部３６による各画像解析は、画像解析条件決定部１８により決定された画像解析条件に基づいて行われるか否かが決定される。密な画像解析条件である場合、例えば、上記の全ての画像解析が行われる。一方、粗い画像解析条件である場合、例えば、運動軌跡検出部２８および動作分析部３０による画像解析は行わない等のように、密な画像解析条件である場合よりも少ない項目数の画像解析が行われる。

前述のフレーム画像出力部２２は、動作分析部３０、重要度判定部３２、構図分析部３４および画質判定部３６による画像解析の結果に基づいて、それぞれのフレーム画像の評価値を算出し、フレーム画像抽出部２４により動画像から抽出されたフレーム画像の中から、評価値が高い（評価値が閾値以上である）フレーム画像を、ベストショットに対応するフレーム画像として出力する。

つまり、フレーム画像出力部２２は、複数枚のフレーム画像の各々について、動作分析部３０により分析された動画像における注目人物の動作に基づいて、注目人物の動作に対する評価値を算出する。例えば、注目人物の動作が、走っている動作である場合には、評価値がいくつというように、注目人物の動作の種類に応じて、注目人物の動作に対する評価値を算出することができる。

また、フレーム画像出力部２２は、注目人物の運動軌跡として、図３（Ａ）〜（Ｃ）の右側に示すような動作履歴画像に基づいて、動作分析部３０により分析された注目人物の動作に対する評価値を算出する。例えば、注目人物が、動いているのか否か、どの位置で、どの方向へ動いているか等に基づいて、注目人物の動作に対する評価値を算出することができる。

また、フレーム画像出力部２２は、複数枚のフレーム画像の各々について、重要度判定部３２により判定されたフレーム画像の重要度に基づいて、重要度の評価値を算出する。
例えば、重要度が高くなるほど、重要度の評価値が高くなるように算出することができる。

また、フレーム画像出力部２２は、複数枚のフレーム画像の各々について、構図分析部３４により分析されたフレーム画像の構図の良否に基づいて、構図の評価値を算出する。
例えば、よいと分析されたフレーム画像の構図の評価値が、よいと分析されていないフレーム画像の構図の評価値よりも高くなるように算出することができる。

また、フレーム画像出力部２２は、複数枚のフレーム画像の各々について、画質判定部３６により判定されたフレーム画像の画質に基づいて、画質の評価値を算出する。例えば、画質がよいと判定されたフレーム画像について、画質がよいほど、画質の評価値が高くなるように算出することができる。例えば、関心領域のボケブレの判定が行われて、ボケブレの程度が大きいほど、画質の評価値が低くなるように算出される。

そして、フレーム画像出力部２２は、フレーム画像抽出部２４により動画像から抽出された複数のフレーム画像の中から、注目人物の動作に対する評価値が、もしくは、注目人物の動作に対する評価値と、重要度の評価値、構図の評価値、および、画質の評価値のうちの少なくとも１つの評価値との総合評価値が閾値以上である１枚以上のフレーム画像を、ベストショットに対応するフレーム画像として出力する。

次に、図４に示すフローチャートを参照して、図１に示す画像処理装置１０の動作を説明する。

画像処理装置１０では、まず、画像取得部１２により、処理対象となる動画像および複数の静止画像が取得される（ステップＳ１）。

続いて、特徴情報抽出部１４により、複数の静止画像から、特徴情報として、例えば、複数の静止画像における同一人物の登場回数が抽出される（ステップＳ２）。

続いて、注目対象検出部１６により、特徴情報に基づいて、例えば、登場回数が多い人物が、注目対象人物として検出される（ステップＳ３）。

続いて、画像解析条件決定部１８により、特徴情報、さらには、注目対象人物に基づいて、複数の静止画像との関連性が低い動画像の部分に対する画像解析条件が、複数の静止画像との関連性が高い動画像の部分に対する画像解析条件よりも粗い画像解析条件に設定される（ステップＳ４）。例えば、登場回数が多い人物である注目人物が存在しない動画像の部分からフレーム画像を抽出する際の抽出頻度が、注目人物が存在する動画像の部分からフレーム画像を抽出する際の抽出頻度よりも低く設定される。

続いて、フレーム画像解析部２０により、画像解析条件に基づいて、動画像からフレーム画像が抽出され、抽出されたフレーム画像に対して画像解析が行われる（ステップＳ５）。フレーム画像解析部２０の動作の詳細については後述する。

続いて、フレーム画像出力部２２により、画像解析の結果に基づいて、それぞれのフレーム画像の評価値が算出され、動画像から抽出された複数のフレーム画像の中から、評価値が高いフレーム画像が、ベストショットに対応するフレーム画像として出力される（ステップＳ６）。

画像処理装置１０では、複数の静止画像から特徴情報が抽出され、特徴情報を利用して、登場回数が多い人物である注目人物が存在しない動画像の部分に対する画像解析条件が、注目人物が存在する動画像の部分に対する画像解析条件によりも、粗い画像解析条件に設定され、動画像からフレーム画像の抽出および解析が行われる。これにより、動画像からベストショットに対応するフレーム画像を、精度よく、効率的かつ高速に抽出することができる。

次に、図５に示すフローチャートを参照して、フレーム画像解析部２０の詳細動作を説明する。

フレーム画像解析部２０では、まず、フレーム画像抽出部２４により、画像解析条件に基づいて、動画像からフレーム画像が抽出される（ステップＳ７）。この場合、例えば、注目人物が存在しない動画像の部分からは、注目人物が存在する動画像の部分からよりも低い抽出頻度でフレーム画像が抽出される。

続いて、注目人物検出部２６により、フレーム画像抽出部２４により抽出されたフレーム画像の中から、注目対象検出部１６により検出された注目対象人物に一致ないし類似した人物（注目人物）が検出される（ステップＳ８）。これにより、それぞれのフレーム画像において、注目人物が特定されるとともに、それぞれのフレーム画像における、注目人物の位置、注目人物の大きさ、注目人物の領域等が検出される。

続いて、運動軌跡検出部２８により、フレーム画像における注目人物の検出結果に基づいて、例えば、動画像における注目人物の関心領域の動きが追跡されて注目人物の運動軌跡が検出される（ステップＳ９）。これにより、例えば、図３（Ａ）〜（Ｃ）の左側に示すように、注目人物の運動軌跡として、顔領域等の関心領域が移動した軌跡をライン状に表したものや、同図（Ａ）〜（Ｃ）の右側に示すような動作履歴画像を得ることができる。

続いて、動作分析部３０により、運動軌跡検出部２８により検出された注目人物の運動軌跡に基づいて、動画像における注目人物の動作が分析される（ステップＳ１０−１）。

また、重要度判定部３２により、注目人物の運動軌跡の長さ、フレーム画像における注目人物の位置、注目人物の大きさに基づいて、それぞれのフレーム画像の重要度が判定される（ステップＳ１０−２）。

また、構図分析部３４により、フレーム画像における注目人物の位置、注目人物の大きさ、注目人物の移動パターンに基づいて、それぞれのフレーム画像の構図の良否が分析される（ステップＳ１０−３）。

また、画質判定部３６により、フレーム画像における注目人物の領域に基づいて、それぞれのフレーム画像の画質が判定される（ステップＳ１０−４）。

なお、注目人物の動作に対する評価値、重要度の評価値、構図の評価値、画質の評価値を算出する順序は何ら限定されず、任意の順序で算出することができる。また、これらの評価値を並列に、つまり、同時に算出するようにすることもできる。

また、注目人物検出部２６、運動軌跡検出部２８、動作分析部３０、重要度判定部３２、構図分析部３４および画質判定部３６による各画像解析は、画像解析条件に基づいて行われるか否かが決定される。例えば、登場回数が多い注目人物が存在しない動画像の部分から抽出されたフレーム画像に対しては、注目人物が存在する動画像の部分から抽出されたフレーム画像に対するよりも少ない項目数の画像解析が行われる。

続いて、フレーム画像出力部２２により、動作分析部３０、重要度判定部３２、構図分析部３４および画質判定部３６による画像解析の結果に基づいて、それぞれのフレーム画像の評価値が算出される（ステップＳ１１）。つまり、それぞれのフレーム画像について、動画像における注目人物の動作に対する評価値、重要度の評価値、構図の評価値、および、画質の評価値が算出される。

そして、フレーム画像抽出部２４により動画像から抽出されたフレーム画像の中から、動画像における注目人物の動作に対する評価値、もしくは、動画像における注目人物の動作に対する評価値、重要度の評価値、構図の評価値および画質の評価値の総合評価値（各評価値の加算値等）が高い１枚以上のフレーム画像が、ベストショットに対応するフレーム画像として出力される（ステップＳ１２）。

上記のように、画像処理装置１０では、動画像における注目人物の動作に対する評価値、もしくは、動画像における注目人物の動作に対する評価値、フレーム画像の重要度の評価値、構図の評価値および画質の評価値を含む総合評価値に基づいて、動画像の中からベストショットを自動で検出し、動画像から抽出されたフレーム画像の中から、ベストショットに対応するフレーム画像を抽出することができる。

なお、注目人物検出部２６は、注目人物が二人以上の場合、複数枚のフレーム画像の中から、二人以上の注目人物のそれぞれを検出して、検出された注目人物が誰なのかを順次特定することができる。また、この場合、運動軌跡検出部２８、動作分析部３０、重要度判定部３２、構図分析部３４、画質判定部３６およびフレーム画像出力部２２は、その二人以上の注目人物のそれぞれについて順次処理を行う。

また、注目対象となる注目被写体が動物やオブジェクトの場合も同様である。なお、注目人物の検出、運動軌跡の検出および動作分析は、注目被写体が、人物や動物等の生体の場合にのみ適用される。

画像処理装置１０では、前述のように、動画像とともに取得された複数の静止画像における登場回数が多い人物を注目人物として検出し、動画像から注目人物が存在するフレーム画像を抽出することができる。

例えば、動画像と、クラス（学級）別に、複数の静止画像（クラス別の集合写真や、仲のよい同じクラスの友達と撮影した静止画像等）とが画像処理装置１０に入力されると、各クラスの子供を中心として動画像からフレーム画像が抽出される。また、動画像と、保護者の子供が撮影された複数の静止画像とが画像処理装置１０に入力されると、その保護者の子供を中心として動画像からフレーム画像が抽出される。

動画像から注目人物が存在するフレーム画像を抽出する場合、従来の画像処理装置では、例えば、図６（Ａ）に示すように、動画像の先頭から１フレーム毎に全てのフレーム画像を抽出し、それぞれのフレーム画像に対して各種の画像解析が実施される。同図中、実線で表されたフレーム画像は抽出されることを意味する。そのため、従来の画像処理装置では、動画像からのフレーム画像の抽出および画像解析に長時間を要し、動画像からベストショットに対応するフレーム画像を高速に抽出することはできなかった。

これに対し、本実施形態の画像処理装置１０では、注目人物が存在しない動画像の部分からのフレーム画像の抽出頻度が、注目人物が存在する動画像の部分からのフレーム画像の抽出頻度よりも低く設定される。図６（Ｂ）に示すように、顔（人物）が検出されない場合や、顔（人物）は検出されたが、注目人物ではない場合には、例えば、動画像から３０フレーム毎にフレーム画像が抽出される。同図中、実線で表されたフレーム画像は抽出され、点線で表されたフレーム画像は抽出されないことを意味する。一方、注目人物が存在する場合には、例えば、動画像から１フレーム毎にフレーム画像が抽出される。

このように、注目人物が存在しない動画像の部分におけるフレーム画像の抽出頻度を、注目人物が存在する動画像の部分におけるフレーム画像の抽出頻度よりも低くすることにより、動画像から、ベストショットに対応するフレーム画像として出力されるフレーム画像だけを短時間で抽出して画像解析を行うことができる。そのため、動画像からベストショットに対応するフレーム画像を、精度よく、効率的かつ高速に抽出することができる。

なお、注目人物が存在しない動画像の部分から抽出されるフレーム画像は、ベストショットに対応するフレーム画像として出力されないため、注目人物が存在しない動画像の部分におけるフレーム画像の抽出頻度を低くしても問題はない。

また、顔（人物）を検出する例を挙げて説明したが、これに限定されず、ペット等の動物の検出、オブジェクトの検出、およびシーンの検出などを利用して、同様に、動画像からベストショットに対応するフレーム画像を抽出して出力することができる。

また、画像解析条件決定部１８は、被写体（人物、動物、オブジェクト、およびシーン等）の種類に応じて、動画像からフレーム画像を抽出する際の抽出頻度を変えてもよい。

例えば、人物および動物の少なくとも一方の生物が存在する場合には、運動軌跡の検出を実施するため、生物が存在する動画像の部分からフレーム画像を抽出する際の抽出頻度を高くすることが望ましい。一方、生物が存在しない、オブジェクト等の非生物の場合には、運動軌跡の検出を実施しないため、生物が存在しない動画像の部分からフレーム画像を抽出する際の抽出頻度を、生物が存在する動画像の部分からフレーム画像を抽出する際の抽出頻度よりも低くしても問題はない。

また、画像解析条件決定部１８は、フレーム画像の撮影内容に応じて、動画像からフレーム画像を抽出する際の抽出頻度を変えてもよい。

例えば、顔のサイズが大きい場合には、近距離で撮影されているため、動きが大きい可能性がある。そのため、大きいサイズ（閾値以上のサイズ）で撮影された人物および動物の少なくとも一方の生物が存在する動画像の部分からフレーム画像を抽出する場合には、例えば、１フレーム毎にフレーム画像を抽出するか、または、フレーム画像の抽出頻度を高くすることが望ましい。一方、顔のサイズが小さい場合には、遠距離で撮影されているため、動きは小さいと考えられる。そのため、大きいサイズ（閾値以上のサイズ）で撮影された生物が存在しない動画像の部分からフレーム画像を抽出する場合には、フレーム画像の抽出頻度を、大きいサイズで撮影された生物が存在する動画像の部分からフレーム画像を抽出する場合よりも低くしても問題はない。

また、特徴情報として、それぞれの静止画像の撮影時刻を利用することができる。この場合、静止画像と同じ時間帯のフレーム画像を、ベストショットに対応するフレーム画像として出力する必要はない。これに応じて、画像解析条件決定部１８は、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影された動画像の部分に対する画像解析条件を、静止画像の撮影時刻の前後の一定範囲外の撮影時間帯に撮影された動画像の部分に対する画像解析条件よりも、粗い画像解析条件としてもよい。

例えば、画像解析条件が、フレーム画像の抽出頻度である場合、画像解析条件決定部１８は、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影された動画像の部分からフレーム画像を抽出する際の抽出頻度を、静止画像の撮影時刻の前後の一定範囲外の撮影時間帯に撮影された動画像の部分からフレーム画像を抽出する際の抽出頻度よりも低くする。

また、画像解析条件が、画像解析の項目数である場合、画像解析条件決定部１８は、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影された動画像の部分から抽出されるフレーム画像に対する画像解析の項目数を、静止画像の撮影時刻の前後の一定範囲外の撮影時間帯に撮影された動画像の部分から抽出されるフレーム画像に対する画像解析の項目数よりも少なくする。

例えば、静止画像の撮影時刻の前後の一定範囲外の撮影時間帯に撮影された動画像の部分から抽出されるフレーム画像に対する画像解析の項目数を、人物検出、人物の動作分析、動画像における人物の連続存在時間の検出、構図分析および画質判定のうちの２以上の項目数とする。一方、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影された動画像の部分から抽出されるフレーム画像に対する画像解析の項目数を、静止画像の撮影時刻の前後の一定範囲外の撮影時間帯に撮影された動画像の部分から抽出されるフレーム画像に対する画像解析の項目数よりも少ない項目数とする。

また、画像解析条件が、画像解析を行う際のフレーム画像の画像サイズである場合、画像解析条件決定部１８は、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影された動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズを、静止画像の撮影時刻の前後の一定範囲外の撮影時間帯に撮影された動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズよりも縮小する。

例えば、動画像から抽出されるフレーム画像の画像サイズが、８００画素×６００画素である場合、静止画像の撮影時刻の前後の一定範囲外の撮影時間帯に撮影された動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズを、８００画素×６００画素（縮小なし）とし、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影された動画像の部分から抽出されるフレーム画像に対して画像解析を行う際の画像サイズを、４００画素×３００画素に縮小する。重要な画像は静止画像で撮影されているはずであり、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影された動画像の部分からは、評価値が明らかに高いフレーム画像を抽出することができればよいため、フレーム画像に対して画像解析を行う際の画像サイズを縮小しても問題はない。

なお、画像解析条件決定部１８は、フレーム画像の抽出頻度、画像解析の項目数および画像解析を行う際のフレーム画像の画像サイズのうちの１つまたは２以上を同時に粗い画像解析条件としてもよい。

また、画像取得部１２により複数の動画像が取得された場合、画像解析条件決定部１８は、複数の動画像のうち、静止画像の撮影時刻を含む撮影時間帯に撮影された動画像からフレーム画像を抽出しない画像解析条件としてもよい。

例えば、動画像Ａの撮影時間帯が、１０時１２分２０秒〜１０時１４分９秒であり、動画像Ｂの撮影時間帯が、１０時２３分５５秒〜１０時２７分１０秒である場合、静止画像の撮影時刻が１０時２４分３４秒であれば、動画像Ｂからはフレーム画像を抽出しない。

また、画像解析条件決定部１８は、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯、例えば、静止画像の撮影時刻の前後の３０秒の撮影時間帯に撮影された動画像の部分からフレーム画像を抽出しない画像解析条件としてもよい。

このように、本実施形態の画像処理装置１０では、複数の動画像のうちの一部の動画像や、動画像の一部の時間帯の部分に対する処理を全部行わないこととすることができるため、より処理速度を向上させることができる。

あるいは、画像解析条件決定部１８は、動画像からフレーム画像を抽出する範囲を決定する代わりに、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影された動画像の部分からフレーム画像を抽出する際の抽出頻度を、静止画像の撮影時刻の前後の一定範囲外の撮影時間帯に撮影された動画像の部分からフレーム画像を抽出する際の抽出頻度よりも低くしてもよい。

例えば、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影された動画像の部分からは３０フレーム毎にフレーム画像を抽出し、それ以外の撮影時間帯に撮影された動画像の部分からは１フレーム毎にフレーム画像を抽出する。

また、画像解析条件決定部１８は、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影された動画像の部分から抽出されるフレーム画像に対する画像解析の項目数を、静止画像の撮影時刻の前後の一定範囲外の撮影時間帯に撮影された動画像の部分から抽出されるフレーム画像に対する画像解析の項目数よりも少なくしてもよい。

例えば、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影された動画像の部分から抽出されたフレーム画像に対して、運動軌跡の検出、動作分析を行うが、注目人物の検出は行わない。一方、それ以外の撮影時間帯に撮影された動画像の部分から抽出されたフレーム画像に対しては、運動軌跡の検出、動作分析に加えて注目人物の検出も行う。

なお、静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に、重要度の評価値が高いフレーム画像が存在する場合等には、そのフレーム画像の前後の数フレームの動画像の部分から１フレーム毎にフレーム画像を抽出してもよい。

また、例えば、運動会の玉入れが動画像および静止画像の両方で撮影されている場合に、動画像から抽出されたフレーム画像と同じ時刻に撮影された静止画像があれば、わざわざ動画像から抽出されたフレーム画像を使用する必要はない。従って、フレーム画像出力部２２は、表１に示すように、複数の静止画像のうちの少なくとも１つの静止画像と同じ時間帯のフレーム画像の評価値を、静止画像とは異なる時間帯のフレーム画像（静止画像と同じ時間帯ではないフレーム画像）の評価値よりも下げる方が望ましい。同じ時間帯は、静止画像の撮影時刻の前後の３０秒の撮影時間帯（例えば、静止画像の撮影時刻の前後の３０秒）、あるいは同じシーンとしてもよい。

表１は、４枚のフレーム画像の評価値の決定方法を表したものである。４枚のフレーム画像の動画像のみに基づく評価値は、Ａ，Ｂ，Ｃ，Ｄであり、Ａの評価値が最も高く、Ｂ，Ｃ，Ｄの順に評価値が低くなり、Ｄの評価値が最も低いものとする。静止画像の撮影時刻を考慮して、フレーム画像が静止画像と同じ時間帯である場合には、４枚のフレーム画像の評価値を１つずつ下げ、Ｂ，Ｃ，Ｄ，Ｄとする。一方、４枚のフレーム画像が静止画像とは異なる時間帯である場合には、評価値を変えず、Ａ，Ｂ，Ｃ，Ｄのままとする。

また、フレーム画像出力部２２は、複数の静止画像のうちの少なくとも１つの静止画像と同じ時間帯で、かつ、同じ時刻に撮影されたフレーム画像（静止画像の撮影時刻の前後の一定範囲内の撮影時間帯に撮影されたフレーム画像）の評価値を、同じ時間帯で、かつ、同じ時刻に撮影されていないフレーム画像（静止画像の撮影時刻の前後の一定範囲外の撮影時間帯に撮影されたフレーム画像）の評価値よりも下げてもよい。ここで同じ時刻に撮影されたフレーム画像とは、静止画像の撮影時刻の前後の上記時間帯よりも短い時間（例えば前後３秒）の撮影時間帯に撮影されたフレーム画像とすることができる。

表２において、４枚のフレーム画像の動画像のみに基づく評価値は、同様に、Ａ，Ｂ，Ｃ，Ｄである。静止画像の撮影時刻を考慮して、４枚のフレーム画像が静止画像と同じ時間帯で、かつ、同じ時刻に撮影されている場合には、全ての評価値を最低のＤとする。一方、４枚のフレーム画像が静止画像と同じ時間帯であっても、同じ時刻に撮影されていない場合には、評価値を１つずつ下げ、Ｂ，Ｃ，Ｄ，Ｄとする。また、４枚のフレーム画像が静止画像とは異なる時間帯である場合には、評価値を変えず、Ａ，Ｂ，Ｃ，Ｄのままとする。

また、フレーム画像出力部２２は、静止画像およびフレーム画像の撮影位置や撮影方向を考慮して、複数の静止画像と、同じ時間帯で、かつ、同じ時刻に撮影されたフレーム画像と、の撮影位置および撮影方向の少なくとも一方が異なる場合には、同じ時間帯で、かつ、同じ時刻に撮影されたフレーム画像の評価値を下げないようにしてもよいし、逆に、フレーム画像の評価値を上げてもよい。

このように、静止画像の撮影時刻を考慮することにより、重要度が低い時間帯をあらかじめ排除することが可能となる。実際の処理では、重要度を判定した上で、重要時間帯のフレーム画像についてはファイル出力を行って、後から再利用可能とするが、本実施形態のように、静止画像の撮影時刻を考慮して重要度が低い時間帯のフレーム画像をあらかじめ排除することにより、ファイル出力を行うフレーム画像を絞り込むことが可能となり、そのための処理時間を短縮することができる。

なお、静止画像の撮影時刻、静止画像およびフレーム画像の撮影位置および撮影方向の情報は、例えば、それらのヘッダ情報として付帯されるExif（Exchangeable Image File Format）情報に含まれている情報を利用することができる。

また、フレーム画像出力部２２は、複数の静止画像における同一被写体の登場回数が少ない（登場回数が閾値未満である）場合に、登場回数が多い（登場回数が閾値以上である）場合よりも、フレーム画像をベストショットに対応するフレーム画像として出力するか否かを判断するための閾値を下げてもよい。

この場合、例えば、登場回数が少ない人物が存在するフレーム画像が、複数の静止画像における登場回数が多い人物が存在するフレーム画像よりも多くの枚数、ベストショットに対応するフレーム画像として出力される。これにより、登場回数が少ない人物が存在するフレーム画像の抽出枚数が少なくなりすぎるのを防止することができ、それぞれの人物が存在する静止画像およびフレーム画像のトータルの枚数を均一化することができる。

また、特徴情報として、それぞれの静止画像の人物認識の結果の情報を利用することができる。この場合、画像解析条件決定部１８は、動画像から人物認識の結果の情報に対応する人物が存在するフレーム画像を抽出する画像解析条件としてもよい。

また、特徴情報として、それぞれの静止画像のシーン判定またはオブジェクト認識の結果の情報を利用することができる。この場合、画像解析条件決定部１８は、動画像からシーン判定の結果の情報に対応するシーンのフレーム画像、または、オブジェクト認識の結果の情報に対応するオブジェクトが存在するフレーム画像を抽出する画像解析条件としてもよい。

この場合、例えば、「紅葉」の静止画像が入力されると、シーン判定を利用して、動画像から「紅葉」のシーンのフレーム画像が抽出される。また、「子供の手」の静止画像が入力されると、オブジェクト認識を利用して、動画像から「子供の手」がオブジェクトとして存在するフレーム画像が抽出される。

また、特徴情報として、それぞれの静止画像における人物の動きを表す情報を利用することができる。この場合、画像解析条件決定部１８は、動画像から人物の動きを表す情報に対応する動きを表す人物が存在するフレーム画像を抽出する画像解析条件としてもよい。

この場合、例えば、「子供がジャンプしている」静止画像が入力されると、動画像における人物の動きを利用して、動画像から「子供がジャンプしている」シーンのフレーム画像が抽出される。

また、動画像および複数の静止画像が、１台の撮影装置により同時に撮影された場合には両者の時間は一致するが、異なる撮影装置により別々に撮影された場合には両者の時間がずれる場合がある。本発明では、動画像および複数の静止画像は、１台の撮影装置により撮影されたものに限らず、２台以上の撮影装置により撮影されたものでもよいが、２台以上の撮影装置により撮影されたものである場合には、フレーム画像の画像解析を行う前に両者の時間を合わせておくことが望ましい。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ 画像取得部
１４ 特徴情報抽出部
１６ 注目対象検出部
１８ 画像解析条件決定部
２０ フレーム画像解析部
２２ フレーム画像出力部
２４ フレーム画像抽出部
２６ 注目人物検出部
２８ 運動軌跡検出部
３０ 動作分析部
３２ 重要度判定部
３４ 構図分析部
３６ 画質判定部

Claims (10)

1. 動画像および複数の静止画像を取得する画像取得部と、
   前記複数の静止画像から特徴情報を抽出する特徴情報抽出部と、
   前記特徴情報に基づいて、前記動画像の一の部分に対する画像解析条件を、前記動画像の他の部分に対する画像解析条件よりも、粗い画像解析条件とする画像解析条件決定部と、
   前記画像解析条件に基づいて、前記動画像からフレーム画像を抽出し、前記抽出されたフレーム画像に対して画像解析を行うフレーム画像解析部と、
   前記画像解析の結果に基づいて、前記フレーム画像の評価値を算出し、前記フレーム画像の中から前記評価値が第１閾値以上であるフレーム画像を出力するフレーム画像出力部とを備える、画像処理装置。
2. 前記画像解析条件は、前記フレーム画像の抽出頻度であり、
   前記画像解析条件決定部は、前記動画像と前記複数の静止画像との関連性が第２閾値未満である前記動画像の部分から前記フレーム画像を抽出する際の抽出頻度を、前記関連性が前記第２閾値以上である前記動画像の部分から前記フレーム画像を抽出する際の抽出頻度よりも低くする、請求項１に記載の画像処理装置。
3. 前記画像解析条件は、前記画像解析の項目数であり、
   前記画像解析条件決定部は、前記動画像と前記複数の静止画像との関連性が第２閾値未満である前記動画像の部分から抽出される前記フレーム画像に対する画像解析の項目数を、前記関連性が前記第２閾値以上である前記動画像の部分から抽出される前記フレーム画像に対する画像解析の項目数よりも少なくする、請求項１または２に記載の画像処理装置。
4. 前記画像解析条件は、前記画像解析を行う際の前記フレーム画像の画像サイズであり、
   前記画像解析条件決定部は、前記動画像と前記複数の静止画像との関連性が第２閾値未満である前記動画像の部分から抽出される前記フレーム画像に対して前記画像解析を行う際の画像サイズを、前記関連性が前記第２閾値以上である前記動画像の部分から抽出される前記フレーム画像に対して前記画像解析を行う際の画像サイズよりも縮小する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 画像取得部が、動画像および複数の静止画像を取得するステップと、
   特徴情報抽出部が、前記複数の静止画像から特徴情報を抽出するステップと、
   画像解析条件決定部が、前記特徴情報に基づいて、前記動画像の一の部分に対する画像解析条件を、前記動画像の他の部分に対する画像解析条件よりも、粗い画像解析条件とするステップと、
   フレーム画像解析部が、前記画像解析条件に基づいて、前記動画像からフレーム画像を抽出し、前記抽出されたフレーム画像に対して画像解析を行うステップと、
   フレーム画像出力部が、前記画像解析の結果に基づいて、前記フレーム画像の評価値を算出し、前記フレーム画像の中から前記評価値が第１閾値以上であるフレーム画像を出力するステップとを含む、画像処理方法。
6. 前記画像解析条件は、前記フレーム画像の抽出頻度であり、
   前記画像解析条件を決定するステップは、前記動画像と前記複数の静止画像との関連性が第２閾値未満である前記動画像の部分から前記フレーム画像を抽出する際の抽出頻度を、前記関連性が前記第２閾値以上である前記動画像の部分から前記フレーム画像を抽出する際の抽出頻度よりも低くする、請求項５に記載の画像処理方法。
7. 前記画像解析条件は、前記画像解析の項目数であり、
   前記画像解析条件を決定するステップは、前記動画像と前記複数の静止画像との関連性が第２閾値未満である前記動画像の部分から抽出される前記フレーム画像に対する画像解析の項目数を、前記関連性が前記第２閾値以上である前記動画像の部分から抽出される前記フレーム画像に対する画像解析の項目数よりも少なくする、請求項５または６に記載の画像処理方法。
8. 前記画像解析条件は、前記画像解析を行う際の前記フレーム画像の画像サイズであり、
   前記画像解析条件を決定するステップは、前記動画像と前記複数の静止画像との関連性が第２閾値未満である前記動画像の部分から抽出される前記フレーム画像に対して前記画像解析を行う際の画像サイズを、前記関連性が前記第２閾値以上である前記動画像の部分から抽出される前記フレーム画像に対して前記画像解析を行う際の画像サイズよりも縮小する、請求項５〜７のいずれか１項に記載の画像処理方法。
9. 請求項５〜８のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
10. 請求項５〜８のいずれか１項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。