JP2016066177A - 領域検出装置、領域検出方法、画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】動画像の中からベストショットのシーンに対応する静止画像を抽出し、抽出された静止画像から検出された注目人物の全体領域等を含む合成画像を生成することができる画像処理装置等を提供する。
【解決手段】画像処理装置では、領域検出部が、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、および、注目人物の動画像における移動領域を検出する。領域画像抽出部が、静止画像から、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、および、注目人物の動画像における移動領域の各々に対応する、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、注目人物の全体領域の画像、および、注目人物の動画像における移動領域の画像を抽出する。合成画像生成部が、領域画像抽出部により抽出された画像を含む合成画像を生成する。
【選択図】図１

Description

本発明は、動画像から抽出された静止画像から注目人物の全体領域等を検出する領域検出装置、領域検出方法、検出された注目人物の全体領域等を含む合成画像を生成する画像処理装置、画像処理方法、ならびに、プログラムおよび記録媒体に関するものである。

近年、一般家庭においてもたくさんの動画像が撮影されている。撮影された動画像の中には、例えば、子供が誕生日にろうそくを吹き消す瞬間等のように、静止画像では捉えきれない（撮影が難しい）ベストショットのシーン（動画像に撮影された人物の動作を好適に表すシーン）が含まれている可能性がある。その一方で、動画像の中には、人物の動きが少ないもの、重要度が低いもの、構図が悪いもの、画質が悪いもの等が含まれている場合がある。

従って、動画像の中からベストショットのシーンを見つけ出し、静止画像として抽出するのには非常に手間がかかるという問題がある。

ここで、本発明に関連性のある先行技術文献として、特許文献１，２がある。

特許文献１は、人が録画されている録画位置から素早く動画データを再生できるようにした人物行動検索装置に関するものである。同文献には、撮影画像上に人が認識されると、認識された人の代表画像を抽出し、代表画像に、人物画像の仮想重心点が撮像画像内に現れてから撮像画像外に消えるまでの移動軌跡である追跡線を合成した栞画像を作成することが記載されている。

特許文献２は、動画像データから当該動画像データに含まれる映像を端的に表す代表フレームを抽出する技術に関するものである。同文献には、動画像データの所定の時間区間から当該区間の内容（映像）を良く表す代表フレームを１枚あるいは複数枚抽出することが記載されている。また、同文献には、代表フレーム画像として、顔状態判定部が出力する評価値が最大となったフレーム画像を抽出することが記載されている。

特開２００９−７５８０２号公報 特開２０１０−１０９５９２号公報

本発明の目的は、前記従来技術の問題点を解消し、動画像の中からベストショットのシーンに対応する静止画像を抽出し、抽出された静止画像から注目人物の全体領域等を検出することができる領域検出装置、領域検出方法、検出された注目人物の全体領域等を含む合成画像を生成することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、動画像データから、複数のフレームの静止画像データを抽出する静止画像データ抽出部と、
複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出する注目人物検出部と、
複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出する運動軌跡検出部と、
注目人物の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出する動作分析部と、
複数のフレームの静止画像データの中から、注目人物の動作に対する評価値が閾値以上である静止画像の静止画像データを出力する静止画像データ出力部と、
注目人物の運動軌跡に基づいて、評価値が閾値以上である静止画像に撮影された注目人物の動画像における動きのある領域を検出する動き領域検出部と、
評価値が閾値以上である静止画像に撮影された注目人物の顔領域を検出する顔領域検出部と、
注目人物の動画像における動きのある領域、および、注目人物の顔領域に基づいて、評価値が閾値以上である静止画像に撮影された注目人物の全体領域を検出する人物領域検出部とを備えることを特徴とする領域検出装置を提供するものである。

さらに、注目人物の運動軌跡に基づいて、評価値が閾値以上である静止画像に撮影された注目人物の動画像における移動領域を検出する移動領域検出部を備えることが好ましい。

また、本発明は、上記に記載の領域検出装置と、
評価値が閾値以上である静止画像から、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、および、注目人物の動画像における移動領域の各々に対応する、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、注目人物の全体領域の画像、および、注目人物の動画像における移動領域の画像のうちの少なくとも１枚の画像を抽出する領域画像抽出部と、
領域画像抽出部により抽出された少なくとも１枚の画像を含む合成画像を生成する合成画像生成部とを備えることを特徴とする画像処理装置を提供する。

ここで、領域画像抽出部は、移動領域検出部により注目人物の動画像における移動領域が検出された場合、評価値が閾値以上である静止画像から、注目人物の動画像における移動領域の画像を抽出するものであり、
合成画像生成部は、注目人物の動画像における移動領域の画像を含む合成画像を生成するものであることが好ましい。

また、合成画像生成部は、注目人物の動画像における移動領域の画像の上に他の画像を重ねて自動合成する場合、他の画像を、注目人物の全体領域以外の領域の画像の上に重ねて合成するものであることが好ましい。

また、合成画像生成部は、注目人物の動画像における移動領域の画像の上に他の画像を重ねて自動合成する場合、注目人物の顔領域および注目人物の動画像における動きのある領域以外の領域の画像、注目人物の全体領域以外の領域の画像、および、注目人物の動画像における移動領域以外の領域の画像の中から、合成画像の用途に応じて、他の画像を重ねて合成する領域の画像を変更するものであることが好ましい。

また、合成画像生成部は、注目人物の動画像における移動領域の画像の上に他の画像を重ねて自動合成する場合、注目人物の顔領域および注目人物の動画像における動きのある領域以外の領域の画像、注目人物の全体領域以外の領域の画像、および、注目人物の動画像における移動領域以外の領域の画像の中から、他の画像の種類に応じて、他の画像を重ねて合成する領域の画像を変更するものであることが好ましい。

さらに、ユーザにより入力された指示を受け取る指示入力部を備え、
合成画像生成部は、注目人物の動画像における移動領域の画像の上に、指示により指定された画像を、指示により指定された位置に重ねて合成するものであることが好ましい。

運動軌跡検出部は、さらに、注目人物の移動方向および移動速度を検出するものであり、
領域画像抽出部は、注目人物の移動速度が速くなるに従って、注目人物の移動方向に対する抽出範囲が広くなるように、注目人物の動画像における移動領域の画像を抽出するものであることが好ましい。

また、領域画像抽出部は、注目人物の移動方向に対する抽出範囲よりも、注目人物の移動方向と反対側の方向に対する抽出範囲が広くなるように、注目人物の動画像における移動領域の画像を抽出するものであることが好ましい。

また、領域画像抽出部は、評価値が閾値以上である１枚の静止画像から、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、注目人物の全体領域の画像、および、注目人物の動画像における移動領域の画像のうちの少なくとも２枚の画像を抽出するものであり、
合成画像生成部は、領域画像抽出部により抽出された少なくとも２枚の画像を含む合成画像を生成するものであることが好ましい。

また、合成画像生成部は、領域画像抽出部により抽出された画像に画像処理を施し、画像処理が施された画像を含む合成画像を生成するものであることが好ましい。

また、領域画像抽出部は、移動領域検出部により注目人物の動画像における移動領域が検出されない場合、評価値が閾値以上である静止画像から、注目人物の全体領域の画像を抽出するものであり、
合成画像生成部は、注目人物の全体領域の画像を含む合成画像を生成するものであることが好ましい。

また、本発明は、静止画像データ抽出部が、動画像データから、複数のフレームの静止画像データを抽出するステップと、
注目人物検出部が、複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するステップと、
運動軌跡検出部が、複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出するステップと、
動作分析部が、注目人物の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出するステップと、
静止画像データ出力部が、複数のフレームの静止画像データの中から、注目人物の動作に対する評価値が閾値以上である静止画像の静止画像データを出力するステップと、
動き領域検出部が、注目人物の運動軌跡に基づいて、評価値が閾値以上である静止画像に撮影された注目人物の動画像における動きのある領域を検出するステップと、
顔領域検出部が、評価値が閾値以上である静止画像に撮影された注目人物の顔領域を検出するステップと、
人物領域検出部が、注目人物の動画像における動きのある領域、および、注目人物の顔領域に基づいて、評価値が閾値以上である静止画像に撮影された注目人物の全体領域を検出するステップとを含むことを特徴とする領域検出方法を提供する。

さらに、移動領域検出部が、注目人物の運動軌跡に基づいて、評価値が閾値以上である静止画像に撮影された注目人物の動画像における移動領域を検出するステップを含むことが好ましい。

また、本発明は、上記に記載の領域検出方法により、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、および、注目人物の動画像における移動領域を検出するステップと、
領域画像抽出部が、評価値が閾値以上である静止画像から、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、および、注目人物の動画像における移動領域の各々に対応する、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、注目人物の全体領域の画像、および、注目人物の動画像における移動領域の画像のうちの少なくとも１枚の画像を抽出するステップと、
合成画像生成部が、領域画像抽出部により抽出された少なくとも１枚の画像を含む合成画像を生成するステップとを含むことを特徴とする画像処理方法を提供する。

また、本発明は、上記に記載の領域検出方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の領域検出方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、動画像における注目人物の動作に対する評価値に基づいて、動画像の中から評価値が閾値以上である静止画像を自動で検出することができる。

また、本発明によれば、評価値が閾値以上である静止画像に撮影された、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、注目人物の動画像における移動領域等を検出することができる。

また、本発明によれば、評価値が閾値以上である静止画像に撮影された、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、注目人物の全体領域の画像、および、注目人物の動画像における移動領域の画像のうちの少なくとも１枚の画像を含む合成画像を生成することができる。

本発明の画像処理装置の構成を表す一実施形態のブロック図である。 図１に示す領域検出部の構成を表す一実施形態のブロック図である。 図２に示す静止画像抽出部の構成を表す一実施形態のブロック図である。 （Ａ）〜（Ｃ）の左側は、注目人物の運動軌跡を表す一例の概念図、右側は、注目人物の動作履歴画像を表す一例の概念図である。 （Ａ）は、左に９０°回転された静止画像を表す一例の概念図、（Ｂ）は、（Ａ）に示す静止画像を右に９０°回転させて天地が補正された静止画像を表す一例の概念図である。 図３に示す静止画像抽出部の動作を表す一例のフローチャートである。 動画像から全てのフレームの静止画像が抽出された様子を表す一例の概念図である。 図７に示す全てのフレームの静止画像の各々から検出された人物の領域が枠で囲まれた様子を表す一例の概念図である。 動画像から抽出された全てのフレームの静止画像の各々の総合評価値を表す一例のグラフである。 図７に示す全てのフレームの静止画像の中から、総合評価が閾値以上である静止画像に星印が付与された様子を表す一例の概念図である。 図２に示す領域検出部の動作を表す一例のフローチャートである。 図１に示す画像処理装置の動作を表す一例のフローチャートである。 図４（Ｂ）に示す概念図において、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域を表す概念図である。 図４（Ａ）に示す概念図において、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、注目人物の移動領域を表す概念図である。 注目人物の動画像における動きのある領域の画像の上に他の画像を重ねて合成する様子を表す一例の概念図である。 注目人物の動画像における動きのある領域の画像の上に他の画像を重ねて合成する様子を表す別の例の概念図である。 （Ａ）および（Ｂ）は、注目人物の移動速度に応じて、注目人物の移動方向に対する抽出範囲を変更する様子を表す一例の概念図である。 注目人物の移動速度に応じて、注目人物の移動方向およびその反対側の方向に対する抽出範囲を変更する様子を表す一例の概念図である。 １枚の静止画像から抽出された２枚の領域の画像を含む合成画像を生成する様子を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の領域検出装置、領域検出方法、画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、動画像から抽出された複数枚の静止画像の中から、評価値が閾値以上である静止画像を自動で抽出し、抽出された静止画像に撮影された注目人物の全体領域等を検出し、さらに、検出された注目人物の全体領域等の画像を含む合成画像を生成するものであり、領域検出部１２と、領域画像抽出部１４と、合成画像生成部１６と、指示入力部１８とを備えている。

領域検出部１２は、動画像から抽出された複数枚の静止画像の中から、評価値が閾値以上である静止画像を出力するとともに、評価値が閾値以上である静止画像に撮影された、注目人物の顔領域、注目人物の動画像における動きのある領域（動画像において、注目人物が動いている領域）、注目人物の全体領域（注目人物の体全体を含む領域）、注目人物の動画像における移動領域（動画像において、注目人物が移動している領域）等を検出するものである。領域検出部１２の詳細は後述する。

領域画像抽出部１４は、領域検出部１２から出力された、評価値が閾値以上である静止画像から、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、および、注目人物の動画像における移動領域の各々対応する、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、注目人物の全体領域の画像、および、注目人物の動画像における移動領域の画像のうちの少なくとも１枚の領域の画像を抽出するものである。

合成画像生成部１６は、領域画像抽出部１４により抽出された少なくとも１枚の領域の画像を含む合成画像を生成するものである。
合成画像生成部１６は、例えば、注目人物の全体領域の画像を含むフォトブック等を生成することができる。

指示入力部１８は、ユーザにより入力された各種の指示を受け取るものである。
本実施形態では、注目人物の動画像における移動領域の画像の上にユーザが手動で画像を重ねて合成する場合に、重ねる画像や、重ねる位置を指定する指示等が指示入力部１８を介して入力される。

次に、領域検出部１２について説明する。

図２は、図１に示す領域検出部の構成を表す一実施形態のブロック図である。同図に示す領域検出部１２は、本発明の領域検出装置の一例であり、静止画像抽出部２０と、動き領域検出部２２と、顔領域検出部２４と、人物領域検出部２６と、移動領域検出部２８とを備えている。

静止画像抽出部２０は、動画像から複数枚の静止画像を抽出し、抽出された複数枚の静止画像の中から、評価値が閾値以上である静止画像、つまり、ベストショットのシーンに対応する静止画像を自動で抽出するものである。また、静止画像抽出部２０は、動画像における注目人物の運動軌跡等を検出する。
静止画像抽出部２０の詳細については後述する。

動き領域検出部２２は、静止画像抽出部２０により検出された注目人物の運動軌跡に基づいて、評価値が閾値以上である静止画像に撮影された注目人物の動画像における動きのある領域を検出するものである。

顔領域検出部２４は、評価値が閾値以上である静止画像に撮影された注目人物の顔領域を検出するものである。
注目人物の顔領域は、従来公知の方法を含む各種の方法により検出することができる。

人物領域検出部２６は、動き領域検出部２２により検出された注目人物の動画像における動きのある領域、および、顔領域検出部２４により検出された注目人物の顔領域に基づいて、評価値が閾値以上である静止画像に撮影された注目人物の全体領域を検出するものである。

移動領域検出部２８は、静止画像抽出部２０により検出された注目人物の運動軌跡に基づいて、評価値が閾値以上である静止画像に撮影された注目人物の動画像における移動領域を検出するものである。

次に、静止画像抽出部２０について説明する。

図３は、図２に示す静止画像抽出部の構成を表す一実施形態のブロック図である。同図に示す静止画像抽出部２０は、動画像データから、ベストショットのシーンに対応する静止画像の静止画像データを出力するものであり、注目人物登録部３０と、静止画像データ抽出部３２と、注目人物検出部３４と、運動軌跡検出部３６と、動作分析部３８と、重要度判定部４０と、構図分析部４２と、画質判定部４４と、静止画像データ出力部４６と、天地補正部４８とを備えている。

注目人物登録部３０は、動画像データに対応する動画像に撮影された人物のうち、処理対象とする注目人物を登録人物として登録するものである。

注目人物登録部３０は、例えば、動画像に撮影された人物のうち、ユーザにより指定された人物を登録人物として登録することができる。また、注目人物登録部３０は、登録人物の画像（注目人物を特定するための顔画像等）を登録しておくことができる。

続いて、静止画像データ抽出部３２は、動画像データから、複数のフレームの静止画像データを抽出するものである。

静止画像データ抽出部３２は、例えば、動画像データの全てのフレーム（各々のフレーム）の静止画像データを抽出することができる。しかし、本発明はこれに限定されず、一定数のフレーム毎に、例えば、２フレーム毎に１つのフレームの静止画像データを抽出してもよい。また、動画像データに対応する動画像の任意の区間のフレームの静止画像データのみを抽出してもよい。

続いて、注目人物検出部３４は、静止画像データ抽出部３２により動画像データから抽出された複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するものである。

注目人物検出部３４は、例えば、複数枚の静止画像の各々において、人物の有無を検出し、検出された人物の画像と、例えば、注目人物登録部３０に登録された登録人物の画像とを比較（顔画像等を比較）することにより、検出された人物の中から、登録人物に一致ないし類似した人物（類似度が閾値以上の人物）を、注目人物として特定することができる。

あるいは、注目人物検出部３４は、複数枚の静止画像の各々の中から人物の顔を抽出し、抽出された人物の顔の顔画像に対し中心人物判定を行うことにより、顔が抽出された人物の中から、中心人物判定により中心人物であると判定された人物を、注目人物として特定することができる。

中心人物判定では、例えば、複数枚の顔画像に対して同一人物判定処理が行われ、複数枚の顔画像が、同一人物の顔画像からなる画像群に分類される。続いて、画像群に分類された人物のうちの１以上の人物が主人公として決定され、主人公以外の人物のうち主人公と関連性の高い１以上の人物が重要人物として判定される。
また、注目人物登録部３０に登録された各々の登録人物の顔画像に基づいて、各々の画像群に対応する人物を特定することができる。

例えば、顔画像の検出数が最も多い人物を主人公として決定したり、主人公以外の人物のうち、主人公と共に撮影された静止画像の数が多い人物を重要人物と判定したりすることができる。
また、同一の静止画像に撮影された主人公の顔画像と主人公以外の人物の顔画像の間の距離を算出し、顔画像の間の距離が近い人物を重要人物と判定してもよい。
主人公が撮影された静止画像の撮影日時情報と主人公以外の人物が撮影された静止画像の撮影日時情報との差分、および主人公が撮影された静止画像の撮影位置情報と主人公以外の人物が撮影された静止画像の撮影位置情報との差分の一方もしくは両方に基づいて重要人物を判定してもよい。

また、注目人物検出部３４は、静止画像における、注目人物の位置、注目人物の大きさ、注目人物の領域、注目人物の上半身の領域、注目人物の顔の位置、注目人物の顔の大きさ、注目人物の顔領域、注目人物の顔の向き等を検出することができる。

なお、静止画像における注目人物の検出方法、注目人物の顔の検出方法等は公知であるから、ここでは詳細な説明は省略するが、その具体的な検出方法は何ら限定されない。また、注目人物の検出方法も何ら限定されない。

続いて、運動軌跡検出部３６は、注目人物検出部３４による、複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出するものである。また、運動軌跡検出部３６は、注目人物の運動軌跡を検出することにより、注目人物の運動軌跡の長さや、注目人物の移動パターン等を検出することができる。

ここで、注目人物の運動軌跡は、関心領域（ＲＯＩ：Region of Interest）、例えば、図４（Ａ）〜（Ｃ）の左側に示すように、注目人物の顔領域が移動した軌跡をライン状に表したものを使用することができる。また、注目人物の運動軌跡として、同図（Ａ）〜（Ｃ）の右側に示すように、動作履歴画像（ＭＨＩ：Motion History Image）を使用してもよい。動作履歴画像は、注目人物の動作の履歴を、例えば、一定時間毎に色を変えて表したものである。動作履歴画像を利用することにより、動作履歴画像における、注目人物の位置、注目人物の大きさ、注目人物の移動箇所、注目人物の移動方向等を知ることができる。

運動軌跡検出部３６は、例えば、注目人物の顔領域に基づいて、現在のフレームの静止画像における注目人物の顔領域と、その次のフレームの静止画像における注目人物の顔領域に相当する任意の位置の検出領域とを比較し、現在のフレームの静止画像における注目人物の顔領域との類似度が閾値以上である、次のフレームの静止画像における検出領域の位置に基づいて、現在のフレームの静止画像における注目人物の顔領域が、その次のフレームの静止画像のどの位置の検出領域に移動しているかを検出することにより、動画像における注目人物の動きを追跡することができる。

ここで、注目人物の顔領域を検出するだけでは、静止画像における注目人物の位置、注目人物の大きさ等が時間の経過に伴って変化することにより、注目人物の動きを追跡することが困難となる場合がある。この場合、注目人物の顔領域に加えて、注目人物の上半身の領域を一定数、例えば、４つの領域に分割し、合計５つの領域のそれぞれについて、同様に注目人物の動きを追跡することにより、追跡の成功率を向上させることができる。

また、現在のフレームの静止画像における注目人物の顔領域と、その次のフレームの静止画像における検出領域との類似度を求める場合、次のフレームの静止画像において、現在のフレームの静止画像における注目人物の顔領域に対応する位置の検出領域を検出するために、任意の位置の検出領域内に含まれる全ての画素の輝度値の総和を算出することを、複数の位置の検出領域について順次繰り返す必要がある。そのため、各々のフレーム毎に輝度値の総和を計算するための計算量は膨大となる。

この場合、次のフレーム（つまり、各々のフレーム）の静止画像の積分画像を生成し、生成された積分画像を利用して輝度値の総和を算出することにより、その計算量を削減し、処理を高速化することができる。積分画像とは、例えば、静止画像の画素の座標が、静止画像の左から右へ、かつ、上から下へ向かうに従って大きくなるとすると、各々の座標の画素が、左上の画素から各々の座標の画素までの輝度値の積分値を持つ画像である。

なお、積分画像を利用して、注目人物の顔領域に相当する領域内に含まれる全ての画素の輝度値の総和を算出する方法は公知であるから、ここでは、その詳細な説明は省略する。また、注目人物の動きを追跡する場合に、計算量の削減や、処理の高速化の目的のために、積分画像を利用することは限定されず、例えば、平均変位（Mean Shift）法等の各種の方法を利用することができる。平均変位法についても公知であるから、その詳細な説明は省略する。

続いて、動作分析部３８は、運動軌跡検出部３６により検出された注目人物の運動軌跡、例えば、顔領域等の関心領域の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出するものである。

動作分析部３８は、例えば、注目人物の動作に対する運動軌跡、例えば、注目人物が走っている時の運動軌跡をあらかじめ定義しておき、運動軌跡検出部３６により検出された注目人物の運動軌跡の中から、あらかじめ定義された運動軌跡と類似した部分を検出することにより、注目人物の動作を分析する。そして、注目人物の動作が、走っている動作である場合には、評価値がいくつというように、注目人物の動作の種類に応じて、注目人物の動作に対する評価値を算出することができる。

また、動作分析部３８は、注目人物の運動軌跡として、図４（Ａ）〜（Ｃ）の右側に示すような動作履歴画像に基づいて、注目人物の動作を分析し、注目人物の動作に対する評価値を算出することができる。

動作分析部３８は、動作履歴画像に基づいて注目人物の動作を分析することにより、図４（Ａ）の右側に示すように、注目人物が、同図中、右側から左側へ走っていること、同図（Ｂ）の右側に示すように、注目人物が、静止した状態で右手だけを動かしていること、同図（Ｃ）の右側に示すように、注目人物が、地面に落ちているものを拾っていること等を認識することができる。また、注目人物が、動いているのか否か、どの位置で、どの方向へ動いているか等に基づいて、注目人物の動作に対する評価値を算出することができる。

続いて、重要度判定部４０は、注目人物の運動軌跡の長さ、静止画像における注目人物の位置、静止画像における注目人物の大きさのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の重要度を判定し、複数枚の静止画像の各々について、判定された重要度に基づいて、重要度の評価値を算出するものである。

例えば、注目人物の運動軌跡が長い場合（長さが閾値以上である場合）、その注目人物に対する撮影者の関心度は高いと推測できる。そのため、重要度判定部４０は、動画像の中で、注目人物の運動軌跡が長いシーンに対応する静止画像の重要度が高いと判定する。また、注目人物が中央部に撮影されている静止画像や、注目人物が大きく撮影されている（注目人物の大きさが閾値以上である）静止画像の重要度は高いと判定する。そして、重要度が高くなるほど、重要度の評価値が高くなるように算出する。

続いて、構図分析部４２は、静止画像における注目人物の位置、静止画像における注目人物の大きさ、注目人物の移動パターンのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の構図の良否を分析し、複数枚の静止画像の各々について、分析された構図の良否に基づいて、構図の評価値を算出するものである。

構図分析部４２は、例えば、注目人物が中央部に撮影されている静止画像や、注目人物が大きく撮影されている（注目人物の大きさが閾値以上である）静止画像の構図は、注目人物が中央部に撮影されていない静止画像や、注目人物が大きく撮影されていない静止画像の構図よりもよいと分析する。そして、よいと分析された静止画像の構図の評価値が、よいと分析されていない静止画像の構図の評価値よりも高くなるように算出することができる。

また、構図分析部４２は、注目人物の移動パターン、例えば、動画像の左端から右端まで注目人物が移動する移動パターンをあらかじめ定義しておき、運動軌跡検出部３６により検出された注目人物の運動軌跡の中から、あらかじめ定義された移動パターンで注目人物が移動している部分を検出する。そして、あらかじめ定義された移動パターンで注目人物が移動している部分に対応する静止画像の構図はよいと分析し、よいと分析された静止画像の構図の評価値が、よいと分析されていない静止画像の構図の評価値よりも高くなるように算出することができる。

続いて、画質判定部４４は、静止画像における注目人物の領域、例えば、顔領域等の関心領域に基づいて、複数枚の静止画像の各々の画質を判定し、複数枚の静止画像の各々について、判定された画質に基づいて、画質の評価値を算出するものである。

動画像から抽出された静止画像は、動画像データの圧縮方式によって、画質がよい場合も悪い場合もある。また、ピンボケ、手ぶれ等によって、静止画像にボケやブレが発生している場合や、輝度、色合い、コントラスト等が適切ではない場合もある。しかし、背景等の画質が悪い場合でも、関心領域である注目人物の顔領域や体の領域の画質がよい場合、画質判定部４４は、その静止画像の画質はよいと判定する。そして、画質がよいと判定された静止画像について、画質がよいほど、画質の評価値が高くなるように算出することができる。

続いて、静止画像データ出力部４６は、静止画像データ抽出部３２により動画像データから抽出された複数のフレームの静止画像データの中から、ベストショットのシーンに対応する静止画像の静止画像データとして、注目人物の動作に対する評価値が、もしくは、注目人物の動作に対する評価値と、重要度の評価値、構図の評価値、および、画質の評価値のうちの少なくとも１つの評価値との総合評価値が閾値以上である静止画像の静止画像データを出力するものである。

最後に、天地補正部４８は、注目人物検出部３４により検出された注目人物の顔の向きに基づいて、静止画像データ出力部４６から出力された静止画像データに対応する静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、静止画像データ出力部４６から出力された静止画像データに対応する静止画像の天地を補正するものである。

図５（Ａ）は、左に９０°回転された静止画像を表す一例の概念図である。このような静止画像は、動画像を撮影する時に、撮影装置を右に９０°回転させて撮影することにより得られる。天地補正部４８は、静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、同図（Ａ）に示す静止画像を右に９０°回転させることにより、同図（Ｂ）に示すように、静止画像の天地を補正することができる。

なお、注目人物検出部３４は、注目人物登録部３０に二人以上の人物が登録されている場合、複数枚の静止画像の中から、二人以上の注目人物のそれぞれを検出して、検出された注目人物が誰なのかを順次特定することができる。また、この場合、運動軌跡検出部３６、動作分析部３８、重要度判定部４０、構図分析部４２、画質判定部４４、静止画像データ出力部４６、天地補正部４８は、その二人以上の注目人物のそれぞれについて順次処理を行う。

次に、図６に示すフローチャートを参照して、図３に示す静止画像抽出部２０の動作を説明する。

図６のフローチャートに示すように、まず、注目人物登録部３０により、動画像に撮影された人物のうち、例えば、ユーザにより指定された人物が注目人物として登録される（ステップＳ１）。

続いて、静止画像データ抽出部３２により、例えば、動画像データから、全てのフレームの静止画像データが抽出される（ステップＳ２）。つまり、図７に示すように、動画像から、全てのフレームの静止画像が抽出される。

なお、動画像データから静止画像データが抽出された後、注目人物の登録を行ってもよい。

続いて、注目人物検出部３４により、静止画像データ抽出部３２により抽出された全てのフレームの静止画像の各々の中から、注目人物登録部３０に登録された注目人物が検出される（ステップＳ３）。これにより、全てのフレームの静止画像の各々において、注目人物が特定されるとともに、図８に枠で囲んで示すように、全てのフレームの静止画像の各々における、注目人物の位置、注目人物の大きさ、注目人物の領域等が検出される。

続いて、運動軌跡検出部３６により、全てのフレームの静止画像における注目人物の検出結果に基づいて、動画像における注目人物の動き、例えば、図８に枠で囲んで示す関心領域の動きが追跡されて注目人物の運動軌跡が検出される（ステップＳ４）。これにより、例えば、図４（Ａ）〜（Ｃ）の左側に示すように、注目人物の運動軌跡として、顔領域等の関心領域が移動した軌跡をライン状に表したものや、同図（Ａ）〜（Ｃ）の右側に示すような動作履歴画像を得ることができる。

続いて、動作分析部３８により、運動軌跡検出部３６により検出された注目人物の運動軌跡に基づいて、動画像における注目人物の動作が分析される。そして、全てのフレームの静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値が算出される（ステップＳ５−１）。

また、重要度判定部４０により、注目人物の運動軌跡の長さ、静止画像における注目人物の位置、注目人物の大きさに基づいて、全ての静止画像の各々の重要度が判定される。そして、全てのフレームの静止画像の各々について、判定された重要度に基づいて、重要度の評価値が算出される（ステップＳ５−２）。

また、構図分析部４２により、静止画像における注目人物の位置、注目人物の大きさ、注目人物の移動パターンに基づいて、全ての静止画像の各々の構図の良否が分析される。そして、全てのフレームの静止画像の各々について、分析された構図の良否に基づいて、構図の評価値が算出される（ステップＳ５−３）。

また、画質判定部４４により、静止画像における注目人物の領域に基づいて、全てのフレームの静止画像の各々の画質が判定される。そして、全ての静止画像の各々について、判定された画質、本実施形態の場合、ボケブレの程度に応じて、画質の評価値が算出される（ステップＳ５−４）。
例えば、図５に枠で囲んで示す関心領域のボケブレの判定が行われて、ボケブレの程度が大きいほど、画質の評価値が低くなるように算出される。

なお、注目人物の動作に対する評価値、重要度の評価値、構図の評価値、画質の評価値を算出する順序は何ら限定されず、任意の順序で算出することができる。また、これらの評価値を並列に、つまり、同時に算出するようにすることもできる。

続いて、静止画像データ出力部４６により、静止画像データ抽出部３２により動画像データから抽出された全てのフレームの静止画像データの中から、図９に示すように、ベストショットのシーンに対応する静止画像の静止画像データとして、注目人物の動作に対する評価値、重要度の評価値、構図の評価値、画質の評価値の総合評価値（各評価値の加算値等）が閾値以上である１枚以上の静止画像の静止画像データが出力される（ステップＳ６）。

ここで、図９は、動画像から抽出された全てのフレームの静止画像の各々の総合評価値を表す一例のグラフである。同図の縦軸は、各々の静止画像の総合評価値を、横軸は時間（フレーム）を表す。同図に示すように、全ての静止画像のうちの、注目人物検出部３４により注目人物が検出され、かつ、運動軌跡検出部３６により注目人物の運動軌跡が検出された静止画像の中から、図１０に星印を付与して示されているように、総合評価値が閾値以上である静止画像の静止画像データが出力される。

そして最後に、天地補正部４８により、注目人物検出部３４により検出された注目人物の顔の向きに基づいて、静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、静止画像の天地が補正される（ステップＳ７）。

上記のように、静止画像抽出部２０では、例えば、動画像における注目人物の動作に対する評価値、もしくは、動画像における注目人物の動作に対する評価値、静止画像の重要度の評価値、構図の評価値および画質の評価値を含む総合評価値に基づいて、動画像の中からベストショットのシーンを自動で検出し、動画像データから抽出された全てのフレームの静止画像データの中から、ベストショットのシーンに対応する静止画像の静止画像データを抽出することができる。

次に、図１１に示すフローチャートを参照して、領域検出部１２の動作を説明する。

領域検出部１２では、静止画像抽出部２０により、前述のように、動画像から抽出された複数枚の静止画像の中から、評価値が閾値以上である静止画像が出力されるとともに、動画像における注目人物の運動軌跡等が検出される（ステップＳ１０）。

続いて、動き領域検出部２２により、注目人物の運動軌跡に基づいて、評価値が閾値以上である静止画像に撮影された注目人物の動画像における動きのある領域が検出される（ステップＳ１１）。

図１３は、図４（Ｂ）に示す概念図において、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域を表す概念図である。図１３は、前述のように、注目人物が、静止した状態で右手だけを動かしている静止画像の例である。この場合、注目人物の動画像における動きのある領域５０として、注目人物の右手が動画像において動いている領域（矩形領域）が検出される。

また、図１４は、図４（Ａ）に示す概念図において、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、注目人物の移動領域を表す概念図である。図１４は、前述のように、注目人物が、同図中、右側から左側へ走っている静止画像の例である。この場合、注目人物の動画像における動きのある領域５０として、注目人物の体全体が動画像において動いている領域（矩形領域）が検出される。

また、顔領域検出部２４により、図１３，１４に示すように、評価値が閾値以上である静止画像に撮影された注目人物の顔領域（矩形領域）５２が検出される（ステップＳ１２）。

続いて、人物領域検出部２６により、図１３，１４に示すように、注目人物の動画像における動きのある領域５０、および、注目人物の顔領域５２に基づいて、評価値が閾値以上である静止画像に撮影された注目人物の全体領域（矩形領域）５４が検出される（ステップＳ１３）。
図１４の場合、注目人物の体全体が動いているため、注目人物の動画像における動きのある領域５０と、注目人物の全体領域５４とがほぼ一致している。

また、移動領域検出部２８により、注目人物の運動軌跡に基づいて、図１４に示すように、評価値が閾値以上である静止画像に撮影された注目人物の動画像における移動領域（矩形領域）５６が検出される（ステップＳ１４）。

ここで、領域検出部１２は、注目人物の顔領域５２、および、注目人物の動画像における動きのある領域５０を最も重要な領域とである判定する。これに加えて、注目人物の全体領域５４、および、注目人物の動画像における移動領域５６を重要領域と判定する。ただし、本実施形態では、注目人物の全体領域５４の方が、注目人物の動画像における移動領域５６よりも重要度が高いものとして扱う。ただし、各領域の重要度は、任意に設定することができる。

上記のように、領域検出部１２では、動画像から、評価値が閾値以上である静止画像をベストショットのシーンに対応する静止画像として出力することができるとともに、評価値が閾値以上である静止画像に撮影された、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、注目人物の動画像における移動領域等を検出することができる。

次に、図１２に示すフローチャートを参照して、画像処理装置１０の動作を説明する。

画像処理装置１０では、領域検出部１２により、前述のように、動画像から抽出された複数枚の静止画像の中から、評価値が閾値以上である静止画像が出力されるとともに、評価値が閾値以上である静止画像に撮影された、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、注目人物の動画像における移動領域等が検出される（ステップＳ２０）。

続いて、領域画像抽出部１４により、評価値が閾値以上である静止画像から、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、および、注目人物の動画像における移動領域の各々対応する、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、注目人物の全体領域の画像、および、注目人物の動画像における移動領域の画像のうちの少なくとも１枚の画像が抽出される（ステップＳ２１）。

続いて、合成画像生成部１６により、抽出された少なくとも１枚の画像を含む合成画像が生成される（ステップＳ２２）。

上記のように、画像処理装置１０では、動画像から抽出された複数枚の静止画像の中から、評価値が閾値以上である静止画像を出力するとともに、評価値が閾値以上である静止画像に撮影された、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、注目人物の全体領域の画像、および、注目人物の動画像における移動領域の画像のうちの少なくとも１枚の領域の画像を含む合成画像を生成することができる。

次に、合成画像を生成する場合の処理について説明する。

移動領域検出部２８により注目人物の動画像における移動領域が検出された場合、領域画像抽出部１４は、評価値が閾値以上である静止画像から、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、注目人物の全体領域の画像、および、注目人物の動画像における移動領域の画像のうちの少なくとも１枚の領域の画像を抽出することができる。
従って、合成画像生成部１６は、評価値が閾値以上である静止画像に撮影された、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、注目人物の全体領域の画像、および、注目人物の動画像における移動領域の画像のうちの少なくとも１枚の領域の画像を含む合成画像を生成することができる。
この場合、例えば、領域画像抽出部１４は、評価値が閾値以上である静止画像から、注目人物の動画像における移動領域の画像を抽出し、合成画像生成部１６は、注目人物の動画像における移動領域の画像を含む合成画像を生成する。

一方、移動領域検出部２８により注目人物の動画像における移動領域が検出されない場合、領域画像抽出部１４は、評価値が閾値以上である静止画像から、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、および、注目人物の全体領域の画像を抽出することができる。
従って、合成画像生成部１６は、評価値が閾値以上である静止画像に撮影された、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、および、注目人物の全体領域の画像のうちの少なくとも１枚の領域の画像を含む合成画像を生成することができる。
この場合、例えば、領域画像抽出部１４は、評価値が閾値以上である静止画像から、注目人物の全体領域の画像を抽出し、合成画像生成部１６は、注目人物の全体領域の画像を含む合成画像を生成する。

また、注目人物の動画像における移動領域の画像の上に他の画像を重ねて自動合成する場合、合成画像生成部１６は、注目人物の顔領域、注目人物の動画像における動きのある領域、注目人物の全体領域、および、注目人物の動画像における移動領域を含む領域の重要度に基づいて、他の画像を重ねて合成することが可能な領域の画像を変更してもよい。
例えば、注目人物の動画像における動きのある領域の画像の上には他の画像を重ねて合成することを許容し、注目人物の全体領域の画像の上には他の画像を重ねて合成することを不可とすることができる。つまり、この場合、合成画像生成部１６は、他の画像を、注目人物の全体領域（注目人物の顔領域、および、注目人物の動画像における動きのある領域を含む）以外の領域の画像の上に重ねて合成することができる。
なお、各々の領域の画像の重要度に基づいて、他の画像を重ねて合成することを許容する、または、不可とする領域の画像は任意に設定することができる。

ここで、前述の他の画像は、図１５に示すクリップアートや、コメント、模様等を含む装飾画像であってもよいし、あるいは、図１６に示すように、評価値が閾値以上である他の静止画像から抽出された領域の画像であってもよい。

一方、ユーザ自身の指示により、注目人物の動画像における移動領域の画像の上に他の画像を重ねて合成する場合、他の画像を任意の画像の上の任意の位置に重ねて合成することができる。つまり、この場合、合成画像生成部１６は、注目人物の動画像における移動領域の画像の上に、指示入力部１８を介して入力された指示により指定された画像を、同じく指示により指定された位置に重ねて合成することができる。

また、注目人物の動画像における移動領域の画像の上に他の画像を重ねて自動合成する場合、合成画像生成部１６は、注目人物の顔領域および注目人物の動画像における動きのある領域以外の領域の画像、注目人物の全体領域以外の領域の画像、および、注目人物の動画像における移動領域以外の領域の画像の中から、合成画像の用途に応じて、他の画像を重ねて合成する領域の画像を変更してもよい。
例えば、注目人物の動画像における動きのある領域、注目人物の顔領域は最も重要度が高いため、これらの領域の画像の上に他の画像を重ねて合成することを不可とし、注目人物の全体領域の画像の上に他の画像を重ねて合成することを許容することができる。
なお、合成画像の用途に応じて、他の画像を重ねて合成することを許容する、または、不可とする領域の画像は任意に設定することができる。

ここで、合成画像の用途として、フォトブック、シャッフルプリント（１枚の台紙に複数の画像をランダムな順番に並べて配置したもの）、ポストカード、通常の写真プリント等を例示することができる。

また、注目人物の動画像における移動領域の画像の上に他の画像を重ねて自動合成する場合、合成画像生成部１６は、注目人物の顔領域および注目人物の動画像における動きのある領域以外の領域の画像、注目人物の全体領域以外の領域の画像、および、注目人物の動画像における移動領域以外の領域の画像の中から、他の画像の種類に応じて、他の画像を重ねて合成する領域の画像を変更してもよい。

ここで、他の画像の種類は、前述のように、クリップアート、コメント、模様等を含む装飾画像、あるいは、評価値が閾値以上である他の静止画像から抽出された領域の画像等である。
例えば、クリップアートは、注目人物の全体領域以外の領域の画像の上に重ねて合成することを許容し、評価値が閾値以上である他の静止画像から抽出された領域の画像は、注目人物の顔領域の画像および注目人物の動画像における動きのある領域以外の領域の画像の上に重ねて合成することを許容することができる。
なお、他の画像の種類に応じて、他の画像を重ねて合成することを許容する、または、不可とする領域の画像は任意に設定することができる。

また、運動軌跡検出部３６は、前述のように、動作履歴画像等を利用することにより、注目人物の移動方向を検出したり、さらに、注目人物の移動速度を検出したりすることができる。
この場合、領域画像抽出部１４は、注目人物の移動速度が速くなるに従って、注目人物の移動方向に対する抽出範囲が広くなるように、注目人物の動画像における移動領域の画像を抽出してもよい。

例えば、注目人物の移動速度が速い場合、図１７（Ａ）に示すように、注目人物の移動方向に対する抽出範囲が広くなるようにし、逆に、注目人物の移動速度が遅い場合、同図（Ｂ）に示すように、注目人物の移動方向に対する抽出範囲が狭くなるようにする。
これにより、合成画像を閲覧するユーザは、注目人物が走って、あるいは、歩いて移動している場合に、注目人物の移動方向に対する抽出範囲に応じて、注目人物の移動速を感じることができる。

また、注目人物が移動している場合、領域画像抽出部１４は、図１８に示すように、注目人物の移動方向に対する抽出範囲よりも、注目人物の移動方向と反対側の方向に対する抽出範囲が広くなるように、注目人物の動画像における移動領域の画像を抽出してもよい。
これにより、合成画像を閲覧するユーザは、同様に、注目人物が移動している場合に、注目人物の移動方向およびその反対側の方向に対する抽出範囲に応じて、評価値が閾値以上である静止画像に撮影された注目人物の移動速度を感じることができる。

また、領域画像抽出部１４は、評価値が閾値以上である１枚の静止画像から、注目人物の顔領域の画像、注目人物の動画像における動きのある領域の画像、注目人物の全体領域の画像、および、注目人物の動画像における移動領域の画像のうちの少なくとも２枚の画像を抽出してもよい。
従って、合成画像生成部１６は、領域画像抽出部１４により抽出された少なくとも２枚の画像を含む合成画像を生成することができる。

この場合、図１９に示すように、例えば、評価値が閾値以上である１枚の静止画像から、注目人物の動画像における動きのある領域の画像、および、注目人物の全体領域の画像を抽出し、抽出された２枚の領域の画像を含む、フォトコラージュ等の合成画像を生成することができる。
また、この場合、注目人物の顔領域は最も重要度が高いため、例えば、顔領域を含む、注目人物の全体領域の画像を、合成画像における大きな領域に配置し、顔領域を含まない、注目人物の動画像における動きのある領域の画像を、合成画像における小さな領域に配置するなどしてもよい。

また、合成画像を生成する場合、合成画像生成部１６は、領域画像抽出部１４により抽出された画像に、トリミング、拡大縮小、画像補正等の画像処理を施し、画像処理が施された画像を含む合成画像を生成してもよい。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ 領域検出部
１４ 領域画像抽出部
１６ 合成画像生成部
１８ 指示入力部
２０ 静止画像抽出部
２２ 動き領域検出部
２４ 顔領域検出部
２６ 人物領域検出部
２８ 移動領域検出部
３０ 注目人物登録部
３２ 静止画像データ抽出部
３４ 注目人物検出部
３６ 運動軌跡検出部
３８ 動作分析部
４０ 重要度判定部
４２ 構図分析部
４４ 画質判定部
４６ 静止画像データ出力部
４８ 天地補正部
５０ 注目人物の動画像における動きのある領域
５２ 注目人物の顔領域
５４ 注目人物の全体領域
５６ 注目人物の動画像における移動領域

Claims (20)

1. 動画像データから、複数のフレームの静止画像データを抽出する静止画像データ抽出部と、
   前記複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出する注目人物検出部と、
   前記複数枚の静止画像における前記注目人物の検出結果に基づいて、前記動画像データに対応する動画像における前記注目人物の動きを追跡して前記注目人物の運動軌跡を検出する運動軌跡検出部と、
   前記注目人物の運動軌跡に基づいて、前記動画像における注目人物の動作を分析し、前記複数枚の静止画像の各々について、前記分析された注目人物の動作に基づいて、前記注目人物の動作に対する評価値を算出する動作分析部と、
   前記複数のフレームの静止画像データの中から、前記注目人物の動作に対する評価値が閾値以上である静止画像の静止画像データを出力する静止画像データ出力部と、
   前記注目人物の運動軌跡に基づいて、前記評価値が閾値以上である静止画像に撮影された注目人物の動画像における動きのある領域を検出する動き領域検出部と、
   前記評価値が閾値以上である静止画像に撮影された注目人物の顔領域を検出する顔領域検出部と、
   前記注目人物の動画像における動きのある領域、および、前記注目人物の顔領域に基づいて、前記評価値が閾値以上である静止画像に撮影された注目人物の全体領域を検出する人物領域検出部とを備えることを特徴とする領域検出装置。
2. さらに、前記注目人物の運動軌跡に基づいて、前記評価値が閾値以上である静止画像に撮影された注目人物の動画像における移動領域を検出する移動領域検出部を備える請求項１に記載の領域検出装置。
3. 請求項２に記載の領域検出装置と、
   前記評価値が閾値以上である静止画像から、前記注目人物の顔領域、前記注目人物の動画像における動きのある領域、前記注目人物の全体領域、および、前記注目人物の動画像における移動領域の各々に対応する、前記注目人物の顔領域の画像、前記注目人物の動画像における動きのある領域の画像、前記注目人物の全体領域の画像、および、前記注目人物の動画像における移動領域の画像のうちの少なくとも１枚の画像を抽出する領域画像抽出部と、
   前記領域画像抽出部により抽出された少なくとも１枚の画像を含む合成画像を生成する合成画像生成部とを備えることを特徴とする画像処理装置。
4. 前記領域画像抽出部は、前記移動領域検出部により前記注目人物の動画像における移動領域が検出された場合、前記評価値が閾値以上である静止画像から、前記注目人物の動画像における移動領域の画像を抽出するものであり、
   前記合成画像生成部は、前記注目人物の動画像における移動領域の画像を含む合成画像を生成するものである請求項３に記載の画像処理装置。
5. 前記合成画像生成部は、前記注目人物の動画像における移動領域の画像の上に他の画像を重ねて自動合成する場合、前記他の画像を、前記注目人物の全体領域以外の領域の画像の上に重ねて合成するものである請求項４に記載の画像処理装置。
6. 前記合成画像生成部は、前記注目人物の動画像における移動領域の画像の上に他の画像を重ねて自動合成する場合、前記注目人物の顔領域および前記注目人物の動画像における動きのある領域以外の領域の画像、前記注目人物の全体領域以外の領域の画像、および、前記注目人物の動画像における移動領域以外の領域の画像の中から、前記合成画像の用途に応じて、前記他の画像を重ねて合成する領域の画像を変更するものである請求項４に記載の画像処理装置。
7. 前記合成画像生成部は、前記注目人物の動画像における移動領域の画像の上に他の画像を重ねて自動合成する場合、前記注目人物の顔領域および前記注目人物の動画像における動きのある領域以外の領域の画像、前記注目人物の全体領域以外の領域の画像、および、前記注目人物の動画像における移動領域以外の領域の画像の中から、前記他の画像の種類に応じて、前記他の画像を重ねて合成する領域の画像を変更するものである請求項４に記載の画像処理装置。
8. さらに、ユーザにより入力された指示を受け取る指示入力部を備え、
   前記合成画像生成部は、前記注目人物の動画像における移動領域の画像の上に、前記指示により指定された画像を、前記指示により指定された位置に重ねて合成するものである請求項４に記載の画像処理装置。
9. 前記運動軌跡検出部は、さらに、前記注目人物の移動方向および移動速度を検出するものであり、
   前記領域画像抽出部は、前記注目人物の移動速度が速くなるに従って、前記注目人物の移動方向に対する抽出範囲が広くなるように、前記注目人物の動画像における移動領域の画像を抽出するものである請求項４〜８のいずれか１項に記載の画像処理装置。
10. 前記領域画像抽出部は、前記注目人物の移動方向に対する抽出範囲よりも、前記注目人物の移動方向と反対側の方向に対する抽出範囲が広くなるように、前記注目人物の動画像における移動領域の画像を抽出するものである請求項９に記載の画像処理装置。
11. 前記領域画像抽出部は、前記評価値が閾値以上である１枚の静止画像から、前記注目人物の顔領域の画像、前記注目人物の動画像における動きのある領域の画像、前記注目人物の全体領域の画像、および、前記注目人物の動画像における移動領域の画像のうちの少なくとも２枚の画像を抽出するものであり、
    前記合成画像生成部は、前記領域画像抽出部により抽出された少なくとも２枚の画像を含む合成画像を生成するものである請求項３に記載の画像処理装置。
12. 前記合成画像生成部は、前記領域画像抽出部により抽出された画像に画像処理を施し、前記画像処理が施された画像を含む合成画像を生成するものである請求項３〜１１のいずれか１項に記載の画像処理装置。
13. 前記領域画像抽出部は、前記移動領域検出部により前記注目人物の動画像における移動領域が検出されない場合、前記評価値が閾値以上である静止画像から、前記注目人物の全体領域の画像を抽出するものであり、
    前記合成画像生成部は、前記注目人物の全体領域の画像を含む合成画像を生成するものである請求項３に記載の画像処理装置。
14. 静止画像データ抽出部が、動画像データから、複数のフレームの静止画像データを抽出するステップと、
    注目人物検出部が、前記複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するステップと、
    運動軌跡検出部が、前記複数枚の静止画像における前記注目人物の検出結果に基づいて、前記動画像データに対応する動画像における前記注目人物の動きを追跡して前記注目人物の運動軌跡を検出するステップと、
    動作分析部が、前記注目人物の運動軌跡に基づいて、前記動画像における注目人物の動作を分析し、前記複数枚の静止画像の各々について、前記分析された注目人物の動作に基づいて、前記注目人物の動作に対する評価値を算出するステップと、
    静止画像データ出力部が、前記複数のフレームの静止画像データの中から、前記注目人物の動作に対する評価値が閾値以上である静止画像の静止画像データを出力するステップと、
    動き領域検出部が、前記注目人物の運動軌跡に基づいて、前記評価値が閾値以上である静止画像に撮影された注目人物の動画像における動きのある領域を検出するステップと、
    顔領域検出部が、前記評価値が閾値以上である静止画像に撮影された注目人物の顔領域を検出するステップと、
    人物領域検出部が、前記注目人物の動画像における動きのある領域、および、前記注目人物の顔領域に基づいて、前記評価値が閾値以上である静止画像に撮影された注目人物の全体領域を検出するステップとを含むことを特徴とする領域検出方法。
15. さらに、移動領域検出部が、前記注目人物の運動軌跡に基づいて、前記評価値が閾値以上である静止画像に撮影された注目人物の動画像における移動領域を検出するステップを含む請求項１４に記載の領域検出方法。
16. 請求項１５に記載の領域検出方法により、前記注目人物の顔領域、前記注目人物の動画像における動きのある領域、前記注目人物の全体領域、および、前記注目人物の動画像における移動領域を検出するステップと、
    領域画像抽出部が、前記評価値が閾値以上である静止画像から、前記注目人物の顔領域、前記注目人物の動画像における動きのある領域、前記注目人物の全体領域、および、前記注目人物の動画像における移動領域の各々に対応する、前記注目人物の顔領域の画像、前記注目人物の動画像における動きのある領域の画像、前記注目人物の全体領域の画像、および、前記注目人物の動画像における移動領域の画像のうちの少なくとも１枚の画像を抽出するステップと、
    合成画像生成部が、前記領域画像抽出部により抽出された少なくとも１枚の画像を含む合成画像を生成するステップとを含むことを特徴とする画像処理方法。
17. 請求項１４または１５に記載の領域検出方法の各々のステップをコンピュータに実行させるためのプログラム。
18. 請求項１４または１５に記載の領域検出方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
19. 請求項１６に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
20. 請求項１６に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images