JP2011175599A - 画像処理装置、その処理方法及びプログラム - Google Patents

Abstract

【課題】
被写体の動きの変化を評価して複数のフレームの中から所定数のフレームを検出するようにした技術を提供する。
【解決手段】
画像処理装置は、処理対象となる連続する複数のフレームにおける各フレームから複数の動きベクトルを検出し、当該複数の動きベクトルに基づいて各フレームから複数の部分領域を抽出し、当該抽出した部分領域各々における動きベクトルの変化に基づいて、複数のフレームに渡って部分領域を対応付ける。そして、複数のフレームに渡って対応付けられた部分領域における動きベクトルの変化に基づいてフレームを選択し当該選択したフレームに重要度を設定し、当該重要度に基づいて複数のフレームの中から所定数のフレームを検出する。
【選択図】 図４

Description

本発明は、画像処理装置、その処理方法及びプログラムに関する。

人手を介さずに、人物や物体の動作が含まれた動画から要約画像（静止画）を自動的に抽出する技術が知られている（特許文献１）。また、被写体がよく動く場合であっても、当該被写体を含む画像を鮮明に撮影する技術も知られている（特許文献２）。この技術では、所定の静止条件を満たしたときに撮影が行なわれる。

前者の技術では、動きが時間的に不連続になる時点を検出するシーンチェンジ抽出を元にして要約画像を作成する。そのため、シーンチェンジとは無関係に一連の被写体が動いている画像群からは、ベストショットを取得できない。また、後者の技術では、対象が静止条件を満たした時点の画像を得るため、静止条件を満たさないような被写体を撮影する場合には、ベストショットを取得できない。

特開２０００−２６１７４１号公報 特開２００６−０６７４５２号公報

一般に、ユーザは、被写体が静止物や動きの比較的遅い物であれば、問題なく撮影を行なうことができる。また、被写体が人であって被写体自身が撮影を認識している場合、ユーザは、特別な撮影技術を必要とせずに良好な撮影結果を得ることができる。

しかし、被写体が比較的素早く動き続けるものであったり、被写体が撮影の間静止することが困難であったり、また、被写体の動作中の一瞬を撮影したりする場合、良好な撮影結果を得るには、特別な技術が必要となってくる。

例えば、少し粘性を持つ液体（例えば、牛乳）を容器に満たし、その液体を当該容器に一滴落とした時に、美しい王冠状の形を形成する現象（ミルククラウン）を撮影する場合には、ある一瞬を巧みに捉える必要がある。アマチュアユーザの場合、ミルククラウンを撮影したいという意思を持っていても、タイミングを合わせてシャッターを切ることが非常に難しい。ミルククラウンでは、液滴の王冠状の跳ね返りの高さが最も高い一瞬が画像として価値が高く、その一瞬を外した画像の価値はほとんど無い。なお、ミルククラウンに限らず、動いている被写体の撮影時には、ある一瞬を撮影できれば画像として非常に価値が高くなるが、少しでもタイミングがずれると、その価値は低くなることが多い。

本発明は、上記課題に鑑みてなされたものであり、被写体の動きの変化を評価して複数のフレームの中から所定数のフレームを検出するようにした技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様による画像処理装置は、処理対象となる連続する複数のフレームにおける各フレームから複数の動きベクトルを検出する動きベクトル検出手段と、前記検出された前記複数の動きベクトルに基づいて前記各フレームから複数の部分領域を抽出する領域化処理手段と、前記抽出された前記複数の部分領域各々における前記動きベクトルの変化に基づいて、前記複数のフレームに渡って前記部分領域を対応付けるフレーム間対応付け手段と、前記複数のフレームに渡って対応付けられた前記部分領域における前記動きベクトルの変化に基づいてフレームを選択し該選択したフレームに重要度を設定する重要度設定手段と、前記設定された前記重要度に基づいて前記複数のフレームの中から所定数のフレームを検出する検出手段とを具備する。

本発明によれば、被写体の動きの変化を評価して複数のフレームの中から所定数のフレームを検出できる。

複数のフレームの一例を示す図。 複数のフレームの一例を示す図。 本発明の一実施の形態に係わる画像処理装置１０の構成の一例を示す図。 図３に示すＣＰＵ１２により実現される機能的な構成の一例を示す図。 部分領域の一例を示す図。 図５に示す部分領域を階層化したツリー構造の一例を示す図。 重要度設定部２８による処理の概要の一例を説明するための図。 図３に示す画像処理装置１０の処理の流れの一例を示すフローチャート。 実施形態２に係わる画像処理装置１０の処理の流れの一例を示すフローチャト。 実施形態２に係わる処理の概要の一例を説明するための図。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。説明に先立って先ず、「ベストショット」という用語の定義について述べる。

写真の撮影技術は、数多く存在し、プロの写真家などは各々が異なる撮影技術を持ち、それを自分の個性としている場合などがある。アート性の高い写真を含めるとベストショットの定義は、非常に曖昧なものとなる。良い写真の定義が人によって異なるのは言うまでもない。そのため、本実施形態に係わる撮影は、それら撮影技術全てを包含するものではない。

本実施形態に係わるベストショットは、動きなど変化のある被写体を撮影する際、被写体の動きの変化を１枚の静止画で最も表す画像のことであり、極めて教科書的な定義に基くものである。従って、本実施形態においては、被写体の一連の動きのある画像群の中から被写体の動きの変化を指標に画像を評価するアルゴリズム（評価関数）を用いて、最も評価の高いものをベストショットとして検出する場合について説明する。なお、検出される画像の良し悪しは、入力された画像の品質に大きく依存する。

次に、ベストショットを評価する際の基準について説明する。上述した通り、本実施形態に係わるベストショットとは、動きの変化のある被写体を撮影する際、被写体の動き及び変化を１枚の静止画で最も良く表す画像のことをいう。

ここで、上述したベストショットについて具体例を挙げて説明する。図１（ａ）は、人が走っている様子を示す複数のフレーム（この場合、１０個のフレーム）を示している。

人が走るという動作は、右足を前に蹴り出す動作と（図１（ａ）に示す１〜５フレーム目）、左足を前に蹴り出す動作（図１（ａ）に示す６〜１０フレーム目）とが必ず交互に繰り返し行なわれて成り立つ。図１（ａ）に示す１０個のフレームは、走る動作を表す最小単位であり、当該１０個のフレームの中には、左右が対称なだけの画像も含まれている。従って、走るという動作中におけるベストショットは、図１（ａ）に示す１〜１０フレーム目の中に必ず存在し、また、その対称性ゆえに同じ姿勢で左右が異なる姿勢が１組存在している。

ここで、画像処理装置が、所定のアルゴリズムを用いて、図１（ａ）に示す画像群（フレーム群）の中からベストショットを検出したとする。このとき、図１（ａ）に示す５フレーム目や１０フレーム目が検出された場合、これらフレームを参照しても、ユーザは、被写体（人）が走っているか否かを把握できない。そのため、５フレーム目や１０フレーム目がベストショットとして検出された場合、このアルゴリズムは、誤っていると考えられる。同様に、３フレーム目や８フレーム目以外のフレームがベストショットとして検出された場合にも、ユーザは、被写体が走っていることを把握できたとしても、走りの程度を認識することはできない。

ここで、被写体の走り方を最も表しているフレームは、３フレーム目や８フレーム目のように、被写体が両手足を振り切った状態のフレームであるといえる。ユーザは、このフレームを参照することにより、被写体がどの程度手足を振って走っているのかを認識できる。つまり、３フレーム目及び８フレーム目のみで被写体の走り方を定義でき、それ以外のフレームは、３フレーム目及び８フレーム目のフレーム間における中間画像でしかない。

ここで、図１（ｂ）には、被写体が図１（ａ）に示す場合よりも更に激しく手足を振って走っているフレーム群が示される。図１（ｂ）に示すフレーム群の中でその走り方を端的に表しているフレームとしては、例えば、４フレーム目や１１フレーム目が挙げられる。

これに対して、３フレーム目は、図１（ａ）に示す３フレーム目と同じ動作を表しており、図１（ｂ）に示す４フレーム目〜１１フレーム目の間における変化を表す中間画像でしかない。この場合、ベストショットとして１３フレーム目が検出された場合、ユーザは、被写体が中程度で走っていたのか、また、被写体が全力で走っていたのか把握できない。

以上、図１（ａ）及び図１（ｂ）を用いて、本実施形態に係わるベストショットについて具体例を挙げて説明した。このように一連の動きの中で限られたフレームのみがベストショットとなり、それ以外のフレームは、被写体の姿勢を変える間の単なる中間画像に過ぎない。これは、人の走行運動に限られず、全ての被写体のあらゆる動きに対していえる。

（実施形態１）
ここで、実施形態１について説明する。実施形態１においては、被写体のある一瞬を捉えた静止画を撮影するため、被写体を動画で一定時間撮影し、その中から静止画のベストショットを検出する場合について説明する。

撮影画質としては、例えば、１フレーム抜き出したとしても静止画として見劣りしないレベルであればよく、高解像で一定時間撮影するのが望ましい。なお、撮影の終了後に画像の解像度を落とし、当該解像度を落とした画像を処理してベストショットを検出するようにしてもよい。

図２には、サッカーの試合で選手がボールを蹴る前後を撮影したフレーム群が示されている。ユーザは、選手がボールを蹴りきった瞬間の静止画の取得を所望しており、選手がボールを蹴る前から撮影を開始し、ボールを蹴る一連の動作が終了したときに撮影を終了している。図２には、その一連の動画フレームを左から右へ順に並べたフレーム群が示されている。黒枠で囲われているフレームが、本実施形態に係わるアルゴリズムを用いることにより選ばれたベストショットである。

図３は、本発明の一実施の形態に係わる画像処理装置１０の構成の一例を示す図である。

画像処理装置１０は、その機能的な構成として、画像入力部１１と、ＣＰＵ１２と、ＲＡＭ１３と、ＲＯＭ１４と、画像出力部１５と、ユーザインターフェース１６とを具備して構成される。

画像入力部１１は、装置内にデータ（例えば、フレーム群）を入力する。画像入力部１１は、例えば、撮像装置（カメラ等）により実現される。なお、画像入力部１１は、例えば、記憶媒体（例えば、メモリカード）等に格納された画像を入力する入力インターフェース等により実現されてもよい。

ＣＰＵ（Central Processing Unit）１２は、各種入出力の制御やデータ処理等を行なう。ＲＡＭ（Random Access Memory）１３は、演算結果やデータを一時的に記憶する。ＲＯＭ（Read Only Memory）１４は、プログラムやデータ等を記憶する。

画像出力部１５は、ＣＰＵ１２等により処理された画像を出力（装置外部に送信、又は表示等）する。ユーザインターフェース１６は、ユーザと画像処理装置１０とを繋ぐインターフェースである。具体的には、ユーザからの指示を装置内に入力したり、ユーザに各種画面を表示したりする。

ここで、図４を用いて、図３に示すＣＰＵ１２により実現される機能的な構成の一例について説明する。図４に示す機能的な構成は、例えば、ＣＰＵ１２がＲＯＭ１４に記憶されたプログラムを実行することにより実現される。なお、これら機能的な構成の一部又は全ては、専用の回路基盤等を用いて実現されてもよい。

ＣＰＵ１２には、その機能的な構成として、フレーム群選択部２１と、動きベクトル検出部２２と、領域化処理部３０と、代表動きベクトル設定部２６と、フレーム間対応付け部２７と、重要度設定部２８と、検出部２９とが具備される。

フレーム群選択部２１は、ベストショットの検出対象（処理対象）となるフレーム群（連続する複数のフレーム）を選択する。フレーム群選択部２１には、開始指示検出部２１ａと、終了指示検出部２１ｂとが具備される。開始指示検出部２１ａは、ユーザインターフェース１６を介したユーザからの撮影開始の指示を検出し、終了指示検出部２１ｂは、ユーザインターフェース１６を介したユーザからの撮影終了の指示を検出する。これにより、フレーム群選択部２１は、開始指示と終了指示との間に撮影された動画（フレーム群）をベストショットの検出対象として選択する。

動きベクトル検出部２２は、各フレームから複数の動きベクトルを検出（算出）する。動きベクトルの検出は、例えば、対象フレームとそれよりも以前（例えば、１フレーム前）のフレームとの比較に基づいて行なわれる。

領域化処理部３０は、動きベクトル検出部２２により検出された動きベクトルに基づいて各フレームから複数の部分領域を抽出する。ここで、領域化処理部３０には、第１の領域化処理部２３と、第２の領域化処理部２４と、フレーム内対応付け部２５とが具備される。

第１の領域化処理部２３は、動きベクトル検出部２２により検出された動きベクトルに基づいて、被写体を抽出するとともに、当該被写体における各領域を分割する。この処理は、例えば、フレーム内で座標的に隣接し、且つ類似する動きベクトルを持つ画素を一つの領域にまとめることにより実現できる。また、この処理は、フレーム（動画又は連写した一連の静止画）毎に実施される。

第２の領域化処理部２４は、色情報等の類似度に基づいて、フレーム内の各領域を分割する（イメージセグメンテーション）。この処理は、フレーム毎に実施される。なお、第２の領域化処理部２４によるイメージセグメンテーション処理は、必ずしも実施する必要はない。但し、この処理を行なうように構成した場合、被写体における各部位の領域分け精度が向上する。例えば、第１の領域化処理部２３においては、動きベクトルが類似しているため、脚の領域と足の領域とを１つの領域にまとめてしまう可能性がある。しかし、第２の領域化処理部２４においては、色情報を用いるため、靴のテクスチャに基づいて足部分の領域と、肌色テクスチャに基づいて脚の部分の領域とを別々に領域分けできる。これにより、被写体を更に細分化できるため、より精度良く動きを追跡できることになる。

フレーム内対応付け部２５は、第１の領域化処理部２３及び第２の領域化処理部２４によりそれぞれ分割された領域（部分領域）を対応付ける。具体的には、動きベクトルに基づいて分割された領域と、色情報等に基づいて分割された領域とを対応付け、その対応付け結果に基づいて動きベクトルに基づいて分割された領域を更に分割する。これにより、被写体を細分化した複数の部分領域が得られる。なお、この領域同士の対応付けは、各フレームにおける座標情報に基づいて行なわれる。

代表動きベクトル設定部２６は、各部分領域に対して代表となる動きベクトル（代表動きベクトル）を設定する。この処理は、フレーム毎に実施される。代表動きベクトルには、例えば、部分領域内の画素（ピクセル）全てにおける動きベクトルの平均ベクトルを用いればよい。これにより、一つのフレーム内において、各部分領域は、代表動きベクトルを持つことになる。

フレーム間対応付け部２７は、複数のフレームに渡って部分領域を対応付ける。この対応付けは、複数フレームに渡る部分領域における代表動きベクトルの変化の大きさに基づいて行なわれる。フレーム間対応付け部２７による処理が終わると、各フレーム内における被写体は、図５に示すように、複数の部分領域に分けられた状態となる。すなわち、被写体は複数の個体に分けられる。なお、図５に示す図は、各部分領域の接続状態や動き伝播に基づく階層構造の推定に利用することもできる。

重要度設定部２８は、複数のフレームに渡って対応付けられた部分領域を評価し、当該評価結果に基づいてフレームを選択し、当該選択したフレームに対して重要度を設定する。この処理は、フレーム毎に行なわれる。この評価方法については後述するが、例えば、被写体の動きの変化を指標にして評価する評価関数を用いて行なわれる。重要度設定部２８は、階層化処理部２８ａと、分節化処理部２８ｂとを具備して構成される。

階層化処理部２８ａは、複数のフレームに渡って対応付けられた部分領域各々を階層化し、それらをツリー構造にする。この処理は、フレーム内における部分領域間の接続関係を求めるために行なわれる。各部分領域（動き領域）は、図５に示すように、複数のフレーム（処理対象となるフレーム群全体）に渡ってその接続関係は常に変わらない。そのため、階層化処理部２８ａは、この接続関係を利用して各領域をツリー構造化する。具体的には、図６（ａ）に示すように、各部分領域をツリー構造にする。例えば、被写体（サッカー選手）の髪の毛の領域は、顔領域の上に常に位置し続けるため、これら領域は必ず接続関係を有する。

図６（ａ）に示すツリー構造においては、例えば、領域１及び領域２が接続関係にあることが示されている。領域３は、当該ツリー構造において最も分岐する枝が多い領域となっている。そこで、階層化処理部２８ａは、領域３を根としてツリー構造を再構成する。これにより、図６（ｂ）に示すツリー構造が得られる。

図６（ｂ）に示すように、ルートとなった領域３には、ルートであることを示す丸枠が設定されている。特に、被写体が人などの複雑な動きをする動物であれば、ベストショットとなる姿勢は、中心となる胴などから見た相対的な手足などの動きに大きく依存する。そのため、このようにしてルートを決定してツリー構造を再構成する。

ここで、図６（ｂ）においては、ルートから見て末端に位置する領域１、領域４、領域５、領域９、領域１２には、相対動き注目領域として矩形枠が設定されている。つまり、被写体の動きを追跡するには、丸枠の付いた領域３の動きベクトルと、矩形枠の付いた領域（領域１、領域４、領域５、領域９、領域１２）に対する丸枠の付いた領域（領域３）から見た相対的な動きベクトルとを追跡すればよい。

このように本実施形態においては、他の部分領域に最も多く接続される部分領域（領域３）を基準とし、当該基準からの各部分領域の相対的な動きの変化を監視することにより各部分領域の動きを追跡する。これにより、被写体全体（個体全体）が動いている場合などにおいても、被写体の姿勢を正確に判断できるため、ベストショットの検出をより忠実に行なうことができる。

ここで、分節化処理部２８ｂは、複数のフレームに渡る各代表動きベクトルに基づいて動きの分節化を行なう。分節化は、部分領域毎に代表動きベクトルの変化を追跡し、ある一定の大きさ及び一定の角度以上（方向）の変化があったフレームを何らかの動作の変化点として検出することをいう。なお、変化点とは、方向や速度などが一定範囲のある動作が終了し、次の動作が開始する点を指す。図２に示す被写体（サッカー選手）を例に挙げると、靴の領域の動きベクトルを追跡した際、脚を後ろから前へ振り上げるまでの前半の動きベクトルの推移と、一旦脚を振り切った後地面に脚を下ろすまでの後半の動きベクトルの推移とでは、大きく分節する。これにより、重要度設定部２８においては、分節化処理部２８ｂにより検出された分節点（変化点）となるフレームに重要度を設定する。

ここで、重要度設定部２８においては、以下のルールに従って該当フレームに重要度を設定する。
１）動きベクトルの大きさ及び角度変化の度合いの大きさに比例した値を重要度として設定する。
２）部分領域（動き領域）の面積の大きさに比例した値を重要度として設定する。

上記１）の場合は、部分領域における代表動きベクトルが大きく変化したフレームの重要度が相対的に高くなる。これに対して、上記２）の場合は、フレーム内で大きな面積を有している領域の動きを重視するため、当該面積に比例して重要度を決める必要がある。この評価式を「式１」に示す。
（式１）

Ｓｃｏｒｅ（ｔ）は、ｔフレーム目のある部分領域（注目領域）の重要度を示している。例えば、ｖ（ｔ、ｔ＋１）は、ｔフレーム目における注目領域と、（ｔ＋１）フレーム目における注目領域とにおける領域間の代表動きベクトルを示している。なお、Ａ、Ｂは定数である。

「式１」は、１つの注目領域に関する式であるが、フレーム内に被写体が複数ある場合は、「式２」のように、被写体毎の合計スコアとして重要度を算出すればよい。
（式２）

ｏｂは、被写体毎に割り当てた数字を示しており、開始フレームから最終フレームまでの間に、被写体として認識された数をｎとして示している。被写体毎に算出された重要度Ｓｃｏｒｅ ｏｂ（ｔ）の合計（総和）を、ｔフレーム目の重要度とする。全フレームのうち、途中でフレームアウトした被写体のＳｃｏｒｅ ｏｂ（ｔ）は「０」とする。なお、フレーム内における全被写体の合計に基づいて重要度を算出してもよいが、これに限られず、全被写体から算出した平均値や最大値を重要度としてもよい。

「式２」に示す被写体毎に算出される各々のＳｃｏｒｅ ｏｂ（ｔ）は、「式３」に示す演算式により構成される。
（式３）

「式３」のｓ（ｏｂ）は、１つの被写体内で更に部分領域（動き領域）が区分されている場合の個体番号である。一つの被写体がｍ個の部分領域に分割されている場合は、これらの合計で重要度を算出する。例えば、図５に示す被写体（サッカー選手）の例では、選手を１つの被写体として認識しつつ、その内部を１２個の部分領域（個体）に分割している。この場合、ｍ＝１２となる。「式３」も「式２」同様に合計ではなく、平均、最大値等を用いて重要度を算出しても良い。

その他、これ以外（部分領域自体の代表動きベクトルにおける分節点以外）の変化として、以下、３）〜５）に示す場合にも、該当するフレームの重要度を上げるようにしてもよい。上記１）及び２）は、動きベクトル自体の変化に基づいて重要度を設定しているが、以下、３）〜５）では、それとは異なる要因に基づいて重要度を設定する。

３）以前のフレームには無かった新たな部分領域（動き領域）が、あるフレームから出現した場合
４）ある部分領域がある瞬間に分裂、又は合併した場合
５）ある部分領域のテクスチャ状態がある瞬間に急激に変化した場合

なお、重要度の設定対象となったフレームにおいて、当該重要度を設定する根拠となった部分領域内、又はその部分領域を含む被写体領域が何らかの外乱成分により、画像がボケたり、写りが悪かったり等する場合がある。この場合、当該フレームの前後のフレームから当該部分領域がより鮮明であるフレームを選び、当該フレームに対して重要度を設定するようにしてもよい。

ここで、図７を用いて、上記３）に該当する場合の具体例について説明する。図７には、ピストルの弾丸が飛び出す瞬間の前後を撮影したフレーム群が示される。この場合、それまでのフレームには存在しなかった部分領域（動き領域）が出現した瞬間のフレームに対して重要度を設定すればよい。これにより、そのフレームをベストショットとして検出する。以上が、重要度設定部２８における処理の概要についての説明である。

図３に戻り、検出部２９は、重要度設定部２８によりフレーム各々に対して設定された重要度に基づいて、複数フレームの中から所定数のフレームを検出する。なお、所定数のフレームとして１枚のみ検出するように構成しても良い。検出部２９により検出されたフレームは、例えば、ＲＯＭ１４等に格納される（又は表示器（ユーザインターフェース１６）に表示される）。例えば、重要度の高いフレームから順番に所定数のフレーム（画像データ）をベストショット（候補）として保存（又は表示）する。ここで、図２を例に挙げて説明すると、選手がボールを蹴りきった瞬間が最上位に、次にボールに脚が触れてこれから動き始める瞬間が２番目に、といった具合でベストショット（候補）が検出される。例えば、ユーザは、これらベストショットとして検出された画像の中から所望する画像を何枚か選択し、それらを保存することができ、それ以外の画像を削除することができる。

次に、図８を用いて、図３に示す画像処理装置１０における処理の流れの一例について説明する。ここでは、ベストショットを検出する際の動作について例を挙げて説明する。

この処理は、画像処理装置１０が、開始指示検出部２１ａにおいて、撮影開始の指示を検出すると開始する（Ｓ１０１でＹＥＳ）。上述した通り、撮影開始の指示は、ユーザインターフェース１６を介したユーザからの指示に基づいて検出される。

この処理が開始すると、画像処理装置１０は、終了指示検出部２１ｂにおいて、撮影終了指示を検出するまでの間（Ｓ１０３でＮＯ）、撮影されたフレームをＲＡＭ１３等に保持する（Ｓ１０２）。すなわち、フレーム群選択部２１は、開始指示と終了指示との間に撮影されたフレーム群をベストショットの抽出対象となるフレーム群として選択する。

終了指示が検出されると（Ｓ１０３でＹＥＳ）、画像処理装置１０は、動きベクトル検出部２２において、当該フレーム群の中から各フレーム毎に動きベクトルを検出（算出）する（Ｓ１０４）。動きベクトルは、上述した通り、フレームとそれよりも以前（例えば、１フレーム前）のフレームとの比較に基づいて検出される。

動きベクトルの算出が済むと、画像処理装置１０は、第１の領域化処理部２３において、各フレーム内で検出された動きベクトルの内、フレーム内で座標的に隣接し、且つ類似する動きベクトルを持つ画素を一つの領域にまとめる（Ｓ１０５）。また、これと同時に画像処理装置１０は、第２の領域化処理部２４において、フレーム内の色情報等の類似度を用いて、各フレーム毎にイメージセグメンテーションを行なう（Ｓ１０６）。

次に、画像処理装置１０は、フレーム内対応付け部２５において、Ｓ１０５及びＳ１０６の処理でそれぞれ分割された部分領域を互いに対応付ける（Ｓ１０７）。この対応付けは、フレーム毎に行なわれる。

領域の対応付けが済むと、画像処理装置１０は、代表動きベクトル設定部２６において、当該対応付けられた部分領域各々に対して代表動きベクトルを設定する（Ｓ１０８）。この処理は、部分領域内における画素全ての動きベクトルの平均ベクトルを算出し、当該算出した平均ベクトルを当該部分領域に割り当てることによりなされる。これにより、ベストショットの抽出対象となるフレーム群における全ての部分領域（動き領域）に対して代表動きベクトルが設定される。

代表動きベクトルの設定が済むと、画像処理装置１０は、フレーム間対応付け部２７において、複数のフレームに渡って部分領域各々を対応付ける（Ｓ１０９）。この対応付けは、上述した通り、代表動きベクトルの変化の大きさに基づいて行なわれる。

次に、画像処理装置１０は、重要度設定部２８において、複数のフレームに渡って対応付けられた部分領域各々を評価して各フレームに重要度を設定する（Ｓ１１０）。なお、重要度の設定方法については、上述したため、ここではその説明については省略する。

重要度の設定が済むと、画像処理装置１０は、検出部２９において、フレーム各々に対して設定された重要度に基づいて、複数フレーム（ベストショットの抽出対象となるフレーム群）の中からベストショットを検出する（Ｓ１１１）。上述した通り、ベストショットのフレームは、所定数に達するまで検出される。

その後、画像処理装置１０は、当該検出したフレームを、例えば、ＲＯＭ１４等に格納する。又は、表示器（ユーザインターフェース１６）に表示する（Ｓ１１２）。これにより、この処理は終了する。

以上説明したように本実施形態によれば、フレーム群の中から被写体の動きや変化を指標に評価することにより、その中で高い評価を得たフレームをベストショットとして検出する。具体的には、ある一定の大きさの変化又はある一定の角度変化のある領域を含むフレームを一連の動作における分節点として判断し、その判断結果に基づいてベストショットを検出する。

例えば、ミルククラウンをベストショットとして検出する場合、ユーザは、液面に液滴を落とす前（直前）に撮影の開始を指示し、ミルククラウンが撮影された後（直後）に撮影の終了を指示するだけで、所望の画像（ミルククラウン画像）を得ることができる。そのため、ユーザは、特別な技術を持ち合わせていなくても、ベストショット（ミルククラウン画像）を得ることができる。

（実施形態２）
次に、実施形態２について説明する。実施形態２においては、既に録画済みの動画の中から、ある一瞬を捉えた動画をベストシーンとして検出する場合について説明する。なお、実施形態２に係わる画像処理装置１０に構成は、実施形態１を説明した図３及び図４と同様であるため、ここではその説明については省略する。

ここで、図９を用いて、実施形態２に係わる画像処理装置１０における処理の流れの一例について説明する。

画像処理装置１０は、開始指示検出部２１ａにおいて、開始の指示を検出すると、この処理は開始する（Ｓ２０１でＹＥＳ）。上述した通り、開始の指示は、ユーザインターフェース１６を介したユーザからの指示に基づいて検出される。

この処理が開始すると、画像処理装置１０は、終了指示検出部２１ｂにおいて、終了指示を検出するまでの間（Ｓ２０３でＮＯ）、再生等されたフレームをＲＡＭ１３等に保持する（Ｓ２０２）。すなわち、フレーム群選択部２１は、開始指示と終了指示との間にあるフレーム群をベストシーンの抽出対象となるフレーム群として選択する。

ここで、この開始指示と終了指示との指定方法について具体例を挙げて説明する。例えば、サッカーの試合を収めた動画からサッカー選手がボールを蹴るという短時間の動画をベストシーンとして検出したい場合、ユーザは、所望するシーンを含み且つ前後にやや長い時間間隔のシーンをベストシーンの抽出対象となるフレーム群として指定する。このとき、所望するシーンの前後に余分なフレームが含まれることになるが、余分なフレームは、少ない方がより良い結果が得られることは言うまでもない。指定方法としては、例えば、その開始フレームと終了フレームとの２コマをユーザが指定すればよい。

ここで、終了指示が検出されると（Ｓ２０３でＹＥＳ）、画像処理装置１０は、動きベクトル検出部２２において、当該フレーム群の中から各フレーム毎に動きベクトルを検出（算出）する（Ｓ２０４）。なお、Ｓ２０４〜Ｓ２１０では、実施形態１を説明した図８におけるＳ１０４〜Ｓ１１０と同様の処理が行なわれるため、ここではその説明については省略する。

Ｓ２１０の処理により各フレームに重要度が設定されると、画像処理装置１０は、検出部２９において、フレーム各々に対して設定された重要度に基づいて、複数フレームの中から重要度が最大となるフレームを注目フレームとして検出する（Ｓ２１１）。例えば、図１０に示す動画（複数のフレーム）の場合には、最も変化の大きなフレームである１４フレーム目（脚を蹴りきった状態のフレーム）のフレームが注目フレームとして検出される。

次に、画像処理装置１０は、検出部２９において、注目フレームの中から最大の変化を示す部分領域を検出する（Ｓ２１２）。そして、当該部分領域が動きの変化点となるフレームを注目フレーム前後のフレーム（以前のフレームと以降のフレーム）から検出し、それらフレームの中から重要度の高いフレームを所定数取得し（Ｓ２１３）、それを時系列（時間的に近い順番）に並べる。例えば、図１０に示す１４フレーム目における複数の部分領域の中で最大の値を示す領域として靴の領域が検出されたとする。この場合、注目フレームの前後のフレームから靴の領域が動きの変化点となるフレームが判断され、重要度の高いフレームから順番に所定数検出される。

その後、画像処理装置１０は、当該検出したフレームを表示器（ユーザインターフェース１６）に表示する（Ｓ２１４）。その表示を参照したユーザは、ユーザインターフェース１６を介して、当該検出された所定数のフレームの中からベストシーンとなる開始フレームと終了フレームとを指示する。すると、画像処理装置１０は、検出部２９において、当該指示された開始フレームと終了フレームとの間の動画（フレーム群）をベストシーンとして検出（抽出）し、例えば、ＲＯＭ１４等に格納する（Ｓ２１５）。これにより、注目フレームを含むベストシーン（例えば、図１０に示す１２フレーム目〜１６フレーム目）が取得できる。

なお、ベストシーンとなる開始フレームと終了フレームとの指示（Ｓ２１５）は、必ずしもユーザが行なう必要はなく、例えば、動きベクトル変化の大きさ等を基準にして装置側で自動的に行なうようにしても良い。

また、上述した説明では、部分領域が動きの変化点となるフレームを注目フレーム前後のフレーム（以前のフレームと以降のフレーム）から検出する場合について説明したが、これに限られない。例えば、注目フレームの検出に用いた領域以外の部分領域（動き領域）における変化の大きなフレームを前後のフレームとしても良い。

以上が本発明の代表的な実施形態の例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

例えば、ユーザが動物、特に、人物を撮影したい場合、ベストショット、ベストシーンとしての要因の一つとして顔の向き、目瞑り防止等、顔の状態を重視する場合がある。その場合、特開２００１−０５１３３８号公報に示す方法を用いればよい。例えば、被写体の顔の向き等を予め指定したり、所定の範囲の向きに顔が向いていない又は目を瞑ってるフレーム等は重要度を下げたりユーザが指示できるように構成しても良い。また、ユーザが顔の状態にどの程度の割合で重きを置くかを調整できるように構成しても良い。

なお、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ、ＧＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 処理対象となる連続する複数のフレームにおける各フレームから複数の動きベクトルを検出する動きベクトル検出手段と、
   前記検出された前記複数の動きベクトルに基づいて前記各フレームから複数の部分領域を抽出する領域化処理手段と、
   前記抽出された前記複数の部分領域各々における前記動きベクトルの変化に基づいて、前記複数のフレームに渡って前記部分領域を対応付けるフレーム間対応付け手段と、
   前記複数のフレームに渡って対応付けられた前記部分領域における前記動きベクトルの変化に基づいてフレームを選択し該選択したフレームに重要度を設定する重要度設定手段と、
   前記設定された前記重要度に基づいて前記複数のフレームの中から所定数のフレームを検出する検出手段と
   を具備することを特徴とする画像処理装置。
2. 前記領域化処理手段は、
   前記各フレームから前記動きベクトルが検出される領域を被写体として抽出するとともに、前記動きベクトルに基づいて前記被写体を複数の領域に分割する第１の領域化処理手段と、
   前記フレーム内における色情報に基づいて前記各フレームを複数の領域に分割する第２の領域化処理手段と、
   前記各フレームにおける座標情報に基づいて前記第１の領域化処理手段により分割された領域と前記第２の領域化処理手段により分割された領域とを対応付け、該対応付け結果に基づいて前記第１の領域化処理手段により分割された領域を更に分割した領域を前記部分領域として抽出するフレーム内対応付け手段と
   を具備することを特徴とする請求項１記載の画像処理装置。
3. 前記領域化処理手段により抽出された前記部分領域各々に対して、当該部分領域各々における前記複数の動きベクトルに基づいて代表動きベクトルを設定する代表動きベクトル設定手段
   を更に具備し、
   前記フレーム間対応付け手段は、
   前記複数のフレームに渡る前記代表動きベクトルの変化に基づいて前記対応付けを行なう
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記重要度設定手段は、
   前記複数のフレームに渡って対応付けられた前記部分領域における前記代表動きベクトルの変化を監視することにより前記代表動きベクトルの大きさ又は方向の変化点を検出し、該変化点を検出したフレームに対して前記重要度を設定する
   ことを特徴とする請求項３記載の画像処理装置。
5. 前記重要度設定手段は、
   前記フレーム内における部分領域間の接続関係を求め、他の部分領域に最も多く接続される部分領域を基準とした該他の部分領域の前記代表動きベクトルの相対的な変化を監視する
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記検出手段は、
   前記重要度設定手段により設定された前記重要度の高いフレームから順番に前記所定数のフレームを検出する
   ことを特徴とする請求項１記載の画像処理装置。
7. 前記検出手段は、
   前記重要度設定手段により設定された前記重要度の最も高いフレーム内における変化の最も大きい部分領域に基づいて該重要度の最も高いフレームに時間的に近いフレームから順番にフレームを取得し、該重要度の最も高いフレームを含む前記所定数のフレームを検出する
   ことを特徴とする請求項１記載の画像処理装置。
8. 前記重要度設定手段は、
   前記重要度の設定に際して、前記部分領域における前記動きベクトルの変化の大きさ、前記部分領域の面積の大きさの少なくともいずれかに対応して前記重要度の値を高くする
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記重要度設定手段は、
   新たな前記部分領域の出現、前記部分領域の分裂又は合併、前記部分領域における色情報の変化の少なくともいずれかが生じた場合にも、該当のフレームに対して前記重要度を設定する
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 画像処理装置における処理方法であって、
    動きベクトル検出手段が、処理対象となる連続する複数のフレームにおける各フレームから複数の動きベクトルを検出する工程と、
    領域化処理手段が、前記検出された前記複数の動きベクトルに基づいて前記各フレームから複数の部分領域を抽出する工程と、
    フレーム間対応付け手段が、前記抽出された前記複数の部分領域各々における前記動きベクトルの変化に基づいて、前記複数のフレームに渡って前記部分領域を対応付ける工程と、
    重要度設定手段が、前記複数のフレームに渡って対応付けられた前記部分領域における前記動きベクトルの変化に基づいてフレームを選択し該選択したフレームに重要度を設定する工程と、
    検出手段が、前記設定された前記重要度に基づいて前記複数のフレームの中から所定数のフレームを検出する工程と
    を含むことを特徴とする画像処理装置における処理方法。
11. コンピュータを、
    処理対象となる連続する複数のフレームにおける各フレームから複数の動きベクトルを検出する動きベクトル検出手段、
    前記検出された前記複数の動きベクトルに基づいて前記各フレームから複数の部分領域を抽出する領域化処理手段、
    前記抽出された前記複数の部分領域各々における前記動きベクトルの変化に基づいて、前記複数のフレームに渡って前記部分領域を対応付けるフレーム間対応付け手段、
    前記複数のフレームに渡って対応付けられた前記部分領域における前記動きベクトルの変化に基づいてフレームを選択し該選択したフレームに重要度を設定する重要度設定手段、
    前記設定された前記重要度に基づいて前記複数のフレームの中から所定数のフレームを検出する検出手段
    として機能させるためのプログラム。

Images