JP2014207662A

JP2014207662A - 映像処理装置、映像処理装置の制御方法およびプログラム

Info

Publication number: JP2014207662A
Application number: JP2014031132A
Authority: JP
Inventors: 直紀松木; Naoki Matsuki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-03-19
Filing date: 2014-02-20
Publication date: 2014-10-30

Abstract

【課題】処理対象の映像から部分映像を切り出して、順番にオブジェクトをつなぐカメラワーク効果を付与する技術であって、各オブジェクトを確実に登場させたいタイミングで登場させることができるようにするための技術を提供する。
【解決手段】映像処理装置であって、映像に含まれる複数のオブジェクトに対応するオブジェクト領域を取得するオブジェクト領域取得部２３０と、前記複数のオブジェクトの順番を取得する順番取得部２５０と、前記オブジェクトの順番と、前記オブジェクト領域の位置とに基づいて、前記オブジェクト領域をつなぐ方法を決定するつなぎ方法決定部２６０と、複数のオブジェクト領域が前記順番で、かつ前記つなぎ方法により登場する映像を作成する切り出し映像作成部２７０と、を備える。
【選択図】図２

Description

本発明は、映像処理装置、映像処理装置の制御方法およびプログラムに関する。

近年、デジタルスティルカメラやデジタルビデオカムコーダの普及により、静止画や動画などの「映像」の撮影が頻繁に行われている。家庭用デジタルビデオカメラの所有者の多くは、日々の出来事の記録として映像を撮影する。撮影された映像には動きが無い部分が多く、そのまま鑑賞するには退屈である場合が多い。
そこで、撮影した映像を素材映像として映像編集を行い、鑑賞に適した編集後映像を作る必要がある。映像編集では、まず、素材映像から好みの時間領域を切り出したり、素材映像を加工したりして、カット映像を作成する。続いて、タイムライン上にカット映像を配置し、音楽を付与して、編集後映像とするのが一般的である。

このとき、素材映像の加工方法の一つとして、疑似カメラワークがある。これは、静止画中の複数の空間領域を切り出し、それらをつなぐような処理を施すことで、あたかも静止画中をカメラワークで移動しているような効果を出すものである。なお、上記では静止画を例として出したが、動画にも同様の処理を行うことができる。
切り出した領域をつなぐ際の処理は、一般的には領域間を連続的につなぐパンの処理が選択される。領域間を連続的につなぐことで、それぞれの領域がひとつの映像中に存在することが分かりやすくなり、領域間のつながりを表現することができる。

映像に疑似カメラワークを付与する方法として、例えば特許文献１による方法がある。これは、映像中の一直線に対するオブジェクトの分散を解析し、分散の大小に応じてパンでつなぐかカットでつなぐかを選択するものである。これにより、オブジェクトをつなぐ際にカメラが蛇行して動くことを防止し、自然な映像を作成することができるようになる。

特開２０１０−２６８１６３

しかし、特許文献１の方法では、オブジェクトをつなぐ順番が考慮されていない。そのため、各オブジェクトが登場するタイミングを制御することができない。
疑似カメラワークを付与する際には、切り出した領域をつなぐ順番も重要となる。視聴者は既に見た領域に含まれるオブジェクトから、その先に登場するオブジェクトを推測する。これを利用して、最後に意外なオブジェクトを登場させるように切り出す順番を決め、視聴者に驚きを与えるような映像をつくる編集の方法が存在する。

この効果を出すためには、各オブジェクトが登場させたいタイミングで確実に登場しなければならない。タイミングより前に登場することがあっては、映像の効果がなくなってしまう。
本発明では、映像に対して、順番にオブジェクトをつなぐカメラワーク効果を付与する際、各オブジェクトを確実に登場させたいタイミングで登場させることができるようにすることを目的としている。
つまり、第１のオブジェクト、第２のオブジェクト、第３のオブジェクトをこの順番で登場させたい場合に、第１のオブジェクトと第２のオブジェクトをつなぐカメラワーク効果を付与する際に、第３のオブジェクトが登場しないようにすることを目的としている。

上記目的を達成するための一手段として、本発明の映像処理装置は以下の構成を備える。すなわち、
映像処理装置であって、
映像に含まれる複数のオブジェクトに対応するオブジェクト領域を取得する第一の取得手段と、
前記複数のオブジェクトの順番を取得する第２の取得手段と、
前記オブジェクトの順番と、前記オブジェクト領域の位置とに基づいて、前記オブジェクト領域をつなぐ方法を決定する決定手段と、
複数のオブジェクト領域が前記順番で、かつ前記つなぎ方法により登場する映像を作成する作成手段と、を備える。

本発明によれば、処理対象の映像から部分映像を切り出して、順番にオブジェクトをつなぐカメラワーク効果を付与する技術であって、各オブジェクトを確実に登場させたいタイミングで登場させることができるようにするための技術を提供することができる。

映像処理装置のシステム構成を示す図。映像処理装置の機能構成を示すブロック図。映像処理装置のＧＵＩの概要を示す図。第１の実施形態及び第２の実施形態におけるカメラワーク付与処理の流れを示すフローチャート。第１の実施形態におけるカメラワーク付与処理で使用するＧＵＩの概要を示す図。オブジェクト領域とトリミング領域の例を示す図。オブジェクトをつなぐ順番、オブジェクト領域、トリミング領域の格納例を示す図。オブジェクト間のつなぎ方の格納例を示す図。オブジェクト間のつなぎ方の例を示す図。第１の実施形態におけるオブジェクト間のつなぎ方を決定する処理の流れを示すフローチャート。軌跡領域の例を示す図。軌跡領域とオブジェクト領域の関係の例を示す図。第２の実施形態におけるオブジェクト間のつなぎ方の例を示す図。第２の実施形態における映像処理装置の機能構成を示すブロック図。第２の実施形態におけるオブジェクト間のつなぎ方を決定する処理の流れを示すフローチャート。第２の実施形態における軌跡領域の例を示す図。第３の実施形態における映像処理装置の機能構成を示すブロック図。第３の実施形態におけるカメラワーク付与処理の流れを示すフローチャート。第３の実施形態におけるトリミング領域の例を示す図。第４の実施形態におけるカメラワーク付与処理の流れを示すフローチャート第４の実施形態におけるカメラワーク付与処理で使用するＧＵＩの概要を示す図第４の実施形態におけるオブジェクトの情報の格納例第４の実施形態におけるキー領域の情報の格納例第４の実施形態におけるオブジェクトの登場順を決定する処理の流れを示すフローチャート第４の実施形態における視線ベクトルの情報の格納例第４の実施形態における視線ベクトルとオブジェクトの関係の例を示す図第４の実施形態におけるキー領域を決定する処理の流れを示すフローチャート第４の実施形態におけるオブジェクトの登場順の例

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１の実施形態＞
図１は、本実施形態を実現するシステムの概略を示した図である。ＣＰＵ１０１は、システム全体の動作をコントロールし、一次記憶装置１０２に格納されたプログラムの実行などを行う。
一次記憶１０２は、主にＲＡＭ等のメモリであり、二次記憶装置１０３に記憶されたプログラムなどを読み込んで格納する。

二次記憶装置１０３は、例えばハードディスクやフラッシュメモリなどの記録媒体がこれに該当する。一般に一次記憶装置の容量は二次記憶装置の容量より小さく、一次記憶装置に格納しきれないプログラムやデータなどは二次記憶装置に格納される。また、長時間記憶しなくてはならないデータなども二次記憶装置に格納される。本実施形態では、実施形態の処理手順を実現するようなプログラムは二次記憶装置１０３に格納し、プログラム実行時に一次記憶装置１０２に読み込んで、ＣＰＵ１０１が実行処理を行う。

入力デバイス１０４は、例えばマウスなどのポインティングデバイスやタッチパネルやキーボードなどがこれに該当する。
出力デバイス１０５は、例えばＬＣＤなどのモニタやプリンタがこれに該当する。
読込デバイス１０６は、公知のＣＣＤ素子などで構成されているデジタルスティルカメラやデジタルビデオカメラなどの撮像装置で撮像された映像を直接又は間接的に一次記憶装置や二次記憶装置へ読み込む。
システムバス１０７は、データの流れを司る。

・映像処理装置の機能構成例
図２は本実施形態に係る映像処理装置の機能構成例を示す図である。映像処理装置は、映像から複数の部分映像を切り出して出力するものである。
記憶部２１０は処理対象の映像を記憶する。本実施形態では記憶部２１０を映像処理装置の機能構成とし、この記憶部２１０から画像データを読み出す読出処理を行うが、ファイルサーバ等の他の装置内に記憶された画像データを、通信回線を介して取得するとしてもよい。
映像読出部２２０は処理対象の映像を記憶部２１０から読み出す。
オブジェクト領域取得部２３０は、第１の取得手段に対応し、処理対象の映像に含まれる複数のオブジェクトの領域を取得する。
切り出し領域取得部２４０は、第３の取得手段に対応し、オブジェクト領域取得部２３０で取得したオブジェクトの領域を含む切り出し領域（以下、「トリミング領域」とも記載する）を取得する。

順番取得部２５０は、第２の取得手段に対応し、オブジェクト領域取得部で取得したオブジェクトの順番を取得する。
つなぎ方法決定部２６０は、決定手段に対応し、順番取得部２５０で取得した順番と、オブジェクト領域取得部２３０で取得した領域の位置とから、切り出し領域取得部２４０で取得した複数の切り出し領域をつなぐ方法を決定する（決定工程に対応）。
切り出し映像作成部２７０は、作成手段に対応し、つなぎ方法決定部２６０が決定した方法でつながれた複数の切り出し領域が順番に登場する映像であって、前記切り出し領域内に含まれる前記オブジェクトが登場する順番が、順番取得部２５０が取得した順番と同じである映像を作成する（作成工程に対応）。
直線的軌跡領域取得部２６１は、第４の取得手段に対応し、切り出し領域取得部２４０で取得した複数の切り出し領域を直線的につなぐ場合に描く軌跡の領域を取得する。
軌跡領域重なり判定部２６２は、第１の判定手段に対応し、直線的軌跡領域取得部２６１で取得した軌跡領域と、オブジェクト領域取得部２３０で取得したオブジェクト領域が重なるか否かを判定する。

図３は、本実施形態における映像処理装置のＧＵＩの概要を示す図である。
音楽選択画面２０１には、映像編集で利用可能な音楽の一覧を表示する。
素材映像選択画面２０２には、映像編集で利用可能な素材映像の一覧を表示する。
カット映像選択画面２０３には、映像編集で利用可能なカット映像の一覧を表示する。ここで、カット映像とは、素材映像を加工して作成される動画であるとする。加工とは、例えば映像中の任意の時間範囲の切り出しや、カメラワーク効果の付与などである。

タイムライン編集画面２０４には、編集後映像のタイムラインを表示する。タイムライン上に音楽やカット映像を配置し、それぞれの再生開始時間，再生時間を決定することで、映像編集を行う。タイムライン上への音楽の配置は、音楽選択画面２０１上のアイコンを、タイムライン上の任意の位置へドラッグアンドドロップすることで行う。タイムライン上へのカット映像の配置は、カット映像選択画面２０３上のアイコンを、タイムライン上の任意の位置へドラッグアンドドロップすることで行う。

プレビュー画面２０５には、編集後映像のプレビューを表示する。プレビュー画面２０５をクリックすることで、タイムライン編集画面２０４のタイムライン上に配置された音楽，カット映像を再生する。
レンダリングボタン２０６を押下すると、編集後映像を作成する。編集後映像は、タイムライン編集画面２０４のタイムライン上に配置された音楽やカット映像を一連の映像としてまとめたものとなる。編集後映像は、ＡＶＩやＭＰＥＧなど、公知の動画フォーマットのファイルで保存する。

カット映像作成ボタン２０７は、素材映像を選択した状態でのみ有効となる。素材映像の選択は、素材映像選択画面２０２上のアイコンを指定することで行う。
カット映像作成ボタン２０７を押下すると、選択された素材映像を元に、映像中のオブジェクトをつなぐカメラワーク効果が付与されたカット映像を作成する。作成したカット映像は、カット映像選択画面２０３に追加される。カット映像の作成方法については、図４を用いて後述する。

図４は、カット映像作成ボタン２０７を押下した際の、映像中のオブジェクトをつなぐカメラワーク効果が付与されたカット映像を作成する処理の流れを示すフローチャートである。
本実施形態における映像処理装置では、以下の制御方法に従って、ユーザにより映像中の複数のオブジェクトが指定され、指定された順番にオブジェクトが登場するようにカメラワーク効果を付与する。

・オブジェクト領域の指定
ステップＳ３０１では、ユーザによる映像中のオブジェクトの指定が行われる。オブジェクト領域取得部２３０は、指定されたオブジェクト領域の座標値（例えば、左上点の座標値と右下点の座標値）を取得する（第１の取得工程に対応）。
オブジェクトの指定は、図５に示すようなＧＵＩを用いて行われる。素材映像表示部４０１には、選択された素材映像をプレビュー表示する。ユーザは、素材映像表示部４０１上の任意のオブジェクトの領域５１１〜５１３を、入力デバイス１０４を介して指定する。ここで指定された領域を、以降では「オブジェクト領域」と呼ぶ。

・トリミング領域の決定
ステップＳ３０２で、切り出し領域取得部２４０は、ステップＳ３０１で指定されたオブジェクト領域を含むトリミング領域を決定する。
本実施形態において、トリミング領域の位置は、トリミング領域の中心がオブジェクト領域の中心と同じになるように決めるものとする。また、トリミング領域の大きさは、素材映像（処理対象の映像）４０１のアスペクト比を保ちながら、高さがオブジェクト領域の高さの２倍となるように決めるものとする。オブジェクト領域６０１とトリミング領域６０２の例を図６に示す。なお、トリミング領域の位置と大きさは、上記以外の方法で決定しても良い。

ステップＳ３０３では、ユーザによるオブジェクトの指定が終了したか否かを判断する。ユーザにより図５のＯＫボタン４０２が押下されていれば、オブジェクトの指定が終了したと判断する。それ以外の場合はステップＳ３０１へ戻る。
なお、本実施形態において、ステップＳ３０１からＳ３０３で指定されたオブジェクトは、指定された順番に番号が付与され、オブジェクト領域及びトリミング領域と関連付けて図７に示すように保存される。順番取得部２５０は、オブジェクト領域及びトリミング領域に付与された番号を取得する（第２の取得工程に対応）。なお、オブジェクトの順番はオブジェクトの指定の順番以外の手法であっても良い。オブジェクトの指定の後に、所定の順番決定方法（画角中の人物の関連性や重要度、年齢順等）に基づいてオブジェクトの順番を決定してもよい。

・オブジェクト間のつなぎ方を決定
ステップＳ３０４で、つなぎ方法決定部２６０は、カメラワーク効果を付与する際の、各オブジェクト間のつなぎ方を決定する。オブジェクト間のつなぎ方の決定方法については、図１０を用いて後述する。本実施形態において、オブジェクト間のつなぎ方は、「パン」による連続したつなぎ方か、「カット」による断続的なつなぎ方か、どちらかより選択されるものとする。つなぎ方は、連続する２つのオブジェクトの番号と関連付けて図８に示すように保存される。

・素材映像にカメラワーク効果を付与
ステップＳ３０５で、切り出し映像作成は、ステップＳ３０４で決定したオブジェクト間のつなぎ方を参照し、素材映像にカメラワーク効果を付与する。素材映像に２つのオブジェクトＡ，Ｂが存在する場合、ＡからＢに「パン」でつなぐ場合と「カット」でつなぐ場合の例を、それぞれ図９（ａ），（ｂ）に示す。
パンでつなぐ場合は、図９（ａ）に示すように、オブジェクトＡのトリミング領域９０１からオブジェクトＢのトリミング領域９０２へ連続的に変化させる。
カットでつなぐ場合は、図９（ｂ）に示すように、オブジェクトＡのトリミング領域９０１からオブジェクトＢのトリミング領域９０２へ断続的に変化させる。

図１０は、図４のステップＳ３０４における、オブジェクト間のつなぎ方を決定する処理の流れを示すフローチャートである。
ステップＳ９０１では、変数ｉに１を代入する。
ステップＳ９０２では、直線的軌跡領域取得部２６１は、ｉ番目のオブジェクトのトリミング領域と、ｉ＋１番目のオブジェクトのトリミング領域を線形に結ぶ軌跡領域を決定する。軌跡領域の例を図１１に示す。図１１は、第１のトリミング領域１１０１と第２のトリミング領域１１０２を線形に結ぶ軌跡領域１１０３を示す。

ステップＳ９０３では、変数ｊにｉ＋１を代入する。
ステップＳ９０４では、変数ｊに１を加算する。
ステップＳ９０５では、オブジェクトの数Ｎ_ｏｂｊと変数ｊの値を比較する。Ｎ_ｏｂｊ＜ｊであれば、ステップＳ９０６へ進む。それ以外であれば、ステップＳ９０７へ進む。ステップＳ９０６で、つなぎ方法決定部２６０は、ｉ番目のオブジェクトとｉ＋１番目のオブジェクトのつなぎ方として「パン」を設定する。

ステップＳ９０７では、軌跡領域重なり判定部２６２は、ｊ番目のオブジェクトのオブジェクト領域が、ステップＳ９０２で決定した軌跡領域に重なるか否かを判定する。オブジェクト領域が軌跡領域に重なる例、及び重ならない例について、それぞれ図１２（ａ），（ｂ）に示す。
図１２（ａ）は第１のオブジェクトのトリミング領域１２０１と第２のオブジェクトのトリミング領域１２０２とをつなぐ軌跡領域１２０３が、第３のオブジェクトのオブジェクト領域１２０４に重なる例を示す。
図１２（ｂ）は第１のオブジェクトのトリミング領域１２０１と第２のオブジェクトのトリミング領域１２０２とをつなぐ軌跡領域１２０３が、第３のオブジェクトのオブジェクト領域１２０４に重ならない例を示す。
ｊ番目のオブジェクトのオブジェクト領域が軌跡領域に重なる場合は、ステップＳ９０８へ進む。それ以外であれば、ステップＳ９０４へ戻る。

ステップＳ９０８で、つなぎ方法決定部２６０は、ｉ番目のオブジェクトとｉ＋１番目のオブジェクトのつなぎ方として「カット」を設定する。
ステップＳ９０９では、変数ｉに１を加算する。
ステップＳ９１０では、オブジェクトの数Ｎ_ｏｂｊと変数ｉの値を比較する。Ｎ_ｏｂｊ＜ｉであれば、処理を終了する。それ以外であれば、ステップＳ９０２へ戻る。

以上のように、本実施形態では、素材映像に対して順番にオブジェクトをつなぐカメラワークを付与する際、連続するオブジェクトをつなぐ軌跡領域と後続のオブジェクトとの位置関係に応じて、つなぎ方をパンかカットのどちらかに切り替える。これにより、なるべくパンを用いてオブジェクト間の関係を表現しつつ、オブジェクトを確実に登場させたいタイミングで登場させることができるようになる。

なお、本実施形態では、オブジェクト領域をユーザに指定させたが、他の方法でオブジェクト領域を決定しても良い。例えば、ユーザは映像中の一点を指定するのみとし、その周辺に存在する顔領域を自動的に検出してオブジェクト領域としても良い。
また、本実施形態では、オブジェクトをつなぐ順番をユーザに指定させたが、他の方法でオブジェクトをつなぐ順番を決定しても良い。例えば、予めオブジェクトの特徴量と重要度を対応づけて保存しておき、映像中のオブジェクトの重要度の低い順に順番を設定しても良い。

また、本実施形態では、オブジェクト間のつなぎ方を決定する際、オブジェクトをつなぐ軌跡領域と他のオブジェクトとの重なりを判定したが、判定対象のオブジェクトを限定しても良い。例えば、最後に登場するオブジェクトのみを判定対象としても良い。同様に、ユーザが特別に重要であると指定したオブジェクトのみを判定対象としても良い。また、予めオブジェクト毎に重要度を設定しておき、一定以上の重要度のオブジェクトのみを判定対象としても良い。

＜第２の実施形態＞
第１の実施形態では、図４のステップＳ３０４において、オブジェクト間のつなぎ方が「パン」による連続したつなぎ方に設定された場合、図１３（ａ）に示すように、オブジェクト間を直線的につなぐことを想定していた。図１３（ａ）は、第１のオブジェクトのトリミング領域１３０１と第２のオブジェクトのトリミング領域１３０２との間を直線的につなぐ例を示す。
しかし、必ずしも直線的につなぐ必要はない。図１３（ｂ）は、第１のオブジェクトのトリミング領域１３０１と第２のオブジェクトのトリミング領域１３０２との間を曲線的につなぐ例を示す。図１３（ｂ）に示すようにオブジェクト間を曲線的につなぎ、軌跡領域１３０３〜１３０６に他のオブジェクトが登場してしまうことを回避しても良い。これにより、第１の実施形態の方法よりも、オブジェクト間を連続的につなぐ方法が多く選択されるようになり、オブジェクト間の関係が表現されやすくなる。
つまり、つなぐ方法として、第１の実施形態では連続的（直線的）につなぐ方法が選択されなかった場合であっても、第２の実施形態では連続的（曲線的）につなぐ方法が選択される場合がある。このため、第１の実施形態よりも第２の実施形態の方が、オブジェクト間を連続的につなぐ方法が多く選択され得る。
第２の実施形態では、オブジェクト間のつなぎ方を「直線パン」，「曲線パン」，「カット」の３種類から自動的に選択する機能を持つ映像処理装置の実現方法について述べる。

図１４は本実施形態に係る映像処理装置の機能構成例を示す図である。なお、第１の実施形態で説明した機能要素と同じ番号を付与した機能要素は、第１の実施形態と同様の機能を有するものであるため、共通する機能については説明を省略し、相違する機能についてのみ説明する。
軌跡領域重なり割合判定部１４０１は、第２の判定手段に対応し、２つのトリミング領域（例えば、図１２の領域１２０１と１２０２）を直線的につなぐ軌跡領域（例えば、領域１２０３）がオブジェクト領域（例えば、領域１２０４）と重なる面積の割合を算出する。
曲線的軌跡領域取得部１４０２は、第５の取得手段に対応し、２つのトリミング領域（例えば、図１３の領域１３０１と１３０２）を曲線的につなぐ軌跡領域（例えば、領域１３０３〜１３０６）を取得する。

図１５は、第２の実施形態において、図４のステップＳ３０４でオブジェクト間のつなぎ方を決定する処理の流れを示すフローチャートである。なお、図１０と重複する番号を持つステップでは、図１０と同様の処理を行うものとする。

・軌跡領域重なり割合判定
ステップＳ１３０８で、軌跡領域重なり割合判定部１４０１は、ｊ番目のオブジェクトのオブジェクト領域が、ステップＳ９０２で決定した軌跡領域と重なる面積の割合Ｒを算出する。Ｒは、ｊ番目のオブジェクト領域の面積をＡ_ｏｂｊ，オブジェクト領域と軌跡領域が重なる部分の面積をＡ_ｏｖｅｒとすると、次のように求める。
Ｒ＝Ａ_ｏｖｅｒ／Ａ_ｏｂｊ

ステップＳ１３０９で、つなぎ方法決定部２６０は、ステップＳ１３０８で求めたＲを、予め定められた閾値と比較する。Ｒの値が閾値を超える場合は、ステップＳ１３１０へ進む。それ以外であれば（Ｒの値が閾値以下の場合は）、ステップＳ１３１１へ進む。なお、本実施形態では閾値は予め定めるものとしたが、オブジェクト領域の面積などにより、動的に求めても良い。
ステップＳ１３１０で、つなぎ方法決定部２６０は、ｉ番目のオブジェクトとｉ＋１番目のオブジェクトのつなぎ方として「カット」を設定する。

・曲線的軌跡領域取得
ステップＳ１３１１で、曲線的軌跡領域取得部１４０２は、ｉ番目のオブジェクトのトリミング領域と、ｉ＋１番目のオブジェクトのトリミング領域を曲線で結ぶ軌跡領域を決定する。ここで、軌跡領域は、ｊ番目のオブジェクトと重ならないように決める。例えば、２つのトリミング領域の対応する頂点が、ｊ番目のオブジェクト領域の中心点を中心として描かれる円弧で結ばれるように、軌跡領域を決定する。
軌跡領域の例を図１６に示す。図１６では、第１のオブジェクトのトリミング領域の左上頂点１６０１と第２のオブジェクトのトリミング領域の右上頂点１６０２が、第３のオブジェクトのオブジェクト領域の中心点１６０３を中心として描かれる円弧で結ばれるように、軌跡領域１６０４を決定する。

ステップＳ１３１２では、ｉ＋１番目より後に登場するオブジェクトのオブジェクト領域のいずれかが、ステップＳ１３１１で決定した軌跡領域と重なるか否かを判定する。軌跡領域と重なるオブジェクト領域がある場合には、ステップＳ１３１０へ進む。それ以外の場合は、ステップＳ１３１３へ進む。
ステップＳ１３１３で、つなぎ方法決定部２６０は、ｉ番目のオブジェクトとｉ＋１番目のオブジェクトのつなぎ方として「曲線パン」を設定する。

ステップＳ１３１４では、変数ｉに１を加算する。
ステップＳ１３１５では、オブジェクトの数Ｎ_ｏｂｊと変数ｉの値を比較する。Ｎ_ｏｂｊ＜ｉであれば、処理を終了する。それ以外であれば、ステップＳ１３０２へ戻る。
なお、上記で選択されたつなぎ方は、第１の実施形態と同様に、連続する２つのオブジェクトの番号と関連付けて図８に示すように保存される。

＜第３の実施形態＞
第１の実施形態及び第２の実施形態では、図４のステップＳ３０２において、オブジェクト毎にトリミング領域を決める際、着目しているオブジェクトの領域のみを参照して決めていた。しかし、この時点で他のオブジェクトがトリミング領域に入り込むことも考えられる。
第３の実施形態では、オブジェクトのトリミング領域を決める際、他のオブジェクト領域が含まれないようにトリミング領域を調整する機能を持つ映像処理装置の実現方法について説明する。

図１７は本実施形態に係る映像処理装置の機能構成例を示す図である。なお、第１の実施形態で説明した機能要素と同じ番号を付与した機能要素は、第１の実施形態と同様の機能を有するものであるため、共通する機能については説明を省略し、相違する機能についてのみ説明する。
切り出し領域重なり判定部１７０１は、第３の判定手段に対応し、切り出し領域取得部２４０で取得した切り出し領域（トリミング領域）と、オブジェクト領域取得部２３０で取得したオブジェクト領域が重なるか否かを判定する。
切り出し領域調整部１７０２は、切り出し領域重なり判定部１７０１により切り出し領域（トリミング領域）とオブジェクト領域が重なっていると判定された場合に、オブジェクト領域に重ならないように切り出し領域（トリミング領域）の位置及び大きさの少なくとも一方を変える。

図１８は、第３の実施形態において、図３のカット映像作成ボタン２０７を押下した際の、映像中のオブジェクトをつなぐカメラワーク効果が付与されたカット映像を作成する処理の流れを示すフローチャートである。なお、図４と重複する番号を持つステップでは、図４と同様の処理を行うものとする。

・トリミング領域重なり判定（切り出し領域重なり判定）
ステップＳ１５０３で、切り出し領域重なり判定部１７０１は、ステップＳ３０２で決定されたトリミング領域（切り出し領域）に、他のオブジェクトのオブジェクト領域が重なるか否かを判定する。トリミング領域とオブジェクト領域が重なる場合は、ステップＳ１５０４へ進む。それ以外であれば、ステップＳ１５０５へ進む。

・トリミング領域調整（切り出し領域調整）
ステップＳ１５０４で、切り出し領域調整部１７０２は、ステップＳ３０２で決定されたトリミング領域の位置と大きさを調整する。本実施形態においてトリミング領域の調整は、他のオブジェクトのオブジェクト領域が重ならないように、素材映像のアスペクト比を保ったまま縮小するものとする。トリミング領域が他のオブジェクトのオブジェクト領域と重なる場合の例を図１９（ａ）に示す。また、そのトリミング領域を調整した例を図１９（ｂ）に示す。

図１９（ａ）において、１９０１は第１のオブジェクト領域、１９０２は第２のオブジェクト領域、１９０３は第１のトリミング領域をそれぞれ示し、第１のトリミング領域１９０３は第１のオブジェクト領域１９０１を含む。そして、第１のトリミング領域１９０３と第２のオブジェクト領域１９０２とが一部重なっている。
このような場合、ステップＳ１５０３で、切り出し領域重なり判定部１７０１は、第１のトリミング領域１９０３と第２のオブジェクト領域１９０２とが重なると判定し、ステップ１５０４に進む。
ステップＳ１５０４で、切り出し領域調整部１７０２は、ステップＳ３０２で決定された第１のトリミング領域１９０３の大きさを、アスペクト比を保ったまま縮小する。
図１９（ｂ）において、１９０４は、第２のオブジェクト領域１９０２に重ならないように調整された後の第１のトリミング領域を示す。

なお、調整の結果、トリミング領域（例えば、領域１９０４）中のオブジェクト領域（例えば、領域１９０１）の占める割合が７０％を超えるような場合には、トリミング領域の調整を行わず、調整できない旨の警告を出すだけでも良い。トリミング領域を調整しても他のオブジェクト領域との重なりがなくならないような場合にも、同様である。

＜第４の実施形態＞
第１の実施形態、第２の実施形態及び第３の実施形態では、図４のＳ３０１からＳ３０３に示すように、オブジェクトをつなぐ順番を手動で決定する。
しかし、オブジェクトをつなぐ順番を自動的に決定しても良い。第４の実施形態では、例としてオブジェクトの視線方向を考慮してつなぐ順番を自動的に決定する機能を持つ映像処理装置の実現方法について説明する。

本実施形態に係る映像処理装置の構成は、映像読出手段と、オブジェクト検出手段と、切り出し領域取得手段と、ベクトル情報検出手段と、ベクトル関係性分析手段と、切り出し順番決定手段と、切り出し映像作成手段と、を備える。
映像読出手段は、処理対象の映像を記憶手段から読み出す。
オブジェクト検出手段は、前記処理対象の映像に含まれる複数のオブジェクトを検出する。
切り出し領域取得手段は、前記オブジェクト検出手段で検出したオブジェクトを含む切り出し領域を取得する。
ベクトル情報検出手段は、前記処理対象の映像に含まれるベクトル情報を検出する。
ベクトル関係性分析手段は、前記ベクトル情報とオブジェクトの関係性を分析する。
切り出し順番決定手段は、前記ベクトル関係性分析手段による分析結果に基づき、切り出し領域を切り出す順番を決定する。
切り出し映像作成手段は、前記切り出し領域取得手段によって取得された複数の切り出し領域が、前記切り出し順番決定手段によって決定された順番に登場する映像を作成する。

図２０は、第４の実施形態において、図３のカット映像作成ボタン２０７を押下した際の、映像中のオブジェクトをつなぐカメラワーク効果が付与されたカット映像を作成する処理の流れを示すフローチャートである。なお、図４と重複する番号を持つステップでは、図４と同様の処理を行うものとする。
この処理は、図２１に示すＧＵＩを介して行われる。素材映像表示部２１０１には、選択された素材映像をプレビュー表示する。

ステップＳ２００１では、映像中のオブジェクトの検出を行う。オブジェクトの検出は、顔検出などの公知の方法により行う。検出したオブジェクトにはＩＤを付与し、オブジェクトの領域の情報と合わせて、図２２に示す表に保存する。また、オブジェクトの領域を、素材映像表示部２１０１に表示する。
なお、上記では映像中のオブジェクトを自動的に検出したが、ユーザに指定させるようにしても良い。その場合、ユーザは、素材映像表示部２１０１上の任意のオブジェクトの位置または領域を、入力デバイス１０４を介して指定する。

ステップＳ２００２では、映像中のオブジェクトが登場する順番を決定する。決定した順番は、オブジェクトと対応づけて、図２２に示す表に保存する。また、順番の情報を素材映像表示部２１０１に表示する。なお、オブジェクトの登場順の決定方法については、図２４を用いて後述する。
ステップＳ２００３では、ユーザにより、オブジェクトが登場する順番が変更される。この操作は、順番変更ボタン２１０２が押下された場合に実行可能となる。順番の変更は、素材映像表示部２１０１に表示されたオブジェクト領域をクリックすることで行われる。クリックされた順番にオブジェクトが登場するように順番を再設定し、オブジェクトと対応づけて、図２２に示す表に保存する。

ステップＳ２００４では、ＯＫボタン２１０３が押下されたかどうかを判定する。ボタンが押下されていれば、ステップＳ２００５へ進む。それ以外の場合は、ステップＳ２００３へ戻る。
ステップＳ２００５では、カメラワークを付与する際のトリミング領域を決定する。トリミング領域は、カメラワークの端点となる領域であるとする。カメラワークは、二つのトリミング領域の間を結ぶように付与する。トリミング領域にはＩＤを付与し、領域の情報及び領域の登場する順番の情報と合わせて、図２３に示す表に保存する。なお、トリミング領域の決定方法については、図２７を用いて後述する。

・オブジェクトが登場する順番を決定する処理
図２４は、図２０のステップＳ２００２における、オブジェクトが登場する順番を決定する処理の流れを示すフローチャートである。オブジェクトの登場順を表す番号は、図２２に示す表の“登場番号”の項目に、オブジェクトと対応づけて保存する。なお、図２４の説明では、ステップＳ２４１１で登場番号の更新を行うまで、登場番号が降順に付与されていることに注意すること。

ステップＳ２４０１では、素材映像中の視線ベクトルを検出する。視線ベクトルは、顔の向きや目の位置などから推測する公知の方法を用いて検出する。検出した視線ベクトルにはＩＤを付与し、図２５に示す表に保存する。
ステップＳ２４０２では、ステップＳ２４０１で検出した視線ベクトルの始点，終点に位置するオブジェクトを取得する。始点のオブジェクトのＩＤ，終点のオブジェクトのＩＤは、視線ベクトルと対応づけて、図２５に示す表に保存する。

なお、図２６（ａ）に示すように、ベクトルの終点のオブジェクトに複数の候補がある場合は、ベクトルの始点に位置するオブジェクトとの論理的な関係から、終点のオブジェクトを判断しても良い。例えば、ベクトルの始点に位置するオブジェクトと、親子関係にあるオブジェクトを終点のオブジェクトとして選択しても良い。
また、図２６（ｂ）に示すように、オブジェクトが検出されていない場所に複数の視線ベクトルの終点が集中している場合には、終点の位置の領域を新たなオブジェクトとして追加しても良い。

ステップＳ２４０３では、変数ｎｕｍに１を代入する。
ステップＳ２４０４では、最後に登場するオブジェクトを決定する。本実施形態では、図２５に示す表において視線ベクトルの終点に登録されている数が最も多いオブジェクトを、最後に登場するオブジェクトとする。図２５の例では、視線ベクトルＩＤ１〜３に関しては、終点オブジェクトＩＤは「Ａ」が１つで、「Ｃ」が２つであるから、オブジェクトＩＤが「Ｃ」であるオブジェクトを最後に登場するオブジェクトとする。
図２６（ｃ）は、図２５の視線ベクトル１〜３を図示したものである。
なお、最後に登場するオブジェクトは複数であっても良いが、ひとつに絞っても良い。例えば、予め登録された主人公の情報と特徴が一致するオブジェクトを、唯一の最後に登場するオブジェクトとしても良い。

ステップＳ２４０５では、ステップＳ２４０４，又は後述するステップＳ２４０７で取得したオブジェクトの登場番号として、ｎｕｍの値を設定する。
仮に、最後に登場するオブジェクトのＩＤが「Ｃ」であると決定され、「ｎｕｍ」の値が「１」に設定されている場合、図２２（ａ）に示すように、オブジェクトＩＤが「Ｃ」であるオブジェクトの登場番号として「１」を設定する。

ステップＳ２４０６では、図２２に示す表から、登場番号がｎｕｍに設定されている値に等しいオブジェクトを取得する。
仮に、「ｎｕｍ」に設定されている値が「１」で、登場番号が「１」に等しいオブジェクトのＩＤが「Ｃ」である場合、ＩＤが「Ｃ」であるオブジェクトを取得する。
ステップＳ２４０７では、図２５に示す表から、終点にステップＳ２４０６で取得したオブジェクトが登録されている視線ベクトルを取得する。ステップＳ２４０６で取得したオブジェクトが複数である場合には、それぞれについて処理を行う。
ステップＳ２４０６で取得したオブジェクトのＩＤが「Ｃ」の場合、図２５に示す表から、終点オブジェクトＩＤが「Ｃ」である視線ベクトルとして、ＩＤが「２」である視線ベクトルを取得する。

ステップＳ２４０８では、ステップＳ２４０７で検索した視線ベクトルの始点に登録されているオブジェクトを取得する。ステップＳ２４０７で検索した視線ベクトルが複数である場合には、それぞれについて処理を行う。
ステップＳ２４０７で検索した視線ベクトルのＩＤが「２」の場合、図２５に示す表から、その視線ベクトルの始点に登録されているオブジェクトとして、ＩＤが「Ａ」であるオブジェクトを取得する。

ステップＳ２４０９では、ｎｕｍに１を加算する。
ステップＳ２４１０では、ステップＳ２４０８で取得したオブジェクトの数が０であるかを判定する。０であれば、ステップＳ２４１１へ進む。１以上であれば、ステップＳ２４０５へ戻る。

ステップＳ２４１１では、オブジェクトの登場順に番号が大きくなるように、図２２に示す表の“登場番号”の項目を更新する。
例えば、更新前は、図２２（ｂ）に示すように、最初に登場するオブジェクトＩＤ＝Ｂの登場番号が「３」、２番目に登場するオブジェクトＩＤ＝Ａの登場番号が「２」、最後に登場するオブジェクトＩＤ＝Ｃの登場番号が「１」であるとする。
更新後は、最初に登場するオブジェクトＩＤ＝Ｂの登場番号が「１」、２番目に登場するオブジェクトＩＤ＝Ａの登場番号が「２」、最後に登場するオブジェクトＩＤ＝Ｃの登場番号が「３」となる。
図２４を用いて説明した処理により、視線ベクトルをつなぐように、オブジェクトに登場番号を付与することができる。視線ベクトルとオブジェクトの登場番号の例を図２６（ｃ）に示す。

・トリミング領域が登場する順番を決定する処理
図２７は、図２０のステップＳ２００５における、トリミング領域を決定する処理の流れを示すフローチャートである。
ステップＳ２７０１では、オブジェクトの登場番号の最大値ｎｕｍ_ＭＡＸを取得する。
ステップＳ２７０２では、変数ｎｕｍ_ｋｅｙに１を代入する。
ステップＳ２７０３では、変数ｎｕｍ_ｏｂｊにｎｕｍ_ＭＡＸを代入する。
ステップＳ２７０４では、図２２（ｃ）に示す表から、登場番号がｎｕｍ_ｏｂｊであるオブジェクトの情報を取得する。
例えば、登場番号が「３」であるなら、オブジェクトＩＤが「Ｃ」であるオブジェクトの情報を取得する。

ステップＳ２７０５では、ステップＳ２７０４で取得したオブジェクトのうち、“トリミング領域”の項目に値が入っていないオブジェクトを取得する。
ステップＳ２７０４で取得したオブジェクトＩＤが「Ｃ」であるオブジェクトは、図２２（ｃ）に示す段階では、トリミング領域の項目に値が入っていないため、取得される。
ステップＳ２７０６では、ステップＳ２７０５で取得したオブジェクトの数が１以上であるかを判定する。１以上であれば、ステップＳ２７０７へ進む。０であれば、ステップＳ２７１１へ進む。

ステップＳ２７０７では、ステップＳ２７０４で取得したオブジェクトをすべて含む領域を作成する。ここで作成する領域をトリミング領域とする。作成したトリミング領域は、ＩＤを付与して図２３に示す表に保存する。
ステップＳ２７０８では、ステップＳ２７０７で作成したトリミング領域に対応する登場番号として、ｎｕｍ_ｋｅｙの値を保存する。なお、トリミング領域の登場番号は、図２４で説明したオブジェクトの登場番号と同様、ステップＳ２７１３で値を更新するまで降順に付与されている。
ステップＳ２７０９では、ステップＳ２７０７で作成したトリミング領域と、図２２に示す表に保存されている各オブジェクトの領域を比較し、トリミング領域に含まれるオブジェクトを取得する。取得したオブジェクトのＩＤは、図２３に示す表の“オブジェクトＩＤ”の項目に、トリミング領域と対応づけて保存する。

また、ステップＳ２７０７で作成したトリミング領域のＩＤを、取得したオブジェクトの各々に対応づけて、図２２に示す表の“トリミング領域ＩＤ”の項目に保存する。
ステップＳ２７１０では、ｎｕｍ_ｋｅｙに１を加算する。
ステップＳ２７１１では、ｎｕｍ_ｏｂｊから１を減算する。
ステップＳ２７１２では、ｎｕｍ_ｏｂｊと０を比較する。ｎｕｍ_ｏｂｊ≦０であれば、ステップＳ２７１３へ進む。それ以外であれば、ステップＳ２７０４へ戻る。
ステップＳ２７１３では、トリミング領域の登場順に番号が大きくなるように、図２３に示す表の“登場番号”の項目を更新する。

以上のように、本実施形態では、素材映像中のオブジェクトをつなぐようなカメラワークを付与する際、映像中の視線ベクトルの方向につながるように、オブジェクトの登場する順番を自動的に決定する。これを元にトリミング領域を作成し、更にトリミング領域をつなげる順番を決めることで、違和感のない映像を容易に作成することができるようになる。なお、オブジェクトの登場順について、違和感のある場合と違和感のない場合の例を、それぞれ図２８（ａ），（ｂ）に示す。
図２８（ａ）は視線ベクトルの向きに逆らってオブジェクトが登場するため違和感がある。一方、図２８（ｂ）は視線ベクトルの向きに沿ってオブジェクトが登場するため違和感がない。
なお、本実施形態では、オブジェクトの登場する順番を決定するにあたって、素材映像中の視線ベクトルの情報を用いたが、他のベクトル情報を用いても良い。例えば、被写体の動きベクトルを検出し、動きベクトルの方向につながるように、オブジェクトの登場する順番を決定しても良い。

また、本実施形態では、トリミング領域を決定する際、同じ登場番号のオブジェクトが含まれる領域を作成するのみであったが、他の方法で決めても良い。例えば、予めオブジェクトに重要度を設定しておき、同じ登場番号の中で重要度の高いオブジェクトのみが含まれる領域を作成するようにしても良い。その際、近くにある重要度の低いオブジェクトを同じトリミング領域に含めるなどしても良い。
以上で説明したように、第４の実施形態に係る映像処理装置により、映像中のベクトル情報の関係性を考慮し、被写体を登場させる順番を自動的に決定する。これにより、ユーザの手間をかけることなく、違和感のない映像を作成可能にすることができる。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

２１０記憶部
２２０映像読出部
２３０オブジェクト領域取得部
２４０切り出し領域取得部（トリミング領域取得部）
２５０順番取得部
２６０つなぎ方法決定部
２７０切り出し映像作成部

Claims

映像処理装置であって、
映像に含まれる複数のオブジェクトに対応するオブジェクト領域を取得する第１の取得手段と、
前記複数のオブジェクトの順番を取得する第２の取得手段と、
前記オブジェクトの順番と、前記オブジェクト領域の位置とに基づいて、前記オブジェクト領域をつなぐ方法を決定する決定手段と、
複数のオブジェクト領域が前記順番で、かつ前記つなぎ方法により登場する映像を作成する作成手段と、
を備えることを特徴とする映像処理装置。
前記オブジェクト領域を含む切り出し領域を取得する第３の取得手段と、
前記順番で、複数の前記切り出し領域を連続的につなぐ場合に描く軌跡の領域を取得する第４の取得手段と、
前記第４の取得手段が取得した軌跡領域と、前記第１の取得手段が取得したオブジェクト領域が重なるか否かを判定する第１の判定手段とをさらに備え、
前記決定手段は
前記軌跡領域と前記オブジェクト領域が重なると判定された場合には、複数の切り出し領域を断続的につなげる方法を選択し、
前記軌跡領域と前記オブジェクト領域が重なると判定されなかった場合には、複数の切り出し領域を連続的につなげる方法を選択することを特徴とする請求項１に記載の映像処理装置。
前記決定手段が、前記複数の切り出し領域を連続的につなげる方法として、複数の切り出し領域を直線的に連続してつなげる方法を選択することを特徴とする請求項２に記載の映像処理装置。
前記決定手段が、前記複数の切り出し領域を連続的につなげる方法として、複数の切り出し領域を曲線的に連続してつなげる方法を選択することを特徴とする請求項２に記載の映像処理装置。
前記軌跡領域と前記オブジェクト領域が重なると判定された場合に、前記軌跡領域と前記オブジェクト領域が重なる面積の割合Ｒを算出する第２の判定手段をさらに備え、
前記重なる面積の割合Ｒが閾値を超える場合に、前記決定手段が、前記複数の切り出し領域を断続的につなげる方法を選択することを特徴とする請求項３に記載の映像処理装置。
前記第２の判定手段は下記式を用いて前記重なる面積の割合Ｒを算出することを特徴とする請求項５に記載の映像処理装置。
Ｒ＝Ａ_ｏｖｅｒ／Ａ_ｏｂｊ
Ａ_ｏｂｊはオブジェクト領域の面積を示し、Ａ_ｏｖｅｒはオブジェクト領域と軌跡領域が重なる部分の面積を示す。
前記軌跡領域と前記オブジェクト領域が重なると判定された場合に、前記軌跡領域と前記オブジェクト領域が重なる面積の割合を算出する第２の判定手段をさらに備え、
前記重なる面積の割合が閾値以下の場合に、前記決定手段が、前記複数の切り出し領域を連続的につなげる方法として、複数の切り出し領域を曲線的に連続してつなげる方法を選択することを特徴とする請求項４に記載の映像処理装置。
前記複数の切り出し領域を連続してつなぐ曲線的な軌跡の領域を取得する第５の取得手段をさらに備え、
前記第１の判定手段により前記曲線的な軌跡領域と前記オブジェクト領域とが重なるか否かを判定し、
前記曲線的な軌跡領域と前記オブジェクト領域とが重なると判定された場合に、前記決定手段が、前記複数の切り出し領域を断続的につなげる方法を選択することを特徴とする請求項７に記載の映像処理装置。
前記第１の取得手段は、第１のオブジェクト領域および第２のオブジェクト領域を取得し、
前記第３の取得手段は、前記第１のオブジェクト領域を含む第１の切り出し領域を取得し、
前記第１の切り出し領域と前記第２のオブジェクト領域とが重なるか否かを判定する第３の判定手段をさらに備え、
前記第３の取得手段は、前記第３の判定手段により前記第１の切り出し領域と前記第２のオブジェクト領域とが重なっていると判定された場合に、前記第２のオブジェクト領域に重ならないように、前記第１の切り出し領域の位置及び大きさの少なくとも一方を変えることを特徴とする請求項２乃至８のいずれか一項に記載の映像処理装置。
前記第１の取得手段は、前記処理対象の映像中の一点が指定されると、その周辺に存在する顔領域を自動的に検出してオブジェクト領域として取得することを特徴とする請求項１乃至９のいずれか一項に記載の映像処理装置。
前記第３の取得手段は、
前記切り出し領域の中心と、前記オブジェクト領域の中心とが同じ位置になり、かつ
前記切り出し領域のアスペクト比と、前記処理対象の映像のアスペクト比とが同じになり、かつ
前記切り出し領域の高さが前記オブジェクト領域の高さの２倍となるように、前記切り出し領域の位置と大きさを決めることを特徴とする請求項２乃至１０のいずれか一項に記載の映像処理装置。
前記第１の判定手段は、予め指定されたオブジェクトのオブジェクト領域のみを重なり判定の対象とすることを特徴とする請求項２乃至１１のいずれか一項に記載の映像処理装置。
映像処理装置の制御方法であって、
第１の取得手段が、映像に含まれる複数のオブジェクトに対応するオブジェクト領域を取得する第１の取得工程と、
第２の取得手段が、前記複数のオブジェクトの順番を取得する第２の取得工程と、
決定手段が、前記オブジェクトの順番と、前記オブジェクト領域の位置とに基づいて、前記オブジェクト領域をつなぐ方法を決定する決定工程と、
作成手段が、複数のオブジェクト領域が前記順番で、かつ前記つなぎ方法により登場する映像を作成する作成工程と、
を有することを特徴とする映像処理装置の制御方法。
映像から複数の部分映像を切り出して出力する映像処理装置であって、
処理対象の映像を記憶手段から読み出す、映像読出手段と、
前記処理対象の映像に含まれる複数のオブジェクトを検出する、オブジェクト検出手段と、
前記オブジェクト検出手段で検出したオブジェクトを含む切り出し領域を取得する、切り出し領域取得手段と、
前記処理対象の映像に含まれるベクトル情報を検出する、ベクトル情報検出手段と、
前記ベクトル情報とオブジェクトの関係性を分析する、ベクトル関係性分析手段と、
前記ベクトル関係性分析手段による分析結果に基づき、切り出し領域を切り出す順番を決定する、切り出し順番決定手段と、
前記切り出し領域取得手段で取得した複数の切り出し領域が、前記切り出し順番決定手段によって決定された順番に登場する映像を作成する切り出し映像作成手段と、
を備えることを特徴とする映像処理装置。
請求項１４に記載の映像処理装置であって、
前記ベクトル関係性分析手段は、ベクトルの終点に位置するオブジェクトを終点のオブジェクトとして取得し、
前記切り出し順番決定手段は、前記終点のオブジェクトを含む切り出し領域を最後に登場させるよう順番を決定する
ことを特徴とする映像処理装置。
請求項１４乃至１５の何れか一項に記載の映像処理装置であって、
前記ベクトル関係性分析手段は、
ベクトルの始点に位置するオブジェクトを始点のオブジェクトとして、
ベクトルの終点に位置するオブジェクトを終点のオブジェクトとして、
それぞれ取得し、
前記切り出し順番決定手段は、前記始点のオブジェクトの後に前記終点のオブジェクトが登場するよう順番を決定する
ことを特徴とする映像処理装置。
請求項１４乃至１６の何れか一項に記載の映像処理装置であって、
前記ベクトル情報検出手段は、ベクトル情報として、オブジェクトの視線の方向を検出することを特徴とする映像処理装置。
請求項１４乃至１６の何れか一項に記載の映像処理装置であって、
前記ベクトル情報検出手段は、ベクトル情報として、オブジェクトの顔又は体の向きの方向を検出することを特徴とする映像処理装置。
請求項１４乃至１６の何れか一項に記載の映像処理装置であって、
前記ベクトル情報検出手段は、ベクトル情報として、オブジェクトの進んでいる方向を検出することを特徴とする映像処理装置。
映像から複数の部分映像を切り出して出力する映像処理装置であって、
処理対象の映像を記憶手段から読み出す、映像読出手段と、
前記処理対象の映像に含まれる複数のオブジェクトを検出する、オブジェクト検出手段と、
前記オブジェクト検出手段で検出したオブジェクトを含む切り出し領域を取得する、切り出し領域取得手段と、
前記処理対象の映像に含まれるベクトル情報を検出する、ベクトル情報検出手段と、
前記ベクトル情報とオブジェクトの関係性を分析する、ベクトル関係性分析手段と、
前記ベクトル関係性分析手段による分析結果に基づき、切り出し領域を切り出す順番を決定する、切り出し順番決定手段と、
前記切り出し順番決定手段で決定した順番と、前記オブジェクト検出手段で検出したオブジェクトの位置及び大きさとから、前記切り出し領域取得手段で取得した複数の切り出し領域をつなぐ方法を決定する、つなぎ方法決定手段と、
前記切り出し領域取得手段で取得した複数の切り出し領域が順番に登場する映像を作成する切り出し映像作成手段と、
を備えることを特徴とする映像処理装置。
請求項２０に記載の映像処理装置であって、
前記つなぎ方法決定手段は、
前記切り出し順番決定手段で決定した順番で、前記切り出し領域取得手段で取得した複数の切り出し領域を連続的につなぐ場合に描く軌跡の領域を取得する、軌跡領域取得手段と、
前記軌跡領域取得手段で取得した軌跡領域と、前記オブジェクト検出手段で検出したオブジェクトの領域が重なるかどうかを判定する、重なり判定手段と
を備え、
前記重なり判定手段により領域が重なると判定された場合には、複数の切り出し領域を断続的につなげる方法を選択し、それ以外の場合には、複数の切り出し領域を連続的につなげる方法を選択する
ことを特徴とする映像処理装置。
請求項２１に記載の映像処理装置であって、
前記複数の切り出し領域を連続的につなげる方法は、複数の切り出し領域を直線的に連続してつなげる方法であることを特徴とする映像処理装置。
請求項２１に記載の映像処理装置であって、
前記複数の切り出し領域を連続的につなげる方法は、複数の切り出し領域を曲線的に連続してつなげる方法であることを特徴とする映像処理装置。
請求項２０乃至２３の何れか一項に記載の映像処理装置であって、
前記切り出し領域取得手段で取得した切り出し領域と、前記オブジェクト検出手段で検出したオブジェクトの領域とが重なるかどうかを判定する、切り出し領域重なり判定手段をさらに備え、
前記切り出し領域取得手段は、前記切り出し領域重なり判定手段により領域が重なっていると判定された場合に、オブジェクトの領域が重ならないよう切り出し領域の位置と大きさを変えることを特徴とする映像処理装置。
映像から複数の部分映像を切り出して出力する映像処理装置の制御方法であって、
映像読出手段が、処理対象の映像を記憶手段から読み出す読み出し工程と、
オブジェクト検出手段が、前記処理対象の映像に含まれる複数のオブジェクトを検出する検出工程と、
切り出し領域取得手段が、前記オブジェクト検出手段によって検出されたオブジェクトを含む切り出し領域を取得する領域取得工程と、
ベクトル情報検出手段が、前記処理対象の映像に含まれるベクトル情報を検出するベクトル情報検出工程と、
ベクトル関係性分析手段が、前記ベクトル情報とオブジェクトとの関係性を分析する関係性分析工程と、
切り出し順番決定手段が、前記ベクトル関係性分析手段による分析結果に基づき、切り出し領域を切り出す順番を決定する順番決定工程と、
映像作成手段が、前記切り出し領域取得手段によって取得された複数の切り出し領域が、前記切り出し順番決定手段によって決定された順番に登場する映像を作成する映像作成工程と、
を有することを特徴とする映像処理装置の制御方法。
コンピュータを請求項１乃至１２、１４乃至２４の何れか一項に記載の映像処理装置が備える各手段として機能させるためのプログラム。