JP2016143899A - 映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体 - Google Patents

Abstract

【課題】解析負荷を増大させることなく映像素材の整合性が成り立つように編集映像を作成する映像編集装置を提供する。【解決手段】映像編集装置１００は、複数の映像素材の並び順を取得する並び順取得部２０３と、複数の映像素材の各々の属性に応じて複数の映像素材の並び順の整合性を判定する並び順判定部２０４と、複数の映像素材の並び順の整合性が有ると判定されると、並び順に応じて複数の映像素材を編集して編集映像を生成する編集映像生成部２０６と、を備える。【選択図】図２

Description

本発明は、複数の静止画や動画を映像素材に用いて編集することで編集映像を作成する映像編集装置に関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮影装置で撮影された静止画や動画等の映像素材を用いて映像の編集を行う映像編集装置がある。映像編集装置は、ユーザの指示に応じて複数の映像素材を並べて、編集映像を作成する。特許文献１の動画作成装置は、編集映像をテンプレートデータを用いて作成する動画作成装置（映像編集装置）を開示する。テンプレートデータには、映像素材が挿入される素材枠、映像に対するエフェクト、映像の再生中に流れる楽曲であるＢＧＭ（Background Music）、及び映像と映像との切り替え方式であるトランジションが、タイムコードに応じて定義される。動画作成装置は、ユーザにより選択されたテンプレートデータの素材枠に、当該表示枠に設定された条件に一致するメタデータを有する映像素材を挿入することで編集映像を作成する。

特開２００９−５５１５２号公報

編集映像の作成の際には、映像素材の並び順で前後する映像素材の整合性が問題となる。並び順で前後する映像素材の整合性が有る場合、被写体が自然な動きを行う。映像素材の整合性が無い場合、例えば、映像素材に含まれる被写体の時間や場所が以前の状態に戻ってしまう、画面から消えた人物が急に現れる、映像素材間の輝度やカメラモーションの変化が激しい等の、被写体の不自然な動きや画面の急激な変化が生じる。そのために、被写体の自然な動きや画面の自然な変化のために、映像素材の整合性を保つことは重要である。

映像素材の整合性は、複数の映像素材の各々のメタデータや画像特徴量の変化により判定される。しかし、複数の映像素材の各々のメタデータや画像特徴量の変化の組み合わせは膨大であり、解析負荷は膨大になる。映像素材の整合性を考慮した編集映像を作成するためには、映像素材の組み合わせを事前に解析する必要があるが、解析負荷が膨大であるために映像素材の組み合わせを事前にすべて解析することが現実的ではない。

本発明は、上記の問題を解決するために、解析負荷を増大させることなく映像素材の整合性が成り立つように編集映像を作成する映像編集装置を提供することを主たる課題とする。

上記課題を解決する本発明の映像編集装置は、複数の映像素材の並び順を取得する並び順取得手段と、前記複数の映像素材の各々の属性に応じて前記複数の映像素材の前記並び順の整合性を判定する並び順判定手段と、前記複数の映像素材の前記並び順の整合性が有ると判定されると、前記並び順に応じて前記複数の映像素材を編集して編集映像を生成する編集映像生成手段と、を備えることを特徴とする。

本発明によれば、映像素材の並び順に関する解析負荷を増大させることなく、並び順の整合性が成り立つ編集映像を作成できる。

映像編集装置のハードウェア構成図。 映像編集装置の機能ブロック図。 （ａ）〜（ｄ）は整合性判定処理の説明図。 映像編集処理を表すフローチャート。 （ａ）〜（ｃ）は整合性判定処理の説明図。 映像編集装置の機能ブロック図。 （ａ）〜（ｆ）は整合性判定処理の説明図。 映像編集処理を表すフローチャート

以下、図面を参照して実施形態を詳細に説明する。ただし、本実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
本実施形態の映像編集装置は、ユーザが手動で指定する映像素材の並び順で、前後する映像素材の整合性判定を行う。図１は、このような映像編集装置のハードウェア構成図である。映像編集装置１００は、ＣＰＵ（Central Processing Unit）１０１、及びＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３を備える情報処理装置である。映像編集装置１００は、この他に外部記憶装置であるストレージ１０５、入力インタフェースである入力部１０６、及び出力インタフェースである表示部１０７を備える。これらの各構成要素は、バス１０４を介して相互にデータの送受信が可能に接続される。

ＣＰＵ１０１は、ＲＯＭ１０２やストレージ１０５に記憶されたコンピュータプログラムを読み込み、ＲＡＭ１０３を作業領域に用いて実行することで、映像編集装置１００の動作を制御する。ストレージ１０５は、コンピュータプログラムの他に、編集の対象となる静止画や動画等の映像素材及び編集の結果物である編集映像等のデータを記憶する。入力部１０６は、キーボード、マウス、タッチパネル等により実現される。入力部１０６は、ユーザの操作に応じた指示等を受け付けてＣＰＵ１０１に入力する。ＣＰＵ１０１は、入力部１０６から入力される指示に応じた処理を行う。表示部１０７は、ＣＰＵ１０１の制御により、各種情報を表す画像を表示するディスプレイである。なお、ストレージ１０５は、例えば映像編集装置１００にＬＡＮ（Local Area Network）等のネットワークを介して接続される外部装置であってもよい。

図２は、映像編集装置１００の機能ブロック図である。映像編集装置１００は、ＣＰＵ１０１がコンピュータプログラムを実行することで、各機能として動作する。映像編集装置１００は、映像素材記憶部２０１、素材選択部２０２、並び順取得部２０３、並び順判定部２０４、判定結果表示部２０５、編集映像生成部２０６、及び編集映像記憶部２０７として機能する。映像素材記憶部２０１及び編集映像記憶部２０７は、ストレージ１０５により実現される。なお、各機能は、ソフトウェアにより実現される他に、少なくとも一部をハードウェアにより実現される構成であってもよい。

映像素材記憶部２０１は、映像素材となる静止画や動画のデータを記憶する。素材選択部２０２は、入力部１０６が受け付けたユーザからの指示に応じて、映像素材記憶部２０１から編集映像の作成に使用する映像素材を選択して読み出す。並び順取得部２０３は、入力部１０６が受け付けたユーザからの指示に応じて、複数の映像素材の並び順を取得し、取得した並び順を表す並び順データを作成する。並び順判定部２０４は、並び順取得部２０３で作成された並び順データを解析し、該並び順データが表す映像素材の並び順の整合性を判定する。整合性判定の詳細については後述する。判定結果表示部２０５は、並び順判定部２０４による整合性の判定結果を表示部１０７に表示する。編集映像生成部２０６は、並び順判定部２０４で整合性が有ると判定された並び順に従って、素材選択部２０２に読み出された映像素材を並べることで編集映像を生成する。編集映像生成部２０６は、ユーザの入力等に応じて、効果音や音楽を編集映像に付与してもよい。編集映像記憶部２０７は、編集映像生成部２０６で生成された編集映像のデータを記憶する。なお、本実施形態では、並び順取得部２０３が、ユーザからの指示に基づいて取得した並び順に沿って映像素材の並び順データを作成する例を示すが、これに限らない。例えば、過去に作成済みの並び順データを記憶しておき、これを呼び出したり、外部で作成された並び順データを有線あるいは無線の通信を介して取得したりすることによって利用しても構わない。

図３は、並び順判定部２０４による映像素材の並び順の整合性判定処理の説明図である。図４は、整合性判定処理を含む映像編集処理を表すフローチャートである。

図３（ａ）は、映像素材記憶部２０１から素材選択部２０２により読み出される、２５個の映像素材Ａ〜Ｙからなる映像素材群１１を表す。素材選択部２０２は、入力部１０６が受け付けたユーザの指示に応じて映像素材記憶部２０１から映像素材を読み出して映像素材群１１を作成する。ユーザは、入力部１０６により、映像素材群１１から複数の映像素材を選択して、編集映像を構成する映像素材の並び順を指示する。図３（ｂ）は、ユーザにより指示され、並び順取得部２０３によって取得される複数の映像素材の並び順１２の例示図である。並び順取得部２０３は、このような並び順を表す並び順データを作成する。図３（ｂ）では、並び順データが、映像素材Ａ、映像素材Ｃ、映像素材Ｒ、映像素材Ｋ、映像素材Ｌの並び順１２を指示す。

本実施形態では、並び順をユーザが入力部１０６により直接指示する。並び順取得部２０３は、入力部１０６からのユーザの指示に応じた並び順を取得し、映像素材の図３（ｂ）のような並び順１２を表す並び順データを作成する（Ｓ１０１）。

並び順判定部２０４は、映像素材の並び順の整合性判定を行う。そのために並び順判定部２０４は、まず、映像素材群１１を各映像素材に付されるメタデータに応じて分類する。本実施形態では、並び順判定部２０４は、映像素材群１１を各映像素材の撮影時刻に応じてクラスタリングする（Ｓ１０２）。図３（ｃ）は、並び順判定部２０４が映像素材群１１を撮影時刻が近い順に５つのクラスタ（第１クラスタ２１ａ〜第５クラスタ２１ｅ）に分類した例を表す。なお、第１クラスタ２１ａに含まれる映像素材が最も古いものであり、第２クラスタ２１ｂ〜第４クラスタ２１ｄになるにつれ新しい映像素材となり、第５クラスタ２１ｅに含まれる映像素材が最も新しいものである。

並び順判定部２０４は、並び順データが表す並び順１２を構成する映像素材Ａ、Ｃ、Ｒ、Ｋ、Ｌがそれぞれどのクラスタに分類されるかに基づいて、映像素材の並び順１２の整合性を判定する（Ｓ１０３）。本実施形態では、映像素材の撮影時刻に基づいて映像素材群１１をクラスタリングしているために、並び順判定部２０４は、映像素材の並び順１２の整合性の判定を撮影時刻に基づいて行うことになる。図３（ｄ）は、並び順１２を構成する映像素材Ａ、Ｃ、Ｒ、Ｋ、Ｌが分類されるクラスタの説明図である。映像素材Ａは、第１クラスタ２１ａに分類される。映像素材Ｃは、第１クラスタ２１ａに分類される。映像素材Ｒは、第４クラスタ２１ｄに分類される。映像素材Ｋは、第３クラスタ２１ｃに分類される。映像素材Ｌは、第３クラスタ２１ｃに分類される。

映像素材Ｒから映像素材Ｋに映像が移る際に、分類されるクラスタが第４クラスタ２１ｄから第３クラスタ２１ｃとなっており、撮影時刻が遡っていることを表す。これは、時刻の整合性が無いことを表す。これとは逆に並び順を構成する映像素材の撮影時刻が順当に経過している場合、例えば、並び順が映像素材Ａ、Ｃ、Ｋ、Ｌ、Ｒの順である場合、整合性が有ると判定される。このように並び順判定部２０４は、並び順を構成する映像素材が分類されるクラスタにより、整合性の有無を判定することができる。

並び順判定部２０４が映像素材の並び順の整合性が有ると判定する場合（Ｓ１０４：Y）、編集映像生成部２０６は、並び順に応じて映像素材を編集して編集映像を生成する。編集映像生成部２０６は、生成した編集映像のデータを編集映像記憶部２０７に記憶する（Ｓ１０５）。

並び順判定部２０４が映像素材の並び順の整合性が無いと判定する場合（Ｓ１０４：N）、ユーザに映像素材の並び順の変更を指示させるために、判定結果表示部２０５は、表示部１０７に判定結果を表示する（Ｓ１０６）。判定結果表示部２０５は、整合性の判定結果とともに、整合性が無い原因（図３の例では映像素材Ｒと映像素材Ｋとの撮影時刻）を表示する。ユーザが表示部１０７の表示に従って、再度、入力部１０６から並び順の指示を行うことで、映像編集装置１００は、整合性の有る編集映像の生成が可能となる。図３の例では、ユーザが、映像素材Ｌの後に映像素材Ｒがくるように並び順を修正することで、整合性が有る編集映像の生成が可能となる。

このように、映像編集装置１００は、ユーザが指示した並び順について映像素材のメタデータを用いて整合性の判定を行い、判定結果が可となった場合にのみ、指示された並び順に基づく編集映像を作成する。整合性の判定結果が不可になった場合、映像編集装置１００は、編集映像を作成せずに、ユーザに並び順の修正を要求する。これにより、映像素材の並び順の整合性が無い編集映像の作成が抑制される。

整合性判定は、撮影時刻の他に、映像素材の撮影時の位置情報（撮影場所）や、映像素材の画像特徴である被写体としての人物の有無、被写体の人数等の映像素材の属性に基づいて行われてもよい。図５は、整合性判定に被写体の顔識別結果を用いる場合の説明図である。ユーザは、入力部１０６により、図５（ａ）に示す映像素材の並び順１４を指示する。並び順１４は、映像素材Ａ、映像素材Ｆ、映像素材Ｋ、映像素材Ｐ、映像素材Ｕの順である。

映像編集装置１００は、公知の顔認識処理を行う。そのために、映像編集装置１００の機能ブロックは、図２の機能ブロックに顔認識処理を行う顔認識処理部を追加した構成となる。顔認識処理部は、並び順１４を構成する映像素材Ａ、Ｆ、Ｋ、Ｐ、Ｕの各々について顔認識処理を行い、被写体となっている人物を識別するとともに人数を検出する。図５（ｂ）は、顔認識処理の結果の説明図である。映像素材Ａは２人の人物α氏、β氏の映像を含む。映像素材Ｆは２人の人物α氏、β氏の映像を含む。映像素材Ｋは３人の人物α氏、β氏、γ氏の映像を含む。映像素材Ｐは２人の人物α氏、γ氏の映像を含む。映像素材Ｕは３人の人物α氏、β氏、γ氏の映像を含む。

並び順判定部２０４は、顔認識処理の結果に応じて並び順１４の整合性を判定する。並び順判定部２０４は、人数が減少した後に増加に転じた映像素材について、減少した人物と増加した人物とが同一であるか否かにより、並び順１４の整合性を判定する。図５（ｃ）は、並び順１４による各映像素材Ａ、Ｆ、Ｋ、Ｐ、Ｕ間の人数変化及び増減した人物の説明図である。人数は、各映像素材Ａ、Ｆ、Ｋ、Ｐ、Ｕ間で０人、１人、−１人、１人と増減する。映像素材Ｆから映像素材Ｋで１人増加し、映像素材Ｋから映像素材Ｐで１人減少し、映像素材Ｐから映像素材Ｕで１人増加する。映像素材Ｋから映像素材Ｐで人数が減少し、映像素材Ｐから映像素材Ｕで増加に転じている。

映像素材Ｋから映像素材Ｐで減少した人物はβ氏であり、映像素材Ｐから映像素材Ｕで増加した人物はβ氏である。つまり、減少した人物と増加した人物とが同一である。この場合、並び順判定部２０４は被写体の整合性が無いと判定する。判定結果表示部２０５は、並び順の整合性が無いと判定した原因を含めた判定結果を表示部１０７に表示する。図５の場合、判定結果表示部２０５は、映像素材の並び順１４の３番目、４番目、５番目の被写体に整合性が無いことを表示部１０７に表示する。

このように整合性判定を被写体のような画像特徴の特徴量に応じて行う場合、被写体の出現及び消失が自然に行われているか否かが判定の基準となる。なお、映像素材の数や被写体の数は一例であり、これに限られるものでは無い。

整合性判定は、映像素材の並び順で前後する映像素材間の特徴点の変化に基づいて行われてもよい。例えば、並び順判定部２０４は、並び順で前後する映像素材間で輝度変化が大きくなる場合、具体的には並び順で前後する映像素材の前方の画像の輝度の平均値と、後方の画像の輝度の平均値との差が所定値を超える場合に整合性が無いと判定する。

整合性判定は、映像素材を撮影するカメラの移動量に基づいて行われてもよい。例えば並び順判定部２０４は、並び順で前後する映像素材間の前方の動画のグローバルモーションベクトルと、後方の動画のグローバルモーションベクトルとの差のスカラ値が所定値を超える場合に整合性が無いと判定する。なお、グローバルモーションベクトルは、特徴点のマッチングと統計処理に基づく公知の処理により算出される。

整合性判定は、例えば同一の被写体の動き方向の変化に基づいて行われてもよい。例えば、並び順判定部２０４は、並び順で前後する映像素材の両方の動画で公知の処理により動体領域を検出し、前方と後方の各動画の動体領域の類似度、モーションベクトルの方向の差を公知の処理により算出する。並び順判定部２０４は、類似度とモーションベクトルの方向の差が所定値を超える場合に整合性がないと判定する。前方、後方の各々のグローバルモーションベクトルのスカラ値が所定値を超える場合、動体領域のモーションベクトルからグローバルモーションベクトルを引いたベクトルの差を算出して整合性判定を行う。

整合性判定は、映像素材を接続することで、映像制作の分野でジャンプカットと呼ばれる映像になるか否かに基づいて行われてもよい。「ジャンプカット」とは、映像素材が接続する部分で、被写体や構図が殆ど同じであるにもかかわらず、被写体が不連続に変化する映像である。例えば、並び順判定部２０４は、並び順で前後する映像素材の両方において特徴点を抽出して各画像間の特徴点のマッチングを行い、抽出した特徴点に対するマッチした特徴点の割合が所定値を超える場合に整合性がないと判定する。ここで、特徴点は、公知の処理により、画像全体に渡り所定数以上が抽出される。

整合性判定は、映像制作の分野でイマジナリーラインと呼ばれる仮想的な線を跨いで撮影された映像素材が編集映像に用いられるか否かに基づいて行われてもよい。「イマジナリーライン」とは、被写体である人物間を結んだ線である。イマジナリーラインを跨いで撮影された映像素材を接続することにより、人物間の位置関係の逆転が生じる。例えば、並び順判定部２０４は、接続する前方と後方の各画像において顔検出を行い、前方の画像と後方の画像との間で同一の顔を認識し、同一と認識された顔の画像上での横方向の並び順を比較する。この並び順が前方と後方の画像で逆転している場合、並び順判定部２０４は、整合性がないと判定する。

並び順判定部２０４は、以上のような整合性判定の基準の少なくとも１つにより整合性の判定を行う他に、整合性判定の基準を組み合わせて整合性判定を行ってもよい。整合性判定の基準を組み合わせる場合、判定結果表示部２０５は、整合性が無いと判定した場合の原因の出力時に、どの基準が原因となっているかを原因となった映像素材とともに表示する。ユーザは、これにより、映像素材の並び替えを容易に行えるようになる。

このように映像編集装置１００は、映像素材の整合性を軽い処理負荷で判定できる。また、整合性が無い場合に、ディスプレイへの表示によりその原因をユーザに提示するために、ユーザは、容易に編集映像の生成のための再設定を行うことができる。

［第２実施形態］
第２実施形態の映像編集装置は、テンプレートに従って映像素材の並び順を作成し、その並び順に対して整合性の判定を行う。映像編集装置のハードウェア構成は第１実施形態の映像編集装置１００と同様であるので説明を省略する。但し、ストレージ１０５は、テンプレートを記憶する。

テンプレートは、ＢＧＭ、複数の素材枠、１以上のエフェクト（エフェクト枠）、及び１以上のトランジション（トランジション枠）が、先頭からの再生時刻であるタイムコードに応じて予め定義されるデータである。素材枠は、映像素材としての静止画又は動画像のデータを挿入するための箱（入れ物）であり、ＢＧＭのテンポの切り替わり等に合わせて配置される。表示枠の並びがテンプレートで指示される並び順となる。素材枠は、静止画を挿入するのか、または動画を挿入するのかが予め定義される。表示枠は、挿入される映像素材に対して、ズームをかける、画像の色をセピア色にする等のエフェクト（効果）が適宜定義される。

図６は、映像編集装置の機能ブロック図である。映像編集装置２００は、ＣＰＵ１０１がコンピュータプログラムを実行することで、各機能として動作する。図２に示す第１実施形態の映像編集装置１００と同じ機能ブロックについては同じ符号を付してある。同じ機能ブロックについては説明を省略する。
第２実施形態の映像編集装置２００の機能ブロックは、第１実施形態の映像編集装置１００の機能ブロックに並び順修正部６０１及びテンプレート記憶部６０８を追加した構成である。また、映像編集装置２００は、第１実施形態の並び順取得部２０３とは異なる機能を有する並び順取得部６０３を備える。テンプレート記憶部６０８は、ストレージ１０５により実現される。なお、各機能は、ソフトウェアにより実現される他に、少なくとも一部をハードウェアにより実現される構成であってもよい。

並び順取得部６０３は、テンプレート記憶部６０８に記憶されるテンプレートに基づいて複数の映像素材を取得し、テンプレートに対応する並び順に従って、複数の映像素材の並び順データを作成する。テンプレート記憶部６０８は、複数のテンプレートを記憶する。テンプレートは、所定のテーマに合わせて複数種類用意される。所定のテーマとは、旅行、キッズ、ライフ、スポーツ、イベント等のカテゴリのなかで設定されている詳細な分類である。１つのカテゴリの中にテイストの異なる何種類かのテーマが存在し、１つのテーマに対応するテンプレートが存在する。各テーマに対して複数のテンプレートを用意してもよい。並び順取得部６０３は、入力部１０６から入力されるユーザの指示に応じてテンプレート記憶部６０８からテンプレートを読み出して、テンプレートに応じた映像素材の並び順を作成する。並び順修正部６０１は、並び順判定部２０４により並び順の整合性が無いと判定された場合に、並び順の修正を行う。

映像編集装置２００は、編集映像生成部２０６により、テンプレートの表示枠に映像素材を挿入することで編集映像を作成する。複数の表示枠は、各々に挿入される映像素材の条件が設定される。条件は、例えば人物が映る映像素材、風景が映る映像素材等の映像素材の特徴や、映像素材の撮影時刻や撮影場所等のメタデータを用いることができる。並び順取得部６０３は、条件を満たす映像素材を順に並べることで映像素材の並び順を決める。編集映像生成部２０６は、映像素材の並び順に応じて、映像効果を付与して編集映像を生成する。
しかし、実際には、テンプレートに設定された条件を満たす映像素材が無く、条件通りの映像素材の並び順とならないことや、テンプレートに設定されていない条件があるなどして、映像素材の並び順の整合性が無くなることがある。そのため映像編集装置２００は、編集映像を作成する前に、作成する編集映像の映像素材の並び順の整合性の判定を行う。

図７は、並び順判定部２０４による映像素材の並び順の整合性判定処理の説明図である。図８は、整合性判定処理を含む映像編集処理を表すフローチャートである。第１実施形態の整合性判定処理（図４参照）と同様の処理については同じステップ番号を付してある。

図７（ａ）は、映像素材記憶部２０１から素材選択部２０２により読み出される、２５個の映像素材Ａ〜Ｙからなる映像素材群１１を表す。素材選択部２０２は、入力部１０６が受け付けたユーザの指示に応じて映像素材記憶部２０１から映像素材を読み出して映像素材群１１を作成する。ユーザは、入力部１０６から使用するテンプレートを指示する。

映像編集装置２００は、並び順取得部６０３により、テンプレートに設定される条件を満たす映像素材を映像素材群１１から選択し、テンプレートに対応する並び順に並べることで映像素材の並び順を表す並び順データを作成する（Ｓ１０１）。並び順取得部６０３が自動で映像素材の並び順を生成するために、条件を満たす複数の並び順が作成されることがある。図７（ｂ）では、映像素材Ａ、映像素材Ｃ、映像素材Ｒ、映像素材Ｋ、映像素材Ｌの並び順１２及び映像素材Ａ、映像素材Ｃ、映像素材Ｋ、映像素材Ｌ、映像素材Ｒの並び順１３が作成される。

並び順判定部２０４は、映像素材の並び順の整合性の判定を行う。そのために並び順判定部２０４は、まず、ユーザの指示に応じて作成された映像素材群１１を、各映像素材に付されるメタデータに応じて分類する。並び順判定部２０４は、映像素材群１１を各映像素材の撮影日時に応じてクラスタリングする（Ｓ１０２）。図７（ｃ）は、並び順判定部２０４が映像素材群１１を撮影時刻が近い順に５つのクラスタ（第１クラスタ２１ａ〜第５クラスタ２１ｅ）に分類した例を表す。なお、第１クラスタ２１ａに含まれる映像素材が最も古いものであり、第２クラスタ２１ｂ〜第４クラスタ２１ｄになるにつれ新しい映像素材となり、第５クラスタ２１ｅに含まれる映像素材が最も新しいものである。

並び順判定部２０４は、並び順１２を構成する映像素材Ａ、Ｃ、Ｒ、Ｋ、Ｌ及び並び順１３を構成する映像素材Ａ、Ｃ、Ｋ、Ｌ、Ｒが、それぞれどのクラスタに分類されるかに基づいて、映像素材の並び順の整合性を判定する（Ｓ１０３）。
図７（ｄ）は、並び順１２を構成する映像素材Ａ、Ｃ、Ｒ、Ｋ、Ｌ及び並び順１３を構成する映像素材Ａ、Ｃ、Ｋ、Ｌ、Ｒが分類されるクラスタの説明図である。並び順１２を構成する映像素材Ａは、第１クラスタ２１ａに分類される。並び順１２を構成する映像素材Ｃは、第１クラスタ２１ａに分類される。並び順１２を構成する映像素材Ｒは、第４クラスタ２１ｄに分類される。並び順１２を構成する映像素材Ｋは、第３クラスタ２１ｃに分類される。並び順１２を構成する映像素材Ｌは、第３クラスタ２１ｃに分類される。映像素材Ｒから映像素材Ｋに移る際に、分類されるクラスタが第４クラスタ２１ｄから第３クラスタ２１ｃとなっており、時刻が遡っていることを表す。これは、時刻の整合性が無いことを表す。
並び順１３を構成する映像素材Ａは、第１クラスタ２１ａに分類される。並び順１３を構成する映像素材Ｃは、第１クラスタ２１ａに分類される。並び順１３を構成する映像素材Ｋは、第３クラスタ２１ｃに分類される。並び順１３を構成する映像素材Ｌは、第３クラスタ２１ｃに分類される。並び順１３を構成する映像素材Ｒは、第４クラスタ２１ｄに分類される。並び順１３では、各映像素材間で時刻が遡っておらず、時刻の整合性が有ることを表す。

並び順判定部２０４は、映像素材群１１を各映像素材の撮影時の位置情報（撮影場所）に応じてクラスタリングする（Ｓ１１２）。図７（ｅ）は、並び順判定部２０４が映像素材群１１を位置情報が近い３つのクラスタ（第１クラスタ２２ａ〜第３クラスタ２２ｃ）に分類した例を表す。第１クラスタ２２ａ〜第３クラスタ２２ｃは、撮影場所の遠近により、距離が遠いものほど離れて配置されている。第３クラスタ２２ｃに分類される映像素材Ｋは、他の映像素材の撮影場所から離れているため右端に配置される。

並び順判定部２０４は、ステップＳ１０３で整合性が有ると判定された並び順１３について整合性の判定を行う（Ｓ１１３）。図７（ｆ）は、並び順１３を構成する映像素材Ａ、Ｃ、Ｋ、Ｌ、Ｒが分類されるクラスタの説明図である。並び順１３を構成する映像素材Ａは、第１クラスタ２２ａに分類される。並び順１３を構成する映像素材Ｃは、第１クラスタ２２ａに分類される。並び順１３を構成する映像素材Ｋは、第３クラスタ２２ｃに分類される。並び順１３を構成する映像素材Ｌは、第１クラスタ２２ａに分類される。並び順１３を構成する映像素材Ｒは、第２クラスタ２２ｂに分類される。

映像素材Ｃから映像素材Ｋに映像が移る際に、分類されるクラスタが第１クラスタ２２ａから第３クラスタ２２ｃとなっており、撮影場所が所定の範囲を超えて大きく離れている。映像素材Ｋから映像素材Ｌに映像が移る際に、分類されるクラスタが第３クラスタ２２ｃから第１クラスタ２２ａとなっており、撮影場所が所定の範囲を超えて大きく離れている。映像素材Ｋの撮影場所のみが前後の映像素材Ｃ、Ｌの撮影場所から所定の範囲を超えて大きく離れており、撮影場所の整合性が無いことを表す。そのために、並び順判定部２０４は、並び順１３を構成する映像素材Ａ、Ｃ、Ｋ、Ｌ、Ｒは整合性が無いと判断する。

並び順判定部２０４が映像素材の並び順の整合性が無いと判定する場合（Ｓ１０４：N）、並び順修正部６０１は、並び順を整合性が有るように修正する（Ｓ１１４）。図７の例では、並び順１２の映像素材Ｒと映像素材Ｋとが、整合性が無いと判断された原因である。並び順１３では、映像素材Ｋが、整合性が無いと判断された原因である。並び順修正部６０１は、整合性が無い原因に基づいて並び順の修正を行う。
この場合、並び順修正部６０１は、先に判定された撮影時刻による整合性が有る並び順１３について修正を行う。並び順修正部６０１は、例えば並び順１３の整合性が無い原因である映像素材Ｋを削除する。並び順を構成する映像素材の削除ができない場合、並び順修正部６０１は、撮影場所が近い第２クラスタ２２ａに分類され、かつ、時刻の整合性が成り立つ第１クラスタ２１ａ又は第３クラスタ２１ｃに分類される映像素材を映像素材Ｋと置き換える。

並び順判定部２０４が映像素材の並び順の整合性が有ると判定する場合（Ｓ１０４：Y）、或いは並び順の修正後に、編集映像生成部２０６は、並び順に応じて映像素材を編集して編集映像を生成する。編集映像生成部２０６は、生成した編集映像のデータを編集映像記憶部２０７に記憶する（Ｓ１０５）。
なお、並び順判定部２０４は、第１実施形態と同様に、整合性判定の基準に映像素材の様々な属性を用いることができる。

以上のように、映像編集装置２００は、映像素材の整合性を軽い処理負荷で判定し、整合性が無い場合に、並び順の整合性が成り立つように並び順を修正して編集映像を作成することができる。ユーザは、テンプレートを指示するだけで、容易に編集映像を得ることができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (18)

1. 複数の映像素材の並び順を取得する並び順取得手段と、
   前記複数の映像素材の各々の属性に応じて前記複数の映像素材の前記並び順の整合性を判定する並び順判定手段と、
   前記複数の映像素材の前記並び順の整合性が有ると判定されると、前記並び順に応じて前記複数の映像素材を編集して編集映像を生成する編集映像生成手段と、を備えることを特徴とする、
   映像編集装置。
2. ユーザによる指示を受け付ける入力手段を備えており、
   前記並び順取得手段は、前記入力手段で受け付けられた前記指示に応じて、選択された前記複数の映像素材の前記並び順を取得することを特徴とする、
   請求項１記載の映像編集装置。
3. 前記複数の映像素材の前記並び順の整合性が無いと判定されると、その判定結果及び整合性が無いと判定された原因を所定のディスプレイに表示する判定結果表示手段を備えており、
   前記並び順取得手段は、前記ディスプレイの表示に応じて前記入力手段が受け付けた指示に応じて、前記並び順を修正することを特徴とする、
   請求項２記載の映像編集装置。
4. 前記複数の映像素材の前記並び順の整合性が無いと判定されると、整合性が有ると判定されるように前記並び順を修正する並び順修正手段を備えることを特徴とする、
   請求項１又は２記載の映像編集装置。
5. 各々に挿入される映像素材の条件が設定される複数の表示枠を有するテンプレートを記憶する記憶手段を備えており、
   前記並び順取得手段は、前記表示枠に設定される前記条件に基づいて、前記テンプレートに従う前記複数の映像素材の前記並び順を取得することを特徴とする、
   請求項４記載の映像編集装置。
6. 前記並び順判定手段は、前記複数の映像素材のメタデータ及び画像特徴の少なくとも１つに応じて、前記並び順の整合性を判定することを特徴とする、
   請求項１〜５のいずれか１項記載の映像編集装置。
7. 前記並び順判定手段は、前記複数の映像素材の画像特徴の特徴量が所定値を超える場合に、前記並び順の整合性が無いと判定することを特徴とする、
   請求項６記載の映像編集装置。
8. 前記並び順判定手段は、前記複数の映像素材の撮影時刻が順当に経過しているか否かにより、前記並び順の整合性を判定することを特徴とする、
   請求項６記載の映像編集装置。
9. 前記並び順判定手段は、前記複数の映像素材の撮影場所が所定の範囲を超えて離れているか否かにより、前記並び順の整合性が無いと判定することを特徴とする、
   請求項６記載の映像編集装置。
10. 前記並び順判定手段は、前記複数の映像素材の被写体の出現及び消失に応じて、前記並び順の整合性を判定することを特徴とする、
    請求項６記載の映像編集装置。
11. 前記並び順判定手段は、前記複数の映像素材の並び順で前後する映像素材間の輝度の変化に応じて、前記並び順の整合性を判定することを特徴とする、
    請求項６記載の映像編集装置。
12. 前記並び順判定手段は、前記複数の映像素材の並び順で前後する映像素材間のグローバルモーションベクトルの差のスカラ値に応じて、前記並び順の整合性を判定することを特徴とする、
    請求項６記載の映像編集装置。
13. 前記並び順判定手段は、前記複数の映像素材の並び順で前後する映像素材の動体領域の類似度及びモーションベクトルの方向の差に応じて、前記並び順の整合性を判定することを特徴とする、
    請求項６記載の映像編集装置。
14. 前記並び順判定手段は、前記複数の映像素材の並び順で前後する映像素材間の特徴点のマッチングの割合に応じて、前記並び順の整合性を判定することを特徴とする、
    請求項６記載の映像編集装置。
15. 前記並び順判定手段は、前記複数の映像素材の並び順で前後する映像素材間で、被写体の並び順が逆転しているか否かにより、前記並び順の整合性を判定することを特徴とする、
    請求項６記載の映像編集装置。
16. 複数の映像素材を編集する映像編集装置により実行される方法であって、
    前記複数の映像素材の並び順を取得するステップと、
    前記複数の映像素材の各々の属性に応じて前記複数の映像素材の前記並び順の整合性を判定するステップと、
    前記複数の映像素材の前記並び順の整合性が有ると判定されると、前記並び順に応じて前記複数の映像素材を編集して編集映像を生成するステップと、を含むことを特徴とする、
    映像編集方法。
17. 複数の映像素材を編集するコンピュータに、
    前記複数の映像素材の並び順を取得するステップ、
    前記複数の映像素材の各々の属性に応じて前記複数の映像素材の前記並び順の整合性を判定するステップ、
    前記複数の映像素材の前記並び順の整合性が有ると判定されると、前記並び順に応じて前記複数の映像素材を編集して編集映像を生成するステップ、
    を実行させるためのコンピュータプログラム。
18. 請求項１７記載のコンピュータプログラムをコンピュータが読み取り可能に記憶する記憶媒体。

Images