JP2011071813A - ３次元に表示された動画コンテンツ編集プログラム、装置及び方法 - Google Patents

Abstract

【課題】多数のコンテンツオブジェクトを編集する際に、各コンテンツオブジェクトの内容に応じて、ユーザの視覚的な編集操作を容易にすることができる動画コンテンツ編集プログラム、装置及び方法を提供する。
【解決手段】コンテンツオブジェクトは、時刻と、その内容に関係する１つ以上のタグ情報とを含んでおり、コンテンツオブジェクトを、３次元空間に並べて表示する。ｘ軸は、所定時間範囲に区分され、ｙ軸は、タグ情報の組み合わせに応じて異なるタイムラインに区分され、コンテンツオブジェクト毎に当該時刻及びタグ情報に応じてｘ軸及びｙ軸の空間に配置される。また、同一の所定時間範囲に含まれ且つ同一のタグ情報を有する複数のコンテンツオブジェクトは、ｚ軸に並べて表示される。
【選択図】図２

Description

本発明は、動画コンテンツ編集プログラム、サーバ、装置及び方法に関する。特に、ＣＧＭ(Customer Generation Media)に対する簡易な動画編集におけるユーザインタフェースに関する。

従来、映像や音声を含む動画コンテンツを、ハードディスクのような記憶装置に蓄積し、編集（例えばトリミングやクリッピング）することができる装置がある。例えば、家庭用ＡＶ(Audio-Visual)機器やパーソナルコンピュータが用いられる。このような装置は、コンテンツを再生すると同時に、ユーザからの編集操作を受け付け、その操作に応じてコンテンツを編集する。

動画コンテンツを編集するためにディスプレイに表示されるユーザインタフェースとして、通常、「タイムライン編集」が用いられる。タイムライン編集によれば、動画コンテンツの時系列の流れの中で、ストーリーを構成する画像が並ぶユーザインタフェースを有する。これによって、ユーザは、視覚的に編集しやすくなる。ユーザは、タイムラインに表示されている画像の位置（時刻）を、別の位置に移動させたり、その位置に別の画像を上書きすることもできる。また、画像の加工に限られず、ＢＧＭ(Back Ground Music)や効果音を挿入することもできる。

近年、タイムライン編集技術によれば、「ストーリーボード(Storyboard)」が注目されている。ストーリーボードとは、動画を構成するコンテンツオブジェクト(Contents Object)毎に１コマのサムネイルを割り当て、複数のサムネイルを時系列に並べたもの（タイムライン）である。これによって、ユーザは、視覚的に簡単に、コンテンツオブジェクト単位での追加、削除、挿入等をすることができる。ストーリーボードによれば、動画コンテンツは、複数のコンテンツオブジェクトから構成される。コンテンツオブジェクトは、TimelineGroupクラスから派生したコンテナタイムラインの型であり、任意の型のTimelineを格納することができる。

図１は、従来技術におけるストーリーボードの表示画面である。

図１によれば、指定されたコンテンツオブジェクトを再生するプレイビューと、コンテンツオブジェクトリストと、ストーリーボードとが表示されている。

ストーリーボードにおける基本的な編集操作は、ドラッグ＆ドロップであり、トリミングしたコンテンツオブジェクト（カットオブジェクト）を移動させる。これによって、コンテンツオブジェクトが時系列に結合され、再生順序が変更される。

また、他の編集操作として、シーン切替効果（トランジション(transition)）を設定することもできる。トランジション操作は、ストーリーボードの中に、マウスでトランジションを置いていく感じで、直感的に操作することができる。

他の技術として、サーバに保存された画像コンテンツを、端末で編集する技術がある（例えば特許文献１参照）。この技術によれば、端末は、サーバから、画像コンテンツにおけるサムネイル画像を受信し、そのサムネイル画像の再生手順を示すプレイリストデータを生成し且つ編集する。プレイリストデータは、ユーザの操作に基づいて、サムネイル画像を自由に配置することができる。

また、動画コンテンツを自動編集する技術もある（例えば特許文献２参照）。この技術によれば、編集シナリオを予め作成し、その後、映像が撮影される。編集シナリオと、撮影データとが１対１に関連付けられる。これによって、その編集シナリオに応じて、動画コンテンツが自動的に編集される。

特開２００４−３３６３４３号公報 特開２００５−０３９６８５号公報 特開２００８−１４７７２６号公報 特開２００９−１２３０９５号公報

特許文献１に記載された技術によれば、ユーザインタフェースには、コンテンツオブジェクトを表す複数のサムネイルが、単一のタイムラインに配置されている。この場合、編集すべきコンテンツオブジェクトの数が多いと、単一のタイムラインに多数のサムネイル画像が並ぶ。従って、コンテンツ全体の多数のサムネイルを同時に表示することが難しく、ユーザは、部分的な編集操作を繰り返さなければならず、編集操作性が低下する。また、ディスプレイサイズが小さい携帯端末になるほど、その編集操作性も著しく低下する。

そこで、本発明は、多数のコンテンツオブジェクトを編集する際に、各コンテンツオブジェクトの内容に応じて、ユーザの視覚的な編集操作を容易にすることができる動画コンテンツ編集プログラム、装置及び方法を提供することを目的とする。

本発明によれば、時刻を含む複数のコンテンツオブジェクトをユーザに編集させるためのユーザインタフェースを表示する装置について、その装置に搭載されたコンピュータを機能させる動画コンテンツ編集プログラムにおいて、
コンテンツオブジェクトは、その内容に関係する１つ以上のタグ情報を更に含んでおり、
コンテンツオブジェクトを、３次元空間に並べて表示するものであって、ｘ軸を所定時間範囲に区分し、ｙ軸をタグ情報の組み合わせに応じて異なるタイムラインに区分し、コンテンツオブジェクト毎に当該時刻及びタグ情報に応じてｘ軸及びｙ軸の空間に配置すると共に、同一の所定時間範囲に含まれ且つ同一のタグ情報を有する複数のコンテンツオブジェクトをｚ軸に並べて表示するユーザインタフェース制御手段を有するようにコンピュータを機能させることを特徴とする。

本発明のコンテンツ編集プログラムにおける他の実施形態によれば、
ユーザインタフェース制御手段は、当該コンテンツオブジェクトの時間長に基づいて、ｚ軸における位置、及び／又は、当該コンテンツオブジェクトの表示サイズを、可変するようにコンピュータを機能させることも好ましい。

本発明のコンテンツ編集プログラムにおける他の実施形態によれば、
コンテンツオブジェクト毎に、全フレーム数に対して所定閾値以上のノイズを含むフレーム数の割合、及び／又は、ノイズ量を算出するノイズ検出手段を更に有し、
ユーザインタフェース制御手段は、当該コンテンツオブジェクトにおけるノイズを含むフレーム数の割合、及び／又は、ノイズ量に基づいて、ｚ軸における位置、及び／又は、当該コンテンツオブジェクトの表示サイズを、可変するようにコンピュータを機能させることも好ましい。

本発明のコンテンツ編集プログラムにおける他の実施形態によれば、
コンテンツオブジェクト毎に、全フレーム数に対して、人物領域を含むフレーム数の割合、並びに／又は、顔領域の大きさ及び／若しくは顔の向きを算出する人物領域検出手段を更に有し、
ユーザインタフェース制御手段は、当該コンテンツオブジェクトにおける人物領域を含むフレーム数の割合、並びに／又は、顔領域の大きさ及び／若しくは顔の向きに基づいて、ｚ軸における位置、及び／又は、当該コンテンツオブジェクトの表示サイズを、可変するようにコンピュータを機能させることも好ましい。

本発明のコンテンツ編集プログラムにおける他の実施形態によれば、
コンテンツオブジェクト毎に、全フレーム数に対して、特定の特徴量の割合を算出する特徴量検出手段を更に有し、
ユーザインタフェース制御手段は、当該コンテンツオブジェクトにおける特定の特徴量の割合に基づいて、ｚ軸における位置、及び／又は、当該コンテンツオブジェクトの表示サイズを、可変するようにコンピュータを機能させることも好ましい。

本発明のコンテンツ編集プログラムにおける他の実施形態によれば、
コンテンツオブジェクトは、その内容に関係する第１のタグ情報及び第２のタグ情報を含んでおり、
ユーザインタフェース制御手段は、ｙ軸を第１のタグ情報の組み合わせに応じて異なるタイムラインに区分すると共に、ｚ軸方向に並ぶ複数のコンテンツオブジェクトに対して、第２のタグ情報が異なるコンテンツオブジェクトをｘ軸方向に並べて表示することも好ましい。

本発明のコンテンツ編集プログラムにおける他の実施形態によれば、ユーザインタフェース制御手段は、３次元空間の座標軸を、所定角度、回転させることができるようにコンピュータを機能させることも好ましい。

本発明のコンテンツ編集プログラムにおける他の実施形態によれば、ユーザインタフェース制御手段は、表示すべきコンテンツオブジェクトを、いずれか１つのフレームに基づくサムネイルとするようにコンピュータを機能させることも好ましい。

本発明によれば、時刻を含む複数のコンテンツオブジェクトをユーザに編集させるためのユーザインタフェースを表示する動画コンテンツ編集装置において、
コンテンツオブジェクトは、その内容に関係する１つ以上のタグ情報を更に含んでおり、
コンテンツオブジェクトを、３次元空間に並べて表示するものであって、ｘ軸を所定時間範囲に区分し、ｙ軸をタグ情報の組み合わせに応じて異なるタイムラインに区分し、コンテンツオブジェクト毎に当該時刻及びタグ情報に応じてｘ軸及びｙ軸の空間に配置すると共に、同一の所定時間範囲に含まれ且つ同一のタグ情報を有する複数のコンテンツオブジェクトをｚ軸に並べて表示するユーザインタフェース制御手段を有することを特徴とする。

本発明によれば、時刻を含む複数のコンテンツオブジェクトをユーザに編集させるためのユーザインタフェースを表示する装置における動画コンテンツ編集方法において、
コンテンツオブジェクトは、その内容に関係する１つ以上のタグ情報を更に含んでおり、
コンテンツオブジェクトを、３次元空間に並べて表示するものであって、ｘ軸を所定時間範囲に区分し、ｙ軸をタグ情報の組み合わせに応じて異なるタイムラインに区分し、コンテンツオブジェクト毎に当該時刻及びタグ情報に応じてｘ軸及びｙ軸の空間に配置すると共に、同一の所定時間範囲に含まれ且つ同一のタグ情報を有する複数のコンテンツオブジェクトをｚ軸に並べて表示することを特徴とする。

本発明の動画コンテンツ編集プログラム、サーバ、装置及び方法によれば、多数のコンテンツオブジェクトを編集する際に、各コンテンツオブジェクトの内容に応じて、ユーザの視覚的な編集操作を容易にすることができる。

従来技術におけるストーリーボードの表示画面である。 本発明における動画コンテンツ編集用のユーザインタフェースである。 本発明における端末の機能構成図である。 コンテンツオブジェクトリストの表示画面である。 図４に対する第１のユーザインタフェースの表示画面である。 図４に対する第２のユーザインタフェースの表示画面である。 図４に対する第３のユーザインタフェースの表示画面である。 第４のユーザインタフェースの表示画面である。 本発明を適用可能なシステムの構成図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

本発明によれば、編集対象となるコンテンツオブジェクトは、動画であって、時間的に分割されたものである。コンテンツオブジェクトは、例えば家庭用ビデオカメラで撮影されたような映像及び音声であってもよい。コンテンツオブジェクト毎に、撮影された「時刻」が付加されており、複数のコンテンツオブジェクトを時系列に並べることができる。例えば、子供の運動会を撮影した場合、その運動会のシーンの中で撮影された時刻に応じて、複数のコンテンツオブジェクトを時系列に並べることができる。

また、本発明におけるコンテンツオブジェクトは、その内容に関係する複数の「タグ情報」を含む。タグ情報とは、編集操作の際にユーザが想定するキーワードであって、例えば当該コンテンツオブジェクトの映像に映る「人物名」であってもよいし、その映像のシーンを表す「シーンイベント名」であってもよい。例えば、子供の運動会を撮影した場合、その映像に映る「子供の名前」又は「競技種目名」等の「タグ情報」が付加される。

図２は、本発明における動画コンテンツ編集用のユーザインタフェースである。

図２によれば、複数のコンテンツオブジェクトが、３次元空間に並べて表示されている。各コンテンツオブジェクトは、そのコンテンツが撮影された「時刻」と、その内容に関係する１つ以上の「タグ情報」とを含む。図２によれば、ｘ軸は時間軸であり、所定時間範囲に区分される。また、ｙ軸は、タグ情報軸であり、タグ情報の組み合わせに応じて異なるタイムラインに区分される。そして、各コンテンツオブジェクトは、当該時刻及びタグ情報に応じてｘ軸及びｙ軸の空間に配置される。

ここで、本発明によれば、同一の所定時間範囲に含まれ且つ同一のタグ情報を有する複数のコンテンツオブジェクトは、ｚ軸に並べて表示される。また、表示されるコンテンツオブジェクトは、いずれか１つのフレームに基づくサムネイルであってもよい。そのサムネイルが、ｚ軸に重畳的に並べて表示される。

図２によれば、ｘ軸は、１５分毎の時間範囲で区切られている。また、ｙ軸は、タグ情報Ａ及びＢの両方を含むタイムラインと、タグ情報Ａのみを含むタイムラインと、タグ情報Ｂのみを含むタイムラインとに区切られている。例えば、「11:17」「11:20」及び「11:23」に撮影され且つタグ情報Ａ及びＢを有する３つのコンテンツオブジェクトは、ｘ軸における「11:15〜11:29」の時間範囲であって、ｙ軸における「タグ情報ＡandＢ」のタイムラインに、ｚ軸に並べて表示される。

図２のように、３次元インタフェースは、２次元インタフェースと比較して、ユーザは、多数のコンテンツオブジェクトを１枚のディスプレイで視認することができる。尚、ユーザが、ｚ軸方向から見て、複数のコンテンツオブジェクトが完全に重ならないように、少しずらして表示することも好ましい。これによって、狭い表示範囲に、多数のコンテンツオブジェクトを重畳的に表示することができる。

図３は、本発明における端末の機能構成図である。

ユーザは、端末１を用いて、動画コンテンツに対して編集操作をする。端末１は、例えばパーソナルコンピュータであってもよいし、携帯端末又は携帯電話機であってもよい。

端末１は、アクセスネットワーク及びインターネットを介して、コンテンツサーバ２から、コンテンツオブジェクトを受信することができる。コンテンツサーバ２は、家庭用のオンラインストレージのようなサイトである。コンテンツサーバ２は、撮影された動画コンテンツをビデオカメラ３から受信し、その動画コンテンツを蓄積する。

また、端末１は、ビデオカメラ３から、ネットワークを介して又はケーブルを介して直接的に、コンテンツオブジェクトを受信するものであってもよい。

端末１は、ディスプレイ部１０１と、ユーザ操作部１０２と、通信インタフェース部１０３と、コンテンツ蓄積部１０４とを有する。ディスプレイ部１０１は、ユーザに対して、動画コンテンツを編集するための視覚的なユーザインタフェースの画面を表示する。ユーザ操作部１０２は、ユーザの編集操作を受け付ける。通信インタフェース部１０３は、コンテンツサーバ２又はビデオカメラ３からコンテンツオブジェクトを受信する。コンテンツ蓄積部１０４は、編集すべきコンテンツオブジェクトを蓄積する。

また、端末１は、ユーザインタフェース制御部１１１と、コンテンツ受信部１１２と、コンテンツ生成部１１３と、顔画像登録部１２１と、顔画像認証部１２２と、タグ情報付加部１２３と、ノイズ検出部１２４と、人物領域検出部１２５と、特徴量検出部１２６とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

ユーザインタフェース制御部１１１は、前述した図２のようなユーザインタフェースを、ディスプレイ部１０１に表示するべく制御する。ここで、複数のコンテンツオブジェクトが、３次元空間に自動的に並べられる。ユーザインタフェース制御部１１１は、表示すべきコンテンツオブジェクトとして、いずれか１つのフレームに基づくサムネイルを表示する。

コンテンツ受信部１１２は、通信インタフェース部１０３を介して、コンテンツオブジェクトを受信する。受信されたコンテンツオブジェクトは、コンテンツ蓄積部１０４へ出力される。

コンテンツ生成部１１３は、タイムライン毎に、コンテンツオブジェクトを結合する。例えば、時間経過（ｘ軸）に伴って、タグ情報（ｙ軸）毎のタイムラインに沿って、複数のコンテンツオブジェクトを結合することができる。また、同一時間範囲（ｚ軸）の複数のコンテンツオブジェクトを結合することもできる。

顔画像登録部１２１は、人物の名前と、その人物の顔画像とを予め登録する。また、顔画像認証部１２２は、コンテンツオブジェクトの映像から、顔画像登録部１２１に蓄積された顔画像を認証し、人物の名前を導出する。顔認識システム(Facial Recognition System)は、デジタルカメラでは一般的に搭載されている機能である。

タグ情報付加部１２３は、コンテンツオブジェクトに、顔認証部１２２から出力された人物の名前を、タグ情報として付加する。また、タグ情報付加部１２３は、シーン、場面転換及び／又は無音状態をタグ情報として、コンテンツオブジェクトに自動的に付加するものであってもよい。勿論、タグ情報付加部１２３は、ユーザがユーザ操作部１０２を介して、特定のタグ情報を入力するものであってもよい。例えば運動会の競技種目のようなイベント名称を、タグ情報として付加する場合である。

ノイズ検出部１２４は、コンテンツオブジェクト毎に、全フレーム数に対して、所定閾値以上のノイズを含むフレーム数の割合、及び／又は、ノイズ量を算出する。それら数値が、コンテンツオブジェクトに付加される。

人物領域検出部１２５は、コンテンツオブジェクト毎に、全フレーム数に対して、人物領域を含むフレーム数の割合、並びに／又は、顔領域の大きさ及び／若しくは顔の向きを算出する。それら数値が、コンテンツオブジェクトに付加される。

特徴量検出部１２６は、コンテンツオブジェクト毎に、全フレーム数に対して、特定の特徴量の割合を算出する。その割合が、コンテンツオブジェクトに付加される。

尚、コンテンツサーバ２又はビデオカメラ３が、顔画像登録部と、顔画像認証部と、タグ情報付加部と、ノイズ検出部と、人物領域検出部と、特徴量検出部とを有することも好ましい。この場合、端末１にこれら機能を搭載する必要がない。近年のデジタルビデオカメラには、顔認識システムを既に搭載したものも多い。そのために、ビデオカメラ３から出力される動画コンテンツには、各コンテンツオブジェクトに既にタグ情報が含まれていることも好ましい。これによって、端末１が、携帯電話機のように処理能力が低い端末であっても、ユーザインタフェース制御部１１１のみを実行すればよい。

また、端末１は、コンテンツサーバ２へ、タグ情報をキーとして送信することによって、ダウンロードすべきコンテンツオブジェクトを絞り込むこともできる。端末１は、編集操作に不要なコンテンツオブジェクトをダウンロードする必要がなくなる。

図４は、コンテンツオブジェクトリストの表示画面である。

図４によれば、例えば、編集対象となる動画コンテンツは、兄弟２人「令子」「幸一」の子供のいる家庭で、２人が通っている小学校の運動会をホームビデオカメラで撮影したものであるとする。動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトである。

図４のコンテンツオブジェクトリストによれば、複数のコンテンツオブジェクトには、撮影日時と、タグ情報とが含まれている。各コンテンツオブジェクトには、その映像に映る子供の名前が、タグ情報として含まれる。例えば、予め子供の顔を登録し、顔認証によって自動的に子供の名前を導出することができる。
「令子」及び「幸一」の両方が映るコンテンツオブジェクト
：（ＣＯ１、 ＣＯ６）
「令子」が映るコンテンツオブジェクト
：（ＣＯ１、ＣＯ２、 ＣＯ６）
「令子」のみが映るコンテンツオブジェクト
：（ ＣＯ２、 ）
「幸一」が映るコンテンツオブジェクト
：（ＣＯ１、 ＣＯ３、ＣＯ４、ＣＯ５、ＣＯ６）
「幸一」のみが映るコンテンツオブジェクト
：（ ＣＯ３、ＣＯ４、ＣＯ５ ）

図５は、図４に対する第１のユーザインタフェースの表示画面である。

図５（ａ）によれば、ｘ軸は、３つの時間範囲、例えば「13:00〜13:14」「13:15〜13:29」「13:30〜13:44」に区切られている。ｘ軸について、「13:00〜13:14」にはＣＯ１が並び、「13:15〜13:29」にはＣＯ２〜５が並び、「13:30〜13:45」にはＣＯ６が並んでいる。

また、ｙ軸は、３つのタイムライン、例えばタグ情報「令子及び幸一」「令子」「幸一」に流れている。ｙ軸について、第１のタイムラインには「令子及び幸一」を含むＣＯ１及びＣＯ６が並び、第２のタイムラインには「令子」のみを含むＣＯ２が並び、第３のタイムラインには「幸一」のみを含むＣＯ３〜５が並んでいる。

図５（ａ）によれば、複数のコンテンツオブジェクトにおける時系列は常に維持される。ここで、タイムラインに応じて、コンテンツを生成し又は再生することができる。
「令子」及び「幸一」が映るコンテンツオブジェクトの第１のタイムライン
：（ＣＯ１、 ＣＯ６）
「令子」が映るコンテンツオブジェクトの第２のタイムライン
：（ＣＯ１、ＣＯ２、 ＣＯ６）
第２のタイムラインは、タグ情報「令子」及び「幸一」を含むＣＯ１から、「令子」のみを含むＣＯ２へ遷移し、次に、タグ情報「令子」及び「幸一」を含むＣＯ６へ遷移する。
「幸一」が映るコンテンツオブジェクトの第３のタイムライン
：（ＣＯ１、 ＣＯ３、ＣＯ４、ＣＯ５、ＣＯ６）
第３のタイムラインは、タグ情報「令子」及び「幸一」を含むＣＯ１から、「幸一」のみを含むＣＯ３、４及び５へ遷移し、次に、タグ情報「令子」及び「幸一」を含むＣＯ６へ遷移する。このような表示は、ユーザインタフェース制御部によって制御される。

図５（ａ）によれば、例えば１つのタイムラインを、不要であるとして、視覚的に削除することもできる。ユーザが、「幸一」に関するタイムラインを不要と操作した場合、第３のタイムラインを表示せず、第１及び第２のタイムラインのみを表示すればよい。これによって、ユーザにとっては、視覚的に編集操作が容易になる。

図５（ａ）によれば、運動会を想定した場合、同一の所定時間範囲に且つ同一の子供が撮影された複数のコンテンツオブジェクトが、ｚ軸に並ぶ。コンテンツを編集するユーザにとっては、その瞬間に撮影される子供のコンテンツオブジェクトは、１つで十分である場合がある。そのために、ユーザは、ｚ軸に並列に並ぶコンテンツオブジェクトの中で、いずれか１つを選択することもできる。

図５（ｂ）によれば、ｚ軸に並列に表示されるコンテンツオブジェクトＣＯ３、４及び５について、ユーザから見て、手前のコンテンツオブジェクトを大きく表示し、奥のコンテンツオブジェクトを小さく表示する。人間の視覚的な遠近感覚を利用する。

図６は、図４に対する第２のユーザインタフェースの表示画面である。

図６（ａ）によれば、「時間長」「ノイズ」「人物領域」「特徴量」によって、コンテンツオブジェクトにおけるｚ軸の位置が可変されている。

第１に、ｚ軸のコンテンツオブジェクトは、「時間長」によって重畳的に並べられてもよい。ｚ軸に並べて表示すべき複数のコンテンツオブジェクトについて、時間長が長いコンテンツオブジェクトほど、ｚ軸におけるユーザ側手前から順に表示される。これによって、ユーザは、時間長を意識しながら、コンテンツオブジェクトを編集することができる。

第２に、ｚ軸のコンテンツオブジェクトは、「ノイズ」によって重畳的に並べられてもよい。コンテンツオブジェクト毎に、全フレーム数に対する、所定閾値以上のノイズを含むフレーム数の割合、及び／又は、ノイズ量を算出する技術がある（例えば特許文献３参照）。この技術を用いることによって、ノイズフレームの割合の百分率、及び／又は、ノイズ量自体を、ｚ軸に割り当てることができる。ｚ軸に並べて表示すべき複数のコンテンツオブジェクトについて、ノイズが低いコンテンツオブジェクトほど、ｚ軸におけるユーザ側手前から順に表示する。これによって、ユーザは、ノイズを意識しながら、コンテンツオブジェクトを編集することができる。

第３に、ｚ軸のコンテンツオブジェクトは、「人物領域」によって重畳的に並べられてもよい。コンテンツオブジェクト毎に、全フレーム数に対する、所定閾値以上の人物領域を含むフレーム数の割合を算出する技術がある（例えば特許文献４参照）。また、この技術によれば、顔領域の大きさ及び／若しくは顔の向きも、数値として算出することができる。この技術を用いることによって、人物領域に関するこれら数値をｚ軸に割り当てることができる。ｚ軸に並べて表示すべき複数のコンテンツオブジェクトについて、人物領域に関する数値が高いコンテンツオブジェクトほど、ｚ軸におけるユーザ側手前から順に表示する。例えば、人物領域が広く、顔領域も広く且つ顔が正面を向いているコンテンツオブジェクトを、ユーザ側手前に表示することもできる。これによって、ユーザは、人物領域を意識しながら、コンテンツオブジェクトを編集することができる。

第４に、ｚ軸のコンテンツオブジェクトは、「特徴量」によって重畳的に並べられてもよい。コンテンツオブジェクト毎に、全フレーム数に対する、特定の特徴量の割合を算出する。特徴量とは、コンテンツオブジェクトの画像フレームについて、例えば、色、形状、模様等の特徴を数値化し、そのスカラー値を組にして特徴ベクトルとしたものである。この技術を用いることによって、特定の特徴量の割合の百分率をｚ軸に割り当てることができる。これによって、ユーザは、特定の特徴量の割合を意識しながら、コンテンツオブジェクトを編集することができる。

図６（ｂ）によれば、「時間長」「ノイズ」「人物領域」「特徴量」によって、コンテンツオブジェクトの表示サイズが可変されている。図６（ｂ）によれば、時間長が長く、ノイズの割合が少なく、人物領域の割合が大きく、又は、特定の特徴量が大きい、コンテンツオブジェクトほど、大きい表示サイズで表示される。

尚、「時間長」「ノイズ」「人物領域」「特徴量」が所定閾値範囲外となるコンテンツオブジェクトは、編集対象とならないものとして、自動的に表示しないようにすることもできる。

図７は、図４に対する第３のユーザインタフェースの表示画面である。

３次元空間の座標軸は、ユーザの操作に応じて、所定角度、回転させることができる。例えば、ポインティングデバイス（例えばマウス）又はタッチパネルによって、座標軸を回転させることができる。ここで、端末が、加速度センサ（又は６軸センサ）を搭載している場合、その端末自体を、傾斜させたり前後左右に振ることによって、座標軸の傾きを変えることもできる。

図７（ｂ）によれば、図７（ａ）の座標軸について、ｘ軸をユーザ側正面に向けたものである。このとき、全てのサムネイルを側面から見ることになり、ユーザからサムネイルの画像を視認できない。このとき、ユーザの操作に応じて、ユーザインタフェースの特定点を、タッチ（ポインティングデバイスによるボタンの押下）することによって、図７（ｃ）のように視点を変更することもできる。これによって、ユーザは、ｚ軸に並ぶサムネイルの画像を、シーケンス的に並べて表示させることができる。ｚ軸に並ぶ複数のコンテンツオブジェクトを、プレイビュー的に再生することもできる。

図５〜図７で説明したユーザインタフェースに表示されるコンテンツオブジェクトは、ユーザによる条件情報によって絞り込まれていることも好ましい。例えば、ユーザが、以下の条件情報を設定する。
［ケース１］
タグ情報：「令子」「幸一」
時間長 ：「３分以下」
ノイズ ：「１０％以下」
人物領域：「５０％以上」
特徴量 ：「・・・」
［ケース２］
タグ情報：「令子」「幸一」
時間長 ：「３分以下」
ノイズ ：ＡＮＹ
人物領域：ＡＮＹ
特徴量 ：ＡＮＹ
個々のコンテンツオブジェクトの尺の長さを短時間に統一して、編集をしやすくする。
［ケース３］
タグ情報：「令子」「幸一」
時間長 ：ＡＮＹ
ノイズ ：「１０％以下」
人物領域：ＡＮＹ
特徴量 ：ＡＮＹ
個々のコンテンツオブジェクトのノイズの量を均等にすることにより、視聴者にとって見やすい動画を作成する場合に適する。
［ケース４］
タグ情報：「令子」「幸一」
時間長 ：ＡＮＹ
ノイズ ：ＡＮＹ
人物領域（全体）：５０％以上
特徴量 ：ＡＮＹ
景色等を省いた、人物主体の動画を作成する場合に適する。
［ケース５］
タグ情報：「令子」「幸一」
時間長 ：ＡＮＹ
ノイズ ：ＡＮＹ
人物領域（顔）：５０％以上
特徴量 ：ＡＮＹ
顔が大きく写っているコンテンツだけを使用したアルバム的な動画を作成する場合に適する
［ケース６］
タグ情報：「令子」「幸一」
時間長 ：ＡＮＹ
ノイズ ：ＡＮＹ
人物領域（顔 正面）：５０％以上
特徴量 ：ＡＮＹ
卒業アルバム/名簿的な動画を作成するのに適する

このような条件情報に該当するコンテンツオブジェクトのみを、ユーザインタフェースに表示することによって、ユーザは、コンテンツオブジェクトの編集操作が容易になる。

また、図５〜図７で説明したユーザインタフェースは、ズームイン及びズームアウトの機能も有し、ユーザの視点を更に変更することができる。また、コンテンツオブジェクトに対して、ユーザのドラッグ＆ドロップの操作をすることもでき、コンテンツオブジェクトを移動させることによって、タイムラインの遷移を更新することもできる。更に、例えば、ユーザが、マウスに対して逆クリック操作をすることによって、メニュー画面を表示し、コンテンツオブジェクトの「追加」「削除」「並べ替え」「分離」等の操作をすることもできる。更に、タイムラインにおけるコンテンツオブジェクト間のトランジションを追加することもできる。例えば、例えば「フェードイン」「フェードアウト」「クロスフェード」がある。

図８は、第４のユーザインタフェースである。

図８（ａ）によれば、図４と比較して、第１のタグ情報及び第２のタグ情報が付与されている。例えば、第１のタグ情報は「人物名」を表しているのに対し、第２のタグ情報は「シーンイベント」を表している。

図８（ｂ）は、図８（ａ）のコンテンツオブジェクトを座標軸に並べたものである。ここで、時刻[13:15〜13:30］に、コンテンツオブジェクトＣＯ２〜ＣＯ５が配置される。図５〜７によれば、コンテンツオブジェクトＣＯ３〜ＣＯ５は、ｚ軸方向に並べられる。これに対し、図８（ｂ）によれば、更に第２のタグ情報に基づいて、その時間範囲の中で、ｘ軸方向に並べられる。ここでは、第２のタグ情報「かけっこ」のＣＯ３と、第２のタグ情報「転倒」のＣＯ４及びＣＯ５は、ｘ軸方向に並べられる。また、第１のタグ情報及び第２のタグ情報が同一となるＣＯ４及びＣＯ５は、ｚ軸に並行に並べられる。

運動会を想定した場合、「同一の所定時間範囲」に且つ「同一の子供」が、「同一の競技」（シーンイベント）で撮影された複数のコンテンツオブジェクトが、ｚ軸方向に並ぶ。コンテンツを編集するユーザにとっては、その瞬間に撮影される子供のコンテンツオブジェクトは、１つで十分である場合がある。この場合、ユーザは、ｚ軸に並ぶコンテンツオブジェクトの中で、いずれか１つを選択することが容易になる。また、ｚ軸方向へのコンテンツオブジェクトの並ぶ順番については、前述した図５〜図７の実施形態によって実現することができる。

図９は、本発明を適用可能なシステムの構成図である。尚、図９によれば、本発明に関係する機能部にのみ、図３と同様の符号が表記されている。

図９によれば、撮影者によって操作されるビデオカメラ３が、撮影した原コンテンツを、コンテンツサーバ２へアップロードする。コンテンツサーバ２は、その原コンテンツをコンテンツ蓄積部に蓄積する。

これに対し、コンテンツサーバ２は、原コンテンツとは別に、携帯端末向けの編集用コンテンツを作成する。編集用コンテンツは、携帯端末の編集処理負荷を軽減するために、原コンテンツよりもフレームレート及び／又は解像度を低下させたものである。この編集用コンテンツにも、タグ情報が付加される。

次に、編集者の操作によって、端末１は、コンテンツサーバ２へアクセスし、タグ情報が付加された編集用コンテンツを受信する。

端末１は、ユーザインタフェース制御部１１１を通して編集用コンテンツをディスプレイ部１０１に表示し、編集者にプロキシ編集（メタ編集）を操作させる。即ち、編集者は、動画コンテンツを直接的に編集することなく、編集用コンテンツに対して編集操作をする。端末１は、編集者の操作に応じて、編集用コンテンツに対する仮編集情報（例えば編集メタ情報）を生成する。仮編集情報（ＥＤＬ(Edit Decision List)）とは、例えばコンテンツのどの時刻からどの時刻までを抽出し、どのようなトランジションエフェクトを付けて断片をくっつけるかの情報を含む。そして、端末１は、その仮編集情報を、コンテンツサーバ２へアップロードする。

コンテンツサーバ２は、コンテンツ生成部によって、仮編集情報に対応するコンテンツオブジェクトを組み合わせて、実編集を実行する。

図９によれば、端末１が、携帯電話機のように処理能力が低い装置であっても、ユーザによってコンテンツを編集することができる。携帯電話機は、ユーザインタフェース制御部のみ機能させることによって実現できる。

以上、詳細に説明したように、本発明の動画コンテンツ編集プログラム、装置及び方法によれば、多数のコンテンツオブジェクトを編集する際に、各コンテンツオブジェクトの内容に応じて、ユーザの視覚的な編集操作を容易にすることができる。

本発明によれば、単一タイムラインの既存のストーリーボード編集と比較して、コンテンツオブジェクトが３次元空間に配置される。ｘ軸の時刻経過と、ｙ軸のタイムラインと、ｚ軸の並列化とによって、例えば携帯電話機のような小さいディスプレイであっても、多数のコンテンツオブジェクトを、ユーザに直感的に理解させるように可視化することができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 端末
１０１ ディスプレイ部
１０２ ユーザ操作部
１０３ 通信インタフェース部
１０４ コンテンツ蓄積部
１１１ ユーザインタフェース制御部
１１２ コンテンツ受信部
１１３ コンテンツ生成部
１２１ 顔画像登録部
１２２ 顔画像認証部
１２３ タグ情報付加部
１２４ ノイズ検出部
１２５ 人物領域検出部
１２６ 特徴量検出部
２ コンテンツサーバ
３ ビデオカメラ

Claims (10)

1. 時刻を含む複数のコンテンツオブジェクトをユーザに編集させるためのユーザインタフェースを表示する装置について、その装置に搭載されたコンピュータを機能させる動画コンテンツ編集プログラムにおいて、
   前記コンテンツオブジェクトは、その内容に関係する１つ以上のタグ情報を更に含んでおり、
   前記コンテンツオブジェクトを、３次元空間に並べて表示するものであって、ｘ軸を所定時間範囲に区分し、ｙ軸を前記タグ情報の組み合わせに応じて異なるタイムラインに区分し、前記コンテンツオブジェクト毎に当該時刻及びタグ情報に応じてｘ軸及びｙ軸の空間に配置すると共に、同一の所定時間範囲に含まれ且つ同一のタグ情報を有する複数の前記コンテンツオブジェクトをｚ軸に並べて表示するユーザインタフェース制御手段を有するようにコンピュータを機能させることを特徴とするコンテンツ編集プログラム。
2. 前記ユーザインタフェース制御手段は、当該コンテンツオブジェクトの時間長に基づいて、前記ｚ軸における位置、及び／又は、当該コンテンツオブジェクトの表示サイズを、可変するようにコンピュータを機能させることを特徴とする請求項１に記載のコンテンツ編集プログラム。
3. 前記コンテンツオブジェクト毎に、全フレーム数に対して所定閾値以上のノイズを含むフレーム数の割合、及び／又は、ノイズ量を算出するノイズ検出手段を更に有し、
   前記ユーザインタフェース制御手段は、当該コンテンツオブジェクトにおけるノイズを含むフレーム数の割合、及び／又は、ノイズ量に基づいて、前記ｚ軸における位置、及び／又は、当該コンテンツオブジェクトの表示サイズを、可変するようにコンピュータを機能させることを特徴とする請求項１に記載のコンテンツ編集プログラム。
4. 前記コンテンツオブジェクト毎に、全フレーム数に対して、人物領域を含むフレーム数の割合、並びに／又は、顔領域の大きさ及び／若しくは顔の向きを算出する人物領域検出手段を更に有し、
   前記ユーザインタフェース制御手段は、当該コンテンツオブジェクトにおける人物領域を含むフレーム数の割合、並びに／又は、顔領域の大きさ及び／若しくは顔の向きに基づいて、前記ｚ軸における位置、及び／又は、当該コンテンツオブジェクトの表示サイズを、可変するようにコンピュータを機能させることを特徴とする請求項１に記載のコンテンツ編集プログラム。
5. 前記コンテンツオブジェクト毎に、全フレーム数に対して、特定の特徴量の割合を算出する特徴量検出手段を更に有し、
   前記ユーザインタフェース制御手段は、当該コンテンツオブジェクトにおける特定の特徴量の割合に基づいて、前記ｚ軸における位置、及び／又は、当該コンテンツオブジェクトの表示サイズを、可変するようにコンピュータを機能させることを特徴とする請求項１に記載のコンテンツ編集プログラム。
6. 前記コンテンツオブジェクトは、その内容に関係する第１のタグ情報及び第２のタグ情報を含んでおり、
   前記ユーザインタフェース制御手段は、ｙ軸を第１のタグ情報の組み合わせに応じて異なるタイムラインに区分すると共に、ｚ軸方向に並ぶ複数のコンテンツオブジェクトに対して、第２のタグ情報が異なるコンテンツオブジェクトをｘ軸方向に並べて表示する
   ことを特徴とする請求項１から５のいずれか１項に記載のコンテンツ編集プログラム。
7. 前記ユーザインタフェース制御手段は、３次元空間の座標軸を、所定角度、回転させることができるようにコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載のコンテンツ編集プログラム。
8. 前記ユーザインタフェース制御手段は、表示すべきコンテンツオブジェクトを、いずれか１つのフレームに基づくサムネイルとするようにコンピュータを機能させることを特徴とする請求項１から７のいずれか１項に記載のコンテンツ編集プログラム。
9. 時刻を含む複数のコンテンツオブジェクトをユーザに編集させるためのユーザインタフェースを表示する動画コンテンツ編集装置において、
   前記コンテンツオブジェクトは、その内容に関係する１つ以上のタグ情報を更に含んでおり、
   前記コンテンツオブジェクトを、３次元空間に並べて表示するものであって、ｘ軸を所定時間範囲に区分し、ｙ軸を前記タグ情報の組み合わせに応じて異なるタイムラインに区分し、前記コンテンツオブジェクト毎に当該時刻及びタグ情報に応じてｘ軸及びｙ軸の空間に配置すると共に、同一の所定時間範囲に含まれ且つ同一のタグ情報を有する複数の前記コンテンツオブジェクトをｚ軸に並べて表示するユーザインタフェース制御手段を有することを特徴とする動画コンテンツ編集装置。
10. 時刻を含む複数のコンテンツオブジェクトをユーザに編集させるためのユーザインタフェースを表示する装置における動画コンテンツ編集方法において、
    前記コンテンツオブジェクトは、その内容に関係する１つ以上のタグ情報を更に含んでおり、
    前記コンテンツオブジェクトを、３次元空間に並べて表示するものであって、ｘ軸を所定時間範囲に区分し、ｙ軸を前記タグ情報の組み合わせに応じて異なるタイムラインに区分し、前記コンテンツオブジェクト毎に当該時刻及びタグ情報に応じてｘ軸及びｙ軸の空間に配置すると共に、同一の所定時間範囲に含まれ且つ同一のタグ情報を有する複数の前記コンテンツオブジェクトをｚ軸に並べて表示することを特徴とする動画コンテンツ編集方法。

Images