JP2010268195A - Video content editing program, server, apparatus and method - Google Patents

Video content editing program, server, apparatus and method Download PDF

Info

Publication number
JP2010268195A
JP2010268195A JP2009117555A JP2009117555A JP2010268195A JP 2010268195 A JP2010268195 A JP 2010268195A JP 2009117555 A JP2009117555 A JP 2009117555A JP 2009117555 A JP2009117555 A JP 2009117555A JP 2010268195 A JP2010268195 A JP 2010268195A
Authority
JP
Japan
Prior art keywords
content
tag information
timeline
content object
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009117555A
Other languages
Japanese (ja)
Inventor
Reiko Takizuka
令子 瀧塚
Koichi Takagi
幸一 高木
Ryoichi Yagi
良一 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2009117555A priority Critical patent/JP2010268195A/en
Publication of JP2010268195A publication Critical patent/JP2010268195A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video content editing program and the like, for a computer mounted on an apparatus for displaying a user interface that causes a user to edit video content, which facilitates visual editing operations of a user in accordance with the content of each content object in one video content. <P>SOLUTION: A video content is composed of temporally-divided multiple content objects, and the content object includes a plurality pieces of tag information relating to its content. A computer functions as user interface control means for displaying a first time line of a plurality of content objects including first tag information pieces and displaying a second time line of a content object not including the first tag information pieces in parallel with the first time line, and content generating means for coupling the content objects for each time line. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、動画コンテンツ編集プログラム、サーバ、装置及び方法に関する。特に、CGM(Customer Generation Media)に対する簡易な動画編集におけるユーザインタフェースに関する。   The present invention relates to a moving image content editing program, server, apparatus, and method. In particular, the present invention relates to a user interface in simple video editing for CGM (Customer Generation Media).

従来、映像や音声を含む動画コンテンツを、ハードディスクのような記憶装置に蓄積し、編集(例えばトリミングやクリッピング)することができる装置がある。例えば、家庭用AV(Audio-Visual)機器やパーソナルコンピュータを用いて編集をすることができる。このような装置は、コンテンツを再生すると同時に、利用者からの編集操作を受け付け、その操作に応じてコンテンツを編集する。   2. Description of the Related Art Conventionally, there is an apparatus that can store moving image content including video and audio in a storage device such as a hard disk and edit (for example, trimming or clipping). For example, editing can be performed using a home AV (Audio-Visual) device or a personal computer. Such an apparatus reproduces content and simultaneously receives an editing operation from the user, and edits the content according to the operation.

動画コンテンツを編集するためにディスプレイに表示されるユーザインタフェースとして、通常、「タイムライン編集」が用いられる。タイムライン編集によれば、動画コンテンツの時系列の流れの中で、ストーリーを構成する画像が時系列に並べられたユーザインタフェースを有する。これによって、利用者にとって、視覚的に編集しやすくなる。利用者は、タイムラインに表示されている画像の位置(時刻)を、別の位置に移動させたり、その位置に別の画像を上書きすることができる。また、画像の加工に限られず、BGM(Back Ground Music)や効果音を挿入することもできる。   As a user interface displayed on the display for editing the moving image content, “timeline editing” is usually used. According to timeline editing, it has a user interface in which images constituting a story are arranged in time series in the time series flow of moving image content. This facilitates visual editing for the user. The user can move the position (time) of the image displayed on the timeline to another position or overwrite another position on the position. Further, the present invention is not limited to image processing, and BGM (Back Ground Music) and sound effects can be inserted.

近年、タイムライン編集技術によれば、「ストーリーボード(Storyboard)」が注目されている。ストーリーボードとは、シーン(場面)が切り替わる毎に、最初の1コマのサムネイルを、複数個、時系列に並べたもの(タイムライン)である。これによって、利用者は、視覚的に簡単に、シーン単位での入れ替えや追加をすることができる。ストーリーボードによれば、動画コンテンツは、複数のコンテンツオブジェクト(Contents Object)から構成される。コンテンツオブジェクトは、TimelineGroupクラスから派生したコンテナタイムラインの型であり、任意の型のTimelineを格納することができる。   In recent years, according to the timeline editing technology, “Storyboard” has attracted attention. A storyboard is a timeline in which a plurality of thumbnails of the first frame are arranged in time series each time a scene (scene) is switched. As a result, the user can easily replace or add in units of scenes visually. According to the storyboard, the moving image content is composed of a plurality of content objects. The content object is a container timeline type derived from the TimelineGroup class, and can store an arbitrary type of Timeline.

図1は、従来技術におけるストーリーボードの表示例である。   FIG. 1 is a display example of a storyboard in the prior art.

図1によれば、指定されたコンテンツオブジェクトを再生するプレイビューと、コンテンツオブジェクトリストと、ストーリーボードとが表示されている。   According to FIG. 1, a play view for reproducing a designated content object, a content object list, and a storyboard are displayed.

ストーリーボードにおける基本的な編集操作は、ドラッグ&ドロップであり、トリミングしたコンテンツオブジェクト(カットオブジェクト)を移動させる。これによって、コンテンツオブジェクトが時系列に結合され、再生順序が変更される。   The basic editing operation in the storyboard is drag and drop, and the trimmed content object (cut object) is moved. As a result, the content objects are combined in time series, and the playback order is changed.

また、他の編集操作として、シーン切替効果(トランジション(transition))を設定することもできる。トランジション操作は、ストーリーボードの中に、マウスでトランジションを置いていく感じで、直感的に操作することができる。   As another editing operation, a scene switching effect (transition) can be set. Transition operations can be operated intuitively with the feeling of placing a transition with the mouse in the storyboard.

他の技術として、サーバに保存された画像コンテンツを、端末で編集する技術がある(例えば特許文献1参照)。この技術によれば、端末は、サーバから、画像コンテンツにおけるサムネイル画像を受信し、そのサムネイル画像の再生手順を示すプレイリストデータを生成且つ編集する。プレイリストデータは、ユーザの操作に基づいて、サムネイル画像を自由に配置することができる。   As another technique, there is a technique for editing image content stored in a server with a terminal (see, for example, Patent Document 1). According to this technique, the terminal receives a thumbnail image in the image content from the server, and generates and edits playlist data indicating a playback procedure of the thumbnail image. In the playlist data, thumbnail images can be freely arranged based on user operations.

また、動画コンテンツを自動編集する技術もある(例えば特許文献2参照)。この技術によれば、分割された撮影データそれぞれに対して編集シナリオ(ガイダンスデータ)
が関連付けられる。そのガイダンスデータに応じて動画コンテンツが自動的に編集される。
There is also a technique for automatically editing moving image content (see, for example, Patent Document 2). According to this technology, editing scenarios (guidance data) for each of the divided shooting data
Are associated. The moving image content is automatically edited according to the guidance data.

特開2004−336343号公報JP 2004-336343 A 特開2005−039685号公報Japanese Patent Laying-Open No. 2005-039685 特開平10−066087号公報Japanese Patent Laid-Open No. 10-066087 特開2007−127761号公報JP 2007-127771 A 特開2006−254486号公報JP 2006-254486 A

特許文献1に記載された技術によれば、サーバから取得された複数のサムネイルは、単一のタイムラインにしか配置することができない。ユーザインタフェースの1つの画面では、編集状況及び内容に応じて、一部のデータが異なる複数の編集シナリオを管理・生成することができない。   According to the technique described in Patent Literature 1, a plurality of thumbnails acquired from a server can be arranged only on a single timeline. In one screen of the user interface, it is not possible to manage and generate a plurality of editing scenarios in which some data differs depending on the editing status and contents.

また、サーバから受信するサムネイル画像の数が、編集の操作性に影響を与える。サムネイル数が少ないと、細かい部分における編集操作性が低下し、サムネイル数が多いと、編集シナリオの作成に時間がかかり、編集操作性が低下する。また、サムネイル数が多いと、全サムネイルを同時に表示するのは難しく、更に、ユーザの希望に従った編集シナリオを作成するには時間も手間もかかり、ディスプレイサイズが小さい携帯端末における編集操作性も低下する。   In addition, the number of thumbnail images received from the server affects the operability of editing. If the number of thumbnails is small, the editing operability in a small part is degraded, and if the number of thumbnails is large, it takes time to create an editing scenario and the editing operability is degraded. Also, if the number of thumbnails is large, it is difficult to display all thumbnails at the same time, and it takes time and effort to create an editing scenario according to the user's wishes, and editing operability on a mobile terminal with a small display size is also possible. descend.

特許文献2に記載された技術によれば、映像を撮影する前(動画コンテンツを作成する前)に詳細な編集シナリオを準備する必要がある。即ち、編集シナリオを作成した後、ビデオカメラで撮影する必要がある。更に、編集シナリオと編集したビデオの各シーンは1対1に対応をしておく必要がある。生成したビデオの中に編集シナリオにないシーンを混入させることはできない。   According to the technique described in Patent Document 2, it is necessary to prepare a detailed editing scenario before shooting a video (before creating moving image content). In other words, after creating an editing scenario, it is necessary to shoot with a video camera. Furthermore, it is necessary to have a one-to-one correspondence between each editing scenario and each edited video scene. Scenes that are not in the editing scenario cannot be mixed in the generated video.

そこで、本発明は、既に撮影された1つの動画コンテンツの中で、各コンテンツオブジェクトの内容に応じて、利用者の視覚的な編集操作を容易にすることができる動画コンテンツ編集プログラム、サーバ、装置及び方法を提供することを目的とする。   Therefore, the present invention provides a moving image content editing program, server, and apparatus that can facilitate a user's visual editing operation in accordance with the contents of each content object in one moving image content that has already been shot. And to provide a method.

本発明によれば、利用者に動画コンテンツを編集させるユーザインタフェースを表示する装置に搭載されたコンピュータを機能させる動画コンテンツ編集プログラムにおいて、
動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
動画コンテンツを蓄積するコンテンツ蓄積手段と、
第1のタグ情報を含む複数のコンテンツオブジェクトの第1のタイムラインを表示すると共に、第1のタグ情報を含まないコンテンツオブジェクトの第2のタイムラインを、第1のタイムラインと並列に表示するユーザインタフェース制御手段と、
タイムライン毎に、コンテンツオブジェクトを結合するコンテンツ生成手段と
としてコンピュータを機能させることを特徴とする。
According to the present invention, in a video content editing program for causing a computer mounted on an apparatus that displays a user interface to allow a user to edit video content,
The video content is composed of a plurality of content objects divided in time, and the content object includes a plurality of tag information related to the contents,
Content storage means for storing video content;
The first timeline of the plurality of content objects including the first tag information is displayed, and the second timeline of the content object not including the first tag information is displayed in parallel with the first timeline. User interface control means;
The computer is caused to function as a content generation unit that combines content objects for each timeline.

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
コンテンツオブジェクトは、時刻を含んでおり、
ユーザインタフェース制御手段は、タイムラインについて、コンテンツオブジェクトを時系列に表示するようにコンピュータを機能させることも好ましい。
According to another embodiment of the video content editing program of the present invention,
The content object contains the time,
The user interface control means preferably causes the computer to function so as to display the content objects in time series for the timeline.

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
ユーザインタフェース制御手段は、第1のタグ情報を含み且つ第2のタグ情報も含むコンテンツオブジェクトの第1のタイムラインから、第1のタグ情報を含まず且つ第2のタグ情報を含むコンテンツオブジェクトの第2のタイムラインへ遷移するべく表示するようにコンピュータを機能させることも好ましい。
According to another embodiment of the video content editing program of the present invention,
The user interface control means includes, from the first timeline of the content object that includes the first tag information and also includes the second tag information, the content object that does not include the first tag information and includes the second tag information. It is also preferred to have the computer function to display to transition to the second timeline.

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
ユーザインタフェース制御手段は、第1のタグ情報を含まず且つ第2のタグ情報を含むコンテンツオブジェクトの第2のタイムラインから、第1のタグ情報を含み且つ第2のタグ情報も含むコンテンツオブジェクトの第1のタイムラインへ遷移するべく更に表示するようにコンピュータを機能させることも好ましい。
According to another embodiment of the video content editing program of the present invention,
The user interface control means includes, from the second timeline of the content object that does not include the first tag information and includes the second tag information, the content object that includes the first tag information and also includes the second tag information. It is also preferred to have the computer function to display further to transition to the first timeline.

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
ユーザインタフェース制御手段は、コンテンツオブジェクトに対する利用者のドラッグ&ドロップ操作の直後に、複数のタイムラインの遷移を更新するようにコンピュータを機能させることも好ましい。
According to another embodiment of the video content editing program of the present invention,
The user interface control means preferably causes the computer to function to update the transitions of the plurality of timelines immediately after the user's drag and drop operation on the content object.

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
当該コンテンツオブジェクトの映像に映る人物の名前、シーン、場面転換及び/又は無音状態をタグ情報として、コンテンツオブジェクトに付加するタグ情報付加手段としてコンピュータを更に機能させることも好ましい。
According to another embodiment of the video content editing program of the present invention,
It is also preferable to further cause the computer to function as tag information adding means for adding to the content object the name, scene, scene change and / or silent state of the person shown in the video of the content object as tag information.

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
人物の名前と、該人物の顔画像とを予め登録する顔画像登録手段と、
コンテンツオブジェクトの映像から、顔画像登録手段に蓄積されたに顔画像を認証し、人物の名前を導出する顔認証手段と
してコンピュータを更に機能させ、
タグ情報付加手段は、顔認証手段から出力された人物の名前を、タグ情報として付加するようにコンピュータを機能させることも好ましい。
According to another embodiment of the video content editing program of the present invention,
Face image registration means for pre-registering a person's name and the person's face image;
Authenticate the face image stored in the face image registration means from the video of the content object, and further cause the computer to function as face authentication means for deriving a person's name;
The tag information adding means preferably causes the computer to function so as to add the name of the person output from the face authentication means as tag information.

本発明によれば、前述した動画コンテンツ編集プログラムをコンピュータに機能させる端末へ、動画コンテンツを送信するサーバであって、
当該コンテンツオブジェクトの映像に映る人物の名前、シーン、場面転換及び/又は無音状態をタグ情報として、コンテンツオブジェクトに付加するタグ情報付加手段を更に有することを特徴とする。
According to the present invention, a server for transmitting moving image content to a terminal that causes a computer to function the moving image content editing program described above,
Tag information adding means for adding the name, scene, scene change and / or silent state of the person appearing in the video of the content object as tag information to the content object is further provided.

本発明のサーバにおける他の実施形態によれば、
人物の名前と、該人物の顔画像とを予め登録する顔画像登録手段と、
コンテンツオブジェクトの映像から、顔画像登録手段に蓄積されたに顔画像を認証し、人物の名前を導出する顔認証手段と
を更に有し、
タグ情報付加手段は、顔認証手段から出力された人物の名前を、タグ情報として付加することも好ましい。
According to another embodiment of the server of the present invention,
Face image registration means for pre-registering a person's name and the person's face image;
A face authentication unit for authenticating a face image stored in the face image registration unit and deriving a person's name from the content object video;
The tag information adding means preferably adds the person's name output from the face authentication means as tag information.

本発明によれば、利用者に動画コンテンツを編集させるユーザインタフェースを表示する動画コンテンツ編集装置において、
動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
動画コンテンツを蓄積するコンテンツ蓄積手段と、
第1のタグ情報を含む複数のコンテンツオブジェクトの第1のタイムラインを表示すると共に、第1のタグ情報を含まないコンテンツオブジェクトの第2のタイムラインを、第1のタイムラインと並列に表示するユーザインタフェース制御手段と、
タイムライン毎に、コンテンツオブジェクトを結合するコンテンツ生成手段と
を有することを特徴とする。
According to the present invention, in a video content editing apparatus that displays a user interface that allows a user to edit video content,
The video content is composed of a plurality of content objects divided in time, and the content object includes a plurality of tag information related to the contents,
Content storage means for storing video content;
The first timeline of the plurality of content objects including the first tag information is displayed, and the second timeline of the content object not including the first tag information is displayed in parallel with the first timeline. User interface control means;
Content generating means for combining content objects is provided for each timeline.

本発明によれば、利用者に動画コンテンツを編集させるユーザインタフェースを表示する装置における動画コンテンツ編集方法において、
動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
装置は、動画コンテンツを蓄積するコンテンツ蓄積部を有し、
第1のタグ情報を含む複数のコンテンツオブジェクトの第1のタイムラインを表示すると共に、第1のタグ情報を含まないコンテンツオブジェクトの第2のタイムラインを、第1のタイムラインと並列に表示する第1のステップと、
タイムライン毎に、コンテンツオブジェクトを結合する第2のステップと
を有することを特徴とする。
According to the present invention, in a video content editing method in an apparatus for displaying a user interface that allows a user to edit video content,
The video content is composed of a plurality of content objects divided in time, and the content object includes a plurality of tag information related to the contents,
The apparatus has a content storage unit that stores video content,
The first timeline of the plurality of content objects including the first tag information is displayed, and the second timeline of the content object not including the first tag information is displayed in parallel with the first timeline. A first step;
And a second step of combining content objects for each timeline.

本発明の動画コンテンツ編集プログラム、サーバ、装置及び方法によれば、既に撮影された1つの動画コンテンツから、そのコンテンツの内容に応じて複数のタイムラインを表示することができるので、利用者の視覚的な編集操作を容易にすることができる。   According to the moving image content editing program, server, apparatus, and method of the present invention, it is possible to display a plurality of timelines according to the content of one moving image content that has already been shot. Editing operations can be facilitated.

従来技術におけるストーリーボードの表示例である。It is an example of the display of the story board in a prior art. 本発明における端末の機能構成図である。It is a function block diagram of the terminal in this invention. 本発明のシステムにおける各装置の機能構成図である。It is a functional block diagram of each apparatus in the system of this invention. コンテンツオブジェクトリスト及びストーリーボードの表示画面である。It is a display screen of a content object list and a storyboard. 本発明における第1のユーザインタフェースの表示画面である。It is a display screen of the 1st user interface in the present invention. 本発明における第2のユーザインタフェースの表示画面である。It is a display screen of the 2nd user interface in this invention. 本発明における第3のユーザインタフェースの表示画面である。It is a display screen of the 3rd user interface in the present invention. 本発明における第1のドラッグ&ドロップ操作に基づく表示画面である。It is a display screen based on the 1st drag and drop operation in this invention. 本発明における第2のドラッグ&ドロップ操作に基づく表示画面である。It is a display screen based on 2nd drag and drop operation in this invention. 本発明におけるコンテンツオブジェクトの挿入操作に基づく表示画面である。It is a display screen based on insertion operation of the content object in this invention. 本発明を適用可能なシステムの構成図である。1 is a configuration diagram of a system to which the present invention is applicable.

以下、本発明の実施の形態について、図面を用いて詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成される。動画コンテンツは、例えば家庭用ビデオカメラで撮影されたような映像及び音声であってもよい。コンテンツオブジェクトは、シーン(場面)検出に基づくシーン毎に分割されてもよいし、所定単位時間毎に分割されてもよい。   The moving image content is composed of a plurality of content objects divided in time. The moving image content may be video and audio such as those shot with a home video camera. The content object may be divided for each scene based on scene (scene) detection, or may be divided for every predetermined unit time.

本発明によれば、動画コンテンツを構成するコンテンツオブジェクトは、その内容に関係する複数のタグ情報を含む。タグ情報とは、編集操作の際に利用者が想定するキーワードであって、例えば当該コンテンツオブジェクトの映像に映る人物の名前であってもよい。子供の運動会を撮影した動画コンテンツの場合、その映像に映る子供の名前が、タグ情報に適する。また、コンテンツオブジェクトは、時刻を更に含む。更に、コンテンツオブジェクトは、例えば運動会の競技種目のようなイベント名称やシーンを説明する情報を含むものであってもよい。   According to the present invention, the content object constituting the moving image content includes a plurality of tag information related to the content. The tag information is a keyword assumed by the user in the editing operation, and may be, for example, the name of a person shown in the video of the content object. In the case of moving image content shot of a children's athletic meet, the child's name shown in the video is suitable for tag information. The content object further includes time. Further, the content object may include information describing an event name and a scene such as a sporting event of an athletic meet, for example.

図2は、本発明における端末の機能構成図である。   FIG. 2 is a functional configuration diagram of a terminal according to the present invention.

図2によれば、利用者は、端末1を用いて、動画コンテンツに対して編集操作をする。端末1は、動画コンテンツを、ビデオカメラ2からケーブル(又はネットワーク)を介して受信するものであってもよい。端末1は、例えばパーソナルコンピュータであってもよいし、携帯端末であってもよい。   According to FIG. 2, the user performs an editing operation on the moving image content using the terminal 1. The terminal 1 may receive moving image content from the video camera 2 via a cable (or network). The terminal 1 may be, for example, a personal computer or a mobile terminal.

端末1は、視覚的なユーザインタフェースを表示するディスプレイ部10と、マウスのようなユーザからの操作を受け付けるユーザ操作部11と、動画コンテンツを蓄積するコンテンツ蓄積部12と、ユーザインタフェース制御部13と、コンテンツ生成部14とを有する。また、端末1は、ビデオカメラ2からのケーブルに接続される通信インタフェース部19と、その通信インタフェース部19を介してビデオカメラ2から動画コンテンツを受信するコンテンツ受信部15とを有する。ビデオカメラ2から受信された動画コンテンツは、コンテンツ蓄積部12へ蓄積される。   The terminal 1 includes a display unit 10 that displays a visual user interface, a user operation unit 11 that receives an operation from a user such as a mouse, a content storage unit 12 that stores moving image content, and a user interface control unit 13. And a content generation unit 14. The terminal 1 also includes a communication interface unit 19 connected to a cable from the video camera 2 and a content receiving unit 15 that receives moving image content from the video camera 2 via the communication interface unit 19. The moving image content received from the video camera 2 is stored in the content storage unit 12.

ユーザインタフェース制御部13は、第1のタグ情報を含む複数のコンテンツオブジェクトの第1のタイムラインを表示すると共に、第1のタグ情報を含まないコンテンツオブジェクトの第2のタイムラインを、第1のタイムラインと並列に表示する。コンテンツオブジェクトが時刻を含む場合、タイムラインのコンテンツオブジェクトは、時系列に表示される。   The user interface control unit 13 displays the first timeline of the plurality of content objects including the first tag information, and displays the second timeline of the content object not including the first tag information as the first timeline. Display in parallel with the timeline. When the content object includes time, the content object on the timeline is displayed in time series.

また、利用者がユーザ操作部11に特定のタグ情報を入力することも好ましい。利用者によって入力されたタグ情報をキーとして、コンテンツ蓄積部12からコンテンツオブジェクトが検索される。検索されたコンテンツオブジェクトは、ユーザインタフェース制御部13によって、ディスプレイ部10にタイムラインで表示される。これによって、利用者は、特定のタグ情報を含むコンテンツオブジェクトに対して編集操作をすることができる。   It is also preferable that the user inputs specific tag information to the user operation unit 11. Using the tag information input by the user as a key, a content object is searched from the content storage unit 12. The retrieved content object is displayed on the display unit 10 in a timeline by the user interface control unit 13. As a result, the user can perform an editing operation on the content object including the specific tag information.

コンテンツ生成部14は、タイムライン毎に、コンテンツオブジェクトを結合する。これによって、第1のタグ情報を含む複数のコンテンツオブジェクトからなる第1の動画コンテンツと、第2のタグ情報を含む複数のコンテンツオブジェクトからなる第2の動画コンテンツとを生成することができる。   The content generation unit 14 combines content objects for each timeline. Accordingly, it is possible to generate the first moving image content including a plurality of content objects including the first tag information and the second moving image content including a plurality of content objects including the second tag information.

更に、端末1は、顔画像登録部16と、顔認証部17と、タグ情報付加部18と、コンテンツ受信部15と、通信インタフェース部19とを更に有することも好ましい。顔画像登録部16は、人物の名前と、その人物の顔画像とを予め登録する。また、顔認証部17は、コンテンツオブジェクトの映像から、顔画像登録部16に蓄積されたに顔画像を認証し、人物の名前を導出する。顔認識システム(Facial Recognition System)は、デジタルカメラでは一般的に搭載されている機能である。   Furthermore, the terminal 1 preferably further includes a face image registration unit 16, a face authentication unit 17, a tag information addition unit 18, a content reception unit 15, and a communication interface unit 19. The face image registration unit 16 registers a person's name and the person's face image in advance. Further, the face authentication unit 17 authenticates the face image stored in the face image registration unit 16 from the content object video, and derives the name of the person. The facial recognition system is a function that is generally installed in digital cameras.

タグ情報付加部18は、コンテンツオブジェクトに、顔認証部17から出力された人物の名前を、タグ情報として付加する。タグ情報が付加されたコンテンツオブジェクトは、コンテンツ蓄積部12へ蓄積される。   The tag information adding unit 18 adds the person name output from the face authentication unit 17 to the content object as tag information. The content object to which the tag information is added is stored in the content storage unit 12.

また、タグ情報付加部18は、コンテンツオブジェクトに対して、シーンや場面転換の頻度、沈黙の割合等を検出して、自動的にタグ情報を付加するものであってもよい。サーバにおけるシーンの検出技術には、例えば特許文献3に記載の技術を用いることができる。また、登場人物や会話シーンの検出技術には、例えば特許文献4に記載の技術を用いることができる。更に、場面転換の検出技術には、例えば特許文献5に記載の技術を用いることができる。   Further, the tag information adding unit 18 may automatically add tag information to the content object by detecting a scene, a scene change frequency, a silence ratio, and the like. As a scene detection technique in the server, for example, the technique described in Patent Document 3 can be used. For example, the technique described in Patent Document 4 can be used as a technique for detecting characters and conversation scenes. Furthermore, for example, a technique described in Patent Document 5 can be used as a scene change detection technique.

更に、コンテンツオブジェクトに付加されるタグ情報は、その動画コンテンツを撮影者によって入力設定されるものであってもよい。例えば運動会の競技種目のようなイベント名称を、タグ情報として付加する場合である。   Further, the tag information added to the content object may be input and set by the photographer for the moving image content. For example, an event name such as a sporting event of an athletic meet is added as tag information.

尚、前述された顔画像登録部と、顔認証部と、タグ情報付加部との機能は、ビデオカメラ2に搭載されていてもよい。この場合、端末1にこれら機能を搭載する必要はない。近年のデジタルビデオカメラには、顔認識システムを既に搭載したものも多い。そのために、ビデオカメラ2から出力される動画コンテンツには、各コンテンツオブジェクトに既にタグ情報が含まれていることも好ましい。   Note that the functions of the face image registration unit, the face authentication unit, and the tag information addition unit described above may be installed in the video camera 2. In this case, it is not necessary to install these functions in the terminal 1. Many digital video cameras in recent years are already equipped with a face recognition system. Therefore, it is also preferable that the moving image content output from the video camera 2 already includes tag information in each content object.

図3は、本発明のシステムにおける各装置の機能構成図である。   FIG. 3 is a functional configuration diagram of each device in the system of the present invention.

図3によれば、利用者によって所持される端末1及びビデオカメラ2は、ネットワーク(アクセスネットワーク及び/又はインターネット)を介してコンテンツサーバ3に接続されている。   According to FIG. 3, the terminal 1 and the video camera 2 possessed by the user are connected to the content server 3 via a network (access network and / or the Internet).

コンテンツサーバ3は、家庭用のオンラインストレージのようなサイトである。ビデオカメラ2によって撮影された動画コンテンツを、ビデオカメラ2から受信し、その動画コンテンツをコンテンツ蓄積部32に蓄積する。また、コンテンツサーバ3は、顔画像登録部36と、顔画像認証部37と、タグ情報付加部38とを有し、図2で前述したと同様に、コンテンツオブジェクトにタグ情報を付加する。コンテンツサーバ3が、コンテンツオブジェクトにタグ情報を付加することによって、端末1における処理負荷を軽減することができる。   The content server 3 is a site such as a home online storage. The moving image content shot by the video camera 2 is received from the video camera 2 and the moving image content is stored in the content storage unit 32. Further, the content server 3 includes a face image registration unit 36, a face image authentication unit 37, and a tag information addition unit 38, and adds tag information to the content object in the same manner as described above with reference to FIG. The content server 3 can reduce the processing load on the terminal 1 by adding tag information to the content object.

端末1は、利用者の操作によって、コンテンツサーバ3へアクセスする。これに対し、コンテンツサーバ3は、タグ情報を付加したコンテンツオブジェクトを、端末1へ送信する。これによって、利用者は、端末1を用いて、動画コンテンツに対して編集操作をすることができる。   The terminal 1 accesses the content server 3 by a user operation. On the other hand, the content server 3 transmits the content object to which the tag information is added to the terminal 1. Accordingly, the user can perform an editing operation on the moving image content using the terminal 1.

また、端末1は、コンテンツサーバ3へ、タグ情報をキーとして、ダウンロードすべきコンテンツオブジェクトを絞り込むこともできる。端末1は、編集操作に不要なコンテンツオブジェクトをダウンロードする必要がなくなる。   The terminal 1 can also narrow down the content objects to be downloaded to the content server 3 using the tag information as a key. The terminal 1 does not need to download content objects that are unnecessary for editing operations.

図4は、コンテンツオブジェクトリスト及びストーリーボードの表示画面である。   FIG. 4 is a display screen of the content object list and storyboard.

図4によれば、編集しようとしている動画コンテンツは、兄弟2人「令子」「幸一」の子供のいる家庭で、2人が通っている小学校の運動会をホームビデオカメラで撮影したものであるとする。動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成されている。   According to FIG. 4, the video content to be edited is a home video camera shot of an elementary school athletic school in which two brothers “Reiko” and “Koichi” have children. To do. The moving image content is composed of a plurality of content objects divided in time.

図4(a)のコンテンツオブジェクトリストによれば、複数のコンテンツオブジェクトには、撮影日時と、タグ情報とが含まれている。各コンテンツオブジェクトには、その映像に映る子供の名前が、タグ情報として含まれる。例えば、予め子供の顔を登録し、顔認証によって自動的に子供の名前を導出することができる。
「令子」「幸一」が映るコンテンツオブジェクト
:(CO1,CO2, CO6)
「令子」が映るコンテンツオブジェクト
:(CO1,CO2,CO3, CO6)
「令子」のみが映るコンテンツオブジェクト
:( CO3, )
「幸一」が映るコンテンツオブジェクト
:(CO1,CO2, CO4,CO5,CO6)
「幸一」のみが映るコンテンツオブジェクト
:( CO4,CO5 )
According to the content object list of FIG. 4A, the plurality of content objects include shooting date and time and tag information. Each content object includes the name of the child shown in the video as tag information. For example, a child's face can be registered in advance, and the child's name can be automatically derived by face authentication.
Content object showing "Reiko" and "Koichi"
: (CO1, CO2, CO6)
Content object showing "Reiko"
: (CO1, CO2, CO3, CO6)
Content object that shows only "Reiko"
: (CO3)
Content object showing “Koichi”
: (CO1, CO2, CO4, CO5, CO6)
Content object showing only "Koichi"
: (CO4, CO5)

図4(b)のストーリーボードによれば、図4(a)のコンテンツオブジェクトが時系列に並べられている。   According to the story board of FIG. 4B, the content objects of FIG. 4A are arranged in time series.

ここで、利用者が、「令子」が映る動画コンテンツと、「幸一」が映る動画コンテンツとを各々作成することを所望したとする。
「令子」が映るコンテンツオブジェクト
:(CO1,CO2,CO3, CO6)
「幸一」が映るコンテンツオブジェクト
:(CO1,CO2, CO4,CO5,CO6)
Here, it is assumed that the user desires to create moving image content in which “Reiko” appears and moving image content in which “Koichi” appears.
Content object showing "Reiko"
: (CO1, CO2, CO3, CO6)
Content object showing “Koichi”
: (CO1, CO2, CO4, CO5, CO6)

図5は、本発明における第1のユーザインタフェースの表示画面である。   FIG. 5 is a display screen of the first user interface in the present invention.

図5(a)によれば、図4(b)と異なって、2つのタイムラインが表示される。本発明によれば、動画コンテンツを編集する際に、タグ情報に基づいて図5(a)のような表示に自動的に並び替えられる。複数のタイムラインの表示は、ユーザインタフェース制御部13によって制御される。   According to FIG. 5A, unlike FIG. 4B, two timelines are displayed. According to the present invention, when editing the moving image content, the display is automatically rearranged as shown in FIG. 5A based on the tag information. The display of the plurality of timelines is controlled by the user interface control unit 13.

図5(a)によれば、第1のタイムラインのコンテンツオブジェクトは、第1のタグ情報「令子」を含む。ここで、第1のタイムラインには、第1のタグ情報「令子」及び第2のタグ情報「幸一」を含むコンテンツオブジェクトも並べられる。次に、第2のタイムラインには、第1のタグ情報「令子」を含まず且つ第2のタグ情報「幸一」を含むコンテンツオブジェクトが並べられる。   According to FIG. 5A, the content object of the first timeline includes the first tag information “instruction”. Here, in the first timeline, content objects including the first tag information “Reiko” and the second tag information “Koichi” are also arranged. Next, content objects that do not include the first tag information “Reiko” and include the second tag information “Koichi” are arranged in the second timeline.

図5(a)によれば、コンテンツオブジェクトの遷移として直列部分と並列部分とが表示されているが、時系列は維持して表示される。即ち、利用者の操作無しには、後の時刻のコンテンツオブジェクトが、先の時刻のコンテンツオブジェクトの前に表示されることはない。
第1のタイムラインを再生した場合
:(CO1,CO2,CO3, CO6)が再生される。
第2のタイムラインを再生した場合
:(CO1,CO2, CO4,CO5,CO6)が再生される。
According to Fig.5 (a), although the serial part and the parallel part are displayed as a transition of a content object, it is displayed maintaining a time series. That is, without a user operation, a content object at a later time is not displayed before a content object at a previous time.
When playing the first timeline
: (CO1, CO2, CO3, CO6) is regenerated.
When playing the second timeline
: (CO1, CO2, CO4, CO5, CO6) is regenerated.

図5(a)によれば、第1のタグ情報「令子」を含み且つ第2のタグ情報「幸一」も含むコンテンツオブジェクトCO2の第1のタイムラインから、第1のタグ情報「令子」を含まず且つ第2のタグ情報「幸一」を含むコンテンツオブジェクトCO4の第2のタイムラインへ遷移するべく表示される。また、第1のタグ情報「令子」を含まず且つ第2のタグ情報「幸一」を含むコンテンツオブジェクトCO5の第2のタイムラインから、第1のタグ情報「令子」を含み且つ第2のタグ情報「幸一」も含むコンテンツオブジェクトCO6の第1のタイムラインへ遷移するべく更に表示される。このような表示は、ユーザインタフェース制御部によって制御される。   According to FIG. 5A, the first tag information “instruction” is obtained from the first timeline of the content object CO2 that includes the first tag information “instruction” and also includes the second tag information “Koichi”. The content object CO4 that is not included and includes the second tag information “Koichi” is displayed to transit to the second timeline. In addition, from the second timeline of the content object CO5 that does not include the first tag information “Reiko” and includes the second tag information “Koichi”, the second tag includes the first tag information “Reiko”. It is further displayed to transit to the first timeline of the content object CO6 including the information “Koichi”. Such display is controlled by the user interface control unit.

図5(b)によれば、子供一人のみが映るコンテンツオブジェクトが、並列に表示されている。例えば、運動会の中で、同一競技に一人の子供が複数回映っている場合、その子供が映るコンテンツオブジェクトは1つで十分である場合がある。図5(b)によれば、徒競走におけるシーンが並列に表示されている。
「令子」のみが映るコンテンツオブジェクト:(CO3)
「幸一」のみが映るコンテンツオブジェクト:(CO4)
「幸一」のみが映るコンテンツオブジェクト:(CO5)
According to FIG.5 (b), the content object which shows only one child is displayed in parallel. For example, when a child appears in the same competition several times during an athletic meet, one content object may be sufficient for the child. According to FIG.5 (b), the scene in a student race is displayed in parallel.
Content object in which only “Reiko” is shown: (CO3)
Content object in which only “Koichi” is reflected: (CO4)
Content object in which only “Koichi” is reflected: (CO5)

図5(b)のように表示することによって、不要として1つのタイムラインを、視覚的に容易に削除することもできる。利用者は、同一画面で「幸一」に関する2つのタイムラインを再生して比較することよって、CO4又はCO5の一方を削除することができる。例えば、第2にタイムラインが削除された場合、以下のように並べられる。
「令子」が映るコンテンツオブジェクト
:(CO1,CO2,CO3, CO6)
「幸一」が映るコンテンツオブジェクト
:(CO1,CO2, CO5,CO6)
By displaying as shown in FIG. 5B, one timeline can be easily deleted visually as unnecessary. The user can delete one of CO4 and CO5 by reproducing and comparing two timelines relating to “Koichi” on the same screen. For example, when the timeline is secondly deleted, the timelines are arranged as follows.
Content object showing "Reiko"
: (CO1, CO2, CO3, CO6)
Content object showing “Koichi”
: (CO1, CO2, CO5, CO6)

図6は、本発明における第2のユーザインタフェースの表示画面である。   FIG. 6 is a display screen of the second user interface in the present invention.

図6(a)によれば、第1のタイムラインには、第1のタグ情報「開会式」を含むコンテンツオブジェクトが並べられる。次に、第2のタイムラインには、第2のタグ情報「徒競走」を含むコンテンツオブジェクトが並べられる。次に、第3のタイムラインには、第3のタグ情報「閉会式」を含むコンテンツオブジェクトが並べられる。即ち、開会式、徒競争、騎馬戦などイベント(シーン)の種類に従って、タイムラインが自動的に並べ替えられる。   According to FIG. 6A, content objects including the first tag information “opening ceremony” are arranged in the first timeline. Next, content objects including the second tag information “Student Race” are arranged in the second timeline. Next, content objects including the third tag information “closing ceremony” are arranged in the third timeline. In other words, the timeline is automatically rearranged according to the type of event (scene) such as the opening ceremony, competition, and horse race.

図6(a)によれば、コンテンツオブジェクトの遷移として直列部分と並列部分とが表示されているが、時系列は維持して表示される。
第1のタイムラインを再生した場合
:(CO1)が再生される。
第2のタイムラインを再生した場合
:(CO2,CO3, CO4)が再生される。
第3のタイムラインを再生した場合
:(CO5)が再生される。
According to FIG. 6A, the serial part and the parallel part are displayed as the transition of the content object, but the time series is maintained and displayed.
When playing the first timeline
: (CO1) is regenerated.
When playing the second timeline
: (CO2, CO3, CO4) is regenerated.
When playing the 3rd timeline
: (CO5) is regenerated.

図6(b)によれば、子供一人のみが映るコンテンツオブジェクトが、並列に表示されている。ここでは、徒競走におけるシーンが並列に表示されている。
「幸一」のみが映るコンテンツオブジェクト:(CO3)
「幸一」のみが映るコンテンツオブジェクト:(CO4)
According to FIG. 6 (b), content objects showing only one child are displayed in parallel. Here, the scenes in the competition are displayed in parallel.
Content object in which only “Koichi” is reflected: (CO3)
Content object in which only “Koichi” is reflected: (CO4)

図6(b)のように表示することによって、不要として1つのタイムラインを、視覚的に容易に削除することもできる。利用者は、同一画面で「幸一」に関する2つのタイムラインを再生して比較することよって、CO3又はCO4の一方を削除することができる。例えば、第3のタイムラインが削除された場合、以下のように並べられる。
「開会式」が映るコンテンツオブジェクト
:(CO1)
「徒競走」が映るコンテンツオブジェクト
:(CO2、CO3)
「経過意識」が映るコンテンツオブジェクト
:(CO5)
By displaying as shown in FIG. 6B, one timeline can be easily deleted visually as unnecessary. The user can delete one of CO3 and CO4 by reproducing and comparing two timelines related to “Koichi” on the same screen. For example, when the third timeline is deleted, they are arranged as follows.
Content object showing "Opening Ceremony"
: (CO1)
A content object that shows "Sports"
: (CO2, CO3)
Content object that reflects “progress consciousness”
: (CO5)

図7は、本発明における第3のユーザインタフェースの表示画面である。   FIG. 7 shows a display screen of the third user interface in the present invention.

図7(a)によれば、第1のタイムラインのコンテンツオブジェクトは、第1のタグ情報「令子」を含む。ここで、第1のタイムラインには、第1のタグ情報「令子」及び第2のタグ情報「幸一」を含むコンテンツオブジェクトも並べられる。次に、第2のタイムラインには、第1のタグ情報「令子」を含まず且つ第2のタグ情報「幸一」を含むコンテンツオブジェクトが並べられる。   According to FIG. 7A, the content object of the first timeline includes the first tag information “decorator”. Here, in the first timeline, content objects including the first tag information “Reiko” and the second tag information “Koichi” are also arranged. Next, content objects that do not include the first tag information “Reiko” and include the second tag information “Koichi” are arranged in the second timeline.

図7(a)によれば、コンテンツオブジェクトの遷移として直列部分と並列部分とが表示されているが、時系列は維持して表示される。
第1のタイムラインを再生した場合
:(CO1,CO2,CO3, CO6,CO8)が再生される。
第2のタイムラインを再生した場合
:(CO1,CO2,CO4,CO5,CO7,CO8)が再生される。
According to Fig.7 (a), although the serial part and the parallel part are displayed as a transition of a content object, it is displayed maintaining a time series.
When playing the first timeline
: (CO1, CO2, CO3, CO6, CO8) is regenerated.
When playing the second timeline
: (CO1, CO2, CO4, CO5, CO7, CO8) is regenerated.

図7(a)によれば、第1のタグ情報「令子」を含み且つ第2のタグ情報「幸一」も含むコンテンツオブジェクトCO2の第1のタイムラインから、第1のタグ情報「令子」を含まず且つ第2のタグ情報「幸一」を含むコンテンツオブジェクトCO4の第2のタイムラインへ遷移するべく表示される。また、第1のタグ情報「令子」を含まず且つ第2のタグ情報「幸一」を含むコンテンツオブジェクトCO7の第2のタイムラインから、第1のタグ情報「令子」を含み且つ第2のタグ情報「幸一」も含むコンテンツオブジェクトCO8の第1のタイムラインへ遷移するべく更に表示される。このような表示は、ユーザインタフェース制御部によって制御される。   According to FIG. 7A, the first tag information “instruction” is obtained from the first timeline of the content object CO2 that includes the first tag information “instruction” and also includes the second tag information “Koichi”. The content object CO4 that is not included and includes the second tag information “Koichi” is displayed to transit to the second timeline. In addition, from the second timeline of the content object CO7 that does not include the first tag information “Reiko” and includes the second tag information “Koichi”, the first tag information “Reiko” is included and the second tag It is further displayed to make a transition to the first timeline of the content object CO8 that also contains the information “Koichi”. Such display is controlled by the user interface control unit.

図7(b)によれば、子供一人のみが映るコンテンツオブジェクトが、競技ごとに並列に表示されている。例えば、運動会の中で、一人の子供が映っているコンテンツを競技ごとにまとめる場合がある。図7(b)によれば、徒競走におけるシーンと騎馬戦におけるシーンが並列に表示されている。
「徒競走」についてのコンテンツオブジェクト:(CO3,CO4,CO5)
「騎馬戦」についてのコンテンツオブジェクト:(CO6, ,CO7)
According to FIG.7 (b), the content object in which only one child is reflected is displayed in parallel for every competition. For example, in an athletic meet, there is a case where contents showing one child are collected for each competition. According to FIG.7 (b), the scene in a race and the scene in a horse race are displayed in parallel.
Content object for "Sports": (CO3, CO4, CO5)
Content object about “Equestrian Battle”: (CO6, CO7)

図7(b)のように表示することによって、不要として1つのタイムラインを、視覚的に容易に削除することもできる。利用者は、同一画面で「徒競走」に関するタイムラインと「騎馬戦」に関するタイムラインとを再生して比較することよって、(CO3,CO4,CO5)又は(CO6, ,CO7)の一方を削除することができる。例えば、第2にタイムラインが削除された場合、以下のように並べられる。
「徒競走」が映るコンテンツオブジェクト
:(CO1,CO2,CO3,CO4,CO5,CO8)
By displaying as shown in FIG. 7B, one timeline can be easily deleted visually as unnecessary. The user deletes one of (CO3, CO4, CO5) or (CO6, CO7) by playing back and comparing the timeline related to “Student Race” and the timeline related to “Equestrian Battle” on the same screen. be able to. For example, when the timeline is secondly deleted, the timelines are arranged as follows.
A content object that shows "Sports"
: (CO1, CO2, CO3, CO4, CO5, CO8)

図4〜図7に表されたタイムラインの自動配置は、登場人物の数が3人以上であってもよいし、イベント(シーン)の数が多数であっても同様に拡張することができる。   The automatic arrangement of the timeline shown in FIGS. 4 to 7 may be expanded even if the number of characters is three or more and the number of events (scenes) is large. .

図8は、本発明における第1のドラッグ&ドロップ操作に基づく表示画面である。   FIG. 8 is a display screen based on the first drag and drop operation in the present invention.

図8(a)によれば、利用者が、CO3をドラッグし、CO6へドロップしたとする。本発明よれば、コンテンツオブジェクトに対する利用者のドラッグ&ドロップ操作の直後に、複数のタイムラインの遷移が更新され、図8(b)へ移行する。図8(b)によれば、第1のタイムラインにタグ情報「令子」を含むコンテンツオブジェクトが並び、第2のタイムラインにタグ情報「幸一」を含むコンテンツオブジェクトが並ぶ。
第1のタイムライン(CO3,CO4,CO5,CO6)
CO3をドラッグし、CO6へドロップ
第1のタイムライン(CO3,CO6)/第2のタイムライン(CO4,CO5)
According to FIG. 8A, it is assumed that the user drags CO3 and drops it to CO6. According to the present invention, immediately after the user's drag and drop operation on the content object, the transitions of the plurality of timelines are updated, and the process proceeds to FIG. According to FIG. 8B, content objects including tag information “Reiko” are arranged in the first timeline, and content objects including tag information “Koichi” are arranged in the second timeline.
First timeline (CO3, CO4, CO5, CO6)
Drag CO3 and drop it to CO6 First timeline (CO3, CO6) / second timeline (CO4, CO5)

図9は、本発明における第2のドラッグ&ドロップ操作に基づく表示画面である。   FIG. 9 is a display screen based on the second drag and drop operation in the present invention.

図9(a)によれば、利用者が、第1のタイムラインのCO2をドラッグし、第2のタイムラインのCO4へドロップしたとする。このとき、図9(b)によれば、CO2->CO3の第1のタイムラインと、CO2->CO4->CO5の第2のタイムラインとが表示される。
第1のタイムライン(CO2,CO3)/第2のタイムライン(CO4,CO5)
第1のタイムラインのCO2をドラッグし、第2のタイムラインのCO4へドロップ
第1のタイムライン(CO2,CO3)
第2のタイムライン(CO2,CO4,CO5)
According to FIG. 9A, it is assumed that the user drags CO2 of the first timeline and drops it to CO4 of the second timeline. At this time, according to FIG. 9B, a first timeline of CO2-> CO3 and a second timeline of CO2->CO4-> CO5 are displayed.
First timeline (CO2, CO3) / second timeline (CO4, CO5)
Drag CO2 on the first timeline and drop it on CO4 on the second timeline First timeline (CO2, CO3)
Second timeline (CO2, CO4, CO5)

図10は、本発明におけるコンテンツオブジェクトの挿入操作に基づく表示画面である。   FIG. 10 is a display screen based on the content object insertion operation in the present invention.

図10(a)によれば、利用者が、第1のタイムラインのCO3及びCO4の間で逆クリックし、メニューから「追加」を選択し、CO5の挿入操作をしたとする。このとき、図10(b)によれば、第1のタイムライン(CO2,CO3,CO5,CO6)が表示される。   According to FIG. 10A, it is assumed that the user performs a reverse click between CO3 and CO4 in the first timeline, selects “Add” from the menu, and performs an operation of inserting CO5. At this time, according to FIG. 10B, the first timeline (CO2, CO3, CO5, CO6) is displayed.

また、コンテンツオブジェクトの間で、トランジションを追加することもできる。トランジションとは、例えば「フェードイン」「フェードアウト」「クロスフェード」がある。   It is also possible to add transitions between content objects. Transitions include, for example, “fade-in”, “fade-out”, and “crossfade”.

図11は、本発明を適用可能なシステムの構成図である。尚、図11によれば、本発明に関係する機能部にのみ、図2及び図3と同様の符号が表記されている。   FIG. 11 is a configuration diagram of a system to which the present invention is applicable. Note that, according to FIG. 11, only the functional units related to the present invention are denoted by the same reference numerals as those in FIGS.

図11によれば、ビデオ撮影者によって操作されるビデオカメラ2が、撮影した原コンテンツを、コンテンツサーバ3へアップロードする。コンテンツサーバ3は、その原コンテンツをコンテンツ蓄積部32に蓄積する。   According to FIG. 11, the video camera 2 operated by the video photographer uploads the captured original content to the content server 3. The content server 3 stores the original content in the content storage unit 32.

これに対し、コンテンツサーバ3は、原コンテンツとは別に、携帯端末向けの編集用コンテンツを作成する。編集用コンテンツは、携帯端末の編集処理負荷を軽減するために、原コンテンツよりもフレームレート及び/又は解像度を低下させたものである。この編集用コンテンツにも、本発明におけるタグ情報が付加される。   On the other hand, the content server 3 creates content for editing for a mobile terminal separately from the original content. The editing content has a lower frame rate and / or resolution than the original content in order to reduce the editing processing load on the mobile terminal. Tag information in the present invention is also added to the editing content.

次に、編集者の操作によって、端末1は、コンテンツサーバ3へアクセスし、タグ情報が付加された編集用コンテンツを受信する。   Next, by the operation of the editor, the terminal 1 accesses the content server 3 and receives the editing content with the tag information added.

端末1は、ユーザインタフェース制御部13を通して編集用コンテンツをディスプレイ部10に表示し、編集者にプロキシ編集(メタ編集)を操作させる。即ち、編集者は、動画コンテンツを直接的に編集することなく、編集用コンテンツに対して編集操作をする。端末1は、編集者の操作に応じて、編集用コンテンツに対する仮編集情報(例えば編集メタ情報)を生成する。仮編集情報(EDL(Edit Decision List))とは、例えばコンテンツのどの時刻からどの時刻までを抽出し,どのようなトランジションエフェクトを付けて断片をくっつけるかの情報を含む。そして、端末1は、その仮編集情報を、コンテンツサーバ3へアップロードする。   The terminal 1 displays the editing content on the display unit 10 through the user interface control unit 13 and causes the editor to perform proxy editing (meta editing). That is, the editor performs an editing operation on the editing content without directly editing the moving image content. The terminal 1 generates temporary editing information (for example, editing meta information) for the editing content in accordance with the editor's operation. Temporary editing information (EDL (Edit Decision List)) includes, for example, information from which time of content to which time is extracted and what transition effect is added to attach fragments. Then, the terminal 1 uploads the temporary editing information to the content server 3.

コンテンツサーバ3は、コンテンツ生成部14によって、仮編集情報に対応するコンテンツオブジェクトを組み合わせて、実編集を実行する。   The content server 3 executes the actual editing by combining the content objects corresponding to the temporary editing information by the content generation unit 14.

以上、詳細に説明したように、本発明の動画コンテンツ編集プログラム、サーバ、装置及び方法によれば、既に撮影された1つの動画コンテンツから、そのコンテンツの内容に応じて複数のタイムラインを表示することができるので、利用者の視覚的な編集操作を容易にすることができる。   As described above in detail, according to the moving image content editing program, server, apparatus, and method of the present invention, a plurality of timelines are displayed from one moving image content that has already been shot according to the content. Therefore, it is possible to facilitate the user's visual editing operation.

複数のタイムラインにおけるコンテンツオブジェクトが、直列に並ぶと共に且つ分岐によって並列に並ぶために、1つの動画コンテンツから、複数の動画コンテンツを作成する場合に、視覚的な編集操作を容易にする。   Since content objects in a plurality of timelines are arranged in series and arranged in parallel by branching, visual editing operations are facilitated when creating a plurality of moving image contents from one moving image content.

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。   Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.

1 端末
2 ビデオカメラ
3 コンテンツサーバ
10 ディスプレイ部
11 ユーザ操作部
12、22、32 コンテンツ蓄積部
13 ユーザインタフェース制御部
14 コンテンツ生成部
15 コンテンツ受信部
16、26、36 顔画像登録部
17、27、37 顔画像認証部
18、28、38 タグ情報付加部
19、29、39 通信インタフェース部
20 カメラ/マイク部
DESCRIPTION OF SYMBOLS 1 Terminal 2 Video camera 3 Content server 10 Display part 11 User operation part 12, 22, 32 Content storage part 13 User interface control part 14 Content generation part 15 Content reception part 16, 26, 36 Face image registration part 17, 27, 37 Face image authentication unit 18, 28, 38 Tag information addition unit 19, 29, 39 Communication interface unit 20 Camera / microphone unit

Claims (11)

利用者に動画コンテンツを編集させるユーザインタフェースを表示する装置に搭載されたコンピュータを機能させる動画コンテンツ編集プログラムにおいて、
前記動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
前記動画コンテンツを蓄積するコンテンツ蓄積手段と、
第1のタグ情報を含む複数のコンテンツオブジェクトの第1のタイムラインを表示すると共に、第1のタグ情報を含まないコンテンツオブジェクトの第2のタイムラインを、第1のタイムラインと並列に表示するユーザインタフェース制御手段と、
前記タイムライン毎に、前記コンテンツオブジェクトを結合するコンテンツ生成手段と
としてコンピュータを機能させることを特徴とする動画コンテンツ編集プログラム。
In a video content editing program for causing a computer mounted on a device that displays a user interface to allow a user to edit video content,
The moving image content is composed of a plurality of content objects divided in time, and the content object includes a plurality of tag information related to the contents,
Content storage means for storing the video content;
The first timeline of the plurality of content objects including the first tag information is displayed, and the second timeline of the content object not including the first tag information is displayed in parallel with the first timeline. User interface control means;
A moving image content editing program for causing a computer to function as content generating means for combining the content objects for each timeline.
前記コンテンツオブジェクトは、時刻を含んでおり、
前記ユーザインタフェース制御手段は、前記タイムラインについて、前記コンテンツオブジェクトを時系列に表示するようにコンピュータを機能させることを特徴とする請求項1に記載の動画コンテンツ編集プログラム。
The content object includes a time,
The moving image content editing program according to claim 1, wherein the user interface control means causes a computer to function so as to display the content objects in time series for the timeline.
前記ユーザインタフェース制御手段は、第1のタグ情報を含み且つ第2のタグ情報も含むコンテンツオブジェクトの第1のタイムラインから、第1のタグ情報を含まず且つ第2のタグ情報を含むコンテンツオブジェクトの第2のタイムラインへ遷移するべく表示するようにコンピュータを機能させることを特徴とする請求項2に記載の動画コンテンツ編集プログラム。   The user interface control means includes, from the first timeline of the content object that includes the first tag information and also includes the second tag information, the content object that does not include the first tag information and includes the second tag information. The moving image content editing program according to claim 2, wherein the computer is caused to function so as to display to transit to the second timeline. 前記ユーザインタフェース制御手段は、第1のタグ情報を含まず且つ第2のタグ情報を含むコンテンツオブジェクトの第2のタイムラインから、第1のタグ情報を含み且つ第2のタグ情報も含むコンテンツオブジェクトの第1のタイムラインへ遷移するべく更に表示するようにコンピュータを機能させることを特徴とする請求項3に記載の動画コンテンツ編集プログラム。   The user interface control means includes a content object that includes the first tag information and also includes the second tag information from the second timeline of the content object that does not include the first tag information and includes the second tag information. 4. The moving image content editing program according to claim 3, wherein the computer is caused to function so as to be further displayed so as to transit to the first timeline. 前記ユーザインタフェース制御手段は、前記コンテンツオブジェクトに対する利用者のドラッグ&ドロップ操作の直後に、複数のタイムラインの遷移を更新するようにコンピュータを機能させることを特徴とする請求項3又は4に記載の動画コンテンツ編集プログラム。   The said user interface control means makes a computer function so that the transition of a some timeline may be updated immediately after the user's drag and drop operation with respect to the said content object, The Claim 3 or 4 characterized by the above-mentioned. Video content editing program. 当該コンテンツオブジェクトの映像に映る人物の名前、シーン、場面転換及び/又は無音状態を前記タグ情報として、前記コンテンツオブジェクトに付加するタグ情報付加手段としてコンピュータを更に機能させることを特徴とする請求項1から5のいずれか1項に記載の動画コンテンツ編集プログラム。   The computer further functions as tag information adding means for adding the name, scene, scene change and / or silent state of the person shown in the video of the content object as the tag information to the content object. 6. The moving image content editing program according to any one of items 1 to 5. 人物の名前と、該人物の顔画像とを予め登録する顔画像登録手段と、
前記コンテンツオブジェクトの映像から、前記顔画像登録手段に蓄積されたに顔画像を認証し、人物の名前を導出する顔認証手段と
してコンピュータを更に機能させ、
前記タグ情報付加手段は、前記顔認証手段から出力された人物の名前を、タグ情報として付加するようにコンピュータを機能させることを特徴とする請求項6に記載の動画コンテンツ編集プログラム。
Face image registration means for pre-registering a person's name and the person's face image;
From the video of the content object, authenticate the face image stored in the face image registration means, and further cause the computer to function as face authentication means for deriving a person's name,
7. The moving image content editing program according to claim 6, wherein the tag information adding unit causes the computer to function so as to add a person name output from the face authentication unit as tag information.
請求項1から5のいずれか1項に記載の動画コンテンツ編集プログラムをコンピュータに機能させる端末へ、前記動画コンテンツを送信するサーバであって、
当該コンテンツオブジェクトの映像に映る人物の名前、シーン、場面転換及び/又は無音状態を前記タグ情報として、前記コンテンツオブジェクトに付加するタグ情報付加手段を更に有することを特徴とするサーバ。
A server that transmits the moving image content to a terminal that causes a computer to function the moving image content editing program according to any one of claims 1 to 5,
A server further comprising tag information adding means for adding the name, scene, scene change and / or silent state of a person shown in the video of the content object as the tag information to the content object.
人物の名前と、該人物の顔画像とを予め登録する顔画像登録手段と、
前記コンテンツオブジェクトの映像から、前記顔画像登録手段に蓄積されたに顔画像を認証し、人物の名前を導出する顔認証手段と
を更に有し、
前記タグ情報付加手段は、前記顔認証手段から出力された人物の名前を、タグ情報として付加することを特徴とする請求項8に記載のサーバ。
Face image registration means for pre-registering a person's name and the person's face image;
Face authentication means for authenticating a face image stored in the face image registration means and deriving a person's name from the video of the content object;
9. The server according to claim 8, wherein the tag information adding unit adds a person name output from the face authentication unit as tag information.
利用者に動画コンテンツを編集させるユーザインタフェースを表示する動画コンテンツ編集装置において、
前記動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
前記動画コンテンツを蓄積するコンテンツ蓄積手段と、
第1のタグ情報を含む複数のコンテンツオブジェクトの第1のタイムラインを表示すると共に、第1のタグ情報を含まないコンテンツオブジェクトの第2のタイムラインを、第1のタイムラインと並列に表示するユーザインタフェース制御手段と、
前記タイムライン毎に、前記コンテンツオブジェクトを結合するコンテンツ生成手段と
を有することを特徴とする動画コンテンツ編集装置。
In a video content editing apparatus that displays a user interface that allows a user to edit video content,
The moving image content is composed of a plurality of content objects divided in time, and the content object includes a plurality of tag information related to the contents,
Content storage means for storing the video content;
The first timeline of the plurality of content objects including the first tag information is displayed, and the second timeline of the content object not including the first tag information is displayed in parallel with the first timeline. User interface control means;
A moving image content editing apparatus comprising: content generation means for combining the content objects for each timeline.
利用者に動画コンテンツを編集させるユーザインタフェースを表示する装置における動画コンテンツ編集方法において、
前記動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
前記装置は、前記動画コンテンツを蓄積するコンテンツ蓄積部を有し、
第1のタグ情報を含む複数のコンテンツオブジェクトの第1のタイムラインを表示すると共に、第1のタグ情報を含まないコンテンツオブジェクトの第2のタイムラインを、第1のタイムラインと並列に表示する第1のステップと、
前記タイムライン毎に、前記コンテンツオブジェクトを結合する第2のステップと
を有することを特徴とする動画コンテンツ編集方法。
In a video content editing method in an apparatus for displaying a user interface that allows a user to edit video content,
The moving image content is composed of a plurality of content objects divided in time, and the content object includes a plurality of tag information related to the contents,
The apparatus includes a content storage unit that stores the video content,
The first timeline of the plurality of content objects including the first tag information is displayed, and the second timeline of the content object not including the first tag information is displayed in parallel with the first timeline. A first step;
A moving image content editing method comprising: a second step of combining the content objects for each timeline.
JP2009117555A 2009-05-14 2009-05-14 Video content editing program, server, apparatus and method Pending JP2010268195A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009117555A JP2010268195A (en) 2009-05-14 2009-05-14 Video content editing program, server, apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009117555A JP2010268195A (en) 2009-05-14 2009-05-14 Video content editing program, server, apparatus and method

Publications (1)

Publication Number Publication Date
JP2010268195A true JP2010268195A (en) 2010-11-25

Family

ID=43364817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009117555A Pending JP2010268195A (en) 2009-05-14 2009-05-14 Video content editing program, server, apparatus and method

Country Status (1)

Country Link
JP (1) JP2010268195A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013179567A1 (en) * 2012-05-30 2013-12-05 株式会社ソニー・コンピュータエンタテインメント Information processing device and information processing method
KR101442355B1 (en) * 2012-12-31 2014-09-19 한국과학기술원 Device and method to create media summary data
KR20170007643A (en) * 2015-07-10 2017-01-19 (주) 프람트 Method for intuitively reproducing video contents through data structure and the apparatus thereof
JP2018528553A (en) * 2015-07-10 2018-09-27 プロンプト・インコーポレイテッド Intuitive video content reproduction method using data structuring and user interface device therefor
JP2019036980A (en) * 2012-11-14 2019-03-07 ストーリーヴァイン インコーポレーティッドStoryvine Inc. Storyboard-directed video production from shared and individualized assets
JP2020053729A (en) * 2018-09-25 2020-04-02 富士ゼロックス株式会社 Moving image editing apparatus and program
KR20220001657A (en) * 2020-06-30 2022-01-06 주식회사 미디어클 movie editor

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9601091B2 (en) 2012-05-30 2017-03-21 Sony Corporation Information processing apparatus and information processing method
JP2013250676A (en) * 2012-05-30 2013-12-12 Sony Computer Entertainment Inc Information processor and information processing method
CN104350456A (en) * 2012-05-30 2015-02-11 索尼电脑娱乐公司 Information processing device and information processing method
WO2013179567A1 (en) * 2012-05-30 2013-12-05 株式会社ソニー・コンピュータエンタテインメント Information processing device and information processing method
JP2019036980A (en) * 2012-11-14 2019-03-07 ストーリーヴァイン インコーポレーティッドStoryvine Inc. Storyboard-directed video production from shared and individualized assets
KR101442355B1 (en) * 2012-12-31 2014-09-19 한국과학기술원 Device and method to create media summary data
KR20170007643A (en) * 2015-07-10 2017-01-19 (주) 프람트 Method for intuitively reproducing video contents through data structure and the apparatus thereof
KR101705595B1 (en) * 2015-07-10 2017-02-13 (주) 프람트 Method for intuitively reproducing video contents through data structure and the apparatus thereof
JP2018528553A (en) * 2015-07-10 2018-09-27 プロンプト・インコーポレイテッド Intuitive video content reproduction method using data structuring and user interface device therefor
US10186300B2 (en) 2015-07-10 2019-01-22 Veaver, Inc. Method for intuitively reproducing video contents through data structuring and the apparatus thereof
JP2020053729A (en) * 2018-09-25 2020-04-02 富士ゼロックス株式会社 Moving image editing apparatus and program
JP7298124B2 (en) 2018-09-25 2023-06-27 富士フイルムビジネスイノベーション株式会社 Video editing device and program
KR20220001657A (en) * 2020-06-30 2022-01-06 주식회사 미디어클 movie editor

Similar Documents

Publication Publication Date Title
US9712862B2 (en) Apparatus, systems and methods for a content commentary community
US7739584B2 (en) Electronic messaging synchronized to media presentation
JP4424389B2 (en) Movie creation device, movie creation method, and program
US20140096002A1 (en) Video clip editing system
US20090142030A1 (en) Apparatus and method for photographing and editing moving image
JP2010268195A (en) Video content editing program, server, apparatus and method
TW201545120A (en) Automatic generation of compilation videos
TW201005583A (en) Interactive systems and methods for video compositing
KR20080047847A (en) Apparatus and method for playing moving image
JP2008286912A (en) Karaoke system
JPH056251A (en) Device for previously recording, editing and regenerating screening on computer system
de Lima et al. Video-based interactive storytelling using real-time video compositing techniques
JP2004166268A (en) System and method for facilitating action change of equipment
JP2007323698A (en) Multi-media content display device, method, and program
US11551724B2 (en) System and method for performance-based instant assembling of video clips
KR20170090856A (en) Method for generating open scenario
JP2011071813A (en) Three-dimensional animation-content editing program, device, and method
US20150371661A1 (en) Conveying Audio Messages to Mobile Display Devices
US11503148B2 (en) Asynchronous short video communication platform based on animated still images and audio
JP2005228297A (en) Production method of real character type moving image object, reproduction method of real character type moving image information object, and recording medium
JP3942471B2 (en) Data editing method, data editing device, data recording device, and recording medium
KR100953476B1 (en) Apparatus and method of creative image using a plural of source-file
JP2005167822A (en) Information reproducing device and information reproduction method
JP6110731B2 (en) Command input recognition system by gesture
WO2016203469A1 (en) A digital media reviewing system and methods thereof