JP2008005010A

JP2008005010A - Motion picture editing method

Info

Publication number: JP2008005010A
Application number: JP2006169914A
Authority: JP
Inventors: Keiichi Tsuda; 圭一津田; Junichi Nakabashi; 順一中橋
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-06-20
Filing date: 2006-06-20
Publication date: 2008-01-10

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method of correctly and easily giving an event time tag to stored motion picture data. <P>SOLUTION: A provided tag adding means 102 acquires meta-data 101 differently indicating time information and an event time tag, for an event time tag-unadded motion picture 100 at hand, and adds a tag corresponding to the meta-data to the motion picture. In this case, a shift time may be calculated when the feature amount added to the meta-data well matches the feature amount of a tag-unadded motion picture, and event time tag information added to the meta-data may be added to the tag-unadded motion picture at the shift time. By doing this, an event tag can be correctly and easily provided to the stored motion picture data having no event time tag, and the tag-added motion picture provided with the event time tag can be obtained. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、録画済の動画の編集に関し、より詳細には、録画済の動画にイベントタイムタグを付加する方法および、付加したイベントタイムタグを参照して動画を編集する動画編集方法に関する。 The present invention relates to editing a recorded moving image, and more particularly to a method for adding an event time tag to a recorded moving image and a moving image editing method for editing a moving image with reference to the added event time tag.

ＴＶ放送の多チャンネル化、録画機の大容量化、録画予約の容易化等を背景として、視聴者が録画する量は増大の一途をたどっており、その結果、蓄積されたまま視聴せずに放置されている動画の量も増加する傾向にある。そこで、その動画のうち、必要部分のみを視聴したり、不要部分を削除したりする機能、ひいてはそれを支援するため、動画のシーンの変わり目にイベントタイムタグを付加する機能が要望されている。 With the background of multi-channel TV broadcasting, increased capacity of recorders, easier recording reservations, etc., the amount of recordings by viewers has been steadily increasing, and as a result, without being watched while being stored The amount of videos that are left unattended tends to increase. Therefore, there is a demand for a function of viewing only a necessary part or deleting an unnecessary part of the moving picture, and a function of adding an event time tag at the change of a moving picture scene in order to support the function.

この要望を実現する手段として、録画時にＥＰＧ情報を参照して、不要部分を録画しないという方法が提案されている(特許文献１)。 As means for realizing this demand, a method has been proposed in which unnecessary portions are not recorded by referring to EPG information during recording (Patent Document 1).

特許文献１で示す方法の概略を図１３に示した。映像、番組データを入力する入力手段１１と、前記入力手段１１から送られてきた映像を記録する録画手段１２と、録画スケジュールを作成する録画スケジュール作成手段１３と、前記録画手段１２を制御する録画制御手段１４と、視聴者が見たい番組の条件を管理する登録手段１５と、録画された映像情報を蓄積する蓄積媒体１６とからなる。 An outline of the method shown in Patent Document 1 is shown in FIG. Input means 11 for inputting video and program data, recording means 12 for recording the video sent from the input means 11, recording schedule creation means 13 for creating a recording schedule, and recording for controlling the recording means 12 It comprises a control means 14, a registration means 15 for managing the conditions of the program that the viewer wants to watch, and a storage medium 16 for storing the recorded video information.

入力手段１１に対し、映像データと番組データが入力される。ここで、番組データとは、いわゆるＥＰＧ(電子番組ガイド)のことで、番組データが電子的に配布されたものである。加えてこの場合、通常のＥＰＧデータには、番組内のシーンの時刻が含まれていない場合もあるのに対し、番組内のシーン時刻が含まれているケースを想定している。 Video data and program data are input to the input means 11. Here, the program data is a so-called EPG (Electronic Program Guide), and the program data is distributed electronically. In addition, in this case, it is assumed that the normal EPG data does not include the time of the scene in the program, but includes the scene time in the program.

視聴者は、登録手段１５に対し、俳優の名前や映画監督の名前等、自分の見たい番組の条件を指定する。条件の設定により、録画スケジュール作成手段１３が、条件にマッチするシーンのみを選択的に録画するよう録画スケジュールを作成し、録画制御手段１４がそのスケジュールに沿って録画することにより、視聴者が指定した条件にマッチしたシーンのみが抽出された動画が記録されるという効果がある。 The viewer designates the conditions of the program he / she wants to watch, such as the name of the actor and the name of the movie director, to the registration means 15. By setting the conditions, the recording schedule creation means 13 creates a recording schedule so as to selectively record only scenes that match the conditions, and the recording control means 14 records according to the schedule, so that the viewer designates it. There is an effect that a moving image in which only scenes that match the conditions are extracted is recorded.

一方、蓄積された動画データに対し、音量など、動画データの特徴量シーケンスを参照してタイムタグ付加を行う方法が提案されている(特許文献２)。 On the other hand, a method has been proposed in which time tags are added to accumulated moving image data by referring to a feature amount sequence of the moving image data such as volume (Patent Document 2).

特許文献２で示す方法のフローの一例を図１４に示した。この方法は、映像情報を記録する録画保存手段と、録画保存手段に保存されているコンテンツの音声レベルを検出し、当該音声レベルに従ってタグ情報を作成する編集手段からなる。 An example of the flow of the method shown in Patent Document 2 is shown in FIG. This method comprises recording storage means for recording video information and editing means for detecting the audio level of the content stored in the recording storage means and creating tag information according to the audio level.

前記編集手段は、録画保存手段に保存されている映像データに対して、録画領域における全域に対して音声レベルをサーチし、その音声レベルが周りより高い部分を抽出し、その抽出した部分、たとえばスポーツ番組において歓声による音声レベルが高い注目シーンについてタグ情報を作成したり、そのタグ情報に従って映像ファイルを自動編集したりすることができるという効果がある。
特開２００１−１３４９９８号公報特開２００２−３３０３９０号公報 The editing unit searches the video data stored in the recording storage unit for an audio level for the entire recording area, extracts a portion where the audio level is higher than the surroundings, and extracts the extracted portion, for example, In sports programs, tag information can be created for a scene of interest with a high voice level due to cheers, and a video file can be automatically edited according to the tag information.
JP 2001-134998 A JP 2002-330390 A

前記特許文献１で示す方法は、放送と同時にＥＰＧを取得する方法であり、そのＥＰＧが誤っていない限り、精度良く番組の切り出しを行うことができるが、同方法は、録画時にＥＰＧデータが既知である必要があり、また、ＥＰＧ情報を参照して録画するする機能に非対応の録画機で録画した場合、ＥＰＧデータと録画データの整合性が失われるため、その後同機能に対応の機器にダビング等を行っても、編集が不可能となる。すなわち、録画時にＥＰＧデータが既知であること、また最初の録画時に録画機が上記機能に対応している必要があり、それを満たさない動画に対しては適用することができないという課題が存在する。 The method disclosed in Patent Document 1 is a method of acquiring an EPG simultaneously with broadcasting. As long as the EPG is not erroneous, the program can be cut out with high accuracy. However, the EPG data is known at the time of recording. In addition, when recording with a recorder that does not support the function of recording with reference to EPG information, the consistency between the EPG data and the recorded data is lost. Even if dubbing is performed, editing becomes impossible. That is, EPG data is known at the time of recording, and the recorder needs to support the above function at the time of the first recording, and there is a problem that it cannot be applied to a movie that does not satisfy it. .

例えば、既に既存のＶＴＲ等の録画装置で蓄積済みの動画や、放送時にＥＰＧが配信されている時点で録画した動画であっても、同機能非対応の録画機で録画した動画がそれに該当する。 For example, even if the video is already stored in a recording device such as an existing VTR, or the video is recorded when EPG is distributed during broadcasting, the video is recorded by a recorder that does not support the function. .

また、前記特許文献２で示す方法は、任意の動画データに適用可能であるが、リファレンスとなるデータがないため、シーンを誤抽出する可能性が高い。また、ここからが何らかのシーンであるという、タイム情報の付与のみが可能であって、それぞれのシーンの内容を示すことができない。すなわち、テキスト情報を付加することはできない、ひいては、キーワード等を指定しての自動編集が不可能であるという課題があった。 The method disclosed in Patent Document 2 can be applied to arbitrary moving image data, but there is no possibility of erroneously extracting a scene because there is no reference data. In addition, it is only possible to give time information that a scene is from here, and the contents of each scene cannot be shown. That is, there is a problem that text information cannot be added, and that automatic editing by specifying a keyword or the like is impossible.

つまり、前記特許文献１ないし２の方法では、例えば、既にＶＴＲで記録済みの動画や、今後、メタデータやＥＰＧ情報が整備されたケースであっても、前記メタデータやＥＰＧ情報を破棄する機械で録画した動画を、イベントタイムタグ対応の、コンピュータや録画機にダビングした時等は、全くイベントタイムタグの付加や自動編集ができないか(特許文献１)、不十分な精度で、内容に関する情報を全く含まないタグ付加、自動編集(特許文献２)が可能であるというレベルにとどまるという課題が存在する。 That is, in the methods of Patent Documents 1 and 2, for example, a machine that discards the metadata and EPG information even in the case of a video that has already been recorded by a VTR, or a case where metadata and EPG information are prepared in the future. When recording a video recorded in step 2 to a computer or recorder that supports event time tags, is it possible to add event time tags or automatically edit them (Patent Document 1)? Information about the contents with insufficient accuracy There is a problem that it remains at a level where tag addition and automatic editing (Patent Document 2) that do not contain any of them are possible.

したがって、本発明の目的は、蓄積済みの動画データに対し、イベントタイムタグを正確に、かつ容易に付与し、また、付与したイベントタイムタグを参照して、自動的または容易に動画の編集を行うことができる動画編集方法を提供することである。 Therefore, an object of the present invention is to accurately and easily assign an event time tag to accumulated moving image data, and refer to the assigned event time tag to automatically or easily edit a moving image. It is to provide a video editing method that can be performed.

上記課題を解決するために、本発明の請求項１記載の動画編集方法は、動画に組み込まれたイベントの時刻を示すイベントタイムタグが付与されていない動画データに対し、イベント時刻が記録され、動画情報を含まないメタデータを取得し、動画データに、メタデータに基づいてイベントタイムタグを付与することを特徴とする。 In order to solve the above problem, the moving image editing method according to claim 1 of the present invention records an event time for moving image data to which an event time tag indicating an event time incorporated in a moving image is not attached, Metadata that does not include moving image information is acquired, and an event time tag is assigned to the moving image data based on the metadata.

請求項２記載の動画編集方法は、請求項１記載の動画編集方法において、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データの、使用者が指定した条件に一致しない不要部分を削除する。 The moving image editing method according to claim 2 is the moving image editing method according to claim 1, wherein, based on the event time tag information, an unnecessary portion of the moving image data to which the event time tag is added that does not match the condition specified by the user. delete.

請求項３記載の動画編集方法は、請求項１記載の動画編集方法において、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データの、使用者が指定した特定部分を検索する。 A moving image editing method according to a third aspect of the present invention is the moving image editing method according to the first aspect, wherein a specific portion designated by the user of the moving image data to which the event time tag is attached is searched based on the event time tag information.

請求項４記載の動画編集方法は、請求項１記載の動画編集方法において、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データに、キャプション、静止画または動画を付加する。 A moving image editing method according to a fourth aspect is the moving image editing method according to the first aspect, wherein a caption, a still image or a moving image is added to the moving image data to which the event time tag is added based on the event time tag information.

請求項５記載の動画編集方法は、請求項１記載の動画編集方法において、メタデータに、時刻に対応した動画の特徴量シーケンス情報が付加され、イベントタイムタグが付与されていない未タグ付け動画の時刻に対応した動画の特徴量シーケンス情報とメタデータに付加された特徴量シーケンス情報と照合することにより、相互の特徴量が最も一致する時刻を基にして、動画データにイベントタイムタグを付与する。 The moving image editing method according to claim 5 is the moving image editing method according to claim 1, wherein the feature amount sequence information of the moving image corresponding to the time is added to the metadata, and the event time tag is not attached. The event time tag is attached to the video data based on the time when the mutual feature values are the best by comparing the feature amount sequence information of the video corresponding to the time of the video and the feature amount sequence information added to the metadata. To do.

請求項６記載の動画編集方法は、請求項５記載の動画編集方法において、動画の特徴量シーケンス情報として、音声の特徴量を用いる。 A moving image editing method according to a sixth aspect of the present invention is the moving image editing method according to the fifth aspect, wherein an audio feature amount is used as the moving image feature amount sequence information.

請求項７記載の動画編集方法は、請求項５記載の動画編集方法において、動画の特徴量シーケンス情報として、画像の特徴量を用いる。 A moving image editing method according to a seventh aspect uses the feature amount of the image as the moving image feature amount sequence information in the moving image editing method according to the fifth aspect.

請求項８記載の動画編集方法は、請求項５記載の動画編集方法において、動画の特徴量シーケンス情報として、複数の特徴量を組合せたベクトルを用いる。 A moving image editing method according to an eighth aspect of the present invention is the moving image editing method according to the fifth aspect, wherein a vector obtained by combining a plurality of feature amounts is used as the feature amount sequence information of the moving image.

請求項９記載の動画編集方法は、請求項５，６，７または８記載の動画編集方法において、特徴量の照合方法として、相互相関関数を用いる。 The moving image editing method according to claim 9 uses the cross-correlation function as the feature amount matching method in the moving image editing method according to claim 5, 6, 7 or 8.

請求項１０記載の動画編集方法は、請求項５，６，７または８記載の動画編集方法において、特徴量の照合方法として、動的計画法を用いる。 A moving image editing method according to a tenth aspect of the present invention is the moving image editing method according to the fifth, sixth, seventh, or eighth aspect, wherein a dynamic programming method is used as a feature amount matching method.

請求項１１記載の動画編集方法は、請求項１記載の動画編集方法において、イベントタイムタグを付与するタグ付けに使用するメタデータを取得する際、複数のメタデータの中から、各メタデータに付加された情報のうち、使用者が指定した条件に一致する情報を有するメタデータを選択することを特徴とする。 The moving image editing method according to claim 11 is the moving image editing method according to claim 1, wherein when acquiring metadata used for tagging to attach an event time tag, each metadata is selected from a plurality of metadata. Of the added information, metadata having information matching the condition specified by the user is selected.

請求項１２記載の動画編集方法は、請求項１記載の動画編集方法において、イベントタイムタグを付与するタグ付けに使用するメタデータを取得する際、タグ付けを意図している動画が決定しているとき、複数のメタデータの中から、各メタデータに付加された特徴量シーケンス情報と、タグ付けを意図している動画の特徴量シーケンス情報が一致する程度が高いメタデータを選択することを特徴とする。 The moving image editing method according to claim 12 is the moving image editing method according to claim 1, wherein the moving image intended for tagging is determined when acquiring metadata used for tagging to attach an event time tag. When selecting the metadata having a high degree of matching between the feature amount sequence information added to each metadata and the feature amount sequence information of the moving image intended for tagging, from a plurality of metadata. Features.

請求項１３記載の動画編集方法は、請求項１，２，３，４，５，６，７，８，９，１０，１１または１２記載の動画編集方法において、タグ付けに使用するメタデータを、メタデータを蓄積する中央サーバから取得する。 The moving image editing method according to claim 13 is the moving image editing method according to claim 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11 or 12, wherein metadata used for tagging is set. , Get from the central server that stores the metadata.

請求項１４記載の動画編集方法は、請求項１３記載の動画編集方法において、中央サーバは、使用者の与えた絞り込み条件から、蓄積されたメタデータを絞り込む機能を有する。 A moving image editing method according to a fourteenth aspect is the moving image editing method according to the thirteenth aspect, wherein the central server has a function of narrowing down the accumulated metadata from the narrowing conditions given by the user.

請求項１５記載の動画編集方法は、請求項１３または１４記載の動画編集方法において、中央サーバは、未タグ付け動画の時刻に対応した特徴量シーケンス情報と、サーバに蓄積されている複数のメタデータの時刻に対応した特徴量シーケンス情報とを照合し、一致する程度が高いメタデータを選択する。 The moving image editing method according to claim 15 is the moving image editing method according to claim 13 or 14, wherein the central server includes feature amount sequence information corresponding to the time of the untagged moving image and a plurality of meta data stored in the server. The feature amount sequence information corresponding to the data time is collated, and metadata having a high degree of matching is selected.

請求項１６記載の動画編集方法は、請求項１３記載の動画編集方法において、中央サーバはメタデータを蓄積するメタデータデータベースを管理し、使用者が所有するメタデータを中央サーバにアップロードし、メタデータデータベースを更新することができる。 The moving image editing method according to claim 16 is the moving image editing method according to claim 13, wherein the central server manages a metadata database for storing metadata, uploads metadata owned by a user to the central server, The data database can be updated.

請求項１７記載の動画編集方法は、請求項１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５または１６記載の動画編集方法において、メタデータを作成する際、イベント情報を含んだ放送からイベント時刻を抽出してメタデータを作成する。 The moving image editing method according to claim 17 is the moving image editing method according to claim 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, or 16. When creating metadata, event time is extracted from a broadcast including event information to create metadata.

請求項１８記載の動画編集方法は、請求項１７記載の動画編集方法において、イベント時刻に対応した特徴量シーケンス情報を抽出して、特徴量シーケンス情報を含んだメタデータを作成する。 The moving image editing method according to claim 18 is the moving image editing method according to claim 17, wherein the feature amount sequence information corresponding to the event time is extracted, and metadata including the feature amount sequence information is created.

本発明の動画編集方法によれば、イベントタイムタグが付与されていない動画データに対し、イベント時刻が記録され、動画情報を含まないメタデータを取得し、動画データに、メタデータに基づいてイベントタイムタグを付与するので、すでに蓄積済みで、イベントタイムタグが付与されていない動画データに対して、イベントタイムタグを正確に、かつ容易に付与することが可能になり、イベントタイムタグが付与されたタグ付き動画が得られる。 According to the moving image editing method of the present invention, event time is recorded for moving image data to which no event time tag is attached, metadata not including moving image information is acquired, and an event based on the metadata is acquired. Since the time tag is assigned, the event time tag can be assigned accurately and easily to the video data that has already been accumulated and the event time tag is not assigned. You can get a tagged video.

また、本発明において、請求項２記載の動画編集方法では、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データの、使用者が指定した条件に一致しない不要部分を削除するので、すでに蓄積済みで、イベントタイムタグが付与されていない動画データに対して、使用者の嗜好に沿った動画編集を容易に行うことができる。 Further, in the present invention, in the moving image editing method according to claim 2, the unnecessary portion of the moving image data to which the event time tag is attached that does not match the condition specified by the user is deleted based on the event time tag information. It is possible to easily edit a moving image in accordance with the user's preference with respect to the moving image data that has already been accumulated and the event time tag is not assigned.

また、本発明において、請求項３記載の動画編集方法では、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データの、使用者が指定した特定部分を検索するので、すでに蓄積済みで、イベントタイムタグが付与されていない動画データに対して、容易にシーン検索を行うができ、使用者の希望する部分のみが再生可能となる。 Further, in the present invention, in the moving image editing method according to claim 3, since the specific portion designated by the user of the moving image data to which the event time tag is added is searched based on the event time tag information, it has already been accumulated. A scene search can be easily performed on moving image data to which no event time tag is assigned, and only a portion desired by the user can be reproduced.

また、本発明において、請求項４記載の動画編集方法では、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データに、キャプション、静止画または動画を付加するので、キャプション等の付加された編集済み動画が簡単に得られる。 Further, in the present invention, in the moving image editing method according to claim 4, since a caption, a still image or a moving image is added to the moving image data to which the event time tag is added based on the event time tag information, a caption or the like is added. Edited videos can be easily obtained.

また、本発明において、請求項５記載の動画編集方法では、メタデータに、時刻に対応した動画の特徴量シーケンス情報が付加され、イベントタイムタグが付与されていない未タグ付け動画の時刻に対応した動画の特徴量シーケンス情報とメタデータに付加された特徴量シーケンス情報と照合することにより、相互の特徴量が最も一致する時刻を基にして、動画データにイベントタイムタグを付与するので、すでに蓄積済みで、イベントタイムタグが付与されていない動画データに対して、動画の前後に過不足があった場合でも、容易に正しくイベントタイムタグを付与することができる。さらに付与したイベントタイムタグを参照して動画の編集等を行うことが可能となる。 According to the present invention, in the moving image editing method according to claim 5, the feature amount sequence information of the moving image corresponding to the time is added to the metadata, and it corresponds to the time of the untagged moving image to which no event time tag is attached. The event time tag is added to the video data based on the time when the mutual feature values are the best match by comparing the feature quantity sequence information of the video and the feature quantity sequence information added to the metadata. Even if there is an excess or deficiency before and after the moving image, the event time tag can be easily and correctly assigned to the moving image data that has been accumulated and the event time tag has not been added. Furthermore, it is possible to edit a moving image with reference to the assigned event time tag.

また、本発明において、動画の特徴量シーケンス情報として、音声の特徴量、画像の特徴量、または複数の特徴量を組合せたベクトルを用いることが好ましい。例えば、音量データ、画像明度や色相、スペクトル、それらの時間変化等、スカラー値、組合せたベクトル値を用いることが可能である。 In the present invention, it is preferable to use an audio feature quantity, an image feature quantity, or a vector that is a combination of a plurality of feature quantities as moving picture feature quantity sequence information. For example, it is possible to use scalar values, combined vector values, such as volume data, image brightness, hue, spectrum, and their temporal changes.

また、本発明において、特徴量の照合方法として、相互相関関数、または動的計画法を用いることが好ましい。相互相関関数等を求めることにより、最も一致するずれ時間を計算することで、ずれ時間を適切なタグ付け開始時刻として与えることができる。 In the present invention, it is preferable to use a cross-correlation function or dynamic programming as a method for comparing feature quantities. By calculating the cross-correlation function or the like and calculating the most consistent shift time, the shift time can be given as an appropriate tagging start time.

また、本発明において、請求項１１記載の動画編集方法では、イベントタイムタグを付与するタグ付けに使用するメタデータを取得する際、複数のメタデータの中から、各メタデータに付加された情報のうち、使用者が指定した条件に一致する情報を有するメタデータを選択するので、メタデータ群の中から、タグ付けに用いる希望のメタデータを容易に選別することが可能となる。 Further, in the present invention, in the moving image editing method according to claim 11, when metadata used for tagging to add an event time tag is acquired, information added to each metadata from a plurality of metadata Since metadata having information that matches the conditions specified by the user is selected, it is possible to easily select desired metadata to be used for tagging from the metadata group.

また、本発明において、請求項１２記載の動画編集方法では、イベントタイムタグを付与するタグ付けに使用するメタデータを取得する際、タグ付けを意図している動画が決定しているとき、複数のメタデータの中から、各メタデータに付加された特徴量シーケンス情報と、タグ付けを意図している動画の特徴量シーケンス情報が一致する程度が高いメタデータを選択するので、タグ付けしたい動画が既知の場合、特に使用者がキーワード等の指定をしなくても、メタデータ群の中から、タグ付けに用いるメタデータを自動的に選別することが可能となる。 According to the present invention, in the moving image editing method according to claim 12, when acquiring metadata used for tagging to attach an event time tag, when a moving image intended for tagging has been determined, The metadata that has a high degree of matching between the feature quantity sequence information added to each metadata and the feature quantity sequence information of the video that is intended to be tagged is selected from Is known, it is possible to automatically select metadata to be used for tagging from the metadata group even if the user does not specify a keyword or the like.

また、本発明において、請求項１３記載の動画編集方法では、タグ付けに使用するメタデータを、メタデータを蓄積する中央サーバから取得するので、メタデータ群を使用者間で共有することが可能となる。 In the present invention, in the moving image editing method according to the thirteenth aspect, the metadata used for tagging is acquired from the central server that stores the metadata, so that the metadata group can be shared among users. It becomes.

また、本発明において、中央サーバは、使用者の与えた絞り込み条件から、蓄積されたメタデータを絞り込む機能を有することが好ましい。これにより、使用者間でデータベースを共有しつつ、多数のメタデータ群から、必要なメタデータを容易に選択することができる。 In the present invention, it is preferable that the central server has a function of narrowing down the accumulated metadata from the narrowing conditions given by the user. Thereby, it is possible to easily select necessary metadata from a large number of metadata groups while sharing a database among users.

また、本発明において、請求項１５記載の動画編集方法では、中央サーバは、未タグ付け動画の時刻に対応した特徴量シーケンス情報と、サーバに蓄積されている複数のメタデータの時刻に対応した特徴量シーケンス情報とを照合し、特徴量シーケンス情報が一致する程度が高いメタデータを選択するので、特に使用者がキーワード等の指定をしなくても、動画に付加すべきタグを含んだメタデータを容易に抽出でき、なおかつ、動画そのものではなく、特徴量シーケンスの転送のみでメタデータを選択可能であるため、通信回線への負担が少ないという効果がある。 In the present invention, in the video editing method according to claim 15, the central server corresponds to the feature amount sequence information corresponding to the time of the untagged video and the time of a plurality of metadata accumulated in the server. Compared with feature amount sequence information, metadata with a high degree of matching of the feature amount sequence information is selected. Therefore, even if the user does not specify a keyword or the like, the metadata including the tag to be added to the movie is included. Since data can be easily extracted and metadata can be selected only by transferring the feature amount sequence, not the moving image itself, there is an effect that the burden on the communication line is small.

また、本発明において、請求項１６記載の動画編集方法では、中央サーバはメタデータを蓄積するメタデータデータベースを管理し、使用者が所有するメタデータを中央サーバにアップロードし、メタデータデータベースを更新することができるので、メタデータデータベースを、使用者の手によって充実させることが可能となり、メタデータの作成コストが低減でき、また、メタデータデータベースに使用者の嗜好が反映される。 According to the present invention, in the video editing method according to claim 16, the central server manages a metadata database for storing metadata, uploads metadata owned by the user to the central server, and updates the metadata database. Therefore, the metadata database can be enriched by the user's hand, the creation cost of the metadata can be reduced, and the user's preference is reflected in the metadata database.

また、本発明において、請求項１７記載の動画編集方法では、メタデータを作成する際、イベント情報を含んだ放送からイベント時刻を抽出してメタデータを作成するので、メタデータを自動的に作成することが可能となり、メタデータの作成コストが低減できる。 According to the present invention, in the moving image editing method according to claim 17, when creating metadata, the metadata is automatically created because the event time is extracted from the broadcast including the event information. This makes it possible to reduce the cost of creating metadata.

また、本発明において、イベント時刻に対応した特徴量シーケンス情報を抽出して、特徴量シーケンス情報を含んだメタデータを作成することが好ましい。これにより、請求項５に記載の効果が得られる。 In the present invention, it is preferable that feature quantity sequence information corresponding to the event time is extracted to create metadata including the feature quantity sequence information. Thereby, the effect described in claim 5 is obtained.

以下、本発明の実施の形態について、添付図面に基づいて説明する。なお、以下に示す実施の形態は、本発明の説明のための例示に過ぎず、他のさまざまな方法によって実施可能である。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The following embodiment is merely an example for explaining the present invention, and can be implemented by various other methods.

本発明の第１の実施形態を図１に基づいて説明する。図１は、動画情報そのものを含まないメタデータを利用して、動画データにイベントタイムタグを付加することを特徴とする発明の実施の形態である。 A first embodiment of the present invention will be described with reference to FIG. FIG. 1 is an embodiment of the invention characterized in that event time tags are added to moving image data using metadata not including moving image information itself.

図１に示すように、タグが付加されていない動画（動画データ）１００、メタデータ１０１、およびタグ付加手段１０２が存在する。タグ付加手段１０２は、手元のイベントタイムタグ未付加動画１００に対して、別途時刻情報とイベントタイムタグが示されたメタデータ１０１を獲得し、動画データ１００に、メタデータ１０１に沿ったタグを付加する。 As shown in FIG. 1, there are a moving image (moving image data) 100 to which no tag is added, metadata 101, and tag adding means 102. The tag adding means 102 acquires metadata 101 in which time information and event time tag are separately indicated for the video 100 with no event time tag added at hand, and adds a tag along the metadata 101 to the video data 100. Append.

メタデータ１０１は、ある番組に対して、何らかのイベントが発生する時刻と、そのイベントの種類を示す情報の対を、１つもしくは複数含むが、その番組そのものの動画を含まないデータである。従来、この種のメタデータは、動画と一体となった形でしか存在せず、著作権等の見地から、柔軟な利用が難しかったのに対し、本発明におけるメタデータ１０１は、動画そのものの情報を含まないため、柔軟な利用が可能であるという利点がある。 The metadata 101 is data that includes one or more pairs of information indicating the time at which an event occurs and the type of the event for a certain program, but does not include the moving image of the program itself. Conventionally, this type of metadata exists only in a form integrated with a moving image, and it has been difficult to use it flexibly from the viewpoint of copyright and the like. Since no information is included, there is an advantage that flexible use is possible.

ここでは、メタデータ１０１は、歌番組”Music-TV”に関して、どの時刻にどのアーティストが登場したか、歌ったか、ＣＭが入ったかというデータだとする。なお、ここでは対象を「番組」としたが、実際には番組に限定されず、映画、コンサート、演説等、さまざまなマルチメディアコンテンツを対象とすることが可能である。 Here, it is assumed that the metadata 101 is data about which artist appeared at what time, sang, or CM entered regarding the song program “Music-TV”. Here, the target is “program”, but it is not limited to a program in practice, and various multimedia contents such as movies, concerts, and speeches can be targeted.

また、メタデータ１０１に含まれているような、イベントの時刻とそのイベントの種類を示す情報の対が、動画に組み込まれた場合、それをイベントタイムタグ１０４と呼称する。また、イベントタイムタグ１０４が組み込まれた動画を、タグ付き動画１０３と呼称する。 Further, when a pair of information indicating the time of an event and the type of the event as included in the metadata 101 is incorporated in a moving image, it is referred to as an event time tag 104. In addition, a moving image in which the event time tag 104 is incorporated is referred to as a tagged moving image 103.

タグ付加手段１０２は、動画１００に対して、メタデータ１０１に含まれる一つのイベント時刻とイベント内容の対、もしくは複数のイベント時刻とイベント内容の対を、あるオフセット時間を付加した上で付与し、タグ付き動画１０３を出力するものである。ただし、ここでは、前記オフセット時間を時刻t_０とする。開始点t_０は、手動または自動で与えられる。 The tag adding means 102 adds one event time and event content pair included in the metadata 101 or a plurality of event time and event content pairs to the moving image 100 after adding a certain offset time. , The tagged moving image 103 is output. However, here, it is assumed that the time t ₀ the offset time. The starting point t ₀ is given by the manually or automatically.

この結果、イベントタイムタグ１０４が付加されたタグ付き動画１０３が得られるという効果がある。 As a result, the tagged moving image 103 with the event time tag 104 added can be obtained.

本発明の第２の実施形態を図２〜図４に基づいて説明する。図２〜図４は、動画データに付加されたイベントタイムタグを利用して動画の検索もしくは編集を行うことを特徴とする発明の実施の形態の説明図である。そのうち、図２は、動画データに付加されたイベントタイムタグを利用して、動画の不要部分の削除を行うことを特徴とする発明の実施の形態である。 A second embodiment of the present invention will be described with reference to FIGS. 2 to 4 are explanatory diagrams of an embodiment of the invention characterized in that a video is searched or edited using an event time tag added to the video data. Among these, FIG. 2 shows an embodiment of the invention characterized in that an unnecessary part of a moving image is deleted using an event time tag added to the moving image data.

図２に示すように、図１に示した発明と同様、タグが付加されていない動画２００、メタデータ２０１、およびタグ付加手段２０２が存在する。図１に示した方法と同じ方法で、タグ付き動画２０３が得られる。本実施形態では、さらに、イベントタイムタグを付加した動画２０３に対して、タグ情報を参照して、動画２０３の、条件にマッチする部分以外の不要部分の削除を行う動画編集手段２０４が存在する。ここでは、動画編集手段２０４により、アーティスト名「△☆」というキーワードにヒットする部分以外を削除し、編集済み動画２０５として出力するものとする。これにより、使用者の嗜好に沿った動画編集が容易になるという効果がある。 As shown in FIG. 2, as in the invention shown in FIG. 1, there are a moving image 200 to which no tag is added, metadata 201, and tag addition means 202. The tagged moving image 203 is obtained by the same method as shown in FIG. In the present embodiment, there is further a moving image editing unit 204 that deletes unnecessary portions of the moving image 203 other than the portion matching the condition with reference to the tag information for the moving image 203 to which the event time tag is added. . Here, it is assumed that the moving image editing unit 204 deletes a portion other than the portion that hits the keyword “Δ ☆” and outputs it as an edited moving image 205. Thereby, there is an effect that editing of a moving image according to the user's preference is facilitated.

図３は、動画データに付加されたイベントタイムタグを利用して、動画の検索を行うことを特徴とする発明の実施の形態である。 FIG. 3 is an embodiment of the invention characterized in that a video search is performed using an event time tag added to the video data.

図３に示すように、図１に示した発明と同様、タグが付加されていない動画３００、メタデータ３０１、およびタグ付加手段３０２が存在する。それに加え、イベントタイムタグを付加した動画３０３に対して、タグ情報を参照して、動画３０３の、条件にマッチする部分の検索を行うシーン検索手段３０４が存在する。図１に示した方法と同じ方法で、タグ付き動画３０３が得られる。本実施形態では、さらに、シーン検索手段３０４が、タグの内容を検索して、実際の再生時に使用者の所望のシーンの頭出しを行う。ここでは、シーン検索手段３０４は、アーティスト名「△☆」というキーワードにヒットする部分のみを抜き出して頭出しするものとする。これにより、動画自体の完全性を損なわないまま、自動的に、使用者の希望する部分のみが再生可能であるという効果がある。 As shown in FIG. 3, as in the invention shown in FIG. 1, there are a moving image 300 to which no tag is added, metadata 301, and tag addition means 302. In addition, there is a scene search unit 304 that searches the moving image 303 to which the event time tag is added and searches the portion of the moving image 303 that matches the condition by referring to the tag information. The tagged moving image 303 is obtained by the same method as shown in FIG. In the present embodiment, the scene search means 304 further searches for the contents of the tag and cues the scene desired by the user during actual playback. Here, it is assumed that the scene search means 304 extracts only the part that hits the keyword “Δ ☆” as the artist name. As a result, there is an effect that only the portion desired by the user can be automatically reproduced without impairing the integrity of the moving image itself.

図４は、動画データに付加されたイベントタイムタグを利用して、動画に何らかの付加を行うことを特徴とする発明の実施の形態である。 FIG. 4 is an embodiment of the invention characterized in that some addition is made to a moving image using an event time tag added to the moving image data.

図４に示すように、図１に示した発明と同様、タグが付加されていない動画４００、メタデータ４０１、およびタグ付加手段４０２が存在する。それに加え、イベントタイムタグを付加した動画４００に対して、タグ情報を参照して、動画４００に、キャプション等を付加する動画編集手段４０４が存在する。図１に示した方法と同じ方法で、タグ付き動画４０３が得られる。本実施形態では、さらに、動画編集手段４０４が、タグの内容に沿って、動画４０３にキャプション４０５の付加を行う。なおキャプションとしては、ここではシーンの内容を示す文としたが、他にも歌詞、字幕、野球中継における球種や、さらには静止画、動画等も考えられる。 As shown in FIG. 4, as in the invention shown in FIG. 1, there are a moving image 400 to which no tag is added, metadata 401, and tag addition means 402. In addition, there is moving image editing means 404 that adds a caption or the like to the moving image 400 with reference to tag information for the moving image 400 to which the event time tag is added. The tagged moving image 403 is obtained by the same method as shown in FIG. In the present embodiment, the moving image editing unit 404 further adds a caption 405 to the moving image 403 according to the contents of the tag. Here, the caption is a sentence indicating the contents of the scene, but other words, such as lyrics, subtitles, baseball broadcast ball types, still images, moving images, and the like are also conceivable.

これにより、キャプション等の付加された編集済み動画４０６が簡単に得られるという効果がある。 As a result, there is an effect that the edited moving image 406 to which a caption or the like is added can be easily obtained.

本発明の第３の実施形態を図５に基づいて説明する。図５は、動画データの特徴量シーケンスをリファレンスデータと照合することにより、動画に余分や不足があっても、正しくイベントタイムタグを付加することを特徴とする方法の発明の実施の形態の説明図である。 A third embodiment of the present invention will be described with reference to FIG. FIG. 5 illustrates an embodiment of the invention of a method characterized in that event time tags are correctly added even if there is an excess or deficiency in the moving image by comparing the feature amount sequence of the moving image data with reference data. FIG.

図５に示すように、タグが付加されていない動画５００、特徴量シーケンスを算出する特徴量算出手段５０１、メタデータ５０２、特徴量照合手段５０５が存在する。メタデータに、時刻に対応した、その番組固有の特性を示すと考えられる、音量や画像明度等の特徴量シーケンス情報が付加されており、タグ未付加動画の同特徴量シーケンスと、前記メタデータ付与の特徴量シーケンスと照合することにより、イベントタイムタグの時刻が、タグ未付加動画のどの時刻に最もマッチするかを検出し、動画の過不足にかかわらず、正しくタグ付けする。ここでは、動画５００は、ある歌番組”Music-TV”を録画したものとする。また、動画５００は、使用者が、同動画を録画した機械の時計が不正確であることから、番組の前後に数分の余裕を持たせて録画しておいたものとする。また、メタデータ５０２は、図１〜図４で示すメタデータ１０１,２０１,３０１,４０１と相違し、何らかのイベントが発生する時刻とそのイベントの種類を示すテキストの対のほかに番組”Music-TV”のリファレンスに対して、あらかじめ計算された特徴量シーケンスデータ５０３を含む。 As shown in FIG. 5, there are a moving image 500 to which no tag is added, a feature amount calculation unit 501 that calculates a feature amount sequence, metadata 502, and a feature amount comparison unit 505. Feature amount sequence information such as volume and image brightness, which is considered to indicate the program-specific characteristics corresponding to the time, is added to the metadata, and the same feature amount sequence of the untagged moving image and the metadata By matching with the assigned feature amount sequence, it is detected which time of the untagged moving image most matches the time of the event time tag, and tagging is performed correctly regardless of whether the moving image is excessive or insufficient. Here, it is assumed that the moving image 500 records a song program “Music-TV”. In addition, it is assumed that the video 500 has been recorded with a margin of several minutes before and after the program because the clock of the machine that recorded the video is incorrect. Further, the metadata 502 is different from the metadata 101, 201, 301, 401 shown in FIGS. 1 to 4, and includes a program “Music-” in addition to a text pair indicating the time when an event occurs and the type of the event. The feature amount sequence data 503 calculated in advance is included for the reference of “TV”.

特徴量算出手段５０１は、動画５００の特徴量シーケンスデータ５０４を算出する。なお、ここで特徴量シーケンスとは、具体的には音量データとするが、画像明度や色相、スペクトル、それらの時間変化等、さまざまなスカラー値、ベクトル値を用いることが可能である。 The feature amount calculation unit 501 calculates feature amount sequence data 504 of the moving image 500. Note that the feature amount sequence here is specifically volume data, but various scalar values and vector values such as image brightness, hue, spectrum, and temporal changes thereof can be used.

特徴量照合手段５０５は、動画５００から導出された特徴量シーケンス５０４と、メタデータに含まれる特徴量シーケンス５０３が最も一致するずれ時間を算出する。ここでは、相互相関関数５０６を求めることにより、最も一致するずれ時間を計算するものとする。ここで、相互相関関数のピークとなる時刻がt_１だとすると、動画５００の先頭に時刻t_１分の余分が付加されていることが判明する。このずれ時間t_１を、図１のシステムのタグ付け開始時刻t_０として与えることにより、動画５００の先頭の余分がどれほどであっても、自動的に適切な時刻にタグデータを付加することができるという効果がある。 The feature amount matching unit 505 calculates a shift time at which the feature amount sequence 504 derived from the moving image 500 and the feature amount sequence 503 included in the metadata most closely match. Here, by calculating the cross-correlation function 506, the most consistent shift time is calculated. Here, Datosuruto time t ₁ to the peak of the cross correlation function, that first extra time t ₁ minute of video 500 is added known. By giving this deviation time t ₁ as the tagging start time t ₀ of the system of FIG. 1, it is possible to automatically add tag data at an appropriate time regardless of the excess at the beginning of the moving image 500. There is an effect that can be done.

なお、特徴量シーケンス照合に用いる方法として、動的計画法を用いてもよい。 Note that dynamic programming may be used as a method used for feature amount sequence matching.

本発明の第４の実施形態を図６に基づいて説明する。図６は、メタデータ群の中から、ユーザの指定した検索キーに従って、使用するメタデータを選択することを特徴とする方法の発明の実施の形態の説明図である。 A fourth embodiment of the present invention will be described with reference to FIG. FIG. 6 is an explanatory diagram of an embodiment of the invention of a method characterized by selecting metadata to be used from a metadata group according to a search key designated by a user.

図６に示すように、使用者６００、メタデータデータベース６０１およびメタデータ選別手段６０２が存在する。メタデータデータベース６０１は、図１〜図５で示した実施形態において利用するメタデータを多数蓄積している。本実施の形態は、複数のメタデータの中から、使用者が動画タグ付けに使用するメタデータを選出する方法であり、メタデータ選別手段６０２が、メタデータに付加された情報のうち、使用者の指定した条件に該当するものを抽出することにより、希望のメタデータを選択する。 As shown in FIG. 6, there are a user 600, a metadata database 601, and metadata sorting means 602. The metadata database 601 stores a lot of metadata used in the embodiment shown in FIGS. This embodiment is a method for selecting metadata to be used for video tagging by a user from a plurality of metadata, and the metadata selection means 602 uses information out of information added to the metadata. The desired metadata is selected by extracting those that meet the conditions specified by the user.

すなわち、使用者は、メタデータ選別手段６０２に、所望の検索条件６０３を入力する。条件としては、番組名、タグに含まれるキーワード、番組の長さ、放送日時、放送局等、さまざまな条件を指定することができる。ここでは、番組名”Music-TV”を指定したものとする。 That is, the user inputs a desired search condition 603 to the metadata sorting unit 602. As conditions, various conditions such as a program name, a keyword included in a tag, a program length, a broadcast date and time, a broadcast station, and the like can be designated. Here, it is assumed that the program name “Music-TV” is designated.

メタデータ選別手段６０２は、メタデータデータベース６０１にアクセスし、検索条件６０３に該当するメタデータ群６０４を選択する。これにより、多数のメタデータ群から、必要なメタデータを容易に選択することができるという効果がある。 The metadata sorting unit 602 accesses the metadata database 601 and selects a metadata group 604 corresponding to the search condition 603. Accordingly, there is an effect that necessary metadata can be easily selected from a large number of metadata groups.

本発明の第５の実施の形態を図７および図８に基づいて説明する。図７および図８は、メタデータ群の中から、動画の持つ特徴量シーケンスとのマッチングを行うことにより、使用するメタデータを選択することを特徴とする方法の発明の実施の形態の説明図である。 A fifth embodiment of the present invention will be described with reference to FIGS. FIG. 7 and FIG. 8 are diagrams for explaining an embodiment of the invention of a method characterized by selecting metadata to be used from the metadata group by matching with a feature amount sequence of a moving image. It is.

図７および図８に示すように、使用者７００が動画７０１を所有しており、さらにメタデータデータベース７０２、特徴量算出手段７０３、および特徴量照合手段７０４が存在する。特徴量算出手段７０３は図５で説明したものと同様である。本実施の形態は、タグ付けをする動画が既知の場合に、複数のメタデータの中から、使用者が動画タグ付けに使用するメタデータを選出する方法であり、メタデータ群中の、それぞれのメタデータに付加された特徴量シーケンスと、タグ付けをする動画の同特徴量シーケンスをそれぞれ照合し、もっとも適合度が高い特徴量シーケンスを付与されたメタデータを選出する。 As shown in FIGS. 7 and 8, the user 700 owns the moving image 701, and further includes a metadata database 702, a feature amount calculating unit 703, and a feature amount collating unit 704. The feature amount calculation means 703 is the same as that described with reference to FIG. This embodiment is a method for selecting metadata to be used for video tagging by a user from a plurality of metadata when a video to be tagged is known. The feature amount sequence added to the metadata and the same feature amount sequence of the moving image to be tagged are collated, respectively, and the metadata to which the feature amount sequence having the highest matching degree is assigned is selected.

すなわち、特徴量算出手段７０３は、動画７０１の特徴量を、図５で示した方法と同様に算出し、特徴量シーケンス７０５を算出する。ここで、特徴量とは、具体的には音量データとするが、画像明度や色相、スペクトル、それらの時間変化等、さまざまなスカラー値、ベクトル値を用いることが可能であることも図５で示した方法と同様である。 That is, the feature amount calculation unit 703 calculates the feature amount of the moving image 701 in the same manner as the method shown in FIG. Here, the feature amount is specifically volume data, but it is also possible to use various scalar values and vector values such as image brightness, hue, spectrum, and their temporal changes in FIG. It is the same as the method shown.

特徴量照合手段７０４は、動画７０１の特徴量シーケンス７０５と、メタデータデータベース７０２に蓄積されているメタデータ群のそれぞれの特徴量シーケンスとの比較を行い、適合度の高いメタデータ１つまたは複数を抽出し、マッチしたメタデータ７０６(もしくは、マッチしたメタデータ群)を選出する。 The feature amount matching unit 704 compares the feature amount sequence 705 of the moving image 701 with each feature amount sequence of the metadata group stored in the metadata database 702, and one or more pieces of metadata having a high degree of fitness. Are extracted, and matched metadata 706 (or matched metadata group) is selected.

前記、適合度の高いメタデータの抽出方法の一例を図８に示す。まず、特徴量照合手段７０４は、前記特徴量シーケンスデータ８００と、蓄積されている各メタデータの持つ特徴量シーケンスデータ８０１〜８０３との、相互相関関数８０４〜８０６を計算する。次に、相互相関関数８０４〜８０６のうちもっとも大きなピーク値を持つものを検索する。メタデータ１の”Music-TV”の特徴量シーケンスデータ８０１は、前後に余分がある以外は、送信されてきた特徴量シーケンスデータ８００とほぼ一致しており、あるずれ時間t_１において非常に大きな相互相関値ピークを示すはずである。メタデータ選別手段７０４は、入力特徴量データ８００に相当する動画７０１に付加されるべきメタデータは、もっとも大きな相互相関値ピークを示す、メタデータ１であると判断する。 FIG. 8 shows an example of the metadata extraction method having a high degree of fitness. First, the feature amount matching unit 704 calculates cross-correlation functions 804 to 806 between the feature amount sequence data 800 and the feature amount sequence data 801 to 803 of each accumulated metadata. Next, the cross correlation function 804 to 806 having the largest peak value is searched. The feature amount sequence data 801 of the “Music-TV” of the metadata 1 is almost the same as the transmitted feature amount sequence data 800 except that there is an excess before and after, and is very large at a certain shift time t ₁ . Should show a cross-correlation value peak. The metadata selection unit 704 determines that the metadata to be added to the moving image 701 corresponding to the input feature amount data 800 is metadata 1 indicating the largest cross-correlation value peak.

なお、ここでは照合の手段として相互相関関数を用いたが、動的計画法を用いても同様の方法が可能である。 Although the cross-correlation function is used here as a collation means, the same method can be used even when dynamic programming is used.

また、図７では特徴量照合手段７０４が出力するのは、マッチしたメタデータ７０６のみとしているが、これに加えて動画のずれ量t_１も同時に出力することができる。 Further, the feature checker unit 704 in FIG. 7 is output, although only the metadata 706 matched, it is possible to output moving displacement amount t ₁ at the same time in addition to this.

この方法により、特に使用者がキーワード等の指定をしなくても、動画７０１に付加すべきタグを含んだメタデータを容易に抽出できるという効果がある。 With this method, there is an effect that metadata including a tag to be added to the moving image 701 can be easily extracted even if the user does not specify a keyword or the like.

本発明の第６の実施形態を図９に基づいて説明する。図９は、中央サーバからメタデータを取得することを特徴とする方法の発明の実施の形態の説明図である。 A sixth embodiment of the present invention will be described with reference to FIG. FIG. 9 is an explanatory diagram of an embodiment of the invention of a method characterized by acquiring metadata from a central server.

図９に示すように、使用者９００とサーバ９０１が存在し、サーバ９０１はメタデータデータベース９０２およびメタデータ選別手段９０３を含む。メタデータデータベース９０２は、図１〜図５で示した形態において利用するメタデータを多数蓄積している。本実施の形態は、タグ付けに用いるメタデータの取得方法であり、タグ付けに用いるメタデータを、メタデータを蓄積する中央サーバ９０１から取得する。また、中央サーバ９０１が、使用者の与えたキーワードや放送日時情報等の絞り込み条件に従って、蓄積されたメタデータの中から絞り込み条件に適合するメタデータを選出する。 As shown in FIG. 9, a user 900 and a server 901 exist, and the server 901 includes a metadata database 902 and a metadata sorting unit 903. The metadata database 902 stores a lot of metadata used in the forms shown in FIGS. The present embodiment is a method for acquiring metadata used for tagging, and acquires metadata used for tagging from a central server 901 that accumulates metadata. Further, the central server 901 selects metadata that matches the filtering condition from the accumulated metadata according to the filtering condition such as the keyword or broadcast date / time information given by the user.

すなわち、使用者９００は、サーバ９０１に、所望の検索条件９０４を入力する。条件としては、図６で例示したものがそのまま適用可能である。ここでは、番組名”Music-TV”を指定したものとする。 That is, the user 900 inputs a desired search condition 904 to the server 901. As the conditions, those illustrated in FIG. 6 can be applied as they are. Here, it is assumed that the program name “Music-TV” is designated.

メタデータ選別手段９０３は、メタデータデータベース９０２にアクセスし、検索条件９０４に該当するメタデータ群９０５を選択し、使用者９００に送信する。これにより、ユーザ間でデータベースを共有しつつ、多数のメタデータ群から、必要なメタデータを容易に選択することができるという効果がある。 The metadata selection unit 903 accesses the metadata database 902, selects a metadata group 905 corresponding to the search condition 904, and transmits it to the user 900. Accordingly, there is an effect that necessary metadata can be easily selected from a large number of metadata groups while sharing a database among users.

本発明の第７の実施形態を図１０に基づいて説明する。図１０は、中央サーバが、蓄積されたメタデータの中から、使用者側から送信されてきた特徴量シーケンスと最も適合したメタデータを選別することを特徴とする方法の発明の実施形態の説明図である。 A seventh embodiment of the present invention will be described with reference to FIG. FIG. 10 is a diagram illustrating an embodiment of a method invention in which the central server selects, from the accumulated metadata, metadata that best matches the feature amount sequence transmitted from the user side. FIG.

図１０に示すように、使用者１０００が動画１００１を所有しており、特徴量算出手段１００２を備える。また、サーバ１００３が存在し、メタデータデータベース１００４、特徴量照合手段１００５を備える。タグ付けをする動画が既知の場合に、使用者１０００側で、タグ付けする動画の特徴量シーケンスを算出し、それを受信した中央サーバ１００３が、タグ付けをする動画の特徴量シーケンスと、蓄積されたメタデータ群中の各メタデータに付与された特徴量シーケンスの照合を行い、適合度の高いメタデータを選出する。 As shown in FIG. 10, a user 1000 owns a moving image 1001 and includes a feature amount calculation unit 1002. A server 1003 exists and includes a metadata database 1004 and a feature amount matching unit 1005. When the moving image to be tagged is known, the user 1000 calculates the feature amount sequence of the moving image to be tagged, and the central server 1003 that has received the calculated feature amount sequence of the moving image to be tagged and the storage The feature amount sequence given to each metadata in the metadata group is collated, and metadata having a high fitness is selected.

すなわち、特徴量算出手段１００２は、動画１００１の特徴量を、図５で示した方法と同様に算出し、特徴量シーケンス１００６を算出する。ここで、特徴量とは、具体的には音量データとするが、画像明度や色相、スペクトル、それらの時間変化等、さまざまなスカラー値、ベクトル値を用いることが可能であることも、図５で示した方法と同様である。 That is, the feature amount calculation unit 1002 calculates the feature amount of the moving image 1001 in the same manner as the method shown in FIG. Here, the feature amount is specifically volume data, but various scalar values and vector values such as image brightness, hue, spectrum, and temporal changes thereof can be used. It is the same as the method shown in.

特徴量シーケンス１００６は、通信路を介してサーバ１００３に送られ、サーバの特徴量照合手段１００５により、メタデータデータベース１００４に蓄積されているメタデータ群の特徴量シーケンスそれぞれと比較され、適合度の高いメタデータ１つまたは複数を抽出し、マッチしたメタデータ１００７(もしくは、マッチしたメタデータ群)が選出され、再び通信路を介して使用者１０００側に送られる。 The feature amount sequence 1006 is sent to the server 1003 via the communication path, and is compared with each feature amount sequence of the metadata group stored in the metadata database 1004 by the server feature amount matching unit 1005, and One or more pieces of high metadata are extracted, and matched metadata 1007 (or matched metadata group) is selected and sent again to the user 1000 via the communication path.

なお、特徴量照合手段１００５の行うマッチングは、図７〜図８で示したマッチングと同様である。 Note that the matching performed by the feature amount matching unit 1005 is the same as the matching shown in FIGS.

また、図１０では特徴量照合手段１００５が出力するのは、マッチしたメタデータ１００７のみとしているが、これに加えて動画のずれ量t_１も同時に出力することができる。 Further, the output from the feature checker unit 1005 in FIG. 10, although only the metadata 1007 matched, it is possible to output moving displacement amount t ₁ at the same time in addition to this.

この方法により、ユーザ間でデータベースを共有しつつ、特に使用者がキーワード等の指定をしなくても、動画１００１に付加すべきタグを含んだメタデータを容易に抽出でき、なおかつ、動画そのものではなく、特徴量シーケンスの転送のみでこの機能を実現可能であるため、通信回線への負担が少ないという効果がある。 By this method, it is possible to easily extract metadata including tags to be added to the moving image 1001 while the user does not specify a keyword or the like while sharing the database between the users. In addition, since this function can be realized only by transferring the feature amount sequence, there is an effect that the burden on the communication line is small.

本発明の第８の実施形態を図１１に基づいて説明する。図１１は、メタデータを蓄積した中央サーバに、使用者がメタデータをアップロードすることを特徴とする方法の発明の実施の形態の説明図である。 An eighth embodiment of the present invention will be described with reference to FIG. FIG. 11 is an explanatory diagram of an embodiment of the invention of a method characterized in that a user uploads metadata to a central server that accumulates metadata.

図１１に示すように、使用者１１００が、自ら手動でタグ付けをしたタグつき動画１１０１および、タグデータ抽出手段１１０２を所持している。また、サーバ１１０３が存在し、サーバ１１０３は、メタデータデータベース１１０４を含む。本実施の形態は、中央サーバ１１０３の備えるメタデータデータベース１１０４の管理方法であり、使用者が、自らの所有するメタデータを、回線を介して送信し、メタデータデータベース１１０４を更新することができる。 As shown in FIG. 11, a user 1100 has a tagged moving image 1101 manually tagged and a tag data extraction unit 1102. A server 1103 exists, and the server 1103 includes a metadata database 1104. This embodiment is a method for managing the metadata database 1104 provided in the central server 1103, and the user can update the metadata database 1104 by transmitting metadata owned by the user via a line. .

すなわち、使用者１１００は、タグつき動画１１０１をタグデータ抽出手段１１０２に入力し、メタデータを作成する。これを使用者作成メタデータ１１０５とする。なお、図ではメタデータはイベントタイムのみのデータとしているが、タグデータ抽出手段１１０２が、図５で説明したような特徴量算出手段を備えており、使用者作成メタデータ１１０５が、特徴量シーケンスデータを含む形態も存在する。 That is, the user 1100 inputs the tagged moving image 1101 to the tag data extraction unit 1102 and creates metadata. This is user-created metadata 1105. In the figure, the metadata is only data of the event time, but the tag data extraction unit 1102 includes the feature amount calculation unit as described in FIG. 5, and the user-created metadata 1105 includes the feature amount sequence. There are also forms that contain data.

使用者１１００は、作成したメタデータ１１０５を、通信回線を介してサーバ１１０３に送信する。サーバは、使用者作成メタデータを、メタデータデータベース１１０４に追加する。 The user 1100 transmits the created metadata 1105 to the server 1103 via a communication line. The server adds user created metadata to the metadata database 1104.

この方法により、メタデータデータベースに蓄積されるメタデータが増加し、メタデータを作成するコストの削減ができる効果、また、メタデータデータベースに使用者の嗜好が反映される効果がある。 This method increases the amount of metadata accumulated in the metadata database, thereby reducing the cost of creating metadata, and also has the effect of reflecting user preferences in the metadata database.

本発明の第９の実施の形態を図１２に基づいて説明する。図１２は、タグ付きの放送データから、メタデータを抽出する方法の発明の実施の形態の説明図である。 A ninth embodiment of the present invention will be described with reference to FIG. FIG. 12 is an explanatory diagram of an embodiment of the invention of a method for extracting metadata from tagged broadcast data.

図１２に示すように、イベントタイムタグつき放送１２００が配信される環境および、メタデータ抽出手段１２０１が存在する。本実施の形態は、メタデータの自動作成方法であり、イベントをポイントする情報を含んだ放送から、イベントの時刻を抽出してメタデータを作成する。 As shown in FIG. 12, there is an environment in which a broadcast 1200 with an event time tag is distributed, and metadata extraction means 1201. The present embodiment is a method for automatically creating metadata, in which metadata is created by extracting the time of an event from a broadcast including information that points to an event.

すなわち、タグデータ抽出手段１２０１は、タグつき放送１２００から、タイムタグデータや番組名を抽出し、メタデータを作成する。これを自動作成メタデータ１２０２とする。なお、同図ではメタデータはイベントタイムのみのデータとしているが、他の形態として、タグデータ抽出手段１２０１が、図５で説明したような特徴量算出手段を備えており、自動作成メタデータ１２０２が、特徴量シーケンスデータを含む形態も存在する。 That is, the tag data extraction unit 1201 extracts time tag data and a program name from the tagged broadcast 1200, and creates metadata. This is automatically created metadata 1202. In the figure, the metadata is only data of the event time. However, as another form, the tag data extraction unit 1201 includes the feature amount calculation unit as described in FIG. However, there is a form including feature amount sequence data.

この方法により、メタデータが自動的に作成されるため、メタデータを作成するコストの削減ができる効果がある。 Since metadata is automatically created by this method, it is possible to reduce the cost of creating metadata.

なお、上記各実施形態は適宜組み合わせて実施できる。 The above embodiments can be implemented in combination as appropriate.

本発明にかかる動画編集方法は、録画済の動画データに対して、全自動でイベントタイムタグを付加すること、および付加して編集することが可能となる。本発明は、ＤＶＤレコーダやパーソナルコンピュータ上のソフトウェアとして利用可能性がある。 The moving image editing method according to the present invention makes it possible to add an event time tag to recorded moving image data in a fully automatic manner, and to add and edit it. The present invention may be used as software on a DVD recorder or a personal computer.

本発明の第１の実施形態の、動画データにイベントタイムタグを付加することを特徴とする方法の説明図である。It is explanatory drawing of the method characterized by adding an event time tag to moving image data of the 1st Embodiment of this invention. 本発明の第２の実施形態において、動画データに付加されたイベントタイムタグを利用して動画の切り出しを行うことを特徴とする方法の説明図である。It is explanatory drawing of the method characterized by cutting out a moving image using the event time tag added to the moving image data in the 2nd Embodiment of this invention. 本発明の第２の実施形態の、動画データに付加されたイベントタイムタグを利用して動画の検索を行うことを特徴とする方法の説明図である。It is explanatory drawing of the method of searching the moving image using the event time tag added to the moving image data of the 2nd Embodiment of this invention. 本発明の第２の実施形態の、動画データに付加されたイベントタイムタグを利用して動画の編集を行うことを特徴とする方法の説明図である。It is explanatory drawing of the method characterized by editing a moving image using the event time tag added to the moving image data of the 2nd Embodiment of this invention. 本発明の第３の実施形態の、動画データの特徴量シーケンスをリファレンスデータと照合することにより、動画に余分や不足があっても、正しくイベントタイムタグを付加することを特徴とする方法の説明図である。Description of a method according to the third embodiment of the present invention, wherein event time tags are correctly added even if there is an excess or deficiency in a moving image by comparing a moving image data feature amount sequence with reference data. FIG. 本発明の第４の実施形態の、メタデータ群の中から、ユーザの指定した検索キーに従って、使用するメタデータを選択することを特徴とする方法の説明図である。It is explanatory drawing of the method characterized by selecting the metadata to be used from the metadata group of the 4th Embodiment of this invention according to the search key designated by the user. 本発明の第５の実施形態の、メタデータ群の中から、動画の持つ特徴量シーケンスのマッチングを行うことにより、使用するメタデータを選択することを特徴とする方法の説明図である。It is explanatory drawing of the method of selecting the metadata to be used by matching the feature-value sequence which a moving image has from the metadata group of the 5th Embodiment of this invention. 図７で説明する、本発明の第５の実施形態のうち、適合する程度の高いメタデータを抽出する部分の図である。It is a figure of the part which extracts the metadata of the high grade which fits among the 5th Embodiment of this invention demonstrated in FIG. 本発明の第６の実施形態の、中央サーバからメタデータを取得することを特徴とする方法の説明図である。It is explanatory drawing of the method characterized by acquiring metadata from the central server of the 6th Embodiment of this invention. 本発明の第７の実施形態の、中央サーバが、蓄積されたメタデータの中から、使用者側から送信されてきた特徴量シーケンスと最も適合したメタデータを選別することを特徴とする方法の説明図である。In the seventh embodiment of the present invention, the central server selects from the accumulated metadata the metadata most suitable for the feature amount sequence transmitted from the user side. It is explanatory drawing. 本発明の第８の実施形態の、メタデータを蓄積した中央サーバに、使用者がメタデータをアップロードすることを特徴とする方法の説明図である。It is explanatory drawing of the method characterized by a user uploading metadata to the central server which accumulate | stored metadata of the 8th Embodiment of this invention. 本発明の第９の実施形態の、タグ付きの放送データから、メタデータを抽出する方法の説明図である。It is explanatory drawing of the method of extracting metadata from the broadcast data with a tag of the 9th Embodiment of this invention. 従来例の概略図である。It is the schematic of a prior art example. 別の従来例の概略図である。It is the schematic of another prior art example.

Explanation of symbols

１００動画データ
１０１動画に付加される、メタデータ
１０２タグ付加手段
１０３出力された、タグ付き動画
１０４付与されたイベントタイムタグ
２００動画データ
２０１動画に付加される、メタデータ
２０２タグ付加手段
２０３出力された、タグ付き動画
２０４動画編集手段
２０５出力された、編集済み動画
３００動画データ
３０１動画に付加される、メタデータ
３０２タグ付加手段
３０３出力された、タグ付き動画
３０４シーン検索手段
４００動画データ
４０１動画に付加される、メタデータ
４０２タグ付加手段
４０３出力された、タグ付き動画
４０４動画編集手段
４０５動画に付加される、キャプション
４０６出力された、編集済み動画
５００動画データ
５０１特徴量算出手段
５０２メタデータ
５０３メタデータに付加されている、特徴量シーケンス
５０４動画データから算出された、特徴量シーケンス
５０５特徴量照合手段
５０６相互相関関数
６００使用者
６０１メタデータデータベース
６０２メタデータ選別手段
６０３検索条件、番組名 Music-TV
６０４選別されたメタデータ群
７００使用者
７０１動画データ
７０２メタデータデータベース
７０３特徴量算出手段
７０４特徴量照合手段
７０５動画データから算出された、特徴量シーケンス
７０６選別されたメタデータ
８００入力特徴量シーケンスデータ
８０１メタデータ１
８０２メタデータ２
８０３メタデータｎ
８０４入力特徴量シーケンスデータとメタデータ１の、相互相関関数
８０５入力特徴量シーケンスデータとメタデータ２の、相互相関関数
８０６入力特徴量シーケンスデータとメタデータｎの、相互相関関数
９００使用者
９０１サーバ
９０２メタデータデータベース
９０３メタデータ選別手段
９０４検索条件、番組名Music-TV
９０５選別されたメタデータ
１０００使用者
１００１動画データ
１００２特徴量算出手段
１００３サーバ
１００４メタデータデータベース
１００５特徴量照合手段
１００６動画データから算出された、特徴量シーケンス
１００７選別されたメタデータ
１１００使用者
１１０１タグ付き動画
１１０２タグデータ抽出手段
１１０３サーバ
１１０４メタデータデータベース
１１０５使用者が作成したメタデータ
１２００タグ付き放送データ
１２０１タグデータ抽出手段
１２０２出力された、自動作成メタデータ 100 video data 101 metadata 102 attached to video 102 tag addition means 103 output tagged video 104 attached event time tag 200 video data 201 metadata 202 attached to video 202 tag addition means 203 output Tagged video 204 Video editing means 205 Output edited video 300 Video data 301 Metadata added to video 302 Tag addition means 303 Output tagged video 304 Scene search means 400 Video data 401 Video Added to the metadata 402 tag adding means 403 output tagged video 404 moving picture editing means 405 added to video caption 406 edited edited video 500 moving picture data 501 feature quantity calculating means 502 metadata 503 For metadata Is pressurized, the feature sequence 504 video data is calculated from the feature amount sequence 505 feature checker unit 506 cross-correlation function 600 user 601 metadata database 602 the metadata selection means 603 search, the program name Music-TV
604 Selected metadata group 700 User 701 Movie data 702 Metadata database 703 Feature quantity calculation means 704 Feature quantity matching means 705 Feature quantity sequence 706 calculated from video data Selected metadata 800 Input feature quantity sequence data 801 metadata 1
802 Metadata 2
803 metadata n
804 Cross-correlation function 805 of input feature amount sequence data and metadata 1 Cross-correlation function 806 of input feature amount sequence data and metadata 2 Cross-correlation function 900 of input feature amount sequence data and metadata n User 901 Server 902 Metadata database 903 Metadata selection means 904 Search condition, program name Music-TV
905 Selected metadata 1000 User 1001 Movie data 1002 Feature quantity calculation unit 1003 Server 1004 Metadata database 1005 Feature quantity collation unit 1006 Feature quantity sequence 1007 selected from movie data Selected metadata 1100 User 1101 Tag Video with tag 1102 Tag data extraction means 1103 Server 1104 Metadata database 1105 Metadata created by user 1200 Broadcast data with tag 1201 Tag data extraction means 1202 Automatically generated metadata output

Claims

For video data that does not have an event time tag indicating the time of the event embedded in the video, event time is recorded, metadata that does not include video information is acquired, and the video data is based on the metadata And an event time tag.

The moving image editing method according to claim 1, wherein an unnecessary portion that does not match a condition specified by a user is deleted from moving image data to which the event time tag is added based on the event time tag information.

The moving image editing method according to claim 1, wherein a specific portion specified by a user is searched for moving image data to which the event time tag is added based on the event time tag information.

The moving image editing method according to claim 1, wherein a caption, a still image, or a moving image is added to moving image data to which the event time tag is added based on the event time tag information.

Video feature quantity sequence information corresponding to time is added to the metadata, and video feature quantity sequence information corresponding to the time of an untagged video without the event time tag is added to the metadata. The moving image editing method according to claim 1, wherein an event time tag is attached to the moving image data based on a time when the mutual feature amounts are the best match by collating with the feature amount sequence information.

6. The moving image editing method according to claim 5, wherein an audio feature amount is used as the moving image feature amount sequence information.

The moving image editing method according to claim 5, wherein a feature amount of an image is used as the feature amount sequence information of the moving image.

The moving image editing method according to claim 5, wherein a vector obtained by combining a plurality of feature amounts is used as the feature amount sequence information of the moving image.

9. The moving image editing method according to claim 5, wherein a cross-correlation function is used as the feature amount matching method.

9. The moving image editing method according to claim 5, wherein a dynamic programming method is used as the feature amount matching method.

The video editing method according to claim 1, wherein when acquiring metadata used for tagging to attach the event time tag, a user among the information added to each metadata is selected from a plurality of metadata. A moving image editing method, wherein metadata having information matching a specified condition is selected.

The video editing method according to claim 1, wherein when acquiring metadata used for tagging to attach the event time tag, when a video intended for tagging is determined, a plurality of metadata are selected. A video editing method, wherein metadata having a high degree of matching between the feature amount sequence information added to each metadata and the feature amount sequence information of the moving image intended for tagging is selected.

The moving image editing method according to claim 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11 or 12, wherein the metadata used for the tagging is acquired from a central server that stores the metadata. .

14. The moving image editing method according to claim 13, wherein the central server has a function of narrowing down the accumulated metadata based on a narrowing condition given by a user.

The central server collates the feature amount sequence information corresponding to the time of the untagged moving image with the feature amount sequence information corresponding to the times of the plurality of metadata stored in the server, and the meta server having a high degree of coincidence. The moving image editing method according to claim 13 or 14, wherein data is selected.

14. The moving image editing method according to claim 13, wherein the central server manages a metadata database for storing metadata, uploads metadata owned by a user to the central server, and updates the metadata database.

An event time is extracted from a broadcast including event information when the metadata is created, and metadata is created to create the metadata, wherein: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, The moving image editing method according to 12, 13, 14, 15 or 16.

18. The moving image editing method according to claim 17, wherein the feature amount sequence information corresponding to the event time is extracted to create metadata including the feature amount sequence information.