JP2005341071A - Video recording viewing system, video recording viewing apparatus, attached information management apparatus, video recording viewing method, program for the method, and recording medium the program recorded thereon - Google Patents

Video recording viewing system, video recording viewing apparatus, attached information management apparatus, video recording viewing method, program for the method, and recording medium the program recorded thereon Download PDF

Info

Publication number
JP2005341071A
JP2005341071A JP2004155412A JP2004155412A JP2005341071A JP 2005341071 A JP2005341071 A JP 2005341071A JP 2004155412 A JP2004155412 A JP 2004155412A JP 2004155412 A JP2004155412 A JP 2004155412A JP 2005341071 A JP2005341071 A JP 2005341071A
Authority
JP
Japan
Prior art keywords
video
additional information
information
recording
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004155412A
Other languages
Japanese (ja)
Inventor
Tomohiro Kitakado
智洋 北角
Tadashi Nakanishi
正 仲西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004155412A priority Critical patent/JP2005341071A/en
Publication of JP2005341071A publication Critical patent/JP2005341071A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To attach attached information to a video image personally recorded at an optional time or an optional time range and to acquire and display attached information provided by other people to eliminate time deviations of the attached information items. <P>SOLUTION: A video recording viewing apparatus 1 detects a video interval on the basis of a variation of a feature quantity of video and audio in a video image and transmits the detected video interval as the attached information to the video image together with a feature quantity by a representative image feature quantity extract means 13 to an attached information management apparatus 2. The attached information management apparatus 2 compares the video interval information with reference video interval information to calculate a time deviation caused at video recording and matches the deviation to a reference time and stores the resulting attached information into a database. When the video recording viewing apparatus requests the attached information management apparatus to transmit the attached information, the attached information management apparatus calculates a video recording time correction value similarly to the case with a transmission state of the attached information, searches the database by the corrected attached information and returns the searched attached information and the calculated video recording correction value to the video recording viewing apparatus. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、録画した映像に対して付与した付加情報を複数の利用者間で互いに参照可能とする映像録画視聴システム、映像録画視聴装置、映像録画視聴方法、この方法のプログラム、およびこのプログラムを記録した記録媒体に関する。   The present invention relates to a video recording / viewing system, a video recording / viewing apparatus, a video recording / viewing method, a program for the method, and a program for enabling the additional information added to the recorded video to be referred to among a plurality of users. The present invention relates to a recorded recording medium.

映像や音楽といった時間軸を持つコンテンツについて、予め分割された時系列の区間に関する情報を保持し、さらに、区間に対して付与されたコメント情報を区間情報と対応付けて保持しておき、コンテンツの再生中に、再生されている区間に対して付与されたコメントを検索して表示する方法が提案されている（例えば、特許文献１、非特許文献１参照）。
特開２００３−０７６７０４号公報 山田一穂、宮川和、森本正志、児島治彦「映像の構造情報を活用した視聴者間コミュニケーション方法の提案」情報処理学会研究報告、グループウェアとネットワークサービス、2002-GN-43-7,pp37-pp42,２００２年３月２２日発行 For content having a time axis such as video and music, information related to a time-series section divided in advance is held, and comment information given to the section is held in association with the section information. There has been proposed a method for searching and displaying a comment given to a section being played during playback (see, for example, Patent Document 1 and Non-Patent Document 1).
Japanese Patent Laid-Open No. 2003-076704 Kazuho Yamada, Kazu Miyagawa, Masashi Morimoto, Haruhiko Kojima “Proposal of Communication Method between Viewers Utilizing Structural Information of Video” Information Processing Society of Japan, Groupware and Network Service, 2002-GN-43-7, pp37-pp42 , Issued March 22, 2002

近年、ＴＶチューナや映像・音声記録機能を備えたパーソナルコンピュータや、ハードディスクレコーダのような録画機器が普及しており、ディジタルで録画・録音された映像・音声を視聴したり保存したりすることが一般的になっている。   In recent years, recording devices such as TV tuners, personal computers with video / audio recording functions, and hard disk recorders have become widespread, and it is possible to view and store digitally recorded / recorded video / audio. It has become common.

このような放送や通信により配信される映像を個人で録画したものについて、映像中の任意の時刻あるいは時区間に付加情報を付与できるようにし、また、他者が付与した付加情報を取得し表示できるようにを達成するため、上記の特許文献１、非特許文献１（以下、従来手法）と同様の構成を採ることが考えられる。   It is possible to add additional information at an arbitrary time or time interval in the video, and to acquire and display additional information provided by others for the video recorded by broadcasting or communication by individuals. In order to achieve this, it is conceivable to adopt a configuration similar to that of Patent Document 1 and Non-Patent Document 1 (hereinafter, conventional method).

しかし、従来手法では、録画された映像を一意に識別できない（第一の課題）、個々人が録画した映像に生じている録画開始時刻のずれを補正できない（第二の課題）、といった問題点がある。以下、この二つの課題について説明する。   However, in the conventional method, the recorded video cannot be uniquely identified (first problem), and the deviation of the recording start time occurring in the video recorded by the individual cannot be corrected (second problem). is there. Hereinafter, these two problems will be described.

（第一の課題）
従来手法で対象としているコンテンツは、ネットワーク上に配置されたサーバに蓄積され、ストリーミングやダウンロードにより端末装置にデータを受信可能な映像コンテンツや音楽コンテンツであり、あるいは、ＤＭＤやＣＤなどのパッケージメディアにより入手することのできる映像コンテンツや音楽コンテンツであった。このようなコンテンツは、複数の利用者が同一のデータを得ることができる。また、このようなコンテンツは、サービス事業者により付与されたコンテンツの識別情報、コンテンツのデータ中に埋め込まれた識別情報、コンテンツを取得したネットワーク上のロケーション、パッケージに付与された番号など、コンテンツを一意に識別するための情報を与えることが容易である。そのため、従来手法によって付加情報を共有することは容易である。 (First issue)
The content targeted by the conventional method is video content or music content that can be stored in a server arranged on the network and can be received by a terminal device by streaming or download, or by package media such as DMD or CD. It was video content and music content that could be obtained. With such content, a plurality of users can obtain the same data. Such content includes content identification information given by the service provider, identification information embedded in the content data, the network location where the content was acquired, and the number given to the package. It is easy to give information for uniquely identifying. Therefore, it is easy to share additional information by a conventional method.

従来手法に従えば、特定のコンテンツの特定の時点または時区間に対して付加情報を付与した場合には、クライアント装置から、コンテンツの識別情報、付加情報が付与された時点または時区間の情報、付加情報の実体または参照先の情報、などをサーバ装置に送信し、サーバ装置では受信した情報をデータベースに蓄積する。一方、特定のコンテンツの特定の時点または時区間に対して付与された付加情報を取得する場合には、コンテンツの識別情報、付加情報を取得したい時間または時区間の情報などをサーバ装置に送信し、サーバ装置では、データベースより検索された付加情報を返却する。   According to the conventional method, when additional information is given to a specific time point or time interval of specific content, content identification information, information of the time point or time interval when the additional information is added, The entity of the additional information or the reference destination information is transmitted to the server device, and the server device stores the received information in the database. On the other hand, when acquiring additional information assigned to a specific time point or time interval of specific content, the content identification information, information on the time or time interval for which additional information is to be acquired, etc. are transmitted to the server device. In the server device, the additional information retrieved from the database is returned.

一方、個々人でディジタル録画された映像ファイルは、他者と全て同一の条件で録画されているとは限らず、他者が同じ番組を録画していたとしても同一の映像ファイルは生成されない。例えば、同じ番組を録画したとしても、放送波の受信状況、録画機器の特性・個体差、符号化のビットレート、解像度、録画時に設定した録画開始・終了日時、録画機器の時計のずれによる録画時間のずれ、などの条件により、映像ファイルは異なってくる。   On the other hand, video files that are digitally recorded by individuals are not necessarily recorded under the same conditions as others, and the same video file is not generated even if the other person is recording the same program. For example, even if the same program is recorded, recording due to broadcast wave reception status, recording device characteristics / individual differences, encoding bit rate, resolution, recording start / end date and time set during recording, recording device clock deviation Video files differ depending on conditions such as time lag.

ここで、録画された番組の時点または時区間に付加情報を付与して他者と共有することを考えると、コンテンツの識別情報と、付加情報を付与する時点または時区間の情報が必要となる。コンテンツの識別情報としては、録画したチャンネル、録画開始日時、ＥＰＧ（電子番組表）から取得あるいは個人で入力した番組タイトル、などの情報を組み合わせて使用することが考えられる。しかしながら、これらの情報は個々人で異なる場合があるため、番組を識別する情報としては不都合がある。   Here, considering that additional information is added to the time point or time interval of the recorded program and shared with others, content identification information and time point information or time interval information are required. . As content identification information, it is conceivable to use a combination of information such as a recorded channel, a recording start date and time, a program title acquired from an EPG (electronic program guide) or input by an individual. However, since these pieces of information may be different for each individual, it is inconvenient as information for identifying a program.

（第二の課題）
付加情報を付与する時点または時区間の情報については、録画機器の時計のずれによる録画時間のずれが問題となる。例えば、利用者Ａと利用者Ｂとがともに１９時００分から始まる同じ番組を録画したところ、実際には録画機器のずれにより、利用者Ａの録画は１８時５９分５５秒から始まっており、また、利用者Ｂの方は１９時００分０３秒から始まっていたとする。利用者Ａが１９時１０分００秒の時点に付加情報を付与したとすると、従来手法では映像ファイル中の１０分０５秒の箇所に対する付加情報として利用者Ａから情報が送信され、それを受信した利用者Ｂの方では１９時１０分０８秒に対する付加情報として表示されてしまう。このようなことを避けるには、付加情報を共有するためのいずれかの段階で、録画時の時間のずれを補正する必要がある。 (Second issue)
Regarding the information at the time point or time interval when the additional information is added, the recording time shift due to the clock shift of the recording device becomes a problem. For example, when both the user A and the user B record the same program starting from 19:00, the recording of the user A actually starts at 18:59:55 due to the deviation of the recording device. Further, it is assumed that the user B started from 19:00:03. If user A gives additional information at the time of 19:10:00, in the conventional method, information is transmitted from user A as additional information for the location of 10 minutes 05 seconds in the video file and received. In the case of the user B who has performed, it is displayed as additional information for 19:10:08. In order to avoid such a situation, it is necessary to correct a time lag during recording at any stage for sharing additional information.

本発明の目的は、放送や通信により配信される映像を個人で録画したものについて、映像中の任意の時刻あるいは時区間に付加情報を付与できるようにし、また、他者が付与した付加情報を取得し表示できるようにし、これらの同期を得ることができる映像録画視聴システム、映像録画視聴装置、付加情報管理装置、映像録画視聴方法、この方法のプログラム、およびこのプログラムを記録した記録媒体を提供することにある。   An object of the present invention is to allow additional information to be added at an arbitrary time or time interval in a video recorded by an individual recorded video that is distributed by broadcasting or communication, and to add additional information provided by others. Provided is a video recording / viewing system, a video recording / viewing device, an additional information management device, a video recording / viewing method, a program for this method, and a recording medium on which this program is recorded, which can be acquired and displayed There is to do.

ここでいう付加情報は、感想や注釈といったテキスト情報のほか、画像情報、音声情報、他の情報への参照先を示す情報など、映像データと関連付けることのできる任意の情報であってよい。   The additional information here may be arbitrary information that can be associated with video data, such as image information, audio information, information indicating a reference destination for other information, in addition to text information such as impressions and annotations.

上記課題を解決するための本発明の請求項１等に記載の映像録画視聴装置は、録画している映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段を備え、映像に対する付加情報を付加情報管理装置に送出する際に、映像識別情報、映像区間情報をともに送信する。付加情報管理装置では、映像識別情報と対応付けて基準となる映像区間情報を予め格納しておき、映像録画視聴装置から受信した映像区間情報と基準となる映像区間情報とを比較して、録画時に生じた時刻のずれに対する補正値（以下、録画時刻補正値）を算出し、付加情報を格納する際には、算出された補正値を加算または減算して基準となる時間に合わせた上で付加情報をデータベースに格納する。   A video recording / viewing apparatus according to claim 1 of the present invention for solving the above-described problem is a video segment detection for detecting a video segment based on a change amount of a feature amount of an image or audio in a recorded video. Means for transmitting the video identification information and the video section information when the additional information for the video is sent to the additional information management device. In the additional information management device, reference video segment information is stored in advance in association with the video identification information, and the video segment information received from the video recording / viewing device is compared with the reference video segment information for recording. When a correction value (hereinafter referred to as a recording time correction value) is calculated for the time lag that occurs at times and additional information is stored, the calculated correction value is added or subtracted to match the reference time. Store additional information in the database.

また、映像録画視聴装置から付加情報管理装置に対して付加情報を要求する際には、付加情報送出時と同様に、映像識別情報、映像区間情報を送る。それを受けて、付加情報管理装置では、同様に録画時刻補正値を算出し、補正値を用いて補正した時間情報を用いてデータベースを検索し、検索された付加情報と算出された録画時刻補正値とを映像録画視聴装置に返却する。映像録画視聴装置では、付加情報を映像と同期させて表示する際に、付加情報管理装置より返却された録画時刻補正値を加味して表示の制御を行う。   Also, when requesting additional information from the video recording / viewing apparatus to the additional information management apparatus, video identification information and video section information are transmitted in the same manner as when the additional information is transmitted. In response to this, the additional information management apparatus similarly calculates the recording time correction value, searches the database using the time information corrected using the correction value, and searches the additional information and the calculated recording time correction. Value is returned to the video recording / viewing device. In the video recording / viewing apparatus, when the additional information is displayed in synchronization with the video, the display is controlled in consideration of the recording time correction value returned from the additional information management apparatus.

映像中の区間を算出するには、下記の特許文献２、非特許文献２などで開示されている映像・音声解析技術を利用する。例えば、これら文献にあるように、映像中のフレーム画像を取り出し、フレーム画像から画像特徴量および画像特徴量の時間的な変化量を計参し、変化量があらかじめ指定された閾値を超える箇所を映像区間の開始点とすることができる。ほかに、音楽、音声、文字テロップなどをもとにして映像区間が検出できることが知られている。   In order to calculate a section in a video, video / audio analysis techniques disclosed in the following Patent Document 2, Non-Patent Document 2, and the like are used. For example, as described in these documents, a frame image in a video is taken out, an image feature amount and a temporal change amount of the image feature amount are calculated from the frame image, and a portion where the change amount exceeds a predetermined threshold value is detected. It can be the starting point of the video section. In addition, it is known that a video section can be detected based on music, voice, character telop, and the like.

特許文献２：特許第２８３９１３２号「映像カット点検出方法及び装置」
非特許文献２：谷口他、「SceneCabinet：映像解析技術を統合した映像インデキシングシステム」、電子情報通信学会誌、Vol.J84-D-II,No.6,pp.1112-1121.2001年
本発明の請求項２等に記載の映像録画視聴装置は、さらに、映像区間の代表画像を作成しこの代表画像から特徴量を抽出する手段を備え、映像に対する付加情報を付加情報管理装置に送出する際には、映像識別情報、映像区間情報、各映像区間の代表画像の特徴量をともに送信する。これを受信した付加情報管理装置では、録画時刻の補正値を算出する際に、映像区間情報と各映像区間の代表画像の特徴量を用いる。画像から色、形状、テクスチャといった画像特徴量を抽出する方法が知られている。映像中の同じ場面から生成された画像であれば画像特徴量も近いと考えられるので、映像区間の同一性を判定する際に有効な指標となる。 Patent Document 2: Japanese Patent No. 2839132 “Video cut point detection method and apparatus”
Non-Patent Document 2: Taniguchi et al., “SceneCabinet: Video Indexing System with Integrated Video Analysis Technology,” Journal of the Institute of Electronics, Information and Communication Engineers, Vol. J84-D-II, No. 6, pp. 1112-1121.2001 The video recording / viewing apparatus according to Item 2 further includes means for creating a representative image of the video section and extracting a feature amount from the representative image, and when sending additional information for the video to the additional information management device. The video identification information, the video section information, and the feature amount of the representative image of each video section are transmitted together. Upon receiving this, the additional information management apparatus uses the video segment information and the feature amount of the representative image of each video segment when calculating the correction value of the recording time. A method for extracting image feature amounts such as color, shape, and texture from an image is known. If the images are generated from the same scene in the video, it is considered that the image feature amount is close, so that it is an effective index when determining the identity of the video section.

以上のことから、本発明は、以下の映像録画視聴システム、映像録画視聴装置、付加情報管理装置、映像録画視聴方法、この方法のプログラム、およびこのプログラムを記録した記録媒体を特徴とする。   From the above, the present invention is characterized by the following video recording / viewing system, video recording / viewing apparatus, additional information management apparatus, video recording / viewing method, program of this method, and recording medium on which this program is recorded.

（１）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムであって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と前記映像区間検出手段によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システム。 (1) A video recording / viewing device that records and reproduces video obtained by broadcasting / communication and an additional information management device that manages additional information given to a specific time or time interval of the video via a network Connected video recording and viewing system,
The video recording / viewing apparatus comprises:
Video segment detection means for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
Additional information input means for adding information to any time or time interval of the recorded video;
Additional information transmitting means for transmitting the additional information given by the additional information input means and the video section information created by the video section detecting means to the additional information management device;
Additional information receiving / displaying means for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
The additional information management device includes:
A video information database that enables video meta information and video section information to be stored and searched;
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Comparing the video section information received from the video recording / viewing apparatus and the video section information serving as a reference managed in the own apparatus, to calculate a correction value for the deviation of the recording start time caused in the video recording / viewing apparatus Recording time correction means to perform,
For the additional information transmitted from the video recording / viewing apparatus, the time information of the additional information is corrected based on the time correction value obtained by the recording time correcting means, and the additional information after the time information correction is added to the additional information database. Additional information registration means for registering with
In response to the additional information search request from the video recording / viewing apparatus, the time correction information obtained by the recording time correction means is acquired, the time information of the search condition is corrected based on the time correction information, and the additional information database And additional information search means for returning additional information that matches the search request together with a time correction value,
A video recording and viewing system characterized by this.

（２）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムであって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
前記映像区間検出手段によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と、前記映像区間検出手段によって得られた映像区間情報と、前記画像特徴量抽出手段によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システム。 (2) A video recording / viewing device that records and reproduces video obtained by broadcasting / communication and an additional information management device that manages additional information given to a specific time or time interval of the video via a network Connected video recording and viewing system,
The video recording / viewing apparatus comprises:
Video segment detection means for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
Image feature amount extraction means for generating a representative image of the video section obtained by the video section detection means and extracting a feature amount of the representative image;
Additional information input means for adding information to any time or time interval of the recorded video;
The additional information given by the additional information input means, the video section information obtained by the video section detection means, and the representative image feature quantity obtained by the image feature quantity extraction means are transmitted to the additional information management apparatus. Additional information transmitting means to
Additional information receiving / displaying means for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
The additional information management device includes:
A video information database that enables video meta information, video section information, and representative image feature values to be stored and searched,
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Occurs in the video recording / viewing device by comparing the video section information and the representative image feature quantity received from the video recording / viewing apparatus with the video section information and the representative image feature quantity serving as a reference to be managed in the own apparatus. Recording time correction means for calculating a correction value for the deviation of the recording start time,
For the additional information transmitted from the video recording / viewing apparatus, the time information of the additional information is corrected based on the time correction information obtained by the recording time correction means, and the additional information after the time information correction is added to the additional information database. Additional information registration means for registering with
In response to the additional information search request from the video recording / viewing apparatus, the time correction information obtained by the recording time correction means is acquired, the time information of the search condition is corrected based on the time correction information, and the additional information database And additional information search means for returning additional information that matches the search request together with time correction information,
A video recording and viewing system characterized by this.

（３）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と前記映像区間検出手段によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備する、
ことを特徴とする映像録画視聴システムの映像録画視聴装置。 (3) A video recording / viewing device that records and reproduces video obtained by broadcasting / communication, and an additional information management device that manages additional information assigned to a specific time or time interval of the video via a network Connected video recording and viewing system,
The video recording / viewing apparatus comprises:
Video segment detection means for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
Additional information input means for adding information to any time or time interval of the recorded video;
Additional information transmitting means for transmitting the additional information given by the additional information input means and the video section information created by the video section detecting means to the additional information management device;
Additional information receiving / displaying means for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
A video recording / viewing apparatus for a video recording / viewing system.

（４）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
前記映像区間検出手段によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と、前記映像区間検出手段によって得られた映像区間情報と、前記画像特徴量抽出手段によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備する、
ことを特徴とする映像録画視聴システムの映像録画視聴装置。 (4) A video recording / viewing device for recording and reproducing video obtained by broadcasting / communication and an additional information management device for managing additional information given to a specific time or time section of the video via a network Connected video recording and viewing system,
The video recording / viewing apparatus comprises:
Video segment detection means for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
Image feature amount extraction means for generating a representative image of the video section obtained by the video section detection means and extracting a feature amount of the representative image;
Additional information input means for adding information to any time or time interval of the recorded video;
The additional information given by the additional information input means, the video section information obtained by the video section detection means, and the representative image feature quantity obtained by the image feature quantity extraction means are transmitted to the additional information management apparatus. Additional information transmitting means to
Additional information receiving / displaying means for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
A video recording / viewing apparatus for a video recording / viewing system.

（５）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システムの付加情報管理装置。 (5) A video recording / viewing device that records and reproduces video obtained by broadcasting / communication and an additional information management device that manages additional information assigned to a specific time or time interval of the video via a network Connected video recording and viewing system,
The additional information management device includes:
A video information database that enables video meta information and video section information to be stored and searched;
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Comparing the video section information received from the video recording / viewing apparatus and the video section information serving as a reference managed in the own apparatus, to calculate a correction value for the deviation of the recording start time caused in the video recording / viewing apparatus Recording time correction means to perform,
For the additional information transmitted from the video recording / viewing apparatus, the time information of the additional information is corrected based on the time correction value obtained by the recording time correcting means, and the additional information after the time information correction is added to the additional information database. Additional information registration means for registering with
In response to the additional information search request from the video recording / viewing apparatus, the time correction information obtained by the recording time correction means is acquired, the time information of the search condition is corrected based on the time correction information, and the additional information database And additional information search means for returning additional information that matches the search request together with a time correction value,
An additional information management device for a video recording / viewing system.

（６）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システムの付加情報管理装置。 (6) A video recording / viewing device that records and reproduces video obtained by broadcasting / communication and an additional information management device that manages additional information given to a specific time or time interval of the video via a network Connected video recording and viewing system,
The additional information management device includes:
A video information database that enables video meta information, video section information, and representative image feature values to be stored and searched,
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Occurs in the video recording / viewing device by comparing the video section information and the representative image feature quantity received from the video recording / viewing apparatus with the video section information and the representative image feature quantity serving as a reference to be managed in the own apparatus. Recording time correction means for calculating a correction value for the deviation of the recording start time,
For the additional information transmitted from the video recording / viewing apparatus, the time information of the additional information is corrected based on the time correction information obtained by the recording time correction means, and the additional information after the time information correction is added to the additional information database. Additional information registration means for registering with
In response to the additional information search request from the video recording / viewing apparatus, the time correction information obtained by the recording time correction means is acquired, the time information of the search condition is corrected based on the time correction information, and the additional information database And additional information search means for returning additional information that matches the search request together with time correction information,
An additional information management device for a video recording / viewing system.

（７）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴方法であって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出過程と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力過程と、
前記付加情報入力過程で付与された付加情報と前記映像区間検出過程によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信過程と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示過程とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正過程と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正過程により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録過程と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正過程により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索過程とを具備する、
ことを特徴とする映像録画視聴方法。 (7) A video recording / viewing device that records and reproduces video obtained by broadcasting / communication and an additional information management device that manages additional information assigned to a specific time or time interval of the video via a network Connected video recording and viewing method,
The video recording / viewing apparatus comprises:
A video segment detection process for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
An additional information input process for adding information to an arbitrary time or time interval of the recorded video;
An additional information transmission process for transmitting the additional information given in the additional information input process and the video section information created by the video section detection process to the additional information management device;
Additional information receiving / displaying process for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
The additional information management device includes:
A video information database that enables video meta information and video section information to be stored and searched;
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Comparing the video section information received from the video recording / viewing apparatus and the video section information serving as a reference managed in the own apparatus, to calculate a correction value for the deviation of the recording start time caused in the video recording / viewing apparatus Recording time correction process to
For the additional information transmitted from the video recording / viewing apparatus, the time information of the additional information is corrected based on the time correction value obtained by the recording time correction process, and the additional information after the time information correction is added to the additional information database. Additional information registration process to be registered in
In response to an additional information search request from the video recording / viewing apparatus, time correction information obtained by the recording time correction process is acquired, time information of a search condition is corrected based on the time correction information, and the additional information database And an additional information search process for returning additional information that matches the search request together with a time correction value.
A video recording and viewing method characterized by the above.

（８）放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴方法であって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出過程と、
前記映像区間検出過程によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出過程と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力過程と、
前記付加情報入力過程で付与された付加情報と、前記映像区間検出過程によって得られた映像区間情報と、前記画像特徴量抽出過程によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信過程と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示過程とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正過程と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正過程により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録過程と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正過程により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索過程とを具備する、
ことを特徴とする映像録画視聴方法。 (8) A video recording / viewing device that records and reproduces video obtained by broadcasting / communication and an additional information management device that manages additional information given to a specific time or time interval of the video via a network Connected video recording and viewing method,
The video recording / viewing apparatus comprises:
A video segment detection process for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
An image feature amount extraction process for generating a representative image of the video section obtained by the video section detection process and extracting a feature amount of the representative image;
An additional information input process for adding information to an arbitrary time or time interval of the recorded video;
The additional information given in the additional information input process, the video section information obtained by the video section detection process, and the representative image feature quantity obtained by the image feature quantity extraction process are transmitted to the additional information management apparatus. Additional information transmission process,
Additional information receiving / displaying process for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
The additional information management device includes:
A video information database that enables video meta information, video section information, and representative image feature values to be stored and searched,
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Occurs in the video recording / viewing device by comparing the video section information and the representative image feature quantity received from the video recording / viewing apparatus with the video section information and the representative image feature quantity serving as a reference to be managed in the own apparatus. Recording time correction process for calculating a correction value for the deviation of the recording start time,
For the additional information transmitted from the video recording / viewing device, the time information of the additional information is corrected based on the time correction information obtained by the recording time correction process, and the additional information after the time information correction is added to the additional information database. Additional information registration process to be registered in
In response to an additional information search request from the video recording / viewing apparatus, time correction information obtained by the recording time correction process is acquired, time information of a search condition is corrected based on the time correction information, and the additional information database An additional information search process that returns additional information that matches the search request together with time correction information.
A video recording and viewing method characterized by the above.

（９）上記の請求項７または請求項８に記載の映像録画視聴方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。   (9) A program characterized in that the video recording / viewing method according to claim 7 or 8 is described by a computer program and can be executed.

（１０）上記の請求項７または請求項８に記載の映像録画視聴方法を、コンピュータで実行可能に構成したプログラムをコンピュータで読み取り可能に記録したことを特徴とする記録媒体。   (10) A recording medium recorded with a computer readable recording of a program configured to execute the video recording / viewing method according to claim 7 or 8.

以上に説明したように、本発明によれば、以下の効果がある。   As described above, the present invention has the following effects.

（１）録画した映像ファイルをやり取りすることなく、映像区間の情報や画像の特徴量といった数値化された情報のみをやり取りすることにより、複数の録画された映像ファイルに生じる時間情報のずれを補正することができる。その結果、個々人が録画した映像の時点あるいは時区間に対して付与した付加情報を複数の利用者間で互いに参照することが可能になる。   (1) Correcting time information shifts in multiple recorded video files by exchanging only numerical information such as video section information and image feature quantities without exchanging recorded video files can do. As a result, it becomes possible for a plurality of users to refer to each other additional information given to the time point or time interval of the video recorded by the individual.

（２）他者が付与した付加情報を参照しながら映像を視聴することで、従来の録画映像の視聴時には得られなかった情報を得ることができる。また、自身からの情報発信の手段ともなり、タイムシフトでの映像視聴に新たな付加価値を加えることができる。   (2) By viewing the video while referring to the additional information given by others, it is possible to obtain information that could not be obtained when viewing the recorded video. It also serves as a means for transmitting information from itself, and can add new added value to video viewing with time shift.

（３）同一番組を録画した複数の録画映像の間での同期を取ることが可能となり、録画映像に対して付与された付加情報を共有できる（録画映像のずれの原因は、録画機器の時計のずれ、機器毎の録画タイミングなど）。   (3) It becomes possible to synchronize between a plurality of recorded videos that have recorded the same program and share additional information given to the recorded videos (the cause of the deviation of the recorded videos is the clock of the recording device). Deviation, recording timing for each device, etc.).

（４）メタ情報の類似度を使用して番組同士の同一性・類似性を判定することができる。これを利用するように本発明システム、装置を変更・拡張することで、以下のような効果が生じる。   (4) The similarity / similarity between programs can be determined using the similarity of meta information. By changing and expanding the system and apparatus of the present invention so as to utilize this, the following effects are produced.

（ａ）録画時刻、チャンネル等の録画情報が欠落している場合でも番組を特定することが可能となり、録画映像に対して付与された付加情報を共有できる。   (A) Even when recording information such as recording time and channel is missing, a program can be specified, and additional information added to the recorded video can be shared.

（ｂ）録画映像に対して付与された付加情報を登録または検索する際に、メタ情報の比較により同一とみなされるものを一括して管理または検索することが可能になり、以下のような効果が生じる。   (B) When registering or searching for additional information given to a recorded video, it is possible to collectively manage or search information that is considered to be the same by comparing meta information, and the following effects Occurs.

・地上波、地上デジタル、衛星放送、ケーブルＴＶといった複数チャンネルで同一内容の映像が同時刻に放送される場合でも、録画映像の同期を取ることが可能となり、録画映像に対して付与された付加情報を共有できる（録画映像のずれの原因は、伝送遅延、符号化・複号化による遅延、録画機器の時計のずれ、など）。   ・ Even when video of the same content is broadcast at the same time on multiple channels such as terrestrial, terrestrial digital, satellite broadcasting, and cable TV, it is possible to synchronize the recorded video and add to the recorded video Information can be shared (the cause of the recorded video shift is transmission delay, delay due to encoding / decoding, clock shift of recording device, etc.).

・同一内容の映像が同一チャンネルまたは別のチャンネルで異なる時刻に放送される場合にも、録画映像に対して付与された付加情報を共有できる。   -Even when video with the same content is broadcast on the same channel or different channels at different times, additional information given to the recorded video can be shared.

（５）番組よりも細かい単位で映像を分割して、局所的なメタ情報の同一性・非同一性を判断できるように拡張することで、以下のような効果が生じる。   (5) Dividing the video into smaller units than the program and expanding it so that the identity / non-identity of the local meta information can be determined has the following effects.

（ｃ）キー局と地方局での同時ネット放送のように、大部分は同一であるが一部分が異なる番組が別のチャンネルで同一時刻に放送される場合にも、録画映像に対して付与された付加情報を共有できる。   (C) When a program that is mostly the same but different in part is broadcast on different channels at the same time, as in the case of simultaneous online broadcasting at a key station and a local station, it is added to the recorded video. Additional information can be shared.

（ｄ）大部分は同一であるが一部分が異なる番組が別の時刻に放送される場合にも、録画映像に対して付与された付加情報を共有できる。   (D) Additional information added to a recorded video can be shared even when a program that is mostly the same but a different part is broadcast at a different time.

図１は、本発明による映像録画視聴システムの基本的な構成図であり、複数の映像録画視聴装置１と、付加情報管理装置２とは、ネットワーク３を介して通信可能とする。ネットワーク３は、例えば、インターネット、電話網などである。   FIG. 1 is a basic configuration diagram of a video recording / viewing system according to the present invention. A plurality of video recording / viewing apparatuses 1 and an additional information management apparatus 2 can communicate with each other via a network 3. The network 3 is, for example, the Internet or a telephone network.

図２は、図１における映像録画視聴装置の構成を示すブロック図である。映像録画視聴装置１は、チューナーや外部映像入力からの映像を符号化してファイルに保存する映像録画手段１１、録画中あるいは録画後に前述のような方法で映像区間を検出して映像区間情報および各映像区間の代表画像ファイルを出力する映像区間検出手段１２、画像ファイルの特徴量を算出する画像特徴量抽出手段１３、映像中の任意の点に対して付加情報を入力する付加情報入力手段１４、付加情報を付加情報管理装置２に対して送信する付加情報送信手段１５、映像録画手段１１によって録画された映像を再生する映像再生手段１６、映像再生手段１６で再生されている映像に対して付与された付加情報を付加情報管理装置２より取得して表示する付加情報受信・表示手段１７、操作者の操作を受け付け、各手段の動作を制御する制御手段１８を備える。   FIG. 2 is a block diagram showing the configuration of the video recording / viewing apparatus in FIG. The video recording / viewing device 1 encodes video from a tuner or an external video input and stores it in a file. The video recording / viewing device 1 detects video segments by the above-described method during or after recording, and records video segment information and each video. Video section detection means 12 for outputting a representative image file of the video section, image feature quantity extraction means 13 for calculating the feature quantity of the image file, additional information input means 14 for inputting additional information to an arbitrary point in the video, Additional information transmitting means 15 for transmitting additional information to the additional information management device 2, video reproducing means 16 for reproducing the video recorded by the video recording means 11, and giving to the video reproduced by the video reproducing means 16 The additional information receiving / displaying means 17 that acquires and displays the added additional information from the additional information managing device 2 and receives the operation of the operator, and controls the operation of each means Provided with a control means 18.

次に、映像録画視聴装置の動作について説明する。放送番組を録画する段階では、映像録画手段１１により、公知のディジタル録画機器と同様の原理により映像・音声を符号化して映像ファイルを作成する。この際、放送チャンネル、録画開始時間、さらには、ＥＰＧ（電子番組表）や事前の入力により得られた番組タイトル等、を録画管理データとして装置内に記録する。また、映像ファイルを作成すると同時に、ディジタル化された映像・音声データを映像区間検出手段１２に入力して、映像区間の検出、および、検出された映像区間の代表画像作成を行い、映像区間検出結果および代表画像データを順次ファイルに保存していく。映像区間の代表画像としては、例えば、映像区間の開始点の画像を採用する。代表画像ファイルが作成されると、さらに、画像特徴量抽出手段１３によって代表画像の特徴量を算出し、算出結果をファイルに保存する。これら映像ファイル、映像区間検出結果、代表画像データ、代表画像の特徴量データは、前述の録画管理データと対応付けて管理されるものとする。   Next, the operation of the video recording / viewing apparatus will be described. At the stage of recording a broadcast program, the video recording means 11 encodes video / audio on the same principle as a known digital recording device to create a video file. At this time, a broadcast channel, a recording start time, an EPG (electronic program guide), a program title obtained by prior input, and the like are recorded in the apparatus as recording management data. At the same time as creating the video file, the digitized video / audio data is input to the video section detection means 12 to detect the video section and create a representative image of the detected video section to detect the video section. The results and representative image data are sequentially saved in a file. As the representative image of the video section, for example, an image at the start point of the video section is employed. When the representative image file is created, the feature amount of the representative image is further calculated by the image feature amount extraction means 13, and the calculation result is stored in the file. These video files, video segment detection results, representative image data, and feature amount data of representative images are managed in association with the above-described recording management data.

録画した映像を視聴する段階では、録画時に作成された映像ファイルを映像再生手段１６によって動画像として再生・表示すると同時に、付加情報受信・表示手段１７によって、再生している映像に対して付与された付加情報を付加情報管理装置２より取得して表示する。   At the stage of viewing the recorded video, the video file created at the time of recording is reproduced / displayed as a moving image by the video reproduction means 16 and at the same time given to the reproduced video by the additional information reception / display means 17. The additional information is acquired from the additional information management device 2 and displayed.

図３は、映像を視聴する画面の例である。４は映像再生手段１６によって映像が再生される領域であり、５は付加情報受信・表示手段によって他者によって付与された付加情報を表示する領域である。また、６は再生中の映像に対して新たに付加情報を記入する領域であり、利用者の操作により確定された入力情報は付加情報入力手段１４に渡される。   FIG. 3 is an example of a screen for viewing a video. Reference numeral 4 denotes an area where an image is reproduced by the image reproducing means 16, and reference numeral 5 denotes an area where additional information given by another person is displayed by the additional information receiving / displaying means. Reference numeral 6 denotes an area in which additional information is newly entered for the video being reproduced. Input information determined by the user's operation is transferred to the additional information input means 14.

図４は、入力情報が付加情報入力手段１４に引き渡された後の処理手順を示す。情報が入力された時点で、付加情報入力手段１４では、映像再生手段１６より、映像ファイルにおける時間情報を取得し（ステップ４０１）、入力情報とステップ４０１で取得した時間情報とを組にした付加情報を録画管理データと対応付けて保存する（ステップ４０２）。引き続き、付加情報送信手段１５を起動し、付加情報管理装置２に接続する（ステップ４０３）。付加情報管理装置への接続に成功した場合には、送信対象となる付加情報と対応する各種情報、具体的には、録画管理データ（放送チャンネル、録画開始時間、タイトルなど）、映像区間情報、映像区間の代表画像の特徴量情報を取得する（ステップ４０５）。次に、送信対象となる付加情報、ステップ４０５で取得した情報、付加情報の作成者を特定するための個人識別情報を付加情報管理装置に向けて送信する（ステップ４０６）。付加情報の送信が完了したら、付加情報管理装置との接続を切断する（ステップ４０７）。ステップ４０４で付加情報管理装置との接続に失敗した場合には、送信対象だった付加情報に関するデータを送信待ちリストに加え（ステップ４０８）、別の機会に再送信するものとする。   FIG. 4 shows a processing procedure after the input information is delivered to the additional information input means 14. When the information is input, the additional information input unit 14 acquires time information in the video file from the video reproduction unit 16 (step 401), and adds the input information and the time information acquired in step 401 as a set. Information is stored in association with the recording management data (step 402). Subsequently, the additional information transmitting means 15 is activated and connected to the additional information management device 2 (step 403). When the connection to the additional information management apparatus is successful, various information corresponding to the additional information to be transmitted, specifically, recording management data (broadcast channel, recording start time, title, etc.), video section information, The feature amount information of the representative image in the video section is acquired (step 405). Next, the additional information to be transmitted, the information acquired in step 405, and personal identification information for specifying the creator of the additional information are transmitted to the additional information management apparatus (step 406). When the transmission of the additional information is completed, the connection with the additional information management apparatus is disconnected (step 407). If the connection with the additional information management apparatus fails in step 404, the data related to the additional information that was the transmission target is added to the transmission waiting list (step 408) and retransmitted at another opportunity.

図５は、付加情報管理装置の構成を示す図である。付加情報管理装置２は、映像録画視聴装置１から送信された付加情報を受信し格納する付加情報登録手段２１、映像録画視聴装置１からの要求に応じて付加情報を検索して返却する付加情報検索手段２２、番組や映像区間に関する情報を格納して検索可能とする映像情報データベース２３、付加情報を格納して検索可能とする付加情報データベース２４、映像録画視聴装置での録画時刻のずれの補正値を算出する録画時刻補正手段２５、二つの映像区間情報間の差異を数値化する映像区間情報比較手段２６、二つの画像特徴量間の差異を数値化する画像特徴量比較手段２７を備える。   FIG. 5 is a diagram illustrating a configuration of the additional information management apparatus. The additional information management device 2 receives additional information transmitted from the video recording / viewing device 1 and stores the additional information in response to a request from the video recording / viewing device 1 and returns additional information. Retrieval means 22, video information database 23 for storing and searching for information on programs and video sections, additional information database 24 for storing and searching for additional information, correction of recording time shift in video recording / viewing apparatus A recording time correcting unit 25 for calculating a value, a video section information comparing unit 26 for converting a difference between two pieces of video section information, and an image feature amount comparing unit 27 for converting a difference between the two image feature amounts are provided.

映像情報データベース２３では、映像の情報、基準となる映像区間情報、代表画像の特徴量を管理する。映像毎に管理される情報は、放送番組のチャンネル、放送開始時間、放送終了時間、番組タイトルなどである。また、映像区間情報毎に管理される情報は、映像区間の種別（どのような観点で作成された区間かを示す）、区間の開始点、区間の終了点、代表画像の特徴量などである。画像の特徴量は、一般に多次元ベクトルとして表現されるので、各次元の成分値をデータベースに格納する。付加情報データベース２４は、付加情報が付与された映像の識別情報、付加情報が付与された時間の情報、付加情報の送信者の識別情報とともに、付加情報そのものを管理する。   The video information database 23 manages video information, reference video section information, and feature amounts of representative images. Information managed for each video includes a broadcast program channel, broadcast start time, broadcast end time, program title, and the like. The information managed for each video section information includes the type of the video section (indicating what kind of section the section is created from), the start point of the section, the end point of the section, the feature amount of the representative image, and the like. . Since the feature amount of the image is generally expressed as a multidimensional vector, the component value of each dimension is stored in the database. The additional information database 24 manages the additional information itself together with the identification information of the video to which the additional information has been added, the time information to which the additional information has been added, and the identification information of the sender of the additional information.

図６は、付加情報登録手段２１における処理手順を示す。映像録画視聴装置との接続後、付加情報登録手段では、映像録画視聴装置から送信された付加情報、録画管理データ、映像区間情報、映像区間の代表画像の特徴量情報、個人識別情報を受信する（ステップ６０１）。次に、ステップ６０１で取得した録画管理データを利用して映像情報データベース２３を検索し、録画管理データと合致する映像が存在するかを検査する（ステップ６０２、６０３）。録画管理データと合致する映像が存在する場合には、当該映像について、基準となる映像区間情報、代表画像の特徴量情報を取得する（ステップ６０４）。   FIG. 6 shows a processing procedure in the additional information registration means 21. After the connection with the video recording / viewing apparatus, the additional information registration means receives the additional information, the recording management data, the video section information, the feature amount information of the representative image of the video section, and the personal identification information transmitted from the video recording / viewing apparatus. (Step 601). Next, the video information database 23 is searched using the video recording management data acquired in step 601, and it is checked whether there is video matching the video recording management data (steps 602 and 603). If there is a video that matches the recording management data, reference video segment information and representative image feature value information are acquired for the video (step 604).

次に、ステップ６０１で受信した映像区間情報および代表画像特徴量情報、ステップ６０４で取得した基準映像区間情報および基準代表画像特徴量情報とを入力として、録画時刻の補正値を算出する（ステップ６０５）。   Next, the video section information and representative image feature information received in step 601 and the reference video section information and reference representative image feature information acquired in step 604 are input, and a recording time correction value is calculated (step 605). ).

次に、ステップ６０５で得られた録画時刻の補正値を使用して、付加情報の時間情報を補正する（ステップ６０６）。例えば、映像ファイルの１０分４５秒の箇所で付加情報が付加されており、算出された録画時刻の補正値がプラス５秒（実際の時刻よりも５秒遅れて録画開始されたことを示す）であったとすると、基準と合わせるためには１０分５０秒の箇所に付与されたものとして時間情報を補正する。   Next, the time information of the additional information is corrected using the correction value of the recording time obtained in step 605 (step 606). For example, additional information is added at a location of 10 minutes 45 seconds in the video file, and the calculated recording time correction value is plus 5 seconds (indicating that recording has started 5 seconds later than the actual time). If it is, in order to match the reference, the time information is corrected on the assumption that it is given at a location of 10 minutes 50 seconds.

最後に、時間情報補正済みの付加情報を付加情報データベース２４に登録する（ステップ６０７）。   Finally, the additional information whose time information has been corrected is registered in the additional information database 24 (step 607).

本実施形態では、ステップ６０３で条件に合致する映像がない場合には、映像録画視聴装置より受信した録画管理データ、映像区間情報、代表画像特徴量情報を新規の番組情報および基準となる映像区間情報、代表画像特徴量情報として、映像情報データベース２３に登録している（ステップ６０８〜６０９）。   In this embodiment, if there is no video that matches the condition in step 603, the recording management data, video section information, and representative image feature information received from the video recording / viewing apparatus are used as new program information and a reference video section. Information and representative image feature amount information are registered in the video information database 23 (steps 608 to 609).

以上では、付加情報が付加情報管理装置に登録されるまでの手順を示した。一方、映像録画視聴装置が付加情報管理装置より付加情報を検索する場合も、同様に映像区間情報、代表画像特徴量情報に基づいて録画時刻の補正が行われる。映像録画視聴装置で映像の視聴が開始されると、付加情報受信・表示手段１７が起動される。付加情報受信手段では、再生中の映像ファイルを識別し、映像ファイルに対応した録画管理データ、映像区間情報、代表画像特徴量情報を取得する。次に、付加情報管理装置２と接続し、録画管理データ、映像区間情報、代表画像特徴量情報、付加情報の検索条件、個人識別情報を送信して、付加情報の検索を要求する。   The procedure until the additional information is registered in the additional information management apparatus has been described above. On the other hand, when the video recording / viewing apparatus retrieves additional information from the additional information management apparatus, the recording time is similarly corrected based on the video section information and the representative image feature amount information. When the video recording / viewing apparatus starts viewing the video, the additional information reception / display unit 17 is activated. The additional information receiving means identifies the video file being reproduced, and acquires recording management data, video section information, and representative image feature information corresponding to the video file. Next, the additional information management apparatus 2 is connected, and recording management data, video section information, representative image feature information, additional information search conditions, and personal identification information are transmitted to request additional information search.

付加情報管理装置２の付加情報検索手段２１では、検索要求を受け付けると、受信した録画管理データを利用して映像情報データベース２３を検索し、録画管理データと合致する映像が存在するかを検査する（ステップ６０２、６０３と同様）。録画管理データと合致する映像が存在する場合には、当該映像について、基準となる映像区間情報、代表画像の特徴量情報を取得する（ステップ６０４と同様）。次に、映像録画視聴装置１より受信した映像区間情報および代表画像特徴量情報、映像情報データベース２３より取得した基準映像区間情報および基準代表画像特徴量情報とを入力として、録画時刻の補正値を算出する（ステップ６０５と同様）。次に、先に得られた録画時刻の補正値を使用して、付加情報の検索条件に時間による絞り込み条件が含まれているときにはこれを補正する。次に、補正された検索条件を用いて、付加情報データベース２４を検索し、検索の結果得られた付加情報と録画時刻の補正値とを映像録画視聴装置１に返却する。   When the additional information search means 21 of the additional information management device 2 accepts the search request, it searches the video information database 23 using the received recording management data and checks whether there is a video that matches the recording management data. (Same as steps 602 and 603). When there is a video that matches the recording management data, reference video segment information and representative image feature amount information are acquired for the video (similar to step 604). Next, the video section information and representative image feature information received from the video recording / viewing apparatus 1 and the reference video section information and reference representative image feature information acquired from the video information database 23 are input, and the correction value of the recording time is set. Calculate (similar to step 605). Next, using the correction value of the recording time obtained previously, if the search condition for additional information includes a narrowing condition by time, this is corrected. Next, the additional information database 24 is searched using the corrected search condition, and the additional information obtained as a result of the search and the correction value of the recording time are returned to the video recording / viewing apparatus 1.

映像録画視聴装置１の付加情報受信・表示手段１７は、映像録画視聴装置１から返却された付加情報と録画時刻の補正値とを受信し、得られた録画時刻の補正値により付加情報に含まれる時間情報を自装置内の映像ファイルに合致したものに変換し、再生中の映像に合わせて表示する。   The additional information receiving / display unit 17 of the video recording / viewing apparatus 1 receives the additional information returned from the video recording / viewing apparatus 1 and the correction value of the recording time, and is included in the additional information by the obtained correction value of the recording time. Time information is converted into a video file that matches the video file in the device, and displayed according to the video being played.

以上、本発明の代表的な実施形態を説明したが、特許請求の範囲を逸脱しない限りの変更・応用が可能である。   The exemplary embodiments of the present invention have been described above, but modifications and applications can be made without departing from the scope of the claims.

次に、録画時刻補正手段２５、および、その処理（図６のＳ６０５に相当）の原理について説明する。   Next, the principle of the recording time correction means 25 and its processing (corresponding to S605 in FIG. 6) will be described.

本発明では、理想的な条件下では、同じ映像に対して同じアルゴリズムで映像区間検出を行うと同じ検出結果が得られること、また、同じ映像区間に対して同じアルゴリズムにより生成された代表画像は同じになること、を利用する。２つの録画映像を比較して映像に時間的ずれがあったとしても、ずれの分を除いた残りの映像区間では、同じように映像区間が検出され、また、対応する映像区間の代表画像は同じような画像になるはずである。   In the present invention, under ideal conditions, the same detection result can be obtained by performing the same video segment detection on the same video, and the representative image generated by the same algorithm for the same video segment is To be the same. Even if there is a time lag in comparing the two recorded videos, the video section is detected in the same manner in the remaining video sections excluding the difference, and the representative image of the corresponding video section is The image should be similar.

図７は、録画機器の時計のずれや放送波の伝送遅延により録画された映像に時間的ずれが生じている場合に、検出された映像区間情報、代表画像情報が異なってくることを示している。図の例では、入力区間情報に対応する映像の方が、基準となる区間情報に対応する映像よりも、時間的に先行して録画されている。図の例とは逆に、入力区間情報に対応する映像の方が基準となる区間情報に対応する映像よりも遅れて録画開始されている場合もあり得る。ここで、何らかの手段により、入力の区間２と基準の区間１とが同一の区間であること、入力の区間３と基準の区間２とが同一の区間であること、……、を判定することができたとすると、入力が基準に対してΔｔだけ先行していることがわかり、この例での録画開始時間の補正値が（−Δｔ）であることが算出できる。   FIG. 7 shows that the detected video section information and representative image information differ when the recorded video has a time lag due to a clock shift of the recording device or a transmission delay of the broadcast wave. Yes. In the example of the figure, the video corresponding to the input section information is recorded ahead of time in the video corresponding to the reference section information. Contrary to the example in the figure, the video corresponding to the input section information may start recording later than the video corresponding to the reference section information. Here, it is determined by some means that the input section 2 and the reference section 1 are the same section, that the input section 3 and the reference section 2 are the same section,. If it is possible, it can be seen that the input precedes the reference by Δt, and it can be calculated that the correction value of the recording start time in this example is (−Δt).

このような基本原理のもと、理想的な条件下でない場合にも対応できるよう、映像区間情報、代表画像特徴量情報の類似性を数値で評価できるようにする。以下で、例について説明する。   Based on such a basic principle, the similarity between the video section information and the representative image feature amount information can be evaluated numerically so as to be able to cope with a case that is not ideal. An example will be described below.

図７に示すように、基準となる映像区間情報のｉ番目（ｉは自然数）の映像区間の開始点をＳi、区間長をＴi、比較対象（入力）となる映像区間情報のｉ番目（ｉは自然数）の映像区間の開始点をｓi、区間長をｔiと標記することにする。また、代表画像の特徴量はＮ次元のベクトル（Ｎは自然数）で表され、基準となる映像区間情報のｉ番目（ｉは自然数）の代表画像の特徴量ベクトルをＶi、入力となる映像区間情報のｉ番目（ｉは自然数）の映像区間の代表画像の特徴量ベクトルをｖiとした場合に、特長量ベクトルＶiとｖiとの類似度をSimilarity（ｖi，Ｖi）とする。ただし、０≦Similarity（ｖi，Ｖi）≦１、類似度が１に近いほど画像が似ていると評価できるよう、類似度が定められているものとする。 この例では、基準となる映像区間情報のｉ番目の映像区間（開始点Ｓi、区間長Ｔi、代表画像特徴ベクトルＶi）と、比較対象である映像区間情報のｊ番目の映像区間（開始点ｓj、区間長ｔj、代表画像特徴ベクトルｖj）との類似度を以下のように定義する。ただし、Ｔは映像全体の長さ、α、βは重み付け係数でありα＋β＝１とする。）
メタ情報間類似度＝α×（１−（（ｔj−Ｔi）／Ｔ）2）＋β×Similarity（ｖj，Ｖi）
映像区間長が近ければ第１項目はαに近づき、代表画像が似ていれば第２項目はβに近づき、映像区間長が近く代表画像も似ていれば上記類似度は１に近づく。同様の傾向を持つものであれば、別の評価関数が用いられてよい。 As shown in FIG. 7, the starting point of the i-th (i is a natural number) video section of the reference video section information is S i , the section length is T i , and the i-th section of the video section information to be compared (input). The starting point of the video section (i is a natural number) is denoted by s i and the section length is denoted by t i . The feature amount of the representative image is represented by an N-dimensional vector (N is a natural number). The feature amount vector of the i-th (i is a natural number) representative image of the reference video section information is V i , and the video to be input. i th section information (i is a natural number) the feature amount vector of the representative image of the video section of the case of the v i, the similarity between the feature quantity vector V i and v i similarity (v i, V i) and To do. However, it is assumed that 0 ≦ Similarity (v i , V i ) ≦ 1 and the similarity is determined so that the closer the similarity is to 1, the more similar the image can be evaluated. In this example, the i-th video section (start point S i , section length T i , representative image feature vector V i ) of the reference video section information and the j-th video section of the video section information to be compared ( The similarity with the start point s j , the section length t j , and the representative image feature vector v j ) is defined as follows. However, T is the length of the whole image, α and β are weighting coefficients, and α + β = 1. )
Meta-information similarity = α × (1 − ((t j −T i ) / T) 2 ) + β × Similarity (v j , V i )
The first item approaches α if the video section length is close, the second item approaches β if the representative image is similar, and the similarity approaches 1 if the video section length is close and the representative image is similar. Another evaluation function may be used if it has the same tendency.

以下の例においては、基準となる映像区間情報に含まれる映像区間のうち連続するＭ個の映像区間を選択し、また、比較対象となる映像区間情報に含まれる映像区間のうち連続するＭ個の映像区間を選択し、両者の対応する映像区間についてメタ情報間類似度を計算し、Ｍ個のメタ情報間類似度の平均値を評価に用いる。Ｍは、固定値、または、映像区間数や映像長に応じて定められる値であり、Ｍを小さくすることによって計算量を削減する。   In the following example, M consecutive video segments are selected from the video segments included in the reference video segment information, and M consecutive video segments are included in the video segment information to be compared. Video information intervals are selected, the meta-information similarity is calculated for the corresponding video intervals, and the average of the M meta-information similarities is used for evaluation. M is a fixed value or a value determined according to the number of video sections and the video length, and the calculation amount is reduced by reducing M.

図８および図９を参照して、録画時刻補正手段の補正手順を説明する。図８に示す各ステップでは、まず、基準と比較対象との間で映像区間の対応関係にずれがないケースを想定して、Ｍ個の映像区間についてメタ情報間類似度の平均を求める（ステップＳ８０１）。より詳細には、基準の２番目の映像区間と比較対象の２番目の映像区間との間のメタ情報間類似度、基準の３番目の映像区間と比較対象の３番目の映像区間との間のメタ情報間類似度、……、基準の（Ｍ＋１）番目の映像区間と比較対象の（Ｍ＋１）番目の映像区間との間のメタ情報間類似度をそれぞれ求め、平均を計算する。なお、１番目の映像区間は本来の映像区間の途中から始まっている場合があるので、平均の計算からは除いている。   With reference to FIGS. 8 and 9, the correction procedure of the recording time correction means will be described. In each step shown in FIG. 8, first, an average of the similarity between meta-information is obtained for M video sections, assuming that there is no deviation in the correspondence between the video sections between the reference and the comparison target (step S801). More specifically, the meta-information similarity between the second reference video segment and the second comparison video segment, and between the third reference video segment and the third comparison video segment. The meta-information similarity between the meta information,..., The meta-information similarity between the reference (M + 1) -th video section and the (M + 1) -th video section to be compared is obtained, and the average is calculated. Since the first video section may start from the middle of the original video section, it is excluded from the average calculation.

次に、メタ情報間類似度の平均値があらかじめ定められた閾値より大きいかどうか（二つの映像区間情報・代表画像が十分似ているかどうか）を判断する（ステップＳ８０２）。閾値より大きい場合には、−（ｓ2−Ｓ2）を録画時刻補正値とする（ステップＳ８０３）。類似度が十分でない場合には、ステップＳ８０４以降の処理を継続する。 Next, it is determined whether or not the average value of the similarity between meta information is larger than a predetermined threshold (whether the two video section information and the representative image are sufficiently similar) (step S802). If larger than the threshold,-(s 2 -S 2 ) is set as the recording time correction value (step S803). If the degree of similarity is not sufficient, the processing after step S804 is continued.

ステップＳ８０４〜Ｓ８０９では、比較対象の映像の方が時間的に先行していると仮定して、映像区間の対応関係をずらしていきながら、類似度が十分大きくなるケースを探索していく。ステップＳ８０５の最初の繰り返しでは、基準の２番目の映像区間と比較対象の３番目の映像区間との間のメタ情報間類似度、基準の３番目の映像区間と比較対象の４番目の映像区間との間のメタ情報間類似度、……、基準の（Ｍ＋１）番目の映像区間と比較対象の（Ｍ＋２）番目の映像区間との間のメタ情報間類似度をそれぞれ求め、平均を計算する。ステップＳ８０５の２回目の繰り返しでは、同様に、基準の２番目の映像区間と比較対象の４番目の映像区間との間のメタ情報間類似度、基準の３番目の映像区間と比較対象の５番目の映像区間との間のメタ情報間類似度、……、基準の（Ｍ＋１）番目の映像区間と比較対象の（Ｍ＋３）番目の映像区間との間のメタ情報間類似度をそれぞれ求め、平均を計算する。以降同様の処理を繰り返し、ｋ回目の繰り返しでメタ情報間類似度の平均値が十分小さくなった場合には、−（ｓk+2−Ｓ2）を録画時刻補正値とする（ステップＳ８０７）。 In steps S804 to S809, assuming that the comparison target video is ahead in time, the case where the similarity is sufficiently large is searched while shifting the correspondence relationship of the video sections. In the first iteration of step S805, the similarity between meta information between the reference second video section and the third video section to be compared, the third video section and the fourth video section to be compared. The meta-information similarity between and the meta information between the reference (M + 1) -th video section and the comparison target (M + 2) -th video section is calculated, and the average is calculated. . In the second repetition of step S805, similarly, the similarity between meta information between the reference second video section and the fourth video section to be compared, and the reference third video section and the comparison target 5 The meta-information similarity between the first video section,... And the meta-information similarity between the reference (M + 1) -th video section and the (M + 3) -th video section to be compared, Calculate the average. Thereafter, the same processing is repeated, and when the average value of the similarity between meta information becomes sufficiently small by the k-th repetition, − (s k + 2 −S 2 ) is set as the recording time correction value (step S807). .

基準と比較対象との間のずれが予め定めた許容値を超える場合には、繰り返しを打ち切る（ステップＳ８０８）。録画時刻補正値の性質上、許容値をそれほど大きな値に設定する必要はない。   If the difference between the reference and the comparison object exceeds a predetermined allowable value, the repetition is terminated (step S808). Due to the nature of the recording time correction value, it is not necessary to set the allowable value so large.

図９に示すステップＳ８１０〜Ｓ８１５では、比較対象の映像の方が時間的に遅れていると仮定して、映像区間の対応関係をずらしていきながら、類似度が十分大きくなるケースを探索していく。ステップＳ８１１の最初の繰り返しでは、基準の３番目の映像区間と比較対象の２番目の映像区間との間のメタ情報間類似度、基準の４番目の映像区間と比較対象の３番目の映像区間との間のメタ情報間類似度、……、基準の（Ｍ＋２）番目の映像区間と比較対象の（Ｍ＋１）番目の映像区間との間のメタ情報間類似度をそれぞれ求め、平均を計算する。ステップＳ８１１の２回目の繰り返しでは、基準の４番目の映像区間と比較対象の２番目の映像区間との間のメタ情報間類似度、基準の５番目の映像区間と比較対象の３番目の映像区間との間のメタ情報間類似度、……、基準の（Ｍ＋３）番目の映像区間と比較対象の（Ｍ＋１）番目の映像区間との間のメタ情報間類似度をそれぞれ求め、平均を計算する。以降同様の処理を繰り返し、ｋ回目の繰り返しでメタ情報間類似度の平均値が十分小さくなった場合には、（Ｓk+2−ｓ2）を録画時刻補正値とする（ステップＳ８１３）。 In steps S810 to S815 shown in FIG. 9, assuming that the comparison target video is delayed in time, searching for a case where the similarity is sufficiently large while shifting the correspondence between the video sections. Go. In the first repetition of step S811, the similarity between meta information between the reference third video section and the second video section to be compared, the fourth video section and the third video section to be compared. Between meta-information between...,... And the average between the meta-information similarity between the reference (M + 2) -th video section and the (M + 1) -th video section to be compared are calculated. . In the second iteration of step S811, the meta-information similarity between the reference fourth video section and the second comparison video section, the fifth reference video section and the third comparison target video. Similarity between meta information between sections, .... Find the similarity between meta information between the reference (M + 3) th video section and the (M + 1) th video section to be compared, and calculate the average To do. Thereafter, the same processing is repeated, and if the average value of the similarity between meta information becomes sufficiently small by the k-th repetition, (S k + 2 −s 2 ) is set as the recording time correction value (step S813).

基準と比較対象との間のずれが予め定めた許容値を超える場合には、繰り返しを打ち切る（ステップＳ８１４）。   If the difference between the reference and the comparison object exceeds a predetermined allowable value, the repetition is terminated (step S814).

これまでの手順で、類似度が十分大きくならなかった場合には（ステップＳ８１６）、類似度が最大になった場合の録画時刻補正値を採用するか（ステップＳ８１７）、基準となる映像との類似性が低いと判断して終了する。   If the similarity is not sufficiently high in the procedure so far (step S816), the recording time correction value when the similarity is maximized is adopted (step S817), or the reference video is It is judged that the similarity is low and ends.

なお、以上までの録画時刻補正手順は、映像区間の検出が理想に近い形で行われた場合にはよく機能するが、検出された映像区間に過不足がある場合を想定するとより複雑な手順が必要となる。また、時間をシフトさせていく方法についても、バリエーションが考えられる。また、二つの映像区間のメタ情報の類似度を区間長と代表画像の類似度を使っているが、他の自動検出メタデータを類似度計算に使うことができる。例えば、テロップ認識結果の類似性を類似度の１要素に加える、など。   Note that the recording time correction procedure described above works well when video segment detection is performed in an ideal form, but is more complicated when assuming that the detected video segment is excessive or insufficient. Is required. There are also variations on the method of shifting the time. Further, although the similarity between the meta information of the two video sections is the section length and the similarity between the representative images, other automatic detection metadata can be used for the similarity calculation. For example, the similarity of the telop recognition result is added to one element of similarity.

なお、本発明は、図４、図６、図８、図９に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその処理手順を実行可能にしたプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。   In the present invention, some or all of the processing functions of the methods shown in FIGS. 4, 6, 8, and 9 can be configured as a program and executed by a computer. In addition, a program that enables the computer to execute the processing procedure is recorded on a computer-readable recording medium, such as a flexible disk, MO, ROM, memory card, CD, DVD, removable disk, and stored. Or can be distributed, and can be distributed via a communication network such as the Internet.

本発明による映像録画視聴システムの構成図。The block diagram of the video recording viewing system by this invention. 本発明による映像録画視聴装置の構成図。1 is a configuration diagram of a video recording / viewing apparatus according to the present invention. FIG. 映像視聴画面の例。An example of a video viewing screen. 映像録画視聴装置における付加情報送信の手順図。The procedure figure of the additional information transmission in a video recording viewing apparatus. 本発明による付加情報管埋装置の構成図。The block diagram of the additional information pipe embedding apparatus by this invention. 付加情報管理装置における付加情報登録の手順図。The procedure figure of the additional information registration in an additional information management apparatus. 本発明における録画区間のずれによる映像区間情報のずれを示す図。The figure which shows the shift | offset | difference of video area information by the shift | offset | difference of the video recording area in this invention. 本発明における録画時刻補正手段の補正手順図（その１）。FIG. 6 is a correction procedure diagram of the recording time correction means in the present invention (part 1). 本発明における録画時刻補正手段の補正手順図（その２）。(2) The correction procedure figure of the recording time correction means in this invention.

符号の説明Explanation of symbols

１ 映像録画視聴装置
２ 付加情報管理装置
３ ネットワーク
１１ 映像録画手段
１２ 映像区間検出手段
１３ 画像特徴量抽出手段
１４ 付加情報入力手段
１５ 付加情報送信手段
１６ 映像再生手段
１７ 付加情報受信・表示手段
１８ 制御手段
２１ 付加受信登録手段
２２ 付加受信検索手段
２３ 映像情報データベース
２４ 付加情報データベース
２５ 録画時刻補正手段
２６ 映像区間情報比較手段
２７ 画像特徴量比較手段 DESCRIPTION OF SYMBOLS 1 Video recording viewing apparatus 2 Additional information management apparatus 3 Network 11 Video recording means 12 Video area detection means 13 Image feature-value extraction means 14 Additional information input means 15 Additional information transmission means 16 Video reproduction means 17 Additional information reception and display means 18 Control Means 21 Additional reception registration means 22 Additional reception search means 23 Video information database 24 Additional information database 25 Recording time correction means 26 Video section information comparison means 27 Image feature amount comparison means

Claims (10)

放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムであって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と前記映像区間検出手段によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システム。 A video recording / viewing device that records and plays back video obtained by broadcasting / communication and an additional information management device that manages additional information assigned to specific times and time intervals of the video are connected via a network. Video recording and viewing system,
The video recording / viewing apparatus comprises:
Video segment detection means for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
Additional information input means for adding information to any time or time interval of the recorded video;
Additional information transmitting means for transmitting the additional information given by the additional information input means and the video section information created by the video section detecting means to the additional information management device;
Additional information receiving / displaying means for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
The additional information management device includes:
A video information database that enables video meta information and video section information to be stored and searched;
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Comparing the video section information received from the video recording / viewing apparatus and the video section information serving as a reference managed in the own apparatus, to calculate a correction value for the deviation of the recording start time caused in the video recording / viewing apparatus Recording time correction means to perform,
For the additional information transmitted from the video recording / viewing apparatus, the time information of the additional information is corrected based on the time correction value obtained by the recording time correcting means, and the additional information after the time information correction is added to the additional information database. Additional information registration means for registering with
In response to the additional information search request from the video recording / viewing apparatus, the time correction information obtained by the recording time correction means is acquired, the time information of the search condition is corrected based on the time correction information, and the additional information database And additional information search means for returning additional information that matches the search request together with a time correction value,
A video recording and viewing system characterized by this. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムであって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
前記映像区間検出手段によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と、前記映像区間検出手段によって得られた映像区間情報と、前記画像特徴量抽出手段によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システム。 A video recording / viewing device that records and plays back video obtained by broadcasting / communication and an additional information management device that manages additional information assigned to specific times and time intervals of the video are connected via a network. Video recording and viewing system,
The video recording / viewing apparatus comprises:
Video segment detection means for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
Image feature amount extraction means for generating a representative image of the video section obtained by the video section detection means and extracting a feature amount of the representative image;
Additional information input means for adding information to any time or time interval of the recorded video;
The additional information given by the additional information input means, the video section information obtained by the video section detection means, and the representative image feature quantity obtained by the image feature quantity extraction means are transmitted to the additional information management apparatus. Additional information transmitting means to
Additional information receiving / displaying means for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
The additional information management device includes:
A video information database that enables video meta information, video section information, and representative image feature values to be stored and searched,
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Occurs in the video recording / viewing device by comparing the video section information and the representative image feature quantity received from the video recording / viewing apparatus with the video section information and the representative image feature quantity serving as a reference to be managed in the own apparatus. Recording time correction means for calculating a correction value for the deviation of the recording start time,
For the additional information transmitted from the video recording / viewing apparatus, the time information of the additional information is corrected based on the time correction information obtained by the recording time correction means, and the additional information after the time information correction is added to the additional information database. Additional information registration means for registering with
In response to the additional information search request from the video recording / viewing apparatus, the time correction information obtained by the recording time correction means is acquired, the time information of the search condition is corrected based on the time correction information, and the additional information database And additional information search means for returning additional information that matches the search request together with time correction information,
A video recording and viewing system characterized by this. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と前記映像区間検出手段によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備する、
ことを特徴とする映像録画視聴システムの映像録画視聴装置。 A video recording / viewing device that records and plays back video obtained by broadcasting / communication and an additional information management device that manages additional information assigned to specific times and time intervals of the video are connected via a network. Video recording and viewing system
The video recording / viewing apparatus comprises:
Video segment detection means for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
Additional information input means for adding information to any time or time interval of the recorded video;
Additional information transmitting means for transmitting the additional information given by the additional information input means and the video section information created by the video section detecting means to the additional information management device;
Additional information receiving / displaying means for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
A video recording / viewing apparatus for a video recording / viewing system. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出手段と、
前記映像区間検出手段によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出手段と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力手段と、
前記付加情報入力手段で付与された付加情報と、前記映像区間検出手段によって得られた映像区間情報と、前記画像特徴量抽出手段によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信手段と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示手段とを具備する、
ことを特徴とする映像録画視聴システムの映像録画視聴装置。 A video recording / viewing device that records and plays back video obtained by broadcasting / communication and an additional information management device that manages additional information assigned to specific times and time intervals of the video are connected via a network. Video recording and viewing system
The video recording / viewing apparatus comprises:
Video segment detection means for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
Image feature amount extraction means for generating a representative image of the video section obtained by the video section detection means and extracting a feature amount of the representative image;
Additional information input means for adding information to any time or time interval of the recorded video;
The additional information given by the additional information input means, the video section information obtained by the video section detection means, and the representative image feature quantity obtained by the image feature quantity extraction means are transmitted to the additional information management apparatus. Additional information transmitting means to
Additional information receiving / displaying means for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
A video recording / viewing apparatus for a video recording / viewing system. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システムの付加情報管理装置。 A video recording / viewing device that records and plays back video obtained by broadcasting / communication and an additional information management device that manages additional information assigned to specific times and time intervals of the video are connected via a network. Video recording and viewing system
The additional information management device includes:
A video information database that enables video meta information and video section information to be stored and searched;
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Comparing the video section information received from the video recording / viewing apparatus and the video section information serving as a reference managed in the own apparatus, to calculate a correction value for the deviation of the recording start time caused in the video recording / viewing apparatus Recording time correction means to perform,
For the additional information transmitted from the video recording / viewing apparatus, the time information of the additional information is corrected based on the time correction value obtained by the recording time correcting means, and the additional information after the time information correction is added to the additional information database. Additional information registration means for registering with
In response to the additional information search request from the video recording / viewing apparatus, the time correction information obtained by the recording time correction means is acquired, the time information of the search condition is corrected based on the time correction information, and the additional information database And additional information search means for returning additional information that matches the search request together with a time correction value,
An additional information management device for a video recording / viewing system. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴システムにおいて、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正手段と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正手段により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録手段と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正手段により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索手段とを具備する、
ことを特徴とする映像録画視聴システムの付加情報管理装置。 A video recording / viewing device that records and plays back video obtained by broadcasting / communication and an additional information management device that manages additional information assigned to specific times and time intervals of the video are connected via a network. Video recording and viewing system
The additional information management device includes:
A video information database that enables video meta information, video section information, and representative image feature values to be stored and searched,
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Occurs in the video recording / viewing device by comparing the video section information and the representative image feature quantity received from the video recording / viewing apparatus with the video section information and the representative image feature quantity serving as a reference to be managed in the own apparatus. Recording time correction means for calculating a correction value for the deviation of the recording start time,
For the additional information transmitted from the video recording / viewing apparatus, the time information of the additional information is corrected based on the time correction information obtained by the recording time correction means, and the additional information after the time information correction is added to the additional information database. Additional information registration means for registering with
In response to the additional information search request from the video recording / viewing apparatus, the time correction information obtained by the recording time correction means is acquired, the time information of the search condition is corrected based on the time correction information, and the additional information database And additional information search means for returning additional information that matches the search request together with time correction information,
An additional information management device for a video recording / viewing system. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴方法であって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出過程と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力過程と、
前記付加情報入力過程で付与された付加情報と前記映像区間検出過程によって作成された映像区間情報とを前記付加情報管理装置に送信する付加情報送信過程と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示過程とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報と自装置内に管理する基準となる映像区間情報との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正過程と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正過程により得られた時刻補正値に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録過程と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正過程により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正値とともに返却する付加情報検索過程とを具備する、
ことを特徴とする映像録画視聴方法。 A video recording / viewing device that records and plays back video obtained by broadcasting / communication and an additional information management device that manages additional information assigned to specific times and time intervals of the video are connected via a network. Video recording and viewing method,
The video recording / viewing apparatus comprises:
A video segment detection process for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
An additional information input process for adding information to an arbitrary time or time interval of the recorded video;
An additional information transmission process for transmitting the additional information given in the additional information input process and the video section information created by the video section detection process to the additional information management device;
Additional information receiving / displaying process for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
The additional information management device includes:
A video information database that enables video meta information and video section information to be stored and searched;
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Comparing the video section information received from the video recording / viewing apparatus with the video section information serving as a reference to be managed in the own apparatus, thereby calculating a correction value for the recording start time shift caused in the video recording / viewing apparatus. Recording time correction process to
For the additional information transmitted from the video recording / viewing device, the time information of the additional information is corrected based on the time correction value obtained by the recording time correction process, and the additional information after the time information correction is added to the additional information database. Additional information registration process to be registered in
In response to an additional information search request from the video recording / viewing apparatus, time correction information obtained by the recording time correction process is acquired, time information of a search condition is corrected based on the time correction information, and the additional information database And an additional information search process for returning additional information that matches the search request together with a time correction value.
A video recording and viewing method characterized by the above. 放送・通信により得られた映像を録画、再生する映像録画視聴装置と、映像の特定の時間や時区間に対して付与された付加情報を管理する付加情報管理装置とがネットワークを介して接続された映像録画視聴方法であって、
前記映像録画視聴装置は、
録画した映像中の画像や音声の特徴量の変化量に基づいて映像区間を検出する映像区間検出過程と、
前記映像区間検出過程によって得られた映像区間の代表画像を生成し、この代表画像の特徴量を抽出する画像特徴量抽出過程と、
録画した映像の任意の時間や時区間に対して情報を付加する付加情報入力過程と、
前記付加情報入力過程で付与された付加情報と、前記映像区間検出過程によって得られた映像区間情報と、前記画像特徴量抽出過程によって得られた代表画像特徴量とを前記付加情報管理装置に送信する付加情報送信過程と、
映像視聴時に当該映像に対して付与された付加情報を前記付加情報管理装置より取得して映像再生と同期して表示する付加情報受信・表示過程とを具備し、
前記付加情報管理装置は、
映像のメタ情報、映像区間情報、代表画像特徴量を蓄積して検索可能とする映像情報データベースと、
映像に対して付与された付加情報を蓄積して検索可能とする付加情報データベースと、
前記映像録画視聴装置より受信する映像区間情報、代表画像特徴量と、自装置内に管理する基準となる映像区間情報、代表画像特徴量との比較を行うことにより、前記映像録画視聴装置で生じた録画開始時刻のずれに対する補正値を算出する録画時刻補正過程と、
前記映像録画視聴装置より送信された付加情報に対して、前記録画時刻補正過程により得られた時刻補正情報に基づき付加情報の時間情報を補正し、時間情報補正済みの付加情報を前記付加情報データベースに登録する付加情報登録過程と、
前記映像録画視聴装置よりの付加情報検索要求に対して、前記録画時刻補正過程により得られた時刻補正情報を取得し、前記時刻補正情報に基づき検索条件の時間情報を補正し、前記付加情報データベースを検索して、検索要求に合致した付加情報を時刻補正情報とともに返却する付加情報検索過程とを具備する、
ことを特徴とする映像録画視聴方法。 A video recording / viewing device that records and plays back video obtained by broadcasting / communication and an additional information management device that manages additional information assigned to specific times and time intervals of the video are connected via a network. Video recording and viewing method,
The video recording / viewing apparatus comprises:
A video segment detection process for detecting a video segment based on the amount of change in the feature amount of the image or audio in the recorded video;
An image feature amount extraction process for generating a representative image of the video section obtained by the video section detection process and extracting a feature amount of the representative image;
An additional information input process for adding information to an arbitrary time or time interval of the recorded video;
The additional information given in the additional information input process, the video section information obtained by the video section detection process, and the representative image feature quantity obtained by the image feature quantity extraction process are transmitted to the additional information management apparatus. Additional information transmission process,
Additional information receiving / displaying process for acquiring additional information added to the video at the time of video viewing from the additional information management device and displaying it in synchronization with video playback;
The additional information management device includes:
A video information database that enables video meta information, video section information, and representative image feature values to be stored and searched,
An additional information database that makes it possible to accumulate and search additional information assigned to the video;
Occurs in the video recording / viewing device by comparing the video section information and the representative image feature quantity received from the video recording / viewing apparatus with the video section information and the representative image feature quantity serving as a reference to be managed in the own apparatus. Recording time correction process for calculating a correction value for the deviation of the recording start time,
For the additional information transmitted from the video recording / viewing device, the time information of the additional information is corrected based on the time correction information obtained by the recording time correction process, and the additional information after the time information correction is added to the additional information database. Additional information registration process to be registered in
In response to an additional information search request from the video recording / viewing apparatus, time correction information obtained by the recording time correction process is acquired, time information of a search condition is corrected based on the time correction information, and the additional information database An additional information search process that returns additional information that matches the search request together with time correction information.
A video recording and viewing method characterized by the above. 上記の請求項７または請求項８に記載の映像録画視聴方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。   A program characterized in that the video recording / viewing method according to claim 7 or 8 is described by a computer program and can be executed. 上記の請求項７または請求項８に記載の映像録画視聴方法を、コンピュータで実行可能に構成したプログラムをコンピュータで読み取り可能に記録したことを特徴とする記録媒体。   9. A recording medium recorded with a computer-readable program configured to execute the video recording / viewing method according to claim 7 or claim 8.
JP2004155412A 2004-05-26 2004-05-26 Video recording viewing system, video recording viewing apparatus, attached information management apparatus, video recording viewing method, program for the method, and recording medium the program recorded thereon Pending JP2005341071A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004155412A JP2005341071A (en) 2004-05-26 2004-05-26 Video recording viewing system, video recording viewing apparatus, attached information management apparatus, video recording viewing method, program for the method, and recording medium the program recorded thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004155412A JP2005341071A (en) 2004-05-26 2004-05-26 Video recording viewing system, video recording viewing apparatus, attached information management apparatus, video recording viewing method, program for the method, and recording medium the program recorded thereon

Publications (1)

Publication Number Publication Date
JP2005341071A true JP2005341071A (en) 2005-12-08

Family

ID=35494146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004155412A Pending JP2005341071A (en) 2004-05-26 2004-05-26 Video recording viewing system, video recording viewing apparatus, attached information management apparatus, video recording viewing method, program for the method, and recording medium the program recorded thereon

Country Status (1)

Country Link
JP (1) JP2005341071A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008092015A (en) * 2006-09-29 2008-04-17 Nec Personal Products Co Ltd Image identification system
JP2008219608A (en) * 2007-03-06 2008-09-18 Nippon Telegr & Teleph Corp <Ntt> Method and apparatus for displaying information with content, program therefor and recording medium
JP2008270853A (en) * 2007-04-16 2008-11-06 Ntt Docomo Inc Metadata structuring system, and metadata structuring method
JP2009094653A (en) * 2007-10-04 2009-04-30 Nec Corp Viewing system of animation, terminal, character content server, viewing method of animation, and program
JP2010114808A (en) * 2008-11-10 2010-05-20 Hitachi Software Eng Co Ltd Voice comment distribution-sharing method and system
JP2010130695A (en) * 2008-11-25 2010-06-10 Xerox Corp Method and system for aligning sequence of images
CN102280097A (en) * 2011-08-31 2011-12-14 广东威创视讯科技股份有限公司 Display brightness and chrominance uniformity regulating method
JP2021177653A (en) * 2006-12-11 2021-11-11 株式会社ドワンゴ Server and program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008092015A (en) * 2006-09-29 2008-04-17 Nec Personal Products Co Ltd Image identification system
JP4709112B2 (en) * 2006-09-29 2011-06-22 Ｎｅｃパーソナルプロダクツ株式会社 Video identification system
JP2021177653A (en) * 2006-12-11 2021-11-11 株式会社ドワンゴ Server and program
JP7080382B2 (en) 2006-12-11 2022-06-03 株式会社ドワンゴ program
JP2008219608A (en) * 2007-03-06 2008-09-18 Nippon Telegr & Teleph Corp <Ntt> Method and apparatus for displaying information with content, program therefor and recording medium
JP2008270853A (en) * 2007-04-16 2008-11-06 Ntt Docomo Inc Metadata structuring system, and metadata structuring method
JP2009094653A (en) * 2007-10-04 2009-04-30 Nec Corp Viewing system of animation, terminal, character content server, viewing method of animation, and program
JP2010114808A (en) * 2008-11-10 2010-05-20 Hitachi Software Eng Co Ltd Voice comment distribution-sharing method and system
JP2010130695A (en) * 2008-11-25 2010-06-10 Xerox Corp Method and system for aligning sequence of images
CN102280097A (en) * 2011-08-31 2011-12-14 广东威创视讯科技股份有限公司 Display brightness and chrominance uniformity regulating method

Similar Documents

Publication Publication Date Title
US20210382929A1 (en) Multimedia content tags
US8185477B2 (en) Systems and methods for providing a license for media content over a network
JP4025185B2 (en) Media data viewing apparatus and metadata sharing system
US10032479B2 (en) Fingerprint-defined segment-based content delivery
US8620466B2 (en) Method for determining a point in time within an audio signal
US8036261B2 (en) Feature-vector generation apparatus, search apparatus, feature-vector generation method, search method and program
JP4388128B1 (en) Information providing server, information providing method, and information providing system
JP2006155384A (en) Video comment input/display method and device, program, and storage medium with program stored
JP2006526337A (en) Reproduction apparatus and digest reproduction method
US20160035392A1 (en) Systems and methods for clipping video segments
JP2008005010A (en) Motion picture editing method
US10303716B2 (en) Fingerprint-defined segment-based content delivery
US20150220636A1 (en) Fingerprint-defined segment-based content delivery
WO2007130472A2 (en) Methods and systems for providing media assets over a network
EP1692628A1 (en) Storage system for retaining identification data to allow retrieval of media content
JP2022000955A (en) Scene sharing system
US20100169942A1 (en) Systems, methods, and apparatus for tagging segments of media content
JP2005341071A (en) Video recording viewing system, video recording viewing apparatus, attached information management apparatus, video recording viewing method, program for the method, and recording medium the program recorded thereon
US20130132842A1 (en) Systems and methods for user interaction
US20100169347A1 (en) Systems and methods for communicating segments of media content
US11165999B1 (en) Identifying and providing compositions and digital-works
JP2007156893A (en) Information processing device, meta data management server, information processing system, and meta data management method
US20090304363A1 (en) Method and apparatus for managing digital contents and method and apparatus for executing digital contents according to playback positions
JP2005110016A (en) Distributing video image recommendation method, apparatus, and program
JP2011146879A (en) Content reproducing device