JP2012114770A

JP2012114770A - Program search information generating method and program search information generating system

Info

Publication number: JP2012114770A
Application number: JP2010263328A
Authority: JP
Inventors: Akihiro Tomomura; 彰宏友村
Original assignee: Hitachi Solutions Ltd
Current assignee: Hitachi Solutions Ltd
Priority date: 2010-11-26
Filing date: 2010-11-26
Publication date: 2012-06-14

Abstract

PROBLEM TO BE SOLVED: To enable program search with a keyword even when program information cannot be acquired sufficiently, in program recording.SOLUTION: A program search information generating system is provided with: a program information disclosure server provided with a matching information database and a program search information database; and plural program recording and reproducing devices provided with moving image and voice analysis parts and capable of receiving matching information. Each program recording and reproducing device analyzes a recorded program on the basis of the matching information received from the program search information database, by the moving image analysis part and the voice analysis part, generates program search information, and transmits the same to the program information disclosure server. The other program recording and reproducing devices receive once-generated program search information from the program information disclosure server and use the same as search information.

Description

本発明は、番組検索情報生成方法および番組検索情報生成システムに関し、特に、動画・音声認識を用いて、録画したコンテンツを解析し、その解析結果の情報を番組検索情報として公開サーバに登録し、番組録画再生機器における録画番組の検索情報として利用するための技術に関するものである。 The present invention relates to a program search information generation method and a program search information generation system, and in particular, uses video / voice recognition to analyze recorded content, registers the analysis result information as program search information in a public server, The present invention relates to a technique used as search information for a recorded program in a program recording / playback device.

従来、テレビジョン放送の番組を番組録画再生機器に録画することは、一般家庭においても行われている。また、近年はデジタル放送が増えたため、番組録画再生機器で録画を行う場合は、放送波から取得した電子番組表にある番組情報を一緒に保存することが多くなった。そのため、録画したデータ再生するときに放送日時や番組タイトル、概要、出演者といった情報の対応関係を認識ができる。これらの情報を利用して、録画機器内にある番組の検索することや、番組タイトルの一覧表示を行って、目的とする録画コンテンツを探すことを可能にした装置が提案されている（特許文献１）。 Conventionally, recording a television broadcast program on a program recording / playback device is also performed in ordinary households. In recent years, since digital broadcasting has increased, when recording with a program recording / playback device, program information in an electronic program guide acquired from broadcast waves is often stored together. Therefore, when playing back recorded data, it is possible to recognize the correspondence between information such as broadcast date and time, program title, outline, and performers. There has been proposed an apparatus that can search for a target recorded content by searching for a program in a recording device or displaying a list of program titles using such information (Patent Document). 1).

特開２００４−１４０５２７号公報JP 2004-140527 A

しかし、これらの番組情報は各放送局から提供されているが、全ての出演者は付加されていないこともある。また、その番組内で放映されている著名な風景や建物、著名な出演者が発するセリフに含まれる固有名詞といった情報も含まれていないことがある。
これらの情報は、番組の動画、音声データ内に含まれているため、録画した動画及び音声データを解析し、前記の著名な風景や建物を検索するための検索データとして抽出しておけば、各放送局から受信した番組情報を補完することができる。
ただし、動画、音声データを解析するのには、非常に長い時間かける必要がある。抽出精度を向上させるには、より精密な解析が必要であるので、より時間がかかる傾向がある。
これらを改善するために、抽出した検索データを番組検索情報公開サーバに登録しておき、別の番組録画再生機器が同じ番組を録画していた場合に、番組検索情報公開サーバにアクセスして情報が登録済みであった場合は、取得して、自身の番組録画再生機器で使用するようにする。この場合、当該録画再生機器では動画、音声データの解析処理を行わなくて済むため、録画したデータに対し検索データを付加することが短時間で可能になる。 However, although such program information is provided by each broadcasting station, not all performers may be added. In addition, information such as prominent scenery and buildings aired in the program, and proper nouns included in lines uttered by prominent performers may not be included.
Since these information are included in the video and audio data of the program, if the recorded video and audio data are analyzed and extracted as search data for searching for the famous landscapes and buildings, Program information received from each broadcasting station can be supplemented.
However, it takes a very long time to analyze video and audio data. In order to improve the extraction accuracy, more precise analysis is required, and therefore, it tends to take more time.
In order to improve these, the extracted search data is registered in the program search information disclosure server, and when another program recording / playback device is recording the same program, the program search information disclosure server is accessed to obtain information. Is registered, it is used by its own program recording / playback device. In this case, since the recording / playback apparatus does not need to perform analysis processing of moving image and audio data, it becomes possible to add search data to the recorded data in a short time.

本発明の目的は、番組録画再生機器で録画したデータに番組情報が放送局や放送日時しか存在せず、検索可能なキーワードがない場合であっても、番組検索情報公開サーバから取得したマッチング情報を用いて、解析して、検索情報を追加することができることができる番組検索情報生成方法及び番組検索情報生成システムを提供することにある。 It is an object of the present invention to provide matching information acquired from a program search information release server even when data recorded by a program recording / playback device includes only broadcast stations and broadcast dates and there are no searchable keywords. It is an object to provide a program search information generation method and a program search information generation system that can analyze and add search information.

上記目的を達成するために、本発明に係る方法は、建造物、出演者または風景を含む録画データを動画解析または音声解析によって抽出するためのパターンマッチングデータと該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースを備えた番組検索情報サーバと、前記マッチング情報データベースからパターンマッチングデータとキーワードを受信し、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる複数の録画再生機器とを備えたシステムにおける番組検索情報生成方法であって、
前記複数の録画再生機器が、電子番組表から取得した放送局情報、録画開始／終了時刻を含む番組情報に基づき録画を開始し、録画データを録画データ保存部に保存させた後、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されているかを問い合わせ、記憶されている場合には当該付加情報を取得し、この付加情報を録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させるステップと、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されていない場合は、前記番組検索情報サーバから取得したパターンマッチングデータとキーワードにより、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させるステップとを備えることを特徴とする。
前記番組検索情報サーバが、前記複数の録画再生機器のいずれかからの付加情報の問い合わせに対して、該当する番組について複数の録画再生機器での動画解析及び音声解析による付加情報が複数存在した場合は信頼度の高い付加情報として要求元の録画再生機器に返信するステップをさらに備えること特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、前記付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、前記付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。 In order to achieve the above object, a method according to the present invention includes pattern matching data for extracting recorded data including a building, a performer, or a landscape by moving image analysis or audio analysis, and a keyword corresponding to the pattern matching data. A program search information server having a matching information database stored in pairs, and whether pattern matching data and keywords are received from the matching information database and recorded data includes data corresponding to the pattern matching data If it is included, the keyword associated with the pattern matching data is extracted, and the keyword is added as additional information of the program information of the recording data to the program information database in the self-recording / reproducing device. And storing the program search information A program search information generation method in a system that includes a plurality of recording and playback apparatus to be stored as additional information of the program information to the program search information database of the program search information in the server and transmitted to over server,
The plurality of recording / playback devices start recording based on program information including broadcast station information and recording start / end times acquired from the electronic program guide, and store the recording data in the recording data storage unit. Inquires whether additional information is stored in the program search information database in the program search information server, and if it is stored, obtains the additional information and adds this additional information as additional information of the program information of the recorded data And when the additional information related to the program is not stored in the program search information database in the program search information server, it is acquired from the program search information server. Corresponds to the pattern matching data in the recorded data by pattern matching data and keyword If it is included, the keyword associated with the pattern matching data is extracted, and the keyword is added as additional information of the program information of the recording data to reproduce the self-recording. Storing in a program information database in the device, and transmitting to the program search information server and storing it in the program search information database in the program search information server as additional information of the program information. .
When the program search information server has inquired additional information from any of the plurality of recording / playback devices, there are a plurality of additional information by video analysis and sound analysis in the plurality of recording / playback devices for the corresponding program. The method further includes a step of returning the additional information with high reliability to the recording / playback device as the request source.
When the same additional information is received for the same program from a plurality of recording / playback devices having different matching engines, the program search information server uses the additional information as highly reliable additional information in the program search information server. It records in a program search information database.
The program search information server records the additional information in the program search information database in the program search information server only when the same additional information for the same program is received from a plurality of recording / playback devices having different matching engines. It is characterized by doing.

本発明に係るシステムは、建造物、出演者または風景を含む録画データを動画解析または音声解析によって抽出するためのパターンマッチングデータと該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースを備えた番組検索情報サーバと、前記マッチング情報データベースからパターンマッチングデータとキーワードを受信し、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる複数の録画再生機器とを備えたシステムであって、
前記複数の録画再生機器が、電子番組表から取得した放送局情報、録画開始／終了時刻を含む番組情報に基づき録画を開始し、録画データを録画データ保存部に保存させた後、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されているかを問い合わせ、記憶されている場合には当該付加情報を取得し、この付加情報を録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させる手段と、当該番組に関する付加情報が前記番組検索情報サーバ内の番組検索情報データベースに記憶されていない場合は、前記番組検索情報サーバから取得したパターンマッチングデータとキーワードにより、録画したデータ中に前記パターンマッチングデータに該当するデータが含まれているかを検索し、含まれていた場合には当該パターンマッチングデータに対応付けられたキーワードを抽出し、当該キーワードを録画データの番組情報の付加情報として追加して自録画再生機器内の番組情報データベースに記憶させると共に、前記番組検索情報サーバに送信して当該番組検索情報サーバ内の番組検索情報データベースに前記番組情報の付加情報として記憶させる手段とを備えることを特徴とする。
前記番組検索情報サーバが、前記複数の録画再生機器のいずれかからの付加情報の問い合わせに対して、該当する番組について複数の録画再生機器での動画解析及び音声解析による付加情報が複数存在した場合は信頼度の高い付加情報として要求元の録画再生機器に返信する手段をさらに備えること特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、前記付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。
前記番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、前記付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録することを特徴とする。 The system according to the present invention includes matching information stored by pairing pattern matching data for extracting recorded data including a building, a performer, or a landscape by video analysis or voice analysis and a keyword corresponding to the pattern matching data. A program search information server provided with a database, pattern matching data and a keyword are received from the matching information database, and the recorded data is searched for whether the data corresponding to the pattern matching data is included. In this case, a keyword associated with the pattern matching data is extracted, the keyword is added as additional information of program information of recorded data, stored in a program information database in the self-recording / reproducing apparatus, and the program search information Send to server A system comprising a plurality of recording and playback apparatus to be stored in the program search information database retrieval information in the server as additional information of the program information,
The plurality of recording / playback devices start recording based on program information including broadcast station information and recording start / end times acquired from the electronic program guide, and store the recording data in the recording data storage unit. Inquires whether additional information is stored in the program search information database in the program search information server, and if it is stored, obtains the additional information and adds this additional information as additional information of the program information of the recorded data And means for storing in the program information database in the self-recording / playback device and, if the additional information relating to the program is not stored in the program search information database in the program search information server, acquired from the program search information server Based on the pattern matching data and keywords, the data corresponding to the pattern matching data in the recorded data If it is included, the keyword associated with the pattern matching data is extracted, and the keyword is added as additional information of the program information of the recording data, And a means for transmitting to the program search information server and storing it in the program search information database in the program search information server as additional information of the program information.
When the program search information server has inquired additional information from any of the plurality of recording / playback devices, there are a plurality of additional information by video analysis and sound analysis in the plurality of recording / playback devices for the corresponding program. Is characterized by further comprising means for sending back to the requesting recording / playback device as additional information with high reliability.
When the same additional information is received for the same program from a plurality of recording / playback devices having different matching engines, the program search information server uses the additional information as highly reliable additional information in the program search information server. It records in a program search information database.
The program search information server records the additional information in the program search information database in the program search information server only when the same additional information for the same program is received from a plurality of recording / playback devices having different matching engines. It is characterized by doing.

本発明によれば、次のような効果がある。
番組録画再生機器で録画したデータに番組情報が放送局や放送日時しか存在せず、検索可能なキーワードがない場合であっても、番組検索情報公開サーバから取得したマッチング情報を用いて、解析して、検索情報を追加することができる。 The present invention has the following effects.
Even if there is only broadcast station or broadcast date / time in the data recorded by the program recording / playback device and there is no searchable keyword, it is analyzed using the matching information acquired from the program search information release server. Search information can be added.

本発明の一実施の形態を示すシステム構成図である。1 is a system configuration diagram showing an embodiment of the present invention. 番組録画再生機器の機能ブロック図である。It is a functional block diagram of a program recording / playback device. 番組検索情報公開サーバの機能ブロック図である。It is a functional block diagram of a program search information disclosure server. 番組録画再生機器内に格納されている番組情報のデータ構成図である。It is a data block diagram of the program information stored in the program recording / reproducing apparatus. 番組録画再生機器内に格納されている番組検索情報のデータ構成図である。It is a data block diagram of the program search information stored in the program recording / reproducing apparatus. 番組検索情報公開サーバ内に格納されている番組検索情報のデータの構成図である。It is a block diagram of the data of the program search information stored in the program search information release server. 番組検索情報公開サーバ内に格納されているマッチング情報のデータの構成図である。It is a block diagram of the data of the matching information stored in the program search information disclosure server. 本発明の一実施における動作を示すシーケンス図である。It is a sequence diagram which shows the operation | movement in one implementation of this invention. パターンマッチングデータと検索キーの対応関係の一例を示す図である。It is a figure which shows an example of the correspondence of pattern matching data and a search key. 動画解析及び音声解析の結果、複数のマッチングエンジン識別番号の付加情報が番組情報データベースに付加記録されていた場合に、番組録画再生機器２ａ〜２ｎからその付加情報の提供要求があった場合の処理の概要を示すフローチャートである。Processing when the additional information of a plurality of matching engine identification numbers is additionally recorded in the program information database as a result of moving image analysis and audio analysis, and there is a request to provide the additional information from the program recording / playback devices 2a to 2n It is a flowchart which shows the outline | summary.

以下、本発明の動画・音声認識を用いた番組検索情報生成方法と配信システムの一実施の形態について添付図面を参照しながら説明する。
図１は、本発明の実施の形態の一例を示すシステム構成図であり、ここで示すシステムは、番組検索情報公開サーバ１と、この番組検索情報公開サーバ１から動画解析及び音声解析に用いるマッチング情報を受信し、解析結果の情報を送受信する番組録画再生機器２ａ、２ｂ、２ｎと、検索情報や録画データの再生を表示できる表示装置３ａ、３ｂ、３ｎで構成されている。
番組録画再生機器２ａ、２ｂ、２ｎは公衆回線網によるネットワーク４に接続され、このネットワーク４に番組検索情報公開サーバ１が接続されている。
従って、番組録画再生機器２ａ、２ｂ、２ｎは、公衆回線網によるネットワーク４を経由して番組検索情報公開サーバ１とデータの送受信を行うようになっている。 Hereinafter, an embodiment of a program search information generation method and distribution system using moving image / voice recognition according to the present invention will be described with reference to the accompanying drawings.
FIG. 1 is a system configuration diagram showing an example of an embodiment of the present invention. The system shown here is a program search information disclosure server 1 and matching used for video analysis and audio analysis from the program search information disclosure server 1. It is composed of program recording / playback devices 2a, 2b, 2n that receive information and send / receive analysis result information, and display devices 3a, 3b, 3n that can display search information and playback of recorded data.
The program recording / playback devices 2a, 2b, and 2n are connected to a network 4 by a public network, and the program search information disclosure server 1 is connected to the network 4.
Accordingly, the program recording / playback devices 2a, 2b, and 2n transmit / receive data to / from the program search information disclosure server 1 via the network 4 by the public network.

図２は、番組録画再生機器２ａ、２ｂ、２ｎの機能ブロック図である。
図２において、番組録画再生機器２ａ、２ｂ、２ｎは、通信部２０１を備えており、この通信部２０１を用いて公衆回線網のネットワーク４を通じて番組検索情報公開サーバ１と通信を行うことができる。よって、番組検索情報公開サーバ１から通信部２０１を経由して動画解析及び音声解析に用いるマッチング情報を取得する。
ここでマッチング情報とは、著名な建造物や出演者、風景などの録画データを動画解析および音声解析によって抽出するためのパターンマッチングデータのことであり、番組検索情報公開サーバ１には該パターンマッチングデータに対応するキーワードとを対にして記憶したマッチング情報データベースが設けられている。 FIG. 2 is a functional block diagram of the program recording / playback devices 2a, 2b, and 2n.
In FIG. 2, the program recording / playback devices 2a, 2b, and 2n include a communication unit 201, and can communicate with the program search information disclosure server 1 through the network 4 of the public line network using the communication unit 201. . Therefore, matching information used for moving image analysis and voice analysis is acquired from the program search information disclosure server 1 via the communication unit 201.
Here, the matching information is pattern matching data for extracting recorded data of famous buildings, performers, landscapes, etc. by moving picture analysis and voice analysis. The program search information disclosure server 1 includes the pattern matching data. A matching information database storing a pair of keywords corresponding to the data is provided.

このパターンマッチング処理では、例えば図９に示すように、例えば著名な出演者の画像特徴データがパターンマッチングデータ９０２として準備されると共に、それに対応する検索キー(キーワード)９０１が対になって準備され、公開サーバ１のマッチング情報データベース３０４に記憶されている。
処理回路２０２にあるメモリ内に、データベース更新プログラム２０３を展開し、また、処理回路２０２にあるＣＰＵを用いて取得したマッチング情報を元に、マッチング情報保存部２０４の更新処理を行い、マッチング情報保存部２０４と差分のあったデータは追加格納される。 In this pattern matching processing, for example, as shown in FIG. 9, for example, image feature data of a famous performer is prepared as pattern matching data 902 and a corresponding search key (keyword) 901 is prepared as a pair. And stored in the matching information database 304 of the public server 1.
The database update program 203 is expanded in the memory in the processing circuit 202, and the matching information storage unit 204 is updated based on the matching information acquired using the CPU in the processing circuit 202, and the matching information is stored. Data having a difference from the unit 204 is additionally stored.

また、番組録画再生機器２ａ、２ｂ、２ｎは、チューナー部２０５を備えおり、テレビ放送を受信することが可能である。チューナー部２０５を用いて録画したデータをマッチング情報と同じように、処理回路２０２とデータベース更新プログラム２０３を使用して、録画データ保存部２０６に格納する。また、この時取得できた番組情報を、処理回路２０２とデータベース更新プログラム２０３を使用して、番組情報データベース２０７に格納する。 The program recording / playback devices 2a, 2b, and 2n include a tuner unit 205, and can receive television broadcasts. The data recorded using the tuner unit 205 is stored in the recorded data storage unit 206 using the processing circuit 202 and the database update program 203 in the same manner as the matching information. The program information acquired at this time is stored in the program information database 207 using the processing circuit 202 and the database update program 203.

次にマッチング情報保存部２０４にあるデータ、録画データ保存部２０６にある録画コンテンツを用いて、放送局からの番組情報以外の検索情報を付加するために、動画と音声の解析を行う。すなわち、動画解析部２０８を用いて録画コンテンツを解析して画像データ音声データに分けていく。この分けられた画像データを処理回路２０２のメモリ上に展開する。また、マッチングプログラム２１０を処理回路２０２のメモリ上に展開し、ＣＰＵを用いて画像データが、マッチング情報保存部２０４に格納されているパターンマッチングデータ９０２に一致しているかどうか確認する。一致した場合は、それと対になった検索キー９０１を番組情報データベース２０７の番組情報に番組検索のための付加情報として格納する。同様に、音声の解析を行うために、音声解析部２０９を用いて、出演者の音声データを文字情報に変換する。この文字情報を処理回路２０２のメモリ上に展開する。 Next, using the data stored in the matching information storage unit 204 and the recorded content stored in the recorded data storage unit 206, the video and audio are analyzed in order to add search information other than the program information from the broadcast station. That is, the recorded content is analyzed using the moving image analysis unit 208 and divided into image data and audio data. The divided image data is developed on the memory of the processing circuit 202. Further, the matching program 210 is expanded on the memory of the processing circuit 202, and it is confirmed whether the image data matches the pattern matching data 902 stored in the matching information storage unit 204 using the CPU. If they match, the search key 901 paired therewith is stored in the program information of the program information database 207 as additional information for program search. Similarly, in order to analyze the voice, the voice data of the performer is converted into character information using the voice analysis unit 209. This character information is expanded on the memory of the processing circuit 202.

また、マッチングプログラム２１０を処理回路２０２のメモリ上に展開し、ＣＰＵを用いてマッチング情報保存部２０４に格納されている情報に一致しているかどうか確認する。一致した場合は、番組情報データベース２０７に一致した番組検索情報を格納する。この付加された番組検索情報は、通信部２０１を経由して、番組検索情報公開サーバ１に送信する。 Further, the matching program 210 is expanded on the memory of the processing circuit 202, and it is confirmed whether or not the information matches the information stored in the matching information storage unit 204 using the CPU. If they match, the program search information matching the program information database 207 is stored. The added program search information is transmitted to the program search information disclosure server 1 via the communication unit 201.

図３は、番組検索情報公開サーバ１の機能ブロック図である。
番組検索情報公開サーバ１には、定期的にマッチング情報を最新情報へ更新するために、データベース更新プログラム３０３を処理回路３０１上のメモリに展開し、そのプログラム上で最新のマッチング情報を展開し、処理回路３０１のＣＰＵを用いてマッチング情報データベース３０４に格納する。
番組検索情報公開サーバ１は、通信部３０２を備えており、公衆回線網を通じて、番組録画再生機器２ａ、２ｂ、２ｎと通信が行うことができる。番組検索情報公開サーバ１は、格納されたマッチング情報に対して、番組録画再生機器２ａ、２ｂ、２ｎから取得要求があった場合に、通信部３０２を経由して送信する。
また、番組録画再生機器２ａ、２ｂ、２ｎから送信された番組検索情報は、通信部３０２を経由して受信する。受信された番組検索情報は、処理回路３０１のメモリ上に展開されたデータベース更新プログラム３０３をＣＰＵが実行し、番組検索情報データベース３０５のデータと差分を確認し、差分があるデータに関しては番組検索情報データベース３０５へ格納する。 FIG. 3 is a functional block diagram of the program search information disclosure server 1.
In the program search information disclosure server 1, in order to periodically update the matching information to the latest information, the database update program 303 is expanded in the memory on the processing circuit 301, and the latest matching information is expanded on the program, The data is stored in the matching information database 304 using the CPU of the processing circuit 301.
The program search information disclosure server 1 includes a communication unit 302, and can communicate with the program recording / playback devices 2a, 2b, and 2n through a public network. The program search information disclosure server 1 transmits the stored matching information via the communication unit 302 when there is an acquisition request from the program recording / playback devices 2a, 2b, and 2n.
Further, the program search information transmitted from the program recording / playback devices 2a, 2b, and 2n is received via the communication unit 302. For the received program search information, the CPU executes the database update program 303 developed on the memory of the processing circuit 301 to check the difference with the data in the program search information database 305. Store in database 305.

番組録画再生機器２ａ、２ｂ、２ｎから番組検索情報の取得要求があった場合、信頼性プログラム３０６を用いて、要求があった信頼度に基づいた番組検索情報を番組検索情報データベース３０５から取得して送信する。 When there is a request for acquiring program search information from the program recording / playback devices 2a, 2b, 2n, the program search information based on the requested reliability is acquired from the program search information database 305 using the reliability program 306. To send.

図４は、番組録画再生機器２ａ、２ｂ、２ｎで録画時に取得する番組情報のデータ構造の一例であり、番組識別番号４０１、放送局４０２、番組開始日時４０３、番組終了日時４０４、番組タイトル４０５、番組概要４０６、録画データ保存場所４０７等から構成されており、これ以外にも、取得可能な情報があれば、保持することが可能である。録画データ保存場所４０７に格納されている情報は、録画再生機器２ａ、２ｂ、２ｎの録画データ保存部２０６と対応付けられており、この情報を用いて録画データを再生することができる。 FIG. 4 shows an example of the data structure of program information acquired at the time of recording by the program recording / playback devices 2a, 2b, 2n. The program identification number 401, the broadcast station 402, the program start date 403, the program end date 404, the program title 405 , A program summary 406, a recording data storage location 407, and the like. In addition, if there is information that can be acquired, it can be retained. The information stored in the recording data storage location 407 is associated with the recording data storage unit 206 of the recording / playback devices 2a, 2b, 2n, and the recorded data can be played back using this information.

番組検索情報を取得するためには、マッチングプログラム２１０を動作させる必要があるが、そのためには、録画データ保存場所４０７を用いて、録画データ保存場所４０７に格納されている録画データを取得し、放送局４０２、番組開始日時４０３、番組終了日時４０４をマッチングプログラム２１０に展開することにより可能となる。 In order to acquire the program search information, it is necessary to operate the matching program 210. For this purpose, the recording data stored in the recording data storage location 407 is acquired using the recording data storage location 407, and This is possible by expanding the broadcasting station 402, the program start date and time 403, and the program end date and time 404 into the matching program 210.

図５は、番組録画再生機器２ａ、２ｂ、２ｎが録画コンテンツを元に、処理回路２０２、マッチングプログラム２１０、動画解析部２０８、音声解析部２０９を用いて生成する番組検索情報であり、放送局５０１、日時５０２、検索キー５０３で構成されている。
放送局５０１は、図４の放送局４０２が元になった情報である。また、日時５０２に関しては、番組開始日時４０３、番組終了日時４０４と動画解析部２０８で取得された画像データのフレーム位置を元に算出された時刻情報となっている。検索キー５０３については、番組情報公開サーバ１から取得したもので、マッチング情報が元になっている情報で、図７の検索キー７０１と同じものである。これらの情報は、マッチングプログラム２１０で一致した番組検索情報があった場合に格納される。 FIG. 5 shows program search information generated by the program recording / playback devices 2a, 2b, and 2n using the processing circuit 202, the matching program 210, the moving image analysis unit 208, and the audio analysis unit 209 based on the recorded content. 501, date and time 502, and search key 503.
The broadcasting station 501 is information based on the broadcasting station 402 of FIG. The date / time 502 is time information calculated based on the program start date / time 403, the program end date / time 404 and the frame position of the image data acquired by the moving image analysis unit 208. The search key 503 is obtained from the program information release server 1 and is based on the matching information, and is the same as the search key 701 in FIG. These pieces of information are stored when there is matching program search information in the matching program 210.

また、図５で取得した番組検索情報を、番組検索情報公開サーバ１に送信する場合は、図６のような形式で送信する。
データの構造としては、マッチングエンジン識別番号６０１、放送局５０１、日時５０２、検索キー５０３で構成されている。
マッチングエンジン識別番号は、各番組録画再生機器内で使用されているマッチングプログラム２１０を識別するためのもので、作成元やバージョンの違いによって、マッチングエンジン識別番号が変わる。 Further, when the program search information acquired in FIG. 5 is transmitted to the program search information disclosure server 1, it is transmitted in the format as shown in FIG.
The data structure includes a matching engine identification number 601, a broadcasting station 501, a date and time 502, and a search key 503.
The matching engine identification number is for identifying the matching program 210 used in each program recording / playback device, and the matching engine identification number changes depending on the source and version.

図７は、番組検索情報公開サーバ１が備えているマッチング情報データベース３０４内に格納されているマッチング情報のデータ構成図であり、検索キー７０１、検索種別７０２、ジャンル７０３、検索情報７０４、マッチングデータ７０５で構成されている。
検索キー７０１は、検索情報７０４を識別するためのユニークなキーで、図５、図６で使用されている検索キーと同様のものであり、このキーを元に、検索情報７０４、マッチングデータ７０５を取得することができる。
検索種別７０２は、検索の種別情報が含まれていて、画像か音声かの種別がある。この２つの情報を元に、画像の場合は、動画解析時に使用する検索情報、音声の場合は、音声解析時に使用する検索情報と分けることができる。
ジャンル７０３は、検索キーワードを分けるために、どのような種別の検索情報かを知るために、芸能人、風景、店名といったジャンル情報が文字列で含まれている。これらは、実際に録画コンテンツを検索するときに使用する。 FIG. 7 is a data configuration diagram of matching information stored in the matching information database 304 provided in the program search information disclosure server 1, and includes a search key 701, a search type 702, a genre 703, search information 704, and matching data. 705.
The search key 701 is a unique key for identifying the search information 704 and is the same as the search key used in FIGS. 5 and 6, and the search information 704 and the matching data 705 are based on this key. Can be obtained.
The search type 702 includes search type information and includes a type of image or sound. Based on these two pieces of information, in the case of an image, it can be divided into search information used at the time of moving image analysis, and in the case of a sound, it can be divided from search information used at the time of sound analysis.
The genre 703 includes genre information such as an entertainer, a landscape, and a store name as a character string in order to know what type of search information to divide search keywords. These are used when actually retrieving recorded content.

検索情報７０４は、文字列で表示したい検索情報が含まれており、検索種別７０２で芸能人だった場合は、芸能人名、風景であった場合は、その場所の名称、店名であった場合は、その店名が含まれている。
パターンマッチング７０５は、マッチングプログラム２１０が一致判定で使用するためのマッチングデータであり、検索種別７０２が画像であった場合は、芸能人の顔画像や、風景画像が保持されている。検索種別７０２が音声であった場合は、文字列が保持されている。これらの情報を使用して、動画や音声データ内に検索対象の情報が含まれているか確かめるマッチング処理を行う。 The search information 704 includes search information to be displayed as a character string. If the search type 702 is an entertainer, the entertainer name, if it is a landscape, the location name, the store name, The store name is included.
The pattern matching 705 is matching data used by the matching program 210 for matching determination. When the search type 702 is an image, a celebrity face image and a landscape image are held. If the search type 702 is speech, a character string is held. Using these pieces of information, matching processing is performed to check whether information to be searched is included in the moving image or audio data.

図８は、番組録画再生機器２ａ、２ｂ、２ｎと番組検索情報公開サーバ１との処理の概要を示すフローチャートである。
番組録画再生機器２ａ、２ｂ、２ｎは、まず、番組検索情報公開サーバ１へマッチング情報の取得の要求を行い。その応答を受け取る(ステップ８０１)。その結果をマッチング情報保存部２０４に格納する（ステップ８０１）。
その後、番組録画再生機器２ａ、２ｂ、２ｎは、番組録画が行われた場合（ステップ８０２）、録画データ保存部２０５へ録画データの保存と、番組情報データベース２０７へ番組情報を保存する（ステップ８０３）。
録画したデータを元に、その録画データの番組付加情報が番組検索情報公開サーバ１に既に存在するかどうか、番組付加情報の取得要求を行う（ステップ８０４）。その時に、要求情報として、信頼度、放送局４０２、放送開始日時４０３、放送終了日時４０４を含めた情報を送信する。 FIG. 8 is a flowchart showing an outline of processing performed by the program recording / playback apparatuses 2a, 2b, and 2n and the program search information disclosure server 1.
The program recording / playback devices 2a, 2b, and 2n first request the program search information disclosure server 1 to obtain matching information. The response is received (step 801). The result is stored in the matching information storage unit 204 (step 801).
Thereafter, when program recording is performed (step 802), the program recording / playback devices 2a, 2b, and 2n store the recording data in the recording data storage unit 205 and the program information in the program information database 207 (step 803). ).
Based on the recorded data, a request for acquiring program additional information is made as to whether the program additional information of the recorded data already exists in the program search information disclosure server 1 (step 804). At that time, information including reliability, broadcast station 402, broadcast start date and time 403, and broadcast end date and time 404 is transmitted as request information.

番組検索情報公開サーバ１はこれらの情報を元に、番組検索情報を番組検索情報データベース３０５から取得する。要求された信頼度が低い場合は、番組検索情報データベース３０５にある、放送局６０２が放送局４０２に一致し、日時６０３が、放送開始日時４０３、放送終了日時４０４の範囲内に存在した場合、検索情報を取得し、送信する。
信頼度が高い場合は、複数のマッチングエンジンで一致した場合という条件でのみ、番組検索情報を送信する。例えば、マッチングエンジン識別番号ＡＡＡが存在しており、このマッチングエンジンによって、放送局６０２が放送局４０２に一致し、日時６０３が、放送開始日時４０３、放送終了日時４０４の範囲内にある番組情報検索情報があったとする。これに対して、別のマッチングエンジン識別番号ＢＢＢというマッチングエンジンが存在していて、番組検索情報の解析を行ったところ、マッチングエンジン識別番号ＡＡＡで解析した番組検索情報と同じ、放送局６０２、同じ日時６０３が存在した場合は、一致とみなし、送信する検索情報の対象となる。 The program search information disclosure server 1 acquires program search information from the program search information database 305 based on such information. If the requested reliability is low, the broadcast station 602 in the program search information database 305 matches the broadcast station 402, and the date and time 603 is within the range of the broadcast start date and time 403 and the broadcast end date and time 404, Obtain and send search information.
When the reliability is high, the program search information is transmitted only under the condition that a plurality of matching engines match. For example, there is a matching engine identification number AAA. By this matching engine, the broadcast station 602 matches the broadcast station 402, and the program information search with the date and time 603 within the range of the broadcast start date and time 403 and the broadcast end date and time 404 is performed. Suppose that there is information. In contrast, when another matching engine identification number BBB exists and the program search information is analyzed, the same as the program search information analyzed by the matching engine identification number AAA, the broadcast station 602, the same If the date and time 603 exists, it is regarded as a match and is the target of search information to be transmitted.

番組検索情報公開サーバ１にデータが存在した場合は、取得成功として、要求のあった番組録画再生機器３ａ〜３ｎへ応答を返却し（ステップ８０５）、要求した番組録画再生機器２ａ〜２ｎは、番組情報データベース２０７へ番組検索情報を格納する（ステップ８１０）。
番組検索情報公開サーバ１に期待した番組情報が存在せず、取得失敗した場合（ステップ８０５）、番組録画再生機器２ａ、２ｂ、２ｎは、動画及び、音声の解析処理を行い、番組検索情報を生成する（ステップ８０６）、（ステップ８０７）。このときに生成された番組検索情報を番組検索情報公開サーバ１へ送信する（ステップ８０９）。
送信完了後は、番組情報データベース２０７へ格納する（ステップ８１０）。
また、番組検索情報を受信した番組検索情報公開サーバ１についても、番組検索情報を番組検索情報データベース３０５へ格納する（ステップ８１２）
以上のように、本実施の形態の動画・音声認識を用いた番組検索情報生成方法と配信システムによれば、次の効果がある。 If there is data in the program search information disclosure server 1, as a successful acquisition, a response is returned to the requested program recording / playback devices 3a-3n (step 805), and the requested program recording / playback devices 2a-2n Program search information is stored in the program information database 207 (step 810).
If the expected program information does not exist in the program search information release server 1 and acquisition fails (step 805), the program recording / playback devices 2a, 2b, and 2n perform video and audio analysis processing to obtain program search information. (Step 806), (Step 807). The program search information generated at this time is transmitted to the program search information disclosure server 1 (step 809).
After the transmission is completed, it is stored in the program information database 207 (step 810).
The program search information disclosure server 1 that has received the program search information also stores the program search information in the program search information database 305 (step 812).
As described above, according to the program search information generation method and distribution system using moving image / voice recognition according to the present embodiment, the following effects are obtained.

番組録画再生機器２ａ〜２ｎで録画したデータに番組情報が放送局や放送日時しか存在せず、検索するキーワードがない場合であっても、番組検索情報公開サーバ１から取得したマッチング情報を用いて、解析して、検索情報を追加することができる。
番組録画再生機器が一度、検索情報を番組検索情報公開サーバ１へ登録すれば、別の番組録画再生機器２ａ〜２ｎが、同じ放送局で、同じ時間の検索情報を要求すれば、自身で解析せずに、短時間で検索情報を取得することができる。
番組録画再生機器２ａ〜２ｎは、録画されている動画及び、音声の解析から番組検索情報を取得する。この解析に利用するマッチング情報は、番組検索情報公開サーバ１から取得することができ、番組検索情報公開サーバ１側で最新の状態を保つことにより、番組録画再生機器２ａ〜２ｎも定期的にマッチング情報を取得することによって、最新のマッチング情報を入手できる。 Even if there is only a broadcast station or broadcast date and time in the data recorded by the program recording / playback devices 2a to 2n and there is no keyword to be searched, the matching information acquired from the program search information disclosure server 1 is used. Analyze and add search information.
Once the program recording / playback device registers the search information in the program search information disclosure server 1, if another program recording / playback device 2a-2n requests search information at the same broadcast station at the same time, it analyzes it. The search information can be acquired in a short time without doing so.
The program recording / playback devices 2a to 2n obtain program search information from analysis of recorded moving images and audio. Matching information used for this analysis can be acquired from the program search information release server 1, and the program recording / playback devices 2a to 2n are also periodically matched by keeping the latest state on the program search information release server 1 side. By obtaining information, the latest matching information can be obtained.

番組録画再生機器２ａ〜２ｎで付加できる番組検索情報は、録画されている動画及び、音声情報から取得することができ、取得可能な検索情報は、マッチング情報の情報量で決まる。
番組検索情報公開サーバ１が番組録画再生機器から受け取るマッチングエンジン識別番号は、マッチングプログラム毎によって、ユニークに識別される番号であり、作成元やバージョンによって変わる。別の識別番号であった場合、マッチングプログラムから得られる番組検索情報は、同じ放送局、時間帯、マッチング情報であっても同じ結果になるとは限らない。 The program search information that can be added by the program recording / playback devices 2a to 2n can be acquired from the recorded video and audio information, and the search information that can be acquired is determined by the amount of matching information.
The matching engine identification number received by the program search information disclosure server 1 from the program recording / playback device is a number uniquely identified for each matching program, and varies depending on the creation source and version. In the case of different identification numbers, even if the program search information obtained from the matching program is the same broadcast station, time zone, and matching information, the same result is not always obtained.

番組検索情報公開サーバ１は、番組検索情報の信頼性を向上させるために、同じ放送局、同じ時間帯であっても、マッチングエンジン識別番号が違う場合は、複数の同じ検索情報を保持している。これは、別々のマッチングプログラムから得られた結果が同じであれば、信頼性が高いという判断を行うために用いるもので、番組録画再生機器２ａ〜２ｎから高い信頼度の検索情報の要求があった場合に、使用する。 In order to improve the reliability of the program search information, the program search information disclosure server 1 holds a plurality of the same search information even if the matching engine identification number is different even in the same broadcasting station and the same time zone. Yes. This is used to judge that the reliability is high if the results obtained from different matching programs are the same, and there is a request for search information with high reliability from the program recording / playback devices 2a to 2n. Use if

図１０は、動画解析及び音声解析の結果、複数のマッチングエンジン識別番号の付加情報が番組情報データベースに付加記録されていた場合に、番組録画再生機器２ａ〜２ｎからその付加情報の提供要求があった場合の処理の概要を示すフローチャートである。
公開サーバ１は、番組録画再生機器２ａ〜２ｎから受信した放送局、放送日時を元に番組情報検索データベース３０５を検索する（ステップ１００１）。そして、同一の番組について複数のマッチングエンジン（録画再生機器）から複数のマッチングエンジン識別番号の複数の解析結果である検索キー９０１（付加情報）が登録されていた場合には、この付加情報は信頼性が高いデータであるとして要求元の番組録画再生機器２ａ〜２ｎに返す（ステップ１００３，１００４）。しかし、マッチングエンジン識別番号が１つであった場合、解析したマッチングエンジンの数がすくないので、信頼性が低いデータとして要求元の番組録画再生機器２ａ〜２ｎに返す（ステップ１００２，１００３）。
また、要求されたデータが存在しなかった場合には「データ無し」を返す（ステップ１００６、１００７）。
以上において、番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときは、付加情報を信頼度の高い付加情報として前記番組検索情報サーバ内の番組検索情報データベースに記録することも可能である。この場合には、データベース内のデータに信頼性に関する新たな項目を設け、当該付加情報に信頼性が高い場合には「１」を、低い場合には「０」のように記録すれば良い。これにより、より精度が高いと予想されるデータについて、信頼度の高い情報としてフラグ立てすることができる。
また、番組検索情報サーバは、異なるマッチングエンジンを備える複数の録画再生機器から同一の番組について同一の付加情報を受信したときにのみ、付加情報を前記番組検索情報サーバ内の番組検索情報データベースに記録するようにしても良い。これにより、より確実な情報のみを番組検索情報データベースに記憶し、更に精度を高めることが可能となる。この場合、番組録画再生機器は信頼性の高い付加情報のみ番組検索サーバから返信を受け、信頼性の低い付加情報は受信せずに済むようになる。
なお、上記実施形態において、マッチング情報で説明しているジャンルは、芸能人、風景、店名のみであったが、これ以外のジャンルを同様に追加することが可能である。また、上記実施形態では動画解析及び音声解析の両方の結果を使用する例を示したが、そのいずれかのみ、つまり動画解析または音声解析のみを使用するように構成しても良い。 FIG. 10 shows that when additional information of a plurality of matching engine identification numbers is additionally recorded in the program information database as a result of moving image analysis and audio analysis, there is a request for providing the additional information from the program recording / playback devices 2a to 2n. FIG.
The public server 1 searches the program information search database 305 based on the broadcast stations and broadcast dates and times received from the program recording / playback devices 2a to 2n (step 1001). If the search key 901 (additional information) that is a plurality of analysis results of a plurality of matching engine identification numbers is registered from a plurality of matching engines (recording / playback devices) for the same program, the additional information is trusted. The data is returned to the request source program recording / reproducing devices 2a to 2n as having high data (steps 1003 and 1004). However, if there is only one matching engine identification number, the number of analyzed matching engines is not so great, and the data is returned to the request source program recording / playback devices 2a to 2n as low reliability data (steps 1002 and 1003).
If the requested data does not exist, “no data” is returned (steps 1006 and 1007).
In the above, when the program search information server receives the same additional information for the same program from a plurality of recording / playback devices having different matching engines, the program search information server uses the additional information as highly reliable additional information in the program search information server. It is also possible to record in the program search information database. In this case, a new item relating to reliability is provided in the data in the database, and “1” is recorded in the additional information when the reliability is high, and “0” is recorded when the additional information is low. As a result, data that is expected to have higher accuracy can be flagged as highly reliable information.
The program search information server records the additional information in the program search information database in the program search information server only when the same additional information is received for the same program from a plurality of recording / playback devices having different matching engines. You may make it do. Thereby, only more reliable information can be stored in the program search information database, and the accuracy can be further improved. In this case, the program recording / playback apparatus receives only the highly reliable additional information from the program search server, and does not receive the additional information with low reliability.
In the above embodiment, the genres described in the matching information are only entertainers, landscapes, and store names, but other genres can be added in the same manner. Moreover, although the example which uses both the results of a moving image analysis and a sound analysis was shown in the said embodiment, you may comprise only one of them, ie, only a moving image analysis or a sound analysis.

以上のように、上記実施形態によれば、番組録画再生機器で録画したデータに番組情報が放送局や放送日時しか存在せず、検索可能なキーワードがない場合であっても、番組検索情報公開サーバから取得したマッチング情報を用いて、解析して、検索情報を追加することができる。また、番組録画再生機器が一度、検索情報を番組検索情報公開サーバへ登録すれば、別の番組録画再生機器が、同じ放送局で、同じ時間の検索情報を要求すれば、自身で解析せずに、短時間で検索情報を取得することができる。 As described above, according to the above-described embodiment, even when the program information is only broadcast station or broadcast date and time and there is no searchable keyword in the data recorded by the program recording / playback device, the program search information is disclosed. Using the matching information acquired from the server, it can be analyzed and search information can be added. Also, once the program recording / playback device registers the search information to the program search information public server, if another program recording / playback device requests search information at the same broadcast station at the same time, it does not analyze it itself. In addition, search information can be acquired in a short time.

１番組検索情報公開サーバ
２ａ、２ｂ、２ｎ番組録画再生機器
２１０マッチングプログラム
４０２放送局
４０３番組開始日時
４０４番組終了日時
７０１検索キー 1 Program Search Information Disclosure Server 2a, 2b, 2n Program Recording / Reproducing Device 210 Matching Program 402 Broadcast Station 403 Program Start Date / Time 404 Program End Date / Time 701 Search Key

Claims

Program search information provided with a matching information database for storing pattern matching data for extracting recorded data including buildings, performers or landscapes by moving picture analysis or voice analysis and a keyword corresponding to the pattern matching data Pattern matching data and keywords are received from the server and the matching information database, and the recorded data is searched for whether the data corresponding to the pattern matching data is included. And the keyword is added as additional information of the program information of the recorded data and stored in the program information database in the self-recording / reproducing device, and is transmitted to the program search information server and transmitted to the program. Programs in the search information server A program search information generation method in a system that includes a plurality of recording and playback apparatus to be stored as additional information of the program information in the search information database,
The plurality of recording / playback devices are
After starting recording based on the broadcast station information acquired from the electronic program guide and the program information including the recording start / end time and storing the recording data in the recording data storage unit, the additional information related to the program is stored in the program search information server. Is stored in the program search information database, and if it is stored, the additional information is acquired, and this additional information is added as additional information of the program information of the recording data, Storing in the program information database;
If the additional information about the program is not stored in the program search information database in the program search information server, the pattern matching data is recorded in the recorded data using the pattern matching data and keywords acquired from the program search information server. Searches whether the corresponding data is included, and if it is included, extracts the keyword associated with the pattern matching data, adds the keyword as additional information of the program information of the recording data, and records itself Storing in a program information database in a playback device, and transmitting to the program search information server and storing it in the program search information database in the program search information server as additional information of the program information. A program search information generation method.

When the program search information server inquires about additional information from any of the plurality of recording / playback devices, there is a plurality of additional information by video analysis or sound analysis on the plurality of recording / playback devices for the corresponding program. 2. The program search information generating method according to claim 1, further comprising a step of returning to the requesting recording / playback device as additional information with high reliability.

When the same additional information is received for the same program from a plurality of recording / playback devices having different matching engines, the program search information server uses the additional information as highly reliable additional information in the program search information server. 3. The program search information generation method according to claim 1, wherein the program search information database is recorded in a program search information database.

The program search information server records the additional information in the program search information database in the program search information server only when the same additional information for the same program is received from a plurality of recording / playback devices having different matching engines. 4. The program search information generation method according to claim 1, wherein the program search information generation method is performed.

Program search information provided with a matching information database for storing pattern matching data for extracting recorded data including buildings, performers or landscapes by moving picture analysis or voice analysis and a keyword corresponding to the pattern matching data Pattern matching data and keywords are received from the server and the matching information database, and the recorded data is searched for whether the data corresponding to the pattern matching data is included. And the keyword is added as additional information of the program information of the recorded data and stored in the program information database in the self-recording / reproducing device, and is transmitted to the program search information server and transmitted to the program. Programs in the search information server A system comprising a plurality of recording and playback apparatus to be stored as additional information of the program information in the search information database,
The plurality of recording / playback devices are
After starting recording based on the broadcast station information acquired from the electronic program guide and the program information including the recording start / end time and storing the recording data in the recording data storage unit, the additional information related to the program is stored in the program search information server. Is stored in the program search information database, and if it is stored, the additional information is acquired, and this additional information is added as additional information of the program information of the recording data, Means for storing in a program information database;
If the additional information about the program is not stored in the program search information database in the program search information server, the pattern matching data is recorded in the recorded data using the pattern matching data and keywords acquired from the program search information server. Searches whether the corresponding data is included, and if it is included, extracts the keyword associated with the pattern matching data, adds the keyword as additional information of the program information of the recording data, and records itself Means for storing in a program information database in a playback device, and means for transmitting to the program search information server and storing it in the program search information database in the program search information server as additional information of the program information. A program search information generation system.

When the program search information server inquires about additional information from any of the plurality of recording / playback devices, there is a plurality of additional information by video analysis or sound analysis on the plurality of recording / playback devices for the corresponding program. 6. The program search information generation system according to claim 5, further comprising means for returning the additional information with high reliability to the recording / playback device as the request source.

When the same additional information is received for the same program from a plurality of recording / playback devices having different matching engines, the program search information server uses the additional information as highly reliable additional information in the program search information server. 7. The program search information generation method according to claim 5, wherein the program search information database is recorded in a program search information database.

The program search information server records the additional information in the program search information database in the program search information server only when the same additional information for the same program is received from a plurality of recording / playback devices having different matching engines. The program search information generation method according to claim 5, wherein: