JP2006186426A - Information retrieval display apparatus, information retrieval display method, and information retrieval display program - Google Patents

Information retrieval display apparatus, information retrieval display method, and information retrieval display program Download PDF

Info

Publication number
JP2006186426A
JP2006186426A JP2004374948A JP2004374948A JP2006186426A JP 2006186426 A JP2006186426 A JP 2006186426A JP 2004374948 A JP2004374948 A JP 2004374948A JP 2004374948 A JP2004374948 A JP 2004374948A JP 2006186426 A JP2006186426 A JP 2006186426A
Authority
JP
Japan
Prior art keywords
information
search
user preference
user
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004374948A
Other languages
Japanese (ja)
Inventor
Masayuki Okamoto
昌之 岡本
Hideo Umeki
秀雄 梅木
Masanori Hattori
正典 服部
Ryohei Orihara
良平 折原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004374948A priority Critical patent/JP2006186426A/en
Publication of JP2006186426A publication Critical patent/JP2006186426A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information retrieval display apparatus capable of retrieving and displaying information depending on the preference of a user. <P>SOLUTION: The information retrieval display apparatus includes: a display section 124 for displaying information video information and information associated with the video information for the user; a view history storage section 130 for storing user preference information being information associated with the preference of the user; a preference keyword storage section 131; a retrieval history storage section 132; an associated information retrieval section 110 for retrieving partial information being part of the video information and associated information being information associated with the user preference information on the basis of the user preference information; and a display control section 123 for displaying the associated information searched by the associated information retrieval section 110 and the video information on the display section 124. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、ユーザが映像視聴中または視聴後に内容を確認および検索する手間を軽減するために映像情報に含まれる内容に関連する情報を検索および表示する情報検索表示装置、情報検索表示方法および情報検索表示プログラムに関するものである。   The present invention relates to an information search / display apparatus, an information search / display method, and information for searching and displaying information related to contents included in video information in order to reduce a user's trouble of checking and searching the contents during or after watching the video. The present invention relates to a search display program.

近年、テレビ視聴支援の一機能として、番組内の特定のシーンや特定のコンテンツを検索する機能や、このような番組を構成する特定のシーンや特定のコンテンツだけでなく、直接番組を構成する映像情報内には含まれない関連情報を検索する機能が求められている。このような機能に関しては、番組の送信者が番組を構成する映像情報に関連情報を埋め込む技術や、番組中の特定のシーンについての関連情報を配信するサーバから関連情報を提供する技術が提案されており、それらの関連情報を検索する手法も提案されている(例えば、特許文献1)。   In recent years, as a function of TV viewing support, a function to search for a specific scene or specific content in a program, or a video directly constituting a program as well as a specific scene or specific content constituting such a program There is a demand for a function for searching related information not included in the information. With regard to such a function, a technique for embedding related information in video information constituting a program by a program sender or a technique for providing related information from a server that distributes related information about a specific scene in the program has been proposed. A method for searching for related information has also been proposed (for example, Patent Document 1).

また、画像認識技術などを利用して映像情報中のユーザにより指定された部分画像に関する情報を取得する方法や(例えば、特許文献2)、テロップなど画面上の文字情報を利用して関連情報の検索を行う方法も提案されている。   In addition, a method for acquiring information related to a partial image designated by a user in video information using an image recognition technique or the like (for example, Patent Document 2), or using text information on a screen such as a telop, A search method has also been proposed.

特開2003−110960号公報JP 2003-110960 A 特開2002−334092号公報JP 2002-334092 A

しかしながら、番組中の特定のシーンに関連する情報の検索は、映像情報中の画像から認識された結果や、テロップなどの文字情報を認識した結果、番組コンテンツに埋め込まれた情報など、その番組に直接関係する情報のみを利用して行われ、ユーザの視聴履歴や、ユーザが過去に関連情報を検索した結果を利用した検索は行われていない。   However, searching for information related to a specific scene in a program can be performed on the program such as a result recognized from an image in video information, a character information such as a telop, or information embedded in program content. The search is performed using only directly related information, and a search using a user's viewing history and a result of a user searching for related information in the past is not performed.

例えば、特許文献2においては、前述のような関連情報の検索方法について述べられているが、ユーザの嗜好を参照した情報の検索等については開示されていない。特許文献1においては、他のユーザの視聴した番組情報等に基づき、デジタル映像機器の一般的なユーザがどのような番組を好むかを示す関連番組情報を表示する方法を開示しているが、個々のユーザの嗜好を参照し、ユーザごとに異なる映像情報の関連情報を提供する方法については述べられていない。   For example, Patent Document 2 describes a related information retrieval method as described above, but does not disclose information retrieval or the like referring to user preferences. Patent Document 1 discloses a method of displaying related program information indicating what programs general users of digital video equipment prefer based on program information viewed by other users. There is no description of a method for referring to individual user preferences and providing related information of video information that differs for each user.

このように、従来の方法においては、検索および表示される関連情報は、番組を視聴している全ユーザに共通であり、個々のユーザの嗜好に合致した、真にユーザが希望する有用な情報のみを適切に表示することができないという問題があった。   In this way, in the conventional method, the related information to be searched and displayed is common to all users who are viewing the program, and is truly useful information desired by the user that matches each user's preference. There was a problem that only can not be displayed properly.

本発明は、上記に鑑みてなされたものであって、ユーザの嗜好、視聴履歴、過去の検索結果などを参照して関連情報の検索を実行することにより、個々のユーザの嗜好に応じた有用な情報を取得することができる情報検索表示装置、情報検索表示方法および情報検索表示プログラムを提供することを目的とする。   The present invention has been made in view of the above, and is useful in accordance with individual user preferences by executing related information searches by referring to user preferences, viewing history, past search results, and the like. An object of the present invention is to provide an information search / display apparatus, an information search / display method, and an information search / display program capable of acquiring simple information.

上述した課題を解決し、目的を達成するために、本発明は、映像情報に関連する情報の検索および表示を行う情報検索表示装置において、前記映像情報や前記映像情報に関連する情報をユーザに対して表示する表示手段と、ユーザの嗜好に関する情報であるユーザ嗜好情報を記憶したユーザ嗜好情報記憶手段と、前記ユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記映像情報の一部である部分情報および前記ユーザ嗜好情報に関連する情報である関連情報を検索する関連情報検索手段と、前記関連情報検索手段が検索した前記関連情報と前記映像情報とを前記表示手段に表示する表示制御手段と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention provides an information search and display device that searches and displays information related to video information, and provides the user with the video information and information related to the video information. The video information based on the user preference information stored in the user preference information stored in the user preference information stored in the display means displayed on the display, user preference information that is user preference information. Related information search means for searching for partial information that is a part and related information that is information related to the user preference information, and the related information and the video information searched by the related information search means are displayed on the display means. Display control means.

また、本発明は、上記装置を実行することができる情報検索表示方法および情報検索表示プログラムである。   The present invention also provides an information search and display method and an information search and display program that can execute the above-described apparatus.

本発明によれば、ユーザの嗜好、視聴履歴、過去の検索結果などのユーザ嗜好情報に関連した映像情報の関連情報を検索するので、映像情報を視聴している全ユーザに対し同じ関連情報が提供されることはなく、個々のユーザは各自の嗜好に応じて有用な情報のみを取得することができるという効果を奏する。   According to the present invention, since the related information of the video information related to the user preference information such as the user's preference, viewing history, and past search results is searched, the same related information is obtained for all users who are viewing the video information. There is no provision, and each user can obtain only useful information according to his / her preference.

以下に添付図面を参照して、この発明にかかる情報検索表示装置、情報検索表示方法および情報検索表示プログラムの最良な実施の形態を詳細に説明する。   Exemplary embodiments of an information search / display apparatus, an information search / display method, and an information search / display program according to the present invention will be explained below in detail with reference to the accompanying drawings.

(第1の実施の形態)
第1の実施の形態にかかる情報検索表示装置は、映像情報から検索キーワードを抽出し、抽出した検索キーワードにより映像情報中の部分情報に関連する情報を検索し、検索結果をユーザの嗜好に合わせて選別し、選別した検索結果である関連情報を画面に表示するものである。
(First embodiment)
The information search and display apparatus according to the first embodiment extracts a search keyword from video information, searches for information related to partial information in the video information using the extracted search keyword, and matches the search result to the user's preference. The related information, which is the selected search result, is displayed on the screen.

また、番組中の映像情報は、テロップなどの映像情報に関連付けられたメタデータや、音声、画像などの部分情報から構成されるが、検索された関連情報が、映像情報に含まれるどの部分情報に基づいて検索されたものであるかを視覚的に明確に表示する方法は提案されていない。そこで、第1の実施の形態にかかる情報検索表示装置は、検索の根拠となった部分情報を視覚的に明確に対応付けて画面に表示するものである。   In addition, the video information in the program is composed of metadata associated with the video information such as telop and partial information such as sound and image, but the searched related information includes any partial information included in the video information. No method has been proposed for visually clearly indicating whether or not a search has been made based on the above. Therefore, the information search and display apparatus according to the first embodiment displays the partial information that is the basis of the search on the screen in a clearly correlated manner.

図1は、第1の実施の形態にかかる情報検索表示装置100の構成を示すブロック図である。同図に示すように、情報検索表示装置100は、関連情報検索部110と、入力部121と、検索要求取得部122と、表示制御部123と、表示部124とを備えている。また、第1の実施の形態にかかる情報検索表示装置100は、ハードディスクドライブ装置(HDD:Hard Disk Drive)に視聴履歴記憶部130と、嗜好キーワード記憶部131と、検索履歴記憶部132と、映像情報記憶部140とを備えている。視聴履歴記憶部130、嗜好キーワード記憶部131、検索履歴記憶部132が、本発明におけるユーザ嗜好情報記憶手段に相当する。   FIG. 1 is a block diagram illustrating a configuration of an information search / display apparatus 100 according to the first embodiment. As shown in the figure, the information search / display apparatus 100 includes a related information search unit 110, an input unit 121, a search request acquisition unit 122, a display control unit 123, and a display unit 124. The information search and display device 100 according to the first embodiment includes a viewing history storage unit 130, a preference keyword storage unit 131, a search history storage unit 132, and a video in a hard disk drive (HDD). And an information storage unit 140. The viewing history storage unit 130, the preference keyword storage unit 131, and the search history storage unit 132 correspond to the user preference information storage unit in the present invention.

第1の実施の形態にかかる情報検索表示装置100は、インターネット101に接続され、後述する検索部115により、インターネット101に接続された検索システムから関連情報を検索する。   The information search and display apparatus 100 according to the first embodiment is connected to the Internet 101 and searches for related information from a search system connected to the Internet 101 by a search unit 115 described later.

関連情報検索部110は、ユーザによる映像情報に関連する情報の検索要求に応じて、映像情報の関連情報の検索処理を実行し、検索結果を嗜好キーワード記憶部131および検索履歴記憶部132に記憶するものであり、メタデータ取得部111と、音声認識部112と、画像認識部113と、検索キーワード生成部114と、検索部115と、意味解析部116と、検索結果選択部117とを備えている。   The related information search unit 110 executes a search process of related information of video information in response to a search request for information related to video information by the user, and stores the search results in the preference keyword storage unit 131 and the search history storage unit 132. A metadata acquisition unit 111, a speech recognition unit 112, an image recognition unit 113, a search keyword generation unit 114, a search unit 115, a semantic analysis unit 116, and a search result selection unit 117. ing.

メタデータ取得部111は、映像情報に付与されているメタデータを、映像情報から取得し、テキストデータとして出力する。ここで、メタデータとは、映像を提供する放送事業者等により予め埋め込まれた映像情報に関連する情報をいい、例えば、番組のタイトル、番組のジャンル、番組の概要、番組の制作日などが該当する。   The metadata acquisition unit 111 acquires metadata attached to video information from the video information and outputs it as text data. Here, the metadata refers to information related to video information embedded in advance by a broadcaster or the like that provides video, such as a program title, a program genre, a program overview, a program production date, and the like. Applicable.

音声認識部112は、映像情報中の音声または音楽を認識し、認識された音声または認識された音楽の曲名をテキストデータとして出力する。画像認識部113は、映像中の人物、建物、テロップなどの部分画像を認識し、認識した部分画像の範囲と認識結果の内容を表すテキストデータを出力する。   The voice recognition unit 112 recognizes voice or music in the video information, and outputs the recognized voice or the music title of the recognized music as text data. The image recognition unit 113 recognizes partial images such as a person, a building, and a telop in the video, and outputs text data representing the recognized partial image range and the content of the recognition result.

検索キーワード生成部114は、メタデータ取得部111、音声認識部112、画像認識部113によって出力されたテキストデータを単語に分割し、検索時に使用する検索キーワードを生成する。   The search keyword generation unit 114 divides the text data output by the metadata acquisition unit 111, the voice recognition unit 112, and the image recognition unit 113 into words, and generates a search keyword used at the time of search.

検索部115は、検索キーワード生成部114が生成した検索キーワードを使用して、検索キーワードを含む情報または検索キーワードに関連する情報を、ネットワークに接続されたデータベースまたはインターネット等により接続された検索システムから検索する。   The search unit 115 uses the search keyword generated by the search keyword generation unit 114 to retrieve information including the search keyword or information related to the search keyword from a database connected to a network or a search system connected via the Internet or the like. Search for.

意味解析部116は、検索部115が検索した関連情報を解析し、番組の文脈にあった意味属性を付与する。   The semantic analysis unit 116 analyzes the related information searched by the search unit 115 and assigns semantic attributes that match the context of the program.

検索結果選択部117は、意味解析部116が解析し、意味属性を付与した関連情報から、視聴履歴記憶部130、嗜好キーワード記憶部131、検索履歴記憶部132に記憶されているユーザ嗜好情報を参照してユーザ嗜好情報に関連する関連情報を選択する。   The search result selection unit 117 analyzes the user preference information stored in the viewing history storage unit 130, the preference keyword storage unit 131, and the search history storage unit 132 from the related information analyzed by the semantic analysis unit 116 and given the semantic attribute. The related information related to the user preference information is selected by referring to the information.

入力部121は、ユーザが検索要求を入力するための操作端末であり、例えば、テレビのリモコンなどが該当する。入力部121は、ユーザを識別するユーザ認証手段を備えている。例えば、個々のユーザが固有の端末を所持することによりユーザを識別するように構成してもよいし、端末にパスワード入力などの一般的なユーザ認証手段を備えるように構成してもよい。   The input unit 121 is an operation terminal for a user to input a search request, and corresponds to, for example, a television remote control. The input unit 121 includes user authentication means for identifying a user. For example, each user may be configured to identify a user by possessing a unique terminal, or may be configured to include general user authentication means such as password input in the terminal.

検索要求取得部122は、ユーザが入力部121から入力した検索要求を受け取り、関連情報検索部110に送信する。表示部124は、映像情報や、映像情報を基に検索した関連情報を表示する。表示制御部123は、表示部124への映像情報や関連情報の表示の制御を行う。   The search request acquisition unit 122 receives a search request input by the user from the input unit 121 and transmits the search request to the related information search unit 110. The display unit 124 displays video information and related information searched based on the video information. The display control unit 123 controls display of video information and related information on the display unit 124.

視聴履歴記憶部130は、ユーザによる映像情報の視聴の履歴を記憶する。図2は、視聴履歴記憶部130の構造の一例を示す説明図である。同図に示すように、視聴履歴記憶部130は、視聴したユーザ、視聴した日付、視聴した時刻、視聴したチャンネル、視聴した番組名を格納している。   The viewing history storage unit 130 stores a viewing history of video information viewed by the user. FIG. 2 is an explanatory diagram illustrating an example of the structure of the viewing history storage unit 130. As shown in the figure, the viewing history storage unit 130 stores the viewing user, viewing date, viewing time, viewing channel, and viewing program name.

嗜好キーワード記憶部131は、ユーザの嗜好を表すキーワードを記憶する。図3は、嗜好キーワード記憶部131の構造の一例を示す説明図である。同図に示すように、嗜好キーワード記憶部131は、ユーザごとに、ユーザの嗜好を表すキーワードを格納している。キーワードとしては、例えば、“野球”、“時代劇”、“ニュース”、“料理”、“グルメ”などの番組のジャンルや、出演者名などの項目を格納する。   The preference keyword storage unit 131 stores a keyword representing the user's preference. FIG. 3 is an explanatory diagram showing an example of the structure of the preference keyword storage unit 131. As shown in the figure, the preference keyword storage unit 131 stores a keyword representing the user's preference for each user. As keywords, for example, items such as program genres such as “baseball”, “period drama”, “news”, “cooking”, “gourmet”, and names of performers are stored.

嗜好キーワード記憶部131は、ユーザが入力部121により指定したキーワードを登録するように構成してもよいし、ユーザが番組を視聴したときや、関連情報を検索したときに、番組名や関連情報からキーワードを抽出して、自動的に登録するように構成してもよい。   The preference keyword storage unit 131 may be configured to register a keyword specified by the user through the input unit 121. When the user views a program or searches for related information, the program name or related information is stored. A keyword may be extracted from and registered automatically.

検索履歴記憶部132は、ユーザが関連情報を検索したとき、その日時や検索内容、検索結果である関連情報を検索履歴として記憶する。図4は、検索履歴記憶部132の構造の一例を示す説明図である。同図に示すように、検索履歴記憶部132は、検索したユーザ、検索した日付、検索した時刻、検索対象とした番組のチャンネル、検索内容、検索結果である関連情報を格納している。   When the user searches for related information, the search history storage unit 132 stores the date and time, search contents, and related information as a search result as a search history. FIG. 4 is an explanatory diagram showing an example of the structure of the search history storage unit 132. As shown in the figure, the search history storage unit 132 stores a searched user, a searched date, a searched time, a program channel to be searched, search contents, and related information that is a search result.

同図においては、例えば、ユーザ“お父さん”が、2004年9月1日の19時41分53秒に放送されていた6チャンネルの番組の視聴中に関連情報の検索を要求し、その映像情報中に含まれる音声“インフィールドフライ”に関連する情報が検索され、検索の結果得られた情報が関連情報として格納された状態が示されている。なお、同図には図示していないが、音声認識の基となった音声が放送された開始時刻と終了時刻を保存する、または、音声認識の基となった音声そのものを保存するように構成してもよい。   In the figure, for example, a user “Dad” requests a search for related information while viewing a 6-channel program that was broadcast at 19:41:53 on September 1, 2004, and the video information. Information related to the speech “in-field fly” included therein is searched, and information obtained as a result of the search is stored as related information. Although not shown in the figure, it is configured to store the start time and end time at which the sound based on the voice recognition was broadcast, or to store the sound itself based on the voice recognition. May be.

なお、映像情報中の部分画像を基に検索した場合は、その部分画像の位置を示す情報を格納する。例えば、ある人物の部分画像を基に検索した場合は、その部分画像の左上座標(30、30)と、右上座標(100、200)とを検索内容欄に格納する。これにより、表示制御部123が、検索した関連情報と検索の基になった部分情報とを対応付けて表示部124に表示することが可能となる。   In addition, when searching based on the partial image in the video information, information indicating the position of the partial image is stored. For example, when searching based on a partial image of a certain person, the upper left coordinates (30, 30) and upper right coordinates (100, 200) of the partial image are stored in the search content column. Accordingly, the display control unit 123 can display the related information searched for and the partial information on which the search is based on the display unit 124 in association with each other.

映像情報記憶部140は、放送された映像を録画した映像情報などを記憶する。映像情報には、静止画像、動画像、音声、音楽、テキスト記述されたメタデータが含まれる。   The video information storage unit 140 stores video information that records the broadcast video. Video information includes still images, moving images, audio, music, and text-described metadata.

次に、このように構成された第1の実施の形態にかかる情報検索表示装置100による情報検索表示処理について説明する。図5は、第1の実施の形態にかかる情報検索表示装置100おいて、関連情報を検索し表示する処理の全体の流れを示すフローチャートである。   Next, an information search / display process performed by the information search / display apparatus 100 according to the first embodiment configured as described above will be described. FIG. 5 is a flowchart showing an overall flow of processing for searching for and displaying related information in the information search / display apparatus 100 according to the first embodiment.

まず、ユーザが入力部121から関連情報の検索要求を入力すると、検索要求取得部122が、入力部121から関連情報の検索要求を受付ける(ステップS501)。次に、関連情報検索部110により関連情報検索処理が実行され(ステップS502)、表示制御部123により、関連情報表示処理が実行される(ステップS503)。関連情報検索処理、関連情報表示処理の詳細については後述する。   First, when the user inputs a search request for related information from the input unit 121, the search request acquisition unit 122 receives the search request for related information from the input unit 121 (step S501). Next, related information search processing is executed by the related information search unit 110 (step S502), and related information display processing is executed by the display control unit 123 (step S503). Details of the related information search process and the related information display process will be described later.

図6は、図5において示したステップS502の関連情報検索処理の流れを示すフローチャートである。以下、関連情報検索処理の詳細について説明する。   FIG. 6 is a flowchart showing the flow of related information search processing in step S502 shown in FIG. Details of the related information search process will be described below.

まず、メタデータ取得部111が、検索が要求された映像情報から、当該映像情報に付与されているメタデータをテキストデータとして取得する(ステップS601)。次に、音声認識部112が、映像情報に含まれる音声を認識し、認識結果をテキストデータとして取得する(ステップS602)。音声認識の方法としては、音声を周波数分析し、単語辞書等を参照しながら音素認識、単語認識、文認識を行う方法など、一般的な音声認識のいずれにより構成してもよい。   First, the metadata acquisition unit 111 acquires metadata attached to the video information as text data from the video information requested to be searched (step S601). Next, the voice recognition unit 112 recognizes the voice included in the video information, and acquires the recognition result as text data (step S602). The speech recognition method may be configured by any of general speech recognition, such as a method of performing phoneme recognition, word recognition, and sentence recognition while performing frequency analysis of speech and referring to a word dictionary or the like.

次に、画像認識部113が、映像情報に含まれる人物、建物、テロップなどの部分画像を認識し、認識した部分画像の範囲とともに、認識結果をテキストデータとして取得する(ステップS603)。ここで、画像認識には、画像内に存在する物体が何であるかを認識するパターン認識と、画像内に存在する文字を認識する文字認識の両方を含む。画像認識の方法としては、最短距離法、相互相関法、フーリエ位相相関法などの一般的な画像認識方法のいずれにより構成してもよい。   Next, the image recognition unit 113 recognizes a partial image such as a person, a building, or a telop included in the video information, and acquires the recognition result as text data together with the recognized partial image range (step S603). Here, the image recognition includes both pattern recognition for recognizing what an object is in the image and character recognition for recognizing a character present in the image. As an image recognition method, any of general image recognition methods such as a shortest distance method, a cross-correlation method, and a Fourier phase correlation method may be used.

次に、検索キーワード生成部114が、メタデータ取得部111、音声認識部112、画像認識部113がそれぞれ取得したテキストデータを単語に分割し、検索に使用する検索キーワードを生成する(ステップS604)。例えば、一般的な形態素解析技術を適用し、テキストデータを形態素に分割し、自立語を抽出して検索キーワードとするように構成することができる。また、メタデータ取得部111、音声認識部112、画像認識部113が取得したテキストデータをそのまま検索キーワードとするように構成してもよい。なお、これは一例であり、関連情報を検索するために意味のある検索キーワードをテキストデータから抽出する方法であればあらゆる方法を適用することができる。   Next, the search keyword generation unit 114 divides the text data acquired by the metadata acquisition unit 111, the voice recognition unit 112, and the image recognition unit 113 into words, and generates a search keyword used for the search (step S604). . For example, it is possible to apply a general morphological analysis technique, divide text data into morphemes, extract independent words, and use as search keywords. Further, the text data acquired by the metadata acquisition unit 111, the voice recognition unit 112, and the image recognition unit 113 may be configured as a search keyword as it is. This is only an example, and any method can be applied as long as it is a method for extracting a meaningful search keyword from text data in order to search for related information.

次に、検索キーワード生成部114が生成した検索キーワードを指定して、検索部115が、インターネットに接続された検索システムに対して検索処理を実行する(ステップS605)。なお、検索の対象はインターネットに接続された検索システムに限るものではなく、あるキーワードに対する関連情報を取得できるものであれば、あらゆる情報格納手段を対象とすることができる。例えば、インターネット以外の通信回線により接続された検索システムや、ネットワークに接続され、様々な情報を格納した社内または社外のデータベースを検索の対象とするように構成してもよい。   Next, the search keyword generated by the search keyword generation unit 114 is specified, and the search unit 115 executes a search process for the search system connected to the Internet (step S605). The search target is not limited to the search system connected to the Internet, and any information storage means can be used as long as it can acquire related information for a certain keyword. For example, a search system connected by a communication line other than the Internet, or an in-house or external database connected to a network and storing various information may be searched.

次に、意味解析部116が、検索部115が検索した検索結果を受け取り、意味解析を行うことにより、それぞれの検索結果に含まれる単語に対して意味属性を付与する(ステップS606)。   Next, the semantic analysis unit 116 receives the search results searched by the search unit 115 and performs semantic analysis, thereby assigning semantic attributes to the words included in the respective search results (step S606).

例えば、「〇〇レストラン」という単語が得られた場合、それがグルメ番組における飲食する場所としての意味で利用されるのか、道案内のためのランドマークとして利用されるのかを単語だけでは区別できない。そこで、意味解析を実行し単語に詳細な属性を付与することにより、曖昧性を排除するとともに、よりユーザ嗜好に合致した関連情報を取得することができるようになる。意味解析は、自然言語処理における一般的な意味解析手法のいずれにより構成してもよい。   For example, when the word “OO restaurant” is obtained, it cannot be distinguished only by the word whether it is used as a place to eat or drink in a gourmet program or as a landmark for directions. . Therefore, by performing semantic analysis and assigning detailed attributes to words, it is possible to eliminate ambiguity and to acquire related information that more matches user preferences. The semantic analysis may be configured by any of the general semantic analysis methods in natural language processing.

次に、意味解析部116が意味属性を付与した関連情報の検索結果から、検索結果選択部117が、ユーザの視聴履歴、ユーザの嗜好、過去に検索された関連情報などのユーザに固有の情報であるユーザ嗜好情報を参照して、検索結果の選択を行う(ステップS607)。   Next, from the search result of the related information to which the semantic analysis unit 116 has added the semantic attribute, the search result selection unit 117 includes information unique to the user such as the user's viewing history, user's preference, and related information searched in the past. The search result is selected with reference to the user preference information (step S607).

ここで、検索結果の選択には、検索結果からユーザの嗜好に合わない検索結果を除外すること、およびユーザの嗜好に合致した情報を追加することを含む。例えば、検索結果に和食以外のレストランに関する情報が含まれる場合でも、嗜好キーワード記憶部131に格納された当該ユーザについての嗜好キーワードに“和食”が存在するときは、その和食以外のレストランの検索結果を削除する。また、例えば、ある人物の検索結果にその人物のプロフィールが存在しないが、検索履歴記憶部132に当該人物のプロフィールが格納されている場合は、そのプロフィールを検索結果として追加する。   Here, selection of the search result includes excluding a search result that does not match the user's preference from the search result, and adding information that matches the user's preference. For example, even when information related to restaurants other than Japanese food is included in the search results, when “Japanese food” is present in the preference keywords for the user stored in the preference keyword storage unit 131, the search results for restaurants other than the Japanese food Is deleted. Further, for example, when the profile of the person does not exist in the search result of a certain person but the profile of the person is stored in the search history storage unit 132, the profile is added as the search result.

次に、関連情報検索部110は、検索結果選択部117が選択した結果である関連情報を検索履歴記憶部132に格納するとともに、関連情報から形態素解析等により単語を抽出し、嗜好キーワード記憶部131に格納する(ステップS608)。これにより、後に再度検索要求を受けたときに、これらの情報を参照してユーザの嗜好にあった検索結果の選択をより高い精度で実行することができるようになる。   Next, the related information search unit 110 stores the related information, which is the result selected by the search result selection unit 117, in the search history storage unit 132, and extracts words from the related information by morphological analysis or the like, and the preference keyword storage unit It stores in 131 (step S608). As a result, when a search request is received again later, it becomes possible to refer to these pieces of information and select a search result that meets the user's preference with higher accuracy.

図7は、図5において示したステップS503の関連情報表示処理の流れを示すフローチャートである。以下、関連情報表示処理の詳細について説明する。   FIG. 7 is a flowchart showing the flow of related information display processing in step S503 shown in FIG. Details of the related information display process will be described below.

まず、表示制御部123が、検索結果である関連情報を読込むとともに(ステップS701)、検索対象となった映像情報を読込む(ステップS702)。次に、表示制御部123が、読込んだ映像情報に含まれる部分情報のうち、検索の基になった部分情報が明確になるように表示部124に表示する(ステップS703)。   First, the display control unit 123 reads related information that is a search result (step S701), and also reads video information that is a search target (step S702). Next, the display control unit 123 displays the partial information on the basis of the search from the partial information included in the read video information so that the partial information becomes clear (step S703).

例えば、人物、建物、テロップ等の画像については認識された部分画像を、メタデータについては検索に使用された検索キーワードを囲み表示する。このとき、検索履歴記憶部132に格納された部分画像の座標情報を利用することができる。音声については映像情報を音声認識した結果であるテキストデータを表示部124に表示した上で、そのテキストデータを囲み表示する。また、嗜好キーワードは映像情報に含まれる情報ではないが、検索結果の選択に使用された嗜好キーワードが存在する場合は、その嗜好キーワードを表示部124に表示する。なお、部分情報の表示方法はこれらに限られるものではなく、検索の基になった部分情報が明確になるように表示するものであればどのような表示方法であってもよい。   For example, a recognized partial image is displayed for an image such as a person, a building, or a telop, and a search keyword used for the search is displayed for metadata. At this time, the coordinate information of the partial image stored in the search history storage unit 132 can be used. For voice, text data that is a result of voice recognition of video information is displayed on the display unit 124, and then the text data is enclosed and displayed. In addition, although the preference keyword is not information included in the video information, when there is a preference keyword used for selecting the search result, the preference keyword is displayed on the display unit 124. Note that the display method of the partial information is not limited to these, and any display method may be used as long as the partial information that is the basis of the search is displayed clearly.

次に、表示制御部123が、ステップS701で読込んだ関連情報と、ステップS703で表示した部分情報とを対応付けて表示部124に表示する(ステップS704)。ここで、対応付けて表示するとは、検索結果の関連情報が、映像情報中のどの部分情報に基づいて検索されたものかが明確にわかるように情報を提示することをいう。   Next, the display control unit 123 displays the related information read in step S701 and the partial information displayed in step S703 in association with each other on the display unit 124 (step S704). Here, displaying in association means that information is presented so that the related information of the search result can be clearly understood based on which partial information in the video information is searched.

例えば、関連情報とその検索の基になった部分情報とを、線で結びつけることにより対応付けて表示する方法、同じ色の枠で囲むことにより対応付けて表示する方法、同一の符号を付すことにより対応付けて表示する方法、ポップアップ表示により対応付けて表示する方法などが該当する。また、情報の提示は画面に表示することに限られず、情報を音声により読み上げる方法であってもよい。なお、これらは一例であり、検索結果の関連情報が、映像情報中のどの部分情報に基づいて検索されたものかが明確にわかるように情報を提示する方法であればこれらに限られるものではない。   For example, the related information and the partial information on which the search is based are associated with each other by connecting with a line, the associated information is displayed by surrounding it with a frame of the same color, and the same code is attached. The method of displaying in association with each other, the method of displaying in association with pop-up display, and the like. In addition, the presentation of information is not limited to being displayed on the screen, and may be a method of reading information by voice. Note that these are examples, and the related information of the search result is not limited to these as long as the information is presented so that the partial information in the video information can be clearly identified. Absent.

次に、検索要求取得部122が、表示部124に表示中の関連情報について、さらに検索が要求されたか否かについて判断する(ステップS705)。検索が要求された場合は(ステップS705:YES)、関連情報検索部110が、関連情報検索処理を再度実行する(ステップS706)。検索が要求されない場合は(ステップS705:NO)、関連情報表示処理が終了する。   Next, the search request acquisition unit 122 determines whether or not a search is further requested for the related information displayed on the display unit 124 (step S705). When the search is requested (step S705: YES), the related information search unit 110 executes the related information search process again (step S706). When the search is not requested (step S705: NO), the related information display process ends.

図8は、第1の実施の形態にかかる情報検索表示装置100において、関連情報検索処理、関連情報表示処理の結果、表示部124に表示された関連情報表示画面800の一例を示した説明図である。   FIG. 8 is an explanatory diagram showing an example of the related information display screen 800 displayed on the display unit 124 as a result of the related information search process and the related information display process in the information search and display apparatus 100 according to the first embodiment. It is.

関連情報表示画面800の右側には、ユーザ番組を視聴中に検索要求を出した映像シーンのサムネイルが表示されている。このうちの1つのサムネイル801を選択すると、それに対応する映像シーンが関連情報表示画面800の中央に、その映像シーンに関して検索された関連情報820、821、822が、関連情報表示画面800の下側に表示されている。また、番組名、チャンネル、視聴日時などの番組情報は、関連情報表示画面800の左側に表示されている。番組に戻るボタン802を押下すると、通常の番組視聴画面に戻る。   On the right side of the related information display screen 800, a thumbnail of a video scene for which a search request is issued while viewing a user program is displayed. When one of the thumbnails 801 is selected, the corresponding video scene is displayed in the center of the related information display screen 800, and related information 820, 821, 822 searched for the video scene is displayed on the lower side of the related information display screen 800. Is displayed. Program information such as program name, channel, viewing date and time is displayed on the left side of the related information display screen 800. When a return to program button 802 is pressed, the screen returns to the normal program viewing screen.

同図に示す例では、画像認識が行われた部分画像810、811については当該部分画像が囲み表示により表示されている。また、映像情報には含まれないが、関連情報検索に使用された嗜好キーワード812が、映像シーンの下側に表示されている。同様に、映像情報に埋め込まれたメタデータが存在する場合は、映像シーンの周囲に表示される。   In the example shown in the figure, for partial images 810 and 811 that have undergone image recognition, the partial images are displayed in a boxed display. Also, although not included in the video information, the preference keyword 812 used for the related information search is displayed below the video scene. Similarly, when there is metadata embedded in the video information, it is displayed around the video scene.

検索結果である関連情報820、821は映像下部に表示され、それぞれ検索対象となった部分画像810、811と線で結んで表示することで対応付けが明示されている。レストランに関する情報である関連情報822は、ユーザ嗜好に合致するものが選択されたため、選択に使用された嗜好キーワード812と対応付けて表示されている。   Relevant information 820 and 821 as search results are displayed at the bottom of the video, and the correspondence is clearly shown by connecting the partial images 810 and 811 that are the search targets with lines. The related information 822, which is information related to the restaurant, is displayed in association with the preference keyword 812 used for selection since information that matches the user preference is selected.

このように、第1の実施の形態にかかる情報検索表示装置は、映像情報に基づいて検索した検索結果を、ユーザの嗜好に合わせて選択し、個々のユーザにとって有用な情報だけを画面に表示することができる。また、検索結果である関連情報と、検索の根拠となった映像情報中の部分情報を視覚的に対応付けて明確に表示することができる。これにより、映像情報に関してユーザごとに有用な情報のみを的確に把握することができる。   As described above, the information search and display apparatus according to the first embodiment selects the search result searched based on the video information according to the user's preference, and displays only information useful for each user on the screen. can do. In addition, the related information as the search result and the partial information in the video information that is the basis of the search can be clearly displayed in a visual association. Thereby, it is possible to accurately grasp only useful information for each user regarding the video information.

(第2の実施の形態)
第2の実施の形態にかかる情報検索表示装置は、映像情報から検索キーワードを抽出し、抽出したキーワードをユーザの嗜好に合わせて選別し、選別した検索キーワードにより映像情報中の部分情報に関連する情報を検索し、検索結果である関連情報と、検索の根拠となった部分情報を視覚的に明確に対応付けて画面に表示するものである。
(Second Embodiment)
The information search and display apparatus according to the second embodiment extracts a search keyword from video information, selects the extracted keyword according to the user's preference, and relates to partial information in the video information by the selected search keyword. Information is searched, and related information that is a search result and partial information that is the basis of the search are visually and clearly associated with each other and displayed on the screen.

図9は、第2の実施の形態にかかる情報検索表示装置900の構成を示すブロック図である。同図に示すように、情報検索表示装置900は、関連情報検索部910と、入力部121と、検索要求取得部122と、表示制御部123と、表示部124とを備えている。また、第2の実施の形態にかかる情報検索表示装置900は、HDDに視聴履歴記憶部130と、嗜好キーワード記憶部131と、検索履歴記憶部132と、映像情報記憶部140とを備えている。   FIG. 9 is a block diagram showing a configuration of an information search / display apparatus 900 according to the second embodiment. As shown in the figure, the information search and display device 900 includes a related information search unit 910, an input unit 121, a search request acquisition unit 122, a display control unit 123, and a display unit 124. The information search and display device 900 according to the second embodiment includes a viewing history storage unit 130, a preference keyword storage unit 131, a search history storage unit 132, and a video information storage unit 140 in the HDD. .

関連情報検索部910は、メタデータ取得部111と、音声認識部112と、画像認識部113と、検索キーワード生成部114と、検索部115と、意味解析部116と、検索キーワード選択部911とを備えている。   The related information search unit 910 includes a metadata acquisition unit 111, a voice recognition unit 112, an image recognition unit 113, a search keyword generation unit 114, a search unit 115, a semantic analysis unit 116, and a search keyword selection unit 911. It has.

図9に示すように、第2の実施の形態においては、関連情報検索部910に、検索結果選択部117に代えて検索キーワード選択部911を追加したことが第1の実施の形態と異なっている。その他の構成および機能は、第1の実施の形態にかかる構成を表すブロック図である図1と同様であるので、同一符号を付し、ここでの説明は省略する。   As shown in FIG. 9, in the second embodiment, a search keyword selection unit 911 is added to the related information search unit 910 instead of the search result selection unit 117, unlike the first embodiment. Yes. Other configurations and functions are the same as those in FIG. 1, which is a block diagram showing the configuration according to the first embodiment, and thus are denoted by the same reference numerals and description thereof is omitted here.

検索キーワード選択部911は、検索キーワード生成部114が生成した検索キーワードから、視聴履歴記憶部130、嗜好キーワード記憶部131、検索履歴記憶部132に記憶されているユーザ嗜好情報を参照してユーザ嗜好情報に関連する検索キーワードを選択する。   The search keyword selection unit 911 refers to the user preference information stored in the viewing history storage unit 130, the preference keyword storage unit 131, and the search history storage unit 132 from the search keywords generated by the search keyword generation unit 114. Select search keywords related to information.

このように、第1の実施の形態にかかる情報検索表示装置100においては、検索結果選択部117が、検索結果をユーザの嗜好に合わせて選別したのに対し、第2の実施の形態にかかる情報検索表示装置900においては、検索キーワードを生成した後、検索を実行する前に、検索キーワードをユーザの嗜好に合わせて選別することにより、個々のユーザに対し有用な関連情報のみを検索する点が異なっている。   As described above, in the information search and display apparatus 100 according to the first embodiment, the search result selection unit 117 selects the search results according to the user's preference, but according to the second embodiment. In the information search and display device 900, after generating a search keyword and before executing the search, the search keyword is selected according to the user's preference to search only relevant information useful for each user. Are different.

次に、このように構成された第2の実施の形態にかかる情報検索表示装置900による関連情報検索処理について説明する。なお、関連情報を検索し表示する処理の全体の流れは、第1の実施の形態にかかる情報検索表示装置100におけるフローチャートである図5と同様であるので、その説明を省略する。また、関連情報表示処理の流れは、第1の実施の形態にかかる情報検索表示装置100におけるフローチャートである図7と同様であるので、その説明を省略する。   Next, a related information search process performed by the information search and display apparatus 900 according to the second embodiment configured as described above will be described. Note that the overall flow of the process of searching for and displaying related information is the same as that in FIG. 5 which is the flowchart of the information search and display apparatus 100 according to the first embodiment, and a description thereof will be omitted. Further, since the flow of the related information display process is the same as that in FIG. 7 which is the flowchart in the information search / display apparatus 100 according to the first embodiment, the description thereof is omitted.

図10は、第2の実施の形態にかかる情報検索表示装置900における関連情報検索処理の流れを示すフローチャートである。   FIG. 10 is a flowchart illustrating a flow of related information search processing in the information search and display apparatus 900 according to the second embodiment.

ステップS1001からステップS1004までの、メタデータ取得処理、音声・画像認識処理、検索キーワード生成処理は、第1の実施の形態にかかる情報検索表示装置100におけるステップS601からステップS604までと同様の処理なので、その説明を省略する。   The metadata acquisition processing, voice / image recognition processing, and search keyword generation processing from step S1001 to step S1004 are the same as the processing from step S601 to step S604 in the information search and display apparatus 100 according to the first embodiment. The description is omitted.

検索キーワード生成部114が検索キーワードを生成した後、検索キーワード選択部911が、ユーザの視聴履歴、ユーザの嗜好、過去に検索された関連情報などのユーザに固有の情報であるユーザ嗜好情報を参照して、検索キーワードの選択を行う(ステップS1005)。   After the search keyword generation unit 114 generates the search keyword, the search keyword selection unit 911 refers to user preference information which is information unique to the user, such as user viewing history, user preference, and related information searched in the past. Then, the search keyword is selected (step S1005).

ここで、検索キーワードの選択には、検索キーワードからユーザの嗜好に合わないキーワードを除外すること、およびユーザの嗜好を表す情報を検索キーワードとして追加することを含む。例えば、検索キーワード生成部114が生成した検索キーワードに“野球”というキーワードが存在する場合でも、嗜好キーワード記憶部131に格納された当該ユーザについての嗜好キーワードの番組ジャンルに“野球”が存在しない場合は、その検索キーワードを削除する。また、例えば、検索キーワード生成部114が生成した検索キーワードに“レストラン”というキーワードが存在し、ユーザの嗜好キーワードに“和食”が存在した場合は、“和食”を検索キーワードとして追加する。   Here, selection of a search keyword includes excluding a keyword that does not match the user's preference from the search keyword and adding information representing the user's preference as a search keyword. For example, even when the keyword “baseball” exists in the search keyword generated by the search keyword generation unit 114, “baseball” does not exist in the program genre of the preference keyword for the user stored in the preference keyword storage unit 131. Deletes the search keyword. For example, if the keyword “restaurant” exists in the search keyword generated by the search keyword generation unit 114 and “Japanese food” exists in the user's preference keyword, “Japanese food” is added as the search keyword.

次に、検索キーワード選択部911が選択した検索キーワードを指定して、検索部115が、インターネットに対して検索処理を実行する(ステップS1006)。さらに、意味解析部116が、検索部115が検索した検索結果を受け取り、それぞれの検索結果に含まれる単語に対して意味属性を付与する(ステップS1007)。最後に、関連情報検索部110は、関連情報を検索履歴記憶部132に格納するとともに、関連情報から形態素解析等により単語を抽出し、嗜好キーワード記憶部131に格納する(ステップS1008)。   Next, the search keyword selected by the search keyword selection unit 911 is designated, and the search unit 115 executes a search process on the Internet (step S1006). Further, the semantic analysis unit 116 receives the search results searched by the search unit 115, and assigns semantic attributes to the words included in the respective search results (step S1007). Finally, the related information search unit 110 stores the related information in the search history storage unit 132, extracts a word from the related information by morphological analysis or the like, and stores it in the preference keyword storage unit 131 (step S1008).

なお、第1の実施の形態にかかる情報検索表示装置100と同様、検索の対象はインターネットに接続された検索システムに限るものではなく、あるキーワードに対する関連情報を取得できるものであれば、あらゆる情報格納手段を対象とすることができる。   Similar to the information search and display apparatus 100 according to the first embodiment, the search target is not limited to the search system connected to the Internet, and any information can be used as long as it can acquire related information for a certain keyword. Storage means can be targeted.

このように、第2の実施の形態にかかる情報検索表示装置は、ユーザの嗜好に合わせて選択した有用な検索キーワードだけを使用して関連情報を検索し、検索結果の関連情報を画面に表示することができる。これにより、検索処理および検索結果の選択処理の負荷軽減を図ることができる。   As described above, the information search and display apparatus according to the second embodiment searches related information using only useful search keywords selected according to the user's preference, and displays related information of the search result on the screen. can do. Thereby, it is possible to reduce the load of the search process and the search result selection process.

第1および第2の実施の形態にかかる情報検索表示装置は、CPUなどの制御装置と、ROM(Read Only Memory)やRAMなどの記憶装置と、HDDなどの外部記憶装置と、ディスプレイ装置などの表示装置と、リモコンなどの入力装置と、テレビ受信装置とを備えた、一般的なデジタルテレビに適用することができる。   The information search and display device according to the first and second embodiments includes a control device such as a CPU, a storage device such as a ROM (Read Only Memory) and a RAM, an external storage device such as an HDD, a display device, and the like. The present invention can be applied to a general digital television provided with a display device, an input device such as a remote controller, and a television receiver.

また、第1および第2の実施の形態にかかる情報検索表示装置は、CPUなどの制御装置と、ROMやRAMなどの記憶装置と、HDD、CDドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えた、通常のコンピュータを利用したハードウェア構成とすることもできる。   The information search and display device according to the first and second embodiments includes a control device such as a CPU, a storage device such as a ROM and a RAM, an external storage device such as an HDD and a CD drive device, a display device, and the like. It is also possible to adopt a hardware configuration using a normal computer that includes the display device and an input device such as a keyboard and a mouse.

第1および第2の実施の形態にかかる情報検索表示装置で実行される情報検索表示プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。   The information search and display program executed by the information search and display apparatus according to the first and second embodiments is a file in an installable format or an executable format, and is a CD-ROM, a flexible disk (FD), a CD-R. And recorded on a computer-readable recording medium such as a DVD (Digital Versatile Disk).

また、第1および第2の実施の形態にかかる情報検索表示装置で実行される情報検索表示プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第1および第2の実施の形態にかかる情報検索表示装置で実行される情報検索表示プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。   In addition, the information search and display program executed by the information search and display apparatus according to the first and second embodiments is provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. You may comprise as follows. The information search / display program executed by the information search / display apparatus according to the first and second embodiments may be provided or distributed via a network such as the Internet.

また、第1および第2の実施の形態の情報検索表示プログラムを、ROM等に予め組み込んで提供するように構成してもよい。   In addition, the information search and display programs of the first and second embodiments may be provided by being incorporated in advance in a ROM or the like.

第1および第2の実施の形態にかかる情報検索表示装置で実行される情報検索表示プログラムは、上述した各部(検索要求取得部、表示制御部、関連情報検索部、メタデータ取得部、音声認識部、画像認識部、検索キーワード生成部、検索部、意味解析部、検索結果選択部、検索キーワード選択部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から情報検索表示プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、検索要求取得部、表示制御部、関連情報検索部、メタデータ取得部、音声認識部、画像認識部、検索キーワード生成部、検索部、意味解析部、検索結果選択部、検索キーワード選択部が主記憶装置上に生成されるようになっている。   The information search / display program executed by the information search / display apparatus according to the first and second embodiments includes the above-described units (search request acquisition unit, display control unit, related information search unit, metadata acquisition unit, voice recognition). Module, image recognition unit, search keyword generation unit, search unit, semantic analysis unit, search result selection unit, search keyword selection unit), and CPU (processor) stores the above as actual hardware By reading and executing an information search / display program from the medium, the above-described units are loaded onto the main storage device, and a search request acquisition unit, a display control unit, a related information search unit, a metadata acquisition unit, a voice recognition unit, an image recognition unit A search keyword generation unit, a search unit, a semantic analysis unit, a search result selection unit, and a search keyword selection unit are generated on the main storage device.

以上のように、本発明にかかる情報検索表示装置、情報検索表示方法および情報検索表示プログラムは、映像情報を表示し、ユーザが映像視聴中または視聴後に映像情報に関連する情報を検索および表示する情報検索表示システムに適している。   As described above, the information search / display apparatus, the information search / display method, and the information search / display program according to the present invention display video information, and search and display information related to the video information while the user is viewing or after viewing the video. Suitable for information retrieval display system.

第1の実施の形態にかかる情報検索表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information search display apparatus concerning 1st Embodiment. 視聴履歴記憶部の構造の一例を示す説明図である。It is explanatory drawing which shows an example of the structure of a viewing history memory | storage part. 嗜好キーワード記憶部の構造の一例を示す説明図である。It is explanatory drawing which shows an example of the structure of a preference keyword memory | storage part. 関連情報記憶部の構造の一例を示す説明図である。It is explanatory drawing which shows an example of the structure of a related information storage part. 第1の実施の形態にかかる情報検索表示装置における関連情報を検索し表示する処理の全体の流れを示すフローチャートである。It is a flowchart which shows the flow of the whole process which searches and displays the relevant information in the information search display apparatus concerning 1st Embodiment. 第1の実施の形態にかかる情報検索表示装置における関連情報検索処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the related information search process in the information search display apparatus concerning 1st Embodiment. 第1の実施の形態にかかる情報検索表示装置における関連情報表示処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the related information display process in the information search display apparatus concerning 1st Embodiment. 関連情報表示画面の一例を示す説明図である。It is explanatory drawing which shows an example of a related information display screen. 第2の実施の形態にかかる情報検索表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information search display apparatus concerning 2nd Embodiment. 第2の実施の形態にかかる情報検索表示装置における関連情報検索処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the related information search process in the information search display apparatus concerning 2nd Embodiment.

符号の説明Explanation of symbols

100 情報検索表示装置
101 インターネット
110 関連情報検索部
111 メタデータ取得部
112 音声認識部
113 画像認識部
114 検索キーワード生成部
115 検索部
116 意味解析部
117 検索結果選択部
121 入力部
122 検索要求取得部
123 表示制御部
124 表示部
130 視聴履歴記憶部
131 嗜好キーワード記憶部
132 検索履歴記憶部
140 映像情報記憶部
800 関連情報表示画面
801 サムネイル
802 番組に戻るボタン
810、811 部分画像
812 嗜好キーワード
820、821、822 関連情報
900 情報検索表示装置
910 関連情報検索部
911 検索キーワード選択部
DESCRIPTION OF SYMBOLS 100 Information search display apparatus 101 Internet 110 Related information search part 111 Metadata acquisition part 112 Voice recognition part 113 Image recognition part 114 Search keyword production | generation part 115 Search part 116 Semantic analysis part 117 Search result selection part 121 Input part 122 Search request acquisition part 123 Display control unit 124 Display unit 130 Viewing history storage unit 131 Preference keyword storage unit 132 Search history storage unit 140 Video information storage unit 800 Related information display screen 801 Thumbnail 802 Return to program button 810, 811 Partial image 812 Preference keyword 820, 821 , 822 Related information 900 Information search display device 910 Related information search unit 911 Search keyword selection unit

Claims (12)

映像情報に関連する情報の検索および表示を行う情報検索表示装置において、
前記映像情報や前記映像情報に関連する情報をユーザに対して表示する表示手段と、
ユーザの嗜好に関する情報であるユーザ嗜好情報を記憶したユーザ嗜好情報記憶手段と、
前記ユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記映像情報の一部である部分情報および前記ユーザ嗜好情報に関連する情報である関連情報を検索する関連情報検索手段と、
前記関連情報検索手段が検索した前記関連情報と前記映像情報とを前記表示手段に表示する表示制御手段と、
を備えたことを特徴とする情報検索表示装置。
In an information search and display device for searching and displaying information related to video information,
Display means for displaying to the user the video information and information related to the video information;
User preference information storage means for storing user preference information which is information relating to user preferences;
Based on the user preference information stored in the user preference information storage means, related information search means for searching for partial information that is part of the video information and related information that is information related to the user preference information;
Display control means for displaying the related information and the video information searched by the related information search means on the display means;
An information search and display device comprising:
前記関連情報検索手段は、
前記部分情報から検索キーワードを生成する検索キーワード生成手段と、
前記検索キーワード生成手段が生成した前記検索キーワードを使用して前記部分情報に関連する情報である映像関連情報を検索する検索手段と、
前記検索手段が検索した前記映像関連情報から、前記ユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記関連情報を選択する検索結果選択手段と、
を備えたことを特徴とする請求項1に記載の情報検索表示装置。
The related information search means includes
Search keyword generating means for generating a search keyword from the partial information;
Search means for searching for video related information which is information related to the partial information using the search keyword generated by the search keyword generating means;
Search result selection means for selecting the related information from the video related information searched by the search means based on the user preference information stored in the user preference information storage means;
The information search / display apparatus according to claim 1, further comprising:
前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザの前記映像情報の視聴履歴を記憶し、
前記検索結果選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記視聴履歴に基づいて前記関連情報を選択することを特徴とする請求項2に記載の情報検索表示装置。
The user preference information storage means stores a viewing history of the video information of the user as the user preference information,
3. The information search and display device according to claim 2, wherein the search result selection means selects the related information based on the viewing history stored in the user preference information storage means.
前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザの嗜好を表すキーワードである嗜好キーワードを記憶し、
前記検索結果選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記嗜好キーワードに基づいて前記関連情報を選択することを特徴とする請求項2に記載の情報検索表示装置。
The user preference information storage means stores a preference keyword that is a keyword representing a user preference as the user preference information,
The information search / display apparatus according to claim 2, wherein the search result selection unit selects the related information based on the preference keyword stored in the user preference information storage unit.
前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザが前記関連情報を検索した履歴である検索履歴を記憶し、
前記検索結果選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記検索履歴に基づいて前記関連情報を選択することを特徴とする請求項2に記載の情報検索表示装置。
The user preference information storage means stores a search history that is a history of a user searching for the related information as the user preference information,
The information search and display device according to claim 2, wherein the search result selection means selects the related information based on the search history stored in the user preference information storage means.
前記関連情報検索手段は、
前記部分情報から検索キーワードを生成する検索キーワード生成手段と、
前記検索キーワード生成手段が生成した前記検索キーワードから、前記ユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記ユーザ嗜好情報に関連する検索キーワードであるユーザ嗜好関連検索キーワードを選択する検索キーワード選択手段と、
前記キーワード選択手段が選択した前記ユーザ嗜好関連検索キーワードを使用して前記関連情報を検索する検索手段と、
を備えたことを特徴とする請求項1に記載の情報検索表示装置。
The related information search means includes
Search keyword generating means for generating a search keyword from the partial information;
Based on the user preference information stored in the user preference information storage unit, a user preference related search keyword that is a search keyword related to the user preference information is selected from the search keyword generated by the search keyword generation unit. Search keyword selection means,
Search means for searching for the related information using the user preference related search keyword selected by the keyword selection means;
The information search and display device according to claim 1, further comprising:
前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザの前記映像情報の視聴履歴を記憶し、
前記検索キーワード選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記視聴履歴に基づいて前記ユーザ嗜好関連検索キーワードを選択することを特徴とする請求項6に記載の情報検索表示装置。
The user preference information storage means stores a viewing history of the video information of the user as the user preference information,
The information search and display device according to claim 6, wherein the search keyword selection unit selects the user preference related search keyword based on the viewing history stored in the user preference information storage unit.
前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザの嗜好を表すキーワードである嗜好キーワードを記憶し、
前記検索キーワード選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記嗜好キーワードに基づいて前記ユーザ嗜好関連検索キーワードを選択することを特徴とする請求項6に記載の情報検索表示装置。
The user preference information storage means stores a preference keyword that is a keyword representing a user preference as the user preference information,
The information search display device according to claim 6, wherein the search keyword selection unit selects the user preference related search keyword based on the preference keyword stored in the user preference information storage unit.
前記ユーザ嗜好情報記憶手段は、前記ユーザ嗜好情報としてユーザが前記関連情報を検索した履歴である検索履歴を記憶し、
前記検索キーワード選択手段は、前記ユーザ嗜好情報記憶手段に記憶された前記検索履歴に基づいて前記ユーザ嗜好関連検索キーワードを選択することを特徴とする請求項6に記載の情報検索表示装置。
The user preference information storage means stores a search history that is a history of a user searching for the related information as the user preference information,
The information search display device according to claim 6, wherein the search keyword selection unit selects the user preference related search keyword based on the search history stored in the user preference information storage unit.
前記ユーザ嗜好情報記憶手段は、前記部分情報に基づいて検索された前記関連情報と前記部分情報とを対応付けて記憶し、
前記表示制御手段は、前記ユーザ嗜好情報記憶手段に記憶された前記関連情報と前記部分情報との対応付けに基づき、前記関連情報と前記部分情報とを対応付けて前記表示手段に表示することを特徴とする請求項1〜9のいずれか1つに記載の情報検索表示装置。
The user preference information storage means stores the related information searched based on the partial information in association with the partial information,
The display control means associates and displays the related information and the partial information on the display means based on the association between the related information and the partial information stored in the user preference information storage means. The information search and display device according to claim 1, wherein the information search and display device is a display device.
映像情報に関連する情報の検索および表示を行う情報検索表示方法において、
ユーザの嗜好に関する情報であるユーザ嗜好情報を記憶したユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記映像情報の一部である部分情報および前記ユーザ嗜好情報に関連する情報である関連情報を検索する関連情報検索ステップと、
前記関連情報検索ステップが検索した前記関連情報と前記映像情報とを前記映像情報や前記映像情報に関連する情報をユーザに対して表示する表示手段に表示する表示制御ステップと、
を備えたことを特徴とする情報検索表示方法。
In an information search and display method for searching and displaying information related to video information,
Based on the user preference information stored in the user preference information storage means that stores user preference information that is information related to the user's preference, the partial information that is a part of the video information and the information related to the user preference information A related information search step for searching for related information;
A display control step of displaying the related information and the video information searched by the related information search step on display means for displaying the video information and information related to the video information to a user;
An information search and display method characterized by comprising:
映像情報に関連する情報の検索および表示を行う情報検索表示プログラムにおいて、
ユーザの嗜好に関する情報であるユーザ嗜好情報を記憶したユーザ嗜好情報記憶手段に記憶された前記ユーザ嗜好情報に基づいて、前記映像情報の一部である部分情報および前記ユーザ嗜好情報に関連する情報である関連情報を検索する関連情報検索手順と、
前記関連情報検索手順が検索した前記関連情報と前記映像情報とを前記映像情報や前記映像情報に関連する情報をユーザに対して表示する表示手段に表示する表示制御手順と、
をコンピュータに実行させる情報検索表示プログラム。
In an information search and display program for searching and displaying information related to video information,
Based on the user preference information stored in the user preference information storage means that stores user preference information that is information related to the user's preference, the partial information that is a part of the video information and the information related to the user preference information Related information search procedure for searching for related information;
A display control procedure for displaying the related information and the video information searched by the related information search procedure on display means for displaying the video information and information related to the video information to a user;
Information display program that causes a computer to execute
JP2004374948A 2004-12-24 2004-12-24 Information retrieval display apparatus, information retrieval display method, and information retrieval display program Pending JP2006186426A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004374948A JP2006186426A (en) 2004-12-24 2004-12-24 Information retrieval display apparatus, information retrieval display method, and information retrieval display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004374948A JP2006186426A (en) 2004-12-24 2004-12-24 Information retrieval display apparatus, information retrieval display method, and information retrieval display program

Publications (1)

Publication Number Publication Date
JP2006186426A true JP2006186426A (en) 2006-07-13

Family

ID=36739233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004374948A Pending JP2006186426A (en) 2004-12-24 2004-12-24 Information retrieval display apparatus, information retrieval display method, and information retrieval display program

Country Status (1)

Country Link
JP (1) JP2006186426A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276737A (en) * 2007-04-25 2008-11-13 Samsung Electronics Co Ltd Method and system for providing access to information of user's potential interest
JP2009140306A (en) * 2007-12-07 2009-06-25 Toshiba Corp Information providing server and method of providing information
JP2009157460A (en) * 2007-12-25 2009-07-16 Hitachi Ltd Information presentation device and method
JP2010278945A (en) * 2009-06-01 2010-12-09 Mitsubishi Electric Corp Information processor
JP2011002982A (en) * 2009-06-18 2011-01-06 Yahoo Japan Corp Content providing device, content providing method and content providing program
US7876381B2 (en) 2008-06-30 2011-01-25 Kabushiki Kaisha Toshiba Telop collecting apparatus and telop collecting method
JP2012049670A (en) * 2010-08-25 2012-03-08 Fuji Xerox Co Ltd Image reproduction device and video reproduction program
JP2013029973A (en) * 2011-07-28 2013-02-07 Nippon Hoso Kyokai <Nhk> Recommended program presentation device and program therefor
JP2013145435A (en) * 2012-01-13 2013-07-25 Nec Access Technica Ltd Content acquisition system, content acquisition method, gateway device, and computer program
US8782056B2 (en) 2007-01-29 2014-07-15 Samsung Electronics Co., Ltd. Method and system for facilitating information searching on electronic devices
KR101472931B1 (en) * 2007-02-28 2014-12-15 삼성전자주식회사 Method and device for extracting information from content metadata
JP2015522892A (en) * 2012-08-24 2015-08-06 騰訊科技(深▲セン▼)有限公司Tencent Technology(Shenzhen)Company Limited Multimedia information retrieval method and electronic device
JP2015228110A (en) * 2014-05-30 2015-12-17 株式会社トヨタマップマスター Item retrieval system and method therefor, computer program for retrieving item, and recording medium in which computer program is recorded
US9286385B2 (en) 2007-04-25 2016-03-15 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
JP2019074949A (en) * 2017-10-17 2019-05-16 株式会社Nttドコモ Retrieval device and program

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8782056B2 (en) 2007-01-29 2014-07-15 Samsung Electronics Co., Ltd. Method and system for facilitating information searching on electronic devices
KR101472931B1 (en) * 2007-02-28 2014-12-15 삼성전자주식회사 Method and device for extracting information from content metadata
JP2008276737A (en) * 2007-04-25 2008-11-13 Samsung Electronics Co Ltd Method and system for providing access to information of user's potential interest
US9286385B2 (en) 2007-04-25 2016-03-15 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
JP2009140306A (en) * 2007-12-07 2009-06-25 Toshiba Corp Information providing server and method of providing information
JP2009157460A (en) * 2007-12-25 2009-07-16 Hitachi Ltd Information presentation device and method
US7876381B2 (en) 2008-06-30 2011-01-25 Kabushiki Kaisha Toshiba Telop collecting apparatus and telop collecting method
JP2010278945A (en) * 2009-06-01 2010-12-09 Mitsubishi Electric Corp Information processor
JP2011002982A (en) * 2009-06-18 2011-01-06 Yahoo Japan Corp Content providing device, content providing method and content providing program
JP2012049670A (en) * 2010-08-25 2012-03-08 Fuji Xerox Co Ltd Image reproduction device and video reproduction program
JP2013029973A (en) * 2011-07-28 2013-02-07 Nippon Hoso Kyokai <Nhk> Recommended program presentation device and program therefor
JP2013145435A (en) * 2012-01-13 2013-07-25 Nec Access Technica Ltd Content acquisition system, content acquisition method, gateway device, and computer program
JP2015522892A (en) * 2012-08-24 2015-08-06 騰訊科技(深▲セン▼)有限公司Tencent Technology(Shenzhen)Company Limited Multimedia information retrieval method and electronic device
JP2015228110A (en) * 2014-05-30 2015-12-17 株式会社トヨタマップマスター Item retrieval system and method therefor, computer program for retrieving item, and recording medium in which computer program is recorded
JP2019074949A (en) * 2017-10-17 2019-05-16 株式会社Nttドコモ Retrieval device and program

Similar Documents

Publication Publication Date Title
JP5178109B2 (en) Search device, method and program
JP4910582B2 (en) Information processing apparatus and method, and program
KR101644789B1 (en) Apparatus and Method for providing information related to broadcasting program
JP5171718B2 (en) Content recommendation device, method, and program
JP4550725B2 (en) Video viewing support system
US7904452B2 (en) Information providing server, information providing method, and information providing system
US20060004871A1 (en) Multimedia data reproducing apparatus and multimedia data reproducing method and computer-readable medium therefor
JP2006186426A (en) Information retrieval display apparatus, information retrieval display method, and information retrieval display program
JPWO2005029353A1 (en) Annotation management system, annotation management method, document conversion server, document conversion program, electronic document addition program
JP4487018B2 (en) Related scene assigning apparatus and related scene assigning method
JP6337183B1 (en) Text extraction device, comment posting device, comment posting support device, playback terminal, and context vector calculation device
US8397263B2 (en) Information processing apparatus, information processing method and information processing program
JP2006345376A (en) Display method
KR20030007727A (en) Automatic video retriever genie
JP4734048B2 (en) Information search device, information search method, and information search program
US20060085416A1 (en) Information reading method and information reading device
JP2009069875A (en) Content retrieval device, content retrieval method, program and recording medium
JP2019008779A (en) Text extraction apparatus, comment posting apparatus, comment posting support apparatus, reproduction terminal, and context vector calculation apparatus
JP2006343941A (en) Content retrieval/reproduction method, device, program, and recording medium
US20080016068A1 (en) Media-personality information search system, media-personality information acquiring apparatus, media-personality information search apparatus, and method and program therefor
JP2007199315A (en) Content providing apparatus
JP2001028010A (en) System and method for automatic multimedia contents extraction
JP4120597B2 (en) Partial content creation method, apparatus and program
JP2005202485A (en) Video presenting device
JP2006195900A (en) Multimedia content generation device and method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090512