JP2007018068A - Device, method, and program for retrieving information - Google Patents

Device, method, and program for retrieving information Download PDF

Info

Publication number
JP2007018068A
JP2007018068A JP2005196257A JP2005196257A JP2007018068A JP 2007018068 A JP2007018068 A JP 2007018068A JP 2005196257 A JP2005196257 A JP 2005196257A JP 2005196257 A JP2005196257 A JP 2005196257A JP 2007018068 A JP2007018068 A JP 2007018068A
Authority
JP
Japan
Prior art keywords
search keyword
search
information
word
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005196257A
Other languages
Japanese (ja)
Other versions
JP4734048B2 (en
Inventor
Masayuki Okamoto
昌之 岡本
Masanori Hattori
正典 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005196257A priority Critical patent/JP4734048B2/en
Publication of JP2007018068A publication Critical patent/JP2007018068A/en
Application granted granted Critical
Publication of JP4734048B2 publication Critical patent/JP4734048B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information retrieving device including a retrieval keyword extracted from information acquired after requesting retrieval for retrieval. <P>SOLUTION: The information retrieval device comprises a retrieval keyword reception section 116 for receiving the input of the retrieval keyword; a retrieval keyword storage section 144 for storing the received retrieval keywords; a retrieval keyword monitoring section 118 for monitoring whether information being reproduced includes a word coinciding with the retrieval keyword stored in the retrieval keyword storage section 144; a peripheral word extraction section 119 for extracting a word included in a preset range near the word coinciding with the retrieval keyword in the information being reproduced as a peripheral word, when it is determined that the word coinciding with the retrieval keyword is included in the information being reproduced; and a retrieval section 122 for retrieving the information with the retrieval keyword stored in the retrieval keyword storage section 144 and the peripheral word extracted by the peripheral word extraction section 119 as a retrieval key. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、映像視聴中に関連情報を検索する情報検索装置、情報検索方法および情報検索プログラムに関するものである。   The present invention relates to an information search apparatus, an information search method, and an information search program for searching for related information during video viewing.

近年、テレビ視聴支援の一機能として、番組内の特定のシーンや特定のコンテンツを検索する機能や、番組を構成する特定のシーンや特定のコンテンツだけでなく、直接番組を構成する映像情報内には含まれない映像情報の関連情報を、インターネットなどの情報源から広く検索する機能が求められている。   In recent years, as a TV viewing support function, a function for searching for a specific scene or specific content in a program, a specific scene or specific content constituting a program, or a video information directly constituting a program. There is a demand for a function for widely searching related information of video information not included in information sources such as the Internet.

関連情報を検索する技術として、与えられた検索条件に適合するコンテンツを含む情報提供サーバを検索し、当該情報提供サーバで情報が追加・更新されたときに通知を受けることにより広く情報を検索する方法や、分散して存在する情報提供サーバに対して検索キーを同時に通知し、広く検索結果を取得する方法が開発されている。   As a technology for searching for related information, search for information providing servers that include content that meets the given search conditions, and search for information widely by receiving notifications when information is added or updated on the information providing server. A method and a method for simultaneously obtaining a search result by simultaneously notifying a search key to distributed information providing servers have been developed.

また、多数の単語を含む文書を基に情報を検索する際に、抽象的なキーワード(例えば、商品)と、検索する属性(例えば、価格)とを指定し、当該文書に含まれる単語のうちキーワードに適合する単語すべてを用いて検索キーを作成して情報を検索することにより、一度の検索要求で関連する情報を幅広く取得する技術が提案されている(例えば、特許文献1)。   Further, when searching for information based on a document including a large number of words, an abstract keyword (for example, a product) and an attribute to be searched (for example, a price) are specified, and among the words included in the document A technique has been proposed in which a wide range of related information is acquired with a single search request by creating a search key using all words that match a keyword and searching for information (for example, Patent Document 1).

特開2005−11149号公報JP 2005-11149 A

しかしながら、特許文献1の方法では、検索要求を入力した時点で得られる情報のみに基づいて検索条件を作成し、検索を実行しているため、検索要求後に得られる情報から検索キーワードを取得することができないという問題があった。   However, in the method of Patent Document 1, a search condition is created based on only information obtained at the time when a search request is input, and the search is executed. Therefore, a search keyword is acquired from information obtained after the search request. There was a problem that could not.

例えば、テレビ番組視聴中に利用者が関連情報の検索を要求した場合は、検索要求時点に再生されている音声やテキストからは適切な検索キーワードが得られず、その後に再生される映像に含まれる情報から適切な検索キーワードが補完されることが多いが、このような後から補足される情報を考慮して検索条件を作成し、情報を検索することができないという問題があった。   For example, when a user requests a search for related information while watching a TV program, an appropriate search keyword cannot be obtained from the audio or text being played back at the time of the search request, and is included in the video that is played later In many cases, an appropriate search keyword is supplemented from the information to be retrieved. However, there is a problem in that it is impossible to search for information by creating a search condition in consideration of the information supplemented later.

本発明は、上記に鑑みてなされたものであって、検索要求後に取得される情報から抽出した検索キーワードを含めた検索条件により検索を実行することができる情報検索装置、情報検索方法および情報検索プログラムを提供することを目的とする。   The present invention has been made in view of the above, and an information search apparatus, an information search method, and an information search that can execute a search according to a search condition including a search keyword extracted from information acquired after a search request The purpose is to provide a program.

上述した課題を解決し、目的を達成するために、本発明は、情報検索装置おいて、検索キーワードの入力を受付ける検索キーワード受付手段と、前記検索キーワード受付手段が受付けた検索キーワードを記憶する検索キーワード記憶手段と、再生されている情報の中に、前記検索キーワード記憶手段に記憶された検索キーワードと一致する単語が含まれているか否かを監視する検索キーワード監視手段と、前記検索キーワード監視手段が、再生されている情報の中に検索キーワードと一致する単語が含まれていると判断した場合に、再生されている情報内の検索キーワードと一致する単語の近傍の予め定められた範囲に含まれる単語を周辺語として抽出する周辺語抽出手段と、前記検索キーワード記憶手段に記憶された検索キーワードと、前記周辺語抽出手段が抽出した前記周辺語とを検索キーとして情報を検索する検索手段と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention provides a search keyword receiving unit that receives an input of a search keyword and a search that stores the search keyword received by the search keyword receiving unit in an information search apparatus. Keyword storage means; search keyword monitoring means for monitoring whether or not a word that matches the search keyword stored in the search keyword storage means is included in the reproduced information; and the search keyword monitoring means Is included in a predetermined range in the vicinity of the word that matches the search keyword in the reproduced information when it is determined that the reproduced information contains a word that matches the search keyword Peripheral word extraction means for extracting a word to be used as a peripheral word, a search keyword stored in the search keyword storage means, And retrieving means for retrieving information and said peripheral word is near term extraction unit and extracted as a search key, and further comprising a.

また、本発明は、上記装置を実行することができる情報検索方法および情報検索プログラムである。   The present invention also provides an information search method and an information search program capable of executing the above apparatus.

本発明によれば、最初に入力した検索キーワードと一致する単語が、検索要求後に再生される情報内に存在する場合に、検索キーワードと一致する単語の近傍に含まれる単語を検索キーワードに追加して検索を実行することができる。このため、検索要求時点では得られない有用な情報を後から付加し、より適切かつ有用な情報を検索することができるという効果を奏する。   According to the present invention, when a word that matches the first input search keyword exists in the information that is reproduced after the search request, the word that is included in the vicinity of the word that matches the search keyword is added to the search keyword. Search can be performed. Therefore, there is an effect that useful information that cannot be obtained at the time of the search request is added later, and more appropriate and useful information can be searched.

以下に添付図面を参照して、この発明にかかる情報検索装置、情報検索方法および情報検索プログラムの最良な実施の形態を詳細に説明する。   Exemplary embodiments of an information search apparatus, an information search method, and an information search program according to the present invention will be explained below in detail with reference to the accompanying drawings.

本実施の形態にかかる情報検索装置は、検索キーワード入力後に再生された映像等の情報内に、当該検索キーワードが出現することを監視し、出現した場合に検索キーワードの周辺の単語を検索キーに加えて、関連情報を検索するものである。   The information search apparatus according to the present embodiment monitors the appearance of the search keyword in the information such as the video reproduced after the search keyword is input, and when it appears, the word around the search keyword is used as a search key. In addition, related information is searched.

本実施の形態にかかる情報検索装置は、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置と、ディスプレイ装置などの表示装置と、リモコンなどの入力装置と、テレビ受信装置とを備えた、一般的なデジタルテレビに適用することができる。   The information search device according to the present embodiment includes a control device such as a CPU (Central Processing Unit), a storage device such as a ROM (Read Only Memory) and a RAM (Random Access Memory), and an HDD (Hard Disk Drive). The present invention can be applied to a general digital television including an external storage device, a display device such as a display device, an input device such as a remote controller, and a television receiver.

以下では、利用者がデジタルテレビにより映像などのコンテンツを視聴中に、リモコンなどの入力装置から入力された検索要求に応じて、映像情報に関連する情報の検索を実行してその結果を表示する例を示す。なお、インターネットを検索の対象とする例について説明するが、検索の対象はインターネットに限るものではなく、その他のネットワークや、情報を格納したデータベースを対象とするように構成してもよい。   In the following, while a user is viewing content such as video on a digital television, in response to a search request input from an input device such as a remote controller, information related to video information is searched and the result is displayed. An example is shown. An example in which the Internet is a search target will be described. However, the search target is not limited to the Internet, and another network or a database storing information may be a target.

図1は、本実施の形態にかかる情報検索装置100の構成を示すブロック図である。同図に示すように、情報検索装置100は、主要なハードウェア構成として、表示操作部101と、映像情報記憶部141と、メタデータ記憶部142と、単語記憶部143と、検索キーワード記憶部144と、類義語記憶部145と、検索クエリ・検索結果記憶部146と、を備えている。各記憶部は、HDD、光ディスク、メモリカード、RAMなどの一般的に利用されているあらゆる記憶手段により構成することができる。   FIG. 1 is a block diagram showing a configuration of an information search apparatus 100 according to the present embodiment. As shown in the figure, the information search apparatus 100 includes a display operation unit 101, a video information storage unit 141, a metadata storage unit 142, a word storage unit 143, and a search keyword storage unit as main hardware configurations. 144, a synonym storage unit 145, and a search query / search result storage unit 146. Each storage unit can be constituted by any commonly used storage means such as an HDD, an optical disk, a memory card, and a RAM.

また、情報検索装置100は、主要なソフトウェア構成として、メタデータ抽出部111と、単語抽出部112と、意味解析部113と、検索要求受付部114と、検索キーワード抽出部115と、検索キーワード受付部116と、検索キーワード追加部117と、検索キーワード監視部118と、周辺語抽出部119と、検索クエリ生成部120と、検索クエリ照合部121と、検索部122と、優先度算出部123と、を備えている。   The information search apparatus 100 includes a metadata extraction unit 111, a word extraction unit 112, a semantic analysis unit 113, a search request reception unit 114, a search keyword extraction unit 115, and a search keyword reception as main software configurations. Unit 116, search keyword addition unit 117, search keyword monitoring unit 118, peripheral word extraction unit 119, search query generation unit 120, search query matching unit 121, search unit 122, and priority calculation unit 123. It is equipped with.

表示操作部101は、再生中の情報から抽出した検索キーワードや検索結果などを利用者に対して表示するディスプレイなどの表示部(図示せず)と、利用者による情報検索の指定や、抽出した検索キーワードの選択などを行うテレビのリモコンや、キーボード、マウスなどの入力部(図示せず)を備えている。   The display operation unit 101 includes a display unit (not shown) such as a display for displaying search keywords and search results extracted from the information being reproduced to the user, information specification by the user, and extraction. It includes a TV remote control for selecting search keywords and the like, and an input unit (not shown) such as a keyboard and a mouse.

映像情報記憶部141は、映像情報または映像に付随する情報を格納するものである。本実施例では、放送によりリアルタイムに受信した映像またはビデオ・DVD(Digital Versatile Disk)などに録画された映像、および映像に付随するEPG(Electric Program Guide)情報が格納されているものとする。ここで、映像とは静止画像、動画像、音声、音楽、テキスト記述されたメタデータを含む情報をいう。   The video information storage unit 141 stores video information or information accompanying the video. In this embodiment, it is assumed that video received in real time by broadcasting, video recorded on a video / DVD (Digital Versatile Disk) or the like, and EPG (Electric Program Guide) information associated with the video are stored. Here, video refers to information including still images, moving images, audio, music, and text-described metadata.

メタデータ記憶部142は、メタデータ抽出部111が抽出した映像に関連する情報であるメタデータを格納するものである。メタデータ記憶部142は、単語抽出部112が映像情報から単語を抽出する際に参照される。   The metadata storage unit 142 stores metadata that is information related to the video extracted by the metadata extraction unit 111. The metadata storage unit 142 is referred to when the word extraction unit 112 extracts words from the video information.

図2は、メタデータ記憶部142のデータ構造の一例を示す説明図である。同図に示すように、メタデータ記憶部142は、情報種別と、開始時刻と、終了時刻と、内容とを対応づけて格納している。   FIG. 2 is an explanatory diagram showing an example of the data structure of the metadata storage unit 142. As shown in the figure, the metadata storage unit 142 stores information types, start times, end times, and contents in association with each other.

情報種別は、メタデータの種別を表す情報であり、同図に示す例では、メタデータの取得元がEPGか、音声認識結果か、テロップ認識結果かにより、「EPG」、「音声」、「テキスト」を指定する例が示されている。   The information type is information representing the type of metadata. In the example shown in the figure, “EPG”, “voice”, “voice” depends on whether the metadata is acquired from an EPG, a voice recognition result, or a telop recognition result. An example of specifying “text” is shown.

開始時刻および終了時刻は、メタデータが抽出された時刻の範囲を指定する情報である。EPGのように、番組放送前に得られた情報から抽出されたメタデータの開始時刻および終了時刻は、「0:00:00」のように表す。   The start time and the end time are information that specifies a time range from which metadata is extracted. Like EPG, the start time and end time of the metadata extracted from the information obtained before the program broadcast are expressed as “0:00:00”.

内容は、メタデータの内容そのものを表す情報であり、EPG、音声認識結果、テロップ認識結果のテキストデータが格納されている。   The content is information representing the content of the metadata itself, and stores text data of EPG, speech recognition result, and telop recognition result.

単語記憶部143は、メタデータ記憶部142に記憶されているメタデータから単語抽出部112によって抽出された単語を、その単語が含まれる時刻の範囲とともに格納するものである。単語記憶部143は、検索キーワード監視部118が検索キーワードに一致する単語が再生されたか否かを判断するために参照される。   The word storage unit 143 stores the word extracted by the word extraction unit 112 from the metadata stored in the metadata storage unit 142 together with the time range in which the word is included. The word storage unit 143 is referred to so that the search keyword monitoring unit 118 determines whether or not a word that matches the search keyword has been reproduced.

図3は、単語記憶部143のデータ構造の一例を示す説明図である。同図に示すように、単語記憶部143は、開始時刻と、終了時刻と、単語の意味属性と、単語とを対応づけて格納している。単語の意味属性とは、単語の意味や概念を表す属性をいう。例えば、単語「青島」の意味属性は「人名」であり、単語「お台場」の意味属性は「地名」である。意味属性には、意味解析部113による単語の意味解析処理の実行結果が格納される。   FIG. 3 is an explanatory diagram illustrating an example of a data structure of the word storage unit 143. As shown in the figure, the word storage unit 143 stores a start time, an end time, a word semantic attribute, and a word in association with each other. The word semantic attribute is an attribute representing the meaning or concept of the word. For example, the semantic attribute of the word “Aoshima” is “person name”, and the semantic attribute of the word “Odaiba” is “place name”. The semantic attribute stores an execution result of the word semantic analysis processing by the semantic analysis unit 113.

検索キーワード記憶部144は、映像情報に関連する情報を検索するために使用する検索キーワードを格納するものである。検索キーワードとしては、利用者により指定または選択された検索キーワード、および、当該検索キーワードに関連して抽出された周辺語が格納される。周辺語についての詳細は後述する。図4は、検索キーワード記憶部144のデータ構造の一例を示す説明図である。同図に示すように、検索キーワード記憶部144は、単語記憶部143と同様の形式で検索キーワードが格納される。   The search keyword storage unit 144 stores a search keyword used for searching for information related to video information. As the search keyword, a search keyword designated or selected by the user and peripheral words extracted in relation to the search keyword are stored. Details of the peripheral language will be described later. FIG. 4 is an explanatory diagram showing an example of the data structure of the search keyword storage unit 144. As shown in the figure, the search keyword storage unit 144 stores search keywords in the same format as the word storage unit 143.

類義語記憶部145は、単語と、当該単語と類似する意味を有する類義語とを対応づけて格納するものである。図5は、類義語記憶部145のデータ構造の一例を示す説明図である。同図に示すように、類義語記憶部145は、単語と、類義語とを対応づけて格納している。類義語記憶部145は、検索キーワードの類義語を取得し、取得した類義語を検索キーワード記憶部144に追加して関連情報の検索の範囲を広げるために使用される。   The synonym storage unit 145 stores a word and a synonym having a meaning similar to the word in association with each other. FIG. 5 is an explanatory diagram showing an example of the data structure of the synonym storage unit 145. As shown in the figure, the synonym storage unit 145 stores a word and a synonym in association with each other. The synonym storage unit 145 is used to acquire the synonym of the search keyword and add the acquired synonym to the search keyword storage unit 144 to widen the search range of related information.

検索クエリ・検索結果記憶部146は、過去に実行された検索クエリと、当該検索クエリによる検索結果を格納するものである。図6は、検索クエリ・検索結果記憶部146のデータ構造の一例を示す説明図である。同図に示すように、検索クエリ・検索結果記憶部146は、検索キーワードと、検索クエリと、検索結果URL(Uniform Resource Locator)と、検索結果本文とを対応づけて格納している。   The search query / search result storage unit 146 stores search queries executed in the past and search results based on the search queries. FIG. 6 is an explanatory diagram showing an example of the data structure of the search query / search result storage unit 146. As shown in the figure, the search query / search result storage unit 146 stores a search keyword, a search query, a search result URL (Uniform Resource Locator), and a search result body in association with each other.

検索キーワード欄には、利用者が指定または選択した単語を格納する。検索クエリ欄には、検索キーワードに関連する周辺語が付加された検索キーを格納する。具体的には、例えば、検索キーワード「青島」に対して抽出された周辺語である「小田裕一」をスペースで区切って付加した「青島 小田裕一」を検索クエリとして格納する。なお、スペースで区切った単語は、AND条件(「青島」および「小田裕一」を含む情報を検索する条件)として関連情報が検索される。   The search keyword field stores words designated or selected by the user. In the search query field, a search key to which peripheral words related to the search keyword are added is stored. Specifically, for example, “Yuichi Oda”, which is a peripheral word extracted from the search keyword “Aoshima” and added with a space separated, is stored as a search query. Note that related information is searched for words separated by spaces as AND conditions (conditions for searching information including “Aoshima” and “Yuichi Oda”).

検索結果URL欄には、検索結果を保持しているWebページのURLを格納する。なお、インターネット以外を検索対象とする場合は、検索結果の存在する位置を一意に識別できる情報を格納するように構成する。検索結果本文欄には、検索の結果であるテキストの内容を格納する。   The URL of the Web page holding the search result is stored in the search result URL column. In addition, when the search target is other than the Internet, information that can uniquely identify the position where the search result exists is configured to be stored. In the search result text field, the text content that is the result of the search is stored.

メタデータ抽出部111は、映像情報記憶部141に含まれる映像情報からメタデータを抽出するものである。例えば、映像を提供する放送事業者等により予め埋め込まれたEPGや、映像から音声認識により抽出された音声の情報、テロップ認識により抽出されたテキストの情報を映像情報から抽出する。   The metadata extraction unit 111 extracts metadata from video information included in the video information storage unit 141. For example, EPG embedded in advance by a broadcaster providing video, audio information extracted from video by voice recognition, and text information extracted from telop recognition are extracted from video information.

単語抽出部112は、メタデータ抽出部111により抽出され、メタデータ記憶部142に記憶されたテキスト情報を形態素解析し、単語に分割するものである。分割した単語は単語記憶部143に格納される。   The word extraction unit 112 performs morphological analysis on the text information extracted by the metadata extraction unit 111 and stored in the metadata storage unit 142, and divides it into words. The divided words are stored in the word storage unit 143.

意味解析部113は、単語抽出部112が抽出した単語に対して意味解析処理を実行し、各単語の意味属性を付与するものである。意味属性が付与された単語は単語抽出部112に渡され、単語抽出部112により単語記憶部143に記憶される。   The semantic analysis unit 113 performs a semantic analysis process on the words extracted by the word extraction unit 112 and assigns semantic attributes of each word. The word to which the semantic attribute is given is transferred to the word extraction unit 112 and stored in the word storage unit 143 by the word extraction unit 112.

なお、メタデータ抽出部111によるメタデータの抽出処理、単語抽出部112による単語の抽出処理、意味解析部113による意味解析処理は、映像情報が再生されている間、常時実行される。また、単語抽出部112による形態素解析、意味解析部113による意味解析においては、HDD、光ディスク、メモリカードなどの一般的に利用されている記憶手段に格納された自然言語処理用の辞書(図示せず)が参照される。   Note that the metadata extraction processing by the metadata extraction unit 111, the word extraction processing by the word extraction unit 112, and the semantic analysis processing by the semantic analysis unit 113 are always executed while the video information is being reproduced. Further, in the morphological analysis by the word extraction unit 112 and the semantic analysis by the semantic analysis unit 113, a dictionary for natural language processing (not shown) stored in a commonly used storage means such as an HDD, an optical disk, or a memory card. Are referred to).

検索要求受付部114は、表示操作部101から利用者が入力した検索要求の入力を受付けるものである。   The search request receiving unit 114 receives a search request input from the display operation unit 101 by the user.

検索キーワード抽出部115は、検索要求受付部114により利用者の検索要求を受け付けた時点の直前または直後の予め定められた範囲内において、単語抽出部112により抽出された単語の一覧を検索キーワードの候補として単語記憶部143から抽出し、表示操作部101に表示するものである。   The search keyword extraction unit 115 displays a list of words extracted by the word extraction unit 112 within a predetermined range immediately before or immediately after the search request reception unit 114 receives a user search request. The candidate is extracted from the word storage unit 143 and displayed on the display operation unit 101.

検索キーワード受付部116は、検索キーワード抽出部115が抽出し、表示操作部101に表示された検索キーワードの候補の中から、利用者により選択された検索キーワードの入力を受付けるものである。なお、検索キーワード受付部116は、キーボードなどの入力装置から、利用者が入力した検索キーワードを直接受付けるように構成してもよい。   The search keyword receiving unit 116 receives an input of a search keyword selected by the user from the search keyword candidates extracted by the search keyword extraction unit 115 and displayed on the display operation unit 101. The search keyword receiving unit 116 may be configured to directly receive a search keyword input by the user from an input device such as a keyboard.

検索キーワード受付部116により入力が受付けられた検索キーワードは、検索キーワード記憶部144に記憶される。また、検索キーワード受付部116は、検索キーワード監視部118による検索キーワードの監視処理を開始する。   The search keyword whose input is received by the search keyword receiving unit 116 is stored in the search keyword storage unit 144. Further, the search keyword receiving unit 116 starts the search keyword monitoring process by the search keyword monitoring unit 118.

検索キーワード追加部117は、検索キーワードに対応する類義語を、類義語記憶部145から検索し、検索キーワード記憶部144に追加するものである。   The search keyword adding unit 117 searches the synonym storage unit 145 for a synonym corresponding to the search keyword and adds it to the search keyword storage unit 144.

検索キーワード監視部118は、検索キーワード記憶部144に格納された検索キーワードが、映像情報の中に出現するか否かを監視するものである。具体的には、検索キーワード監視部118は、映像情報再生中に単語記憶部143に追加されていく単語を監視し、検索キーワードと表記および意味属性が一致する単語が追加されたか否かを監視する。なお、検索キーワードと表記だけが一致する単語を監視するように構成してもよい。この場合は、意味解析部113による意味解析は不要となる。   The search keyword monitoring unit 118 monitors whether the search keyword stored in the search keyword storage unit 144 appears in the video information. Specifically, the search keyword monitoring unit 118 monitors words that are added to the word storage unit 143 during video information reproduction, and monitors whether a word that has the same notation and semantic attributes as the search keyword is added. To do. Note that it may be configured to monitor words whose notation matches only with the search keyword. In this case, semantic analysis by the semantic analysis unit 113 is not necessary.

周辺語抽出部119は、検索キーワード監視部118が検索キーワードと一致する単語を検出した場合にその近傍に含まれる単語を周辺語として抽出するものである。近傍に含まれる単語(周辺語)とは、検索キーワードと一致する単語を検出した映像情報の前方または後方の少なくとも一方の予め定められた時間に再生された情報の中に含まれる単語、または、検索キーワードと一致する単語を検出した映像情報の中に含まれる検索キーワード以外の単語のうち、検索キーワードと一致する単語の前方と後方の少なくとも一方の予め定められた文字数の範囲に含まれる単語をいう。なお、範囲の指定方法は文字数に限られるものではなく、単語数、文数、節数、段落数などのあらゆる文字列の分割の単位を基準にして範囲を定めることができる。周辺語抽出処理の詳細については後述する。   When the search keyword monitoring unit 118 detects a word that matches the search keyword, the peripheral word extraction unit 119 extracts a word included in the vicinity thereof as a peripheral word. A word (neighboring word) included in the vicinity is a word included in information reproduced at a predetermined time at least one of the front and rear of the video information in which a word matching the search keyword is detected, or Among words other than the search keyword included in the video information in which the word matching the search keyword is detected, a word included in a predetermined number of characters in front of and / or behind the word matching the search keyword Say. Note that the range designation method is not limited to the number of characters, and the range can be defined based on any character string division unit such as the number of words, the number of sentences, the number of sections, the number of paragraphs, and the like. Details of the peripheral word extraction process will be described later.

検索クエリ生成部120は、検索キーワードと周辺語とから検索クエリを生成するものである。具体的には、検索キーワードと周辺語とをスペースで区切った文字列を検索クエリとして生成する。周辺語を抽出できない場合は、検索キーワードのみが検索クエリに含まれる。   The search query generation unit 120 generates a search query from a search keyword and peripheral words. Specifically, a character string in which a search keyword and peripheral words are separated by a space is generated as a search query. When the peripheral words cannot be extracted, only the search keyword is included in the search query.

検索クエリ照合部121は、検索クエリ生成部120が生成した検索クエリが、検索クエリ・検索結果記憶部146に存在するか否かを照合するものである。検索クエリ照合部121により、既に存在する検索クエリであると判断した場合は、当該検索クエリに対応する検索結果を検索クエリ・検索結果記憶部146から取得することにより、重複して検索処理を実行することを防止することができる。   The search query collation unit 121 collates whether or not the search query generated by the search query generation unit 120 exists in the search query / search result storage unit 146. If the search query matching unit 121 determines that the search query already exists, the search result corresponding to the search query is acquired from the search query / search result storage unit 146, and the search processing is executed redundantly. Can be prevented.

検索部122は、検索クエリ生成部120が生成した検索クエリを用いてインターネットまたはデータベース等から関連情報の検索を行い、検索結果を検索クエリ・検索結果記憶部146に格納するものである。   The search unit 122 searches related information from the Internet or a database using the search query generated by the search query generation unit 120 and stores the search result in the search query / search result storage unit 146.

優先度算出部123は、検索結果から検索結果を表示する優先順位を表す優先度を算出するものである。優先度算出方法の詳細については後述する。   The priority calculation unit 123 calculates a priority indicating a priority order for displaying the search results from the search results. Details of the priority calculation method will be described later.

次に、このように構成された本実施の形態にかかる情報検索装置100による情報検索処理について説明する。図7は、本実施の形態における情報検索処理の全体の流れを示すフローチャートである。   Next, an information search process performed by the information search apparatus 100 according to this embodiment configured as described above will be described. FIG. 7 is a flowchart showing the overall flow of the information search process in the present embodiment.

情報検索処理は、映像情報の再生中に、利用者が任意の映像情報に関連する情報の検索を希望してリモコン等の入力装置から情報の検索要求を入力した時点から開始する。なお、映像情報の再生中は、映像情報からのメタデータ抽出処理、単語抽出処理、意味解析処理が常時実行される。   The information search process starts when a user inputs a search request for information from an input device such as a remote controller in order to search for information related to arbitrary video information during reproduction of the video information. During reproduction of video information, metadata extraction processing, word extraction processing, and semantic analysis processing from video information are always executed.

まず、検索要求受付部114が、利用者による検索要求の入力を受付ける(ステップS701)。次に、検索キーワード抽出部115が、検索要求を受付けた時点の前後の予め定められた時間内に再生されていた映像情報に含まれる単語を単語記憶部143から抽出し、表示操作部101上の検索キーワード表示・選択画面に表示する(ステップS702)。   First, the search request receiving unit 114 receives an input of a search request from a user (step S701). Next, the search keyword extraction unit 115 extracts words included in the video information that have been reproduced within a predetermined time before and after the time when the search request is received, from the word storage unit 143, and is displayed on the display operation unit 101. Is displayed on the search keyword display / selection screen (step S702).

図8は、検索キーワード表示・選択画面の表示内容の一例を示す説明図である。同図に示すように、検索キーワード表示・選択画面801は、検索キーワード抽出部115が抽出した単語を一覧表示している。また、検索キーワード表示・選択画面801には、利用者により選択された単語802が反転表示され、画面の下部にはOKボタン803が表示されている。OKボタン803をクリックすると、反転表示された単語802が検索キーワードとして選択される。なお、表示された検索キーワードの候補の中から、検索対象とする単語を利用者が複数選択できるように構成してもよい。   FIG. 8 is an explanatory diagram showing an example of the display content of the search keyword display / selection screen. As shown in the figure, the search keyword display / selection screen 801 displays a list of words extracted by the search keyword extraction unit 115. Further, on the search keyword display / selection screen 801, the word 802 selected by the user is highlighted and an OK button 803 is displayed at the bottom of the screen. When the OK button 803 is clicked, the highlighted word 802 is selected as a search keyword. Note that the user may select a plurality of search target words from the displayed search keyword candidates.

検索キーワード表示・選択画面において利用者により検索キーワードが選択された後、検索キーワード受付部116が、利用者による検索キーワードの選択を受付ける(ステップS703)。受付けた検索キーワードは、検索キーワード記憶部144に記憶される。   After the search keyword is selected by the user on the search keyword display / selection screen, the search keyword receiving unit 116 accepts selection of the search keyword by the user (step S703). The accepted search keyword is stored in the search keyword storage unit 144.

次に、検索キーワード監視部118が、検索キーワード受付部116により受付けられた検索キーワードの監視を開始する(ステップS704)。なお、検索キーワード追加部117が、検索キーワードに対応する類義語を類義語記憶部145から検索し、検索キーワード記憶部144に追加することにより、検索キーワードだけでなく、当該検索キーワードの類義語も監視対象とするように構成してもよい。   Next, the search keyword monitoring unit 118 starts monitoring the search keyword received by the search keyword receiving unit 116 (step S704). The search keyword adding unit 117 searches the synonym storage unit 145 for a synonym corresponding to the search keyword and adds it to the search keyword storage unit 144, so that not only the search keyword but also the synonym of the search keyword is monitored. You may comprise.

続いて、メタデータ抽出部111が、再生中の映像情報からメタデータを抽出して(ステップS705)、メタデータ記憶部142に記憶する。次に、単語抽出部112が、メタデータ抽出部111により抽出されたメタデータから単語を抽出し(ステップS706)、単語記憶部143に記憶する。なお、単語の抽出時に意味解析部113による意味解析処理も実行され、意味属性を付与された単語が単語記憶部143に記憶される。   Subsequently, the metadata extraction unit 111 extracts metadata from the video information being reproduced (step S705) and stores it in the metadata storage unit 142. Next, the word extraction unit 112 extracts words from the metadata extracted by the metadata extraction unit 111 (step S706) and stores them in the word storage unit 143. The semantic analysis process by the semantic analysis unit 113 is also executed when the word is extracted, and the word to which the semantic attribute is given is stored in the word storage unit 143.

また、図8では、検索キーワードの監視が開始された後に実行されるメタデータ抽出処理および単語抽出処理の意味でステップS705およびステップS706を記載しているが、実際には、検索キーワードの監視開始前を含む映像情報再生中に、メタデータの抽出処理および単語抽出処理が常時実行されている。   In FIG. 8, steps S705 and S706 are described in terms of metadata extraction processing and word extraction processing that are executed after search keyword monitoring is started. In practice, search keyword monitoring starts. During the reproduction of video information including the previous, metadata extraction processing and word extraction processing are always executed.

次に、検索キーワード監視部118が、単語抽出部112により抽出された単語が検索キーワードに一致するか否かを判断する(ステップS707)。なお、検索キーワード監視部118は、抽出された単語と検索キーワードとの表記および意味属性が共に一致する場合に、両者が一致すると判断する。これにより検索の精度を高めてより有用な情報を取得することが可能となる。   Next, the search keyword monitoring unit 118 determines whether or not the word extracted by the word extraction unit 112 matches the search keyword (step S707). Note that the search keyword monitoring unit 118 determines that the extracted word and the search keyword match if the notation and semantic attribute of the extracted word match. As a result, it is possible to obtain more useful information with improved search accuracy.

検索キーワードに一致しない場合は(ステップS707:NO)、映像が終了したか否かの判断処理を実行する(ステップS713)。   If it does not match the search keyword (step S707: NO), a process for determining whether or not the video has ended is executed (step S713).

検索キーワードに一致する場合は(ステップS707:YES)、検索キーワードの周辺語抽出処理を実行する(ステップS708)。なお、検索キーワード監視を開始した後に検索キーワードと一致する単語が抽出された場合だけでなく、検索キーワードを指定した直後にも、検索キーワードを指定した時点の映像情報に基づいて周辺語抽出処理を実行するように構成してもよい。周辺語抽出処理の詳細については後述する。   If it matches the search keyword (step S707: YES), a search keyword peripheral word extraction process is executed (step S708). In addition, not only when a word that matches the search keyword is extracted after starting the search keyword monitoring, but also immediately after specifying the search keyword, the peripheral word extraction process is performed based on the video information at the time of specifying the search keyword. It may be configured to execute. Details of the peripheral word extraction process will be described later.

周辺語抽出処理の実行後、検索クエリ生成部120が、検索キーワードと周辺語とを含む検索クエリを生成する(ステップS709)。次に、検索クエリ照合部121が、生成した検索クエリが検索済みのクエリか否か、すなわち、検索クエリ・検索結果記憶部146に記憶されている検索クエリか否かを判断する(ステップS710)。   After the peripheral word extraction process is executed, the search query generation unit 120 generates a search query including the search keyword and the peripheral word (step S709). Next, the search query matching unit 121 determines whether or not the generated search query is a searched query, that is, whether or not it is a search query stored in the search query / search result storage unit 146 (step S710). .

検索済みのクエリである場合(ステップS710:YES)、映像が終了したか否かの判断処理を実行する(ステップS713)。これにより、検索済みのクエリに対して重複して検索処理が実行されるのを回避することができる。   If it is a searched query (step S710: YES), a process for determining whether or not the video has ended is executed (step S713). As a result, it is possible to avoid the search process from being executed redundantly on the searched query.

検索済みのクエリでない場合(ステップS710:NO)、検索部122が、当該検索クエリを使用して検索処理を実行する(ステップS711)。次に、検索結果の表示の優先順位を算出する優先度算出処理が実行される(ステップS712)。優先度算出処理の詳細については後述する。   If it is not a searched query (step S710: NO), the search unit 122 executes a search process using the search query (step S711). Next, a priority calculation process for calculating the priority of displaying the search results is executed (step S712). Details of the priority calculation processing will be described later.

優先度算出処理の後、メタデータ抽出部111が、映像の再生が終了したか否かの判断処理を実行する(ステップS713)。映像の再生が終了していない場合は(ステップS713:NO)、メタデータの抽出処理から処理が繰り返される(ステップS705)。映像の再生が終了した場合は(ステップS713:YES)、情報検索処理が終了する。   After the priority calculation process, the metadata extraction unit 111 executes a process for determining whether or not the video reproduction has ended (step S713). If the video reproduction has not ended (step S713: NO), the process is repeated from the metadata extraction process (step S705). When the reproduction of the video is finished (step S713: YES), the information search process is finished.

次に、ステップS708における周辺語抽出処理の詳細について説明する。図9は、本実施の形態における周辺語抽出処理の全体の流れを示すフローチャートである。   Next, details of the peripheral word extraction process in step S708 will be described. FIG. 9 is a flowchart showing the overall flow of the peripheral word extraction process in the present embodiment.

まず、周辺語抽出部119が、検索キーワードが含まれる映像情報の前方または後方の少なくとも一方の予め定められた時間に再生された情報の中に含まれる単語を周辺語として抽出する(ステップS901)。   First, the peripheral word extraction unit 119 extracts words included in information reproduced at a predetermined time at least one of the front and rear of the video information including the search keyword as peripheral words (step S901). .

例えば、予め定められた時間の範囲が前後20秒であり、開始時刻=0:15:30、終了時刻=0:15:37において検出した音声から検索キーワード「青島」を指定し、開始時刻=0:15:40、終了時刻=0:15:52において「お台場で」を含む音声を検出したとする。   For example, the predetermined time range is 20 seconds before and after, the search keyword “Qingdao” is designated from the voices detected at start time = 0: 15: 30, end time = 0: 15: 37, and start time = It is assumed that a voice including “in Odaiba” is detected at 0:15:40 and end time = 0: 15: 52.

この場合、メタデータ記憶部142には、例えば、図2で示すように、開始時刻=0:15:30、終了時刻=0:15:37の内容として「青島さん、そちらは・・・」が記憶され、開始時刻=0:15:40、終了時刻=0:15:52の内容として「お台場で・・・」が記憶されているため、周辺語抽出部119は、この情報を参照して、検索キーワード「青島」を指定した映像情報から20秒以内の範囲に再生された情報に含まれる周辺語として「お台場」を抽出する。   In this case, in the metadata storage unit 142, for example, as shown in FIG. 2, "Mr. Qingdao, there ..." as the contents of the start time = 0: 15: 30 and the end time = 0: 15: 37. Is stored, and “Odaiba de ...” is stored as the content of start time = 0: 15: 40 and end time = 0: 15: 52, so the peripheral word extraction unit 119 refers to this information. Then, “Odaiba” is extracted as a peripheral word included in the information reproduced within the range of 20 seconds from the video information specifying the search keyword “Aoshima”.

このように、本実施の形態では、検索キーワードが含まれる映像情報と同時ではないが、時間的に前後の映像情報から、検索キーワードに関連性のある単語を抽出して検索キーに追加することができる。このため、利用者が検索要求を入力した映像情報のみからでは得られない単語を追加して、関連情報を広く検索することが可能となる。   As described above, in the present embodiment, although not simultaneously with the video information including the search keyword, a word related to the search keyword is extracted from the video information before and after the time and added to the search key. Can do. For this reason, it becomes possible to broadly search related information by adding words that cannot be obtained only from video information for which the user has input a search request.

また、一度の検索要求で、検索キーワードの出現を契機とした複数回の検索を行うことができるため、利用者による映像の静止・巻戻し、検索キーワードの入力などの操作負担を削減することができる。   In addition, since a single search request can be performed multiple times triggered by the appearance of a search keyword, it is possible to reduce operational burdens such as video stillness and rewind, and search keyword input by the user. it can.

次に、周辺語抽出部119が、検索キーワードと一致する単語を検出した映像情報の中に含まれる検索キーワード以外の単語のうち、検索キーワードの近傍の予め定められた文字数の範囲に含まれる単語を周辺語として抽出する(ステップS902)。   Next, among the words other than the search keyword included in the video information in which the peripheral word extraction unit 119 has detected a word that matches the search keyword, the word included in a predetermined number of characters in the vicinity of the search keyword Are extracted as peripheral words (step S902).

例えば、予め定められた文字数の範囲が10文字、検索キーワードが「青島」であり、検索キーワードを検出した映像情報が番組の最後のスタッフロールを表示する画面(開始時刻=0:53:10、終了時刻=0:53:20)で、当該画面に「青島太郎役・小田裕一」という文字列が存在したとする。   For example, the range of the predetermined number of characters is 10 characters, the search keyword is “Aoshima”, and the video information in which the search keyword is detected displays the last stuff roll of the program (start time = 0: 53: 10, It is assumed that the character string “Taro Aoshima / Yuichi Oda” exists on the screen at the end time = 0: 53: 20).

この場合、メタデータ記憶部142には、例えば、図2で示すように、開始時刻=0:53:10、終了時刻=0:53:20にテキスト「青島太郎役・小田裕一」という内容が記憶されているため、周辺語抽出部119は、この情報を参照して、検索キーワード「青島」から10文字数以内の範囲に存在する周辺語として「太郎」「小田裕一」を抽出する。   In this case, for example, as shown in FIG. 2, the content of the text “Taro Aoshima / Yuichi Oda” at the start time = 0: 53: 10 and the end time = 0: 53: 20 is stored in the metadata storage unit 142. Since it is stored, the peripheral word extraction unit 119 refers to this information and extracts “Taro” and “Yuichi Oda” as peripheral words existing within a range of 10 characters from the search keyword “Aoshima”.

このように、本実施の形態では、検索キーワードが含まれる映像情報を文字列化し、当該文字列の中で検索キーワードに位置的に近い単語を抽出して検索キーに追加することができる。このため、利用者が検索要求を入力した映像情報のみからでは得られない単語を追加して、関連情報を広く検索することが可能となる。   As described above, in this embodiment, video information including a search keyword can be converted into a character string, and a word that is close in position to the search keyword can be extracted from the character string and added to the search key. For this reason, it becomes possible to broadly search related information by adding words that cannot be obtained only from video information for which the user has input a search request.

次に、周辺語抽出処理の具体例について説明する。図10は、周辺語抽出処理の具体例を示した説明図である。同図に示すように、検索要求が入力された時点の直前に再生されていた音声1001「青島さん、そちらは・・・」から検索キーワード「青島」が選択された場合を考える(ステップS703)。   Next, a specific example of the peripheral word extraction process will be described. FIG. 10 is an explanatory diagram showing a specific example of the peripheral word extraction process. As shown in the figure, a case is considered in which the search keyword “Qingdao” is selected from the voice 1001 “Mr. Qingdao, there ...” that was played immediately before the input of the search request (step S703). .

検索キーワードが選択されてから予め定められた時間の範囲内に、音声1002「お台場で・・・」が再生されたとすると、周辺語抽出部119が、「お台場」を周辺語として抽出する(ステップS901)。また、スタッフロール1003の再生中に「青島太郎役・小田裕一」という文字列が認識されたとすると、周辺語抽出部119が、検索キーワードと一致する単語である「青島」から予め定められた文字数(例えば10文字または10単語)以内に存在する単語である「太郎」、「小田裕一」を周辺語として抽出する(ステップS902)。   Assuming that the voice 1002 “Odaiba ...” is reproduced within a predetermined time range after the search keyword is selected, the peripheral word extraction unit 119 extracts “Odaiba” as a peripheral word. (Step S901). If the character string “Taro Aoshima / Yuichi Oda” is recognized during the reproduction of the staff roll 1003, the peripheral word extraction unit 119 determines a predetermined number of characters from “Aoshima” which is a word that matches the search keyword. The words “Taro” and “Yuichi Oda” existing within (for example, 10 characters or 10 words) are extracted as peripheral words (step S902).

なお、検索要求が入力された時点で、既にメタデータ記憶部142に記憶されているEPGの情報から、ステップS902と同様の方法により周辺語を抽出するように構成してもよい。例えば、図2に示すような情報がメタデータ記憶部142に記憶されていた場合、EPG情報の内容に「青島は殺人事件に巻き込まれ・・・」という文字列が存在するため、周辺語抽出部119が、検索キーワードと一致する単語である「青島」から予め定められた文字数(例えば10文字または10単語)以内に存在する単語である「殺人事件」を周辺語として抽出することができる。   It should be noted that, at the time when the search request is input, it is possible to extract peripheral words from the EPG information already stored in the metadata storage unit 142 by the same method as in step S902. For example, when information as shown in FIG. 2 is stored in the metadata storage unit 142, the EPG information contains a character string “Qingdao is involved in a murder case ...”, so the peripheral word extraction The unit 119 can extract “murder case” that is a word existing within a predetermined number of characters (for example, 10 characters or 10 words) from “Aoshima” that is a word that matches the search keyword as a peripheral word.

次に、ステップS712における優先度算出処理の詳細について説明する。図11は、本実施の形態における優先度算出処理の全体の流れを示すフローチャートである。   Next, details of the priority calculation processing in step S712 will be described. FIG. 11 is a flowchart showing the overall flow of priority calculation processing in the present embodiment.

まず、優先度算出部123が、検索要求がなされた検索キーワードに対応する検索結果を検索クエリ・検索結果記憶部146から抽出する(ステップS1101)。次に、優先度算出部123が、検索結果のURLが示すWebサイトごとに検索結果を分類する(ステップS1102)。   First, the priority calculation unit 123 extracts a search result corresponding to the search keyword for which a search request has been made from the search query / search result storage unit 146 (step S1101). Next, the priority calculation unit 123 classifies the search results for each Web site indicated by the search result URL (step S1102).

続いて、優先度算出部123が、分類したWebサイトごとに、検索クエリに含まれるキーワードが少ない順に優先度を高く算出する(ステップS1103)。これは、検索キーワードだけで検索した結果の優先度を、検索キーワードに周辺語を追加して検索した結果より優先度を高くするためである。   Subsequently, the priority calculation unit 123 calculates the priority for each classified Web site in the descending order of the keywords included in the search query (step S1103). This is to make the priority of the search result using only the search keyword higher than the search result obtained by adding peripheral words to the search keyword.

なお、この他に、検索結果に含まれる検索キーワードの個数が多い順に優先度を高く算出するなど、一般的に用いられているあらゆる優先順位の決定方法を適用することができる。   In addition to this, any generally used priority order determination method can be applied, such as calculating a higher priority in descending order of the number of search keywords included in the search result.

次に、優先度算出部123が、検索結果の多いWebサイト順にソートして、検索結果を表示操作部101上の検索結果表示画面に表示する(ステップS1104)。なお、検索結果は、上述した方法により算出した優先度の高い順にWebサイトごとにソートして検索結果表示画面に表示する。また、表示する検索結果の個数、表示するWebサイトの個数を予め定められた数に制限して表示するように構成してもよい。   Next, the priority calculation unit 123 sorts the websites in the descending order of the search results, and displays the search results on the search result display screen on the display operation unit 101 (step S1104). The search results are sorted for each website in descending order of priority calculated by the method described above and displayed on the search result display screen. Further, the number of search results to be displayed and the number of Web sites to be displayed may be limited to a predetermined number.

このように、Webサイトごとに優先度の高い順に検索結果をソートして表示することにより、検索キーワードに関するWebサイトごとの代表的なWebページを集めた検索結果を得ることができる。   In this way, by sorting and displaying the search results in descending order of priority for each Web site, a search result in which representative Web pages for each Web site related to the search keyword are collected can be obtained.

図12は、検索結果表示画面の表示内容の一例を示す説明図である。同図に示すように、検索結果表示画面1201は、画面の右側に利用者が検索要求を出した映像シーンのサムネイル1202を表示しており、利用者がこのうち一つを選択することで関連情報が画面左側の関連情報表示欄1203に表示される。   FIG. 12 is an explanatory diagram illustrating an example of display contents on the search result display screen. As shown in the figure, a search result display screen 1201 displays a thumbnail 1202 of a video scene for which a user has requested a search on the right side of the screen. Information is displayed in the related information display field 1203 on the left side of the screen.

検索結果表示画面1201の画面の中央には、利用者により選択された映像1204が表示される。検索キーワード1205は画面の左側に表示され、検索結果1206は画面の下部に表示される。また、番組に戻るボタン1207をクリックすると、通常の映像の視聴画面(図示せず)に戻る。   In the center of the search result display screen 1201, a video 1204 selected by the user is displayed. The search keyword 1205 is displayed on the left side of the screen, and the search result 1206 is displayed at the bottom of the screen. If a return button 1207 is clicked, the screen returns to a normal video viewing screen (not shown).

なお、検索結果表示画面1201を表示する時点によって、表示される検索結果が変動する。例えば、検索要求を出した直後に表示する場合は、検索キーワードだけを含む検索クエリによる検索結果だけが得られるが、番組視聴後に表示する場合には、番組で出現したすべての周辺語に対する検索結果が得られるため、検索しうるすべての検索結果が表示される。   Note that the displayed search result varies depending on the point in time when the search result display screen 1201 is displayed. For example, if the search request is displayed immediately after the search request is issued, only the search result based on the search query including only the search keyword is obtained. However, if the search result is displayed after viewing the program, the search result for all peripheral words appearing in the program is obtained. Therefore, all search results that can be searched are displayed.

このように、本実施の形態にかかる情報検索装置100では、検索キーワード入力後に再生された映像等の情報内に、当該検索キーワードが出現することを監視し、出現した場合に検索キーワードの周辺の単語を検索キーに加えて、関連情報を検索することができる。このため、検索要求時点では得られない有用な情報を後から付加し、より適切かつ有用な情報を検索することができる。   As described above, the information search apparatus 100 according to the present embodiment monitors the appearance of the search keyword in the information such as the video reproduced after the input of the search keyword. You can search for related information by adding words to the search key. For this reason, useful information that cannot be obtained at the time of a search request can be added later to search for more appropriate and useful information.

本実施の形態にかかる情報検索装置は、CPUなどの制御装置と、ROMやRAMなどの記憶装置と、HDD、CD(Compact Disc)ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えた、通常のコンピュータを利用したハードウェア構成としてもよい。   The information search device according to the present embodiment includes a control device such as a CPU, a storage device such as a ROM and a RAM, an external storage device such as an HDD and a CD (Compact Disc) drive device, and a display device such as a display device. A hardware configuration using an ordinary computer equipped with an input device such as a keyboard and a mouse may be used.

本実施の形態にかかる情報検索装置で実行される情報検索プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供される。   The information search program executed by the information search apparatus according to the present embodiment is a file in an installable format or an executable format, and is a CD-ROM (Compact Disk Read Only Memory), a flexible disk (FD), a CD-R. (Compact Disk Recordable), provided by being recorded on a computer-readable recording medium such as a DVD.

また、本実施の形態にかかる情報検索装置で実行される情報検索プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態にかかる情報検索装置で実行される情報検索プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。   In addition, the information search program executed by the information search apparatus according to the present embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. . The information search program executed by the information search apparatus according to the present embodiment may be provided or distributed via a network such as the Internet.

また、本実施の形態の情報検索プログラムを、ROM等に予め組み込んで提供するように構成してもよい。   In addition, the information search program according to the present embodiment may be provided by being incorporated in advance in a ROM or the like.

本実施の形態にかかる情報検索装置で実行される情報検索プログラムは、上述した各部(メタデータ抽出部、単語抽出部、意味解析部、検索要求受付部、検索キーワード抽出部、検索キーワード受付部、検索キーワード追加部、検索キーワード監視部、周辺語抽出部、検索クエリ生成部、検索クエリ照合部、検索部、優先度算出部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から情報検索プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。   The information search program executed by the information search apparatus according to the present embodiment includes the above-described units (metadata extraction unit, word extraction unit, semantic analysis unit, search request reception unit, search keyword extraction unit, search keyword reception unit, It has a module configuration including a search keyword addition unit, a search keyword monitoring unit, a peripheral word extraction unit, a search query generation unit, a search query matching unit, a search unit, and a priority calculation unit). The processor) reads out the information retrieval program from the storage medium and executes the information retrieval program, so that each unit is loaded onto the main storage device, and the above-described units are generated on the main storage device.

以上のように、本発明にかかる情報検索装置、情報検索方法および情報検索プログラムは、映像情報を表示し、利用者が映像視聴中または視聴後に映像情報に関連する情報を検索および表示する情報検索システムに適している。   As described above, the information search apparatus, the information search method, and the information search program according to the present invention display the video information, and the information search for searching and displaying the information related to the video information while the user is viewing or after viewing the video. Suitable for the system.

本実施の形態にかかる情報検索装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information search device concerning this Embodiment. メタデータ記憶部のデータ構造の一例を示す説明図である。It is explanatory drawing which shows an example of the data structure of a metadata memory | storage part. 単語記憶部のデータ構造の一例を示す説明図である。It is explanatory drawing which shows an example of the data structure of a word memory | storage part. 検索キーワード記憶部のデータ構造の一例を示す説明図である。It is explanatory drawing which shows an example of the data structure of a search keyword memory | storage part. 類義語記憶部のデータ構造の一例を示す説明図である。It is explanatory drawing which shows an example of the data structure of a synonym memory | storage part. 検索クエリ・検索結果記憶部のデータ構造の一例を示す説明図である。It is explanatory drawing which shows an example of the data structure of a search query and search result memory | storage part. 本実施の形態における情報検索処理の全体の流れを示すフローチャートである。It is a flowchart which shows the whole flow of the information search process in this Embodiment. 検索キーワード表示・選択画面の表示内容の一例を示す説明図である。It is explanatory drawing which shows an example of the display content of a search keyword display and selection screen. 本実施の形態における周辺語抽出処理の全体の流れを示すフローチャートである。It is a flowchart which shows the whole flow of the peripheral word extraction process in this Embodiment. 周辺語抽出処理の具体例を示した説明図である。It is explanatory drawing which showed the specific example of the peripheral word extraction process. 本実施の形態における優先度算出処理の全体の流れを示すフローチャートである。It is a flowchart which shows the whole flow of the priority calculation process in this Embodiment. 検索結果表示画面の表示内容の一例を示す説明図である。It is explanatory drawing which shows an example of the display content of a search result display screen.

符号の説明Explanation of symbols

100 情報検索装置
101 表示操作部
111 メタデータ抽出部
112 単語抽出部
113 意味解析部
114 検索要求受付部
115 検索キーワード抽出部
116 検索キーワード受付部
117 検索キーワード追加部
118 検索キーワード監視部
119 周辺語抽出部
120 検索クエリ生成部
121 検索クエリ照合部
122 検索部
123 優先度算出部
141 映像情報記憶部
142 メタデータ記憶部
143 単語記憶部
144 検索キーワード記憶部
145 類義語記憶部
146 検索クエリ・検索結果記憶部
801 検索キーワード表示・選択画面
802 単語
803 OKボタン
1001、1002 音声
1003 スタッフロール
1201 検索結果表示画面
1202 サムネイル
1203 関連情報表示欄
1204 映像
1205 検索キーワード
1206 検索結果
1207 番組に戻るボタン
DESCRIPTION OF SYMBOLS 100 Information search apparatus 101 Display operation part 111 Metadata extraction part 112 Word extraction part 113 Semantic analysis part 114 Search request reception part 115 Search keyword extraction part 116 Search keyword reception part 117 Search keyword addition part 118 Search keyword monitoring part 119 Peripheral word extraction Unit 120 search query generation unit 121 search query matching unit 122 search unit 123 priority calculation unit 141 video information storage unit 142 metadata storage unit 143 word storage unit 144 search keyword storage unit 145 synonym storage unit 146 search query / search result storage unit 801 Search keyword display / selection screen 802 Word 803 OK button 1001, 1002 Voice 1003 Staff roll 1201 Search result display screen 1202 Thumbnail 1203 Related information display column 1204 Video 1205 Search keyword 1206 Search result 1207 Return to program button

Claims (10)

検索キーワードの入力を受付ける検索キーワード受付手段と、
前記検索キーワード受付手段が受付けた検索キーワードを記憶する検索キーワード記憶手段と、
再生されている情報の中に、前記検索キーワード記憶手段に記憶された検索キーワードと一致する単語が含まれているか否かを監視する検索キーワード監視手段と、
前記検索キーワード監視手段が、再生されている情報の中に検索キーワードと一致する単語が含まれていると判断した場合に、再生されている情報内の検索キーワードと一致する単語の近傍の予め定められた範囲に含まれる単語を周辺語として抽出する周辺語抽出手段と、
前記検索キーワード記憶手段に記憶された検索キーワードと、前記周辺語抽出手段が抽出した前記周辺語とを検索キーとして情報を検索する検索手段と、
を備えたことを特徴とする情報検索装置。
Search keyword accepting means for accepting input of a search keyword;
Search keyword storage means for storing the search keyword received by the search keyword receiving means;
Search keyword monitoring means for monitoring whether or not a word that matches the search keyword stored in the search keyword storage means is included in the reproduced information;
When the search keyword monitoring unit determines that the reproduced information includes a word that matches the search keyword, the search keyword monitoring unit determines in advance the vicinity of the word that matches the search keyword in the reproduced information. Peripheral word extracting means for extracting words included in a given range as peripheral words;
Search means for searching for information using the search keyword stored in the search keyword storage means and the peripheral words extracted by the peripheral word extraction means as search keys;
An information retrieval apparatus comprising:
前記周辺語抽出手段は、検索キーワードと一致する単語が含まれている情報の前方または後方の少なくとも一方の予め定められた時間に再生された情報の中に含まれる単語を周辺語として抽出することを特徴とする請求項1に記載の情報検索装置。   The peripheral word extracting means extracts, as peripheral words, words included in information reproduced at a predetermined time at least one of the front and rear of information including words that match the search keyword. The information search device according to claim 1. 前記周辺語抽出手段は、検索キーワードと一致する単語が含まれている情報の中に含まれる検索キーワード以外の単語のうち、検索キーワードと一致する単語の前方と後方の少なくとも一方の予め定められた文字数または単語数の範囲に含まれる単語を周辺語として抽出することを特徴とする請求項1に記載の情報検索装置。   The peripheral word extracting means is a predetermined word at least one of the front and rear of the word that matches the search keyword among the words other than the search keyword included in the information that includes the word that matches the search keyword. The information search device according to claim 1, wherein words included in the range of the number of characters or the number of words are extracted as peripheral words. 情報の再生中に利用者による検索の要求の入力を受付ける検索要求受付手段と、
前記検索要求受付手段が検索の要求を受付けたときに再生されていた情報から検索キーワードを抽出する検索キーワード抽出手段をさらに備え、
前記検索キーワード受付手段は、前記検索キーワード抽出手段が抽出した検索キーワードの入力を受付けることを特徴とする請求項1〜3のいずれか1つに記載の情報検索装置。
A search request accepting means for accepting an input of a search request by a user during reproduction of information;
Further comprising search keyword extraction means for extracting a search keyword from information reproduced when the search request reception means accepts a search request;
The information search device according to any one of claims 1 to 3, wherein the search keyword accepting unit accepts an input of a search keyword extracted by the search keyword extracting unit.
前記検索キーワード抽出手段は、利用者により検索が指定されたときに再生されていた情報の前方または後方の予め定められた時間に再生されていた情報の中に含まれる単語を検索キーワードとして抽出することを特徴とする請求項4に記載の情報検索装置。   The search keyword extraction unit extracts, as a search keyword, a word included in information reproduced at a predetermined time in front of or behind the information reproduced when the search is designated by the user. The information search device according to claim 4, wherein: 前記検索キーワード抽出手段が抽出した検索キーワードを表示し、利用者による検索キーワードの選択操作が行われる表示操作手段をさらに備え、
前記検索キーワード受付手段は、前記表示操作手段において利用者により選択された検索キーワードの入力を受付けることを特徴とする請求項4または5に記載の情報検索装置。
Displaying the search keyword extracted by the search keyword extraction means, further comprising a display operation means for performing a search keyword selection operation by the user,
The information search apparatus according to claim 4 or 5, wherein the search keyword receiving unit receives an input of a search keyword selected by a user in the display operation unit.
前記検索キーワード抽出手段は、検索キーワードと検索キーワードの意味や概念を表す属性である意味属性とを抽出し、
検索キーワード記憶手段は、検索キーワードと該検索キーワードの前記意味属性とを対応づけて記憶し、
前記検索キーワード監視手段は、検索キーワードと表記および前記意味属性が一致する単語が含まれているか否かを監視することを特徴とする請求項4〜6のいずれか1つに記載の情報検索装置。
The search keyword extraction means extracts a search keyword and a semantic attribute that is an attribute representing the meaning and concept of the search keyword,
The search keyword storage means stores the search keyword and the semantic attribute of the search keyword in association with each other,
The information search device according to claim 4, wherein the search keyword monitoring unit monitors whether or not a word whose notation and semantic attribute match a search keyword is included. .
単語と、該単語と類似する意味を有する類義語とを対応づけて記憶する類義語記憶手段と、
検索キーワードに対応する前記類義語を、前記類義語記憶手段から検索し、検索した前記類義語を前記検索キーワード記憶手段に追加する検索キーワード追加手段と、
をさらに備え、
前記検索キーワード監視手段は、再生されている情報の中に、前記検索キーワード記憶手段に記憶された検索キーワードまたは検索キーワードに対応する前記類義語と一致する単語が含まれているか否かを監視することを特徴とする請求項1〜7のいずれか1つに記載の情報検索装置。
Synonym storage means for storing a word and a synonym having a similar meaning to the word in association with each other;
Search keyword adding means for searching the synonym corresponding to the search keyword from the synonym storage means and adding the searched synonym to the search keyword storage means;
Further comprising
The search keyword monitoring unit monitors whether the reproduced information includes a word that matches the search keyword stored in the search keyword storage unit or the synonym corresponding to the search keyword. The information search device according to any one of claims 1 to 7.
検索キーワードの入力を受付ける検索キーワード受付ステップと、
再生されている情報の中に、前記検索キーワード受付ステップが受付けた検索キーワードを記憶する記憶手段に記憶された検索キーワードと一致する単語が含まれているか否かを監視する検索キーワード監視ステップと、
前記検索キーワード監視ステップが、再生されている情報の中に検索キーワードと一致する単語が含まれていると判断した場合に、再生されている情報内の検索キーワードと一致する単語の近傍の予め定められた範囲に含まれる単語を周辺語として抽出する周辺語抽出ステップと、
前記記憶手段に記憶された検索キーワードと、前記周辺語抽出ステップが抽出した前記周辺語とを検索キーとして情報を検索する検索ステップと、
を備えたことを特徴とする情報検索方法。
A search keyword reception step for receiving an input of a search keyword;
A search keyword monitoring step for monitoring whether or not the reproduced information includes a word that matches the search keyword stored in the storage means for storing the search keyword received by the search keyword receiving step;
When the search keyword monitoring step determines that a word that matches the search keyword is included in the reproduced information, a predetermined vicinity of the word that matches the search keyword in the reproduced information is determined in advance. A peripheral word extraction step for extracting words included in a given range as peripheral words;
A search step of searching for information using a search keyword stored in the storage means and the peripheral word extracted in the peripheral word extraction step as a search key;
An information search method characterized by comprising:
検索キーワードの入力を受付ける検索キーワード受付手順と、
再生されている情報の中に、前記検索キーワード受付手順が受付けた検索キーワードを記憶する記憶手段に記憶された検索キーワードと一致する単語が含まれているか否かを監視する検索キーワード監視手順と、
前記検索キーワード監視手順が、再生されている情報の中に検索キーワードと一致する単語が含まれていると判断した場合に、再生されている情報内の検索キーワードと一致する単語の近傍の予め定められた範囲に含まれる単語を周辺語として抽出する周辺語抽出手順と、
前記記憶手段に記憶された検索キーワードと、前記周辺語抽出手順が抽出した前記周辺語とを検索キーとして情報を検索する検索手順と、
をコンピュータに実行させる情報検索プログラム。
Search keyword acceptance procedure to accept search keyword input,
A search keyword monitoring procedure for monitoring whether or not a word that matches the search keyword stored in the storage means for storing the search keyword accepted by the search keyword acceptance procedure is included in the reproduced information;
When the search keyword monitoring procedure determines that a word that matches the search keyword is included in the reproduced information, a predetermined vicinity of the word that matches the search keyword in the reproduced information is determined in advance. A peripheral word extraction procedure for extracting words included in a given range as peripheral words;
A search procedure for searching for information using a search keyword stored in the storage means and the peripheral word extracted by the peripheral word extraction procedure as a search key;
Information retrieval program that causes a computer to execute
JP2005196257A 2005-07-05 2005-07-05 Information search device, information search method, and information search program Expired - Fee Related JP4734048B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005196257A JP4734048B2 (en) 2005-07-05 2005-07-05 Information search device, information search method, and information search program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005196257A JP4734048B2 (en) 2005-07-05 2005-07-05 Information search device, information search method, and information search program

Publications (2)

Publication Number Publication Date
JP2007018068A true JP2007018068A (en) 2007-01-25
JP4734048B2 JP4734048B2 (en) 2011-07-27

Family

ID=37755209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005196257A Expired - Fee Related JP4734048B2 (en) 2005-07-05 2005-07-05 Information search device, information search method, and information search program

Country Status (1)

Country Link
JP (1) JP4734048B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105719A (en) * 2007-10-24 2009-05-14 Hitachi Ltd Video content viewing terminal
JP2009212857A (en) * 2008-03-04 2009-09-17 Sharp Corp Content reproducing unit, content reproducing method, content reproducing system, program, and recording medium
JP2011508319A (en) * 2007-12-19 2011-03-10 グーグル・インコーポレーテッド Video quality measurement
JP2011118667A (en) * 2009-12-03 2011-06-16 Mitsubishi Electric Corp Content search system
JP2013518318A (en) * 2010-01-21 2013-05-20 インディジーン ライフシステムズ プライベート リミテッド Tools for clinical data mining and analysis
JP2016062560A (en) * 2014-09-22 2016-04-25 株式会社東芝 Electronic apparatus and control method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015047986A (en) 2013-09-02 2015-03-16 株式会社ジェイテクト Stairway elevator

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877196A (en) * 1994-09-08 1996-03-22 Fujitsu Ltd Extracting device for document information
JPH0944523A (en) * 1995-07-27 1997-02-14 Fuji Xerox Co Ltd Relative word display device
JPH09294253A (en) * 1996-03-07 1997-11-11 Internatl Business Mach Corp <Ibm> Interactive display and recognition system
JPH10334115A (en) * 1997-06-04 1998-12-18 Fuji Xerox Co Ltd Retrieval expression generating device
JP2000222427A (en) * 1999-02-02 2000-08-11 Mitsubishi Electric Corp Related word extracting device, related word extracting method and recording medium with related word extraction program recorded therein
JP2002024250A (en) * 2000-07-04 2002-01-25 Keiichi Higuchi Information providing service method, and information provision supplying device and information provision receiving device therefor
JP2005011149A (en) * 2003-06-20 2005-01-13 Oki Electric Ind Co Ltd Information retrieval system and retrieval request device
JP2005092295A (en) * 2003-09-12 2005-04-07 Toshiba Corp Meta information generating method and device, retrieval method and device
JP2005115790A (en) * 2003-10-09 2005-04-28 Sony Corp Information retrieval method, information display and program

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877196A (en) * 1994-09-08 1996-03-22 Fujitsu Ltd Extracting device for document information
JPH0944523A (en) * 1995-07-27 1997-02-14 Fuji Xerox Co Ltd Relative word display device
JPH09294253A (en) * 1996-03-07 1997-11-11 Internatl Business Mach Corp <Ibm> Interactive display and recognition system
JPH10334115A (en) * 1997-06-04 1998-12-18 Fuji Xerox Co Ltd Retrieval expression generating device
JP2000222427A (en) * 1999-02-02 2000-08-11 Mitsubishi Electric Corp Related word extracting device, related word extracting method and recording medium with related word extraction program recorded therein
JP2002024250A (en) * 2000-07-04 2002-01-25 Keiichi Higuchi Information providing service method, and information provision supplying device and information provision receiving device therefor
JP2005011149A (en) * 2003-06-20 2005-01-13 Oki Electric Ind Co Ltd Information retrieval system and retrieval request device
JP2005092295A (en) * 2003-09-12 2005-04-07 Toshiba Corp Meta information generating method and device, retrieval method and device
JP2005115790A (en) * 2003-10-09 2005-04-28 Sony Corp Information retrieval method, information display and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
入部 百合絵: "分散型VODにおける関連情報表示システムの提案", 電子情報通信学会技術研究報告, vol. 第101巻第637号, JPN6009050952, 31 January 2002 (2002-01-31), JP, pages 43 - 48, ISSN: 0001432854 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105719A (en) * 2007-10-24 2009-05-14 Hitachi Ltd Video content viewing terminal
JP2011508319A (en) * 2007-12-19 2011-03-10 グーグル・インコーポレーテッド Video quality measurement
US8402025B2 (en) 2007-12-19 2013-03-19 Google Inc. Video quality measures
JP2009212857A (en) * 2008-03-04 2009-09-17 Sharp Corp Content reproducing unit, content reproducing method, content reproducing system, program, and recording medium
JP2011118667A (en) * 2009-12-03 2011-06-16 Mitsubishi Electric Corp Content search system
JP2013518318A (en) * 2010-01-21 2013-05-20 インディジーン ライフシステムズ プライベート リミテッド Tools for clinical data mining and analysis
JP2016062560A (en) * 2014-09-22 2016-04-25 株式会社東芝 Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
JP4734048B2 (en) 2011-07-27

Similar Documents

Publication Publication Date Title
EP2417767B1 (en) Apparatus and method for providing information related to broadcasting programs
JP5171718B2 (en) Content recommendation device, method, and program
US8346801B2 (en) Context based video finder
JP4734048B2 (en) Information search device, information search method, and information search program
US20070136755A1 (en) Video content viewing support system and method
JP4354441B2 (en) Video data management apparatus, method and program
JP4487018B2 (en) Related scene assigning apparatus and related scene assigning method
JP2014032656A (en) Method, device and program to generate content link
JP2005348055A (en) Device, method for editing user profile and program
JPWO2006046390A1 (en) Information retrieval device
JP2005509949A (en) Method and system for retrieving, updating and presenting personal information
JP2007213497A (en) Information processor, method, and program
JP5894149B2 (en) Enhancement of meaning using TOP-K processing
US20120066235A1 (en) Content processing device
KR20030007727A (en) Automatic video retriever genie
US7577921B2 (en) Method and system for performing search using acronym
JP2006186426A (en) Information retrieval display apparatus, information retrieval display method, and information retrieval display program
WO2015094311A1 (en) Quote and media search method and apparatus
JP2010218385A (en) Content retrieval device and computer program
JP2020129377A (en) Content retrieval method, apparatus, device, and storage medium
JP2008022292A (en) Performer information search system, performer information obtaining apparatus, performer information searcher, method thereof and program
KR100916310B1 (en) System and Method for recommendation of music and moving video based on audio signal processing
JP2009301498A (en) Query replacement retrieval server, retrieval method, and program
JP2004362121A (en) Information retrieval device, mobile information terminal device, information search method, information search program, and recording medium
JP6530002B2 (en) CONTENT SEARCH DEVICE, CONTENT SEARCH METHOD, PROGRAM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100812

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees