JP2008117351A - 検索システム - Google Patents
検索システム Download PDFInfo
- Publication number
- JP2008117351A JP2008117351A JP2006302503A JP2006302503A JP2008117351A JP 2008117351 A JP2008117351 A JP 2008117351A JP 2006302503 A JP2006302503 A JP 2006302503A JP 2006302503 A JP2006302503 A JP 2006302503A JP 2008117351 A JP2008117351 A JP 2008117351A
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- keywords
- document
- document data
- relevance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】複数の文書データが格納された文書DB12と、各文書データから複数のキーワードを抽出し、キーワードDB16に格納するキーワード抽出部14と、全文書データ中における各キーワードの出現頻度を集計し、キーワード共起頻度表20に記録すると共に、キーワード間の共起性に基づく関連度を算出し、キーワード関連度表26に記録する関連度算出部18と、検索語が入力された場合に、キーワード関連度表26を参照し、当該検索語に対して所定の関連度を有するキーワードのリストを生成し、端末装置αに送信する検索処理部30とを備えた検索システム10。
【選択図】図1
Description
この結果ユーザは、目的の情報に辿り着くことが可能となるのであるが、そこでの検索結果はあくまでも予想の範囲のものであり、検索結果リストを眺めても意外な発見を期待することはできなかった。もちろん、検索結果リスト中の個々のデータの詳細を検討する過程で新しい知見を得ることはできるが、検索語と関連の深い他の用語を含む情報を直接的に抽出することはできなかった。
しかしながら、この連想検索システムの場合、連想検索の対象が企業名(関連企業名を含む)に限定されるため、投資対象企業の検索以外に実用的な用途がない点で問題があった。
ここで「形態素」とは、意味を有する最小の言語単位を指す。例えば、「私の名前は鈴木です」を形態素に分解すると、「私(代名詞)」「の(助詞)」「名前(一般名詞)」「は(係助詞)」「鈴木(固有名詞)」「です(助動詞)」となる。
なお、上記(2)〜(6)の各処理は、論理的に矛盾しない限り順不同であり、例えば (2)→(4)→(3)→(5)→(6)あるいは(3)→(5)→(6)→(2)→(4)の順序で処理を実行することもできる。
また、新規の文書データが文書記憶手段に追加された場合でも、当該新規文書データ単位で(1)〜(3)の処理を行い、この算出結果を(4)及び(5)の既存の集計値に加算した後、(6)及び(7)の計算をやり直すだけで済み、文書データ追加時における関連度の再計算処理が容易化される利点がある。
さらに、古くなった文書データの影響を排除する必要がある場合にも、当該旧文書データに係る(2)及び(3)の値を(4)及び(5)の集計値から減算した後、(6)及び(7)の計算をやり直すだけで済むため、キーワード間の関連度を最新のものに維持することが容易となる。
文書DB12には、新聞記事や学術雑誌、論文等の電子データ(テキストデータ)が予め多数蓄積されている。また、固有名詞DB28には、企業名、商品名、サービス名、人物名等の固有名詞がカテゴリ別に多数登録されている。
まずキーワード抽出部14は、文書DB12内に蓄積された各文書データに係り受け表現抽出フィルタ32を適用し、各文書データから所定の係り受け表現を備えた文字列を抽出する(S10)。
すなわち、係り受け表現抽出フィルタ32には、「○○メーカー」、「○○が主力」、「○○を生産」という係り受け表現パターンが予め多数用意されており、キーワード抽出部14は、これに当てはまる表現パターンを検出した後、「○○」に相当する文字列をキーワード候補として抽出する。
まず文字列頻度統計フィルタ36は、図4に示すように、文書中の名詞(ここでは「DVD」)に注目し、このDVDという注目語が文書DB12内に蓄積された各文書データ中に出現する数を集計する。つぎに、文字列頻度統計フィルタ36は、この注目語の前後の形態素に範囲を拡張し、それぞれの全文書中に登場する頻度を集計し、出現頻度が一定以下(例えば20以下)となった時点で文字範囲拡張を停止する。
全文書中における出現頻度が20未満のものはそもそも重要語とはいえず、また5,000を越えるものは逆に特徴のない汎用語あるいは一般語と考えられるからであるが、この範囲設定は文書データの分量や検索システムの使用目的に応じて適宜調整される。
このTermExtractは、専門分野のコーパス(主として研究目的で収集され、電子化された自然言語の文章からなる巨大なテキストデータ)から専門用語を自動抽出するために案出された文字列抽出アルゴリズムであり、文書データ中から単名詞及び複合名詞を候補語として抽出し、各候補語の出現頻度と連接頻度に基づいてそれぞれの重要度を算出する機能を備えている。このTermExtract自体は公知技術であるため、これ以上の説明は省略する。
多数決フィルタ40では、各フィルタによってリストアップされたキーワード候補同士をマッチングし、2以上のフィルタによってキーワード候補として挙げられているものを最終的なキーワードと認定し、キーワードDB16に格納する(S18)。
また、フィルタの数も上記に限定されるものではなく、他の有効なキーワード候補抽出フィルタをキーワード抽出部14に設けることもできる。
まず関連度算出部18は、各キーワードの各文書データ中における共起頻度を集計し、キーワード共起頻度表20を生成する(S20)。
図7は、このキーワード共起頻度表20の具体例を示すものであり、文書DB12に格納された各文書D1〜Dnごとに、各キーワードKW-1〜nの出現頻度が記述されている。
そこで、この実施の形態では、キーワード共起頻度表20に基づいてキーワード組合せ頻度総和表22及びキーワード頻度総和表24を生成することにより、計算工程の簡素化を図っている。
(KW-1, KW-2)、(KW-1, KW-5)、(KW-2, KW-5)
つぎに関連度算出部18は、各組合せ毎に出現頻度を乗じた値を記述したキーワード組合せ頻度総和表22と、各キーワードの出現頻度を二乗した値を記述したキーワード頻度総和表24を生成する(S22、S24)。
同じく、図8のキーワード頻度総和表では、文書D1についての値のみが記述されているが、各文書における各キーワードの出現頻度を二乗した値を足し込んでいき、各キーワードの最終的な値の平方根を求めることにより、数1の分母に相当する値が得られることになる。
上記のように、文書毎に各キーワード間の組合せパターンを抽出し、それぞれの積及び各キーワードの二乗値を求めた上で、各文書の値を加算していくことにより、値が0のキーワードに係る計算処理を省くことが可能となる。
このため、特許文献1の検索システムのように企業名に限定することなく、全キーワード間における関連度を算出することが現実的になる。
古くなった文書データの影響を排除する場合にも、当該文書データ中の各キーワードに係るデータをキーワード組合せ頻度総和表22及びキーワード頻度総和表24から削除し、既存の集計値から削除分の値を減算することによって、簡単にキーワード間の関連度を最新の状態に維持することが可能となる。
まずユーザが端末装置αから検索語を入力すると、これを受け付けた検索処理部30は(S40)、図11に示すように、キーワード関連度表26を参照し、当該検索語と同一または一定範囲内の類似性を有するキーワードを特定すると共に、当該キーワードに対して所定以上の関連度を有するキーワードのリストを抽出する(S42)。
つぎに検索処理部30は、固有名詞DB28の中の例えば企業名DBを参照し、上記リスト中に含まれる企業名を抽出する(S44)。
この抽出された企業名のリストは、検索語に関連の深い企業リストとして端末装置αに送信される(S46)。
また、固有名詞DB28として人物名DBを指定すれば、入力した検索語と関連の深い人物をピックアップできる。
この後、ユーザがキーワードリスト中の特定のキーワードを検索語として指定すると、そのキーワードと所定以上の関連性を備えたキーワードのリストが検索処理部30によってさらに抽出され、端末装置αに送信される。
この結果、ユーザは関連語から関連語へと、連鎖的に検索範囲を広げていくことが可能となり、予想外のキーワードに辿り着くことが期待できる。
つぎに検索処理部30は、この文書番号リストに基づいて文書DB12を検索し、文書本文のリストを生成した後、端末装置αに送信する(S52、S54)。
この結果、端末装置αのディスプレイには、検索語と当該キーワードとが同時に出現している文書の番号、タイトル、抄録、年月日等がリスト表示される。
この結果ユーザは、当該文書データの内容を閲覧し、検索語とキーワードとの関連性を個別に確認することが可能となる。
12 文書DB
14 キーワード抽出部
16 キーワードDB
18 関連度算出部
20 キーワード共起頻度表
22 キーワード組合せ頻度総和表
24 キーワード頻度総和表
26 キーワード関連度表
28 固有名詞DB
30 検索処理部
32 係り受け表現抽出フィルタ
34 区切り文字抽出フィルタ
36 文字列頻度統計フィルタ
38 TermExtractフィルタ
40 多数決フィルタ
Claims (8)
- 複数の文書データが格納された文書記憶手段と、
上記の各文書データから複数のキーワードを抽出し、キーワード記憶手段に格納するキーワード抽出手段と、
全文書データ中における各キーワードの出現頻度を集計し、共起頻度記憶手段に格納する手段と、
各キーワードの各文書データ中における出現頻度データを用いて、キーワード間の共起性に基づく関連度を算出し、キーワード関連度記憶手段に格納する関連度算出手段と、
検索語が入力された場合に、上記キーワード関連度記憶手段を参照し、当該検索語に対して所定の関連度を有するキーワードのリストを生成する手段と、
このキーワードのリストを出力する手段と、
を備えたことを特徴とする検索システム。 - 上記のキーワード抽出手段が、それぞれ固有の抽出基準に基づいてキーワード候補を抽出する複数のフィルタを備え、
各フィルタによって抽出されたキーワード候補をマッチングし、少なくとも複数のフィルタによって抽出されたキーワード候補をキーワードとして認定することを特徴とする請求項1に記載の検索システム。 - 上記フィルタの一つが、
各文書中に含まれる所定の係り受け表現を探索し、当該係り受け表現の少なくとも一部をキーワード候補として選定することを特徴とする請求項2に記載の検索システム。 - 上記フィルタの一つが、
各文書中に含まれる所定の区切り文字を探索し、当該区切り文字で囲まれた文字列をキーワード候補として選定することを特徴とする請求項2または3に記載の検索システム。 - 上記フィルタの一つが、
(1) 各文書中に含まれる名詞を注目語として抽出し、
(2) 各注目語の全文書中における出現頻度を算出し、
(3) 各注目語の一つ前及び/又は一つ後の形態素に範囲を拡張し、この拡張範囲を含めた注目語の全文書中における出現頻度を算出し、
(4) 上記(3)の処理によって算出された出現頻度が所定数以上の場合には、さらにその一つ前あるいは後の形態素に範囲を拡張し、この拡張範囲を含めた注目語の全文書中における出現頻度を算出する処理を、その出現頻度が所定数未満となるまで繰り返し、
(5) 最初の注目語及び拡張範囲を含めた注目語の中で、所定範囲内の出現頻度を有するものをキーワード候補として選定することを特徴とする請求項2〜4の何れかに記載の検索システム。 - 上記関連度算出手段が、
(1) 文書データ単位で、当該文書中に出現実績があり、関連度算出の対象とすべきキーワードを選別する処理と、
(2) 文書データ単位で、各選別キーワード間の出現頻度を乗算し、その積を所定の記憶手段に記録する処理と、
(3) 文書データ単位で、各選別キーワードの出現頻度を二乗し、その値を所定の記憶手段に記録する処理と、
(4) 上記選別キーワード間の積を、全文書データに亘って集計する処理と、
(5) 各選別キーワードの出現頻度の二乗値を、全文書データに亘って集計する処理と、
(6) 上記(5)の集計値の平方根を算出する処理と、
(7) 各キーワードの上記(6)の平方根同士を加算し、その和で上記(4)の集計値を除することにより、両キーワード間の関連度を算出する処理と、
を実行することを特徴とする請求項1〜5の何れかに記載の検索システム。 - 少なくとも企業名、人物名、商品名等の固有名詞が格納された固有名詞データベースと、
この固有名詞データベースを参照し、上記検索語に対して所定の関連度を有するキーワードのリスト中で、当該固有名詞データベースに記録された固有名詞と一致するキーワードを抽出し、そのリストを出力する手段と、
を備えたことを特徴とする請求項1〜6の何れかに記載の検索システム。 - 検索語及び特定のキーワードが入力された場合に、上記出現頻度データを参照し、当該検索語と共に上記キーワードが出現している文書データを特定する手段と、
当該文書データのリストを生成し、出力する手段と、
を備えたことを特徴とする請求項1〜7の何れかに記載の検索システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006302503A JP4969209B2 (ja) | 2006-11-08 | 2006-11-08 | 検索システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006302503A JP4969209B2 (ja) | 2006-11-08 | 2006-11-08 | 検索システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008117351A true JP2008117351A (ja) | 2008-05-22 |
JP4969209B2 JP4969209B2 (ja) | 2012-07-04 |
Family
ID=39503186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006302503A Active JP4969209B2 (ja) | 2006-11-08 | 2006-11-08 | 検索システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4969209B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010267001A (ja) * | 2009-05-13 | 2010-11-25 | Digital Advertising Consortium Inc | 広告支援システム及び広告支援方法 |
CN102169495A (zh) * | 2011-04-11 | 2011-08-31 | 趣拿开曼群岛有限公司 | 行业词典生成方法及装置 |
JP2012014643A (ja) * | 2010-07-05 | 2012-01-19 | Nippon Telegr & Teleph Corp <Ntt> | 期間別主題語句抽出装置及び方法及びプログラム |
JP2013531289A (ja) * | 2010-05-18 | 2013-08-01 | アリババ・グループ・ホールディング・リミテッド | 検索におけるモデル情報群の使用 |
US9740996B2 (en) | 2012-03-27 | 2017-08-22 | Alibaba Group Holding Limited | Sending recommendation information associated with a business object |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102195191B1 (ko) * | 2019-01-09 | 2020-12-28 | 네이버 주식회사 | 키워드 관계 구조를 이용한 신규 키워드 추출 방법 및 시스템 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH043253A (ja) * | 1990-04-20 | 1992-01-08 | Ricoh Co Ltd | キーワード関連度表作成方法 |
JPH08161344A (ja) * | 1994-11-30 | 1996-06-21 | Nippon Steel Corp | ファイル検索管理用のキーワードデータベースファイル作成方法および装置 |
JP2000200281A (ja) * | 1999-01-05 | 2000-07-18 | Matsushita Electric Ind Co Ltd | 情報検索装置および情報検索方法ならびに情報検索プログラムを記録した記録媒体 |
JP2002269115A (ja) * | 2001-03-08 | 2002-09-20 | Ricoh Co Ltd | キーワード抽出装置およびキーワード抽出方法 |
JP2003162639A (ja) * | 2001-11-28 | 2003-06-06 | Fujitsu Ltd | 銘柄選択支援装置 |
-
2006
- 2006-11-08 JP JP2006302503A patent/JP4969209B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH043253A (ja) * | 1990-04-20 | 1992-01-08 | Ricoh Co Ltd | キーワード関連度表作成方法 |
JPH08161344A (ja) * | 1994-11-30 | 1996-06-21 | Nippon Steel Corp | ファイル検索管理用のキーワードデータベースファイル作成方法および装置 |
JP2000200281A (ja) * | 1999-01-05 | 2000-07-18 | Matsushita Electric Ind Co Ltd | 情報検索装置および情報検索方法ならびに情報検索プログラムを記録した記録媒体 |
JP2002269115A (ja) * | 2001-03-08 | 2002-09-20 | Ricoh Co Ltd | キーワード抽出装置およびキーワード抽出方法 |
JP2003162639A (ja) * | 2001-11-28 | 2003-06-06 | Fujitsu Ltd | 銘柄選択支援装置 |
Non-Patent Citations (1)
Title |
---|
渡部勇、外1名: "単語の連想関係によるテキストマイニング", 情報処理学会研究報告(99−FI−55), vol. 第99巻,第57号, JPN6011058390, 16 July 1999 (1999-07-16), JP, pages 57 - 64, ISSN: 0002063513 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010267001A (ja) * | 2009-05-13 | 2010-11-25 | Digital Advertising Consortium Inc | 広告支援システム及び広告支援方法 |
JP2013531289A (ja) * | 2010-05-18 | 2013-08-01 | アリババ・グループ・ホールディング・リミテッド | 検索におけるモデル情報群の使用 |
JP2012014643A (ja) * | 2010-07-05 | 2012-01-19 | Nippon Telegr & Teleph Corp <Ntt> | 期間別主題語句抽出装置及び方法及びプログラム |
CN102169495A (zh) * | 2011-04-11 | 2011-08-31 | 趣拿开曼群岛有限公司 | 行业词典生成方法及装置 |
US9740996B2 (en) | 2012-03-27 | 2017-08-22 | Alibaba Group Holding Limited | Sending recommendation information associated with a business object |
Also Published As
Publication number | Publication date |
---|---|
JP4969209B2 (ja) | 2012-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7814099B2 (en) | Method for ranking and sorting electronic documents in a search result list based on relevance | |
JP3820242B2 (ja) | 質問応答型文書検索システム及び質問応答型文書検索プログラム | |
US20130110839A1 (en) | Constructing an analysis of a document | |
US20130185060A1 (en) | Phrase based document clustering with automatic phrase extraction | |
JP5273735B2 (ja) | テキスト要約方法、その装置およびプログラム | |
JP2009271799A (ja) | 企業相関情報抽出システム | |
JP4969209B2 (ja) | 検索システム | |
Azad et al. | Improving query expansion using pseudo-relevant web knowledge for information retrieval | |
JP2010287020A (ja) | 同義語展開システム及び同義語展開方法 | |
JP2009122807A (ja) | 連想検索システム | |
JP4631795B2 (ja) | 情報検索支援システム、情報検索支援方法および情報検索支援プログラム | |
JP4091146B2 (ja) | 文書検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2006178599A (ja) | 文書検索装置および方法 | |
JP5191204B2 (ja) | 連想検索システム | |
JP2009086903A (ja) | 検索サービス装置 | |
JP2010123036A (ja) | 文書検索装置、文書検索方法、および文書検索プログラム | |
JP2004054882A (ja) | 類義語検索装置、方法、プログラム及び記憶媒体 | |
JP2009271798A (ja) | 業界マップ生成システム | |
JP5180894B2 (ja) | 属性表現獲得方法及び装置及びプログラム | |
JP4128212B1 (ja) | キーワード間の関連度算出システム及び関連度算出方法 | |
EP3203384A1 (en) | Method, device, and computer program for providing a definition or a translation of a word belonging to a sentence as a function of neighbouring words and of databases | |
JP4128209B2 (ja) | キーワード抽出システム | |
JP4959621B2 (ja) | キーワード抽出システム | |
JP2009271796A (ja) | 文書データのノイズ除去システム | |
JP3848014B2 (ja) | 文書検索方法および文書検索装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120403 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4969209 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |