JP2005196668A - Query answering device and query answering system - Google Patents
Query answering device and query answering system Download PDFInfo
- Publication number
- JP2005196668A JP2005196668A JP2004004491A JP2004004491A JP2005196668A JP 2005196668 A JP2005196668 A JP 2005196668A JP 2004004491 A JP2004004491 A JP 2004004491A JP 2004004491 A JP2004004491 A JP 2004004491A JP 2005196668 A JP2005196668 A JP 2005196668A
- Authority
- JP
- Japan
- Prior art keywords
- word
- document
- search
- unit
- question
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、質問文の回答を、予め保持する情報から取得する質問応答装置および質問応答システムに関するものである。 The present invention relates to a question answering apparatus and a question answering system for obtaining an answer to a question sentence from information held in advance.
質問文の回答を、予め保持する情報から取得して応答を行う質問応答システムが特許文献1に示されている。
該特許文献1の発明によれば、質問文の形態素を解析して、質問内容の要となる検索語と質問種別とを得る質問解析処理と、予め保持する文書集合(被検索文書)から、検索語が示されている文書を検索する文書検索処理と、検索で得た文書において、質問種別に応じた単語に対し検索語・出現頻度に基づいて点数を付与し、該点数に基づいて回答すべき単語を決定する回答抽出処理とを行い、質問内容に応じた回答を取得する。
Japanese Patent Application Laid-Open No. 2004-151867 discloses a question answering system that obtains an answer to a question sentence from information held in advance and responds.
According to the invention of
例えば、被検索文書のある文書が「燃料電池について」と示されて保持されており、質問文として「燃料を使う電池は何?」と示されている文面が入力された場合で説明する。
質問解析処理では、質問文の形態素解析を行い、この解析で区切った単語を取得する。すなわち質問解析処理では、「燃料 を 使う 電池 は 何 ?」と形態素の解析を行い、「燃料」や「電池」などの単語を取得する。
For example, a description will be given of a case in which a document with a search target document is held as “About fuel cell” and a text indicating “What is a battery using fuel?” Is input as a question sentence.
In the question analysis process, morphological analysis of the question sentence is performed, and words separated by this analysis are acquired. That is, in the question analysis process, morphemes are analyzed as “What is the battery that uses fuel?” And words such as “fuel” and “battery” are acquired.
文書検索処理は、取得した各単語を検索語として、該検索語が被検索文に含まれているか否か調べる。すなわち文書検索処理では、被検索文を「燃料 電池 に ついて」と形態素解析する。これにより被検索文書における「燃料電池」は「燃料」および「電池」に区切られ、この区切った単語と、検索語として取得した単語とが一致することで、質問文に対応する被検索文書が特定される。 The document search process uses each acquired word as a search word, and checks whether the search word is included in the search target sentence. In other words, in the document search process, the searched sentence is morphologically analyzed as “about fuel cell”. As a result, the “fuel cell” in the searched document is divided into “fuel” and “battery”, and the searched word corresponding to the question sentence is obtained by matching the divided word with the word acquired as the search word. Identified.
回答抽出処理では、特定した被検索文書の各単語に対し、質問種別や検索語・出現頻度に基づいて点数を付与し、付与した点数に基づいて、質問文の回答候補の単語を抽出する。
ところで、「燃料電池について」と示されている被検索文書において、「燃料 電池 に ついて」と形態素解析を行うより、「燃料電池 に ついて」と形態素解析を行うほうが、被検索文書の文面の内容から適切である。然るに、この被検索文書から得る質問文の回答は、「燃料電池」であるべきである。 By the way, in the searched document shown as “About fuel cell”, the morphological analysis of “About fuel cell” is better than the morphological analysis of “Search about fuel cell”. Is appropriate. However, the answer to the question sentence obtained from the searched document should be “fuel cell”.
このような問題を解決すべく、文書検索処理における被検索文書の形態素解析方法と、回答抽出処理における被検索文書の形態素解析方法を、それぞれの処理に合わせて個別に行うことが考えられるが、クライアント・サーバモデルにおいて、クライアント側でセッション管理を行うには、それぞれの形態素解析手法で得た解析結果をクライアント・サーバ間でデータ通信を行う必要がある。このデータ通信は、文書数やその文書の長さに比例して増大することから、データ通信量の増加に伴って処理効率の低減を招く恐れがある。 In order to solve such a problem, it is conceivable to individually perform the morphological analysis method of the searched document in the document search processing and the morphological analysis method of the searched document in the answer extraction processing according to each processing. In the client-server model, in order to perform session management on the client side, it is necessary to perform data communication between the client and the server on the analysis result obtained by each morphological analysis method. Since this data communication increases in proportion to the number of documents and the length of the document, there is a risk that the processing efficiency may be reduced as the amount of data communication increases.
従って前記した課題に鑑み、本発明の目的は適切な回答を、処理効率を低減することなく得る質問応答装置および質問応答システムを提供することにある。 Therefore, in view of the above-described problems, an object of the present invention is to provide a question answering apparatus and a question answering system that can obtain an appropriate answer without reducing processing efficiency.
本発明は、以上の点を解決するために、次の構成を採用する。
〈構成1〉
本発明の質問応答装置は、被検索文書を受入れて、該被検索文書の形態素を解析する被検索文書処理部と、質問文から質問内容の要となる検索語を取得して、該検索語に適合する文書を取得する検索処理部と、取得した文書の各単語に対して得点を付与し、該得点に基づいて質問文の回答となる単語を抽出する回答処理部とを備えた質問応答装置において、前記被検索文書処理部は、受入れた被検索文書の形態素を解析して得る各単語に、当該被検索文書の文書識別子を関連付けた文書索引情報を生成する第1の文書解析部と、前記第1の文書解析部で得た単語に基づいて、質問文の回答対象となり得る単語を適宜生成し、生成した単語を、生成元の単語と置換し、これらの単語を回答単語とし該回答単語に対し、その属性と、被検索文書における出現位置と、当該被検索文書の文書識別子を関連付けた単語情報を生成する第2の文書解析部とを備え、前記検索処理部は、質問文の形態素を解析して得る各単語に基づいて、質問文の回答対象となり得る単語を適宜生成し、生成した単語を質問文の形態素を解析して取得した単語に追加して、これらの単語を検索語として出力する質問解析部と、文書索引情報を参照し、前記検索語に適合する文書の文書識別子を取得する文書検索部とを備え、回答処理部は、前記単語情報を参照し、前記文書検索部からの文書識別子と前記質問解析部からの検索語とに基づいて、該文書識別子に関連付けられた単語から、質問文の回答となる単語を抽出する回答抽出部とを備えることを特徴とする。
The present invention adopts the following configuration in order to solve the above points.
<
The question answering device of the present invention receives a search target document, analyzes a search target document processing unit that analyzes a morpheme of the search target document, acquires a search term that is a key point of the question content from the question sentence, Response processing unit including a search processing unit that acquires a document that conforms to the above and a response processing unit that assigns a score to each word of the acquired document and extracts a word that is an answer to the question sentence based on the score In the apparatus, the searched document processing unit includes: a first document analyzing unit that generates document index information in which each word obtained by analyzing a morpheme of an accepted searched document is associated with a document identifier of the searched document; Based on the words obtained by the first document analysis unit, words that can be answered in the question sentence are generated as appropriate, the generated words are replaced with the original words, and these words are used as answer words. For the answer word, the attribute and the searched document And a second document analysis unit that generates word information that associates the document identifier of the searched document with the search processing unit, based on each word obtained by analyzing the morpheme of the question sentence A question analysis unit that appropriately generates words that can be answered in a question sentence, adds the generated words to words obtained by analyzing the morphemes of the question sentence, and outputs these words as search words; and a document index A document search unit that refers to information and obtains a document identifier of a document that matches the search term, the answer processing unit refers to the word information, and the document identifier from the document search unit and the question analysis unit And an answer extracting unit for extracting a word to be an answer to the question sentence from the word associated with the document identifier based on the search word from.
〈構成2〉
構成1における前記質問解析部は、前記質問文に対し、前記第1の文書解析部における形態素解析と同じ形態素解析を行う質問文形態素解析処理部と、該質問文形態素解析処理で取得する各単語を複合し、質問文の回答対象となり得る複合語を生成すると共に、文書の揺れを解消する検索単語後処理部と、該検索単語後処理部で生成した複合語を前記質問文形態素解析処理部で取得する単語に追加する検索単語追加処理部とを備えることを特徴とする。
<
The question analysis unit in the first configuration includes a question sentence morpheme analysis processing unit that performs the same morphological analysis as the morpheme analysis in the first document analysis unit on the question sentence, and each word acquired in the question sentence morpheme analysis process A search word post-processing unit that generates a compound word that can be an answer target of a question sentence and eliminates fluctuations in the document, and a compound word generated by the search word post-processing part is converted into the question sentence morphological analysis processing unit And a search word addition processing unit for adding to a word acquired in step (1).
〈構成3〉
構成1における前記第2の文書解析部は、前記第1の文書解析部で得た単語に基づいて、質問文の回答対象となり得る複合語を生成すると共に、文書の揺れを解消する単語後処理部と、該単語後処理部で生成した複合語を、複合元の単語と置換する単語置換処理部とを備えることを特徴とする。
<
The second document analysis unit in the
〈構成4〉
本発明の質問応答システムは、クライアントおよびサーバ間にネットワークが設けられたシステムであり、前記サーバは、被検索文書を受入れて、該被検索文書の形態素を解析する被検索文書処理部と、質問文から質問内容の要となる検索語を得て、該検索語に適合する文書を取得する検索処理部と、取得した文書の各単語に対して得点を付与し、該得点に基づいて質問文の回答となる単語を抽出する回答処理部とを備えており、前記クライアントは、利用者から質問文を取得する入力部と、質問文の回答を出力する出力部とを備えた質問応答システムにおいて、前記被検索文書処理部は、受入れた被検索文書の形態素を解析して得る各単語に、当該被検索文書の文書識別子を関連付けた文書索引情報を生成する第1の文書解析部と、前記第1の文書解析部で得た単語に基づいて、質問文の回答対象となり得る単語を適宜生成し、生成した単語を、生成元の単語と置換し、これらの単語を回答単語とし該回答単語に対し、その属性と、被検索文書における出現位置と、当該被検索文書の文書識別子を関連付けた単語情報を生成する第2の文書解析部とを備え、前記検索処理部は、質問文の形態素を解析して得る各単語に基づいて、質問文の回答対象となり得る単語を適宜生成し、生成した単語を質問文の形態素を解析して取得した単語に追加して、これらの単語を検索語として出力する質問解析部と、文書索引情報を参照し、前記検索語に適合する文書の文書識別子を取得する文書検索部とを備え、回答処理部は、前記単語情報を参照し、前記文書検索部からの文書識別子と前記質問解析部からの検索語とに基づいて、該文書識別子に関連付けられた単語から、質問文の回答となる単語を抽出する回答抽出部とを備え、前記クライアントは、前記質問解析部からの検索語と、前記文書検索部からの文書識別子とを、入力部で取得する質問文に対応付けて管理し、該検索語と文書識別子とを前記質問抽出部へ出力するセッション管理部を備えることを特徴とする。
<Configuration 4>
A question answering system of the present invention is a system in which a network is provided between a client and a server, and the server accepts a searched document and analyzes a searched document processing unit that analyzes a morpheme of the searched document, A search processing unit that obtains a search word that is the key to the contents of a question from a sentence, acquires a document that matches the search word, and assigns a score to each word of the acquired document, and a question sentence based on the score In the question answering system, the client includes an input processing unit that extracts a question sentence from the user, and an output unit that outputs the answer to the question sentence. The searched document processing unit generates a document index information in which each word obtained by analyzing a morpheme of an accepted searched document is associated with a document identifier of the searched document; and First Based on the words obtained by the document analysis unit, the words that can be answered in the question sentence are generated as appropriate, the generated words are replaced with the original words, and these words are used as the answer words. A second document analysis unit that generates word information that associates the attribute, the appearance position in the searched document, and the document identifier of the searched document, and the search processing unit analyzes a morpheme of the question sentence Based on each word obtained, generate words that can be answered in the question sentence as appropriate, add the generated words to the words obtained by analyzing the morphemes of the question sentence, and output these words as search words And a document search unit that obtains a document identifier of a document that matches the search term by referring to the document index information, and the answer processing unit refers to the word information from the document search unit. Document identifier and quality An answer extraction unit that extracts a word as an answer to a question sentence from words associated with the document identifier based on a search word from the analysis unit, and the client includes the search word from the question analysis unit And a session management unit that manages the document identifier from the document search unit in association with a question sentence acquired by the input unit, and outputs the search term and the document identifier to the question extraction unit. And
〈構成5〉
構成4に記載の前記セッション管理部は、取得する文書識別子に関連付けられた被検索文書を表示して、利用者に所望の被検索文書を選定させ、その選定された被検索文書に関連付けられている文書識別子を前記回答抽出部へ出力することを特徴とする。
<Configuration 5>
The session management unit according to Configuration 4 displays a search target document associated with a document identifier to be acquired, causes a user to select a desired search target document, and associates the search target document with the selected search target document. The document identifier is output to the answer extraction unit.
〈構成6〉
構成4に記載の前記質問解析部は、前記質問文に対し、前記第1の文書解析部における形態素解析と同じ形態素解析を行う質問文形態素解析処理部と、該質問文形態素解析処理で取得する各単語を複合し、質問文の回答対象となり得る複合語を生成すると共に、文書の揺れを解消する検索単語後処理部と、該検索単語後処理部で生成した複合語を前記質問文形態素解析処理部で取得する単語に追加する検索単語追加処理部とを備えることを特徴とする。
<
The question analysis unit according to Configuration 4 acquires the question sentence by the question sentence morpheme analysis processing unit that performs the same morphological analysis as the morpheme analysis in the first document analysis unit, and the question sentence morpheme analysis process. Each word is compounded to generate a compound word that can be an answer target of the question sentence, and a search word post-processing unit that eliminates the fluctuation of the document, and the compound word generated by the search word post-processing part is analyzed by the question sentence morpheme analysis And a search word addition processing unit to be added to the words acquired by the processing unit.
〈構成7〉
構成4に記載の前記第2の文書解析部は、前記第1の文書解析部で得た単語に基づいて、質問文の回答対象となり得る複合語を生成すると共に、文書の揺れを解消する単語後処理部と、該単語後処理部で生成した複合語を、複合元の単語と置換する単語置換処理部とを備えることを特徴とする。
<Configuration 7>
The second document analysis unit according to Configuration 4 generates a compound word that can be an answer target of a question sentence based on the word obtained by the first document analysis unit, and a word that eliminates shaking of the document A post-processing unit and a word replacement processing unit that replaces the compound word generated by the word post-processing unit with a compound source word are provided.
本発明の質問応答装置によれば、質問文の要となる検索語を取得するため行う形態素解析と、被検索文書の形態素解析とを同じ方法で行い、被検索文書の形態素解析で得た単語に基づいて、質問文の回答となり得る単語を生成し、生成した単語を生成元の単語と置換して得た回答単語を参照し、前記検索単語と合致する回答単語を質問文の回答として抽出することにより、質問文の形態素解析と同じ方法で被検索文書の形態素解析を行い、その解析結果を用いて回答単語を抽出するための形態素解析を行うことから、質問文の要となる検索語に対応する被検索文書を取得するための形態素解析を行った後に、該被検索文書から回答単語を抽出するための他の方法で形態素解析を行う必要がないことから、効率的に適切な回答を得ることができる。 According to the question answering device of the present invention, the morpheme analysis performed for acquiring the search word that is the key of the question sentence and the morpheme analysis of the searched document are performed in the same method, and the word obtained by the morphological analysis of the searched document Based on the above, a word that can be an answer to a question sentence is generated, an answer word obtained by replacing the generated word with the original word is referred to, and an answer word that matches the search word is extracted as an answer to the question sentence Therefore, the morphological analysis of the searched document is performed in the same way as the morphological analysis of the question sentence, and the morphological analysis for extracting the answer word using the analysis result is performed. Since there is no need to perform morpheme analysis by another method for extracting the response word from the searched document after performing the morphological analysis to acquire the searched document corresponding to Can get .
更に、本発明の質問応答システムによれば、被検索文書の解析を行い、被検索文書検索のための文書索引情報と、質問文に対する回答のための回答単語に対し文書識別子と属性と出現位置とを関連付けた単語情報とを作成する被検索文書処理部と、質問文の要となる検索語を取得し、該検索語に適合する被検索文書の文書識別子を単語情報を参照して取得する検索処理部と、文書識別子と検索語と質問種別とに基づいて、単語情報を参照して回答単語を抽出する回答処理部をサーバに備え、サーバ側の検索処理部からの文書識別子および検索語を質問文に対応付けて管理し、該検索語と文書識別子とを前記質問抽出部へ出力するセッション管理部をクライアント側に設けることにより、被検索文書の文書識別子の取得と、回答単語の抽出のための形態素解析手法をそれぞれ行って、検索処理部による結果のうち各被検索文書中での各検索語の位置をクライアント・サーバ間でデータ通信を行う必要がないことから、すなわち文書識別子および検索語のみを通信するだけでよいことから、データ通信量の増加を招くことなく、効率的に適切な回答を得ることができる。 Further, according to the question answering system of the present invention, the searched document is analyzed, the document index information for searching the searched document, and the document identifier, attribute, and appearance position for the answer word for answering the question sentence To-be-searched document processing unit for creating the word information that associates the search term, and the search word that is the key to the question sentence is acquired, and the document identifier of the searched document that matches the search word is acquired by referring to the word information The server includes an answer processing unit that extracts an answer word by referring to word information based on the document identifier, the search word, and the question type, and the document identifier and the search word from the server-side search processing unit. Is associated with a question sentence, and a session management unit that outputs the search word and document identifier to the question extraction unit is provided on the client side, thereby obtaining the document identifier of the searched document and extracting the answer word No The morpheme analysis method of each is performed, and the position of each search word in each searched document among the results of the search processing unit does not need to be communicated between the client and the server, that is, the document identifier and the search word Therefore, it is possible to obtain an appropriate answer efficiently without increasing the amount of data communication.
以下、本発明の実施形態をクライアント・サーバ構成の質問応答システムの例を、図を用いて詳細に説明する。 Hereinafter, an example of a question answering system having a client / server configuration will be described in detail with reference to the drawings.
本発明の質問応答システム10は、図1に示すように、サーバ群20と、クライアント30とを備えており、該サーバ群20およびクライアント30が図示しない伝送路としてのネットワークに接続されており、該ネットワークを介してサーバ群20およびクライアント30間でデータ通信が行なわれる。 As shown in FIG. 1, the question answering system 10 of the present invention includes a server group 20 and a client 30, and the server group 20 and the client 30 are connected to a network as a transmission path (not shown). Data communication is performed between the server group 20 and the client 30 via the network.
サーバ群20は、被検索文書処理部40と、検索処理部50と、回答処理部60とを備えている。
被検索文書処理部40は、被検索文書100を受入れる文書投入部200と、受入れた文書の解析を行う第1の文書解析部300と、該第1の文書解析部300の解析結果に基づいて、単語編集を行うための解析を行う第2の解析部400とを備える。
検索処理部50は、第1の文書解析処理部300での形態素解析で取得する単語と、該単語の出現頻度と、当該被検索文書を検索するためのインデックス(文書識別子)とを関連付けて文書索引情報として保持する文書索引情報蓄積部500と、クライアント30からの質問文を解析して質問内容の要となる単語(単語群)を検索語として取得する質問解析部700と、文書索引情報蓄積部500を参照し、検索語に対応する単語に関連付けられている文書識別子を取得する文書検索部800とを備えている。
The server group 20 includes a searched document processing unit 40, a search processing unit 50, and an answer processing unit 60.
The searched document processing unit 40 is based on a
The search processing unit 50 associates a word acquired by morpheme analysis in the first document analysis processing unit 300, an appearance frequency of the word, and an index (document identifier) for searching the search target document. A document index
回答処理部60は、第2の文書解析部400での解析結果に基づいて、被検索文書の文書識別子と、後述する回答単語と、その属性と、その出現位置とが関連付けられた単語情報を保持する単語情報蓄積部600と、該単語情報蓄積部600の単語情報を参照してクライアントからの文書識別子および検索語に基づいて、質問文の回答として回答単語を抽出する回答抽出部900とを備える。
クライアント30は、質問文1100を受入れる入力部1200と、該入力部1200で受入れた質問文と質問解析部700で得る検索語と文書識別子とに基づいて、サーバ群20との遣り取りの管理を行うセッション管理部1300と、回答抽出部900からの回答を利用者に提示するための出力部1400とを備える。
Based on the analysis result in the second
The client 30 manages communication with the server group 20 based on the
次に、各部を詳細に説明する。
文書投入部200が受入れる被検索文書100は、例えば新聞、論文、特許文献、Web(World Wide Web)ページに示された文書(文書群)などである。この被検索文書100に質問文1100の回答としての情報(単語)が含まれているとき、質問応答システム10は、的確な回答を得ることができる。
Next, each part will be described in detail.
The
文書投入部200は、被検索文書100がディスクで保持管理されているファイルなどでは、被検索文書として指定したファイルの読み込み処理を行う。また、被検索文書100がWebページなどに示されていれば、文書投入部200は指定されたURL(Uniform Resource Locator)にHTTP(Hyper Text Transfer Protocol)などの手段でアクセスして被検索文書100を取得する。また、被検索文書100が紙などの媒体に印刷されているときには、文書投入部200はOCR(Optical Character Reader)と同様な機能で被検索文書100の印刷内容を取得する。
The
第1の文書解析部300は、形態素解析処理部310を備えており、該形態素解析処理部310は、文書投入部200で取得する被検索文書100の形態素を解析し、該解析で得る単語もしくは特定の品詞の単語を取得する。取得した各単語は後述する文書検索部800において検索対象となり得る単語であり、該単語に複数の文書(被検索文書100)を識別するための文書識別子と該文書における出現頻度とが形態素解析処理部310で対応付けられる。この対応付けられた情報は、文書索引情報として文書索引情報蓄積部500で保持される。
The first document analysis unit 300 includes a morpheme
第2の解析部400は、第1の文書解析部300で形態素解析した文章を受け取ると、質問応答システム10の答えとして適切な回答となり得る単語を必要に応じて生成する。第2の解析部400は、生成した単語や第1の文書解析部300で形態素を解析して得た単語などの回答単語に、文書識別子、属性、文書中における出現位置などの関連付けを行う。関連付けられた情報は、単語情報として単語情報蓄積部600で保持される。
When the
ところで、第2の解析部400は、単語後処理部410と単語置換処理部420とを備えており、単語後処理部410は、形態素解析処理部310で形態素単位で区切った文書を受けると、係り受けや文字種の区切れなどから、複数の単語を一つに纏めることが適当である場合、一つに纏めた単語を生成する。例えば形態素解析で「○×電気」「工業」「株式会社」に各単語が区切られた場合、「株式会社」は、社名の接頭語もしくは接尾語になると考えられるので、「株式会社」の前または後ろで社名となり得る範囲に含まれる単語を1語に纏め、「○×電気工業株式会社」「株式会社○×電気工業」などの単語を生成する。
また、単語後処理部410は、例えば「コンピュータ」および「コンピューター」などの表記のゆれと称される違いを解消すべく、「コンピュータ」に統一する正規化処理を行う。
By the way, the
In addition, the word
単語置換処理部420は、単語後処理部410で作成された単語を、作成元になった単語と置き換える。すなわち、単語置換処理部420は、先程の例において「○×電気」「工業」「株式会社」の各単語を、生成した「○×電気工業株式会社」もしくは「株式会社○×電気工業」に、重複しないように置き換える処理を行いう。単語置換処理部420は、置換した単語と、置換処理の必要がない単語とを回答単語として、該回答単語に対し、その属性と、出現位置と、文書識別子とを関連付け、これを単語情報として生成する。生成した単語情報は、単語情報蓄積部600で保持される。
The word
質問解析部700は、入力部1200で受付けた利用者からの質問文1100より、質問内容の要となるべき単語を検索語として抽出する処理を行う。この検索語は、文書索引情報蓄積部500の文書索引情報や単語情報蓄積部600の単語情報などの何れにも含まれるような単語(単語群)である。ところで、質問解析部700は、サーバ群20側もしくはクライアント30側に実装される。本実施例においては、質問解析部700をサーバ群20側に実装する例で説明する。
The
前記した質問解析部700は、質問文形態素解析処理部710と、検索単語後処理部720と、検索単語追加処理部730とを備える。質問文形態素解析処理部710は、入力部1200で取得する質問文1100の形態素を解析し、該解析で得る単語もしくは特定の品詞の単語を取得する。すなわち、質問文形態素解析処理部710は、前記した形態素解析処理部310と同様の機能である。
The above-described
検索単語後処理部720は、質問文形態素解析処理部710で形態素単位で区切った質問文を受けると、係り受けや文字種の区切れなどから、複数の単語を一つに纏めることが適当である場合、一つに纏めた単語を生成する。すなわち、検索単語後処理部720は、前記した単語後処理部410と同様の機能である。
When the query word
検索単語追加処理部730は、検索単語後処理部720で生成された単語を、作成元になった単語に追加する処理を行う。例えば、検索単語後処理部720で「燃料」および「電池」に基づいて「燃料電池」が生成されると、検索単語追加処理部730は、「燃料」「電池」に「燃料電池」を追加する。検索単語追加処理部730は、「燃料」「電池」「燃料電池」の単語群を検索語として、文書検索部800およびセッション管理部1300へ出力する。
The search word
文書検索部800は、検索単語追加処理部730からの検索語を取得すると、文書索引情報蓄積部500の文書索引情報を参照して、検索語に対応する単語を検索する。この検索は、従来から知られた文書全般における出現頻度や、文書に含まれる各文章での出現頻度、疑問文中での出現頻度などに基づく一般的な手法で行うことができる。文書検索部800は、検索して得た単語に関連付けられている文書識別子を取得すると、該文書識別子をセッション管理部1300へ出力する。
When the
質問解析部700の質問文形態素解析処理部710は、形態素解析処理部310と同様の機能であることから、質問解析部700から取得する単語(検索語)には、形態素解析処理部310で同様に形態素を解析して得る単語が含まれている可能性がある。すなわち、被検索文書100を解析する形態素解析処理部310と、質問文1100を解析する質問文形態素解析処理部710とは、形態素の解析機能が同じであることから、被検索文書100および質問文1100に同じ単語が含まれている場合、質問解析部700は形態素解析処理部310で形態素解析して得る単語が含まれた検索語を出力する。
Since the question sentence morpheme
また、検索単語後処理部720で生成した単語が検索単語追加処理部730で追加されることから、質問解析部700が出力する検索語には、形態素解析処理部310が出力しない単語、すなわち文書索引情報蓄積部500に含まれない単語を含んでいる。従って、このような単語は、文書索引情報蓄積部500の文書索引情報において、出現頻度が0となり、この出現頻度を利用してこの単語が文書検索に影響を与えない文書の検索を行うことができる。これにより、文書検索部800では、検索単語追加処理部730で追加された単語の影響を受けることなく文書検索することができ、後述する回答抽出部900では検索単語追加処理部730で追加された単語を加味した検索を行うことができる。
Further, since the word generated by the search word
セッション管理部1300は、文書検索部800において検索して得た単語に関連付けられている文書識別子と、質問解析部700からの検索語と入力部1200で取得する質問文1100とを関連付けた管理を行う。例えば文書検索部800で検索語に基づいて得た文書識別子がWebのURLである場合、セッション管理部1300はそのURLに対しアクセスを行ない、その内容を図示しない表示入力部に表示し、利用者に所望の識別子を選択させるべく、利用者からの入力を受付けるために、質問文1100と検索語と文書識別子との管理を行う。
The
このセッション管理部1300はクライアント30に備えられており、複数の質問文1100による複数の文書識別子や複数の検索語などの複雑な論理演算をクライアントで行なわれることから、サーバ群20で利用者毎の管理を行う必要がない。
The
回答抽出部900は、セッション管理部1300からの回答を抽出対象の文書を示す識別子と、質問種別と、検索語とを取得すると、単語情報蓄積部600を参照して、質問種別に応じた属性の単語を単語情報から抽出する。質問種別は例えば人名、地名、技術名などであり、従来から知られた質問文1100を解析して得ることができる。この方法以外に、質問者が入力端末を用いて指定してもよいし、また所定の質問種別のみ(例えば人名のみ)を回答するシステムであれば、必然にその対象のみを回答してもよい。
When the
また、回答抽出部900は、セッション管理部1300からの検索語と、回答候補の単語との文書中における位置関係に基づいて回答の重要度を求め、質問文1100との関連性の高い回答を抽出する。ところで、検索語には、単語情報蓄積部600に含まれない単語を含んでいる可能性があり、すなわち単語置換処理部420での置換により、置換されてしまう単語は、単語情報蓄積部600に蓄積されない。しかし、このような検索語を用いて質問文1100と関連性の高い回答を得る際、回答候補の単語との位置関係の評価に用いないことから、回答抽出部900での回答抽出に影響を及ぼすことはない。
In addition, the
出力部1400は、回答抽出部900で求めた回答を受けると、該回答にセッション管理部1300で管理する質問文を対応付けて利用者に表示するなどの利便性の考慮が行われる。
When the
次に質問応答システム10の動作を、被検索文書100および質問文1100の具体的な例を用いて詳細に説明する。
被検索文書100として、図2に示すように、D1およびD2の2つの文書例で説明を行う。D1には″○×太郎: 「燃料電池の開発について」水素と酸素による燃料電池は、・・・・″と示されており、D2には″水素と酸素を燃料として発電するる電池を○×太郎(●大教授)が開発した。″と示されている。
Next, the operation of the question answering system 10 will be described in detail using specific examples of the searched
The
先ず、被検索文書100としてのD1およびD2が、文書索引情報蓄積部500および単語情報蓄積部600で保持されるまでの質問応答システム10の動作を説明する。
文書投入部200で取得した文書D1および文書D2が第1の文書解析部300の形態素解析処理部310へ送られると、該形態素解析処理部310は、文書D1および文書D2を形態素単位に区切る。文書D1を例に説明すると、文書D1は″○× 太郎 : 「 燃料 電池 の 開発 について 」 水素 と 酸素 に よる 燃料 電池 は 、 ・・・・″に区切られる。
First, the operation of the question answering system 10 until D1 and D2 as the
When the document D1 and the document D2 acquired by the
このとき、形態素解析処理部310は、図3に示すように、区切った単語の品詞を求めて、その自立語を取得する。すなわち、形態素解析処理部310は、「○×」「太郎」「燃料」「電池」「開発」「水素」「酸素」を取得する。本実施例では、説明の便宜上、自立語のみを取得した例で説明するが、これに限る必要はない。
At this time, as shown in FIG. 3, the morphological
その後、形態素解析処理部310は、取得した各単語の文書中における出現回数を出現頻度として求める。すなわち、「燃料」および「電池」の出現回頻度は2回であり、それ以外の単語の出現頻度は1回である。形態素解析処理部310は、出現頻度とその単語とを関連付けると共に、文書識別子「D1」も関連付けた後、それを文書索引情報として文書索引情報蓄積部500に保持させる。形態素解析処理部310は、文書D2についてもで前記した処理を行うと、図4に示す文書索引情報を生成し、該文書索引情報を文書索引情報蓄積部500で保持させるべく、該文書索引情報を文書索引情報蓄積部500へ出力する。
After that, the morphological
また、形態素解析処理部310は、形態素解析を行った結果を第2の解析部400の単語後処理部410へ出力する。単語後処理部410は、形態素解析処理部310で取得した単語を取得すると、取得した単語を組合わせてて、回答として適切な単語を生成する。例えば、文書D1の解析で「○×」「太郎」「燃料」「電池」「開発」「水素」「酸素」を取得した単語後処理部410は、例えば、「姓+名」の関係に基づいて「○×」および「太郎」から「○×太郎」なる単語を生成し、「燃料」および「電池」から「燃料電池」なる単語を生成する。すなわち、単語後処理部410は、「名詞」+「名詞」で「複合語の名詞」としての単語を作成する。
Further, the morpheme
また、単語後処理部410は、文書D1に示す「(中略)酸素による燃料電池は・・・」の助詞の係り受け、すなわち「〜による〜は」に基づいて、複数の単語を複合する範囲を決定してもよい。その他に、単語後処理部410は、名詞+「電池」などの場合では電池の種類を示す知識を予め保持しておき、それを利用して複合語を作成してもよい。
Further, the word
単語置換処理部420では、単語後処理部410で生成した「○×太郎」や「燃料電池」などの単語と、それ以外の「○×」「太郎」「燃料」「電池」「開発」「水素」「酸素」元の単語とを取得すると、元の単語を複合語で置換する。すなわち、元の単語の「○×」および「太郎」は、「○×太郎」に置き換えられ、元の単語の「燃料」および「電池」は「燃料電池」に置き換えられる。これにより、単語置換処理部420は、元の単語を複合語で置換して、「○×太郎」「燃料電池」「開発」「水素」「酸素」の各単語を回答単語として取得する。
単語置換処理部420は、文書D2についてもで前記した処理を行うと、図5に示すように、回答単語に属性と、文書における出現位置と、その文書識別子とを関連付けた単語情報を単語情報蓄積部600に保持させるべく、該単語情報を単語情報蓄積部600へ出力する。
In the word
When the word
次に、クライアント30の入力部1200で利用者が人名を問う「燃料電池の開発者」を質問文として入力し、その質問文の回答を得るまでの質問応答システム10の動作を説明する。
クライアント30の入力部1200で入力された質問文は、ネットワークを介してクライアント30の質問解析部700とセッション管理部1300へ送られる。このとき、セッション管理部1300には、入力部1200で取得する「人名を問う」質問種別も送られる。
Next, the operation of the question answering system 10 will be described until a “fuel cell developer” whose user asks a person's name is input as a question text at the
The question text input by the
質問解析部700では、先ず質問文形態素解析処理部710で質問文の形態素を解析する。すなわち質問文形態素解析処理部710は、図6に示すように、質問文を「燃料 電池 の 開発 者」に区切り、自立語を取得する。この形態素解析は、前記した形態素解析処理部310における形態素の解析方法と同様である。
In the
質問文形態素解析処理部710で得た単語を取得した検索単語後処理部720は、適宜取得した単語に基づいて複合語の生成を行う。この複合語の生成は、前記した単語後処理部410での処理と同様の方法で行なわれる。すなわち、「燃料」および「電池」から「燃料電池」が生成され、「開発」および「者」から「開発者」が生成される。そして、検索単語後処理部720は、表記のゆれを解消する正規化処理を行う。
The search word
その後、検索単語追加処理部730は、検索単語後処理部720で生成された単語を、質問文形態素解析処理部710で取得した単語群に追加する。すなわち、検索単語追加処理部730は、「燃料」「電池」「開発」「者」に「燃料電池」および「開発者」を追加する。検索単語追加処理部730で「燃料電池」および「開発者」が追加された単語群は、検索語として文書検索部800およびセッション管理部1300へ出力される。
Thereafter, the search word
質問解析部700からの検索語を取得した文書検索部800は、文書索引情報蓄積部500を参照して、検索語に対応する単語が図4に示す検索情報に含まれるか否かを調べ、検索語と一致する単語があれば、その単語に関連付けられている文書識別子をセッション管理部1300へ出力する。すなわち、文書検索部800は、検索語の「燃料」「電池」「開発」が検索情報に含まれていると判断し、その単語が関連付けられている文書識別子D1およびD2を取得し、該文書識別子をセッション管理部1300へ出力する。
The
セッション管理部1300は、取得した文書識別子と共に質問文を図示しない表示入力装置で表示する。利用者は、表示内容に基づいて所望の文書識別子を選定する。このとき、例えば文書識別子にURLなどが関連付けられている場合、セッション管理部1300は、そのURLにアクセスを行ない、Webページに示されている内容の全部または一部を表示入力装置に表示する。これにより、利用者は表示される内容に基づいて、所望の文書識別子を選定することができる。従って、セッション管理部1300が出力する文書識別子は、質問文の回答のための単語(回答単語)を含むであろうと、利用者が任意に選定した文書識別子である。
The
その後、利用者により選択された文書識別子と、質問解析部700からの検索語と、質問種別とが、セッション管理部1300からネットワークを介して回答抽出部900へ出力される。
Thereafter, the document identifier selected by the user, the search term from the
ところで、従来の質問応答システムにおけるセッション管理では、質問文の要となる検索語に適合する文書識別子を取得するために、形態素解析を行った結果をサーバとクライアント間でデータ通信を行う。つまり、形態素解析で区切った各単語の情報をサーバとクライアント間で通信する。更に、文書識別子を取得した後、質問文の回答を抽出するために、該文書識別子に関連付けられている被検索文書に対し、改めて形態素の解析を行った結果をサーバとクライアント間でデータ通信を行うことから、被検索文書の文面や質問文が長くなるほど、データ通信量が増加し、処理効率が低下していた。 By the way, in the session management in the conventional question answering system, in order to acquire a document identifier that matches the search term that is the key to the question sentence, the result of the morphological analysis is performed between the server and the client. That is, information on each word separated by morphological analysis is communicated between the server and the client. Further, after obtaining the document identifier, in order to extract the answer to the question sentence, the result of the morpheme analysis performed again on the searched document associated with the document identifier is transmitted between the server and the client. As a result, the longer the text of the search target document and the question sentence, the greater the amount of data communication and the lower the processing efficiency.
一方、本発明のセッション管理では、文書識別子の取得処理および回答単語の抽出処理毎で形態素解析を行う必要がなく、しかも形態素解析で区切った各単語の情報を取得する必要がない。すなわち本発明のセッション管理では、文書識別子と検索語のみをデータ通信すればよいことから、従来と比較してデータ通信量を低減することができる。 On the other hand, in the session management of the present invention, it is not necessary to perform morpheme analysis for each document identifier acquisition process and answer word extraction process, and it is not necessary to acquire information of each word separated by morpheme analysis. That is, in the session management of the present invention, only the document identifier and the search word need be communicated, so the amount of data communication can be reduced compared to the conventional case.
文書識別子、検索語、質問種別を取得した回答抽出部900は、図5に示す単語情報を参照し、文書識別子に関連付けられている回答単語において、質問種別に対応するW11およびW12の「○×太郎」を回答として抽出する。また、回答抽出部900は、単語情報において、文書識別子に関連付けられている回答単語から、検索語と一致する「燃料電池」、「開発」、「燃料」「電池」の抽出、すなわち図5におけるR11、R12、R13、R15、R18、R19およびR20を抽出する。回答抽出部900は、抽出した各回答単語に対し、従来から知られた方法により、属性、文書中の出現位置関係や質問種別などに基づいて点数を付与する。点数が付与された各回答単語は回答抽出部900から出力部1400へ送られる
The
点数が付与された各回答単語を取得した出力部1400は、例えば点数が高い順に回答単語を表示する。このとき、出力部1400は、回答単語と共に質問文などを一緒に表示してもよい。
The
前記したように、本発明の質問応答システム10によれば、「燃料電池」と纏まった単語を含む文書D1においても、また「燃料」および「電池」と個別の単語を含む文書D2においても、質問文の要となる単語、すなわち「燃料電池」が含まれる文書識別子を文書検索部800で取得することができ、取得した文書識別子と検索語および質問種別に基づいて回答抽出部900で質問文の回答としての適切な回答単語を抽出することができる。
As described above, according to the question answering system 10 of the present invention, both in the document D1 including the words “fuel cell” and in the document D2 including the individual words “fuel” and “cell”, The
次に、質問文が例えば「○×太郎先生が開発したもの」であり、その質問種別が名詞である場合を説明する。
質問文は、質問解析部700の質問文形態素解析処理部710で「○× 太郎 先生 が 開発 した もの」に形態素解析され、自立語として「○×」「太郎」「先生」「開発」「もの」の単語が取得される。検索単語後処理部720は、「○×」および「太郎」に基づいて、複合語として「○×太郎」を生成する。生成された複合語は、検索単語追加処理部730で取得されると、該検索単語追加処理部730は、「○×」「太郎」「先生」「開発」「もの」「○×太郎」から成る単語群(検索語)を生成する。
Next, a case will be described in which the question sentence is, for example, “developed by Professor XX × Taro” and the question type is a noun.
The question sentence is analyzed by the question sentence morphological
文書検索部800は、文書索引情報蓄積部500を参照して、図4に示す文書検索情報において、検索語と一致する単語に関連付けられた文書識別子を取得する。すなわち文書検索部800はD1およびD2を取得し、該文書識別子をセッション管理部1300へ出力する。文書識別子を取得したセッション管理部1300は、文書検索部800から文書識別子を取得し、質問解析部700からの検索語を取得し、入力部1200から質問文および質問種別を取得すると、文書識別子、検索語および質問種別を回答抽出部900へ出力する。
The
回答抽出部900は、単語情報蓄積部600を参照して、取得する文書識別子、検索語および質問種別に基づく回答単語の抽出を行う。すなわち、回答抽出部900は、単語情報蓄積部600の単語情報において、文書識別子が関連付けられている回答単語において、質問種別が名詞である「燃料電池」「水素」「酸素」「燃料」「電池」の抽出、つまり図5におけるR11、R13、R14、R15、R16、R17、R18およびR19を抽出する。これにより、回答抽出部900は、「燃料」および「電池」が纏まった「燃料電池」を質問文の回答として抽出することができる。
The
回答抽出部900は、抽出した各回答単語に対し、従来から知られた方法により、属性、文書中の出現位置関係や質問種別などに基づいて点数を付与し、点数を付与した回答単語を質問文の回答として出力部1400へ出力する。
ところで、本実施例では名詞および動詞の双方の品詞を有する単語は質問文の回答としては適切ではない場合が多いので、このような回答単語は、抽出の対象から除外している。また、回答として相応しくない回答単語を除外する他に、回答抽出部900で付与する点数を低く抑えてもよい。
The
By the way, in this embodiment, since words having both parts of speech of nouns and verbs are often not appropriate as answers to question sentences, such answer words are excluded from extraction targets. In addition to excluding answer words that are not suitable as answers, the number of points assigned by the
以上説明したように、本発明の質問応答システム10によれば、被検索文書100を形第1の文書解析部300で形態素解析して文書索引情報を作成し、第2の解析部400で複合語を作成し、該複合語による置換を行い単語情報を作成する。そして本発明の質問応答システム10によれば、質問解析部700で質問文1100を形態素解析して複合語を作成し、その複合語を追加した検索語に基づいて、文書検索部800で文書索引情報の単語に関連付けられた文書識別子を取得し、回答抽出部900で文書識別子に関連付けられている回答単語において、質問種別や検索語に基づいて抽出を行うことにより、被検索文書の文面に質問文の要となる単語を直接含まなくても、質問文の回答候補となる文書を示す識別子を取得することができ、その取得する文書識別子に関連付けられた単語情報に基づいて、適切な回答単語を抽出することができる。
As described above, according to the question answering system 10 of the present invention, the document index information is created by the morphological analysis of the
実施例はクライアント30側でセッション管理を行う例で説明したが、セッション管理をサーバ群20側で行うようにしてもよい。 In the embodiment, the session management is performed on the client 30 side. However, the session management may be performed on the server group 20 side.
10 質問応答システム
20 サーバ群
30 クライアント
40 被検索文書処理部
50 検索処理部
60 回答処理部
100 被検索文書
200 文書投入部
300 第1の文書解析部
310 形態素解析処理部
400 第2の解析部
410 単語後処理部
420 単語置換処理部
500 文書索引情報蓄積部
600 単語情報蓄積部
700 質問解析部
710 質問文形態素解析処理部
720 検索単語後処理部
730 検索単語追加処理部
800 文書検索部
900 回答抽出部
1100 質問文
1200 入力部
1300 セッション管理部
1400 出力部
DESCRIPTION OF SYMBOLS 10 Question answering system 20 Server group 30 Client 40 Searched document process part 50 Search process part 60
Claims (7)
前記被検索文書処理部は、
受入れた被検索文書の形態素を解析して得る各単語に、当該被検索文書の文書識別子を関連付けた文書索引情報を生成する第1の文書解析部と、
前記第1の文書解析部で得た単語に基づいて、質問文の回答対象となり得る単語を適宜生成し、生成した単語を、生成元の単語と置換し、これらの単語を回答単語とし該回答単語に対し、その属性と、被検索文書における出現位置と、当該被検索文書の文書識別子を関連付けた単語情報を生成する第2の文書解析部とを備え、
前記検索処理部は、
質問文の形態素を解析して得る各単語に基づいて、質問文の回答対象となり得る単語を適宜生成し、生成した単語を質問文の形態素を解析して取得した単語に追加して、これらの単語を検索語として出力する質問解析部と、
文書索引情報を参照し、前記検索語に適合する文書の文書識別子を取得する文書検索部とを備え、
回答処理部は、
前記単語情報を参照し、前記文書検索部からの文書識別子と前記質問解析部からの検索語とに基づいて、該文書識別子に関連付けられた単語から、質問文の回答となる単語を抽出する回答抽出部とを備えることを特徴とする質問応答装置。 A search target document processing unit that accepts a search target document and analyzes a morpheme of the search target document, and a search that acquires a search term that is the key to the contents of a question from a question sentence and acquires a document that matches the search term In a question answering device comprising a processing unit and an answer processing unit that assigns a score to each word of the acquired document and extracts a word that becomes an answer to a question sentence based on the score,
The searched document processing unit includes:
A first document analysis unit that generates document index information in which each word obtained by analyzing a morpheme of an accepted searched document is associated with a document identifier of the searched document;
Based on the words obtained by the first document analysis unit, words that can be answered in the question sentence are generated as appropriate, the generated words are replaced with the original words, and these words are used as answer words. A second document analysis unit that generates word information that associates a word with an attribute, an appearance position in the searched document, and a document identifier of the searched document;
The search processing unit
Based on each word obtained by analyzing the morpheme of the question sentence, a word that can be an answer target of the question sentence is appropriately generated, and the generated word is added to the word obtained by analyzing the morpheme of the question sentence. A question analysis unit that outputs words as search terms;
A document search unit that refers to document index information and obtains a document identifier of a document that matches the search term,
The answer processing department
An answer that refers to the word information and extracts a word that becomes an answer to a question sentence from words associated with the document identifier based on a document identifier from the document search unit and a search word from the question analysis unit A question answering apparatus comprising: an extraction unit.
該質問文形態素解析処理で取得する各単語を複合し、質問文の回答対象となり得る複合語を生成すると共に、文書の揺れを解消する検索単語後処理部と、
該検索単語後処理部で生成した複合語を前記質問文形態素解析処理部で取得する単語に追加する検索単語追加処理部とを備えることを特徴とする請求項1記載の質問応答装置。 The question analysis unit, a question sentence morpheme analysis processing unit for performing the same morpheme analysis as the morpheme analysis in the first document analysis unit for the question sentence,
Compounding each word acquired in the question sentence morpheme analysis process, generating a compound word that can be an answer target of the question sentence, and a search word post-processing unit that eliminates shaking of the document,
The question answering device according to claim 1, further comprising: a search word addition processing unit that adds a compound word generated by the search word post-processing unit to a word acquired by the question sentence morphological analysis processing unit.
該単語後処理部で生成した複合語を、複合元の単語と置換する単語置換処理部とを備えることを特徴とする請求項1記載の質問応答装置。 The second document analysis unit generates a compound word that can be an answer target of the question sentence based on the word obtained by the first document analysis unit, and a word post-processing unit that eliminates the shaking of the document;
The question answering apparatus according to claim 1, further comprising: a word replacement processing unit that replaces the compound word generated by the word post-processing unit with a compound source word.
前記サーバは、被検索文書を受入れて、該被検索文書の形態素を解析する被検索文書処理部と、質問文から質問内容の要となる検索語を得て、該検索語に適合する文書を取得する検索処理部と、取得した文書の各単語に対して得点を付与し、該得点に基づいて質問文の回答となる単語を抽出する回答処理部とを備えており、
前記クライアントは、利用者から質問文を取得する入力部と、質問文の回答を出力する出力部とを備えた質問応答システムにおいて、
前記被検索文書処理部は、
受入れた被検索文書の形態素を解析して得る各単語に、当該被検索文書の文書識別子を関連付けた文書索引情報を生成する第1の文書解析部と、
前記第1の文書解析部で得た単語に基づいて、質問文の回答対象となり得る単語を適宜生成し、生成した単語を、生成元の単語と置換し、これらの単語を回答単語とし該回答単語に対し、その属性と、被検索文書における出現位置と、当該被検索文書の文書識別子を関連付けた単語情報を生成する第2の文書解析部とを備え、
前記検索処理部は、
質問文の形態素を解析して得る各単語に基づいて、質問文の回答対象となり得る単語を適宜生成し、生成した単語を質問文の形態素を解析して取得した単語に追加して、これらの単語を検索語として出力する質問解析部と、
文書索引情報を参照し、前記検索語に適合する文書の文書識別子を取得する文書検索部とを備え、
回答処理部は、
前記単語情報を参照し、前記文書検索部からの文書識別子と前記質問解析部からの検索語とに基づいて、該文書識別子に関連付けられた単語から、質問文の回答となる単語を抽出する回答抽出部とを備え、
前記クライアントは、前記質問解析部からの検索語と、前記文書検索部からの文書識別子とを、入力部で取得する質問文に対応付けて管理し、該検索語と文書識別子とを前記質問抽出部へ出力するセッション管理部を備えることを特徴とする質問応答システム。 A system in which a network is established between a client and a server,
The server receives a search target document, analyzes a search target document processing unit that analyzes a morpheme of the search target document, obtains a search term that is a key point of a question content from a question sentence, and obtains a document that matches the search term. A search processing unit for acquiring, and a response processing unit for assigning a score to each word of the acquired document and extracting a word that becomes an answer to the question sentence based on the score,
In the question answering system, the client includes an input unit that obtains a question sentence from a user, and an output unit that outputs an answer to the question sentence.
The searched document processing unit includes:
A first document analysis unit that generates document index information in which each word obtained by analyzing a morpheme of an accepted searched document is associated with a document identifier of the searched document;
Based on the words obtained by the first document analysis unit, words that can be answered in the question sentence are generated as appropriate, the generated words are replaced with the original words, and these words are used as answer words. A second document analysis unit that generates word information that associates a word with an attribute, an appearance position in the searched document, and a document identifier of the searched document;
The search processing unit
Based on each word obtained by analyzing the morpheme of the question sentence, a word that can be an answer target of the question sentence is appropriately generated, and the generated word is added to the word obtained by analyzing the morpheme of the question sentence. A question analysis unit that outputs words as search terms;
A document search unit that refers to document index information and obtains a document identifier of a document that matches the search term,
The answer processing department
An answer that refers to the word information and extracts a word that becomes an answer to a question sentence from words associated with the document identifier based on a document identifier from the document search unit and a search word from the question analysis unit An extraction unit,
The client manages a search word from the question analysis unit and a document identifier from the document search unit in association with a question sentence acquired by an input unit, and extracts the query word and the document identifier from the question A question answering system comprising: a session management unit that outputs to a unit.
該質問文形態素解析処理で取得する各単語を複合し、質問文の回答対象となり得る複合語を生成すると共に、文書の揺れを解消する検索単語後処理部と、
該検索単語後処理部で生成した複合語を前記質問文形態素解析処理部で取得する単語に追加する検索単語追加処理部とを備えることを特徴とする請求項4記載の質問応答システム。 The question analysis unit, a question sentence morpheme analysis processing unit for performing the same morpheme analysis as the morpheme analysis in the first document analysis unit for the question sentence,
Compounding each word acquired in the question sentence morpheme analysis process, generating a compound word that can be an answer target of the question sentence, and a search word post-processing unit that eliminates shaking of the document,
5. The question answering system according to claim 4, further comprising: a search word addition processing unit that adds a compound word generated by the search word post-processing unit to a word acquired by the question sentence morphological analysis processing unit.
該単語後処理部で生成した複合語を、複合元の単語と置換する単語置換処理部とを備えることを特徴とする請求項4記載の質問応答システム。 The second document analysis unit generates a compound word that can be an answer target of the question sentence based on the word obtained by the first document analysis unit, and a word post-processing unit that eliminates the shaking of the document;
5. The question answering system according to claim 4, further comprising: a word replacement processing unit that replaces the compound word generated by the word post-processing unit with a compound source word.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004004491A JP2005196668A (en) | 2004-01-09 | 2004-01-09 | Query answering device and query answering system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004004491A JP2005196668A (en) | 2004-01-09 | 2004-01-09 | Query answering device and query answering system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005196668A true JP2005196668A (en) | 2005-07-21 |
Family
ID=34819093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004004491A Abandoned JP2005196668A (en) | 2004-01-09 | 2004-01-09 | Query answering device and query answering system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005196668A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100726176B1 (en) | 2005-12-09 | 2007-06-11 | 한국전자통신연구원 | Method and apparatus for extracting correct answer in question answering system |
-
2004
- 2004-01-09 JP JP2004004491A patent/JP2005196668A/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100726176B1 (en) | 2005-12-09 | 2007-06-11 | 한국전자통신연구원 | Method and apparatus for extracting correct answer in question answering system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8484238B2 (en) | Automatically generating regular expressions for relaxed matching of text patterns | |
US9361361B2 (en) | Interactively entering data into the database | |
US7624093B2 (en) | Method and system for automatic summarization and digest of celebrity news | |
US6996561B2 (en) | System and method for interactively entering data into a database | |
CN117056471A (en) | Knowledge base construction method and question-answer dialogue method and system based on generation type large language model | |
US20050149499A1 (en) | Systems and methods for improving search quality | |
JP2007226729A (en) | Translation word information output processing program, processing method, and processing apparatus | |
JP2005293239A (en) | Information sharing device, and information sharing method | |
JP4753755B2 (en) | Data conversion method, apparatus and program | |
JP2005025525A (en) | Information search system, information search method and information search program | |
JP6840597B2 (en) | Search result summarizing device, program and method | |
CN110209780A (en) | A kind of question template generation method, device, server and storage medium | |
KR101105798B1 (en) | Apparatus and method refining keyword and contents searching system and method | |
CN107153633A (en) | The cutting method of online document file and the cutting system of online document file | |
JP2005196668A (en) | Query answering device and query answering system | |
WO2017056164A1 (en) | Information presentation system, and information presentation method | |
JP4804591B2 (en) | Data conversion method, apparatus and program | |
JP2004157965A (en) | Search support device and method, program and recording medium | |
KR20210136609A (en) | Apparatus and method for generating image news contents | |
JP4484957B1 (en) | Retrieval expression generation device, retrieval expression generation method, and program | |
JP4089399B2 (en) | Information retrieval method and apparatus | |
Kapitsaki et al. | Representation with Word Clouds at the PHD UNS Digital Library | |
JP2010049411A (en) | Document data analysis device and program | |
JP2005018504A (en) | Proceedings publishing system | |
KR101295025B1 (en) | Distributed Scoring System. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061213 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20090626 |