JP2007219955A - 質問応答システム、質問応答処理方法及び質問応答プログラム - Google Patents

質問応答システム、質問応答処理方法及び質問応答プログラム Download PDF

Info

Publication number
JP2007219955A
JP2007219955A JP2006041631A JP2006041631A JP2007219955A JP 2007219955 A JP2007219955 A JP 2007219955A JP 2006041631 A JP2006041631 A JP 2006041631A JP 2006041631 A JP2006041631 A JP 2006041631A JP 2007219955 A JP2007219955 A JP 2007219955A
Authority
JP
Japan
Prior art keywords
feature information
sentence
search
answer
question sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006041631A
Other languages
English (en)
Inventor
Hiroki Yoshimura
宏樹 吉村
Hiroshi Masuichi
博 増市
Takeshi Yoshioka
健 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2006041631A priority Critical patent/JP2007219955A/ja
Priority to US11/498,157 priority patent/US20070196804A1/en
Publication of JP2007219955A publication Critical patent/JP2007219955A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Abstract

【課題】統計処理型の質問応答における回答候補抽出の精度を向上させた質問応答システム、質問応答処理方法及び質問応答プログラムを提供する。
【解決手段】学習モデル候補抽出部３２は、回答候補に対応する素性情報のうち、所定の素性情報を学習セットＤＢ１８に追加すべきものと決定する。再学習部３４及びテストセット評価部３６は、追加素性情報候補が追加された新たな学習モデル情報の評価を行う。精度監視部３８は、新たな学習モデル情報の回答候補抽出の精度と、テストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度とを比較し、素性削除処理部４０は、新たな学習モデル情報の回答候補抽出の精度が所定値以上向上している場合には、その新たな学習モデル情報を学習セットＤＢ１８に保持させたままとする。
【選択図】図１

Description

本発明は、入力した検索質問文に応じて、検索対象文を含む情報源を検索して回答を得る質問応答システム、該質問応答システムでの処理方法、及び、該質問応答システムを構成する情報処理装置にて実行可能なプログラムに関する。
従来の質問応答システムには、大きくわけて２つのタイプが存在する。１つは、ルール型の質問応答システムと称されるものである。このルール型質問応答システムは、典型質問文パターンマッチング部及び回答検索部によって構成される。典型質問文パターンマッチング部は、知識源を検索して検索質問文に対する回答候補を抽出するためのルールに関する情報（ルール情報）を取得する。例えば、検索質問文「Ｘは何ですか？」に対する回答候補「Ａ」を抽出するためには、「ＡはＸです」や「ＸはＡです」等の文型パターンがルール情報として取得される（例えば、非特許文献１参照）。このルール情報は、人手によって設定される。回答検索部は、知識源を検索して、ルール情報で表される文型パターンに一致する文に含まれる回答候補を抽出する。
他の１つは、統計処理型の質問応答システムと称されるものである。この統計処理型質問応答システムは、質問解析部、情報検索部、回答抽出部及び根拠提示部により構成される（例えば、特許文献１参照）。質問解析部は、検索質問文から特徴語を抽出するとともに、当該検索質問文によって問われる対象を表す質問タイプの判定を行う。情報検索部は、特徴語を検索クエリとして用いて知識源を検索し、検索結果の文（パッセージ）を抽出する。回答抽出部は、このパッセージから回答候補を抽出し、根拠提示部は、回答候補を抽出した根拠を提示する。但し、パッセージに含まれる回答候補を抽出することは容易ではないため、人手によって設定される機械学習法の学習モデル情報を用いて回答候補を絞り込む技術が提案されている（例えば、特許文献２参照）。
特開２００２−１３２８１１号公報 特開２００４−９４５２１号公報 M.M. Soubbotin and S.M. Soubbotin著、「Use of Patterns for Detection of Likely Answer Strings」、A Systematic Approach、TREC、２００２年
しかし、上述した質問応答システムは、回答候補抽出の精度が低いという問題がある。具体的には、ルール型質問応答システムは、ルール情報で表される文型パターンに一致する文に含まれる回答候補は回答として相応しいものであるものの、当該ルール情報があらゆる検索質問文に対応するように網羅されていないことにより、回答候補の抽出漏れが生じる場合がある。一方、統計処理型質問応答システムでは、回答候補の抽出漏れは生じないものの、機械学習法の学習モデル情報があらゆる検索質問文に対応するように網羅されていないことにより、回答として相応しくないものまで回答候補としてしまう場合がある。
このような網羅性の問題を解決する方法として、ルール情報や学習モデル情報に、全ての検索質問文に対応するものを用意しておくことが考えられる。しかし、あらゆる検索質問文を予め推定することは困難であり、仮に推定することができたとしても多大なコストがかかってしまい、現実的ではない。
また、網羅性の問題を解決する別の方法として、ルール情報や学習モデル情報の自動更新が考えられる。しかし、従来の自動更新されたルール情報や学習モデル情報は、人手によって設定される場合と比較して信頼性が低く、自動更新によってむしろ回答候補抽出の精度を下げてしまう可能性がある。このため、統計処理型の質問応答を基本として、回答候補の抽出漏れを防ぎつつ、その回答候補抽出の精度を向上させることが要求されている。
本発明の目的は、上述した問題を解決するものであり、統計処理型の質問応答における回答候補抽出の精度を向上させた質問応答システム、質問応答処理方法及び質問応答プログラムを提供するものである。
本発明に係る、プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムは、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合を保持する素性情報集合保持手段と、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、前記素性情報保持手段により保持された素性情報集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出手段と、前記検索質問文、前記第１の回答候補抽出手段により取得された検索結果の文、及び、前記第１の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成手段と、前記第１の素性情報生成手段により生成された素性情報が前記素性情報保持手段に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定手段と、前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第１の素性情報追加手段とを有することを特徴とする。
この構成によれば、検索質問文と統計処理型の質問応答における検索結果の文及び回答候補との対応関係を表す素性情報については、その素性情報に基づく回答候補抽出の精度が良好である場合、換言すれば、回答候補が回答として相応しいものである場合に、精度情報集合に追加される。統計処理型の質問応答では、このように、精度情報集合を最適なものに再構築することによって、回答候補抽出の精度を向上させることが可能となる。
また、質問応答システムは、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出手段と、前記第２の回答候補抽出手段により回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出手段により取得された検索結果の文、及び、前記第２の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成手段と、前記第２の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第２の素性情報追加手段とを有するようにしてもよい。
この構成によれば、ルール型の質問応答における回答候補は、回答として相応しいものであるために、ルール型の質問応答において回答候補が抽出される場合には、検索質問文、ルール型の質問応答における検索結果の文及び回答候補の対応関係を表す素性情報については、そのまま精度情報集合に追加するとともに、検索質問文、統計処理型の質問応答における検索結果の文及び回答候補との対応関係を表す素性情報については、上述のように、その素性情報に基づく回答候補抽出の精度が良好である場合に素性情報集合に追加して統計処理型の質問応答に用いられるようにすることによって、回答候補抽出の精度を向上させることができる。ここで、回答候補の提示は、ルール型の質問応答及び統計処理型の質問応答のいずれかにおいて得られるものが提示されてもよく、双方が提示されてもよい。
また、質問応答システムは、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合を保持する評価用素性情報集合保持手段を有し、前記精度判定手段が、前記評価用素性情報集合保持手段に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成手段により生成された素性情報が前記評価用素性情報集合保持手段に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、前記第１の素性情報追加手段が、前記第１の素性情報生成手段により生成された素性情報が前記評価用素性情報集合保持手段に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記評価用素性情報集合保持手段に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加するようにしてもよい。
また、質問応答システムは、前記評価用素性情報集合が、前記第２の素性情報生成手段により生成された素性情報の集合であるようにしてもよい。
上述の通り、ルール型の質問応答における素性情報については、そのまま統計処理型の質問応答に用いられることができるものであるため、当該素性情報の集合を評価用素性情報の集合としても用いることにより、回答候補抽出の精度をより的確に判定することができる。
また、本発明に係る、プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムは、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合を保持する素性情報集合保持手段と、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、前記素性情報保持手段により保持された素性情報集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出手段と、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出手段と、前記第２の回答候補抽出手段により回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出手段により取得された検索結果の文、及び、前記第２の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成手段と、前記第２の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第２の素性情報追加手段とを有することを特徴とする。
この構成によれば、ルール型の質問応答における回答候補は、回答として相応しいものであるために、ルール型の質問応答において回答候補が抽出される場合には、検索質問文、ルール型の質問応答における検索結果の文及び回答候補の対応関係を表す素性情報については、そのまま精度情報集合に追加して統計処理型の質問応答に用いられるようにすることによって、回答候補抽出の精度を向上させることができる。
また、本発明に係る、プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムでの処理方法は、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、前記検索質問文、前記第１の回答候補抽出ステップにより取得された検索結果の文、及び、前記第１の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成ステップと、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定ステップと、前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第１の素性情報追加ステップとを有することを特徴とする。
また、質問応答処理方法は、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出ステップと、前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、前記第２の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有するようにしてもよい。
また、質問応答処理方法は、前記精度判定ステップが、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、前記第１の素性情報追加ステップが、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記記憶装置に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加するようにしてもよい。
また、質問応答処理方法は、前記評価用素性情報集合が、前記第２の素性情報生成ステップにより生成された素性情報の集合であるようにしてもよい。
また、本発明に係る、プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムでの処理方法は、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る第２の回答候補を抽出する第２の回答候補抽出ステップと、前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、前記第２の素性情報生成ステップにより生成された素性情報の集合を、前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とする。
また、本発明に係る、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムを構成する情報処理装置にて実行可能なプログラムは、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、前記検索質問文、前記第１の回答候補抽出ステップにより取得された検索結果の文、及び、前記第１の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成ステップと、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定ステップと、前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第１の素性情報追加ステップとを有することを特徴とする。
また、質問応答プログラムは、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出ステップと、前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、前記第２の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有するようにしてもよい。
また、質問応答プログラムは、前記精度判定ステップが、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、前記第１の素性情報追加ステップが、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記記憶装置に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加するようにしてもよい。
また、質問応答プログラムは、前記評価用素性情報集合が、前記第２の素性情報生成ステップにより生成された素性情報の集合であるようにしてもよい。
また、本発明に係る、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムを構成する情報処理装置にて実行可能なプログラムは、前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る第２の回答候補を抽出する第２の回答候補抽出ステップと、前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、前記第２の素性情報生成ステップにより生成された素性情報の集合を、前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とする。
本発明によれば、検索質問文と統計処理型の質問応答における検索結果の文及び回答候補との対応関係を表す素性情報については、その素性情報に基づく回答候補抽出の精度が良好である場合に、精度情報集合に追加されるため、統計処理型の質問応答における回答候補抽出の精度を向上させることが可能となる。また、本発明によれば、検索質問文、ルール型の質問応答における検索結果の文及び回答候補の対応関係を表す素性情報については、そのまま精度情報集合に追加して統計処理型の質問応答に用いられるようにすることによって、当該統計処理型の質問応答における回答候補抽出の精度を向上させることができる。
本発明の実施の形態について、図面を参照して具体的に説明する。図１は、質問応答システムの構成例を示す図である。同図に示す質問応答システム１００は、情報処理装置内に構成されるものであり、電子化された検索質問文に応じて、電子化された検索対象文を含むインターネット上の検索サイト等の知識源２００を検索して回答を得るものである。この質問応答システム１００は、質問入力部１０、典型質問文パターンマッチング部１２、回答検索部１４、素性抽出部１６、学習セットデータベース（ＤＢ）１８、テストセットＤＢ２０、質問解析部２２、情報検索部２４、評価部２６、回答抽出部２８、回答提示部３０、学習モデル候補抽出部３２、再学習部３４、テストセット評価部３６、精度監視部３８及び素性削除処理部４０により構成される。
これらのうち、典型質問文パターンマッチング部１２及び回答検索部１４によってルール型質問応答部５０が構成され、素性抽出部１６、学習セットＤＢ１８、質問解析部２２、情報検索部２４、評価部２６、回答抽出部２８及び回答提示部３０によって統計処理型質問応答部６０が構成され、学習セットＤＢ１８、テストセットＤＢ２０、学習モデル候補抽出部３２、再学習部３４、テストセット評価部３６、精度監視部３８及び素性削除処理部４０によってブートストラッピング処理部７０が構成される。これらルール型質問応答部５０、統計処理型質問応答部６０及びブートストラッピング処理部７０は、ＣＰＵとメモリによって構成され、ＣＰＵが所定のプログラムを実行することによって実現される。
以下、フローチャートを参照しつつ、質問応答システム１００の動作を説明する。図２は、質問応答システム１００の動作を示すフローチャートである。質問入力部１０は、例えばキーボードであり、ユーザの操作指示に応じて、自然言語文である検索質問文の文字列をルール型質問応答部５０内の典型質問文パターンマッチング部１２へ出力する。典型質問文パターンマッチング部１２は、検索質問文を入力したか否かを判定する（Ｓ１０１）。検索質問文を入力した場合、典型質問文パターンマッチング部１２は、その検索質問文に対する回答候補を知識源２００から抽出するためのルール情報を検索する（Ｓ１０２）。
具体的には、典型質問文パターンマッチング部１２は、予め人手によって設定されたルール情報を保持している。ルール情報は、例えば、「Ｘは｛何｜誰｜どこ｜いつ｜｝ですか？」という検索質問文について、回答候補「Ａ」を抽出するために、「ＡはＸです。」や「ＸはＡです」等の回答候補を含む文（パッセージ）の文型パターンや回答候補に関する情報が記述されたものである。典型質問文パターンマッチング部１２は、保持しているルール情報を検索し、入力した検索質問文に対応するものの取得を試みる。
次に、典型質問文パターンマッチング部１２は、入力した検索質問文に対応するルール情報を取得することができたか否かを判定する（Ｓ１０３）。ルール情報を取得することができた場合、典型質問文パターンマッチング部１２は、そのルール情報を検索質問文とともに回答検索部１４へ出力する。回答検索部１４は、ルール型質問応答（ＱＡ）処理を行う（Ｓ１０４）。具体的には、回答検索部１４は、知識源２００を検索して、ルール情報で表されるパッセージの文型パターンに一致する検索結果の文（パッセージ）を取得し、更に、ルール情報に含まれる回答候補に関する情報に基づいて、そのパッセージに含まれる回答候補の抽出を試みる。
次に、回答検索部１４は、回答候補を抽出することができたか否かを判定する（Ｓ１０５）。回答候補を抽出することができた場合、回答検索部１４は、その回答候補をユーザに提示すべくモニタ（図示せず）等に出力する（Ｓ１０６）。
また、回答検索部１４は、検索質問文、パッセージ及び回答候補を素性抽出部１６へ出力する。素性抽出部１６は、回答検索部１４からの検索質問文、パッセージ及び回答候補の対応関係を表す素性情報を生成する。素性情報の種類は、予め人手によって設定されており、素性抽出部１６は、その種別に応じた素性情報を生成する。更に、素性抽出部１６は、生成した素性情報を、後述する統計処理型質問応答処理において用いられる、素性情報の集合である機械学習法の学習モデル情報を保持する学習セットＤＢ１８及びテストセットＤＢ２０に追加する（Ｓ１０７）。
一方、Ｓ１０３においてルール情報を取得することができなかったと判定されたり、Ｓ１０５において回答候補を取得することができなかったと判定される場合、このことは、ルール型質問応答処理では、回答候補を得ることができなかったということを示している。この場合、典型質問文パターンマッチング部１２は、統計処理型質問応答処理を行わせるために、検索質問文を質問解析部２２へ出力する。
質問解析部２２、情報検索部２４、評価部２６及び回答抽出部２８は、質問解析部２２に検索質問文が入力されると、統計処理型質問応答（ＱＡ）処理を行う（Ｓ１０８）。以下、統計処理型質問応答処理の詳細を説明する。
質問解析部２２は、入力した検索質問文に対して、公知の形態素解析を施し、検索質問文から特徴語を抽出するとともに、当該検索質問文によって問われる対象を表す質問タイプの判定を行う。公知の形態素解析とは、例えば、茶筌（Chasen）（文献：松本裕治、北内啓、山下達雄、平野善隆、松田寛、高岡一馬、浅原正幸著、「日本語形態素解析システム 茶筌 version2.2.1 使用説明書」、奈良先端科学技術大学院大学、２０００年参照）等の日本語形態素解析である。ここで特徴語は、情報検索と質問タイプ判定に利用される単語になり得る名詞及び疑問詞である。また、質問タイプは、検索質問文の疑問詞と特徴語とに基づいて、人名、地名、組織名等に分類される質問の型を特定するものである。質問解析部２２は、質問タイプを判定するために、人名や組織名等が予め記述された定義辞書を備えている。質問タイプの判定には、人手によって設定された判定ルール（文献：Na S.,Kang S.,Lee J.著、「POSTECH Question-Answering Experiments at NTCIR-4 QAC」、Working Notes of NTCIR-4 Workshop、p.361-366、２００４年及び当該論文中の引用文献参照）が用いられる。質問解析部２２は、特徴語を情報検索部２４へ出力するとともに、検索質問文及び質問タイプを素性抽出部１６へ出力する。
情報検索部２４は、入力した特徴語に対応する検索式を生成し、当該検索式により知識源２００を検索して、検索結果の文（パッセージ）を取得する。検索式による知識源２００の検索は、特徴語のＡＮＤ検索が基本である。検索には、NamazuやGETAなどの既存の検索手法が利用される（Namazuについては、インターネット検索：http://www.namazu.org、GETAについてはインターネット検索：http://www.getaex.nii.ac.jp参照）。情報検索部２４は、取得したパッセージを評価部２６及び素性抽出部１６へ出力する。
素性抽出部１６は、質問解析部２２からの検索質問文及び質問タイプと、情報検索部２４からのパッセージ及び特徴語とを入力し、パッセージ内の特徴語の中から回答候補を抽出する。ここで、回答候補は、質問タイプと同じ分類体系に属する固有名の単語である。更に、素性抽出部１６は、検索質問文、パッセージ及び回答候補の対応関係を表す素性情報を生成し、その素性情報と回答候補とを評価部２６へ出力する。例えば、検索質問文をq、特徴語をTi（i=1,…,x）、回答候補をa、パッセージをpk（k=1,…,z）とすると、素性情報には、pk中にあるTiの総数、pk中のTiとaの距離、ΣpkのTiとaの共起頻度等の情報が含まれる。
評価部２６は、素性抽出部１６からの回答候補毎の素性情報について、予め学習セットＤＢ１８に保持されている学習モデル情報を用いて機械学習法による評価を行う。ここで、素性抽出部１６からの回答候補毎の素性情報と、学習セットＤＢ１８に保持されている学習モデル情報を構成する各素性情報のデータ構造は同一である。評価部２６は、この評価を示す値（評価値）、パッセージ及び回答候補を回答抽出部２８へ出力する。
なお、機械学習法とは、学習モデル情報を入力し、統計処理手法を用いることによって、あるデータの特徴を説明するための規則を出力する手法である。例えば、教師あり機械学習と称される機械学習法では、学習モデル情報を構成する各情報に、評価が付与されている。学習モデル情報内の各情報の特徴（素性）とその評価との対応規則を学習することによって、あるデータが与えられた場合に、その評価を予測することが可能となる。これまでに、ＭＥ（Maximum Entorpy）等の様々な教師あり機械学習手法が提案されている（文献：Fabrizio Sebaastiani著、「Machine Learning in Automated Text Categorization」、ACM Compurting Surveys Vol.34、No.1、p.1-47、２００２年及び当該論文中の引用文献を参照）。
回答抽出部２８は、入力したパッセージに含まれる回答候補の中から対応する素性情報の評価値が上位の所定数（既定値）を抽出する。具体的には、回答抽出部２８は、入力したパッセージに対して公知の形態素解析を施し、パッセージに含まれる固有名を抽出して、その固有名に対応する回答候補について、対応する素性情報の評価値が上位の所定数を抽出する。固有名の抽出とは、パッセージに含まれる人名、組織名、地名、数量を自動的に判別し、固有名として抽出することを指す（文献：山田寛康、工藤拓、松本裕治著、「Support Vector Machineを用いた日本語固有表現抽出」情報処理、Vol.43、No.1-5、２００２年及び当該論文中の引用文献を参照）。なお、固有名の分類体系と質問タイプとは整合が図られている。
次に、回答抽出部２８は、抽出した回答候補、当該回答候補に対応する素性情報、及び、当該素性情報の評価値を回答提示部３０へ出力する（Ｓ１０９）。回答提示部３０は、例えばモニタであり、回答候補をユーザに提示する。ユーザは、提示される回答候補の中から正解を選択する。
通常の統計処理型質問応答処理では、回答候補の提示により一連の処理が終了するが、本実施形態では、回答候補抽出の精度を向上させるべく、学習セットＤＢ１８に保持されている学習モデル情報の更新が行われる。以下、その詳細を説明する。
学習モデル候補抽出部３２は、回答候補に対応する素性情報のうち、所定の素性情報を学習セットＤＢ１８内の学習モデル情報に追加すべきものと決定する（Ｓ１１０）。具体的には、学習モデル候補抽出部３２は、回答提示部３０によって提示された回答候補のうち、ユーザによって正解として選択された回答候補を取得するとともに、回答抽出部２８によって抽出された回答候補、当該回答候補に対応する素性情報、及び、当該素性情報の評価値を、回答提示部３０を介して取得する。更に、学習モデル候補抽出部３２は、ユーザによって正解として選択された回答候補に対応する素性情報、評価値が最も高い素性情報、あるいは、評価値が最も高い素性情報と評価値が最も低い素性情報の組み合わせのいずれかを、学習セットＤＢ１８に追加すべき素性情報（追加素性情報候補）として決定する。決定された追加素性情報候補は、再学習部３４へ送られる。
再学習部３４及びテストセット評価部３６は、追加素性情報候補が追加された新たな学習モデル情報の評価（テストセット評価処理）を行う（Ｓ１１１）。具体的には、再学習部３４は、学習セットＤＢ１８から学習モデル情報を読み出し、当該学習モデル情報に追加素性情報候補を追加した新たな学習モデル情報を生成する。更に、再学習部３４は、新たな学習モデル情報を、テストセット評価部３６へ出力するとともに、元の学習モデル情報とは別のファイル名で学習セットＤＢ１８に保持させる。
テストセット評価部３６は、新たな学習モデル情報を用いた場合における回答候補抽出の精度と、テストセットＤＢ２０に保持されている元の学習モデル情報（評価用学習モデル情報）を用いた場合における回答候補抽出の精度とを算出する。回答候補抽出の精度としては、ＭＭＲ（Mean Reciprocal Rank）が用いられる。このＭＭＲは、自然言語の質問応答システムの評価を表すものとして代表的なものである。ＭＭＲの算出方法は、検索質問文毎に、当該検索質問文に対応して出現する回答候補のうち、正解の出現順位の逆数を求め、その値を全検索質問文にわたって平均したものであり、数値が大きいほど、回答候補抽出の精度が高いことを示す。例えば、検索質問文の数がｎ、検索質問文に対応して出現する回答候補のうち、正解の出現順位をＲａｎｋとすると、ＭＭＲは、
Figure 2007219955
 により算出される。算出された回答候補抽出の精度は、精度監視部３８へ送られる。
精度監視部３８は、新たな学習モデル情報の回答候補抽出の精度と、テストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度とを比較し、新たな学習モデル情報の回答候補抽出の精度がテストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度よりも所定値以上（例えばＭＭＲが０．０１以上）向上しているか否かを判定する（Ｓ１１２）。
新たな学習モデル情報の回答候補抽出の精度がテストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度よりも所定値以上向上していない場合、精度監視部３８は、素性削除処理部４０に対して、新たな学習モデル情報の削除を指示する。素性削除処理部４０は、この指示に従って、学習セットＤＢ１８に保持されている新たな学習モデル情報を削除する（Ｓ１１３）。これにより、その後の統計処理型質問応答処理においては、元の学習モデル情報、すなわち、追加素性情報候補が追加されていない学習モデル情報が用いられる。
一方、新たな学習モデル情報の回答候補抽出の精度がテストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度よりも所定値以上向上している場合には、学習セットＤＢ１８に保持されている新たな学習モデル情報の削除は行われず、その後の統計処理型質問応答処理においては、この新たな学習モデル情報、すなわち、追加素性情報候補が追加された学習モデル情報が用いられる。
以下、具体的な質問検索文を例に、質問応答システム１００の動作を説明する。まず、ルール型質問応答処理により回答候補が得られる第１の実施例について説明する。第１実施例においては、図３に示すように、質問応答システム１００のうち、質問入力部１０、典型質問文パターンマッチング部１２、回答検索部１４、素性抽出部１６、学習セットデータベース（ＤＢ）１８、テストセットＤＢ２０のみが用いられる。
典型質問文パターンマッチング部１２は、質問入力部１０からの検索質問文「ＩＳＯ（国際標準化機構）の本部はどこにありますか？」を入力すると、当該検索質問文に対応するルール情報の取得を試みる。ここでは、検索質問文の文型パターン「Ｘはどこにありますか？」に対応して、パッセージの文型パターン「ＸはＡに｛あります｜あり、｜ある｝」、回答候補が固有名であることを示す情報、及び、疑問詞が「どこ」に対応して回答候補が地名や組織名であることを示す情報がルール情報として取得される。なお、検索質問文及びパッセージの文型パターンにおける「Ｘ」並びに「Ａ」は、Ｎ単語以内からなる文字列であるとする。Ｎは任意に設定できる整数値である。
回答検索部１４は、知識源２００を検索して、ルール情報で表されるパッセージの文型パターンに一致するパッセージを取得する。ここでは、パッセージ１「ＩＳＯ国際標準化機構の本部は、スイスのジュネーブにあり、各国の国家を代表する…」及びパッセージ２「ＩＳＯ（国際標準化機構）の本部はスイスのジュネーブにあり、製品やサービスの国際取引のために科学技術や経済活動などの標準化を推進する機構です。」が取得されるものとする。
更に、回答検索部１４は、取得したパッセージから回答候補の抽出を試みる。ルール情報によれば、回答候補は固有名であり、その固有名は検索質問文の疑問詞が「どこ」であることに対応して地名や組織名である。従って、回答検索部１４は、固有名であり、且つ、地名又は組織名であるもの、すなわち、パッセージ１及び２ともに「スイスのジュネーブ」を回答候補として抽出する。素性抽出部１６は、抽出された回答候補「スイスのジュネーブ」、パッセージ１及び２、検索質問文「ＩＳＯ（国際標準化機構）の本部はどこにありますか？」に対応する素性情報を生成し、学習セットＤＢ１８及びテストセットＤＢ２０に保持させる。
次に、統計処理型質問応答処理により回答候補が得られる第２の実施例について説明する。第２実施例においては、図４に示すように、質問応答システム１００のうち、回答検索部１４以外の構成が用いられる。
典型質問文パターンマッチング部１２は、質問入力部１０からの検索質問文「２００５年の夏の甲子園で連覇を果たした高校はどこですか？」を入力すると、当該検索質問文に対応するルール情報の取得を試みる。
典型質問文パターンマッチング部１２によってルール情報が取得されなかった場合、質問解析部２２は、検索質問文から特徴語「２００５年」、「夏」、「甲子園」、「連覇」及び「高校」を抽出するとともに、疑問詞「どこ」と最も距離の近い特徴語「高校」に対応して、質問タイプを組織名と判定する。情報検索部２４は、質問解析部２２によって抽出された特徴語に対応する検索式を生成し、当該検索式により知識源２００を検索して、パッセージを取得する。ここでは、パッセージ１「第８７回全国高校野球選手権大会は、２００５年８月２０日、甲子園球場で決勝戦が行われ、駒大苫小牧高校（南北海道）が勝って、夏の大会２連覇を果たした。」及びパッセージ２「小倉中（福岡）以来５７年ぶりの大会２連覇を果たした。」が取得されるものとする。
素性抽出部１６は、情報検索部２４からのパッセージから回答候補を抽出する。回答候補は、質問タイプと同じ分類体系に属する固有名であり、パッセージ１に対応する回答候補は「駒大苫小牧高校」であり、パッセージ２に対応する回答候補は「小倉中」である。更に、素性抽出部１６は、質問解析部２２や情報検索部２４において得られた特徴語やパッセージを利用して素性情報を生成する。
評価部２６は、素性抽出部１６によって生成される回答候補毎の素性情報に対して、学習セットＤＢ１８に保持されている学習モデル情報を用いて機械学習による評価を行う。ここでは、回答候補「駒大苫小牧高校」に対応する素性情報の評価値が回答候補「小倉中」に対応する素性情報の評価値よりも高いものとする。
回答抽出部２８は、評価部２６において算出された評価値に基づいて、パッセージ１に含まれる回答候補「駒大苫小牧」を最も確からしい回答候補として抽出する。回答提示部３０は、この最も確からしい回答候補「駒大苫小牧高校」をユーザに提示する。なお、回答提示部３０は、回答候補の確からしさの順位付けに応じて、複数の回答候補を提示することも可能である。
学習モデル候補抽出部３２は、最も確からしい回答候補「駒大苫小牧高校」に対応する素性情報を、学習セットＤＢ１８内の学習モデル情報に追加すべきもの（追加素性情報候補）として決定する。再学習部３４は、学習セットＤＢ１８から学習モデル情報を読み出し、当該学習モデル情報に追加素性情報候補を追加した新たな学習モデル情報を生成する。テストセット評価部３６は、新たな学習モデル情報の回答候補抽出の精度であるＭＭＲと、テストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度であるＭＭＲとを算出する。
精度監視部３８は、新たな学習モデル情報の回答候補抽出の精度と、テストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度とを比較する。新たな学習モデル情報の回答候補抽出の精度がテストセットＤＢ２０に保持されている元の学習モデル情報の回答候補抽出の精度よりも所定値以上（例えばＭＭＲが０．０１以上）向上している場合には、その後の統計処理型質問応答処理において、新たな学習モデル情報、すなわち、追加素性情報候補が追加された学習モデル情報が用いられる。
このように、本実施形態の質問応答システム１００では、ルール型の質問応答における回答候補は、回答として相応しいものであるために、検索質問文、ルール型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報については、そのまま機械学習法の学習モデル情報に追加して、その後の統計処理型の質問応答に用いられるようにする。一方、検索質問文、統計処理型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報については、評価が良好である場合、換言すれば、回答候補が回答として相応しいものである場合に学習モデル情報に追加して、その後の統計処理型の質問応答に用いられるようにする。このように、学習モデル情報を最適なものに再構築することによって、統計処理型の質問応答における回答候補抽出の精度を向上させることができる。
また、ルール型の質問応答処理では、回答候補は回答として相応しいものであるものの、ルール情報に対応する検索質問文の数は必ずしも多くなく、回答候補の抽出漏れが生じて素性情報が更新されない可能性があるが、この場合には、統計処理型の質問応答処理によって回答候補が抽出され、その回答候補抽出の精度が良好であれば、対応する素性情報が学習モデル情報に追加される。すなわち、学習モデル情報が高頻度で再構築されるため、可能な限り迅速に学習モデル情報を最適なものに再構築することができる。
なお、上述した実施形態において、学習セットＤＢ１８が素性情報集合保持手段に、素性抽出部１６、質問解析部２２、情報検索部２４、評価部２６及び回答抽出部２８が第１の回答候補抽出手段に対応し、素性抽出部１６が第１の素性情報生成手段に対応し、学習モデル候補抽出部３２、再学習部３４、テストセット評価部３６、精度監視部３８及び素性削除処理部が精度判定手段及び第１の素性情報追加手段に対応する。また、典型質問文パターンマッチング部１２及び回答検索部１４が第２の回答候補抽出手段に対応し、素性抽出部１６が第２の素性情報生成手段及び第２の素性情報追加手段に対応する。また、テストセットＤＢ２０が評価用素性情報集合保持手段に対応する。
ところで、上述した実施形態では、ルール型質問応答処理において回答候補が抽出される場合に、検索質問文、ルール型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報が学習モデル情報に追加されるとともに、統計処理型質問応答処理において回答候補が抽出される場合であって、且つ、検索質問文、統計処理型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報の評価が良好である場合に、当該素性情報が学習モデル情報に追加されるようにしたが、検索質問文、ルール型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報のみが学習モデル情報に追加されるようにしてもよい。この場合には、図２のフローチャートにおけるＳ１０１乃至Ｓ１０９の処理のみが行われる。
すなわち、典型質問文パターンマッチング部１２は、検索質問文を入力したか否かを判定し（Ｓ１０１）、検索質問文を入力した場合、その検索質問文に対する回答候補を知識源２００から抽出するためのルール情報を検索する（Ｓ１０２）。更に、典型質問文パターンマッチング部１２は、入力した検索質問文に対応するルール情報を取得することができたか否かを判定する（Ｓ１０３）。ルール情報を取得することができた場合、典型質問文パターンマッチング部１２は、そのルール情報を検索質問文とともに回答検索部１４へ出力する。回答検索部１４は、ルール型質問応答処理を行う（Ｓ１０４）。
次に、回答検索部１４は、ルール型質問応答処理によって回答候補を抽出することができたか否かを判定する（Ｓ１０５）。回答候補を抽出することができた場合、回答検索部１４は、その回答候補をユーザに提示すべくモニタ等に出力する（Ｓ１０６）。また、素性抽出部１６は、検索質問文、パッセージ及び回答候補の対応関係を表す素性情報を生成し、当該素性情報を、学習セットＤＢ１８及びテストセットＤＢ２０に追加する（Ｓ１０７）。
一方、Ｓ１０３においてルール情報を取得することができなかったと判定されたり、Ｓ１０５において回答候補を取得することができなかったと判定される場合、質問解析部２２、情報検索部２４、評価部２６及び回答抽出部２８は、統計処理型質問応答処理を行う（Ｓ１０８）。次に、回答抽出部２８は、統計処理型質問応答処理において抽出した回答候補、当該回答候補に対応する素性情報、及び、当該素性情報の評価値を回答提示部３０へ出力する（Ｓ１０９）。
上述したように、ルール型の質問応答における回答候補は、回答として相応しいものであるために、検索質問文、ルール型の質問応答におけるパッセージ及び回答候補の対応関係を表す素性情報のみを、そのまま機械学習法の学習モデル情報に追加して、その後の統計処理型の質問応答に用いられるようにすることによっても、学習モデル情報を最適なものに再構築して、統計処理型の質問応答における回答候補抽出の精度を向上させることができる。
また、例えば、知識源２００がいわゆるＦＡＱサイトである場合、当該ＦＡＱサイトには、検索質問文と回答候補が含まれるパッセージとが存在する。この場合、回答検索部１４は、いわゆるロボット検索を行って検索質問文とパッセージとを取得する。更に、回答検索部１４は、そのパッセージの文型パターンが検索質問文に対応するルール情報に一致するか否かを判定し、一致した場合には、回答である可能性の高い回答候補を得ることが可能となる。
この場合には、ユーザの操作指示に応じた検索質問文の入力がなくても、自動的に、素性抽出部１６によって素性情報が生成され、学習セットＤＢ１８に保持された学習モデル情報及びテストセットＤＢ２０に保持された評価用学習モデル情報が再構築されるため、可能な限り迅速に学習モデル情報を最適なものに再構築することができる。
また、回答検索部１４は、ユーザの操作指示に応じた検索質問文及び回答候補から別の検索質問文やパッセージを生成して知識源２００を検索することにより、回答候補の確かさらしさを検証するようにしてもよい。
例えば、回答検索部１４は、検索質問文「最古の木造建築物で有名な法隆寺はいつ建立ましたか？」と回答候補「６０７年」からパッセージ「最古の木造建築物で有名な法隆寺｛は｜が｜を｝６０７年（に）建立｛されました｜された｝」、「６０７年（に）最古の木造建築物で有名な法隆寺｛は｜が｜を｝１９８０年に建立｛されました｜された｝」、「有名な法隆寺｛は｜が｝６０７年（に）建立｛されました｜された｝」等を生成する。更に、回答検索部１４は、これらのパッセージを用いて、知識源２００を検索し、検索結果が存在すれば、回答候補「６０７年」が回答である可能性が高いと判断することができ、素性抽出部１６によって素性情報が生成され、学習セットＤＢ１８に保持された学習モデル情報及びテストセットＤＢ２０に保持された評価用学習モデル情報が再構築される。別の検索質問文を生成して知識源２００を検索する場合も同様である。
更に、回答検索部１４は、生成された別の検索質問文やパッセージに対応するルール情報を生成し、その後のルール型質問応答処理に使用可能とするようにしてもよい。あるいは、典型質問文パターンマッチング部１２が生成した別の検索質問文に対応するルール情報を検索することにより、ユーザの操作指示に応じた検索質問文に対応するルール情報を取得することができない場合においても、生成した別の検索質問文に対応するルール情報を取得することが可能となる。
また、評価部２６における素性情報の評価において、機械学習法の１つであるＳＶＭ（Support Vector Machine）の手法を用いるようにしても良い。この場合、評価部２６は、素性抽出部１６によって生成された素性情報を、正解（正例）に対応する素性情報と不正解（負例）に対応する素性情報とに分類して、回答候補が正例又は負例のいずれかであるかを判定する。これにより、予め負例に対応する素性情報も学習モデル情報の構築において考慮されるため、正例に対応する素性情報のみによって学習モデル情報の構築がなされる場合によりも、当該学習モデル情報を用いた回答候補の抽出の精度を更に向上させることが可能となる。
また、テストセットＤＢ２０に保持される評価用学習モデル情報を評価する手段を設けてもよい。この場合には、評価用学習モデル情報の品質を更に向上させることができる。
以上、説明したように、本発明に係る質問応答システム、質問応答処理方法及び質問応答プログラムによれば、統計処理型の質問応答における回答候補抽出の精度を向上させることができ、質問応答システム等として有用である。
質問応答システムの構成を示す図である。 質問応答システムの動作を示すフローチャートである。 第１実施例における質問応答システムの構成を示す図である。 第２実施例における質問応答システムの構成を示す図である。
符号の説明
１０ 質問入力部
１２ 典型質問文パターンマッチング部
１４ 回答検索部
１６ 素性抽出部
１８ 学習セットＤＢ
２０ テストセットＤＢ
２２ 質問解析部
２４ 情報検索部
２６ 評価部
２８ 回答抽出部
３０ 回答提示部
３２ 学習モデル候補抽出部
３４ 再学習部
３６ テストセット評価部
３８ 精度監視部
４０ 素性削除処理部
５０ ルール型質問応答部
６０ 統計処理型質問応答部
７０ ブートストラッピング部
１００ 質問応答システム
２００ 知識源

Claims (15)

  1. プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムであって、
    前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合を保持する素性情報集合保持手段と、
    前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、前記素性情報保持手段により保持された素性情報集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出手段と、
    前記検索質問文、前記第１の回答候補抽出手段により取得された検索結果の文、及び、前記第１の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成手段と、
    前記第１の素性情報生成手段により生成された素性情報が前記素性情報保持手段に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定手段と、
    前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第１の素性情報追加手段とを有することを特徴とする質問応答システム。
  2. 前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出手段と、
    前記第２の回答候補抽出手段により回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出手段により取得された検索結果の文、及び、前記第２の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成手段と、
    前記第２の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第２の素性情報追加手段とを有することを特徴とする請求項１に記載の質問応答システム。
  3. 前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合を保持する評価用素性情報集合保持手段を有し、
    前記精度判定手段は、前記評価用素性情報集合保持手段に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成手段により生成された素性情報が前記評価用素性情報集合保持手段に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、
    前記第１の素性情報追加手段は、前記第１の素性情報生成手段により生成された素性情報が前記評価用素性情報集合保持手段に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記評価用素性情報集合保持手段に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加することを特徴とする請求項２に記載の質問応答システム。
  4. 前記評価用素性情報集合は、前記第２の素性情報生成手段により生成された素性情報の集合であることを特徴とする請求項３に記載の質問応答システム。
  5. プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムであって、
    前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合を保持する素性情報集合保持手段と、
    前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、前記素性情報保持手段により保持された素性情報集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出手段と、
    前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出手段と、
    前記第２の回答候補抽出手段により回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出手段により取得された検索結果の文、及び、前記第２の回答候補抽出手段により抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成手段と、
    前記第２の素性情報生成手段により生成された素性情報を前記素性情報保持手段に保持された素性情報集合に追加する第２の素性情報追加手段とを有することを特徴とする質問応答システム。
  6. プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムでの処理方法であって、
    前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、
    前記検索質問文、前記第１の回答候補抽出ステップにより取得された検索結果の文、及び、前記第１の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成ステップと、
    前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定ステップと、
    前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第１の素性情報追加ステップとを有することを特徴とする処理方法。
  7. 前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出ステップと、
    前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、
    前記第２の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とする請求項６に記載の処理方法。
  8. 前記精度判定ステップは、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、
    前記第１の素性情報追加ステップは、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記記憶装置に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加することを特徴とする請求項７に記載の処理方法。
  9. 前記評価用素性情報集合は、前記第２の素性情報生成ステップにより生成された素性情報の集合であることを特徴とする請求項８に記載の処理方法。
  10. プログラムに従って情報を処理する情報処理装置にて構成され、入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムでの処理方法であって、
    前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、
    前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る第２の回答候補を抽出する第２の回答候補抽出ステップと、
    前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、
    前記第２の素性情報生成ステップにより生成された素性情報の集合を、前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とする処理方法。
  11. 入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムを構成する情報処理装置にて実行可能なプログラムであって、
    前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、
    前記検索質問文、前記第１の回答候補抽出ステップにより取得された検索結果の文、及び、前記第１の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第１の素性情報生成ステップと、
    前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された素性情報集合に追加された場合における該素性情報集合について、回答候補抽出の精度に関する所定の基準を満たすか否かを判定する精度判定ステップと、
    前記回答候補抽出の精度が前記所定の基準を満たしていると判定される場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第１の素性情報追加ステップとを有することを特徴とするプログラム。
  12. 前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第２の回答候補抽出ステップと、
    前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、
    前記第２の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とする請求項１１に記載のプログラム。
  13. 前記精度判定ステップは、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す評価用素性情報の集合に基づく回答候補抽出の精度を表す値と、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値とを比較し、
    前記第１の素性情報追加ステップは、前記第１の素性情報生成ステップにより生成された素性情報が前記記憶装置に保持された評価用素性情報集合に追加された場合における該評価用素性情報集合に基づく回答候補抽出の精度を表す値が、前記記憶装置に保持された評価用素性情報集合に基づく回答候補抽出の精度を表す値よりも大きい場合に、前記第１の素性情報生成ステップにより生成された素性情報を前記記憶装置に保持された素性情報集合に追加することを特徴とする請求項１２に記載のプログラム。
  14. 前記評価用素性情報集合は、前記第２の素性情報生成ステップにより生成された素性情報の集合であることを特徴とする請求項１３に記載のプログラム。
  15. 入力した検索質問文に応じて、検索対象文を含む知識源を検索して回答を得る質問応答システムを構成する情報処理装置にて実行可能なプログラムであって、
    前記検索質問文を解析して得られる該検索質問文の解析情報に基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、記憶装置に予め保持された、前記検索質問文、該検索質問文に応じた前記知識源に含まれる検索対象文の検索により得られる検索結果の文、及び、該検索結果の文から抽出される前記検索質問文の回答となり得る回答候補の対応関係を表す素性情報の集合に基づいて前記検索結果の文から前記検索質問文の回答となり得る回答候補を抽出する第１の回答候補抽出ステップと、
    前記検索質問文に対応する予め定められた検索ルールに基づいて前記知識源に含まれる検索対象文を検索して検索結果の文を取得し、該検索結果の文から前記検索質問文の回答となり得る第２の回答候補を抽出する第２の回答候補抽出ステップと、
    前記第２の回答候補抽出ステップにより回答候補が抽出された場合に、前記検索質問文、前記第２の回答候補抽出ステップにより取得された検索結果の文、及び、前記第２の回答候補抽出ステップにより抽出された回答候補の対応関係を表す素性情報を生成する第２の素性情報生成ステップと、
    前記第２の素性情報生成ステップにより生成された素性情報の集合を、前記記憶装置に保持された素性情報集合に追加する第２の素性情報追加ステップとを有することを特徴とするプログラム。
JP2006041631A 2006-02-17 2006-02-17 質問応答システム、質問応答処理方法及び質問応答プログラム Pending JP2007219955A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006041631A JP2007219955A (ja) 2006-02-17 2006-02-17 質問応答システム、質問応答処理方法及び質問応答プログラム
US11/498,157 US20070196804A1 (en) 2006-02-17 2006-08-03 Question-answering system, question-answering method, and question-answering program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006041631A JP2007219955A (ja) 2006-02-17 2006-02-17 質問応答システム、質問応答処理方法及び質問応答プログラム

Publications (1)

Publication Number Publication Date
JP2007219955A true JP2007219955A (ja) 2007-08-30

Family

ID=38428662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006041631A Pending JP2007219955A (ja) 2006-02-17 2006-02-17 質問応答システム、質問応答処理方法及び質問応答プログラム

Country Status (2)

Country Link
US (1) US20070196804A1 (ja)
JP (1) JP2007219955A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008899A (ja) * 2010-06-28 2012-01-12 Nippon Telegr & Teleph Corp <Ntt> 検索クエリ推薦方法、検索クエリ推薦装置及び検索クエリ推薦プログラム
JP2012079161A (ja) * 2010-10-04 2012-04-19 National Institute Of Information & Communication Technology 自然言語文生成装置及びコンピュータプログラム
CN102789380A (zh) * 2011-05-20 2012-11-21 智学馆科技有限公司 电子试卷的生成方法
WO2013118225A1 (ja) * 2012-02-08 2013-08-15 日本電気株式会社 最適クエリ生成装置、最適クエリ抽出方法および判別モデル学習方法
WO2013122435A1 (ko) * 2012-02-17 2013-08-22 Park Jung Woong 웹과 모바일 통신의 메시지를 이용한 외국어학습 시스템 및 외국어학습 제공 방법
WO2013136634A1 (ja) * 2012-03-13 2013-09-19 三菱電機株式会社 ドキュメント検索装置およびドキュメント検索方法
WO2014050475A1 (ja) * 2012-09-27 2014-04-03 株式会社 東芝 データ分析装置及びプログラム
JP2017151629A (ja) * 2016-02-23 2017-08-31 富士通株式会社 検索制御プログラム、検索制御装置及び検索制御方法
JP2018045413A (ja) * 2016-09-14 2018-03-22 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019059185A1 (ja) * 2017-09-19 2019-03-28 株式会社 豆蔵 情報処理装置、情報処理システム、情報処理方法及びプログラム

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7607918B2 (en) * 2005-05-27 2009-10-27 Dybuster Ag Method and system for spatial, appearance and acoustic coding of words and sentences
US8275803B2 (en) * 2008-05-14 2012-09-25 International Business Machines Corporation System and method for providing answers to questions
US8332394B2 (en) 2008-05-23 2012-12-11 International Business Machines Corporation System and method for providing question and answers with deferred type evaluation
US20090306967A1 (en) * 2008-06-09 2009-12-10 J.D. Power And Associates Automatic Sentiment Analysis of Surveys
US8856879B2 (en) 2009-05-14 2014-10-07 Microsoft Corporation Social authentication for account recovery
US9124431B2 (en) * 2009-05-14 2015-09-01 Microsoft Technology Licensing, Llc Evidence-based dynamic scoring to limit guesses in knowledge-based authentication
US8892550B2 (en) 2010-09-24 2014-11-18 International Business Machines Corporation Source expansion for information retrieval and information extraction
WO2012040356A1 (en) 2010-09-24 2012-03-29 International Business Machines Corporation Providing question and answers with deferred type evaluation using text with limited structure
US20120078062A1 (en) 2010-09-24 2012-03-29 International Business Machines Corporation Decision-support application and system for medical differential-diagnosis and treatment using a question-answering system
WO2012040350A1 (en) * 2010-09-24 2012-03-29 International Business Machines Corporation Lexical answer type confidence estimation and application
US8943051B2 (en) 2010-09-24 2015-01-27 International Business Machines Corporation Lexical answer type confidence estimation and application
US9569724B2 (en) 2010-09-24 2017-02-14 International Business Machines Corporation Using ontological information in open domain type coercion
WO2012047530A1 (en) 2010-09-28 2012-04-12 International Business Machines Corporation Providing answers to questions using logical synthesis of candidate answers
US9317586B2 (en) 2010-09-28 2016-04-19 International Business Machines Corporation Providing answers to questions using hypothesis pruning
US8738617B2 (en) * 2010-09-28 2014-05-27 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
US10621880B2 (en) 2012-09-11 2020-04-14 International Business Machines Corporation Generating secondary questions in an introspective question answering system
US9262938B2 (en) 2013-03-15 2016-02-16 International Business Machines Corporation Combining different type coercion components for deferred type evaluation
JP5408380B1 (ja) * 2013-06-17 2014-02-05 富士ゼロックス株式会社 情報処理プログラム及び情報処理装置
US9286153B2 (en) * 2013-12-12 2016-03-15 International Business Machines Corporation Monitoring the health of a question/answer computing system
US9471689B2 (en) 2014-05-29 2016-10-18 International Business Machines Corporation Managing documents in question answering systems
CN104091478A (zh) * 2014-07-08 2014-10-08 肖文芳 随问随答学习机以及网络学习系统
US9703840B2 (en) * 2014-08-13 2017-07-11 International Business Machines Corporation Handling information source ingestion in a question answering system
JP6414956B2 (ja) * 2014-08-21 2018-10-31 国立研究開発法人情報通信研究機構 質問文生成装置及びコンピュータプログラム
US10331673B2 (en) 2014-11-24 2019-06-25 International Business Machines Corporation Applying level of permanence to statements to influence confidence ranking
US11017312B2 (en) * 2014-12-17 2021-05-25 International Business Machines Corporation Expanding training questions through contextualizing feature search
US9471668B1 (en) * 2016-01-21 2016-10-18 International Business Machines Corporation Question-answering system
US20180203856A1 (en) * 2017-01-17 2018-07-19 International Business Machines Corporation Enhancing performance of structured lookups using set operations
US11729120B2 (en) * 2017-03-16 2023-08-15 Microsoft Technology Licensing, Llc Generating responses in automated chatting
US20180365590A1 (en) * 2017-06-19 2018-12-20 International Business Machines Corporation Assessment result determination based on predictive analytics or machine learning
US11868734B2 (en) * 2018-04-16 2024-01-09 Ntt Docomo, Inc. Dialogue system
US10963500B2 (en) 2018-09-04 2021-03-30 International Business Machines Corporation Determining answers to comparative questions
US11403355B2 (en) 2019-08-20 2022-08-02 Ai Software, LLC Ingestion and retrieval of dynamic source documents in an automated question answering system
CN110674246A (zh) * 2019-09-19 2020-01-10 北京小米智能科技有限公司 问答模型训练方法、自动问答方法及装置
CN111984774B (zh) * 2020-08-11 2024-02-27 北京百度网讯科技有限公司 搜索方法、装置、设备以及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR741501A0 (en) * 2001-09-03 2001-09-20 Guignard, Paul A. Networked knowledge management and learning
JP4334793B2 (ja) * 2001-09-28 2009-09-30 太田 美津枝 選択支援演算装置
US7321920B2 (en) * 2003-03-21 2008-01-22 Vocel, Inc. Interactive messaging system
US20050015296A1 (en) * 2003-05-30 2005-01-20 Darryl Dougan Method for segmenting investors
US8666983B2 (en) * 2003-06-13 2014-03-04 Microsoft Corporation Architecture for generating responses to search engine queries
US7454393B2 (en) * 2003-08-06 2008-11-18 Microsoft Corporation Cost-benefit approach to automatically composing answers to questions by extracting information from large unstructured corpora
KR100533810B1 (ko) * 2003-10-16 2005-12-07 한국전자통신연구원 백과사전 질의응답 시스템의 지식베이스 반자동 구축 방법
JP3981734B2 (ja) * 2003-11-21 2007-09-26 独立行政法人情報通信研究機構 質問応答システムおよび質問応答処理方法
US20060106788A1 (en) * 2004-10-29 2006-05-18 Microsoft Corporation Computer-implemented system and method for providing authoritative answers to a general information search
JP4287386B2 (ja) * 2005-01-31 2009-07-01 株式会社東芝 情報検索システム、方法及びプログラム
US20070208727A1 (en) * 2006-03-03 2007-09-06 Motorola, Inc. Trust metric-based querying method

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008899A (ja) * 2010-06-28 2012-01-12 Nippon Telegr & Teleph Corp <Ntt> 検索クエリ推薦方法、検索クエリ推薦装置及び検索クエリ推薦プログラム
JP2012079161A (ja) * 2010-10-04 2012-04-19 National Institute Of Information & Communication Technology 自然言語文生成装置及びコンピュータプログラム
CN102789380A (zh) * 2011-05-20 2012-11-21 智学馆科技有限公司 电子试卷的生成方法
CN102789380B (zh) * 2011-05-20 2015-07-29 智学馆科技有限公司 电子试卷的生成方法
JPWO2013118225A1 (ja) * 2012-02-08 2015-05-11 日本電気株式会社 最適クエリ生成装置、最適クエリ抽出方法および判別モデル学習方法
WO2013118225A1 (ja) * 2012-02-08 2013-08-15 日本電気株式会社 最適クエリ生成装置、最適クエリ抽出方法および判別モデル学習方法
WO2013122435A1 (ko) * 2012-02-17 2013-08-22 Park Jung Woong 웹과 모바일 통신의 메시지를 이용한 외국어학습 시스템 및 외국어학습 제공 방법
WO2013136634A1 (ja) * 2012-03-13 2013-09-19 三菱電機株式会社 ドキュメント検索装置およびドキュメント検索方法
JPWO2013136634A1 (ja) * 2012-03-13 2015-08-03 三菱電機株式会社 ドキュメント検索装置およびドキュメント検索方法
JP2014071493A (ja) * 2012-09-27 2014-04-21 Toshiba Corp データ分析装置及びプログラム
WO2014050475A1 (ja) * 2012-09-27 2014-04-03 株式会社 東芝 データ分析装置及びプログラム
US10025789B2 (en) 2012-09-27 2018-07-17 Kabushiki Kaisha Toshiba Data analyzing apparatus and program
JP2017151629A (ja) * 2016-02-23 2017-08-31 富士通株式会社 検索制御プログラム、検索制御装置及び検索制御方法
JP2018045413A (ja) * 2016-09-14 2018-03-22 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019059185A1 (ja) * 2017-09-19 2019-03-28 株式会社 豆蔵 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2019056969A (ja) * 2017-09-19 2019-04-11 株式会社豆蔵 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7018278B2 (ja) 2017-09-19 2022-02-10 株式会社豆蔵 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20070196804A1 (en) 2007-08-23

Similar Documents

Publication Publication Date Title
JP2007219955A (ja) 質問応答システム、質問応答処理方法及び質問応答プログラム
Lalor et al. Building an evaluation scale using item response theory
JP5043892B2 (ja) エッセイ中の過度の反復語使用の自動評価
US20080097937A1 (en) Distributed method for integrating data mining and text categorization techniques
US8620961B2 (en) Mention-synchronous entity tracking: system and method for chaining mentions
Taufiq Classification method of multi-class on C4. 5 algorithm for fish diseases
Roy et al. Wisdom of students: A consistent automatic short answer grading technique
Clark et al. Automatic construction of inference-supporting knowledge bases
JP2016153931A (ja) 情報処理方法、情報処理装置及び情報処理プログラム
CN116611074A (zh) 安全信息审查方法、设备、存储介质及装置
CN113590810A (zh) 摘要生成模型训练方法、摘要生成方法、装置及电子设备
JP2012243125A (ja) 因果単語対抽出装置、因果単語対抽出方法および因果単語対抽出用プログラム
Sinha et al. NLP-based automatic answer evaluation
Majszak et al. Expert judgment in climate science: how it is used and how it can be justified
Eskandari et al. Predicting best answer using sentiment analysis in community question answering systems
CN115660695A (zh) 客服人员标签画像构建方法、装置、电子设备及存储介质
JP7230622B2 (ja) 指標値付与装置、指標値付与方法及びプログラム
CN111159360B (zh) 获得讯询问话题分类模型、讯询问话题分类的方法和装置
CN112948563A (zh) 文本搜索方法及其系统
JP4592556B2 (ja) 文書検索装置、文書検索方法および文書検索プログラム
McDowell Relational active learning for link-based classification
Al-Taie et al. Successful Data Science Projects: Lessons Learned from Kaggle Competition
US20230368920A1 (en) Learning apparatus, mental state sequence prediction apparatus, learning method, mental state sequence prediction method and program
CN112669983B (zh) 基于不完整数据深度学习的传染病协同预测方法和机器人
CN114218354A (zh) 文本分析方法、装置、计算机设备及存储介质