JP2013250926A - Question answering device, method and program - Google Patents

Question answering device, method and program Download PDF

Info

Publication number
JP2013250926A
JP2013250926A JP2012127053A JP2012127053A JP2013250926A JP 2013250926 A JP2013250926 A JP 2013250926A JP 2012127053 A JP2012127053 A JP 2012127053A JP 2012127053 A JP2012127053 A JP 2012127053A JP 2013250926 A JP2013250926 A JP 2013250926A
Authority
JP
Japan
Prior art keywords
attribute
target
question
unknown
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012127053A
Other languages
Japanese (ja)
Other versions
JP5812534B2 (en
Inventor
Ryuichiro Higashinaka
竜一郎 東中
Toshiaki Makino
俊朗 牧野
Yoshihiro Matsuo
義博 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012127053A priority Critical patent/JP5812534B2/en
Publication of JP2013250926A publication Critical patent/JP2013250926A/en
Application granted granted Critical
Publication of JP5812534B2 publication Critical patent/JP5812534B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To output an appropriate response by extracting an object and a response accurately from a question sentence which asks an attribute of an object.SOLUTION: In a learning unit 11, an object model generation unit 12 imparts an object label to show an object part and learns an object model 21 by using a plurality of learning data in which proper nouns and the like are replaced with specific symbols; and an attribute model generation unit 13 learns an attribute model 22 by using the attribute included in each of the learning data and feature quantity extracted from the part other than a surface layer of the object of the learning data. In a response unit 31, an object extraction unit 32 replaces proper nouns and the like of an unknown question sentence with specific symbols and extracts the object part from the unknown question sentence by using the object model 21; an attribute determination unit 33 determines the attribute of the unknown question sentence by using the feature quantity extracted from the part other than the surface layer of the object part of the unknown question sentence, and the attribute model 22; a response output unit 35 retrieves a response to the extracted object part and the determined attribute from the database and outputs it.

Description

本発明は質問応答装置、方法、及びプログラムに係り、特に、対象の属性を質問する質問文に対する応答を出力する質問応答装置、方法、及びプログラムに関する。   The present invention relates to a question answering apparatus, method, and program, and more particularly, to a question answering apparatus, method, and program for outputting a response to a question sentence for asking a target attribute.

自然言語による質問文の中で、対象の属性を質問するタイプの質問文は比較的多い。例えば、「山田さんの誕生日は?」や「スカイツリーの高さは?」などである。それぞれ、「山田さん」という対象の「誕生日」という属性、「スカイツリー」という対象の「高さ」という属性を質問している。このような質問文から、対象及び属性を正しく抽出できれば、例えば、人物名と誕生日とからなるデータベースから、「山田さん」の「誕生日」フィールドを検索することで、山田さんの誕生日を回答することができたり、建物とその高さとからなるデータベースから、「スカイツリー」の「高さ」フィールドを検索することで、スカイツリーの高さを回答することができたりする。   There are relatively many types of question sentences that ask the target attribute among the question sentences in natural language. For example, “What is Yamada's birthday?” Or “How tall is the Sky Tree?”. Each of them asks the attribute “Birthday” of the subject “Mr. Yamada” and the attribute “Height” of the subject “Sky Tree”. If the target and attributes can be correctly extracted from such a question sentence, for example, by searching the “Birthday” field of “Yamada-san” from the database of person names and birthdays, Mr. Yamada ’s birthday can be obtained. It is possible to answer, or by searching the “height” field of “sky tree” from the database of buildings and their heights, the height of the sky tree can be answered.

従来、自然言語による文から対象や属性を抽出する手法には、手作業によるルールや、機械学習の手法が用いられてきた。例えば、対象の抽出には、名詞連続を抽出するルールを作成する手法や、固有表現抽出技術を用いて、検出された固有表現を対象として抽出する手法が用いられてきた。また、属性の抽出は、自然言語処理では大きなトピックであり、多くの文書から、特定の対象に関する属性を抽出する研究がなされてきている。例えば、ウェブ上の文書から、特定の対象が持つ属性を抽出する手法が提案されている(例えば、非特許文献1参照)。   Conventionally, manual rules and machine learning methods have been used as methods for extracting objects and attributes from sentences in natural language. For example, a method of creating a rule for extracting a continuation of nouns or a method of extracting a detected specific expression as a target by using a specific expression extraction technique has been used for extraction of objects. In addition, attribute extraction is a major topic in natural language processing, and research has been conducted on extracting attributes related to specific objects from many documents. For example, a method for extracting attributes of a specific object from a document on the web has been proposed (see, for example, Non-Patent Document 1).

谷 直紀、ボッレーガラ ダヌシカ、石塚 満、「属性の相互関係を利用したWebからの属性抽出 Attribute Extraction from the Web based on Correlation between Attributes」、人工知能学会全国大会、2010.Naoki Tani, Danelle de Bolegala, Mitsuru Ishizuka, “Attribute Extraction from the Web based on Correlation between Attributes”, Japanese Society for Artificial Intelligence, 2010.

しかしながら、従来技術は、大量の文書集合から、属性を抽出することが目的であって、単一の質問文中の対象について、どの属性が問われているかを推定するものではない。   However, the prior art is intended to extract attributes from a large collection of documents, and does not estimate which attribute is being questioned for an object in a single question sentence.

質問文から対象を抽出する場合、従来は、上述のように、名詞連続や、固有表現抽出技術を用いて、質問文中の名詞句、固有名詞、固有表現等を検出し、これらが検出されれば対象とするアプローチが取られる。例えば、「山田の誕生日は?」という質問文であれば、唯一の固有名詞である「山田」が対象として選ばれる。   When extracting a target from a question sentence, conventionally, as described above, noun phrases, proper nouns, proper expressions, etc. in the question sentence are detected by using noun continuation or proper expression extraction technology, and these are detected. The targeted approach is taken. For example, if the question is “What is Yamada's birthday?”, The only proper noun “Yamada” is selected as the target.

しかしながら、自然言語において、質問の仕方は様々である。例えば、「○○チームの山田っていつ生まれた?」という質問であれば、対象は「山田」であるが、従来手法では、「○○チーム」及び「山田」が対象として取得される。この場合、どちらの対象の属性を尋ねた質問であるかを判断することは、コンピュータにとって容易ではない。このため、単語長の長い方の単語を対象として決定したり、「の」の後の単語を優先したりするなどのアドホックなルールを記述して対応する必要がある。加えて、未知の単語が質問に入っている場合、形態素解析によって単語がうまく分割できず、対象の抽出に失敗する場合がある。また、倒置法などで質問が書かれている場合(例えば、「生まれたのいつだっけ?山田、○○チームの。」)、あらゆる態様に対応したルールを予め定めておくことは困難であるため、適切に対象を抽出することができない場合がある。   However, there are various ways to ask questions in natural language. For example, in the case of the question “What was the team born in XX team?”, The target is “Yamada”, but in the conventional method, “XX team” and “Yamada” are acquired as targets. In this case, it is not easy for the computer to determine which target attribute the question is about. For this reason, it is necessary to deal with ad hoc rules such as determining a word having a longer word length as a target or giving priority to a word after “no”. In addition, when an unknown word is included in a question, the word cannot be divided well by morphological analysis, and extraction of the target may fail. In addition, when questions are written by the inversion method etc. (for example, “When was it born? Yamada, XX team?”), It is difficult to predetermine rules corresponding to all aspects. Therefore, there are cases where the target cannot be extracted appropriately.

また、属性抽出については、文書集合から対象の属性を抽出する研究は多いが、対象の属性を質問する質問文に含まれる属性を特定する手法は提案されていない。   As for attribute extraction, there are many studies to extract target attributes from a set of documents, but no method has been proposed for identifying attributes included in a question sentence that queries the target attributes.

本発明は上記事実を考慮して成されたもので、対象の属性を質問する質問文から精度良く対象及び属性を抽出して、適切な応答を出力することができる質問応答装置、方法、及びプログラムを提供することを目的とする。   The present invention has been made in consideration of the above facts, a question answering apparatus, a method, and a method capable of accurately extracting a target and an attribute from a question sentence for asking a target attribute and outputting an appropriate response, and The purpose is to provide a program.

上記目的を達成するために、本発明の質問応答装置は、対象の属性を質問する質問文の対象部分に対象であることを示す対象ラベルが付与された複数の学習用質問文を用いて学習された対象モデルに基づいて、対象及び属性が未知の未知質問文から対象部分を抽出する対象抽出手段と、前記複数の学習用質問文の各々が尋ねる属性の各々と、前記複数の学習用質問文の各々から抽出された特徴量の各々との対応付けを学習した属性モデルと、前記未知質問文から抽出された特徴量とに基づいて、前記未知質問文に含まれる属性を判定する属性判定手段と、前記対象抽出手段により抽出された対象部分と、前記属性判定手段により判定され属性とを用いて、所定のデータベースから前記未知質問文に対応する情報を検索して応答を出力する応答出力手段と、を含んで構成されている。   In order to achieve the above object, the question answering apparatus of the present invention learns using a plurality of learning question sentences in which a target label indicating that a target is attached to a target part of a question sentence for asking a target attribute. A target extraction unit that extracts a target portion from an unknown question sentence whose target and attribute are unknown based on the target model that has been determined; each of the attributes that each of the plurality of learning question sentences asks; and the plurality of learning questions Attribute determination for determining an attribute included in the unknown question sentence based on the attribute model learned to associate with each feature quantity extracted from each sentence and the feature quantity extracted from the unknown question sentence A response for retrieving information corresponding to the unknown question sentence from a predetermined database using the means, the target portion extracted by the target extraction means, and the attribute determined by the attribute determination means It is configured to include a power means.

本発明の質問応答装置によれば、対象抽出手段が、対象の属性を質問する質問文の対象部分に対象であることを示す対象ラベルが付与された複数の学習用質問文を用いて学習された対象モデルに基づいて、対象及び属性が未知の未知質問文から対象部分を抽出し、また、属性判定手段が、複数の学習用質問文の各々が尋ねる属性の各々と、複数の学習用質問文の各々から抽出された特徴量の各々との対応付けを学習した属性モデルと、未知質問文から抽出された特徴量とに基づいて、未知質問文に含まれる属性を判定する。そして、応答出力手段が、対象抽出手段により抽出された対象部分と、属性判定手段により判定され属性とを用いて、所定のデータベースから未知質問文に対応する情報を検索して応答を出力する。   According to the question answering device of the present invention, the target extraction unit is learned using a plurality of learning questions with a target label indicating that the target is included in a target part of a question that asks for a target attribute. The target portion is extracted from the unknown question sentence whose target and attribute are unknown based on the target model, and the attribute determination means includes each of the attributes asked by the plurality of learning question sentences and the plurality of learning questions. The attribute included in the unknown question sentence is determined based on the attribute model learned to be associated with each of the feature quantities extracted from each sentence and the feature quantity extracted from the unknown question sentence. And a response output means searches the information corresponding to an unknown question sentence from a predetermined | prescribed database using the object part extracted by the object extraction means, and the attribute determined by the attribute determination means, and outputs a response.

このように、学習用質問文を用いて学習された対象モデル及び属性モデルに基づいて、未知質問文に対して、対象の抽出、及び属性の判定を行うため、十分なバリエーションの学習用質問文を用いることで、対象の属性を質問する質問文から精度良く対象及び属性を抽出して、適切な応答を出力することができる。   Thus, based on the target model and attribute model learned using the learning question sentence, sufficient variation of the learning question sentence to extract the target and determine the attribute for the unknown question sentence By using, it is possible to accurately extract a target and an attribute from a question sentence for asking about the target attribute and output an appropriate response.

また、前記対象抽出手段は、前記未知質問文の品詞が対象候補として予め定めた品詞である単語の表層を特定の記号で置き換えた上で、前記学習用質問文の各々において、品詞が対象候補として予め定めた品詞である単語の表層を前記特定の記号で置き換えて学習された対象モデルに基づいて、前記未知質問文から前記対象部分を抽出することができる。これにより、対象モデルが一般化され、未知の単語についても適切に対象部分として抽出可能となる。   In addition, the target extracting unit replaces a surface layer of a word whose part of speech of the unknown question sentence is a predetermined part of speech as a target candidate with a specific symbol, and then the part of speech is a target candidate in each of the learning question sentences. The target portion can be extracted from the unknown question sentence based on the target model learned by replacing the surface layer of a word having a predetermined part of speech with the specific symbol. As a result, the target model is generalized, and unknown words can be appropriately extracted as target portions.

また、前記属性判定手段は、前記複数の学習用質問文の各々の対象部分の表層以外の部分から抽出された特徴量を用いて学習された属性モデルと、前記未知質問文から抽出された特徴量とに基づいて、前記未知質問文に含まれる属性を判定することができる。これにより、学習用質問文に出現する対象と属性との組み合わせにおける表層の偏り等の影響を抑制し、属性の判定精度を向上させることができる。   Further, the attribute determination means includes an attribute model learned using a feature quantity extracted from a portion other than the surface layer of each target portion of the plurality of learning question sentences, and a feature extracted from the unknown question sentence Based on the quantity, an attribute included in the unknown question sentence can be determined. As a result, it is possible to suppress the influence of surface layer bias or the like in the combination of the target and the attribute appearing in the learning question sentence, and improve the attribute determination accuracy.

また、本発明の質問応答装置は、前記属性に応じて前記学習用質問文の各々に特徴的に出現する単語を抽出して生成した前記属性毎の特徴単語リストと、前記未知質問文に含まれる単語とに基づいて、前記属性判定手段により判定された属性の確からしさを検証する属性検証手段を含んで構成することができる。これにより、属性の判定結果の信頼性を向上させることができる。   The question answering device of the present invention includes a feature word list for each attribute generated by extracting words characteristically appearing in each of the learning question sentences according to the attributes, and the unknown question sentence And an attribute verification unit that verifies the likelihood of the attribute determined by the attribute determination unit based on the word. Thereby, the reliability of the attribute determination result can be improved.

また、本発明の質問応答装置は、前記複数の学習用質問文を用いて、前記対象モデル及び前記属性モデルを生成する学習手段、並びに、前記複数の学習用質問文を用いて、前記特徴単語リストを生成するリスト生成手段を含んで構成することができる。このように、上述の対象モデル、属性モデル、及び特徴単語リストを生成する機能を併せ持つことができる。   Further, the question answering apparatus of the present invention uses the plurality of learning question sentences to generate the target model and the attribute model, and the feature words using the plurality of learning question sentences. A list generation means for generating a list can be included. Thus, it is possible to have a function of generating the above-described target model, attribute model, and feature word list.

また、本発明の質問応答方法は、対象抽出手段が、対象の属性を質問する質問文の対象部分に対象であることを示す対象ラベルが付与された複数の学習用質問文を用いて学習された対象モデルに基づいて、対象及び属性が未知の未知質問文から対象部分を抽出し、属性判定手段が、前記複数の学習用質問文の各々が尋ねる属性の各々と、前記複数の学習用質問文の各々から抽出された特徴量の各々との対応付けを学習した属性モデルと、前記未知質問文から抽出された特徴量とに基づいて、前記未知質問文に含まれる属性を判定し、応答出力手段が、前記対象抽出手段により抽出された対象部分と、前記属性判定手段により判定され属性とを用いて、所定のデータベースから前記未知質問文に対応する情報を検索して応答を出力する方法である。   In the question answering method of the present invention, the object extracting means is learned by using a plurality of learning question sentences in which a target label indicating that a target is included in a target part of a question sentence for asking a target attribute. A target portion is extracted from an unknown question sentence whose target and attribute are unknown based on the target model, and an attribute determination unit includes each of the attributes asked by each of the plurality of learning question sentences and the plurality of learning questions. Determining an attribute included in the unknown question sentence based on the attribute model learned to associate with each of the feature quantities extracted from each sentence and the feature quantity extracted from the unknown question sentence; A method in which an output unit searches for information corresponding to the unknown question sentence from a predetermined database using the target portion extracted by the target extraction unit and the attribute determined by the attribute determination unit, and outputs a response In .

また、本発明の質問応答プログラムは、コンピュータを、上記の質問応答装置を構成する各手段として機能させるためのプログラムである。   The question answering program of the present invention is a program for causing a computer to function as each means constituting the question answering apparatus.

本発明の質問応答装置、方法、及びプログラムによれば、学習用質問文を用いて学習された対象モデル及び属性モデルに基づいて、未知質問文に対して、対象の抽出、及び属性の判定を行うため、十分なバリエーションの学習用質問文を用いることで、対象の属性を質問する質問文から精度良く対象及び属性を抽出して、適切な応答を出力することができる、という効果を有する。   According to the question answering apparatus, method, and program of the present invention, based on the target model and the attribute model learned using the learning question sentence, the target extraction and attribute determination are performed on the unknown question sentence. Therefore, by using a sufficiently-variable learning question sentence, it is possible to accurately extract a target and an attribute from a question sentence for asking a target attribute and to output an appropriate response.

本実施の形態に係る質問応答装置の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the question answering apparatus which concerns on this Embodiment. 学習データの一例を示す図である。It is a figure which shows an example of learning data. 対象ラベルの付与及び特定記号への置き換え後の学習データの一例を示す図である。It is a figure which shows an example of the learning data after provision of a target label and replacement to a specific symbol. 学習データから素性を生成するためのテンプレートの一例を示す図である。It is a figure which shows an example of the template for producing | generating a feature from learning data. 属性番号と抽出された特徴量との一例を示す図である。It is a figure which shows an example of an attribute number and the extracted feature-value. 未知質問文の形態素解析結果の一例を示す図である。It is a figure which shows an example of the morphological analysis result of an unknown question sentence. 特定記号への置き換え後の未知質問文の一例を示す図である。It is a figure which shows an example of the unknown question sentence after the replacement to a specific symbol. 未知質問文へ対象ラベルを付与した一例を示す図である。It is a figure which shows an example which provided the object label to the unknown question sentence. 本実施の形態における学習処理ルーチンを示すフローチャートである。It is a flowchart which shows the learning process routine in this Embodiment. 本実施の形態における応答処理ルーチンを示すフローチャートである。It is a flowchart which shows the response process routine in this Embodiment.

以下、図面を参照して本発明の実施の形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

本実施の形態に係る質問応答装置10は、CPUと、RAMと、後述する学習処理及び応答処理を含む質問応答処理ルーチンを実行するためのプログラム及び各種データを記憶したROMとを備えたコンピュータで構成されている。また、記憶手段としてHDDを設けてもよい。   A question answering apparatus 10 according to the present embodiment is a computer including a CPU, a RAM, a program for executing a question answering process routine including a learning process and a response process described later, and a ROM storing various data. It is configured. Further, an HDD may be provided as a storage means.

このコンピュータは、機能的には、図1に示すように、学習部11と応答部31とを含んだ構成で表すことができ、学習部11はさらに、対象モデル生成部12と、属性モデル生成部13と、特徴単語リスト生成部14とを含んだ構成で表すことができ、応答部31はさらに、対象抽出部32と、属性判定部33と、属性検証部34と、応答出力部35とを含んだ構成で表すことができる。   As shown in FIG. 1, this computer can be functionally represented by a configuration including a learning unit 11 and a response unit 31. The learning unit 11 further includes a target model generation unit 12 and an attribute model generation. The response unit 31 further includes a target extraction unit 32, an attribute determination unit 33, an attribute verification unit 34, and a response output unit 35. Can be expressed in a configuration including

まず、学習部11の各部について詳述する。   First, each part of the learning unit 11 will be described in detail.

対象モデル生成部12は、対象の属性を質問する質問文を学習データとして複数取得する。学習データにおいて対象及び属性は既知である。学習データの一例を図2に示す。図2の例は、「△△テレビ」という対象の「url」という属性を質問する質問文である。このような学習データの各々を形態素解析し、各単語の表層及び品詞の情報を得る。形態素解析後の学習データにおいて、対象となる単語に、対象であることを示す対象ラベルを付与する。図2の例では、質問中に「△△テレビ」という対象を必ず含めるように作成しているため、対象となる単語「△△テレビ」に対して、学習データ中での「△△テレビ」の出現位置に対象ラベルを付与する。   The target model generation unit 12 acquires a plurality of question sentences asking for questions about the target attribute. Objects and attributes are already known in the learning data. An example of learning data is shown in FIG. The example of FIG. 2 is a question sentence for asking an attribute “url” of a target “ΔTV”. Each of such learning data is subjected to morphological analysis to obtain information on the surface layer and part of speech of each word. In the learning data after the morphological analysis, a target label indicating that the target word is a target is given to the target word. In the example of FIG. 2, the question “△△ TV” is included in the question without fail, so that “△△ TV” in the learning data for the target word “△△ TV”. The target label is given to the appearance position of.

また、対象モデル生成部12は、学習データの各々の対象となり得る単語、例えば、品詞が固有名詞等の対象候補として予め定めた品詞である単語の表層を特定の記号に置き換える。図3に、対象となる単語に対象ラベルを付与し、対象となり得る単語の表層を特定の記号に置き換えた学習データの一例を示す。図3の例では、最初のフィールドが表層、二つ目のフィールドが品詞、三つ目のフィールドが対象ラベルとなっている。対象ラベルとして、対象となる単語を表す「B-Tagged」及び「I-Tagged」と、対象ではない単語を表す「O」を用いている。なお、BはBegin(対象の始まり)、IはInside(対象中)、及びOはOtherの意味である。また、特定の記号としてアスタリスク(*)を用いて、対象となり得る単語の表層を置き換えている。ここでは、形態素解析にNTTによるJTAGを用い、品詞が、名詞:名:固有、名詞、名詞接尾辞:名詞、Number、名詞:固有、名詞:形容、及びUndefの単語の表層を*に置き換えている。このように固有名詞等を特定の記号へ置き換えておくことで、例えば、品詞が名詞の単語の後に、品詞が名詞:固有:地の単語が続くような箇所なども一般化して、対象ラベル(「B-Tagged」及び「I-Tagged」)を付与することができる。   Further, the target model generation unit 12 replaces a surface layer of a word that can be a target of each of the learning data, for example, a word whose part of speech is a part of speech predetermined as a target candidate such as a proper noun with a specific symbol. FIG. 3 shows an example of learning data in which a target label is assigned to a target word and the surface layer of the target word is replaced with a specific symbol. In the example of FIG. 3, the first field is the surface layer, the second field is the part of speech, and the third field is the target label. As target labels, “B-Tagged” and “I-Tagged” representing target words and “O” representing non-target words are used. B means Begin (beginning of object), I means Inside (in object), and O means Other. In addition, an asterisk (*) is used as a specific symbol to replace a surface layer of a word that can be a target. Here, JTAG by NTT is used for the morphological analysis, and the part of speech is replaced with * for the noun: name: proper, noun, noun suffix: noun, number, noun: proper, noun: adjective, and undef word. Yes. By replacing proper nouns with specific symbols in this way, for example, parts where the part of speech is a noun word followed by the part of speech is a noun: proper: local word, etc. "B-Tagged" and "I-Tagged").

さらに、対象モデル生成部12は、上記のような処理を施した学習データを用いて、系列ラベリングの手法により、対象及び属性が未知の未知質問文に対象ラベルを付与するための対象モデル21を学習する。具体的には、条件付き確率場(Conditional RandomFields;CRF)を用いて学習する。CRFは、固有表現抽出など、系列ラベリング手法で一般的な手法である。CRFは、学習時、上記のような学習データから素性を生成し、学習を行う。この素性を生成するために、素性の生成方法を記述したテンプレートとして、例えば、図4に示すようなテンプレートを用いることができる。このテンプレートは、CRF++というソフトウェアの書式に従って記述されたもので、ある単語について、そのラベルを推定する場合、3つ前、3つ後までの単語の情報を用いた素性を生成することを示す。上記の学習データからテンプレートにより生成した素性を用いて、CRFにより対象モデル21を学習する。   Further, the target model generation unit 12 uses the learning data that has been subjected to the above-described processing to generate a target model 21 for assigning a target label to an unknown question sentence whose target and attribute are unknown by a sequence labeling technique. learn. Specifically, learning is performed using conditional random fields (CRF). CRF is a common technique for sequence labeling such as proper expression extraction. At the time of learning, the CRF generates a feature from the learning data as described above and performs learning. In order to generate this feature, for example, a template as shown in FIG. 4 can be used as a template describing a feature generation method. This template is described in accordance with the software format of CRF ++. When a label is estimated for a certain word, it indicates that a feature is generated using information of three words before and after three words. The target model 21 is learned by CRF using the feature generated by the template from the learning data.

属性モデル生成部13は、学習データの各々に、各学習データに含まれる属性を表す単語が、N個の属性のいずれの属性に属するかを示す属性番号を付与する。属性の数Nは、用いた全学習データに含まれる属性の数によって定まる。属性は、例えば、birthDate、Category、MVP、RadioStation、actors、address、affiliation、age、airdate、airtime等を用いることができ、それぞれの属性番号を、例えば、1,2,・・・,Nとすることができる。   The attribute model generation unit 13 assigns an attribute number indicating which of the N attributes the word representing the attribute included in each learning data belongs to each of the learning data. The number N of attributes is determined by the number of attributes included in all the learning data used. As attributes, for example, birthDate, Category, MVP, RadioStation, actors, address, affiliation, age, airdate, airtime, etc. can be used, and the respective attribute numbers are, for example, 1, 2,. be able to.

また、属性モデル生成部13は、学習データの各々の表層及び品詞のうち、対象部分となる単語の表層を除外した部分から、学習データ毎に特徴量を抽出する。特徴量としては、単語ユニグラム、品詞、及び単語バイグラムを用いる。これらの特徴量は全て、その特徴が存在すれば1、存在しなければ0というバイナリ素性である。   Moreover, the attribute model production | generation part 13 extracts a feature-value for every learning data from the part which excluded the surface layer of the word used as object part among each surface layer and part of speech of learning data. As the feature amount, a word unigram, a part of speech, and a word bigram are used. All of these feature quantities have a binary feature of 1 if the feature exists and 0 if the feature does not exist.

例えば、「甲野太郎の誕生日は」(対象:甲野太郎、属性:birthDate)という学習データの場合、まず、対象部分の表層を特徴量抽出の対象から除外する。そうすることで、学習データ中に「甲野太郎」の「誕生日」を質問する質問文が多い場合に、「甲野太郎」という文字列のみによって、属性が「誕生日」であると判定されてしまうことを防ぐことができる。具体的には、「甲野太郎の誕生日は」という学習データの形態素解析結果から、「甲野」、「太郎」、「の」、「誕生日」、及び「は」という単語系列を得る。また、それぞれの単語の品詞として、「名詞:固有:姓:組織」、「名詞:名:固有」、「格助詞:連体」、「名詞」、及び「連用助詞」を得る。ここから、単語ユニグラムとして、対象である「甲野太郎」の部分を除外した「の」、「誕生日」、及び「は」のそれぞれの単語の存在をバイナリ特徴量として抽出する。また、単語バイグラムとして、「の−誕生日」、「誕生日−は」、及び「は−E」の存在をバイナリ特徴量として抽出する。なお、「E」は文末を表すシンボルである。加えて、「名詞:固有:姓:組織」、「名詞:名:固有」、「格助詞:連体」、「名詞」、及び「連用助詞」のそれぞれの存在をバイナリ特徴量として抽出する。なお、固有表現抽出器を用いて、固有表現タイプの存在を特徴量として加えてもよい。   For example, in the case of learning data “Taro Kono's birthday” (target: Taro Kono, attribute: birthDate), first, the surface layer of the target portion is excluded from the feature extraction target. By doing so, if there are many questions in the learning data that ask about “Birthday” of “Taro Kono”, the attribute is determined to be “Birthday” only by the character string “Taro Kono”. Can be prevented. Specifically, the word series “Kono”, “Taro”, “No”, “Birthday”, and “Ha” is obtained from the morphological analysis result of the learning data “Taro Kono's birthday”. In addition, “noun: proper: surname: organization”, “noun: first name: proper”, “case particle: union”, “noun”, and “continuous particle” are obtained as part of speech of each word. From this, as the word unigram, the presence of each of the words “no”, “birthday”, and “ha” excluding the target “Taro Kono” is extracted as a binary feature amount. Also, the presence of “no-birthday”, “birthday-ha”, and “ha-E” as word bigrams is extracted as a binary feature amount. “E” is a symbol representing the end of a sentence. In addition, the presence of each of “noun: proper: surname: organization”, “noun: first: proper”, “case particle: union”, “noun”, and “continuous particle” is extracted as a binary feature amount. Note that the existence of a specific expression type may be added as a feature quantity using a specific expression extractor.

上記の「甲野太郎の誕生日は」という学習データから得られる具体的な特徴量は、例えば、図5に示すような特徴量となる。図5の例では、最初のフィールドは属性番号である。例えば、属性の数Nが119の場合、属性番号は1〜119のいずれかになり、図5の例では属性番号が18であることを示している。属性番号以降のフィールドが特徴量であり、特徴量の値が0となるところは省略している。例えば、4580は「の−誕生日」という単語バイグラムに対応し、4707は「は−E」という単語バイグラムに対応する。また、10784は「名詞」の存在に対応し、10788は「名詞:名:固有」の存在に対応する。   The specific feature amount obtained from the learning data “Taro Kono's birthday” is, for example, the feature amount as shown in FIG. In the example of FIG. 5, the first field is an attribute number. For example, when the number N of attributes is 119, the attribute number is any one of 1 to 119, and in the example of FIG. The field after the attribute number is the feature quantity, and the place where the feature quantity value is 0 is omitted. For example, 4580 corresponds to the word bigram “no-birthday” and 4707 corresponds to the word bigram “ha-E”. Further, 10784 corresponds to the existence of “noun”, and 10788 corresponds to the existence of “noun: name: unique”.

さらに、属性モデル生成部13は、上記のように抽出された特徴量を用いて、Multiclass SVM(support vector machine)により、未知質問文に含まれる属性を表す単語が属する属性を判定するための属性モデル22の学習を行う。Multiclass SVMは、分類性能が高いとされるSVMを多クラス問題に拡張したものである。具体的には、全部でN個の属性があるとき、ある特徴量について、正解の属性に対するスコアを、その他の属性に対するスコアよりも高くするような重みを学習する。N個の属性に対応するN個の重みベクトルが学習され、ある特徴量ベクトルについて、それぞれの重みベクトルを掛け合わせたとき、正解の属性に対応する重みベクトルを用いたときのスコアが最も高くなるように、重みベクトルを決定する。上記の「甲野太郎の誕生日は」という学習データの例であれば、1〜119までの属性のうち、属性番号18の属性についてのスコアが最も高くなるように119個の重みベクトルを学習する。この重みは、学習データ全体について、正解の属性が、それぞれの学習データについてスコアが高くなるように決定される。   Further, the attribute model generation unit 13 uses the feature amount extracted as described above to determine the attribute to which the word representing the attribute included in the unknown question sentence belongs by Multiclass SVM (support vector machine). The model 22 is learned. Multiclass SVM is an extension of SVM, which has high classification performance, to a multiclass problem. Specifically, when there are N attributes in total, a weight that makes a score for a correct attribute higher than scores for other attributes is learned for a certain feature amount. N weight vectors corresponding to N attributes are learned, and when a certain feature vector is multiplied by each weight vector, the score when the weight vector corresponding to the correct attribute is used is the highest. Thus, the weight vector is determined. In the case of the learning data example “Taro Kono's birthday”, among the attributes 1 to 119, 119 weight vectors are learned so that the score for the attribute number 18 is the highest. . This weight is determined so that the correct attribute of the entire learning data has a higher score for each learning data.

なお、属性モデル22は、未知質問文に含まれる属性を表す単語がN個の属性のいずれに属するかを判定するためのモデルであるため、未知質問文に含まれる属性を表す単語がいずれの属性にも属さない場合には、後述する属性判定部33で誤った属性と判定してしまう。例えば、「甲野太郎のデビュー日は」という質問であっても、属性を表す単語「デビュー日」に対応した属性が存在しない場合は、属性をbirthDateと判定してしまう可能性がある。   Note that the attribute model 22 is a model for determining which of the N attributes the word representing the attribute included in the unknown question sentence belongs to. Therefore, which of the words representing the attribute included in the unknown question sentence is which If the attribute does not belong to the attribute, the attribute determination unit 33 described later determines that the attribute is incorrect. For example, even if the question is “Taro Kono's debut date”, if there is no attribute corresponding to the word “debut date” representing the attribute, the attribute may be determined as birthDate.

特徴単語リスト生成部14は、上記のような誤動作を防止するため、後述する属性検証部34で用いる特徴単語リスト23を生成する。特徴単語リスト23は、属性に応じて学習データの対象部分以外の部分に特徴的に出現する単語を、属性毎に列挙したものである。例えば、判定された属性が「birthDate」であれば、「誕生日」や「生まれ」などの単語が入っている質問文であれば、属性はbirthDateであると認定(受理)し、そうでなければ、birthDateではない(棄却)という検証結果が得られるような特徴単語リスト23を、統計検定を用いる手法で生成する。   The feature word list generation unit 14 generates a feature word list 23 used in an attribute verification unit 34 described later in order to prevent the above-described malfunction. The feature word list 23 is a list of words that appear characteristically in a part other than the target part of the learning data according to the attribute, for each attribute. For example, if the determined attribute is “birthDate”, if it is a question sentence containing words such as “birthday” or “born”, the attribute is recognized (accepted) as birthDate, and so on. For example, a feature word list 23 that can obtain a verification result that is not birthDate (rejection) is generated by a method using a statistical test.

具体的には、まず、各属性について、学習データ内の各単語の出現頻度を取得する。そして、その属性に出現した単語のそれぞれについて、その属性以外の属性における出現頻度と比較し、有意に当該属性に多く出現しているかどうかを、尤度比検定によって確認する。検定の結果、有意(例えば、p<0.001)に多いことが分かれば、その単語を当該属性の特徴単語として、特徴単語リスト23に追加する。ここで、単語の出現頻度は、これまで同様、対象となる単語は除いて計算する。   Specifically, first, the appearance frequency of each word in the learning data is acquired for each attribute. Then, each word that appears in the attribute is compared with the appearance frequency in the attribute other than the attribute, and it is confirmed by the likelihood ratio test whether or not it appears significantly more in the attribute. As a result of the test, if it is found that the number is significant (for example, p <0.001), the word is added to the feature word list 23 as a feature word of the attribute. Here, the appearance frequency of the word is calculated by excluding the target word as before.

例えば、上記のように、属性の数Nが119の場合、119の特徴単語リストが生成される。以下に、特徴単語リストの一部(属性「birthDate」及び「nearestStation」)の一例を示す。   For example, as described above, when the number N of attributes is 119, 119 feature word lists are generated. An example of a part of the feature word list (attributes “birthDate” and “nearestStation”) is shown below.

birthDate:たんじょうび、日、生まれ、生年月日、誕生日
nearestStation:ドーム、最寄、最寄り、球場、行、行き方、近、降り、電車、駅
birthDate: birthday, date, birth, date of birth, birthday
nearestStation: Dome, nearest, nearest, stadium, line, way, near, get off, train, station

次に、応答部31の各部について詳述する。   Next, each part of the response unit 31 will be described in detail.

対象抽出部32は、対象モデル生成部12における学習データに対する処理と同様に、入力された未知質問文を形態素解析し、対象ラベルを付与すると共に、対象となり得る単語を特定の記号で置き換えた上で、対象モデル21を用いて、未知質問文から対象を抽出する。   Similar to the processing for the learning data in the target model generation unit 12, the target extraction unit 32 performs morphological analysis on the input unknown question sentence, assigns a target label, and replaces a target word with a specific symbol. The target model 21 is used to extract the target from the unknown question sentence.

例えば、「甲野太郎の誕生日は」という未知質問文が入力された場合の形態素解析結果の一例を図6に、特定の記号(*)での置き換え処理後のデータの一例を図7に示す。学習データに対する処理と異なる点は、この時点では対象となる単語が不明であるため、B-Tagged及びI-Taggedの対象ラベルが付与されておらず、全てOの対象ラベルが付与されている点である。また、対象ラベルのフィールドの前の三つ目のフィールドに単語の表層が入っている点である。三つ目のフィールドは、対象ラベル及び属性の推定で用いられないフィールドとなっており、各行がどの単語についての行であるかを表す付加情報として含められている。   For example, FIG. 6 shows an example of a morphological analysis result when an unknown question sentence “Taro Kono's birthday is” is input, and FIG. 7 shows an example of data after replacement processing with a specific symbol (*). . The difference from the processing for learning data is that the target word is unknown at this point, so the B-Tagged and I-Tagged target labels are not assigned, and all the O target labels are assigned. It is. Also, the third field before the target label field contains a word surface layer. The third field is a field that is not used in the estimation of the target label and the attribute, and is included as additional information indicating which word each line is for.

このように処理した未知質問文のデータを、対象モデル21により処理(デコード処理とも呼ばれる)することで、対象となる単語にB-Tagged及びI-Taggedの対象ラベルを付与する。対象ラベルを付与した結果を図8に示す。最初の行は、推定された系列の尤度である。個々の行の最後のフィールドは、個々の対象ラベルの周辺確率である。これは、推定した対象ラベルの確からしさ(信頼度)を示す値である。   The unknown question sentence data processed in this way is processed by the target model 21 (also referred to as a decoding process), thereby assigning B-Tagged and I-Tagged target labels to the target word. The result of assigning the target label is shown in FIG. The first row is the likelihood of the estimated sequence. The last field of each row is the marginal probability of each target label. This is a value indicating the certainty (reliability) of the estimated target label.

また、対象抽出部32は、B-Tagged及びI-Taggedが付与された単語の表層を文字列として結合した部分を抽出することにより、対象部分を抽出する。図8の例では、「甲野太郎」を抽出することができる。なお、アルゴリズム上、B-Tagged及びI-Taggedの対象ラベルが、Oの対象ラベルを挟んで、複数箇所に付与される可能性がある。その場合は、信頼度の平均が最も大きな箇所を抽出すればよい。図8の例で、「甲野太郎」の信頼度は、(log(0.999666)+log(0.999650))/2として計算することができる。   Further, the target extraction unit 32 extracts a target portion by extracting a portion obtained by combining the surface layers of words to which B-Tagged and I-Tagged are assigned as a character string. In the example of FIG. 8, “Taro Kono” can be extracted. Note that there is a possibility that B-Tagged and I-Tagged target labels are given to a plurality of locations across the O target label due to the algorithm. In that case, it suffices to extract a portion having the highest reliability average. In the example of FIG. 8, the reliability of “Taro Kono” can be calculated as (log (0.999666) + log (0.999650)) / 2.

属性判定部33は、属性モデル生成部13における特徴量の抽出処理と同様に、入力された未知質問文の対象部分の表層を除いた部分から特徴量を抽出し、属性モデル22を用いて、最もスコアが高くなる重みベクトルに対応する属性番号から、未知質問文に含まれる属性を判定する。   Similar to the feature amount extraction process in the attribute model generation unit 13, the attribute determination unit 33 extracts feature amounts from a portion excluding the surface layer of the target portion of the input unknown question sentence, and uses the attribute model 22. The attribute included in the unknown question sentence is determined from the attribute number corresponding to the weight vector with the highest score.

属性検証部34は、特徴単語リスト23を参照し、属性判定部33で判定された属性に対応する特徴単語が、未知質問文に含まれているか否か判定することによって、判定結果の検証を行う。例えば、「甲野太郎の誕生日は」という未知質問文に対して、birthDateという属性が判定された場合には、上記の例のように、特徴単語として「たんじょうび、日、生まれ、生年月日、誕生日」という各特徴単語が特徴単語リスト23に定められているため、これらのうちいずれかを未知質問文に含むか否かにより検証する。含むか否かの判定は、正規表現を用いた文字列マッチにより行うことができる。   The attribute verification unit 34 refers to the feature word list 23, and verifies the determination result by determining whether or not the feature word corresponding to the attribute determined by the attribute determination unit 33 is included in the unknown question sentence. Do. For example, if an attribute called birthDate is determined for an unknown question sentence that says “Taro Kono's birthday is”, as in the above example, the feature word is “Tanjobi, Sun, Born, Date of birth” Since each feature word “birthday” is defined in the feature word list 23, it is verified whether any of these is included in the unknown question sentence. It can be determined by character string matching using regular expressions.

なお、属性検証部34は、特異値検出に用いられるone-class SVM を用いてもよい。これは、Multiclass SVMで用いた学習データのうち、各属性に対応する学習データのみを用いて、各クラスの特徴空間をone-class SVMでモデル化することによって行うことができる。   Note that the attribute verification unit 34 may use one-class SVM used for singular value detection. This can be done by modeling the feature space of each class with one-class SVM using only the learning data corresponding to each attribute among the learning data used in Multiclass SVM.

また、属性判定及び検証では、抽出された対象との関係を用いることで精度を向上させることができる。例えば、birthDateは対象が人名の場合には、属性として判定されることに問題は無いが、対象が場所であれば、属性としてbirthDateは取りえない。これを実現するためには、対象のクラス判定を行う必要がある。対象とその対象のクラス、及びその対象のクラスの取り得る属性の対応表を予め準備しておき、判定された属性が、抽出された対象に対してとり得る属性か否かにより、検証することができる。   In attribute determination and verification, accuracy can be improved by using the relationship with the extracted object. For example, when the target is a person's name, there is no problem in determining that the date is an attribute, but if the target is a place, the birthDate cannot be taken as an attribute. In order to realize this, it is necessary to determine the target class. Prepare a correspondence table of the target, its target class, and the attribute that the target class can take in advance, and verify whether the determined attribute is an attribute that can be taken for the extracted target Can do.

応答出力部35は、対象抽出部32で抽出された対象と、属性判定部33で判定され、属性検証部34で検証された属性を用いて、データベースから質問に対する回答を検索して、検索された回答を応答として出力する。例えば、データベースとしてRDB(Relational Database)が用いられている場合には、SQLによる問い合わせ文として、例えば、「select birthDate from データベース where name like甲野太郎」のような問い合わせ文を作成する。これは、「甲野太郎」の「誕生日」を取得するものである。この問い合わせ文に基づいてRDBを検索し、回答がRDBに存在すれば、その回答を出力する。   The response output unit 35 searches for an answer to the question from the database by using the target extracted by the target extraction unit 32 and the attribute determined by the attribute determination unit 33 and verified by the attribute verification unit 34. Answer is output as a response. For example, when an RDB (Relational Database) is used as a database, an inquiry sentence such as “select birthDate from database where name like Taro Kono” is created as an inquiry sentence by SQL. This is to obtain the “birthday” of “Taro Kono”. The RDB is searched based on this inquiry sentence, and if the answer exists in the RDB, the answer is output.

次に、本実施の形態の質問応答装置10の作用について説明する。学習段階において、複数の学習データが質問応答装置10に入力されると、学習部11において、図9に示す学習処理ルーチンが実行される。また、応答段階において、未知質問文が質問応答装置10に入力されると、応答部31において、図10に示す学習処理ルーチンが実行される。以下、各処理について詳述する。   Next, the operation of the question answering apparatus 10 of the present embodiment will be described. When a plurality of learning data is input to the question answering apparatus 10 in the learning stage, the learning processing routine shown in FIG. Further, when an unknown question sentence is input to the question answering device 10 in the response stage, the learning process routine shown in FIG. Hereinafter, each process is explained in full detail.

まず、学習処理ルーチンでは、ステップ100で、対象モデル生成部12が、対象及び属性が既知である対象の属性を質問する質問文を学習データとして複数取得し、学習データの各々を形態素解析して、各単語の表層及び品詞の情報を得る。次に、ステップ102で、対象モデル生成部12が、形態素解析後の学習データにおいて、対象となる単語を示す対象ラベルを付与する。次に、ステップ104で、対象モデル生成部12が、学習データの各々の対象となり得る単語の表層を特定の記号に置き換える。次に、ステップ106で、対象モデル生成部12が、上記ステップ100〜104の処理を施した学習データを用いて、系列ラベリングの手法により、対象及び属性が未知の未知質問文に対象ラベルを付与するための対象モデル21を学習する。学習により生成した対象モデル21は所定の記憶領域に記憶する。   First, in the learning processing routine, in step 100, the target model generation unit 12 acquires a plurality of question sentences as questions for the attributes of the target and the target whose attributes are known, and performs morphological analysis on each of the learning data. , Get information on the surface and part of speech of each word. Next, in step 102, the target model generation unit 12 assigns a target label indicating a target word in the learning data after morphological analysis. Next, in step 104, the target model generation unit 12 replaces the surface layer of words that can be the targets of the learning data with specific symbols. Next, in step 106, the target model generation unit 12 assigns a target label to an unknown question sentence whose target and attribute are unknown by a sequence labeling method using the learning data subjected to the processing of steps 100 to 104. The target model 21 for learning is learned. The target model 21 generated by learning is stored in a predetermined storage area.

次に、ステップ108で、属性モデル生成部13が、学習データの各々に、各学習データに含まれる属性を示す属性番号を付与する。次に、ステップ110で、属性モデル生成部13が、学習データの各々の表層及び品詞のうち、対象部分となる単語の表層を除外した部分から、学習データ毎に特徴量を抽出する。次に、ステップ112で、属性モデル生成部13が、上記のように抽出された特徴量を用いて、Multiclass SVMにより、未知質問文の属性を判定するための属性モデル22の学習を行う。学習により生成した属性モデル22を所定の記憶領域に記憶する。   Next, in step 108, the attribute model generation unit 13 assigns an attribute number indicating an attribute included in each learning data to each learning data. Next, in step 110, the attribute model generation unit 13 extracts a feature amount for each learning data from the surface layer and the part of speech of the learning data excluding the surface layer of the word that is the target portion. Next, in step 112, the attribute model generation unit 13 learns the attribute model 22 for determining the attribute of the unknown question sentence by Multiclass SVM using the feature amount extracted as described above. The attribute model 22 generated by learning is stored in a predetermined storage area.

次に、ステップ114で、特徴単語リスト生成部14が、各属性について、学習データ内の対象となる単語以外の各単語の出現頻度を取得し、他の属性における出現頻度と比較し、有意に当該属性に多く出現している単語を抽出して、属性毎の特徴単語リスト23を生成する。生成した特徴単語リスト23を所定の記憶領域に記憶し、学習処理ルーチンを終了する。   Next, in step 114, the feature word list generation unit 14 acquires the appearance frequency of each word other than the target word in the learning data for each attribute, and compares it with the appearance frequency in other attributes. Words frequently appearing in the attribute are extracted, and a feature word list 23 for each attribute is generated. The generated feature word list 23 is stored in a predetermined storage area, and the learning processing routine is terminated.

次に、応答処理ルーチンでは、ステップ120で、対象抽出部32が、入力された未知質問文を形態素解析し、対象ラベルを付与すると共に、対象となり得る単語の表層を特定の記号で置き換えた上で、対象モデル21を用いて、未知質問文から対象部分を抽出する。   Next, in the response processing routine, in step 120, the target extraction unit 32 performs a morphological analysis on the input unknown question sentence, assigns a target label, and replaces the surface layer of the target word with a specific symbol. Then, the target part is extracted from the unknown question sentence using the target model 21.

次に、ステップ122で、属性判定部33が、入力された未知質問文の上記ステップ120で抽出された対象となる単語の表層を除いた部分から特徴量を抽出し、属性モデル22を用いて、最もスコアが高くなる重みベクトルに対応する属性番号から、未知質問文の属性を判定する。   Next, in step 122, the attribute determination unit 33 extracts a feature amount from the portion of the input unknown question sentence excluding the surface layer of the target word extracted in step 120, and uses the attribute model 22. The attribute of the unknown question sentence is determined from the attribute number corresponding to the weight vector with the highest score.

次に、ステップ124で、属性検証部34が、特徴単語リスト23を参照し、上記ステップ122で判定された属性に対応する特徴単語が、未知質問文に含まれているか否か判定することによって、判定結果の検証を行う。   Next, in step 124, the attribute verification unit 34 refers to the feature word list 23 and determines whether or not the feature word corresponding to the attribute determined in step 122 is included in the unknown question sentence. The verification result is verified.

次に、ステップ126で、属性検証部34が、上記ステップ124の検証結果が受理か棄却かを判定する。棄却の場合には、ステップ128へ移行し、属性の判定結果で、スコアが次点のものが存在するか否かを判定し、存在する場合には、ステップ124に戻って、スコアが次点の判定結果について、検証の処理を繰り返す。   Next, in step 126, the attribute verification unit 34 determines whether the verification result in step 124 is accepted or rejected. In the case of rejection, the process proceeds to step 128, where it is determined whether or not there is a next score in the attribute determination result. If there is, the process returns to step 124, and the score is the next score. The verification process is repeated for the determination result.

また、上記ステップ126で、受理と判定された場合には、ステップ130へ移行して、応答出力部35が、上記ステップ120で抽出された対象と、上記ステップ126で受理された属性を用いて、データベースから質問に対する回答を検索する。   If it is determined in step 126 that the request is accepted, the process proceeds to step 130 where the response output unit 35 uses the object extracted in step 120 and the attribute accepted in step 126. Search the database for answers to questions.

次に、ステップ132で、応答出力部35が、データベースから対象及び属性に対応する回答が検索されたか否かを判定する。検索された場合には、ステップ134へ移行して、検索された回答を応答として出力して、応答処理ルーチンを終了する。検索されなかった場合、及び上記ステップ128で否定判定された場合には、ステップ136へ移行して、エラーを出力して、応答処理ルーチンを終了する。   Next, in step 132, the response output unit 35 determines whether an answer corresponding to the target and the attribute has been searched from the database. If a search is made, the process proceeds to step 134, the searched answer is output as a response, and the response processing routine is terminated. If no search is made and if a negative determination is made in step 128, the process proceeds to step 136, an error is output, and the response processing routine is terminated.

以上説明したように、本実施の形態の質問応答装置によれば、対象ラベルを付与した学習データを用いて学習された対象モデルに基づいて、未知質問文から対象を抽出するため、学習データに十分なバリエーションがあれば、倒置文など多様な質問記述に対応できるようになる。また、学習データ中の固有名詞などの対象になり得る単語を特定の記号に置き換えて一般化してから、系列を学習することで、未知の単語についても対象として認識できるようになる。加えて、対象の候補が複数あったとしても、確率的に対象となり易い方を選択することで、選択のためのアドホックなルールを記述しなくてもよくなる。   As described above, according to the question answering apparatus of the present embodiment, since the target is extracted from the unknown question sentence based on the target model learned using the learning data to which the target label is assigned, If there are enough variations, it will be possible to respond to various question descriptions such as inverted sentences. In addition, an unknown word can be recognized as a target by learning a sequence after replacing a word that can be a target such as a proper noun in the learning data with a specific symbol and generalizing it. In addition, even if there are a plurality of target candidates, it is not necessary to describe an ad hoc rule for selection by selecting the one that is probabilistically the target.

また、属性を示す属性番号を付与した学習データと、その学習データの対象の表層を除外した部分から抽出された特徴量との対応付けを学習した属性モデルに基づいて、未知質問文の属性を判定するため、属性の判定精度が向上する。さらに、属性毎の特徴単語リストに基づいて、判定結果を検証するため、判定結果の信頼性を向上させることができる。   In addition, based on the attribute model that learned the correspondence between the learning data to which the attribute number indicating the attribute is assigned and the feature quantity extracted from the portion excluding the target surface layer of the learning data, the attribute of the unknown question sentence is Since the determination is made, the attribute determination accuracy is improved. Furthermore, since the determination result is verified based on the feature word list for each attribute, the reliability of the determination result can be improved.

これにより、対象の属性を問う質問文から精度良く対象及び属性を抽出して、適切な応答を出力することができる。その結果、ユーザの知的活動の効率を高めることができる。   As a result, it is possible to accurately extract the target and the attribute from the question sentence asking the target attribute and output an appropriate response. As a result, the efficiency of the user's intellectual activities can be increased.

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。   Note that the present invention is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the gist of the present invention.

例えば、上記実施の形態では、未知質問文の属性を判定するために、未知質問文から特徴量を抽出する際に、対象部分の表層以外の部分から特徴量を抽出する場合について説明したが、対象部分の表層を除外することなく特徴量を抽出するようにしてもよい。   For example, in the above embodiment, when extracting a feature value from an unknown question sentence in order to determine an attribute of the unknown question sentence, the case where the feature quantity is extracted from a part other than the surface layer of the target part has been described. The feature amount may be extracted without excluding the surface layer of the target portion.

また、上記実施の形態では、学習部と応答部とを1つのコンピュータで構成する場合について説明したが、別々のコンピュータで構成するようにしてもよい。   Moreover, although the case where the learning unit and the response unit are configured by one computer has been described in the above embodiment, the learning unit and the response unit may be configured by separate computers.

また、上述の質問応答装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。   In addition, the above-described question answering apparatus has a computer system therein, but the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。また、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、プログラムをインストールすることによっても実現可能である。   In the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium. The present invention can also be realized by installing a program on a known computer via a medium or a communication line.

10 質問応答装置
11 学習部
12 対象モデル生成部
13 属性モデル生成部
14 特徴単語リスト生成部
21 対象モデル
22 属性モデル
23 特徴単語リスト
31 応答部
32 対象抽出部
33 属性判定部
34 属性検証部
35 応答出力部
DESCRIPTION OF SYMBOLS 10 Question response apparatus 11 Learning part 12 Target model generation part 13 Attribute model generation part 14 Feature word list generation part 21 Target model 22 Attribute model 23 Feature word list 31 Response part 32 Target extraction part 33 Attribute determination part 34 Attribute verification part 35 Response Output section

Claims (8)

対象の属性を質問する質問文の対象部分に対象であることを示す対象ラベルが付与された複数の学習用質問文を用いて学習された対象モデルに基づいて、対象及び属性が未知の未知質問文から対象部分を抽出する対象抽出手段と、
前記複数の学習用質問文の各々が尋ねる属性の各々と、前記複数の学習用質問文の各々から抽出された特徴量の各々との対応付けを学習した属性モデルと、前記未知質問文から抽出された特徴量とに基づいて、前記未知質問文に含まれる属性を判定する属性判定手段と、
前記対象抽出手段により抽出された対象部分と、前記属性判定手段により判定され属性とを用いて、所定のデータベースから前記未知質問文に対応する情報を検索して応答を出力する応答出力手段と、
を含む質問応答装置。
An unknown question whose target and attribute are unknown based on a target model that has been learned using a plurality of learning questions with a target label attached to the target part of the question that asks the target attribute Target extraction means for extracting a target part from a sentence;
An attribute model that learns the correspondence between each of the attributes asked by each of the plurality of learning question sentences and each of the feature quantities extracted from each of the plurality of learning question sentences, and extracted from the unknown question sentence Attribute determination means for determining an attribute included in the unknown question sentence, based on the feature amount
A response output means for searching for information corresponding to the unknown question sentence from a predetermined database and outputting a response using the target portion extracted by the target extraction means and the attribute determined by the attribute determination means;
Including question answering device.
前記対象抽出手段は、前記未知質問文の品詞が対象候補として予め定めた品詞である単語の表層を特定の記号で置き換えた上で、前記学習用質問文の各々において、品詞が対象候補として予め定めた品詞である単語の表層を前記特定の記号で置き換えて学習された対象モデルに基づいて、前記未知質問文から前記対象部分を抽出する請求項1記載の質問応答装置。   The target extracting means replaces a surface layer of a word whose part of speech is a part of speech predetermined as a target candidate with a specific symbol and the part of speech of the unknown question sentence as a target candidate in each of the learning question sentences. The question answering apparatus according to claim 1, wherein the target part is extracted from the unknown question sentence based on a target model learned by replacing a surface layer of a word having a defined part of speech with the specific symbol. 前記属性判定手段は、前記複数の学習用質問文の各々の対象部分の表層以外の部分から抽出された特徴量を用いて学習された属性モデルと、前記未知質問文から抽出された特徴量とに基づいて、前記未知質問文に含まれる属性を判定する請求項1または請求項2記載の質問応答装置。   The attribute determination means includes an attribute model learned using a feature amount extracted from a portion other than the surface layer of each target portion of the plurality of learning question sentences, a feature amount extracted from the unknown question sentence, The question answering device according to claim 1 or 2 which judges an attribute contained in said unknown question sentence based on. 前記複数の学習用質問文を用いて、前記対象モデル及び前記属性モデルを生成する学習手段を含む請求項1〜請求項3のいずれか1項記載の質問応答装置。   The question answering device according to claim 1, further comprising learning means for generating the target model and the attribute model using the plurality of learning question sentences. 前記属性に応じて前記学習用質問文の各々に特徴的に出現する単語を抽出して生成した前記属性毎の特徴単語リストと、前記未知質問文に含まれる単語とに基づいて、前記属性判定手段により判定された属性の確からしさを検証する属性検証手段を含む請求項1〜請求項4のいずれか1項記載の質問応答装置。   The attribute determination based on a feature word list for each attribute generated by extracting words characteristically appearing in each of the learning question sentences according to the attribute, and words included in the unknown question sentence 5. The question answering apparatus according to claim 1, further comprising attribute verification means for verifying the likelihood of the attribute determined by the means. 前記複数の学習用質問文を用いて、前記特徴単語リストを生成するリスト生成手段を含む請求項5記載の質問応答装置。   The question answering apparatus according to claim 5, further comprising a list generation unit configured to generate the feature word list using the plurality of learning question sentences. 対象抽出手段が、対象の属性を質問する質問文の対象部分に対象であることを示す対象ラベルが付与された複数の学習用質問文を用いて学習された対象モデルに基づいて、対象及び属性が未知の未知質問文から対象部分を抽出し、
属性判定手段が、前記複数の学習用質問文の各々が尋ねる属性の各々と、前記複数の学習用質問文の各々から抽出された特徴量の各々との対応付けを学習した属性モデルと、前記未知質問文から抽出された特徴量とに基づいて、前記未知質問文に含まれる属性を判定し、
応答出力手段が、前記対象抽出手段により抽出された対象部分と、前記属性判定手段により判定され属性とを用いて、所定のデータベースから前記未知質問文に対応する情報を検索して応答を出力する
質問応答方法。
Based on a target model learned by using a plurality of learning question sentences in which a target label indicating that the target extraction means is a target in a target part of a question sentence that asks a target attribute Extract the target part from the unknown unknown question sentence,
An attribute determination unit that learns an association between each of the attributes that each of the plurality of learning question sentences asks and each of the feature values extracted from each of the plurality of learning question sentences; Based on the feature amount extracted from the unknown question sentence, determine an attribute included in the unknown question sentence,
A response output unit searches for information corresponding to the unknown question sentence from a predetermined database using the target portion extracted by the target extraction unit and the attribute determined by the attribute determination unit, and outputs a response. Question answering method.
コンピュータを、請求項1〜請求項6のいずれか1項記載の質問応答装置を構成する各手段として機能させるための質問応答プログラム。   A question answering program for causing a computer to function as each means constituting the question answering apparatus according to any one of claims 1 to 6.
JP2012127053A 2012-06-04 2012-06-04 Question answering apparatus, method, and program Active JP5812534B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012127053A JP5812534B2 (en) 2012-06-04 2012-06-04 Question answering apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012127053A JP5812534B2 (en) 2012-06-04 2012-06-04 Question answering apparatus, method, and program

Publications (2)

Publication Number Publication Date
JP2013250926A true JP2013250926A (en) 2013-12-12
JP5812534B2 JP5812534B2 (en) 2015-11-17

Family

ID=49849496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012127053A Active JP5812534B2 (en) 2012-06-04 2012-06-04 Question answering apparatus, method, and program

Country Status (1)

Country Link
JP (1) JP5812534B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162112A (en) * 2016-03-08 2017-09-14 日本電信電話株式会社 Word extraction device, method and program
CN108536685A (en) * 2017-03-06 2018-09-14 富士施乐株式会社 Information processing unit
JP2019012379A (en) * 2017-06-30 2019-01-24 富士通株式会社 Learning data generation program, learning data generation device and learning data generation method
JP2020509486A (en) * 2017-02-28 2020-03-26 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation Adaptive processing components
CN111159364A (en) * 2018-11-07 2020-05-15 株式会社东芝 Dialogue system, dialogue device, dialogue method, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163623A (en) * 2004-12-03 2006-06-22 Nippon Hoso Kyokai <Nhk> Question and answer device and question and answer program, and television receiver
JP2007156932A (en) * 2005-12-06 2007-06-21 Just Syst Corp Learning method, learning device, search method, and search device
JP2009116662A (en) * 2007-11-07 2009-05-28 National Institute Of Information & Communication Technology Question-answering device, question-answering method and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163623A (en) * 2004-12-03 2006-06-22 Nippon Hoso Kyokai <Nhk> Question and answer device and question and answer program, and television receiver
JP2007156932A (en) * 2005-12-06 2007-06-21 Just Syst Corp Learning method, learning device, search method, and search device
JP2009116662A (en) * 2007-11-07 2009-05-28 National Institute Of Information & Communication Technology Question-answering device, question-answering method and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG201100237130; 佐々木 稔、新納 浩幸: '距離学習に基づく語義識別の性能分析' 言語処理学会第17回年次大会発表論文集 , 20110307, pp.556-559, 言語処理学会 *
JPN6013062785; 佐々木 稔、新納 浩幸: '距離学習に基づく語義識別の性能分析' 言語処理学会第17回年次大会発表論文集 , 20110307, pp.556-559, 言語処理学会 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162112A (en) * 2016-03-08 2017-09-14 日本電信電話株式会社 Word extraction device, method and program
JP2020509486A (en) * 2017-02-28 2020-03-26 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation Adaptive processing components
US11144718B2 (en) 2017-02-28 2021-10-12 International Business Machines Corporation Adaptable processing components
JP7089330B2 (en) 2017-02-28 2022-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーション Adaptive processing components
CN108536685A (en) * 2017-03-06 2018-09-14 富士施乐株式会社 Information processing unit
CN108536685B (en) * 2017-03-06 2023-08-22 富士胶片商业创新有限公司 Information processing apparatus
JP2019012379A (en) * 2017-06-30 2019-01-24 富士通株式会社 Learning data generation program, learning data generation device and learning data generation method
CN111159364A (en) * 2018-11-07 2020-05-15 株式会社东芝 Dialogue system, dialogue device, dialogue method, and storage medium
JP2020077159A (en) * 2018-11-07 2020-05-21 株式会社東芝 Interactive system, interactive device, interactive method, and program
US11270683B2 (en) 2018-11-07 2022-03-08 Kabushiki Kaisha Toshiba Interactive system, apparatus, and method
JP7132090B2 (en) 2018-11-07 2022-09-06 株式会社東芝 Dialogue system, dialogue device, dialogue method, and program
CN111159364B (en) * 2018-11-07 2023-10-03 株式会社东芝 Dialogue system, dialogue device, dialogue method, and storage medium

Also Published As

Publication number Publication date
JP5812534B2 (en) 2015-11-17

Similar Documents

Publication Publication Date Title
Bordes et al. Large-scale simple question answering with memory networks
US10713571B2 (en) Displaying quality of question being asked a question answering system
Grishman Information extraction
US10860654B2 (en) System and method for generating an answer based on clustering and sentence similarity
Li et al. Incremental joint extraction of entity mentions and relations
CN105988990B (en) Chinese zero-reference resolution device and method, model training method and storage medium
US9971763B2 (en) Named entity recognition
US9239875B2 (en) Method for disambiguated features in unstructured text
US9146987B2 (en) Clustering based question set generation for training and testing of a question and answer system
US9230009B2 (en) Routing of questions to appropriately trained question and answer system pipelines using clustering
US9514098B1 (en) Iteratively learning coreference embeddings of noun phrases using feature representations that include distributed word representations of the noun phrases
Sekhavat et al. Knowledge Base Augmentation using Tabular Data.
Maryam Dialogue act recognition in synchronous and asynchronous conversations
JP5710581B2 (en) Question answering apparatus, method, and program
US9613133B2 (en) Context based passage retrieval and scoring in a question answering system
US20220405484A1 (en) Methods for Reinforcement Document Transformer for Multimodal Conversations and Devices Thereof
US20170169355A1 (en) Ground Truth Improvement Via Machine Learned Similar Passage Detection
TW201824027A (en) Method for verifying string, method for expanding string and method for training verification model
KR102292040B1 (en) System and method for extracting knowledge based on machine reading
JP5812534B2 (en) Question answering apparatus, method, and program
US20220414463A1 (en) Automated troubleshooter
US11227183B1 (en) Section segmentation based information retrieval with entity expansion
Onal et al. Named entity recognition from scratch on social media
Krithika et al. Learning to grade short answers using machine learning techniques
KR101983477B1 (en) Method and System for zero subject resolution in Korean using a paragraph-based pivotal entity identification

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131010

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140404

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140411

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20140530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150914

R150 Certificate of patent or registration of utility model

Ref document number: 5812534

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150