JP2013109738A - Semantic label application model learning device, semantic label application device, semantic label application model learning method and program - Google Patents
Semantic label application model learning device, semantic label application device, semantic label application model learning method and program Download PDFInfo
- Publication number
- JP2013109738A JP2013109738A JP2011256677A JP2011256677A JP2013109738A JP 2013109738 A JP2013109738 A JP 2013109738A JP 2011256677 A JP2011256677 A JP 2011256677A JP 2011256677 A JP2011256677 A JP 2011256677A JP 2013109738 A JP2013109738 A JP 2013109738A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- expression
- semantic label
- semantic
- utterance pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Machine Translation (AREA)
Abstract
Description
本発明は、意味ラベル付与モデル学習装置、意味ラベル付与装置、意味ラベル付与モデル学習方法、及びプログラムに係り、特に、対話文の機能表現に意味ラベルを付与するための意味ラベル付与モデルを学習する意味ラベル付与モデル学習装置、方法、及びプログラム、並びにその意味ラベル付与モデルを用いて、対話文の機能表現に意味ラベルを付与する意味ラベル付与装置に関する。 The present invention relates to a semantic label assignment model learning device, a semantic label assignment device, a semantic label assignment model learning method, and a program, and in particular, learns a semantic label assignment model for assigning a semantic label to a functional expression of a dialogue sentence. The present invention relates to a semantic label assignment model learning apparatus, method, and program, and a semantic label assignment apparatus that assigns a semantic label to a functional expression of a dialog sentence using the semantic label assignment model.
現在、Ｗｅｂ上のブログや音声対話ログなど大量のテキストデータから、書き手（もしくは話し手）の「願望」や「疑問」、「苦情」などといった有益な情報を抽出、集計、及び分析することが求められている。このような、大量のテキストデータから有益な情報を抽出、集計、及び分析する技術をテキストマイニング技術と呼ぶ。 Currently, it is required to extract, aggregate, and analyze useful information such as “desire”, “question”, and “complaint” of writers (or speakers) from a large amount of text data such as web blogs and voice dialogue logs. It has been. Such a technique for extracting, tabulating, and analyzing useful information from a large amount of text data is called a text mining technique.
このようなテキストマイニング技術において、重要となってくるのが、「誰が／何を／どうした」という文の核情報である。例えば、コンタクトセンタにおけるオペレータとカスタマーとの音声対話で、カスタマーが以下の発話を行ったとする。 What is important in such text mining technology is the core information of the sentence “who / what / what”. For example, it is assumed that the customer makes the following utterance in a voice dialogue between the operator and the customer in the contact center.
・あの〜料金プランを変更したいんですけども・・・
→「料金プラン／変更したい」 （１）
・えっと、学割って使えますか？・・・
→「学割／使えるか」 （２）
・ I want to change my rate plan ...
→ "Price plan / I want to change" (1)
・ Well, can I use a student discount? ...
→ "Student discount / can it be used" (2)
（１）は「料金プランを変更したい」という願望を、（２）は「学割は使えるか」という疑問を表している。特に、「変更したい」「使えるか」などを表す述部は、文の核情報を表しており、「疑問」や「願望」等もこれら述部によって表現される。そのため、述部から必要な情報を抽出することが、テキストマイニングでは重要になる。 (1) expresses the desire to “change the rate plan”, and (2) expresses the question “Can the student discount be used?”. In particular, predicates that indicate "I want to change" or "Is it usable" represent the core information of the sentence, and "Questions" and "Wish" are also expressed by these predicates. Therefore, extracting necessary information from predicates is important in text mining.
例えば、述部の機能表現と呼ばれる助詞・助動詞など機能語の集合に意味ラベルを付与することで、必要な情報をまとめ上げるという方法が提案されている（例えば、非特許文献１参照）。非特許文献１の方法では、例えば、下記に示すように、「変更したいんですけども」の「たい」に「願望」という意味ラベルを、「使えますか」の「か」に「疑問」という意味ラベルを自動で付与している。（以下、［ ］を用いて意味ラベルを表す）。 For example, a method has been proposed in which necessary information is gathered by assigning a semantic label to a set of function words such as particles and auxiliary verbs called function expressions of predicates (see, for example, Non-Patent Document 1). In the method of Non-Patent Document 1, for example, as shown below, “I want to change” means “I want to” and “I want”, and “Can you use” means “Question” Semantic labels are automatically assigned. (Hereinafter, [] is used to represent a semantic label).
・変更し たい［願望］ん［判断］です［判断］けども［逆接確定］
・使え ます［丁寧］か［疑問］
・ I want to change [desire] or [judgment] [judgment] but [inverse connection confirmation]
・ Can be used [Polite] or [Question]
非特許文献１の方法では、平均化パーセプトロンという手法で学習した識別モデルと、機能表現辞書及びフレーズテーブルとを用いて、１文内に出現する機能表現に対して、最適な機能表現の意味ラベルを出力している。 In the method of Non-Patent Document 1, using the identification model learned by the technique called averaged perceptron, the function expression dictionary, and the phrase table, the semantic label of the optimum function expression for the function expression appearing in one sentence. Is output.
しかし、非特許文献１が対象としている入力は一文単位である。そのため、音声対話に出てくるような、「会話の流れによっては疑問を表す表現」に対しても一意のラベルを出力してしまう。例えば、以下の対話文を例に説明する。 However, the input targeted by Non-Patent Document 1 is a sentence unit. Therefore, a unique label is output even for “an expression expressing a question depending on the conversation flow” that appears in a voice conversation. For example, the following dialogue sentence will be described as an example.
カスタマー：機種変更は、出来ないってことなんですよね。 （３）
オペレータ：はい、申し訳ございません。
Customer: You can't change models. (3)
Operator: Yes, sorry.
上記の対話文について、非特許文献１の方法を適用すると、（３）の場合、下記のように意味ラベルが付与され、「疑問」の情報を得ることができない。 When the method of Non-Patent Document 1 is applied to the above dialogue sentence, in the case of (3), a semantic label is given as follows, and information of “question” cannot be obtained.
・出来ない［否定］って［同格］こと［名詞化］
な［判断］ん［判断］です［判断］よね［感嘆］
・ I can't do [denial] [equal] [nounization]
[Judgment] is [judgment] [judgment] isn't [exclusion]
仮に、「よね」という機能表現に対して「疑問」という意味ラベルを追加したとすると、次のような疑問表現ではないものにまで誤って「疑問」の意味ラベルが付与されてしまう。 If a meaning label of “question” is added to the function expression “Yone”, the meaning label of “question” is erroneously assigned even to the following non-question expression.
カスタマー：昨日から、携帯が動かないんですよね。 （４）
オペレータ：どのような症状でしょうか？
Customer: Your mobile phone hasn't moved since yesterday. (4)
Operator: What are the symptoms?
（４）の場合、「動かない」という否定表現（トラブル表現）を表している。仮に「よね」という終助詞に対して「疑問」という意味ラベルを追加すると、非特許文献１の手法では、「疑問」の意味ラベルを出力してしまう。これは、非特許文献１の方法では、１文内の処理に閉じているためである。１文内では、（３）も（４）も前後の文字列（すなわち、「ん」、「です」及び「。」）は同じであり、１文内の単語の前後情報をもとに最適な意味ラベル列を付与する非特許文献１の方法の場合、両者の区別ができず、同じ意味ラベルを出力結果として出力してしまう。 In the case of (4), a negative expression (trouble expression) “does not move” is represented. If a meaning label of “question” is added to the final particle “Yone”, the technique of Non-Patent Document 1 outputs a meaning label of “question”. This is because the method of Non-Patent Document 1 is closed to processing within one sentence. Within a sentence, (3) and (4) have the same string before and after (ie, “n”, “is” and “.”), And are optimal based on the information before and after the word in one sentence. In the case of the method of Non-Patent Document 1 that assigns a meaningful meaning string, both cannot be distinguished and the same meaning label is output as an output result.
以上のように従来法では、１文内に閉じた処理を行っているため、音声対話に見られるような「会話の流れによっては疑問を表す表現」に対して最適な意味ラベルを付与することができない、という問題がある。 As described above, in the conventional method, since processing is closed within one sentence, an optimal semantic label is assigned to “an expression expressing a question depending on the conversation flow” as seen in a voice conversation. There is a problem that can not be.
本発明は上記問題点に鑑みてなされたものであり、会話の流れによって疑問表現になったり、断定表現になったりする述部の機能表現に対しても、適切な意味ラベルを付与することができる意味ラベル付与モデル学習装置、意味ラベル付与装置、意味ラベル付与モデル学習方法、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and appropriate semantic labels can be assigned to functional expressions of predicates that become questionable expressions or assertive expressions depending on the flow of conversation. An object is to provide a semantic label assignment model learning device, a semantic label assignment device, a semantic label assignment model learning method, and a program.
上記目的を達成するために、本発明の意味ラベル付与モデル学習装置は、複数の発話を示すテキストデータ各々を形態素解析した解析結果に含まれる機能表現及び応対表現に該機能表現及び該応対表現の意味を示す正解の意味ラベルが付与された複数の学習用データに基づいて、連続する２つの発話を示す学習用データを結合して、学習用発話対を作成する学習用発話対作成手段と、少なくとも機能表現の意味ラベルと応対表現の意味ラベルとの並びの素性を含む複数種類の素性各々について、値が大きいほど意味ラベル付与の判定に有効であることを示す重みを定めた意味ラベル付与モデルを、前記学習用発話対作成手段により作成された学習用発話対から抽出された素性と前記重みとに基づいて、前記学習用発話対の機能表現及び応対表現各々に正解の意味ラベルが付与されるように学習する学習手段と、を含んで構成されている。 In order to achieve the above object, the semantic labeling model learning device of the present invention includes a function expression and a response expression included in an analysis result obtained by performing morphological analysis on text data indicating a plurality of utterances. A learning utterance pair creating means for creating a learning utterance pair by combining learning data indicating two consecutive utterances based on a plurality of learning data to which a correct meaning meaning label is given, For each of multiple types of features, including at least the feature labels of the functional expression semantic labels and the response expression semantic labels, a semantic label assignment model that defines a weight that indicates that the greater the value is, the more effective the determination of semantic label assignment is On the basis of the features extracted from the learning utterance pairs created by the learning utterance pair creating means and the weights, and the functional representation and the response table of the learning utterance pairs Semantic label of the correct each are configured to include a learning means for learning to be imparted.
本発明の意味ラベル付与モデル学習装置によれば、学習用発話対作成手段が、複数の発話を示すテキストデータ各々を形態素解析した解析結果に含まれる機能表現及び応対表現に機能表現及び応対表現の意味を示す正解の意味ラベルが付与された複数の学習用データに基づいて、連続する２つの発話を示す学習用データを結合して、学習用発話対を作成する。そして、学習手段が、少なくとも機能表現の意味ラベルと応対表現の意味ラベルとの並びの素性を含む複数種類の素性各々について、値が大きいほど意味ラベル付与の判定に有効であることを示す重みを定めた意味ラベル付与モデルを、学習用発話対作成手段により作成された学習用発話対から抽出された素性と重みとに基づいて、学習用発話対の機能表現及び応対表現各々に正解の意味ラベルが付与されるように学習する。 According to the semantic label assignment model learning device of the present invention, the learning utterance pair creation means includes the function expression and the response expression included in the analysis result of the morphological analysis of each text data indicating a plurality of utterances. A learning utterance pair is created by combining learning data indicating two consecutive utterances based on a plurality of learning data to which a correct semantic label indicating meaning is given. Then, for each of a plurality of types of features including at least the feature of the meaning label of the functional expression and the meaning label of the response expression, the learning means assigns a weight indicating that the larger the value is, the more effective the determination of meaning label assignment is. Based on the features and weights extracted from the learning utterance pair created by the learning utterance pair creation means, the semantic label assignment model that has been defined is correct for each functional expression and answering expression of the learning utterance pair Learn to be granted.
このように、連続する２つの発話を示す学習用データを結合して、学習用発話対を作成してから、少なくとも機能表現の意味ラベルと応対表現の意味ラベルとの並びの素性を含む複数種類の素性各々について、その重みを定めた意味ラベル付与モデルを学習する。このため、述部の機能表現の意味ラベルを、その発話に対する応対表現の意味ラベルに基づいて判断することができ、会話の流れによって疑問表現になったり、断定表現になったりする述部の機能表現に対しても、適切な意味ラベルを付与することができる意味ラベル付与モデルを学習することができる。 In this way, after combining learning data indicating two consecutive utterances to create a learning utterance pair, at least a plurality of types including features of a sequence of semantic labels of functional expressions and semantic labels of response expressions For each of the features, a semantic labeling model in which the weight is determined is learned. Therefore, it is possible to determine the meaning label of the functional expression of the predicate based on the semantic label of the response expression for the utterance, and the function of the predicate that becomes a questionable expression or an assertive expression depending on the flow of conversation It is possible to learn a semantic label assignment model that can assign an appropriate semantic label to an expression.
また、前記学習手段は、前記学習用発話対の機能表現及び応対表現各々に付与される意味ラベルの候補から、該機能表現及び応対表現毎にいずれかの候補を選択して並べた意味ラベル候補列の全ての組み合わせについて、該意味ラベル候補列各々から抽出された素性について前記意味ラベル付与モデルで定められた重みを用いたスコアを算出し、正解の意味ラベルの列と一致する意味ラベル候補列のスコアが最大となるように、前記意味ラベル付与モデルを学習することができる。 Further, the learning means selects one of the candidate candidates for each of the functional expression and the response expression from the meaning label candidates assigned to the functional expression and the response expression of the learning utterance pair, and arranges the semantic label candidates. For all the combinations of columns, a score using the weights defined in the semantic label assignment model is calculated for the features extracted from each of the semantic label candidate columns, and the semantic label candidate columns that match the correct semantic label column The semantic labeling model can be learned so that the score of is maximized.
また、前記応対表現は、発話者の問いかけに対する応対を表す表現であり、該応対表現の意味ラベルは、肯定及び否定を含むことができる。このような応対表現を用いることにより、結合された前の発話の述部の機能表現の意味ラベルを適切に判定することができる。 In addition, the reception expression is an expression representing a response to the question of the speaker, and the meaning label of the reception expression can include affirmation and negation. By using such a response expression, it is possible to appropriately determine the semantic label of the function expression of the combined predicate utterance.
また、本発明の意味ラベル付与装置は、連続する２つの発話を示す処理対象の形態素解析済みのテキストデータを結合して、付与用発話対を作成する付与用発話対作成手段と、前記付与用発話対作成手段により作成された付与用発話対から抽出された素性と、上記の意味ラベル付与モデル学習装置により学習された意味ラベル付与モデルとに基づいて、前記付与用発話対の機能表現及び応対表現各々に意味ラベルを付与する付与手段と、を含んで構成されている。これにより、述部の機能表現の意味ラベルを、その発話に対する応対表現の意味ラベルに基づいて判断することができ、会話の流れによって疑問表現になったり、断定表現になったりする述部の機能表現に対しても、適切な意味ラベルを付与することができる。 Further, the semantic label assigning device of the present invention includes a giving utterance pair creating means for creating a giving utterance pair by combining morpheme-analyzed text data to be processed indicating two consecutive utterances, Based on the features extracted from the utterance pair for creation created by the utterance pair creation means and the semantic label assignment model learned by the semantic label assignment model learning device, the functional representation and the response of the utterance pair for assignment Providing means for assigning a semantic label to each expression. This makes it possible to determine the semantic label of the functional expression of the predicate based on the semantic label of the response expression for the utterance, and the predicate function that becomes a questionable expression or an assertive expression depending on the flow of conversation Appropriate semantic labels can also be assigned to expressions.
また、本発明の意味ラベル付与モデル学習方法は、学習用発話対作成手段と、学習手段とを含む意味ラベル付与モデル学習装置における意味ラベル付与モデル学習方法であって、前記学習用発話対作成手段は、複数の発話を示すテキストデータ各々を形態素解析した解析結果に含まれる機能表現及び応対表現に該機能表現及び該応対表現の意味を示す正解の意味ラベルが付与された複数の学習用データに基づいて、連続する２つの発話を示す学習用データを結合して、学習用発話対を作成し、前記学習手段は、少なくとも機能表現の意味ラベルと応対表現の意味ラベルとの並びの素性を含む複数種類の素性各々について、値が大きいほど意味ラベル付与の判定に有効であることを示す重みを定めた意味ラベル付与モデルを、前記学習用発話対作成手段により作成された学習用発話対から抽出された素性と前記重みとに基づいて、前記学習用発話対の機能表現及び応対表現各々に正解の意味ラベルが付与されるように学習する方法である。 The semantic label assignment model learning method of the present invention is a semantic label assignment model learning method in a semantic label assignment model learning device including learning utterance pair creation means and learning means, wherein the learning utterance pair creation means Is a plurality of learning data in which the function expression and the response expression included in the analysis result obtained by performing morphological analysis on each of the text data indicating a plurality of utterances are provided with a correct semantic label indicating the meaning of the function expression and the response expression. Based on the above, learning data indicating two consecutive utterances are combined to create a learning utterance pair, and the learning means includes at least a feature of a sequence of semantic labels of functional expressions and semantic labels of response expressions For each of the plurality of types of features, a semantic label assignment model in which a weight indicating that the larger the value is, the more effective the determination of meaning label assignment is. Based on the features extracted from the learning utterance pairs created by the generating means and the weights, a learning method is performed such that correct semantic labels are assigned to the functional expressions and the response expressions of the learning utterance pairs. is there.
また、本発明の意味ラベル付与モデル学習プログラムは、コンピュータを、上記の意味ラベル付与モデル学習装置を構成する各手段として機能させるためのプログラムである。 The semantic label assignment model learning program of the present invention is a program for causing a computer to function as each means constituting the semantic label assignment model learning apparatus.
以上説明したように、本発明の意味ラベル付与モデル学習装置、方法、及びプログラムによれば、連続する２つの発話を示す学習用データを結合して、学習用発話対を作成してから、少なくとも機能表現の意味ラベルと応対表現の意味ラベルとの並びの素性を含む複数種類の素性各々について、その重みを定めた意味ラベル付与モデルを学習する。このため、述部の機能表現の意味ラベルを、その発話に対する応対表現の意味ラベルに基づいて判断することができ、会話の流れによって疑問表現になったり、断定表現になったりする述部の機能表現に対しても、適切な意味ラベルを付与することができる意味ラベル付与モデルを学習することができる、という効果が得られる。 As described above, according to the semantic label assignment model learning apparatus, method, and program of the present invention, after learning data indicating two consecutive utterances are combined to create a learning utterance pair, at least A semantic label assignment model in which weights are determined for each of a plurality of types of features including the feature of the semantic label of the functional expression and the semantic label of the response expression is learned. Therefore, it is possible to determine the meaning label of the functional expression of the predicate based on the semantic label of the response expression for the utterance, and the function of the predicate that becomes a questionable expression or an assertive expression depending on the flow of conversation Also for the expression, an effect is obtained that it is possible to learn a semantic label assignment model that can assign an appropriate semantic label.
また、本発明の意味ラベル付与装置によれば、処理対象のテキストデータから付与用発話対を作成してから、上記のように学習された意味ラベル付与モデルを用いることにより、会話の流れによって疑問表現になったり、断定表現になったりする述部の機能表現に対しても、適切な意味ラベルを付与することができる意味ラベル付与モデルを学習することができる、という効果が得られる。 Further, according to the semantic label assigning device of the present invention, the creation of the giving utterance pair from the text data to be processed, and then using the semantic label assignment model learned as described above, the question is caused by the flow of conversation. There is an effect that it is possible to learn a semantic label assignment model that can assign an appropriate semantic label even to a functional expression of a predicate that becomes an expression or an assertive expression.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
本実施の形態に係る意味ラベル付与装置１０は、ＣＰＵと、ＲＡＭと、後述するモデル学習処理ルーチン及び意味ラベル付与処理ルーチンを実行するためのプログラム及び各種データを記憶したＲＯＭとを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、学習部２０と付与部４０とを含んだ構成で表すことができる。学習部２０は更に、学習用発話対作成部２２と、パラメータテーブル作成部２４とを含んだ構成で表すことができ、付与部４０は更に、付与用発話対作成部４２と、意味ラベル付与部４４とを含んだ構成で表すことができる。なお、パラメータテーブル作成部２４が本発明の学習手段の一例である。 The semantic label assigning apparatus 10 according to the present embodiment is a computer that includes a CPU, a RAM, a ROM for storing various programs and data for executing a model learning process routine and a semantic label assignment process routine described later. It is configured. The computer can be functionally represented by a configuration including a learning unit 20 and a granting unit 40 as shown in FIG. The learning unit 20 can be further represented by a configuration including a learning utterance pair creation unit 22 and a parameter table creation unit 24. The assigning unit 40 further includes an assignment utterance pair creation unit 42, a semantic label assignment unit, and the like. 44. The parameter table creation unit 24 is an example of the learning means of the present invention.
また、後述するパラメータテーブル作成部２４及び意味ラベル付与部４４では、応対ラベルを含んだ機能表現辞書３０が用いられる。機能表現辞書３０は、機能表現の表層形とその機能表現の意味を示す意味ラベルとを格納した辞書である。機能表現辞書３０は、非特許文献２（松吉俊、佐藤理史、宇津呂武仁、「日本語機能表現辞書の編纂」、自然言語処理、ｖｏｌ．１４、Ｎｏ．５、ｐｐ１２３−１４６、２００７）のような既存のものを用いてもよい。また、ＩＤ情報など他の情報が含まれていてもよい。更に、本実施の形態で用いる機能表現辞書３０には、応対ラベルが含まれる。応対ラベルとは、応対表現に付与された意味ラベルである。応対表現とは、「はい」や「いいえ」など、発話者の問いかけに対する応対を表す表現である。この応対表現を用いて、機能表現に最適な意味ラベルを付与するため、機能表現辞書３０に応対ラベルを追加する。例えば、「はい」、「そうですね」などの肯定を表す応対表現には［応対−肯定］という意味ラベルを与え、「いいえ」などの否定を表す応対表現には［応対−否定］という意味ラベルを与える。これらもまた、既存の応対表現辞書を用いてもよい。機能表現辞書３０の一例を図２に示す。 In the parameter table creation unit 24 and the semantic label assignment unit 44 described later, a function expression dictionary 30 including a response label is used. The function expression dictionary 30 is a dictionary that stores a surface layer form of function expressions and a meaning label indicating the meaning of the function expressions. The function expression dictionary 30 is as shown in Non-Patent Document 2 (Shun Matsuyoshi, Satoshi Sato, Takehito Utsuro, “Editing Japanese Function Expression Dictionary”, Natural Language Processing, vol. 14, No. 5, pp 123-146, 2007). Such existing ones may be used. Also, other information such as ID information may be included. Furthermore, the function expression dictionary 30 used in the present embodiment includes a response label. The reception label is a semantic label given to the reception expression. The response expression is an expression that indicates the response to the question of the speaker such as “Yes” or “No”. A response label is added to the function expression dictionary 30 in order to assign an optimal semantic label to the function expression using the reception expression. For example, a response label that indicates affirmation such as “yes” or “yes” is given a semantic label of [response-affirmation], and a response expression that indicates negation such as “no” is assigned a meaning label of [response-negation]. give. These may also use existing reception dictionary. An example of the function expression dictionary 30 is shown in FIG.
学習用発話対作成部２２は、入力された正解コーパスから発話対を作成する。ここで、正解コーパスとは、テキストデータ（音声データの場合は、音声認識結果）を形態素解析し、解析結果である形態素列に対して、応対ラベルを含んだ機能表現辞書３０に基づいて、適切な意味ラベル（正解ラベル）を予め人手で付与したコーパスである。正解コーパスの一例（上記（３）の対話文の例）を図３に示す。図３の例では、２段目が形態素解析後のテキストデータの表層形、３段目が形態素解析により形態素毎に付与された品詞等の形態素情報、及び３段目が機能表現辞書３０に基づいて機能表現及び応対表現に付与された正解ラベルである。また、１段目は、テキストデータの発話者を識別するための発話者情報が付与されている。 The learning utterance pair creation unit 22 creates an utterance pair from the input correct corpus. Here, the correct corpus is a text data (speech recognition result in the case of speech data) is morphologically analyzed, and the morpheme sequence that is the analysis result is appropriately determined based on the function expression dictionary 30 including a response label. This is a corpus in which a large meaning label (correct answer label) is manually assigned in advance. FIG. 3 shows an example of the correct corpus (an example of the dialogue sentence in (3) above). In the example of FIG. 3, the second level is based on the surface layer of text data after morphological analysis, the third level is based on morpheme information such as parts of speech given to each morpheme by morphological analysis, and the third level is based on the function expression dictionary 30. This is the correct answer label assigned to the functional expression and the response expression. In the first row, speaker information for identifying the speaker of the text data is given.
学習用発話対作成部２２は、入力された正解コーパスに付与された発話者情報に基づいて、発話者が交代した箇所を検出して、発話者が交代する前の発話と後の発話とを結合した発話対を作成する。以下では、学習用発話対作成部２２で作成される発話対を、後述する付与用発話対作成部４２で作成される発話対と区別するため、「学習用発話対」という。付与用発話対作成部４２で作成される発話対は「付与用発話対」という。両者の区別なく説明する場合には、単に「発話対」ともいう。本実施の形態では、入力文に対して発話対を処理の単位とすることで、応対パターンをもとに疑問表現か否かを認定する点に特徴がある。そこで、学習用発話対作成部２２により、処理単位となる学習用発話対を作成するものである。 The learning utterance pair creation unit 22 detects a place where the speaker has changed based on the speaker information given to the input correct corpus, and determines the utterance before and after the speaker changes. Create a combined utterance pair. Hereinafter, the utterance pair created by the learning utterance pair creation unit 22 is referred to as “learning utterance pair” in order to distinguish it from the utterance pair created by the giving utterance pair creation unit 42 described later. The utterance pair created by the giving utterance pair creating unit 42 is referred to as “granting utterance pair”. When explaining without distinction between the two, it is also simply referred to as “speech pair”. The present embodiment is characterized in that, by using an utterance pair as a unit of processing for an input sentence, it is recognized whether or not it is a question expression based on a response pattern. Therefore, the learning utterance pair creation unit 22 creates a learning utterance pair as a processing unit.
例えば、下記のような対話の場合、「Ａ−Ｂ」、「Ｃ−Ｄ」、及び「Ｅ−Ｆ」が発話対として作成される。なお、発話対とならない文に対しては、通常の意味ラベル付与処理を行う（すなわち、一文を処理単位とする）。 For example, in the case of the following dialogue, “AB”, “CD”, and “EF” are created as an utterance pair. Note that a normal semantic labeling process is performed on a sentence that is not an utterance pair (that is, one sentence is a processing unit).
オペレータ：お電話ありがとうございます、担当の鈴木です。 Ａ
カスタマー：あの、すみません。 Ｂ
昨日からずっとパソコンがつながらないんですよね。 Ｃ
オペレータ：パソコンがつながらないということですね。 Ｄ
具体的にどのような症状が出ておりますか？ Ｅ
カスタマー：えっと、・・・ Ｆ
Operator: Thank you for calling, I ’m Suzuki in charge. A
Customer: Excuse me. B
Your computer hasn't been connected since yesterday. C
Operator: You don't have a computer. D
What are the specific symptoms? E
Customer: Uh ... F
より具体的には、学習用発話対作成部２２は、発話対となる連続する発話と発話とを結合した一文を作成する。例えば、図４に示すように、形態素解析結果として付与されている発話の文末記号（ここでは＜ＥＯＳ＞）を削除し、発話対となる発話同士を発話順に結合させることで発話対を作成する。このように発話対を作成して、この発話対を処理単位とすることにより、前の発話における述部の機能表現に対する最適な意味ラベルを推定するために、その発話に対する応対を素性として用いることができる。 More specifically, the learning utterance pair creation unit 22 creates a sentence that combines continuous utterances and utterances that are utterance pairs. For example, as shown in FIG. 4, a sentence pair is created by deleting the sentence ending symbol (in this case, <EOS>) given as a morphological analysis result and combining the utterances that are utterance pairs in the utterance order. . By creating an utterance pair in this way and using this utterance pair as a processing unit, use the response to that utterance as a feature to estimate the optimal semantic label for the functional expression of the predicate in the previous utterance Can do.
パラメータテーブル作成部２４は、形態素毎に付与された「意味ラベル」及び「形態素情報」を素性として、非特許文献１と同様の方法により、意味ラベル付与モデルとして、形態素列及び意味ラベル列のパラメータテーブルを学習する。パラメータテーブルは、テキストデータから抽出される素性に対する重み（値が大きいほど意味ラベル付与の判定にその素性が有効であることを示す）を格納したテーブルである。本実施の形態で用いられる素性には、図５に示すように、発話対を処理単位として抽出される素性を用いる。すなわち、発話対の前の発話の終わりに表れる機能表現の意味ラベルと、それに対する後の発話の初めに表れる応対表現の意味ラベルとの並びの２−ｇｒａｍを素性として用いることができる。このように、意味ラベル付与モデルを学習するための処理単位を発話対とし、また対象の形態素に対して前後の形態素に付与された意味ラベルを素性として加えることが必須である（２−ｇｒａｍ以上を素性として含めることが必須）。その他の素性として、１−ｇｒａｍ素性や、非特許文献１のようにマッピング素性（形態素情報から意味ラベルの出現し易さ）を使用してもよい。図６に素性ＩＤの一例を示す。例えば、素性ＩＤ「ＬＰ２」は、「意味ラベルの２−ｇｒａｍ（２つの意味ラベルの並び）」の素性を表している。また、素性ＩＤ「ＬＷ３」は、表層文字列と意味ラベルの３−ｇｒａｍ（３つの「表層文字，意味ラベル」の並び）」の素性を表している。 The parameter table creation unit 24 uses the “semantic label” and “morpheme information” assigned to each morpheme as features, and uses the same method as in Non-Patent Document 1 as a semantic label assignment model to set the parameters of the morpheme sequence and semantic label sequence. Learn the table. The parameter table is a table that stores weights for the features extracted from the text data (the larger the value, the more effective the feature is in determining the meaning label assignment). As the feature used in the present embodiment, as shown in FIG. 5, a feature extracted by using a speech pair as a processing unit is used. That is, the 2-gram of the sequence of the semantic label of the functional expression appearing at the end of the utterance before the utterance pair and the semantic label of the response expression appearing at the beginning of the subsequent utterance can be used as the feature. Thus, it is indispensable that the processing unit for learning the semantic label assignment model is an utterance pair, and the semantic labels assigned to the preceding and succeeding morphemes are added to the target morpheme as features (2-gram or more). Must be included as a feature). As other features, a 1-gram feature or a mapping feature (ease of appearance of a semantic label from morpheme information) as in Non-Patent Document 1 may be used. FIG. 6 shows an example of the feature ID. For example, the feature ID “LP2” represents a feature of “semantic label 2-gram (a sequence of two semantic labels)”. The feature ID “LW3” represents the feature of the surface character string and the 3-gram of the semantic label (a sequence of three “surface characters, semantic labels”).
これらの各素性に対する重みを、例えば、図７に示すようなパラメータテーブルとして定める。図７では、例えば、「［疑問］，［応対−肯定］」という２つの意味ラベルの並びの素性に“３．２”の重みが振られている。素性に対する重みの学習前の段階では、各素性に対する重みは、適当な初期値を設定しておく。パラメータテーブル作成部２４は、このパラメータテーブルを、正解コーパスから作成された学習用発話対を用いて学習する。 The weights for these features are defined as a parameter table as shown in FIG. 7, for example. In FIG. 7, for example, a weight of “3.2” is assigned to the feature of a sequence of two semantic labels “[question], [response-affirmation]”. In the stage before learning the weight for the feature, an appropriate initial value is set for the weight for each feature. The parameter table creation unit 24 learns this parameter table using the learning utterance pair created from the correct corpus.
より具体的には、学習用発話対作成部２２で作成された学習用発話対の形態素情報と機能表現辞書３０とを用いて、各形態素について候補となる意味ラベルを全て含んだラティスを構築する。なお、機能表現辞書３０に含まれておらず、かつ機能語相当の品詞（助詞・助動詞・動詞−非自立・名詞−非自立）の形態素には［ＮＵＬＬ］の意味ラベルを振る。機能表現辞書３０にも含まれず、機能語相当の品詞の形態素でもない場合には、［＊］の意味ラベルを振る。構築されたラティスの一例を図８に示す。 More specifically, by using the morpheme information of the learning utterance pair created by the learning utterance pair creation unit 22 and the function expression dictionary 30, a lattice including all the semantic labels that are candidates for each morpheme is constructed. . Note that a meaning label of [NULL] is assigned to a morpheme that is not included in the function expression dictionary 30 and is a part of speech (a particle / auxiliary verb / verb—non-independent / noun-independent) corresponding to a function word. If it is not included in the function expression dictionary 30 and is not a morpheme of a part of speech equivalent to a function word, a meaning label of [*] is given. An example of the constructed lattice is shown in FIG.
ラティスが構築されたら、ラティス構造から最尤パスを探索する。具体的には、まず、発話対の解析結果である形態素列について、各形態素について出力された意味ラベルの候補からいずれかの候補を選択した意味ラベル候補の組み合わせをフレーズ列として、想定される全ての組み合わせのフレーズ列を作成する。そして、フレーズ列の中で、最も尤もらしいフレーズ列を、パラメータテーブルをもとに計算する。本実施の形態では、非特許文献１に沿って下記の式を満たすフレーズ列を探索し、最尤パスとして出力する。 When the lattice is constructed, the maximum likelihood path is searched from the lattice structure. Specifically, for a morpheme sequence that is an analysis result of an utterance pair, all possible combinations of semantic label candidates obtained by selecting any candidate from the semantic label candidates output for each morpheme are assumed as phrase sequences. Create a phrase sequence of the combinations. Then, the most likely phrase string among the phrase strings is calculated based on the parameter table. In the present embodiment, a phrase string that satisfies the following expression is searched along Non-Patent Document 1, and is output as a maximum likelihood path.
ここで、Ｐはフレーズ列、ｆｋ（Ｐ）はフレーズ列Ｐが与えられたときのｋ番目の素性、ｗｋは素性ｆｋ（Ｐ）に対応する重みであり、上記のように初期値を設定して作成したパラメータテーブルを検索することで得られる。すなわち、ｗｋｆｋ（Ｐ）は、各フレーズ列のスコアであり、各フレーズ列についてこのスコアを計算し、スコアが最大となるフレーズ列を最尤パスとする。探索された最尤パスが、正解のフレーズ列となるようにパラメータテーブルの重みを学習する。最尤パスと正解のフレーズ列とが一致した場合に、学習の処理を終了する。スコアの計算には動的計画法を用いることができる。図８において、図中太枠で示される意味ラベルの列が最尤パスである。このように学習されたパラメータテーブルを学習モデル３２として記憶する。 Here, P is a phrase string, f k (P) is a k-th feature when the phrase string P is given, w k is a weight corresponding to the feature f k (P), and is an initial value as described above. It is obtained by searching the parameter table created by setting. That is, w k f k (P) is a score of each phrase string, this score is calculated for each phrase string, and the phrase string having the maximum score is defined as the maximum likelihood path. The parameter table weights are learned so that the searched maximum likelihood path becomes a correct phrase string. When the maximum likelihood path matches the correct phrase string, the learning process is terminated. Dynamic programming can be used to calculate the score. In FIG. 8, a column of semantic labels indicated by a thick frame in the figure is the maximum likelihood path. The parameter table learned in this way is stored as a learning model 32.
付与用発話対作成部４２は、入力された意味ラベル付与対象のテキストデータに基づいて、付与用発話対を作成する。ここで入力されるテキストデータは、形態素解析済みの対話文である。付与用発話対の作成方法は、学習用発話対作成部２２と同様である。 The giving utterance pair creation unit 42 creates a giving utterance pair based on the input text data to be given a semantic label. The text data input here is a dialogue sentence that has been morphologically analyzed. The method of creating the giving utterance pair is the same as that of the learning utterance pair creating unit 22.
意味ラベル付与部４４は、付与用発話対作成部４２で作成された付与用発話対の形態素情報と応対ラベルを含んだ機能表現辞書３０とを用いて、各形態素について候補となる意味ラベルを全て含んだラティスを構築する。ラティスの構築方法の詳細は、パラメータテーブル作成部２４におけるラティス構築方法と同様である。 The semantic label assigning unit 44 uses the morpheme information of the giving utterance pair created by the giving utterance pair creating unit 42 and the function expression dictionary 30 including the response labels to generate all the semantic labels that are candidates for each morpheme. Build a lattice containing it. Details of the lattice construction method are the same as the lattice construction method in the parameter table creation unit 24.
また、意味ラベル付与部４４は、パラメータテーブル作成部２４により学習されたパラメータテーブル（学習モデル３２）に基づいて、構築されたラティス構造から最尤パスを探索することで、最も尤もらしい意味ラベルを計算し、出力する。最尤パスの探索方法の詳細は、パラメータテーブル作成部２４における最尤パスの探索方法と同様である。 Further, the semantic label assigning unit 44 searches the maximum likelihood path from the constructed lattice structure based on the parameter table (learning model 32) learned by the parameter table creation unit 24, thereby obtaining the most likely semantic label. Calculate and output. The details of the search method for the maximum likelihood path are the same as the search method for the maximum likelihood path in the parameter table creation unit 24.
入力されたテキストデータに対するラティス、及び最尤パス計算によって出力された意味ラベル（図中太枠）の列の一例を、図９に示す。本実施の形態では、モデル学習の際に、発話対を素性の単位としており、そのため、「よね」の意味ラベル候補［疑問］と「はい」の意味ラベル候補［応対‐肯定］との並びが素性として抽出される。パラメータテーブル内を参照すると、その素性に対して高い重みが定められている。これは、ある機能表現に対して、［応対‐肯定］の意味ラベルを有する応対表現が続いている場合には、その機能表現の意味ラベルとしては［疑問］が適切であることを示している。また、意味ラベル付与の際にも発話対を処理単位としているため、前の発話の終わりに表れる機能表現と、それに対する後の発話の初めに表れる応対表現との並びの素性を抽出することができる。これにより、「よね」に対して正しく［疑問］の意味ラベルを付与することができる。 FIG. 9 shows an example of a lattice of input text data and a column of semantic labels (thick frame in the figure) output by maximum likelihood path calculation. In the present embodiment, during model learning, the utterance pair is used as a unit of feature. Therefore, the meaning label candidate [question] of “Yone” and the meaning label candidate [answer-affirmation] of “Yes” are arranged. Extracted as a feature. Referring to the parameter table, a high weight is defined for the feature. This indicates that [question] is appropriate as a semantic label for a functional expression when a functional expression with a semantic label of [response-affirmation] continues for that functional expression. . In addition, since the utterance pair is used as a processing unit when assigning the semantic label, it is possible to extract the feature of the arrangement of the functional expression appearing at the end of the previous utterance and the response expression appearing at the beginning of the subsequent utterance. it can. As a result, it is possible to correctly assign the meaning label of [Question] to “Yone”.
ここで、他の例として、上記（４）のテキストデータが意味ラベル付与の対象として入力された場合について説明する。まず、付与用発話対作成部４２で、付与用発話対を作成する。そして、意味ラベル付与部４４で、ラティスを構築し、パラメータテーブル作成部２４で学習されたパラメータテーブルの素性に対する重みに基づいて、最適な意味ラベル列を出力する（図１０、出力された意味ラベル列を太枠で示す）。モデル学習時に発話対を処理単位としているため、パラメータテーブルにおいて、「よね」かつ［感嘆］と「どの（意味ラベルはなし）」との並びの素性の方が、「よね」かつ［疑問］と「どの（意味ラベルはなし）」との並びの素性より大きい重みが振られている。また、意味ラベル付与の処理単位も発話対となっている。結果、図１０に示すパターンでは、「よね」に対する意味ラベルは「感嘆」が尤もらしいと正しく認定することができ、誤って「疑問」の意味ラベルが付与されることを防ぐことができる。 Here, as another example, a case will be described in which the text data of (4) above is input as a target for giving a semantic label. First, the giving utterance pair creating unit 42 creates a giving utterance pair. Then, the semantic label assigning unit 44 constructs a lattice, and outputs an optimal semantic label sequence based on the weight for the feature of the parameter table learned by the parameter table creation unit 24 (FIG. 10, output semantic label). Column is shown in bold). Since the utterance pair is used as a processing unit during model learning, in the parameter table, “Yone” and [Exclamation] and “Which (no semantic label)” are more likely to be “Yone” and [Question] and “ A weight greater than the feature of the sequence of “Which (no semantic label)” is assigned. In addition, the processing unit for assigning a semantic label is also an utterance pair. As a result, in the pattern shown in FIG. 10, the meaning label for “Yone” can be correctly identified as “exclamation” is plausible, and the meaning label “question” can be prevented from being erroneously given.
次に、図１１を参照して、本実施の形態の意味ラベル付与装置１０において実行されるモデル学習処理ルーチンについて説明する。 Next, with reference to FIG. 11, a model learning process routine executed in the semantic label assigning apparatus 10 of the present embodiment will be described.
ステップ１００で、形態素解析結果（表層形及び形態素）に対して、機能表現及び応対表現の正解ラベル、並びに発話者情報が付与された正解コーパスを取得する。 In step 100, for the morphological analysis results (surface layer form and morpheme), the correct answer corpus to which the correct labels of the functional expression and the response expression and the speaker information are added is acquired.
次に、ステップ１０２で、上記ステップ１００で取得した正解コーパスに付与された発話者情報に基づいて、発話者が交代した箇所を検出して、発話者が交代する前の発話と後の発話とを結合した学習用発話対を作成する。 Next, in step 102, based on the speaker information given to the correct corpus acquired in step 100, the part where the speaker is changed is detected, and the utterance before and after the speaker is changed, Create an utterance pair for learning that combines.
次に、ステップ１０４で、形態素毎に付与された「意味ラベル」及び「形態素情報」を素性として、各素性に対する重みを格納したパラメータテーブルを作成する。ここでは、各素性に対する重みは、適当な初期値を設定する。また、素性には、発話対の前の発話の終わりに表れる機能表現の意味ラベルと、それに対する後の発話の初めに表れる応対表現の意味ラベルとの並びの２−ｇｒａｍの素性を用いることを必須とする。 Next, in step 104, a parameter table storing weights for each feature is created using “semantic label” and “morpheme information” assigned to each morpheme as features. Here, an appropriate initial value is set as the weight for each feature. In addition, for the feature, a 2-gram feature in which the semantic label of the functional expression appearing at the end of the utterance before the utterance pair and the semantic label of the response expression appearing at the beginning of the subsequent utterance is used is used. Required.
次に、ステップ１０６で、上記ステップ１０２で作成された発話対の形態素情報と機能表現辞書３０とを用いて、各形態素について候補となる意味ラベルを全て含んだラティスを構築する。そして、ラティス構造から、意味ラベルの候補からいずれかの候補を選択した意味ラベル候補の組み合わせのフレーズ列を作成する。そして、フレーズ列の中で、最も尤もらしいフレーズ列を、パラメータテーブルをもとに計算して、最尤パスとして探索する。 Next, in step 106, using the morpheme information of the utterance pair created in step 102 and the function expression dictionary 30, a lattice including all candidate semantic labels for each morpheme is constructed. Then, from the lattice structure, a phrase string of a combination of semantic label candidates obtained by selecting any one of the semantic label candidates is created. Then, the most likely phrase string among the phrase strings is calculated based on the parameter table and searched as the maximum likelihood path.
次に、ステップ１０８で、上記ステップ１０６で探索された最尤パスと正解のフレーズ列とが一致したか否かを判定する。一致していない場合には、ステップ１１０へ移行して、探索される最尤パスが正解のフレーズとなるようにパラメータテーブルの重みを学習して、ステップ１０６へ戻る。最尤パスと正解のフレーズ列とが一致した場合には、ステップ１１２へ移行して、学習されたパラメータテーブルを学習モデル３２として記憶して、モデル学習処理を終了する。 Next, in step 108, it is determined whether or not the maximum likelihood path searched in step 106 matches the correct phrase string. If they do not match, the process proceeds to step 110, the parameter table weights are learned so that the searched maximum likelihood path becomes a correct phrase, and the process returns to step 106. If the maximum likelihood path and the correct phrase string match, the process proceeds to step 112, the learned parameter table is stored as the learning model 32, and the model learning process is terminated.
次に、図１２を参照して、本実施の形態の意味ラベル付与装置１０において実行される意味ラベル付与処理ルーチンについて説明する。 Next, with reference to FIG. 12, a semantic label assignment processing routine executed in the semantic label assignment apparatus 10 of the present embodiment will be described.
ステップ１４０で、意味ラベル付与対象のテキストデータ（形態素解析済みの対話文）を取得する。次に、ステップ１４２で、モデル学習処理のステップ１０２と同様の処理により、上記ステップ１４０で取得したテキストデータに基づいて、付与用発話対を作成する。 In step 140, the text data to be given a semantic label (dialog sentence after morphological analysis) is acquired. Next, in step 142, an utterance pair for giving is created based on the text data acquired in step 140 by the same process as in step 102 of the model learning process.
次に、ステップ１４４で、モデル学習処理のステップ１０６と同様の処理により、上記ステップ１４２で作成された付与用発話対の形態素情報と機能表現辞書３０とを用いてラティスを構築し、最尤パスを探索する。この際、モデル学習処理により学習されたパラメータテーブルを参照する。 Next, in step 144, a lattice is constructed using the morpheme information of the utterance pair for provision created in step 142 and the function expression dictionary 30 by the same process as in step 106 of the model learning process, and the maximum likelihood path. Explore. At this time, the parameter table learned by the model learning process is referred to.
次に、ステップ１４６で、最尤パスとして選択された意味ラベル列を、各形態素に付与された意味ラベル列として出力し、意味ラベル付与処理を終了する。 Next, in step 146, the semantic label sequence selected as the maximum likelihood path is output as the semantic label sequence assigned to each morpheme, and the semantic label assignment processing is terminated.
以上説明したように、本実施の形態の意味ラベル付与装置によれば、正解コーパスから作成された発話対を処理単位とし、機能表現の意味ラベルと応対表現の意味ラベルとの並びの素性を加えて、意味ラベル付与モデル（パラメータテーブル）を学習することができる。これにより、相手の受け答えの仕方によって疑問となったり断定となったりする述部の表現を正しく区別する意味ラベル付与モデルを作成することができる。また、意味ラベル付与時にも、対象のテキストデータから作成された付与用発話対を処理単位とするため、前の発話の終わりの機能表現の意味ラベルと、それに対する応対表現の意味ラベルの並びの素性を抽出することができる。これにより、上記のように発話対単位で学習したパラメータテーブルを参照することで、会話の流れによって疑問表現になったり、断定表現になったりする述部に対しても、適切な意味ラベルを付与することができる。 As described above, according to the semantic label assigning apparatus of the present embodiment, an utterance pair created from a correct corpus is used as a processing unit, and the feature of the arrangement of the semantic label of the functional expression and the semantic label of the response expression is added. Thus, a semantic label assignment model (parameter table) can be learned. This makes it possible to create a semantic labeling model that correctly distinguishes expressions of predicates that are questionable or assertive depending on how the other party receives and answers. Also, at the time of assigning a semantic label, since the utterance pair for assignment created from the target text data is used as the processing unit, the meaning label of the functional expression at the end of the previous utterance and the semantic label of the corresponding response expression are arranged. Features can be extracted. As a result, by referring to the parameter table learned in units of utterance pairs as described above, appropriate semantic labels are assigned to predicates that become questionable expressions or assertive expressions depending on the flow of conversation. can do.
また、このように適切に意味ラベルを付与することができるため、お客様の疑問や要望などを抽出、集計、及び分析するテキストマイニング技術の精度を向上させることができる。 In addition, since semantic labels can be appropriately assigned in this way, it is possible to improve the accuracy of text mining technology that extracts, aggregates, and analyzes customer questions and requests.
なお、上記の実施の形態では、学習部と付与部とを同一のコンピュータで構成する場合について説明したが、別々のコンピュータで構成するようにしてもよい。 In the above embodiment, the case where the learning unit and the granting unit are configured by the same computer has been described. However, the learning unit and the granting unit may be configured by separate computers.
また、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the gist of the present invention.
また、本願明細書中において、プログラムが予めインストールされている実施の形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 Further, in the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium.
１０ 意味ラベル付与装置
２０ 学習部
２２ 学習用発話対作成部
２４ パラメータテーブル作成部
３０ 応対ラベルを含む機能表現辞書
３２ 学習モデル
４０ 付与部
４２ 付与用発話対作成部
４４ 意味ラベル付与部
DESCRIPTION OF SYMBOLS 10 Meaning label provision apparatus 20 Learning part 22 Learning utterance pair creation part 24 Parameter table creation part 30 Function expression dictionary 32 including a response label Learning model 40 Giving part 42 Giving utterance pair creation part 44 Semantic label provision part
Claims (6)
少なくとも機能表現の意味ラベルと応対表現の意味ラベルとの並びの素性を含む複数種類の素性各々について、値が大きいほど意味ラベル付与の判定に有効であることを示す重みを定めた意味ラベル付与モデルを、前記学習用発話対作成手段により作成された学習用発話対から抽出された素性と前記重みとに基づいて、前記学習用発話対の機能表現及び応対表現各々に正解の意味ラベルが付与されるように学習する学習手段と、
を含む意味ラベル付与モデル学習装置。 Based on a plurality of learning data in which the functional expression and the response expression included in the analysis result of the morphological analysis of each text data indicating a plurality of utterances are assigned the correct semantic labels indicating the meaning of the function expression and the response expression A learning utterance pair creating means for combining learning data indicating two continuous utterances to create a learning utterance pair;
For each of multiple types of features, including at least the feature labels of the functional expression semantic labels and the response expression semantic labels, a semantic label assignment model that defines a weight that indicates that the greater the value is, the more effective the determination of semantic label assignment is Based on the features extracted from the learning utterance pairs created by the learning utterance pair creating means and the weights, a correct semantic label is assigned to each of the functional expression and the response expression of the learning utterance pair. Learning means to learn,
A semantic labeling model learning device including
前記付与用発話対作成手段により作成された付与用発話対から抽出された素性と、請求項１〜請求項３のいずれか１項記載の意味ラベル付与モデル学習装置により学習された意味ラベル付与モデルとに基づいて、前記付与用発話対の機能表現及び応対表現各々に意味ラベルを付与する付与手段と、
を含む意味ラベル付与装置。 An utterance pair creation unit for grant that creates a utterance pair for grant by combining morpheme-analyzed text data to be processed that indicate two consecutive utterances;
The features extracted from the utterance pair for assignment created by the utterance pair creation means for giving and the semantic label assignment model learned by the semantic label assignment model learning device according to any one of claims 1 to 3. And a granting means for giving a semantic label to each of the functional expression and the response expression of the giving utterance pair,
Meaning labeling device including
前記学習用発話対作成手段は、複数の発話を示すテキストデータ各々を形態素解析した解析結果に含まれる機能表現及び応対表現に該機能表現及び該応対表現の意味を示す正解の意味ラベルが付与された複数の学習用データに基づいて、連続する２つの発話を示す学習用データを結合して、学習用発話対を作成し、
前記学習手段は、少なくとも機能表現の意味ラベルと応対表現の意味ラベルとの並びの素性を含む複数種類の素性各々について、値が大きいほど意味ラベル付与の判定に有効であることを示す重みを定めた意味ラベル付与モデルを、前記学習用発話対作成手段により作成された学習用発話対から抽出された素性と前記重みとに基づいて、前記学習用発話対の機能表現及び応対表現各々に正解の意味ラベルが付与されるように学習する
意味ラベル付与モデル学習方法。 A semantic label assignment model learning method in a semantic label assignment model learning device including a learning utterance pair creation means and a learning means,
The learning utterance pair creation means is provided with a correct semantic label indicating the meaning of the functional expression and the corresponding expression to the functional expression and the corresponding expression included in the analysis result obtained by performing morphological analysis on each of the text data indicating a plurality of utterances. Based on a plurality of learning data, the learning data indicating two consecutive utterances are combined to create a learning utterance pair,
The learning means determines a weight that indicates that the greater the value, the more effective the determination of meaning label assignment, for each of a plurality of types of features including at least the feature labels of functional expression semantic labels and response expression semantic labels. Based on the feature extracted from the learning utterance pair created by the learning utterance pair creating means and the weight, the semantic label assignment model is correct for each of the functional expression and the response expression of the learning utterance pair. A semantic label assignment model learning method for learning so that a semantic label is assigned.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011256677A JP2013109738A (en) | 2011-11-24 | 2011-11-24 | Semantic label application model learning device, semantic label application device, semantic label application model learning method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011256677A JP2013109738A (en) | 2011-11-24 | 2011-11-24 | Semantic label application model learning device, semantic label application device, semantic label application model learning method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013109738A true JP2013109738A (en) | 2013-06-06 |
Family
ID=48706389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011256677A Pending JP2013109738A (en) | 2011-11-24 | 2011-11-24 | Semantic label application model learning device, semantic label application device, semantic label application model learning method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013109738A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017032738A (en) * | 2015-07-31 | 2017-02-09 | 日本電信電話株式会社 | Speech intention model learning device, speech intention extract device, speech intention model learning method, speech intention extract method and program |
| KR20220132409A (en) * | 2021-03-23 | 2022-09-30 | 한국과학기술원 | Method And Apparatus for Labeling Context Information for Dialogue Script |
| WO2023119675A1 (en) * | 2021-12-24 | 2023-06-29 | 日本電信電話株式会社 | Estimation method, estimation device, and estimation program |
-
2011
- 2011-11-24 JP JP2011256677A patent/JP2013109738A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017032738A (en) * | 2015-07-31 | 2017-02-09 | 日本電信電話株式会社 | Speech intention model learning device, speech intention extract device, speech intention model learning method, speech intention extract method and program |
| KR20220132409A (en) * | 2021-03-23 | 2022-09-30 | 한국과학기술원 | Method And Apparatus for Labeling Context Information for Dialogue Script |
| KR102662668B1 (en) | 2021-03-23 | 2024-05-03 | 한국과학기술원 | Method And Apparatus for Labeling Context Information for Dialogue Script |
| WO2023119675A1 (en) * | 2021-12-24 | 2023-06-29 | 日本電信電話株式会社 | Estimation method, estimation device, and estimation program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11568855B2 (en) | System and method for defining dialog intents and building zero-shot intent recognition models | |
| CN110110062B (en) | Machine intelligent question and answer method and device and electronic equipment | |
| JP6781760B2 (en) | Systems and methods for generating language features across multiple layers of word expression | |
| CN108984529A (en) | Real-time court's trial speech recognition automatic error correction method, storage medium and computing device | |
| JP7266683B2 (en) | Information verification method, apparatus, device, computer storage medium, and computer program based on voice interaction | |
| WO2020052069A1 (en) | Method and apparatus for word segmentation | |
| KR102024845B1 (en) | Device and method for analyzing speech act | |
| Kopparapu | Non-linguistic analysis of call center conversations | |
| JP7272060B2 (en) | Generation method, learning method, generation program, and generation device | |
| CN104750677A (en) | Speech translation apparatus, speech translation method and speech translation program | |
| US11809804B2 (en) | Text formatter | |
| CN111159405B (en) | Irony detection method based on background knowledge | |
| Liu et al. | Cross-domain slot filling as machine reading comprehension: A new perspective | |
| Rosenberg | Speech, prosody, and machines: Nine challenges for prosody research | |
| Płaza et al. | Call transcription methodology for contact center systems | |
| Lee et al. | Unsupervised spoken language understanding for a multi-domain dialog system | |
| JP2013109738A (en) | Semantic label application model learning device, semantic label application device, semantic label application model learning method and program | |
| Coto‐Solano | Computational sociophonetics using automatic speech recognition | |
| KR101559576B1 (en) | A Simultaneous Recognition Apparatus for the Language Understanding Module of a Mobile Dialogue System and Method of the same | |
| Ma et al. | An analysis of source context dependency in neural machine translation | |
| JP6743108B2 (en) | PATTERN RECOGNITION MODEL AND PATTERN LEARNING DEVICE, GENERATION METHOD THEREOF, FAQ EXTRACTION METHOD USING THE SAME, PATTERN RECOGNITION DEVICE, AND PROGRAM | |
| JP6586055B2 (en) | Deep case analysis device, deep case learning device, deep case estimation device, method, and program | |
| KR102419648B1 (en) | Method and system for predicting and improving persuasiveness of document based on concreteness and the order of persuasion strategy | |
| Cozzolongo et al. | Social robots as mediators between users and smart environments | |
| Ike | Inequity in Popular Voice Recognition Systems Regarding African Accents |