JP7195236B2

JP7195236B2 - Response evaluation device, response evaluation method, and computer program

Info

Publication number: JP7195236B2
Application number: JP2019160388A
Authority: JP
Inventors: 優一栗木; 優人多屋; 亜令小林
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2019-09-03
Filing date: 2019-09-03
Publication date: 2022-12-23
Anticipated expiration: 2039-09-03
Also published as: JP2021039537A

Description

本発明は、応対評価装置、応対評価方法及びコンピュータプログラムに関する。 The present invention relates to a response evaluation device, a response evaluation method, and a computer program.

従来、対話における話者間の共有トピック構造を明らかにするトピックモデル学習技術が特許文献１に記載されている。特許文献１に記載のトピックモデル学習技術は、対話の中で「ＥさんとＦさんの対話は、Ｂ番目のトピックが支配的である」といった話題構造を明らかにし、且つ「Ｅさんが話したＢ番目のトピックの単語はＣやＤである」といった情報を捉えることが可能なトピックモデルを実現している。 Conventionally, Patent Literature 1 describes a topic model learning technique for clarifying a shared topic structure between speakers in a dialogue. The topic model learning technology described in Patent Literature 1 clarifies the topic structure such as "In the dialogue between Mr. E and Mr. F, the topic B is dominant." A topic model capable of capturing information such as "The words in the B-th topic are C and D" is realized.

特開２０１５－４５９１５号公報JP 2015-45915 A

しかし、上述した従来の技術では、過去の応対の対話における応対の目的達成に有用な対話の要素を適切に抽出することができなかった。 However, with the above-described conventional technology, it was not possible to appropriately extract dialogue elements that are useful for achieving the purpose of past reception dialogues.

本発明は、このような事情を考慮してなされたものであり、その目的は、過去の応対の対話における応対の目的達成に有用な対話の要素を適切に抽出することを図ることにある。 The present invention has been made in consideration of such circumstances, and its object is to appropriately extract the elements of dialogue that are useful for achieving the purpose of the past reception dialogue.

本発明の一態様は、過去の応対の対話テキストに含まれる形態素について、前記対話テキストについての前記応対の目的の成否結果に基づき前記応対の目的達成に対する有用度を算出する有用度算出処理部と、前記有用度に基づいて、前記応対の目的達成に関する前記形態素の評価データを生成する評価処理部と、を備え、前記有用度算出処理部は、次式により有用度を算出する有用度算出部を備え、有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））、Ａは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、Ｂは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、Ｃは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、
Ｄは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、前記評価処理部は、前記形態素の特徴に基づいて前記形態素がクラスタリングされた形態素クラスタに対して前記評価データを生成する評価データ生成部と、同じ前記形態素クラスタに含まれる前記形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、前記有用度代表値が所定の閾値以上である前記形態素クラスタをトピッククラスタとして抽出するトピッククラスタ抽出部と、を備え、前記評価データ生成部は、前記トピッククラスタを前記評価データの生成対象にし、前記評価データは、前記トピッククラスタ毎に、前記応対についての目的達成率と、前記対話テキストにおける出現率と、前記応対についての目的成功の前記対話テキストにおける成功出現ポイントと、前記応対についての目的失敗の前記対話テキストにおける失敗出現ポイントとのうち少なくとも一つを含み、前記評価データ生成部は、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる前記対話テキストの個数である出現数を算出し、前記目的達成率は、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの割合であり、前記出現率は、前記対話テキストの総数に対する、算出対象トピッククラスタについての前記出現数の割合であり、前記成功出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が成功である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分であり、前記失敗出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が失敗である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分である、応対評価装置である。
本発明の一態様は、上記の応対評価装置において、前記評価処理部は、一の前記形態素と共に出現する他の前記形態素との組合せに基づいて、当該一の前記形態素の特徴を表す特徴量ベクトルを生成する形態素特徴化部と、一の前記形態素の前記特徴量ベクトルと他の前記形態素の前記特徴量ベクトルとの距離に基づいて、前記形態素クラスタを生成する形態素クラスタリング部と、を備える、応対評価装置である。 In one aspect of the present invention, a usefulness calculation processing unit that calculates the usefulness of morphemes included in a dialogue text of a past response for achieving the purpose of the response based on the result of success or failure of the purpose of the response with respect to the dialogue text. and an evaluation processing unit that generates evaluation data of the morpheme related to the achievement of the purpose of the response based on the usefulness, wherein the usefulness calculation processing unit calculates the usefulness according to the following equation: where usefulness = (A/(A+B))/(C/(C+D)), and A is the success or failure result of the purpose of the reception among the dialogue texts in which the morpheme for which the usefulness is to be calculated appears. B is the total number of the dialogue texts in which the morpheme for which the usefulness is to be calculated appears, and the result of success or failure of the purpose of the response is the total number of the dialogue texts; and C is the usefulness calculation. is the total number of the dialogue texts in which the target morpheme does not appear and for which the success or failure result of the purpose of the response is successful;
D is the total number of the dialogue texts in which the result of success or failure of the purpose of the response is failure among the dialogue texts in which the morpheme for which the usefulness is to be calculated does not appear; an evaluation data generating unit for generating the evaluation data for a morpheme cluster obtained by clustering morphemes; and calculating a usefulness representative value of the morpheme cluster based on the usefulness of the morpheme included in the same morpheme cluster; a topic cluster extraction unit that extracts, as a topic cluster, the morpheme cluster whose usefulness representative value is equal to or greater than a predetermined threshold; The data includes, for each topic cluster, the goal achievement rate of the response, the appearance rate in the dialogue text, the success appearance point in the dialogue text of the success of the purpose of the response, and the failure of the purpose of the response. and at least one of failure appearance points in the dialogue text, and the evaluation data generation unit calculates the number of appearances, which is the number of the dialogue texts containing a predetermined number of morphemes belonging to the calculation target topic cluster. and the purpose achievement rate is the ratio of the dialogue texts for which the result of success or failure of the purpose of the response is successful, among the dialogue texts counted in the number of appearances for the calculation target topic cluster, and the appearance rate is , the ratio of the number of occurrences of the topic cluster to be calculated to the total number of dialogue texts, and the successful appearance point is the number of occurrences of the dialogue texts counted in the number of occurrences of the topic cluster to be calculated for the purpose of the response In the sequence of morphemes in the dialogue text for which the success or failure result of the calculation target topic cluster is a success, a portion that includes more morphemes belonging to the calculation target topic cluster than other portions, and the failure appearance point is a part of the calculation target topic cluster. Among the dialogue texts counted in the number of appearances, the sequence of morphemes in the dialogue text for which the result of success or failure of the purpose of the response is failure includes more morphemes belonging to the calculation target topic cluster than other parts. It is a response evaluation device that is a part .
In one aspect of the present invention, in the above-described response evaluation device, the evaluation processing unit includes a feature amount vector representing a feature of the one morpheme, based on a combination with the other morpheme that appears together with the one morpheme. and a morpheme clustering unit that generates the morpheme cluster based on the distance between the feature vector of one morpheme and the feature vector of another morpheme. It is an evaluation device.

本発明の一態様は、コンピュータに、過去の応対の対話テキストに含まれる形態素について、前記対話テキストについての前記応対の目的の成否結果に基づき前記応対の目的達成に対する有用度を算出する有用度算出処理ステップと、前記有用度に基づいて、前記応対の目的達成に関する前記形態素の評価データを生成する評価処理ステップと、を実行させるためのコンピュータプログラムであって、前記有用度算出処理ステップは、次式により有用度を算出し、有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））、Ａは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、Ｂは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、Ｃは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、Ｄは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、前記評価処理ステップは、前記形態素の特徴に基づいて前記形態素がクラスタリングされた形態素クラスタに対して前記評価データを生成する評価データ生成ステップと、同じ前記形態素クラスタに含まれる前記形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、前記有用度代表値が所定の閾値以上である前記形態素クラスタをトピッククラスタとして抽出するトピッククラスタ抽出ステップと、を含み、前記評価データ生成ステップは、前記トピッククラスタを前記評価データの生成対象にし、前記評価データは、前記トピッククラスタ毎に、前記応対についての目的達成率と、前記対話テキストにおける出現率と、前記応対についての目的成功の前記対話テキストにおける成功出現ポイントと、前記応対についての目的失敗の前記対話テキストにおける失敗出現ポイントとのうち少なくとも一つを含み、前記評価データ生成ステップは、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる前記対話テキストの個数である出現数を算出し、前記目的達成率は、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの割合であり、前記出現率は、前記対話テキストの総数に対する、算出対象トピッククラスタについての前記出現数の割合であり、前記成功出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が成功である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分であり、前記失敗出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が失敗である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分である、コンピュータプログラムである。 According to one aspect of the present invention, a computer performs usefulness calculation for calculating the usefulness of a morpheme included in a dialogue text of a past response for achieving the purpose of the response based on the success or failure result of the purpose of the response with respect to the dialogue text. A computer program for executing a processing step and an evaluation processing step of generating evaluation data of the morpheme relating to the achievement of the purpose of the response based on the usefulness, wherein the usefulness calculation processing step includes: Usefulness is calculated by the formula, usefulness = (A ÷ (A + B)) ÷ (C ÷ (C + D)), A is the success or failure of the purpose of the reception among the dialogue texts in which the morpheme for which the usefulness is to be calculated appears B is the total number of dialogue texts in which the result is successful, among the dialogue texts in which the usefulness calculation target morpheme appears, the total number of the dialogue texts in which the success or failure result of the purpose of the response is failure; is the total number of the dialogue texts in which the result of success or failure of the purpose of the response is successful among the dialogue texts in which the morpheme for usefulness calculation does not appear, and D is the number of dialogue texts in which the morpheme for usefulness calculation does not appear Of these, the total number of dialogue texts for which the success or failure result of the purpose of the response is a failure, and the evaluation processing step generates the evaluation data for a morpheme cluster obtained by clustering the morphemes based on the characteristics of the morpheme. a usefulness representative value of the morpheme cluster is calculated based on the usefulness of the morpheme contained in the same morpheme cluster, and the morpheme cluster having the usefulness representative value equal to or greater than a predetermined threshold is selected. a topic cluster extraction step of extracting topic clusters, wherein the evaluation data generation step targets the topic clusters for generation of the evaluation data, and the evaluation data is used for each of the topic clusters to achieve the purpose of the response. at least one of a rate, an occurrence rate in the dialog text, a successful occurrence point in the dialog text of a successful goal for the response, and a failure occurrence point in the dialog text of a failed goal for the response; The evaluation data generating step calculates the number of occurrences, which is the number of dialogue texts that are morphemes belonging to the calculation target topic cluster and that include a predetermined number of morphemes, and the goal achievement rate is calculated based on the above-mentioned Among the dialogue texts counted in the number of appearances, the success or failure result of the purpose of the response is a success is the ratio of the dialogue texts, the appearance ratio is the ratio of the number of appearances of the calculation target topic cluster to the total number of the dialogue texts, and the successful appearance point is the number of appearances of the calculation target topic cluster. a portion that includes more morphemes belonging to a topic cluster to be calculated than other portions in the sequence of morphemes in the counted dialogue text for which the success or failure result of the purpose of the response is successful; The failure appearance point belongs to the calculation target topic cluster in the sequence of morphemes in the dialogue text for which the result of success or failure of the purpose of the response is failure among the dialogue texts counted in the number of appearances for the calculation target topic cluster. A computer program in which morphemes are the part that contains more morphemes than the other parts .

本発明の一態様は、応対評価装置が、過去の応対の対話テキストに含まれる形態素について、前記対話テキストについての前記応対の目的の成否結果に基づき前記応対の目的達成に対する有用度を算出する有用度算出処理ステップと、前記応対評価装置が、前記有用度に基づいて、前記応対の目的達成に関する前記形態素の評価データを生成する評価処理ステップと、を含む応対評価方法であって、前記有用度算出処理ステップは、次式により有用度を算出し、有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））、Ａは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、Ｂは、有用度算出対象形態素が出現する前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、Ｃは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの総数であり、Ｄは、有用度算出対象形態素が出現しない前記対話テキストのうち、前記応対の目的の成否結果が失敗である前記対話テキストの総数であり、前記評価処理ステップは、前記形態素の特徴に基づいて前記形態素がクラスタリングされた形態素クラスタに対して前記評価データを生成する評価データ生成ステップと、同じ前記形態素クラスタに含まれる前記形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、前記有用度代表値が所定の閾値以上である前記形態素クラスタをトピッククラスタとして抽出するトピッククラスタ抽出ステップと、を含み、前記評価データ生成ステップは、前記トピッククラスタを前記評価データの生成対象にし、前記評価データは、前記トピッククラスタ毎に、前記応対についての目的達成率と、前記対話テキストにおける出現率と、前記応対についての目的成功の前記対話テキストにおける成功出現ポイントと、前記応対についての目的失敗の前記対話テキストにおける失敗出現ポイントとのうち少なくとも一つを含み、前記評価データ生成ステップは、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる前記対話テキストの個数である出現数を算出し、前記目的達成率は、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち、前記応対の目的の成否結果が成功である前記対話テキストの割合であり、前記出現率は、前記対話テキストの総数に対する、算出対象トピッククラスタについての前記出現数の割合であり、前記成功出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が成功である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分であり、前記失敗出現ポイントは、算出対象トピッククラスタについての前記出現数にカウントされた前記対話テキストのうち前記応対の目的の成否結果が失敗である前記対話テキストにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が他の部分に比較して多く含まれる部分である、応対評価方法である。
In one aspect of the present invention, the response evaluation device calculates the usefulness for achieving the purpose of the response based on the success or failure result of the purpose of the response for the dialogue text for the morphemes included in the dialogue text of the past response. a response evaluation method comprising: a degree calculation processing step; and an evaluation processing step in which the response evaluation device generates evaluation data of the morpheme relating to achievement of the purpose of the response based on the usefulness, wherein the usefulness In the calculation processing step, usefulness is calculated by the following formula, where usefulness = (A/(A+B))/(C/(C+D)), where A is the dialogue text in which the morpheme for which usefulness is to be calculated appears, B is the total number of the dialogue texts in which the result of success or failure of the purpose of reception is success, and B is the dialogue text in which the result of success or failure of the purpose of reception is failure, among the dialogue texts in which the usefulness calculation target morpheme appears. C is the total number of the dialogue texts in which the purpose of the response is successful among the dialogue texts in which the morpheme for usefulness calculation does not appear; D is the total number of the dialogue texts where the morpheme for usefulness calculation is is the total number of the dialog texts for which the result of success or failure of the purpose of the response is a failure, among the dialog texts that do not appear, and the evaluation processing step is performed on the morpheme clusters obtained by clustering the morphemes based on the features of the morphemes. a usefulness representative value of the morpheme cluster is calculated based on the usefulness of the morpheme contained in the same morpheme cluster, and the usefulness representative value is equal to or greater than a predetermined threshold; and a topic cluster extraction step of extracting the morpheme clusters as topic clusters, wherein the evaluation data generation step targets the topic clusters for generation of the evaluation data, and the evaluation data is, for each topic cluster, Among the goal achievement rate for the response, the appearance rate in the dialogue text, the success appearance point in the dialogue text for the purpose success for the response, and the failure appearance point in the dialogue text for the failure in purpose for the response wherein the evaluation data generation step calculates the number of occurrences, which is the number of dialogue texts that are morphemes belonging to the calculation target topic cluster and that include a predetermined number of morphemes, and the goal achievement rate is calculated by calculating Among the dialogue texts counted in the number of occurrences for the target topic cluster, before the success or failure result of the purpose of the response is the ratio of the dialogue texts, the appearance rate is the ratio of the number of appearances of the calculation target topic cluster to the total number of the dialogue texts, and the successful appearance point is the number of appearances of the calculation target topic cluster. a portion that includes more morphemes belonging to a topic cluster to be calculated than other portions in the sequence of morphemes in the counted dialogue text for which the success or failure result of the purpose of the response is successful; The failure appearance point belongs to the calculation target topic cluster in the sequence of morphemes in the dialogue text for which the result of success or failure of the purpose of the response is failure among the dialogue texts counted in the number of appearances for the calculation target topic cluster. This is a response evaluation method in which a portion contains more morphemes than other portions .

本発明によれば、過去の応対の対話における応対の目的達成に有用な対話の要素を適切に抽出することができるという効果が得られる。 ADVANTAGE OF THE INVENTION According to this invention, the effect of being able to extract appropriately the element of conversation useful for achievement of the objective of the correspondence in the past correspondence is acquired.

一実施形態に係る応対評価装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the response evaluation apparatus which concerns on one Embodiment. 一実施形態に係る対話テキストデータベースの構成例を示す図である。It is a figure which shows the structural example of the dialogue text database which concerns on one Embodiment. 一実施形態に係る目的成否結果データベースの構成例を示す図である。It is a figure which shows the structural example of the goal success/failure result database which concerns on one Embodiment. 一実施形態に係る形態素リストの構成例を示す図である。FIG. 4 is a diagram showing a configuration example of a morpheme list according to one embodiment; 一実施形態に係る目的成否付き対話テキストデータの構成例を示す図である。It is a figure which shows the structural example of the dialogue text data with purpose success or failure which concerns on one Embodiment. 一実施形態に係る有用度付き全形態素リストの構成例を示す図である。FIG. 4 is a diagram showing a configuration example of a list of all morphemes with usefulness according to one embodiment; 一実施形態に係る全形態素特徴量リストの構成例を示す図である。FIG. 4 is a diagram showing a configuration example of a full morphological feature amount list according to one embodiment; 一実施形態に係るトピック番号付き全形態素特徴量リストの構成例を示す図である。FIG. 4 is a diagram showing a configuration example of a list of all morpheme features with topic numbers according to one embodiment; 一実施形態に係るトピック番号有用度付き全形態素特徴量リストの構成例を示す図である。FIG. 10 is a diagram showing a configuration example of a list of all morpheme features with topic number usefulness according to one embodiment; 一実施形態に係る有用度付きトピッククラスタ形態素特徴量リストの構成例を示す図である。FIG. 10 is a diagram showing a configuration example of a usefulness-attached topic cluster morphological feature amount list according to an embodiment; 一実施形態に係る評価データの構成例を示す図である。It is a figure which shows the structural example of the evaluation data which concerns on one Embodiment. 一実施形態に係る評価データの構成例を示す図である。It is a figure which shows the structural example of the evaluation data which concerns on one Embodiment. 一実施形態に係る評価データの構成例を示す図である。It is a figure which shows the structural example of the evaluation data which concerns on one Embodiment. 一実施形態に係る応対評価方法の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the procedure of the response evaluation method which concerns on one Embodiment.

以下、図面を参照し、本発明の実施形態について説明する。
図１は、一実施形態に係る応対評価装置の構成例を示すブロック図である。図１において、応対評価装置１は、対話テキストデータベース（対話テキストＤＢ）２と、目的成否結果データベース（目的成否結果ＤＢ）３と、形態素辞書４と、形態素分割部５と、有用度算出処理部１０と、評価処理部２０とを備える。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration example of a response evaluation device according to one embodiment. In FIG. 1, the response evaluation device 1 includes a dialogue text database (dialogue text DB) 2, a target success/failure result database (target success/failure result DB) 3, a morpheme dictionary 4, a morpheme dividing unit 5, and a usefulness calculation processing unit. 10 and an evaluation processing unit 20 .

応対評価装置１の各機能は、応対評価装置１がＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。
なお、応対評価装置１として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、応対評価装置１は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、応対評価装置１の各機能はクラウドコンピューティングにより実現されてもよい。 Each function of the response evaluation device 1 is realized by the response evaluation device 1 having computer hardware such as a CPU (Central Processing Unit) and memory, and the CPU executing a computer program stored in the memory. be done.
The response evaluation device 1 may be configured using a general-purpose computer device, or may be configured as a dedicated hardware device. For example, the response evaluation device 1 may be configured using a server computer connected to a communication network such as the Internet. Moreover, each function of the response evaluation apparatus 1 may be realized by cloud computing.

対話テキストＤＢ２は、過去の応対の対話テキストを蓄積するデータベースである。例えば、企業のサービスセンターにおける応対者と顧客との応対の対話がテキスト化されたテキスト（対話テキスト）が対話テキストＤＢ２に格納される。又は、例えば、商品販売店舗における応対者と顧客との応対の対話がテキスト化された対話テキストが対話テキストＤＢ２に格納される。図２は、本実施形態に係る対話テキストＤＢの構成例を示す図である。図２に示されるように、対話テキストＤＢ２は、対話識別子（対話ＩＤ）と対話（対話テキスト）とを関連付けて格納する。
ここで、一緒に評価される複数の対話テキストは、応対の目的が同じものである。このため、本実施形態の一例として、一の対話テキストＤＢ２には同じ目的の応対の対話テキストのみが格納されるようにし、一の対話テキストＤＢ２に格納される全ての対話テキストを一緒に評価する対象とする。したがって、異なる目的の応対の対話テキストはそれぞれ別個の対話テキストＤＢ２に格納されるようにする。
例えば、「ケース１：企業のサービスセンターにおける応対者と顧客との応対の対話テキスト」の応対の目的は顧客が応対に満足することであり、「ケース２：商品販売店舗における応対者と顧客との応対の対話テキスト」の応対の目的は顧客が商品を購入することであるとする。この場合、ケース１とケース２とは応対の目的が異なるので、ケース１とケース２とが別個に評価されるように、ケース１とケース２とでは対話テキストＤＢ２を別個に設ける。
なお、本実施形態の変形例として、一の対話テキストＤＢ２にケース１とケース２とを識別可能に格納し、ケース１を評価対象にする場合にはケース１のみを抽出し、一方、ケース２を評価対象にする場合にはケース２のみを抽出する対象対話抽出部を設けるようにしてもよい。 The dialogue text DB2 is a database that accumulates dialogue texts of past responses. For example, texts (dialogue texts) in which a dialogue between a customer and a customer at a company's service center is converted into text are stored in the dialogue text DB2. Alternatively, for example, the dialog text DB2 stores a dialog text in which the dialog between the receptionist and the customer at the merchandise store is converted into text. FIG. 2 is a diagram showing a configuration example of a dialogue text DB according to this embodiment. As shown in FIG. 2, the dialogue text DB2 stores dialogue identifiers (dialogue IDs) and dialogues (dialogue texts) in association with each other.
Here, multiple dialogue texts that are evaluated together have the same answering purpose. For this reason, as an example of this embodiment, one dialogue text DB 2 stores only dialogue texts for the same purpose, and all the dialogue texts stored in one dialogue text DB 2 are evaluated together. set to target. Therefore, dialogue texts for different purposes are stored in separate dialogue text DB2.
For example, in "Case 1: Dialogue text between a customer and a customer at a service center of a company," the purpose of the response is to satisfy the customer, and "Case 2: A customer and a customer at a store selling goods It is assumed that the purpose of the response of "dialogue text of response" is for the customer to purchase the product. In this case, since cases 1 and 2 have different purposes of response, separate dialogue text DBs 2 are provided for cases 1 and 2 so that case 1 and case 2 are evaluated separately.
As a modification of this embodiment, case 1 and case 2 are stored in a single dialogue text DB 2 in a identifiable manner, and only case 1 is extracted when case 1 is to be evaluated. is to be evaluated, a target dialogue extraction unit for extracting only case 2 may be provided.

目的成否結果ＤＢ３は、対話テキストＤＢ２に格納される各対話テキストについて応対の目的の成否の結果を蓄積するデータベースである。例えば、企業のサービスセンターにおける応対者と顧客との応対の目的として、顧客が応対に満足することが挙げられる。例えば、商品販売店舗における応対者と顧客との応対の目的として、顧客が商品を購入することが挙げられる。図３は、本実施形態に係る目的成否結果ＤＢの構成例を示す図である。図３に示されるように、目的成否結果ＤＢ３は、対話ＩＤと当該対話ＩＤに該当する対話テキストの目的成否「１：成功」又は「０：失敗」とを関連付けて格納する。 The goal success/failure result DB3 is a database that accumulates the result of the success or failure of the purpose of the response for each dialogue text stored in the dialogue text DB2. For example, the customer's satisfaction with the service can be cited as the purpose of the service between the customer and the customer at the company's service center. For example, one of the purposes of correspondence between a customer and a customer at a merchandise store is for the customer to purchase merchandise. FIG. 3 is a diagram showing a configuration example of the goal success/failure result DB according to the present embodiment. As shown in FIG. 3, the target success/failure result DB 3 stores the dialog ID and the target success/failure "1: success" or "0: failure" of the dialog text corresponding to the dialog ID in association with each other.

形態素辞書４は、文章を形態素に分割するための辞書である。形態素分割部５は、形態素辞書４を使用して対話テキストＤＢ２内の対話テキストを形態素に分割し、図４に例示されるように対話テキスト毎に形態素リストを生成する。また、全ての形態素の一覧（全形態素リスト）を生成する。 The morpheme dictionary 4 is a dictionary for dividing sentences into morphemes. The morpheme dividing unit 5 divides the dialogue text in the dialogue text DB 2 into morphemes using the morpheme dictionary 4, and generates a morpheme list for each dialogue text as illustrated in FIG. Also, a list of all morphemes (all morpheme list) is generated.

有用度算出処理部１０は、過去の応対の対話テキストに含まれる形態素について、当該対話テキストについての当該応対の目的の成否結果に基づき当該応対の目的達成に対する有用度を算出する。ある形態素の有用度は、当該形態素が対話の中で応対の目的達成にどの程度役に立ったかを示す度合いである。 The usefulness calculation processing unit 10 calculates the usefulness of the morphemes included in the dialogue text of the past correspondence for achieving the purpose of the correspondence based on the result of success or failure of the purpose of the correspondence with respect to the dialogue text. The usefulness of a certain morpheme is a degree indicating how useful the morpheme was in achieving the purpose of the response in the dialogue.

有用度算出処理部１０は、目的成否結果結合部１１と、有用度算出部１２とを備える。 The usefulness calculation processing unit 10 includes a goal success/failure result combining unit 11 and a usefulness calculation unit 12 .

目的成否結果結合部１１は、対話テキストＤＢ２内の対話テキストと目的成否結果ＤＢ３内の目的成否「１：成功」又は「０：失敗」とを、対話ＩＤをキーにして関連付ける。これにより、図５に例示されるように、同じ対話ＩＤの対話テキストと目的成否「１：成功」又は「０：失敗」とが関連付けられた目的成否付き対話テキストデータが生成される。 The target success/failure result linking unit 11 associates the dialog text in the dialog text DB2 with the target success/failure "1: success" or "0: failure" in the target success/failure result DB3 using the dialog ID as a key. As a result, as illustrated in FIG. 5, dialogue text data with purpose success/failure in which dialogue text with the same dialogue ID and purpose success/failure “1: success” or “0: failure” are associated is generated.

有用度算出部１２は、対話テキストＤＢ２に格納されている対話テキストについて、目的成否付き対話テキストデータと形態素リストとを使用して、各形態素の有用度を算出する。有用度算出部１２は、有用度を算出する対象の形態素（有用度算出対象形態素）が出現する対話テキストにおける応対の目的の成功度と、当該有用度算出対象形態素が出現しない対話テキストにおける当該応対の目的の成功度とに基づいて、当該有用度算出対象形態素の有用度を算出する。以下に、有用度算出方法の例を説明する。 The usefulness calculator 12 calculates the usefulness of each morpheme for the dialogue text stored in the dialogue text DB 2, using the dialogue text data with purpose success/failure and the morpheme list. The usefulness calculation unit 12 calculates the degree of success of the purpose of the response in the dialogue text in which the morpheme for which the usefulness is to be calculated (the morpheme for the usefulness calculation) appears, and the response in the dialogue text in which the morpheme for the usefulness calculation does not appear. The usefulness of the usefulness calculation target morpheme is calculated based on the degree of success of the purpose. An example of the usefulness calculation method will be described below.

［有用度算出方法の例］
有用度算出部１２は、次式により有用度を算出する。
有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））
但し、Ａは、有用度算出対象形態素が出現する対話テキストのうち、目的成否「１：成功」である対話テキストの総数である。Ｂは、有用度算出対象形態素が出現する対話テキストのうち、目的成否「０：失敗」である対話テキストの総数である。Ｃは、有用度算出対象形態素が出現しない対話テキストのうち、目的成否「１：成功」である対話テキストの総数である。Ｄは、有用度算出対象形態素が出現しない対話テキストのうち、目的成否「０：失敗」である対話テキストの総数である。
以上が有用度算出方法の例の説明である。 [Example of usefulness calculation method]
The usefulness calculator 12 calculates the usefulness according to the following equation.
Usefulness = (A/(A+B))/(C/(C+D))
However, A is the total number of dialogue texts in which the objective success/failure is “1: success” among the dialogue texts in which the usefulness calculation target morpheme appears. B is the total number of dialogue texts in which the objective success/failure is “0: failure” among the dialogue texts in which the usefulness calculation target morpheme appears. C is the total number of dialogue texts for which the objective success/failure is “1: success” among the dialogue texts in which the usefulness calculation target morpheme does not appear. D is the total number of dialogue texts for which the objective success/failure is “0: failure” among the dialogue texts in which the usefulness calculation target morpheme does not appear.
The above is an explanation of an example of the usefulness calculation method.

有用度算出部１２は、全形態素リストに対して各形態素の有用度を追記し、図６に例示されるように有用度付き全形態素リストを生成する。 The usefulness calculator 12 adds the usefulness of each morpheme to the all morpheme list to generate a usefulness-attached all morpheme list as illustrated in FIG.

評価処理部２０は、有用度に基づいて、応対の目的達成に関する形態素の評価データを生成する。評価処理部２０は、形態素特徴化部２１と、形態素クラスタリング部２２と、有用度結合部２３と、トピッククラスタ抽出部２４と、評価データ生成部２５とを備える。 The evaluation processing unit 20 generates evaluation data of morphemes regarding achievement of the purpose of the response based on the usefulness. The evaluation processing unit 20 includes a morpheme characterization unit 21 , a morpheme clustering unit 22 , a usefulness combining unit 23 , a topic cluster extraction unit 24 and an evaluation data generation unit 25 .

形態素特徴化部２１は、全形態素リストに含まれる各形態素の特徴量を算出する。本実施形態の一例として、形態素特徴化部２１は、一の形態素と共に出現する他の形態素との組合せに基づいて、当該一の形態素の特徴を表す特徴量ベクトルを生成する。 The morpheme characterization unit 21 calculates the feature amount of each morpheme included in the all morpheme list. As an example of the present embodiment, the morpheme characterization unit 21 generates a feature amount vector representing the characteristics of one morpheme based on a combination with another morpheme that appears together with the one morpheme.

例えば、形態素特徴化部２１は、文章中の形態素の並びにおける一の形態素と当該形態素の前後の形態素との組合せに基づいて、形態素間の関係性を表す各形態素のベクトル（特徴量ベクトル）を生成する。形態素間の関係性については、機械学習を利用してもよい。例えば、文章中の形態素の並びにおける一の形態素と当該形態素の前後の形態素との組合せを深層学習することにより、形態素間の関係性を表す各形態素の特徴量ベクトルが生成されてもよい。 For example, the morpheme characterization unit 21 generates a vector (feature vector) of each morpheme representing the relationship between the morphemes based on the combination of one morpheme in the sequence of morphemes in the sentence and the morphemes before and after the morpheme. Generate. Machine learning may be used for the relationship between morphemes. For example, deep learning may be performed on combinations of one morpheme in a morpheme sequence in a sentence and morphemes before and after that morpheme to generate a feature vector of each morpheme that represents the relationship between the morphemes.

形態素特徴化部２１は、形態素と特徴量とを関連付けた全形態素特徴量リストを生成する。図７に、全形態素特徴量リストの構成例が示される。図７に例示される全形態素特徴量リストは、形態素と特徴量ベクトルとが関連付けて記載されたリストである。 The morpheme characterization unit 21 generates a list of all morpheme feature quantities in which morphemes and feature quantities are associated with each other. FIG. 7 shows a configuration example of the full morphological feature amount list. The all morpheme feature amount list illustrated in FIG. 7 is a list in which morphemes and feature amount vectors are described in association with each other.

形態素クラスタリング部２２は、全形態素特徴量リスト内の各形態素の特徴量に基づいて、各形態素を任意の個数のクラスタ（形態素クラスタ）にクラスタリングする。各形態素クラスタには、トピック番号が付与される。本実施形態の一例として、形態素クラスタリング部２２は、一の形態素の特徴量ベクトルと他の形態素の特徴量ベクトルとの距離に基づいて、形態素クラスタを生成する。特徴量ベクトル間の距離が短いほど、該当する形態素同士の類似度が高くなる。例えば、階層クラスタリング手法を用いてもよい。階層クラスタリング手法では、最も似ている形態素の組合せから順番に形態素クラスタに決定していき、最終的に全ての形態素が一つの形態素クラスタにまとまったら、クラスタリングを終了する。なお、クラスタ数は予め設定されてもよい。例えば、クラスタ数の上限が予め設定され、クラスタ数が上限に達したらクラスタリングを終了してもよい。 The morpheme clustering unit 22 clusters each morpheme into an arbitrary number of clusters (morpheme clusters) based on the feature amount of each morpheme in the all morpheme feature amount list. Each morpheme cluster is given a topic number. As an example of this embodiment, the morpheme clustering unit 22 generates morpheme clusters based on the distance between the feature amount vector of one morpheme and the feature amount vector of another morpheme. The shorter the distance between feature amount vectors, the higher the similarity between corresponding morphemes. For example, a hierarchical clustering technique may be used. In the hierarchical clustering method, morpheme clusters are determined in order from the combination of the most similar morphemes, and when all the morphemes are finally grouped into one morpheme cluster, the clustering is terminated. Note that the number of clusters may be set in advance. For example, an upper limit for the number of clusters may be set in advance, and clustering may be terminated when the number of clusters reaches the upper limit.

形態素クラスタリング部２２は、クラスタリングの結果のトピック番号を全形態素特徴量リストに反映させる。図８に、トピック番号付き全形態素特徴量リストの構成例を示す。図８に例示されるように、トピック番号付き全形態素特徴量リストには、各形態素に対して形態素が属する形態素クラスタのトピック番号が関連付けて記載される。 The morpheme clustering unit 22 reflects the topic number resulting from the clustering in the all morpheme feature quantity list. FIG. 8 shows a configuration example of a list of all morphological feature quantities with topic numbers. As exemplified in FIG. 8, in the list of topic-numbered all morpheme feature quantities, each morpheme is described in association with the topic number of the morpheme cluster to which the morpheme belongs.

有用度結合部２３は、有用度付き全形態素リスト（図６参照）とトピック番号付き全形態素特徴量リスト（図８参照）とを結合して、図９に例示されるトピック番号有用度付き全形態素特徴量リストを生成する。図９において、トピック番号有用度付き全形態素特徴量リストには、形態素毎に、形態素と特徴量ベクトルとトピック番号と有用度とが関連付けて記載される。 The usefulness combining unit 23 combines the all morpheme list with usefulness (see FIG. 6) and the all morpheme feature quantity list with topic number (see FIG. 8) to obtain the all morpheme list with topic number usefulness exemplified in FIG. Generate a morphological feature list. In FIG. 9, in the list of all morpheme features with topic number usefulness, for each morpheme, a morpheme, a feature vector, a topic number, and a usefulness are described in association with each other.

トピッククラスタ抽出部２４は、同じ形態素クラスタに含まれる形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、有用度代表値が所定の閾値以上である形態素クラスタをトピッククラスタとして抽出する。具体的には、トピック番号有用度付き全形態素特徴量リストにおいて、同じトピック番号の形態素の有用度に基づいて当該トピック番号の有用度代表値を算出する。有用度代表値は、例えば平均値である。次いで、有用度代表値が所定の閾値以上であるトピック番号の形態素クラスタをトピッククラスタに決定する。
なお、有用度代表値としては、例えば平均値や中央値や最小値などが利用可能である。 The topic cluster extracting unit 24 calculates the usefulness representative value of the morpheme cluster based on the usefulness of the morphemes included in the same morpheme cluster, and extracts the morpheme cluster whose usefulness representative value is equal to or greater than a predetermined threshold as a topic cluster. do. Specifically, in the list of all morpheme feature values with topic number usefulness, the usefulness representative value of the topic number is calculated based on the usefulness of the morpheme with the same topic number. The usefulness representative value is, for example, an average value. Next, morpheme clusters with topic numbers whose usefulness representative values are equal to or greater than a predetermined threshold are determined as topic clusters.
As the usefulness representative value, for example, an average value, a median value, a minimum value, or the like can be used.

トピッククラスタ抽出部２４は、トピック番号有用度付き全形態素特徴量リストからトピッククラスタのみを抽出した有用度付きトピッククラスタ形態素特徴量リストを生成する。図１０に、有用度付きトピッククラスタ形態素特徴量リストの構成例を示す。図１０に例示される有用度付きトピッククラスタ形態素特徴量リストには、トピッククラスタに属する形態素のみが特徴量ベクトルとトピック番号と有用度とに関連付けて記載される。 The topic cluster extraction unit 24 generates a topic cluster morpheme feature quantity list with usefulness by extracting only topic clusters from the total morpheme feature quantity list with topic number usefulness. FIG. 10 shows a configuration example of a topic cluster morphological feature list with usefulness. In the topic cluster morpheme feature amount list with usefulness level illustrated in FIG. 10, only morphemes belonging to the topic cluster are described in association with feature amount vectors, topic numbers, and usefulness levels.

評価データ生成部２５は、形態素クラスタに対して評価データを生成する。評価データとして、形態素クラスタ毎に、応対についての目的達成率、対話テキストにおける出現率、応対についての目的成功の対話テキストにおける成功出現ポイント、応対についての目的失敗の対話テキストにおける失敗出現ポイントなどがある。これらのうち少なくとも一つを含む評価データが生成される。 The evaluation data generator 25 generates evaluation data for the morpheme cluster. The evaluation data includes, for each morpheme cluster, the goal achievement rate for response, the appearance rate in dialogue text, the success appearance point in dialogue text for goal success regarding reception, and the failure appearance point in dialogue text for failure in response. . Evaluation data including at least one of these is generated.

本実施形態の一例として、評価データ生成部２５は、トピッククラスタのみに対して評価データを生成する。この理由を説明する。形態素クラスタリング部２２によって生成された複数の形態素クラスタの中には、比較的に有用性が高いものから低いものまでが混在している可能性がある。このため、より有用度が高いトピッククラスタのみに限定して評価データを生成することにより、より的確な評価データを効率的に生成し提供することができるからである。 As an example of this embodiment, the evaluation data generator 25 generates evaluation data only for topic clusters. The reason for this is explained. Among the plurality of morpheme clusters generated by the morpheme clustering unit 22, there is a possibility that morpheme clusters with relatively high to low usefulness are mixed. For this reason, it is possible to efficiently generate and provide more accurate evaluation data by generating evaluation data only for topic clusters with a higher degree of usefulness.

評価データ生成部２５は、図１１に例示されるように、トピッククラスタ毎に、出現数、出現率、目的達成率、出現ポイントを算出する。 As illustrated in FIG. 11, the evaluation data generation unit 25 calculates the number of appearances, the appearance rate, the goal achievement rate, and the appearance point for each topic cluster.

出現数は、算出対象トピッククラスタに属する形態素であって所定数の形態素が含まれる対話テキストの個数である。当該所定数は、予め、任意の数が設定される。評価データ生成部２５は、有用度付きトピッククラスタ形態素特徴量リストと、各対話テキストの形態素リストとに基づいて、算出対象トピッククラスタについての出現数を算出する。 The number of appearances is the number of dialogue texts that are morphemes belonging to the calculation target topic cluster and that include a predetermined number of morphemes. An arbitrary number is set in advance as the predetermined number. The evaluation data generation unit 25 calculates the number of occurrences of the calculation target topic cluster based on the topic cluster morpheme feature amount list with usefulness and the morpheme list of each dialogue text.

出現率は、対話テキストＤＢ２内の対話テキストの総数に対する、算出対象トピッククラスタについての出現数の割合である。次式に出現率（百分率）の算出式を示す。
出現率＝「（算出対象トピッククラスタについての出現数）÷（対話テキストＤＢ２内の対話テキストの総数）」×１００［％］ The appearance rate is the ratio of the number of occurrences of the calculation target topic cluster to the total number of dialogue texts in the dialogue text DB2. The formula for calculating the appearance rate (percentage) is shown below.
Appearance rate = "(number of appearances for calculation target topic cluster)/(total number of dialogue texts in dialogue text DB 2)" x 100 [%]

目的達成率は、算出対象トピッククラスタについての出現数にカウントされた対話テキストＴａのうち、目的成否「１：成功」である対話テキストＴｂの割合である。次式に目的達成率（百分率）の算出式を示す。
目的達成率＝「（対話テキストＴｂの個数）÷（対話テキストＴａの個数）」×１００［％］ The goal achievement rate is the ratio of dialogue texts Tb with the goal success/failure “1: success” to the dialogue texts Ta counted as the number of appearances for the calculation target topic cluster. The formula for calculating the target achievement rate (percentage) is shown below.
Goal achievement rate = "(number of dialogue texts Tb)/(number of dialogue texts Ta)" x 100 [%]

出現ポイントは、算出対象トピッククラスタについての出現数にカウントされた対話テキストＴａにおける形態素の並びにおいて、算出対象トピッククラスタに属する形態素が比較的多く含まれる部分である。本実施形態の一例として、対話テキストを対話の時系列に沿って前半部分と中盤部分と後半部分とに３等分し、前半部分と中盤部分と後半部分とのうち、算出対象トピッククラスタに属する形態素が比較的多く含まれる部分を出現ポイントとして判定する。但し、前半部分と中盤部分と後半部分とが同様である場合には、出現ポイントを「全体」とする。 An appearance point is a portion in which a relatively large number of morphemes belonging to the calculation target topic cluster are included in the sequence of morphemes in the dialogue text Ta counted as the number of appearances for the calculation target topic cluster. As an example of this embodiment, the dialogue text is divided into three equal parts along the chronological order of the dialogue into the first half, the middle part, and the second half, and out of the first half, the middle part, and the latter half, the text belongs to the calculation target topic cluster. A portion containing a relatively large number of morphemes is determined as an appearance point. However, if the first half, the middle part, and the second half are the same, the appearance point is set to "whole".

より具体的には、評価データ生成部２５は、算出対象トピッククラスタに属する形態素であって任意の数の形態素が、前半部分に含まれる対話テキストの個数と、中盤部分に含まれる対話テキストの個数と、後半部分に含まれる対話テキストの個数とを算出する。次いで、評価データ生成部２５は、当該算出結果の各部分についての対話テキストの個数をそれぞれ比較し、当該比較結果に基づいて出現ポイント「前半（前半部分）」、「中盤（中盤部分）」、「後半（後半部分）」又は「全体」を判定する。 More specifically, the evaluation data generation unit 25 calculates the number of dialogue texts in which an arbitrary number of morphemes belonging to the calculation target topic cluster are included in the first half and the number of dialogue texts in the middle part. and the number of dialogue texts included in the second half. Next, the evaluation data generation unit 25 compares the number of dialogue texts for each part of the calculation result, and based on the comparison result, the appearance points "first half (first half)", "middle (middle part)", "Latter half (latter part)" or "whole" is determined.

また、本実施形態の一例として、出現ポイントとしては、対話テキストＴａのうち、目的成否「１：成功」である対話テキストＴｂにおける出現ポイント（成功出現ポイント）と、目的成否「０：失敗」である対話テキストＴｃにおける出現ポイント（失敗出現ポイント）とを求める。 Further, as an example of the present embodiment, the appearance point (success appearance point) in the dialogue text Tb with the goal success or failure "1: success" in the dialogue text Ta and the purpose success or failure "0: failure" are used as the appearance points. An appearance point (failure appearance point) in a dialogue text Tc is obtained.

評価処理部２０は、評価データ生成部２５が生成した評価データを出力する。評価データの出力方法として、例えば、液晶表示装置等の表示装置の表示画面上への評価データの表示、評価データの印字出力、電子メール等の通信データにより評価データを所定の宛先へ送信などが挙げられる。 The evaluation processing unit 20 outputs evaluation data generated by the evaluation data generation unit 25 . Examples of methods for outputting the evaluation data include displaying the evaluation data on a display screen of a display device such as a liquid crystal display device, printing out the evaluation data, and transmitting the evaluation data to a predetermined destination by communication data such as e-mail. mentioned.

図１２及び図１３は、評価データの画面表示の例を示す図である。図１２において、各トピック番号についての目的達成率及び出現率が画面表示される。図１３において、各トピック番号についての成功出現ポイント（目的達成の欄）及び失敗出現ポイント（目的失敗の欄）が画面表示される。 12 and 13 are diagrams showing examples of screen display of evaluation data. In FIG. 12, the goal achievement rate and appearance rate for each topic number are displayed on the screen. In FIG. 13, the screen displays the success appearance points (object achievement column) and the failure appearance points (object failure column) for each topic number.

本実施形態に係る評価データによれば、形態素クラスタ毎に、目的達成率、出現率、成功出現ポイント、失敗出現ポイントなどの評価内容が示されるので、各形態素クラスタの評価内容に基づいて、応対における対話に反映させる形態素クラスタを適切に選択することができる。例えば、目的達成率が比較的良い形態素クラスタに属する形態素を使用して、当該形態素クラスタについての成功出現ポイント及び失敗出現ポイントを参考にして当該形態素クラスタに属する形態素を出現させる模範応対例を作成してもよい。応対スキルの低い人や応対経験の浅い人が当該模範応対例を使用することによって、応対の目的達成の向上に寄与することができる。 According to the evaluation data according to the present embodiment, evaluation contents such as a goal achievement rate, an appearance rate, a success appearance point, and a failure appearance point are indicated for each morpheme cluster. It is possible to appropriately select morpheme clusters to be reflected in the dialogue in . For example, using a morpheme belonging to a morpheme cluster with a relatively good goal achievement rate, a model response example is created in which the morpheme belonging to the morpheme cluster appears with reference to the successful appearance points and failure appearance points of the morpheme cluster. may By using the model response example, a person with low response skill or inexperienced in response can contribute to improvement in achievement of the purpose of response.

また、トピッククラスタのみに対する評価データを生成して出力することにより、より的確な評価データを効率的に生成し提供することができる。 Further, by generating and outputting evaluation data only for topic clusters, it is possible to efficiently generate and provide more accurate evaluation data.

次に図１４を参照して、本実施形態に係る応対評価方法を説明する。図１４は、本実施形態に係る応対評価方法の手順の一例を示すフローチャートである。 Next, a response evaluation method according to this embodiment will be described with reference to FIG. FIG. 14 is a flow chart showing an example of the procedure of the response evaluation method according to this embodiment.

事前に、対話テキストＤＢ２内の対話テキストは形態素に分割され、図４に例示されるように対話テキスト毎に形態素リストが生成される。また、事前に、全ての形態素の一覧（全形態素リスト）が生成される。 In advance, the dialogue text in the dialogue text DB2 is divided into morphemes, and a morpheme list is generated for each dialogue text as illustrated in FIG. Also, a list of all morphemes (all morpheme list) is generated in advance.

（ステップＳ１）目的成否結果結合部１１は、対話テキストＤＢ２内の対話テキストと目的成否結果ＤＢ３内の目的成否「１：成功」又は「０：失敗」とを、対話ＩＤをキーにして関連付ける。これにより、図５に例示されるように、同じ対話ＩＤの対話テキストと目的成否「１：成功」又は「０：失敗」とが関連付けられた目的成否付き対話テキストデータが生成される。 (Step S1) The target success/failure result linking unit 11 associates the dialog text in the dialog text DB2 with the target success/failure "1: success" or "0: failure" in the target success/failure result DB3 using the dialog ID as a key. As a result, as illustrated in FIG. 5, dialogue text data with purpose success/failure in which dialogue text with the same dialogue ID and purpose success/failure “1: success” or “0: failure” are associated is generated.

（ステップＳ２）有用度算出部１２は、対話テキストＤＢ２に格納されている対話テキストについて、目的成否付き対話テキストデータと形態素リストとを使用して、各形態素の有用度を算出する。具体的には、有用度算出部１２は、有用度算出対象形態素が出現する対話テキストにおける応対の目的の成功度と、当該有用度算出対象形態素が出現しない対話テキストにおける当該応対の目的の成功度とに基づいて、当該有用度算出対象形態素の有用度を算出する。有用度算出部１２は、全形態素リストに対して各形態素の有用度を追記し、図６に例示されるように有用度付き全形態素リストを生成する。 (Step S2) The usefulness calculator 12 calculates the usefulness of each morpheme for the dialogue text stored in the dialogue text DB 2, using the dialogue text data with purpose success/failure and the morpheme list. Specifically, the usefulness calculation unit 12 calculates the degree of success of the purpose of the response in the dialogue text in which the usefulness calculation target morpheme appears, and the degree of success of the purpose of the response in the dialogue text in which the usefulness calculation target morpheme does not appear. and the usefulness of the usefulness calculation target morpheme is calculated. The usefulness calculator 12 adds the usefulness of each morpheme to the all morpheme list to generate a usefulness-attached all morpheme list as illustrated in FIG.

（ステップＳ３）形態素特徴化部２１は、全形態素リストに含まれる各形態素の特徴量を算出する。具体的には、形態素特徴化部２１は、一の形態素と共に出現する他の形態素との組合せに基づいて、当該一の形態素の特徴を表す特徴量ベクトルを生成する。形態素特徴化部２１は、図７に例示されるように、形態素と特徴量とを関連付けた全形態素特徴量リストを生成する。 (Step S3) The morpheme characterizing unit 21 calculates the feature amount of each morpheme included in the all morpheme list. Specifically, the morpheme characterizing unit 21 generates a feature amount vector representing the characteristics of a morpheme based on a combination with another morpheme that appears together with the morpheme. As illustrated in FIG. 7, the morpheme characterizing unit 21 generates a list of all morpheme feature quantities in which morphemes and feature quantities are associated.

（ステップＳ４）形態素クラスタリング部２２は、全形態素特徴量リスト内の各形態素の特徴量に基づいて、各形態素を任意の個数の形態素クラスタにクラスタリングする。具体的には、形態素クラスタリング部２２は、一の形態素の特徴量ベクトルと他の形態素の特徴量ベクトルとの距離に基づいて、形態素クラスタを生成する。形態素クラスタリング部２２は、図８に例示されるように、クラスタリングの結果のトピック番号を全形態素特徴量リストに反映させる。 (Step S4) The morpheme clustering unit 22 clusters each morpheme into an arbitrary number of morpheme clusters based on the feature amount of each morpheme in the all morpheme feature amount list. Specifically, the morpheme clustering unit 22 generates a morpheme cluster based on the distance between the feature amount vector of one morpheme and the feature amount vector of another morpheme. As illustrated in FIG. 8, the morpheme clustering unit 22 reflects the topic number of the clustering result in the total morpheme feature quantity list.

（ステップＳ５）有用度結合部２３は、有用度付き全形態素リスト（図６参照）とトピック番号付き全形態素特徴量リスト（図８参照）とを結合して、図９に例示されるトピック番号有用度付き全形態素特徴量リストを生成する。 (Step S5) The usefulness combining unit 23 combines the all morpheme list with usefulness (see FIG. 6) and the all morpheme feature quantity list with topic number (see FIG. 8) to obtain the topic numbers exemplified in FIG. Generate a list of all morpheme features with usefulness.

（ステップＳ６）トピッククラスタ抽出部２４は、同じ形態素クラスタに含まれる形態素の有用度に基づいて当該形態素クラスタの有用度代表値を算出し、有用度代表値が所定の閾値以上である形態素クラスタをトピッククラスタとして抽出する。具体的には、トピック番号有用度付き全形態素特徴量リストにおいて、同じトピック番号の形態素の有用度に基づいて当該トピック番号の有用度代表値を算出する。次いで、有用度代表値が所定の閾値以上であるトピック番号の形態素クラスタをトピッククラスタに決定する。トピッククラスタ抽出部２４は、図１０に例示されるように、トピック番号有用度付き全形態素特徴量リストからトピッククラスタのみを抽出した有用度付きトピッククラスタ形態素特徴量リストを生成する。 (Step S6) The topic cluster extraction unit 24 calculates the usefulness representative value of the morpheme cluster based on the usefulness of the morphemes included in the same morpheme cluster, and selects the morpheme clusters whose usefulness representative value is equal to or greater than a predetermined threshold. Extract as topic clusters. Specifically, in the list of all morpheme feature values with topic number usefulness, the usefulness representative value of the topic number is calculated based on the usefulness of the morpheme with the same topic number. Next, morpheme clusters with topic numbers whose usefulness representative values are equal to or greater than a predetermined threshold are determined as topic clusters. As illustrated in FIG. 10, the topic cluster extraction unit 24 generates a topic cluster morpheme feature quantity list with usefulness by extracting only topic clusters from the total morpheme feature quantity list with topic number usefulness.

（ステップＳ７）評価データ生成部２５は、形態素クラスタ毎に、応対についての目的達成率、対話テキストにおける出現率、応対についての目的成功の対話テキストにおける成功出現ポイント、応対についての目的失敗の対話テキストにおける失敗出現ポイントなどを含む評価データを生成する。評価データ生成部２５は、トピッククラスタのみに対して評価データを生成してもよい。 (Step S7) The evaluation data generation unit 25 calculates, for each morpheme cluster, the goal achievement rate for the response, the appearance rate in the dialogue text, the success appearance point in the dialogue text for the success of the purpose for the response, and the dialogue text for the failure of the purpose for the response. Generate evaluation data including failure appearance points in The evaluation data generator 25 may generate evaluation data only for topic clusters.

（ステップＳ８）評価処理部２０は、評価データ生成部２５が生成した評価データを出力する。 (Step S8) The evaluation processing section 20 outputs the evaluation data generated by the evaluation data generation section 25. FIG.

上述した実施形態によれば、応対評価装置１は、過去の応対の対話テキストに含まれる形態素について、前記対話テキストについての前記応対の目的の成否結果に基づき前記応対の目的達成に対する有用度を算出する有用度算出処理部１０と、前記有用度に基づいて、前記応対の目的達成に関する前記形態素の評価データを生成する評価処理部２０と、を備える。これにより、過去の応対の対話における応対の目的達成に有用な対話の要素を適切に抽出することができるという効果が得られる。 According to the above-described embodiment, the response evaluation apparatus 1 calculates the usefulness of the morphemes included in the dialogue text of the past response for achieving the purpose of the response based on the result of success or failure of the purpose of the response with respect to the dialogue text. and an evaluation processing unit 20 for generating evaluation data of the morpheme regarding achievement of the purpose of the response based on the usefulness. As a result, it is possible to obtain an effect that it is possible to appropriately extract dialogue elements that are useful for achieving the purpose of the past reception dialogue.

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 Although the embodiment of the present invention has been described in detail above with reference to the drawings, the specific configuration is not limited to this embodiment, and design changes and the like are included within the scope of the present invention.

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Alternatively, a computer program for realizing the functions of the devices described above may be recorded in a computer-readable recording medium, and the program recorded in the recording medium may be read and executed by the computer system. Note that the “computer system” referred to here may include hardware such as an OS and peripheral devices.
In addition, "computer-readable recording medium" includes writable nonvolatile memories such as flexible discs, magneto-optical discs, ROMs and flash memories, portable media such as DVDs (Digital Versatile Discs), and computer system built-in media. A storage device such as a hard disk that

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Furthermore, "computer-readable recording medium" means a volatile memory (e.g., DRAM (Dynamic Random Access Memory)), which holds the program for a certain period of time, is also included.
Further, the above program may be transmitted from a computer system storing this program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in a transmission medium. Here, the "transmission medium" for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
Further, the program may be for realizing part of the functions described above. Further, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.

１…応対評価装置、２…対話テキストデータベース（対話テキストＤＢ）、３…目的成否結果データベース（目的成否結果ＤＢ）、４…形態素辞書、５…形態素分割部、１０…有用度算出処理部、１１…目的成否結果結合部、１２…有用度算出部、２０…評価処理部、２１…形態素特徴化部、２２…形態素クラスタリング部、２３…有用度結合部、２４…トピッククラスタ抽出部、２５…評価データ生成部 DESCRIPTION OF SYMBOLS 1... Response evaluation apparatus 2... Dialogue text database (dialogue text DB) 3... Objective success/failure result database (object success/failure result DB) 4... Morphological dictionary 5... Morphological segmentation unit 10... Usefulness calculation processing unit 11 Purpose success/failure result combining unit 12 Usefulness calculating unit 20 Evaluation processing unit 21 Morphological characterizing unit 22 Morphological clustering unit 23 Usefulness combining unit 24 Topic cluster extracting unit 25 Evaluation Data generator

Claims

a usefulness calculation processing unit for calculating the usefulness of morphemes included in a dialogue text of a past response for achieving the purpose of the response based on the result of success or failure of the purpose of the response with respect to the dialogue text;
an evaluation processing unit that generates evaluation data of the morpheme related to achievement of the purpose of the response based on the usefulness;
with
The usefulness calculation processing unit
Having a usefulness calculation unit that calculates the usefulness according to the following formula,
usefulness = (A/(A+B))/(C/(C+D)),
A is the total number of the dialogue texts in which the morpheme for which the usefulness is to be calculated appears, and for which the success or failure result of the purpose of the reception is successful;
B is the total number of the dialogue texts in which the morpheme for which the usefulness is to be calculated appears, and in which the result of success or failure of the purpose of the response is failure;
C is the total number of the dialogue texts for which the result of success or failure of the purpose of the reception is successful, among the dialogue texts in which the morpheme for which the usefulness is to be calculated does not appear;
D is the total number of the dialogue texts in which the result of success or failure of the purpose of the response is failure among the dialogue texts in which the morpheme for which the usefulness is to be calculated does not appear;
The evaluation processing unit
an evaluation data generating unit that generates the evaluation data for a morpheme cluster obtained by clustering the morphemes based on the characteristics of the morphemes;
A topic cluster for calculating a usefulness representative value of the morpheme cluster based on the usefulness of the morpheme contained in the same morpheme cluster, and extracting the morpheme cluster having the usefulness representative value equal to or greater than a predetermined threshold as a topic cluster. an extractor, and
The evaluation data generation unit sets the topic cluster as a target for generation of the evaluation data,
The evaluation data includes, for each topic cluster, a goal achievement rate for the response, an appearance rate in the dialogue text, a success appearance point for the response success in the dialogue text, and a goal failure for the response. and a failed occurrence point in the dialog text of
The evaluation data generation unit calculates the number of occurrences, which is the number of the dialogue texts that are morphemes belonging to the calculation target topic cluster and that include a predetermined number of morphemes,
The goal achievement rate is the ratio of the dialogue texts for which the result of success or failure of the purpose of the response is a success, among the dialogue texts counted in the number of appearances for the topic cluster to be calculated;
The appearance rate is the ratio of the number of appearances of the calculation target topic cluster to the total number of dialogue texts,
The successful appearance point belongs to the topic cluster to be calculated in the sequence of morphemes in the dialogue text for which the result of success or failure of the purpose of the response is successful among the dialogue texts counted in the number of appearances for the topic cluster to be calculated. A part that contains more morphemes than other parts,
The failure appearance point belongs to the calculation target topic cluster in the sequence of morphemes in the dialogue text for which the result of success or failure of the purpose of the response is failure among the dialogue texts counted in the number of appearances for the calculation target topic cluster. A part that contains more morphemes than other parts,
Response evaluation device.

The evaluation processing unit
a morpheme characterizing unit that generates a feature amount vector representing a feature of the one morpheme based on a combination with the other morpheme that appears together with the one morpheme ;
a morpheme clustering unit that generates the morpheme cluster based on the distance between the feature vector of one morpheme and the feature vector of another morpheme ;
The response evaluation device according to claim 1.

to the computer,
a usefulness calculation processing step of calculating the usefulness of a morpheme contained in a dialogue text of a past response for achieving the purpose of the response based on the result of success or failure of the purpose of the response with respect to the dialogue text;
an evaluation processing step of generating evaluation data of the morpheme relating to achievement of the purpose of the response based on the usefulness;
A computer program for executing
The usefulness calculation processing step calculates the usefulness according to the following formula,
usefulness = (A/(A+B))/(C/(C+D)),
A is the total number of the dialogue texts in which the morpheme for which the usefulness is to be calculated appears, and for which the success or failure result of the purpose of the reception is successful;
B is the total number of the dialogue texts in which the morpheme for which the usefulness is to be calculated appears, and in which the result of success or failure of the purpose of the response is failure;
C is the total number of the dialogue texts for which the result of success or failure of the purpose of the reception is successful, among the dialogue texts in which the morpheme for which the usefulness is to be calculated does not appear;
D is the total number of the dialogue texts in which the result of success or failure of the purpose of the response is failure among the dialogue texts in which the morpheme for which the usefulness is to be calculated does not appear;
The evaluation processing step includes:
an evaluation data generation step of generating the evaluation data for a morpheme cluster obtained by clustering the morphemes based on the characteristics of the morphemes;
A topic cluster for calculating a usefulness representative value of the morpheme cluster based on the usefulness of the morpheme contained in the same morpheme cluster, and extracting the morpheme cluster having the usefulness representative value equal to or greater than a predetermined threshold as a topic cluster. an extraction step;
The evaluation data generation step sets the topic cluster as a target for generation of the evaluation data,
The evaluation data includes, for each topic cluster, a goal achievement rate for the response, an appearance rate in the dialogue text, a success appearance point for the response success in the dialogue text, and a goal failure for the response. and a failed occurrence point in the dialog text of
The evaluation data generating step calculates the number of occurrences, which is the number of dialogue texts that are morphemes belonging to the calculation target topic cluster and that include a predetermined number of morphemes;
The goal achievement rate is the ratio of the dialogue texts for which the result of success or failure of the purpose of the response is a success, among the dialogue texts counted in the number of appearances for the topic cluster to be calculated;
The appearance rate is the ratio of the number of appearances of the calculation target topic cluster to the total number of dialogue texts,
The successful appearance point belongs to the topic cluster to be calculated in the sequence of morphemes in the dialogue text for which the result of success or failure of the purpose of the response is successful among the dialogue texts counted in the number of appearances for the topic cluster to be calculated. A part that contains more morphemes than other parts,
The failure appearance point belongs to the calculation target topic cluster in the sequence of morphemes in the dialogue text for which the result of success or failure of the purpose of the response is failure among the dialogue texts counted in the number of appearances for the calculation target topic cluster. A part that contains more morphemes than other parts,
computer program.

a usefulness calculation processing step in which a response evaluation device calculates the usefulness of a morpheme included in a dialogue text of a past response for achieving the purpose of the response based on the success or failure result of the purpose of the response for the dialogue text;
an evaluation processing step in which the response evaluation device generates evaluation data of the morpheme relating to achievement of the purpose of the response based on the usefulness;
A response evaluation method including
The usefulness calculation processing step calculates the usefulness according to the following formula,
usefulness = (A/(A+B))/(C/(C+D)),
A is the total number of the dialogue texts in which the morpheme for which the usefulness is to be calculated appears, and for which the success or failure result of the purpose of the reception is successful;
B is the total number of the dialogue texts in which the morpheme for which the usefulness is to be calculated appears, and in which the result of success or failure of the purpose of the response is failure;
C is the total number of the dialogue texts for which the result of success or failure of the purpose of the reception is successful, among the dialogue texts in which the morpheme for which the usefulness is to be calculated does not appear;
D is the total number of the dialogue texts in which the result of success or failure of the purpose of the response is failure among the dialogue texts in which the morpheme for which the usefulness is to be calculated does not appear;
The evaluation processing step includes:
an evaluation data generation step of generating the evaluation data for a morpheme cluster obtained by clustering the morphemes based on the characteristics of the morphemes;
A topic cluster for calculating a usefulness representative value of the morpheme cluster based on the usefulness of the morpheme contained in the same morpheme cluster, and extracting the morpheme cluster having the usefulness representative value equal to or greater than a predetermined threshold as a topic cluster. an extraction step;
The evaluation data generation step sets the topic cluster as a target for generation of the evaluation data,
The evaluation data includes, for each topic cluster, a goal achievement rate for the response, an appearance rate in the dialogue text, a success appearance point for the response success in the dialogue text, and a goal failure for the response. and a failed occurrence point in the dialog text of
The evaluation data generating step calculates the number of occurrences, which is the number of dialogue texts that are morphemes belonging to the calculation target topic cluster and that include a predetermined number of morphemes;
The goal achievement rate is the ratio of the dialogue texts for which the result of success or failure of the purpose of the response is a success, among the dialogue texts counted in the number of appearances for the topic cluster to be calculated;
The appearance rate is the ratio of the number of appearances of the calculation target topic cluster to the total number of dialogue texts,
The successful appearance point belongs to the topic cluster to be calculated in the sequence of morphemes in the dialogue text for which the result of success or failure of the purpose of the response is successful among the dialogue texts counted in the number of appearances for the topic cluster to be calculated. A part that contains more morphemes than other parts,
The failure appearance point belongs to the calculation target topic cluster in the sequence of morphemes in the dialogue text for which the result of success or failure of the purpose of the response is failure among the dialogue texts counted in the number of appearances for the calculation target topic cluster. A part that contains more morphemes than other parts,
Response evaluation method.