JP2021149200A - 応対評価装置、応対評価方法及びコンピュータプログラム - Google Patents

Abstract

【課題】過去の応対の対話における応対の目的達成に有用且つ的確な対話の評価データを生成するを図る。【解決手段】過去の応対の対話テキストについての前記応対の目的の成否結果に基づいて、前記対話テキストに含まれる各文章の目的成否予測スコアを算出する目的成否予測部と、前記目的成否予測スコアに基づいて、前記応対の相手が前記応対の目的の成功又は失敗に関係する意思を決定する意思決定タイミングを判断する意思決定判断部と、前記対話テキストに含まれる文章のうち前記意思決定タイミングに至るまでの文章のみを使用して、応対の評価データを生成する評価部と、を備える。【選択図】図１

Description

本発明は、応対評価装置、応対評価方法及びコンピュータプログラムに関する。

従来、対話における話者間の共有トピック構造を明らかにするトピックモデル学習技術が特許文献１に記載されている。特許文献１に記載のトピックモデル学習技術は、対話の中で「ＥさんとＦさんの対話は、Ｂ番目のトピックが支配的である」といった話題構造を明らかにし、且つ「Ｅさんが話したＢ番目のトピックの単語はＣやＤである」といった情報を捉えることが可能なトピックモデルを実現している。

特開２０１５−４５９１５号公報

しかし、上述した従来の技術では、抽出されたトピックが目的達成に対して有用であるかどうかを判別することができず、過去の応対の対話における応対の目的達成に有用且つ的確な対話の評価データを生成することができなかった。

本発明は、このような事情を考慮してなされたものであり、その目的は、過去の応対の対話における応対の目的達成に有用且つ的確な対話の評価データを生成することを図ることにある。

（１）本発明の一態様は、過去の応対の対話テキストについての前記応対の目的の成否結果に基づいて、前記対話テキストに含まれる各文章の目的成否予測スコアを算出する目的成否予測部と、前記目的成否予測スコアに基づいて、前記応対の相手が前記応対の目的の成功又は失敗に関係する意思を決定する意思決定タイミングを判断する意思決定判断部と、前記対話テキストに含まれる文章のうち前記意思決定タイミングに至るまでの文章のみを使用して、応対の評価データを生成する評価部と、を備える応対評価装置である。
（２）本発明の一態様は、前記目的成否予測部は、入力文章から応対の目的の成功又は失敗の確度を表す目的成否予測スコアを出力するモデルであって、特定の目的の応対の対話テキスト学習データと目的成否結果との組を使用して機械学習された機械学習モデルを備える、上記（１）の応対評価装置である。
（３）本発明の一態様は、前記意思決定判断部は、前記目的成否予測部が算出した目的成否予測スコアであって、対話テキストにおける応対の時系列に沿った各文章の目的成否予測スコアが所定回数以上連続して所定の閾値条件を満足する場合に、目的成否予測スコアが前記閾値条件を満足する連続した文章のうち最初の文章を意思決定タイミングに決定する、上記（１）又は（２）のいずれかの応対評価装置である。

（４）本発明の一態様は、応対評価装置が、過去の応対の対話テキストについての前記応対の目的の成否結果に基づいて、前記対話テキストに含まれる各文章の目的成否予測スコアを算出する目的成否予測ステップと、前記応対評価装置が、前記目的成否予測スコアに基づいて、前記応対の相手が前記応対の目的の成功又は失敗に関係する意思を決定する意思決定タイミングを判断する意思決定判断ステップと、前記応対評価装置が、前記対話テキストに含まれる文章のうち前記意思決定タイミングに至るまでの文章のみを使用して、応対の評価データを生成する評価ステップと、を含む応対評価方法である。

（５）本発明の一態様は、コンピュータに、過去の応対の対話テキストについての前記応対の目的の成否結果に基づいて、前記対話テキストに含まれる各文章の目的成否予測スコアを算出する目的成否予測ステップと、前記目的成否予測スコアに基づいて、前記応対の相手が前記応対の目的の成功又は失敗に関係する意思を決定する意思決定タイミングを判断する意思決定判断ステップと、前記対話テキストに含まれる文章のうち前記意思決定タイミングに至るまでの文章のみを使用して、応対の評価データを生成する評価ステップと、を実行させるためのコンピュータプログラムである。

本発明によれば、過去の応対の対話における応対の目的達成に有用且つ的確な対話の評価データを生成することができるという効果が得られる。

一実施形態に係る応対評価装置の構成例を示すブロック図である。 一実施形態に係る対話テキスト格納部の構成例を示す図である。 一実施形態に係る目的成否結果格納部の構成例を示す図である。 一実施形態に係る目的成否付き対話テキストデータの構成例を示す図である。 一実施形態に係る目的成否予測スコア付き対話テキストデータの構成例を示す図である。 一実施形態に係る意思決定判断処理の一例を示すフローチャートである。 一実施形態に係る目的成否予測スコア付き対話テキストデータ及び意思決定前対話テキストデータの例を示す図である。 一実施形態に係る評価データの構成例を示す図である。 一実施形態に係る応対評価方法の手順の一例を示すフローチャートである。

以下、図面を参照し、本発明の実施形態について説明する。
図１は、一実施形態に係る応対評価装置の構成例を示すブロック図である。図１において、応対評価装置１は、目的成否結果結合部１１と、目的成否予測部１２と、意思決定判断部１３と、トピック抽出部１４とを備える。本実施形態において、トピック抽出部１４は評価部の一例である。

応対評価装置１の各機能は、応対評価装置１がＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。
なお、応対評価装置１として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、応対評価装置１は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、応対評価装置１の各機能はクラウドコンピューティングにより実現されてもよい。

応対評価装置１は、データベース３０にアクセスする。データベース３０は、応対評価装置１に直接接続するものであってもよく、又は通信回線を介して接続するようにしてもよい。例えば、データベース３０は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、データベース３０はクラウドコンピューティングにより実現されてもよい。

データベース３０は、対話テキスト格納部３１と、目的成否結果格納部３２と、意思決定前テキスト格納部３３と、トピック格納部３４とを備える。

対話テキスト格納部３１は、過去の応対の対話テキストを蓄積する。例えば、企業のサービスセンターにおける応対者と顧客との応対の対話がテキスト化されたテキスト（対話テキスト）が対話テキスト格納部３１に格納される。例えば、商品販売店舗における応対者と顧客との応対の対話がテキスト化された対話テキストが対話テキスト格納部３１に格納される。

図２は、本実施形態に係る対話テキスト格納部の構成例を示す図である。図２に示されるように、対話テキスト格納部３１は、対話識別子（対話ＩＤ）と対話（対話テキスト）とを関連付けて格納する。

ここで、一緒に評価される複数の対話テキストは、応対の目的が同じものである。このため、本実施形態の一例として、一の対話テキスト格納部３１には同じ目的の応対の対話テキストのみが格納されるようにし、一の対話テキスト格納部３１に格納される全ての対話テキストを一緒に評価する対象とする。したがって、異なる目的の応対の対話テキストはそれぞれ別個の対話テキスト格納部３１に格納されるようにする。例えば、「ケース１：企業のサービスセンターにおける応対者と顧客との応対の対話テキスト」の応対の目的は顧客が応対に満足することであり、「ケース２：商品販売店舗における応対者と顧客との応対の対話テキスト」の応対の目的は顧客が商品を購入することであるとする。この場合、ケース１とケース２とは応対の目的が異なるので、ケース１とケース２とが別個に評価されるように、ケース１とケース２とでは対話テキスト格納部３１を別個に設ける。

なお、本実施形態の変形例として、一の対話テキスト格納部３１にケース１とケース２とを識別可能に格納し、ケース１を評価対象にする場合にはケース１のみを抽出し、一方、ケース２を評価対象にする場合にはケース２のみを抽出する対象対話抽出部を設けるようにしてもよい。

目的成否結果格納部３２は、対話テキスト格納部３１に格納される各対話テキストについて応対の目的の成否の結果を蓄積する。例えば、企業のサービスセンターにおける応対者と顧客との応対の目的として、顧客が応対に満足することが挙げられる。例えば、商品販売店舗における応対者と顧客との応対の目的として、顧客が商品を購入することが挙げられる。図３は、本実施形態に係る目的成否結果格納部の構成例を示す図である。図３に示されるように、目的成否結果格納部３２は、対話ＩＤと当該対話ＩＤに該当する対話テキストの目的達成成否「１：成功」又は「０：失敗」とを関連付けて格納する。

目的成否結果結合部１１は、対話テキスト格納部３１内の対話テキストと目的成否結果格納部３２内の目的達成成否「１：成功」又は「０：失敗」とを、対話ＩＤをキーにして関連付ける。これにより、図４に例示されるように、同じ対話ＩＤの対話テキストと目的達成成否「１：成功」又は「０：失敗」とが関連付けられた目的成否付き対話テキストデータが生成される。

目的成否予測部１２は、過去の応対の対話テキストについての応対の目的の成否結果に基づいて、当該対話テキストに含まれる各文章の目的成否予測スコアを算出する。目的成否予測部１２は、目的成否結果結合部１１が生成した目的成否付き対話テキストデータの対話テキストに含まれる各文章の目的成否予測スコアを算出する。

［目的成否予測スコア算出方法の例］
目的成否予測部１２は、入力文章から、応対の目的の成功又は失敗の確度を表す目的成否予測スコアを出力するモデル（目的成否予測スコア算出モデル）を備える。目的成否予測スコア算出モデルは、特定の目的の応対の対話テキスト学習データと目的成否結果（目的達成成否「１：成功」又は「０：失敗」）との組を使用して機械学習された機械学習モデルである。

モデルへの入力に使用される対話テキスト（入力対話テキスト）は、数値化される。本実施形態では、入力対話テキストはベクトル化される。入力対話テキストのベクトル化には、例えば「Doc2Vec」と呼ばれる文書ベクトル化技術を適用することができる。

学習段階では、対話テキスト学習データについてベクトル化された入力対話テキストと目的成否結果との組を使用して、入力対話テキストの文章ベクトルから目的成否結果を予測するように、機械学習モデルの学習が行われる。学習済みの機械学習モデルが目的成否予測スコア算出モデルとして使用される。

目的成否予測スコア算出段階では、目的成否付き対話テキストデータについてベクトル化された入力対話テキストの文章ベクトル（入力文章）が目的成否予測スコア算出モデルに入力されると、入力文章に対する目的成否予測スコアが目的成否予測スコア算出モデルから出力される。本実施形態では、目的成否予測スコアは、「０．０」から「１．０」までの実数である。目的成否予測スコアは、値が大きいほど、応対の目的が成功する確度が高いことを表す。

目的成否予測部１２は、目的成否付き対話テキストデータの対話テキストに含まれる一文章毎（当該文章より前の文章含む）に、目的成否予測スコア算出モデルを使用して目的成否予測スコアを求める。

以上が本実施形態に係る目的成否予測スコア算出方法の例の説明である。
目的成否予測部１２は、目的成否付き対話テキストデータの各文章に対して各目的成否予測スコアを付与する。これにより、図５に例示されるように、目的成否付き対話テキストデータの各文章に対して各目的成否予測スコアが付与された目的成否予測スコア付き対話テキストデータが生成される。

意思決定判断部１３は、目的成否予測スコア付き対話テキストデータの各文章に付与された目的成否予測スコアに基づいて、応対の相手が当該応対の目的の成功又は失敗に関係する意思を決定する意思決定タイミングを判断する。応対の目的の成功又は失敗に関係する意思とは、例えば、企業のサービスセンターにおける応対者と顧客（応対の相手）との応対の目的「顧客が応対に満足すること」に対して、「顧客が応対に満足して応対を終了する心持ち（目的の成功に関係する意思）」や「顧客が応対に満足しないまま応対を終了する心持ち（目的の失敗に関係する意思）」などである。また、応対の目的の成功又は失敗に関係する意思とは、例えば、商品販売店舗における応対者と顧客（応対の相手）との応対の目的「顧客が商品を購入すること」に対して、「顧客が商品を購入する心持ち（目的の成功に関係する意思）」や「顧客が商品を購入しない心持ち（目的の失敗に関係する意思）」などである。

ここで、図６を参照して本実施形態に係る意思決定判断処理を説明する。図６は、本実施形態に係る意思決定判断処理の一例を示すフローチャートである。

（ステップＳ１０１） 意思決定判断部１３は、目的成否予測部１２から目的成否予測スコア付き対話テキストデータを取得する。

（ステップＳ１０２） 意思決定判断部１３は、目的成否予測スコア付き対話テキストデータから、同じ対話ＩＤの対話テキストの各文章について文章と目的成否予測スコアとの組を取得する。

（ステップＳ１０３） 意思決定判断部１３は、文章と目的成否予測スコアとの各組に対して、対話テキストにおける応対の時系列に沿って最初の組から順番に文章識別子（文章ＩＤ（ここでは、１，２，３，・・・））を付与する。

（ステップＳ１０４） 意思決定判断部１３は、応対の時系列の順番（文章ＩＤの昇順）で目的成否予測スコアを取得する。

（ステップＳ１０５） 意思決定判断部１３は、取得した一の目的成否予測スコアが成功スコア閾値以上であるか又は失敗スコア閾値以下であるかを判断する。成功スコア閾値及び失敗スコア閾値は予め設定される。「成功スコア閾値≧失敗スコア閾値」である。ステップＳ１０５の判断の結果、成功スコア閾値以上である又は失敗スコア閾値以下である場合には（ステップＳ１０５、ＹＥＳ）ステップＳ１０６へ進み、そうではない場合には（ステップＳ１０５、ＮＯ）ステップＳ１０４へ戻る。

（ステップＳ１０６） 意思決定判断部１３は、ステップＳ１０５の判断結果である「目的成否予測スコアが成功スコア閾値以上である」が連続回数閾値以上連続しているか否かを判断する。また、意思決定判断部１３は、ステップＳ１０５の判断結果である「目的成否予測スコアが失敗スコア閾値以下である」が連続回数閾値以上連続しているか否かを判断する。ステップＳ１０６の判断の結果、連続回数閾値以上連続している場合には（ステップＳ１０６、ＹＥＳ）ステップＳ１０７へ進み、そうではない場合には（ステップＳ１０６、ＮＯ）ステップＳ１０４へ戻る。

（ステップＳ１０７） 意思決定判断部１３は、連続回数閾値以上連続しているステップＳ１０５の同じ判断結果のうち、最初に閾値を超えた（成功スコア閾値以上または失敗スコア閾値以下）と判定された文章ＩＤより後の文章ＩＤのデータ（対話テキスト、目的達成成否、目的成否予測スコア）を、目的成否予測スコア付き対話テキストデータから削除して意思決定前対話テキストデータを生成する。

（ステップＳ１０８） 意思決定判断部１３は、目的成否予測スコア付き対話テキストデータ内の全ての対話テキストを処理したか否かを判断する。この判断の結果、全ての対話テキストを処理した場合には図６の処理を終了し、また未処理の対話テキストが残っている場合にはステップＳ１０４へ戻る。

図７は、本実施形態に係る目的成否予測スコア付き対話テキストデータ及び意思決定前対話テキストデータの例を示す図である。図７の例では、「成功スコア閾値＝０．７」である。図７（１）に示される目的成否予測スコア付き対話テキストデータにおいて、文章ＩＤ「５」以降の文章ＩＤ「５」−「１０」は目的成否予測スコアが成功スコア閾値「０．７」以上であって、「目的成否予測スコアが成功スコア閾値以上である」の連続回数が連続回数閾値「３」以上である。このため、意思決定判断部１３は、文章ＩＤ「５」−「１０」のうち、最初に成功スコア閾値以上であると判定された文章ＩＤ「５」より後の文章ＩＤ「６」−「１０」のデータ（対話テキスト、目的達成成否、目的成否予測スコア）を、図７（１）の目的成否予測スコア付き対話テキストデータから削除することにより、図７（２）の意思決定前対話テキストデータを生成する。

図７（２）に示されるように、意思決定前対話テキストデータは、文章ＩＤ「１」から、最初に成功スコア閾値以上であると判定された文章ＩＤ「５」までのデータ（対話テキスト、目的達成成否、目的成否予測スコア）のみである。この図７（２）の意思決定前対話テキストデータは、応対の最初の文章（文章ＩＤ「１」）から、応対の相手が当該応対の目的の成功に関係する意思を決定する意思決定タイミングに対応する文章（文章ＩＤ「５」）までを有し、それより後（意思決定タイミングより後）の文章（文章ＩＤ「６」−「１０」）を有さない。

したがって、図７（２）の意思決定前対話テキストデータは、応対の相手が当該応対の目的の成功に関係する意思を決定する意思決定タイミングまでの対話を含むが、当該意思決定後の対話を含まない。ここで、当該意思決定後の対話は、応対の目的とは無関係の対話を含むことが多いと考えられる。

例えば主力商品を販売するための応対において、顧客が主力商品を購入する意思を決定した後に、さらに主力商品の関連商品の購入を当該顧客に勧めることはよくあると考えられる。この場合、主力商品の対話が終了した後に行われる関連商品の対話は、主力商品を販売するための応対にはあまり参考にならない無関係の対話であると考えられる。このため、一連の応対の対話から、主力商品の対話が終了した後に行われる関連商品の対話を削除した残りの対話、つまり顧客が主力商品を購入する意思を決定する意思決定タイミングまでの対話のみを抽出することは、主力商品を販売するという応対の目的達成に有用且つ的確な対話を抽出することになる。この抽出された対話に基づいて生成される応対の評価データは、応対の目的達成に有用且つ的確な対話の評価データとなる。

なお、図７の例は、目的成否予測スコアが成功スコア閾値以上である場合の例であるが、目的成否予測スコアが失敗スコア閾値以下である場合も同様にして意思決定前対話テキストデータが生成される。目的成否予測スコアが失敗スコア閾値以下である場合の連続回数閾値（失敗判定連続回数閾値）は、目的成否予測スコアが成功スコア閾値以上である場合の連続回数閾値（成功判定連続回数閾値）と同じであってもよく、又は異なってもよい。

説明を図１に戻す。
意思決定判断部１３は、生成した意思決定前対話テキストデータを意思決定前テキスト格納部３３に格納する。

トピック抽出部１４は、意思決定前テキスト格納部３３に格納されている意思決定前対話テキストデータを使用して、応対の評価データを生成する。つまり、トピック抽出部１４は、過去の応対の対話テキストに含まれる文章のうち意思決定タイミングに至るまでの文章のみを使用して、応対の評価データを生成する。

本実施形態の一例として、応対の評価データは、応対の目的達成に有効なトピック（話題）を示すデータである。トピック抽出部１４は、意思決定前対話テキストデータの対話テキストを形態素に分割し、分割された各形態素に対して意味の近い形態素をグループ化した形態素群を生成する。また、トピック抽出部１４は、その分割された各形態素に対して、応対の目的の成否結果に基づき当該応対の目的達成に対する有用度を算出する。

有用度は、次式により算出される。
有用度＝（Ａ÷（Ａ＋Ｂ））÷（Ｃ÷（Ｃ＋Ｄ））
但し、Ａは、有用度算出対象形態素が出現する対話テキストのうち、目的達成成否「１：成功」である対話テキストの総数である。Ｂは、有用度算出対象形態素が出現する対話テキストのうち、目的達成成否「０：失敗」である対話テキストの総数である。Ｃは、有用度算出対象形態素が出現しない対話テキストのうち、目的達成成否「１：成功」である対話テキストの総数である。Ｄは、有用度算出対象形態素が出現しない対話テキストのうち、目的達成成否「０：失敗」である対話テキストの総数である。

トピック抽出部１４は、一の形態素群に含まれる各形態素の有用度に基づいて当該形態素群の有用度代表値を算出し、有用度代表値が所定の閾値以上である形態素群をトピックとして抽出する。有用度代表値としては、例えば平均値や中央値や最良値などが利用可能である。トピック抽出部１４は、抽出した形態素群（トピック）を示す評価データを生成する。例えば、評価データは、抽出された形態素群のうち、全ての形態素及び有用度の一覧であってもよく、又は一定以上の有用度の形態素の一覧であってもよい。トピック抽出部１４は、生成した評価データをトピック格納部３４に格納する。この評価データは、応対の目的達成に有用且つ的確な対話のトピックを示すデータである。

図８は、本実施形態に係る評価データの構成例を示す図である。図８において、トピック番号は形態素群に付された識別子である。図８の評価データの構成例では、形態素とトピック番号と有用度の組が一覧表に記載されている。

本実施形態によれば、過去の一対話の中で応対の相手である顧客の意思決定がされるまでの文章のみを使用して応対の目的達成に有効なトピックを抽出することにより、応対の目的達成後に出現するトピックを除外して、顧客の意思決定により影響を及ぼしているトピックを抽出することができる。この抽出されたトピックに基づいて、顧客との応対における目標達成に効果的な模範トークスクリプトを作成し、応対スキルが低い人や応対経歴が浅い人がその模範トークスクリプトに基づいた応対を行うことにより、応対の目的成功率の向上に寄与することが可能になる。

なお、上述した実施形態では、評価部としてトピック抽出部１４を例に挙げたが、これに限定されない。評価部は、意思決定前対話テキストを使用して応対の評価データを生成するものであればよい。

次に図９を参照して、本実施形態に係る応対評価方法を説明する。図９は、本実施形態に係る応対評価方法の手順の一例を示すフローチャートである。

（ステップＳ１） 応対評価装置１は、対話テキスト格納部３１内の対話テキストと目的成否結果格納部３２内の目的達成成否「１：成功」又は「０：失敗」とを、対話ＩＤをキーにして関連付ける。これにより、図４に例示されるように、同じ対話ＩＤの対話テキストと目的達成成否「１：成功」又は「０：失敗」とが関連付けられた目的成否付き対話テキストデータが生成される。

（ステップＳ２） 応対評価装置１は、目的成否付き対話テキストデータの対話テキストに含まれる各文章の目的成否予測スコアを算出する。応対評価装置１は、目的成否付き対話テキストデータの各文章に対して各目的成否予測スコアを付与する。これにより、図５に例示されるように、目的成否付き対話テキストデータの各文章に対して各目的成否予測スコアが付与された目的成否予測スコア付き対話テキストデータが生成される。

（ステップＳ３） 応対評価装置１は、目的成否予測スコア付き対話テキストデータの各文章に付与された目的成否予測スコアに基づいて、応対の相手が当該応対の目的の成功又は失敗に関係する意思を決定する意思決定タイミングを判断する。意思決定判断部１３は、当該判断の結果の意思決定タイミングより後の文章を目的成否予測スコア付き対話テキストデータから削除して意思決定前対話テキストデータを生成する。この意思決定前対話テキストデータは、目的成否予測スコア付き対話テキストデータに含まれる文章のうち、当該判断の結果の意思決定タイミングに至るまでの文章のみを有する。

（ステップＳ４） 応対評価装置１は、意思決定前対話テキストデータを使用して、応対の評価データを生成する。

上述した実施形態によれば、過去の応対の対話の中から、応対の相手が当該応対の目的の成功又は失敗に関係する意思を決定する意思決定タイミングまでの対話を抽出し、抽出された対話のみを使用して応対の評価データを生成することができる。これにより、過去の応対の対話における応対の目的達成に有用且つ的確な対話の評価データを生成することができるという効果が得られる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…応対評価装置、１１…目的成否結果結合部、１２…目的成否予測部、１３…意思決定判断部、１４…トピック抽出部、３０…データベース、３１…対話テキスト格納部、３２…目的成否結果格納部、３３…意思決定前テキスト格納部、３４…トピック格納部

Claims (5)

1. 過去の応対の対話テキストについての前記応対の目的の成否結果に基づいて、前記対話テキストに含まれる各文章の目的成否予測スコアを算出する目的成否予測部と、
   前記目的成否予測スコアに基づいて、前記応対の相手が前記応対の目的の成功又は失敗に関係する意思を決定する意思決定タイミングを判断する意思決定判断部と、
   前記対話テキストに含まれる文章のうち前記意思決定タイミングに至るまでの文章のみを使用して、応対の評価データを生成する評価部と、
   を備える応対評価装置。
2. 前記目的成否予測部は、入力文章から応対の目的の成功又は失敗の確度を表す目的成否予測スコアを出力するモデルであって、特定の目的の応対の対話テキスト学習データと目的成否結果との組を使用して機械学習された機械学習モデルを備える、
   請求項１に記載の応対評価装置。
3. 前記意思決定判断部は、前記目的成否予測部が算出した目的成否予測スコアであって、対話テキストにおける応対の時系列に沿った各文章の目的成否予測スコアが所定回数以上連続して所定の閾値条件を満足する場合に、目的成否予測スコアが前記閾値条件を満足する連続した文章のうち最初の文章を意思決定タイミングに決定する、
   請求項１又は２のいずれか１項に記載の応対評価装置。
4. 応対評価装置が、過去の応対の対話テキストについての前記応対の目的の成否結果に基づいて、前記対話テキストに含まれる各文章の目的成否予測スコアを算出する目的成否予測ステップと、
   前記応対評価装置が、前記目的成否予測スコアに基づいて、前記応対の相手が前記応対の目的の成功又は失敗に関係する意思を決定する意思決定タイミングを判断する意思決定判断ステップと、
   前記応対評価装置が、前記対話テキストに含まれる文章のうち前記意思決定タイミングに至るまでの文章のみを使用して、応対の評価データを生成する評価ステップと、
   を含む応対評価方法。
5. コンピュータに、
   過去の応対の対話テキストについての前記応対の目的の成否結果に基づいて、前記対話テキストに含まれる各文章の目的成否予測スコアを算出する目的成否予測ステップと、
   前記目的成否予測スコアに基づいて、前記応対の相手が前記応対の目的の成功又は失敗に関係する意思を決定する意思決定タイミングを判断する意思決定判断ステップと、
   前記対話テキストに含まれる文章のうち前記意思決定タイミングに至るまでの文章のみを使用して、応対の評価データを生成する評価ステップと、
   を実行させるためのコンピュータプログラム。

Images