JP2013167765A - 知識量推定情報生成装置、知識量推定装置、方法、及びプログラム - Google Patents

知識量推定情報生成装置、知識量推定装置、方法、及びプログラム Download PDF

Info

Publication number
JP2013167765A
JP2013167765A JP2012031020A JP2012031020A JP2013167765A JP 2013167765 A JP2013167765 A JP 2013167765A JP 2012031020 A JP2012031020 A JP 2012031020A JP 2012031020 A JP2012031020 A JP 2012031020A JP 2013167765 A JP2013167765 A JP 2013167765A
Authority
JP
Japan
Prior art keywords
utterance
estimation
amount
knowledge
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012031020A
Other languages
English (en)
Other versions
JP5674689B2 (ja
Inventor
Chiaki Miyazaki
千明 宮崎
Ryuichiro Higashinaka
竜一郎 東中
Toshiaki Makino
俊朗 牧野
Yoshihiro Matsuo
義博 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012031020A priority Critical patent/JP5674689B2/ja
Publication of JP2013167765A publication Critical patent/JP2013167765A/ja
Application granted granted Critical
Publication of JP5674689B2 publication Critical patent/JP5674689B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】対話結果に基づき対話の対象となった事項に対する問合せ者の知識量の推定を精度良く行う。
【解決手段】発話意図判別部2は問合せ者と回答者との対話における発話列のテキストデータTDから相手への質問、説明に該当する発話意図の発話を判別し、特徴量抽出部3はTDにおける当該発話意図の発生状態に関する特徴量を示す意図特徴量を抽出すると共に、TDから問合せ者が使用した単語の種類の総数を使用語彙特徴量として抽出し、知識量推定情報生成部4は両特徴量、及び両特徴量の抽出の対象のTDに対して当該TDの対話から想定される問合せ者の知識量を示す予め付与された知識量情報を学習データとして用いることでTDに対応する知識量の推定に用いる推定情報を生成し、知識量推定部5は推定対象のTDから抽出された推定対象意図特徴量及び推定対象使用語彙特徴量と、推定情報生成部4で生成された推定情報とに基づき推定対象のTDに対応する知識量を推定する。
【選択図】図1

Description

本発明は、知識量推定情報生成装置、知識量推定装置、方法、及びプログラムに係り、特に、問合せ者と回答者との対話における発話列のテキストデータから問合せ者の当該対話の内容に関する知識量を精度良く推定するのに好適な知識量推定情報生成装置、知識量推定装置、方法、及びプログラムに関する。
プログラムされたコンピュータにより人の知識量を推定する従来技術としては、例えば、特許文献1,2に記載のものがある。これらの特許文献1,2においては、文書検索を行うユーザの分野ごとの知識量や知識の深さといった背景を推定する技術が記載されている。
文書検索では、ユーザが自分の探している情報を得るために、情報に関連しそうなキーワードを指定して検索を実施する。検索の精度を向上させるためには、検索を行うユーザの背景を知るための情報の獲得が重要であることが知られており、このため、例えば特許文献3では、ユーザの指定したキーワード履歴や、閲覧した電子文書の履歴から、どの分野に関して関心があるかといった嗜好分野を推定する技術が記載されている。
しかしながら、特許文献3に記載の嗜好推定技術では、ユーザのよく調べる情報の分野を推定できても、ユーザがその分野において、どの程度精通しているのかといったことは推定できない。
これに対して、特許文献1,2においては、検索システムのユーザログの一部であるクエリログを利用し、クエリログのクエリから分野毎にクエリの専門性度合いを算出し、ユーザの知識量に関する背景を推定することにより、ユーザがその分野において、どの程度精通しているのかといったことが推定できる。
また、非特許文献1においては、上述の特許文献1,2と同様の技術が開示されている。すなわち、使用語彙の専門性に着目し、各単語の専門性をその希少さなどから算出しておき、あるユーザが入力した検索クエリの履歴から、クエリとして使われた単語の専門性の平均値を計算し、当該ユーザの知識量を推定する技術が記載されている。
また、非特許文献2においては、バス運行情報案内システムのユーザを対象として、音声対話システムにおいてユーザに協調的な対話を行うために、ユーザの知識量を推定する技術が記載されている。ここでは、あるユーザが検索対象としたバス停の履歴から、バス停の属性(市民のみが利用するバス停/それ以外)の割合を求め、ユーザの当該地域に関する知識量を推定する技術が記載されている。
特開2011−170699号公報 特開2011−221872号公報 特開2000−148773号公報
佐藤大祐, 安田宜仁, 望月崇由, 鈴木智也, 松浦由美子, 片岡良治, "検索システムユーザの分野別の知識推定", DEIM Forum 2010 I-3 (2010) 上野晋一, 駒谷和範, 河原達也, 奥乃博, "バス運行情報案内システムにおけるユーザモデルを用いた適応的応答の生成", 音声言語情報処理 42-2 2002.7.12, vol.65, pp.5-10 (2002)
しかしながら、上述の特許文献1,2、及び非特許文献1に記載の知識量推定技術では、人間同士の対話における話者を対象として当該話者の知識量を推定することはできない。
対話の話者に対しても知識量を推定できるようにするためには、音声認識結果を知識量推定の入力として扱えるようにすることが必要である。しかしながら、上述した従来の語彙の専門性を用いてユーザの知識量を推定する技術において音声認識技術を用いる場合には、音声認識結果に含まれる誤認識に弱いという問題がある。
具体的に起こる問題としては、ある話者の発話の音声認識結果に、専門性の高い単語が誤っていくつか出現した場合、その話者の知識量は誤って高いと推定されてしまう恐れがある。
このような対話の話者に対して知識量推定技術を使用する場面の例としてコンタクトセンタの通話分析や音声対話システムが考えられるが、どちらの場合においても、発話を音声認識することは不可欠であるため、このような場面で使用する知識量推定技術には、音声認識結果に含まれる誤認識に頑健であることが求められる。
上述の非特許文献2においては、バス運行情報案内システムにおいてユーザの知識量を推定する際に、あるエリアに居るユーザが電話等で入力する音声情報を音声対話システムにより認識して、当該エリアに関しての当該ユーザの知識量を推定する技術が記載されている。
しかしながら、この技術においても、ユーザが電話等で入力する音声情報は、バス停、乗車場所、及び降車場所等の特定の情報であり、さらに、これらの特定情報の属性、すなわち、市民のみが利用するバス停とその他のバス停、正式なバス停名、最寄りの施設名でのバス停指定など、上述の特許文献1,2、及び非特許文献1と同様に、当該エリアに関してのユーザの専門的な単語を用いて、当該エリアにおけるユーザの知識量を推定するものであり、ユーザの発話の音声認識結果に、専門性の高い単語が誤っていくつか出現した場合には、そのユーザの知識量は誤って高いと推定されてしまう恐れがある。
本発明で解決しようとする問題点は、音声による対話の話者に対する知識量の推定に、従来のユーザの使用語彙の専門性に着目して当該ユーザの知識量を推定する技術を用いた場合には、音声認識結果に含まれる誤認識により、当該話者の知識量を正しく推定することができない恐れがある点である。
本発明は、上記問題点を解決するためになされたものであり、対話結果に基づき、対話の対象となった事項に対する問合せ者の知識量の推定を精度良く行うことが可能となる知識量推定情報生成装置、知識量推定装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、請求項1に記載の知識量推定情報生成装置は、問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明に該当する発話意図を示す発話を判別する発話意図判別手段と、前記発話意図判別手段で判別された前記発話が該当する前記発話意図に基づき、前記テキストデータにおける前記発話意図の発生状態に関する特徴量を示す意図特徴量を抽出すると共に、前記テキストデータから前記問合せ者が使用した単語の種類の総数を使用語彙特徴量として抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された意図特徴量と使用語彙特徴量、及び当該意図特徴量と当該使用語彙特徴量の抽出の対象とされた前記テキストデータに対して当該テキストデータにより示される対話から想定される前記問合せ者の知識量を示すものとして予め付与された知識量情報を学習データとして用いることで、前記テキストデータに対応する前記知識量の推定に用いる推定情報を生成する知識量推定情報生成手段と、を備えている。
請求項1に記載の知識量推定情報生成装置によれば、発話意図判別手段により、問合せ者と回答者との対話における発話列のテキストデータから、各発話が、相手への質問、説明に該当する発話意図を示す発話が判別され、特徴量抽出手段により、前記発話意図判別手段で判別された前記発話が該当する前記発話意図に基づき、前記テキストデータにおける前記発話意図の発生状態に関する特徴量を示す意図特徴量が抽出されると共に、前記テキストデータから前記問合せ者が使用した単語の種類の総数を使用語彙特徴量として抽出され、知識量推定情報生成手段により、前記特徴量抽出手段で抽出された意図特徴量と使用語彙特徴量、及び当該意図特徴量と当該使用語彙特徴量の抽出の対象とされた前記テキストデータに対して当該テキストデータにより示される対話から想定される前記問合せ者の知識量を示すものとして予め付与された知識量情報を学習データとして用いることで、前記テキストデータに対応する前記知識量の推定に用いる推定情報が生成される。
すなわち、本発明では、問合せ者の知識量の推定に、対話における問合せ者と回答者とでやりとりされる質問、説明に該当する発話者の意図を示す情報(発話意図)と、テキストデータにおける問合せ者の使用単語の種類の総数である使用語彙特徴量とを適用しており、これによって、従来の使用語彙の専門性に着目して問合せ者の知識量を推定する技術における誤認識に伴う不具合を解決することができるようにしている。
なお、前記学習データには、前記意図特徴量及び使用語彙特徴量の抽出の対象とされた問合せ者と回答者との対話を書き起こしたテキストデータや、問合せ者と回答者との対話の音声データから音声認識処理を行って作成したテキストデータ等が含まれる。知識量情報は、例えば、テキストデータ及び問合せ者と回答者との対話の音声データの少なくとも何れか一方を用いて事前に人手で付与しておく。
このように、請求項1に記載の知識量推定情報生成装置によれば、問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明に該当する発話意図を示す発話を判別し、判別した発話が該当する発話意図に基づき、前記テキストデータにおける当該発話意図の発生状態に関する特徴量を示す意図特徴量を抽出すると共に、テキストデータから問合せ者が使用した単語の種類の総数を使用語彙特徴量として抽出し、抽出した意図特徴量及び使用語彙特徴量と、当該意図特徴量の抽出の対象とされたテキストデータに対して当該テキストデータにより示される対話から想定される前記問合せ者の知識量を示すものとして予め付与された知識量情報とを学習データとして用いることで、前記テキストデータに対応する知識量の推定に用いる推定情報を生成しているので、この推定情報を用いることで、対話の対象となった事項に関する問合せ者の知識量の推定を精度良く行うことができる。
また、本発明は、請求項2に記載した発明のように、前記発話意図判別手段は、前記テキストデータから、前記相手への質問、説明に加えて、相槌に該当する発話意図を示す発話を判別するものとしても良い。
また、本発明は、請求項3に記載した発明のように、前記意図特徴量は、前記問合せ者の質問回数、前記回答者の質問回数、前記問合せ者の説明回数、前記回答者の説明回数を含むものとしても良い。
また、本発明は、請求項4に記載した発明のように、前記意図特徴量は、さらに前記問合せ者の相槌回数、及び前記回答者の相槌回数の少なくとも1つを含むものとしても良い。
また、本発明は、請求項5に記載した発明のように、前記特徴量抽出手段は、前記質問に該当する発話に疑問詞が含まれる発話を疑問詞疑問文として抽出し、前記意図特徴量は、前記問合せ者の質問回数、前記回答者の質問回数、前記問合せ者の説明回数、前記回答者の説明回数を含むと共に、前記問合せ者の相槌回数、前記回答者の相槌回数、前記問合せ者の疑問詞疑問文の回数、及び前記回答者の疑問詞疑問文の回数の少なくとも1つを含むものとしても良い。
前記問合せ者の質問回数、前記回答者の質問回数、前記問合せ者の説明回数、前記回答者の説明回数、前記問合せ者の相槌回数、前記回答者の相槌回数、前記問合せ者の疑問詞疑問文の回数、及び前記回答者の疑問詞疑問文の回数などの意図特徴量は、何れも比較的容易にかつ高精度で抽出することができるため、他の特徴量を適用する場合に比較して、より簡易かつ高精度で、対話の対象となった事項に対する問合せ者の知識量の推定情報を生成することができる。
一方、上記目的を達成するために、請求項6に記載の知識量推定装置は、請求項1から請求項5のいずれか1項に記載の知識量推定情報生成装置で生成された前記推定情報を予め記憶した記憶手段と、知識量の推定対象とする問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明に該当する発話意図を示す発話を判別する推定対象発話意図判別手段と、前記推定対象発話意図判別手段で判別された前記発話が該当する前記発話意図に基づき、前記テキストデータにおける前記発話意図の発生状態に関する特徴量を示す推知対象意図特徴量を抽出すると共に、前記テキストデータから前記問合せ者が使用した単語の種類の総数を使用語彙特徴量として抽出する推定対象特徴量抽出手段と、前記推定対象特徴量抽出手段で抽出された推定対象意図特徴量及び推定対象使用語彙特徴量と、前記記憶手段に記憶された前記推定情報とを用いて、推定対象とする前記テキストデータに対応する前記知識量を推定する知識量推定手段と、を備えている。
請求項6に記載の知識量推定装置によれば、記憶手段により、請求項1から請求項5のいずれか1項に記載の知識量推定情報生成装置で生成された推定情報が予め記憶され、推定対象発話意図判別手段により、知識量の推定対象とする問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明に該当する発話意図を示す発話が判別され、推定対象特徴量抽出手段により、前記推定対象発話意図判別手段で判別された前記発話が該当する前記発話意図に基づき、前記テキストデータにおける前記発話意図の発生状態に関する特徴量を示す推定対象意図特徴量が抽出されると共に、前記テキストデータから前記問合せ者が使用した単語の種類の総数が推定対象使用語彙特徴量として抽出され、推定対象知識量推定手段により、前記推定対象特徴量抽出手段で抽出された推定対象意図特徴量及び推定対象使用語彙特徴量と、前記記憶手段に記憶された前記推定情報とを用いて、推定対象とする前記テキストデータに対応する前記知識量が推定される。
このように、請求項6に記載の知識量推定装置によれば、請求項1から請求項5のいずれか1項に記載の知識量推定情報生成装置で生成された推定情報を予め記憶し、知識量の推定対象とする問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明に該当する発話意図を示す発話を判別し、判別した発話が該当する前記発話意図に基づき、前記テキストデータにおける前記発話意図の発生状態に関する特徴量を示す推定対象意図特徴量を抽出すると共に、当該テキストデータから問合せ者が使用した単語の種類の総数を推定対象使用語彙特徴量として抽出し、抽出された推定対象意図特徴量及び推定対象使用語彙特徴量と、記憶手段に記憶した推定情報とを用いて、推定対象とするテキストデータに対応する知識量を推定しているので、対話の対象となった事項に関する問合せ者の知識量の推定を精度良く行うことができる。
また、本発明は、請求項7に記載した発明のように、前記推定対象発話意図判別手段は、前記テキストデータから、前記相手への質問、説明に加えて、相槌に該当する発話意図を示す発話を判別するものとしても良い。
また、本発明は、請求項8に記載した発明のように、前記推定対象意図特徴量は、前記問合せ者の質問回数、前記回答者の質問回数、前記問合せ者の説明回数、前記回答者の説明回数を含むものとしても良い。
また、本発明は、請求項9に記載した発明のように、前記推定対象意図特徴量は、さらに前記問合せ者の相槌回数、及び前記回答者の相槌回数の少なくとも1つを含むものとしても良い。
また、本発明は、請求項10に記載した発明のように、前記推定対象特徴量抽出手段は、前記質問に該当する発話に疑問詞が含まれる発話を疑問詞疑問文として抽出し、前記意図特徴量は、前記問合せ者の質問回数、前記回答者の質問回数、前記問合せ者の説明回数、前記回答者の説明回数を含むと共に、前記問合せ者の相槌回数、前記回答者の相槌回数、前記問合せ者の疑問詞疑問文の回数、及び前記回答者の疑問詞疑問文の回数の少なくとも1つを含むものとしても良い。
なお、請求項6から請求項10のいずれか1項に記載の知識量推定装置における推定対象発話意図判別手段と推定対象特徴量抽出手段は、請求項1から請求項5のいずれか1項に記載の知識量推定情報生成装置における発話意図判別手段と特徴量抽出手段を共有して用いることができる。
前記問合せ者の質問回数、前記回答者の質問回数、前記問合せ者の説明回数、前記回答者の説明回数、前記問合せ者の相槌回数、前記回答者の相槌回数、前記問合せ者の疑問詞疑問文の回数、及び前記回答者の疑問詞疑問文の回数などの意図特徴量は、何れも比較的容易にかつ高精度で抽出することができるため、他の特徴量を適用する場合に比較して、より簡易かつ高精度で、対話の対象となった事項に対する問合せ者の知識量の推定を行うことができる。
一方、上記目的を達成するために、請求項11に記載の知識量推定情報生成方法は、問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明に該当する発話の意図を示す発話を判別する発話意図判別ステップと、前記発話意図判別ステップで判別された前記発話が該当する前記発話意図に基づき、前記テキストデータにおける前記発話意図の発生状態に関する特徴量を示す意図特徴量を抽出すると共に、前記テキストデータから前記問合せ者が使用した単語の種類の総数を使用語彙特徴量として抽出する特徴量抽出ステップと、前記特徴量抽出ステップで抽出された意図特徴量と使用語彙特徴量、及び当該意図特徴量と当該使用語彙特徴量の抽出の対象とされた前記テキストデータに対して当該テキストデータにより示される対話から想定される前記問合せ者の知識量を示すものとして予め付与された知識量情報を学習データとして用いることで、前記テキストデータに対応する前記知識量の推定に用いる推定情報を生成する知識量推定情報生成ステップと、を備えている。
従って、請求項11に記載の知識量推定情報生成方法によれば、請求項1に記載の発明と同様に作用するので、請求項1に記載の発明と同様に、生成した推定情報を用いることで、対話の対象となった事項に対する問合せ者の知識量の推定を精度良く行うことができる。
一方、上記目的を達成するために、請求項12に記載の知識量推定方法は、請求項11記載の知識量推定情報生成方法で生成された前記推定情報を予め記憶装置に記憶する記憶ステップと、知識量の推定対象とする問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明に該当する発話の意図を示す発話を判別する推定対象発話意図判別ステップと、前記推定対象発話意図判別ステップで判別された前記発話が該当する前記発話意図に基づき、前記テキストデータにおける前記発話意図の発生状態に関する特徴量を示す推定対象意図特徴量を抽出すると共に、前記テキストデータから前記問合せ者が使用した単語の種類の総数を推定対象使用語彙特徴量として抽出する推定対象特徴量抽出ステップと、前記推定対象特徴量抽出ステップで抽出された推定対象意図特徴量及び推定対象使用語彙特徴量と、前記記憶手段に記憶された前記推定情報とを用いて、推定対象とする前記テキストデータに対応する前記知識量を推定する知識量推定ステップと、を備えている。
従って、請求項12に記載の知識量推定方法によれば、請求項6に記載の発明と同様に作用するので、請求項6に記載の発明と同様に、対話の対象となった事項に対する問合せ者の知識量の推定を精度良く行うことができる。
一方、上記目的を達成するために、請求項13に記載のプログラムによれば、コンピュータを請求項1から請求項5のいずれか1項に記載の知識量推定情報生成装置または請求項6から請求項10のいずれか1項に記載の知識量推定装置と同様に作用させることができるので、当該知識量推定情報生成装置または当該知識量推定装置と同様に、対話の対象となった事項に対する問合せ者の知識量の推定を精度良く行うことができる。
問合せ者と回答者との対話における発話意図の発生状態に関する特徴量を用いて該対話の対象となった事項に関する問合せ者の知識量を推定することで、使用語彙や会話内容の分野によらず、問合せ者の知識量を高精度に推定することができる。また、使用語彙に依存しない質問の発生状態に関する特徴量を用いるため、音声認識の誤りによる影響を受けにくい。使用語彙や会話内容の分野ごとに学習データを用意する必要もない。
実施の形態に係る知識量推定装置の機能的な構成例を示すブロック図(一部流れ図)である。 実施の形態に係る知識量推定装置のコンピュータ構成例を示すブロック図である。 実施の形態に係る知識量推定装置により実行される学習処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係る知識量推定装置により実行される推定処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係る知識量推定装置で用いられる質問パターン情報の一例を示す模式図である。 実施の形態に係る知識量推定装置で用いられる説明パターン情報の一例を示す模式図である。 実施の形態に係る知識量推定装置で用いられる相槌パターン情報の一例を示す模式図である。 実施の形態に係る知識量推定装置で用いられる疑問詞パターン情報の一例を示す模式図である。 実施の形態に係る知識量推定装置の動作の説明に供する図であり、発話列からなるテキストデータの一例を示す模式図である。 実施の形態に係る知識量推定装置の動作の説明に供する図であり、判定基準情報の一例を示す模式図である。 実施の形態に係る知識量推定装置の動作の説明に供する図であり、評価結果情報の一例を示す模式図である。 実施の形態に係る知識量推定装置の動作の説明に供する図であり、評価結果情報の他の例を示す模式図である。
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本例では、コンタクトセンタにおけるオペレータとユーザとの対話(以下コンタクトセンタ通話という)の音声認識結果を入力として、ユーザの知識量を推定することを例として説明を行う。
本実施の形態に係る知識量推定装置10は、図1に示される機能的な構成を備えており、図2に示されるコンピュータ構成を有している。そこで、まず、図2を参照してコンピュータの構成を説明する。
図2に示すように、本実施の形態に係る知識量推定装置10は、知識量推定装置10全体の動作を司るCPU(Central Processing Unit;中央処理装置)22と、CPU22による各種プログラムの実行時のワークエリア等として用いられるRAM(Random Access Memory)24と、各種制御プログラムや各種パラメータ等が予め記憶されたROM(Read Only Memory)26と、各種情報を記憶するために用いられるハードディスク28(図中、「HDD」28と記載)と、キーボード14、マウス16、及びディスプレイ18と、外部に接続された装置との間の各種情報の授受を司る外部インタフェース30(図中、「外部I/F」30と記載)と、を備えており、これら等がシステムバスBUSにより相互に接続されて構成されている。なお、外部インタフェース30には例えば対話でやりとりされる音声データを入出力するヘッドセット等の通話装置50が接続されている。
CPU22は、RAM24、ROM26、及びハードディスク28に対するアクセス、キーボード14及びマウス16を介した各種情報の取得、ディスプレイ18に対する各種情報の表示、及び外部インタフェース30に接続された通話装置50を介してやりとりされる音声データからなる対話情報の入出力等を、各々行うことができる。
CPU22が、ハードディスク28に記憶された本発明に係る知識量推定装置としての処理を制御するプログラムを、RAM24に読み込み実行することにより、図1に示す本発明に係る知識量推定装置10における各処理部の機能が実行される。
図1に示すように、本実施の形態に係る知識量推定装置10においては、発話列抽出部1、発話意図判別部2、特徴量抽出部3、推定情報生成部4、知識量推定部5が、プログラムされたコンピュータ処理により実現される機能として設けられている。
このような構成からなる本実施の形態に係る知識量推定装置10における処理部は、大きく分けて「学習部」と「推定部」からなる。
学習部は、発話列抽出部1、発話意図判別部2、特徴量抽出部3、推定情報生成部4を含み、予め学習用に用意された、問合せ者(以下、ユーザとも記載する)と回答者(以下、オペレータとも記載する)との対話に対する音声認識結果(学習用通話)7の対話情報が入力されると、まず、発話列抽出部1において、発話列からなるテキストデータを抽出する。
次に、発話意図判別部2において、発話列抽出部1により抽出された問合せ者と回答者との対話における発話列のテキストデータについて、各発話毎に、詳細を後述する「質問」、「説明」、「相槌」に該当する発話の意図を示す発話(以下、発話意図とも記載する)を判別する。ここで判別された発話意図は、判別対象の発話と対応付けられて出力される。
さらに、特徴量抽出部3において、詳細を後述する「問合せ者の使用語彙の異なり語数」を算出すると共に、発話意図判別部2で判別された「質問」、「説明」、「相槌」それぞれの発話意図の出現回数を算出する。さらに、「質問」発話のうち、疑問詞を含む発話を「疑問詞疑問文」として抽出し、出現回数を算出する。算出された「問合せ者の使用語彙の異なり語数」、発話意図判別部2で判別された「質問」、「説明」、「相槌」それぞれの発話意図の出現回数、「疑問詞疑問文」の出現回数を当該テキストデータにおける発話意図の発生状態に関する特徴量を示す意図特徴量とする。なお、このような複数の特徴量は特徴量ベクトルと呼ばれる。特徴量抽出部3で出力される特徴量ベクトルの要素は、質問回数、説明回数、相槌回数、疑問詞疑問文の回数、及び、使用語彙の異なり語数となる。
そして、推定情報生成部4において、特徴量抽出部3で抽出された意図特徴量4a(図中、「特徴量4a」と記載)、及び当該意図特徴量4aの抽出の対象とされたテキストデータに対して当該テキストデータにより示される対話から想定される問合せ者の知識量を示すものとして予め付与された知識量情報4b(図中、「知識量ラベル4b」と記載)を学習データとして用いることで、モデル生成機能4c(図中、「知識量と特徴量を対応付けるモデル生成4c」と記載)により、テキストデータに対応する知識量の推定に用いる推定情報を生成する。
このように、本例の学習部は、本発明に係る知識量推定情報生成装置に相当する。そして、学習部において、このような処理を、比較的多数の予め用意された対話に対して行うことにより、推定情報をモデル情報5a(図中、「モデル5a」と記載)として生成し、ハードディスク28等の記憶装置に記憶する。
一方、推定部は、学習部と共有する発話列抽出部1、発話意図判別部2、及び特徴量抽出部3と共に、知識量推定部5を含み、学習部(知識量推定情報生成装置)において生成され、ハードディスク28等の記憶装置に記憶されたモデル情報5aを用いて、推定の対象となる個別の対話における問合せ者の当該対話の事項に関する知識量を推定する。
すなわち、推定の対象となる個別の対話である通話iの音声認識結果(推定対象)6が入力されると、まず、発話列抽出部1において、発話列からなるテキストデータを抽出する。なお、通話iの音声認識結果(推定対象)6は、認識精度が低すぎるものについては、用いなくても良い。
次に、発話意図判別部2において、発話列抽出部1により抽出された推定対象とする問合せ者と回答者との対話における発話列のテキストデータについて、各発話毎に、発話者(問合せ者、回答者)の「質問」、「説明」、「相槌」に該当する発話の意図を示す発話(推定対象発話意図)を判別する。ここで判別された発話意図は、判別対象の発話と対応付けられて出力される。
さらに、特徴量抽出部3において、当該テキストデータから問合せ者が使用した単語の種類の総数を推定対象使用語彙特徴量として抽出すると共に、発話意図判別部2で判別された、推定対象発話意図に含まれる「質問」、「説明」、「相槌」それぞれの出現回数を算出する。さらに、「質問」発話のうち、疑問詞を含む発話を「疑問詞疑問文」として抽出し、出現回数を算出する。算出された「問合せ者の使用語彙の異なり語数」、発話意図判別部2で判別された「質問」、「説明」、「相槌」それぞれの推定対象発話意図の出現回数、「疑問詞疑問文」の出現回数を、当該テキストデータにおける発話意図の発生状態に関する特徴量を示す推定対象意図特徴量とする。特徴量抽出部3で出力される特徴量ベクトルの要素は、質問回数、説明回数、相槌回数、疑問詞疑問文の回数、及び、使用語彙の異なり語数となる。
そして、知識量推定部5においては、照合機能5c(図中、「モデルと照合して知識量を推定5c」と記載)により、特徴量抽出部3で抽出された推定対象意図特徴量及び推定対象使用語彙特徴量と、学習部の推定情報生成部4により生成され、ハードディスク28等の記憶装置にモデル情報5aとして記憶された推定情報とを用いて、推定対象とするテキストデータに対応する知識量を推定する。
このようにして推定したテキストデータに対応する知識量が、推定対象として入力された通話iの話者(ユーザ)の知識量8(図中、「出力:通話iの知識量ラベル8」と記載)として出力される。
なお、本例では、学習部と推定部において、共通な発話列抽出部1、発話意図判別部2、特徴量抽出部3については同一のものを使用しているが、学習部と推定部のそれぞれで異なる発話列抽出部1、発話意図判別部2、特徴量抽出部3を用いる構成としても良い。
また、本実施の形態に係る知識量推定装置10では、図2に示す通話装置50で入出力される音声データに対して、CPU22のプログラムされた処理により、音声認識処理を行いテキストファイルに変換し、通話iの音声認識結果(推定対象)6及び音声認識結果(学習用通話)7を生成する。
そして、発話列抽出部1においては、テキストファイルである音声認識結果(学習用通話)7から、発話に該当する部分のみを取り出す。通常、音声認識結果は、時間情報や認識精度を示す情報などが含まれている場合が多いため、この処理が必要となる。
もし、発話列抽出部1に入力されるデータが、音声認識結果を示すテキストファイルではなく、発話列からなるテキストデータが入力される場合には、発話列抽出部1での処理は不要である。
また、本例では、発話意図判別部2においては、対話におけるオペレータとユーザの全発話に対し、その発話が「質問」、「説明」、「相槌」であるかどうかを判別する。
また、特徴量抽出部3においては、発話意図判別部2で抽出された「質問」、「説明」、「相槌」それぞれの出現回数を算出し、さらに、「質問」発話のうち疑問詞を含む発話を「疑問詞疑問文」として抽出し、出現回数を算出して、学習部の場合には意図特徴量(推定部の場合であれば推定対象意図特徴量)として抽出すると共に、当該テキストデータから問合せ者が使用した単語の種類の総数を使用語彙特徴量及び推定対象使用語彙特徴量として抽出する。特徴量抽出部3で出力される特徴量ベクトルの要素は、質問回数、説明回数、相槌回数、疑問詞疑問文の回数、及び、使用語彙の異なり語数となる。
また、推定情報生成部4における意図特徴量と知識量との対応付けのモデル化、及び知識量推定部5での、問合せ(ユーザ)側の話者の知識量の自動推定は、例えば、公知技術である「教師あり学習(Supervised learning)」の識別手法の1つである「Support Vector Machine (SVM)」などを用いる。
以下、図3と図4を用いて、本実施の形態に係る知識量推定装置10の、発話列抽出部1、発話意図判別部2、特徴量抽出部3、推定情報生成部4、及び知識量推定部5による処理内容の詳細な説明を行う。
図3においては、本実施の形態に係る知識量推定装置10の学習部における処理内容を示しており、まず、予め定められた所定量の音声データが入力されたか否かを判別し(ステップS101)、入力されると当該音声データを再生すると共に(ステップS102)、音声認識処理を行って音声データをテキストデータに書き起こし(ステップS103)、発話列抽出部1により、音声認識結果を書き起こしたテキストデータから、発話に該当する発話列のテキストデータを抽出する(ステップS104)。
例えば、音声認識結果がxmlファイルであり、発話に該当する部分が<TEXT>と</TEXT>で囲んで示されている場合は、正規表現を用いたパターンマッチングで<TEXT>と</TEXT>で囲まれている部分を特定すれば発話を抽出することができる。
次に、発話意図判別部2において、発話列抽出部1によって抽出された発話列からなるテキストデータに対して、入力された音声データにより示される対話で交わされるユーザとオペレータ間でやりとりされた各発話の発話意図が「質問」、「説明」、「相槌」であるか否かの判別処理を行う(ステップS105)。
ここでの対話で交わされる各発話が「質問」、「説明」、「相槌」であるかどうかの判別は、例えば、「今村賢治、泉朋子、菊井玄一郎、佐藤理史、“述部機能表現の意味ラベルタガー”、言語処理学会 第17回年次大会 発表論文集 (2011年3月)」等に記載の公知の技術を用いて、統計的手法によって自動的に付与された機能表現の意味ラベルを利用して行っても良いし、予め用意された「質問」、「説明」、「相槌」の各発話意図を表す言語表現とのパターンマッチング技術によって行っても良い。
本例では後者のパターンマッチング技術を採用し、詳細を後述する図5に示す質問パターン情報、図6に示す説明パターン情報、図7に示す相槌パターン情報、及び図8に示す疑問詞情報を用いて発話意図を判別する。
例えば、図5の質問パターン情報として例示するように、「ですか。」「ますか。」などのパターンを用いて質問発話を判別する。なお、図5に示す質問パターン情報、図6に示す説明パターン情報、図7に示す相槌パターン情報、及び図8に示す疑問詞情報は、図2におけるハードディスク28等に予め記憶され、RAM24に読み出されて用いられるものとする。
次に、特徴量抽出部3において、発話意図判別部2によって判別された各意図発話列から、ユーザとオペレータのそれぞれの発話列における「質問」、「説明」、「相槌」の出現回数を求め、さらに、発話意図が「質問」の発話中に、図8に示す疑問詞が出現する場合、その発話を「疑問詞疑問文」として判定し、その出現回数を求め、意図特徴量とすると共に、当該テキストデータから問合せ者が使用した単語の種類の総数を使用語彙特徴量として抽出する。意図特徴量及び使用語彙特徴量は、意図特徴量及び使用語彙特徴量を要素とする特徴量ベクトルとする(ステップS106)。特徴量抽出部3で出力される特徴量ベクトルの要素は、質問回数、説明回数、相槌回数、疑問詞疑問文の回数、及び、使用語彙の異なり語数となる。なお、このような複数の特徴量は特徴量ベクトルと呼ばれる。
そして、推定情報生成部4において、ステップS102の処理で再生された音声データに応じて、当該音声データにより示される対話に対して正解ラベルとしての知識量情報(知識量ラベル4b)が入力されると(ステップS107)、特徴量抽出部3により抽出された意図特徴量及び使用語彙特徴量の特徴量ベクトルと、入力された知識量情報(知識量ラベル4b)を1対1の組にして学習データとし、この学習データを入力として、公知のパターン識別手法である「Support Vector Machine (SVM)」を用いてモデルの学習を行うことで、特徴量から知識量の推定に用いるモデル情報5a(推定情報)を生成し(ステップS108)、その後に本処理を終了する。
「Support Vector Machine (SVM)」は2値の判別手法である。「Support Vector Machine (SVM)」を用いて知識量を2段階で推定する場合には、「知識量が小さい」に該当するか、それ以外かを判別するモデルを作成する。モデル作成の際には、例えば、「知識量が小さい」に該当する学習データを正の学習データとし、それ以外を負の学習データ(「知識量が大きい」に該当する学習データ)として学習を行う。
「Support Vector Machine (SVM)」を用いて知識量を3段階で推定する場合には、学習により段階別に3つのモデルを作成する。「知識量が大きい」に該当するか、それ以外かを判別するモデル1、「知識量が中程度」に該当するか、それ以外かを判別するモデル2、「知識量が小さい」に該当するか、それ以外かを判別するモデル3、の3つのモデルである。例えば、モデル1では、「知識量が大きい」に該当する学習データを正の学習データとし、それ以外を負の学習データとして学習を行う。モデル2では、「知識量が中程度」に該当する学習データを正の学習データとし、それ以外を負の学習データとして学習を行う。モデル3では、「知識量が小さい」に該当する学習データを正の学習データとし、それ以外を負の学習データとして学習を行う。
なお、本例では、パターン識別に「Support Vector Machine (SVM)」を用いてモデルの学習を行っているが、これに限定されるものではなく、例えば、バックプロパゲーション学習等によるニューラルネットワークを用いた学習を行うことでも良い。また、特徴量対知識量のテーブルを作成し、当該テーブルに基づいて知識量を判別する方法を用いても良い。なお、生成されたモデル情報5aは、図2におけるハードディスク28等の記憶装置に記憶される。
また、本例では、「質問」、「説明」、「相槌」、及び「疑問詞疑問文」を発話意図として説明を行ったが、「質問」及び「説明」のみを発話意図として、実施しても良い。その場合、学習部の発話意図判別部2、特徴量抽出部3での処理、及び推定部の発話意図判別部2、特徴量抽出部3での処理が上記の例と異なる。
学習部では、発話意図判別部2において、発話列抽出部1により抽出された問合せ者と回答者との対話における発話列のテキストデータについて、各発話毎に、「質問」、「説明」に該当する発話意図を示す発話を判別して、判別された発話が該当する発話意図を判別対象の発話と対応付けて出力する。さらに、特徴量抽出部3において、「問合せ者の使用語彙の異なり語数」を算出すると共に、発話意図判別部2で判別された「質問」、「説明」それぞれの発話意図の出現回数を算出する。算出された「問合せ者の使用語彙の異なり語数」、発話意図判別部2で判別された「質問」、「説明」それぞれの発話意図の出現回数を当該テキストデータにおける発話意図の発生状態に関する特徴量を示す意図特徴量とする。特徴量抽出部3で出力される特徴量ベクトルの要素は、質問回数、説明回数、及び、使用語彙の異なり語数となる。
推定部では、発話意図判別部2において、発話列抽出部1により抽出された推定対象とする問合せ者と回答者との対話における発話列のテキストデータについて、各発話毎に、発話者(問合せ者、回答者)の「質問」、「説明」に該当する発話の意図を示す発話を判別する。判別された発話は、当該発話が該当する発話意図に対応付けられて出力される。さらに、特徴量抽出部3において、当該テキストデータから問合せ者が使用した単語の種類の総数を推定対象使用語彙特徴量として抽出すると共に、発話意図判別部2で判別された、推定対象発話意図に含まれる「質問」、「説明」それぞれの発話意図(推定対象発話意図)の出現回数を算出する。算出された「問合せ者の使用語彙の異なり語数」、発話意図判別部2で判別された「質問」、「説明」それぞれの推定対象発話意図の出現回数を、当該テキストデータにおける発話意図の発生状態に関する特徴量を示す推定対象意図特徴量とする。特徴量抽出部3で出力される特徴量ベクトルの要素は、質問回数、説明回数、及び、使用語彙の異なり語数となる。
以下、本実施の形態に係る知識量推定装置10で用いられる、上述の「質問」、「説明」、「相槌」、及び「疑問詞疑問文」について、図5〜図8を用いて説明する。
まず、図5に示す質問パターン情報について説明する。質問を表す発話列として、「ですかね。」、「でしたかね。」、「でしょうかね。」、「ますかね。」、「ましたかね。」、「ましょうかね。」、「ませんかね。」、「かしらね。」、「かな。」、及び「っけ。」、が例示されている。なお、「ね」は、なくてもパターンにマッチするものとする。
次に、図6に示す説明パターン情報について詳細を説明する。図6における説明の種類のうち、「記述文」及び「同定文」は、例えば、「坂原茂、“役割,ガ・ハ,ウナギ文” 認知科学の発展 第3巻、 日本認知科学会、pp.29−66 講談社 (1990年5月20日)」で定義されている。
すなわち、「記述文」とは、ある事物の属性を記述する文のことで、「同定文」とは、ある役割に値を割り当てる文のことである。例えば、「日本は日本列島と周辺の島々から成る国です。」は日本の属性を記述する記述文であり、「日本の首相は野田氏です。」は「日本の首相」という役割に「野田氏」という値を割り当てる同定文である。
これらの記述文、及び同定文の抽出には、構文解析によって判別した係助詞の「は」を用いるなどしても良いが、本例では、構文解析なしに容易に抽出可能な発話末の「です」等のパターンを用いる。
次の「理由の説明」とは、自身の先行する発話に対し、発話内容(命題)が成立する理由を付け加えるための発話とする。ここでは、発話末が「ので」、または「から」で終わっているものを「理由の説明」として定義する。
最後に、「聞き手の意思決定に資する情報・条件の提示」とは、聞き手が何かをするための参考となるよう、提示される情報のことを指す。これは、例えば、『白川博之、“「ケド」で言い終わる文” 広島大学日本語学科紀要 6号、pp.9−17(1996)』において定義する、言い終わりの「けど」の持つ終助詞的機能であり、ここでは、これを説明の一部として加えることとする。
本例では、上記3種類の定義に合致する発話を説明発話として抽出する。
次に、図7に示す相槌パターン情報について説明する。
対話において聞き手が打つ相槌の果たす役割は、例えば、「Senko K. Maynard, Japanese Communication: Language and Thought in Context, University of Hawai‘i Press, Honolulu (1997)」に記載のように、相手の発話権を認め、発話の継続を促すと同時に、相手の発話内容を理解していることを示すことである。
従って、相槌を打つ回数と知識量の間に何らかの関連性があると考えられる。本例では、図7に示すように、発話末に「はい」、「ええ」、及び「うん」が現れている発話を相槌発話とし、その出現回数を特徴量として利用する。
次に、図8に示す疑問詞情報について説明する。
質問の形式をとる発話の中には、例えば、「徳久雅人、前田浩佑、村上仁一、池原悟、“心的状態を表す対話行為タグ付きテキスト対話コーパスの構築” 電子情報通信学会技術研究報告、思考と言語、TL2007−45、pp.25−30、(2007)」に記載のように、仮説が述べられている疑問文とそうでないものがある。
前者は「光回線って高いんですか。」のように、自身の想定・仮説の検証を目的とした、言わば「確認」の機能を果たすと考えられ、また、後者は「光回線って何ですか。」のように、純粋に未知の情報を要求する機能を果たすと考えられる。
話者の知識量を推定するうえでは、後者の、未知の情報を要求する質問を抽出することが重要であると考えられるため、オペレータとユーザそれぞれが発話した「疑問詞疑問文」の回数も抽出し、特徴量として用いる。
本例において、疑問詞疑問文は、発話意図ラベルが「質問」である発話のうち、図8に示される疑問詞が含まれるものとする。
図3のステップS105の処理において、発話意図判別部2は、以上の図5に示す質問パターン情報、図6に示す説明パターン情報、図7に示す相槌パターン情報、及び図8に示す疑問詞情報を用いて、パターンマッチングにより、当該意図に該当する発話を判別する。
次に、図4を用いて、本実施の形態に係る知識量推定装置10の推定部における処理内容を説明する。
図4においては、本実施の形態に係る知識量推定装置10の推定部における処理内容を示しており、推定対象となるコンタクトセンタでのユーザとオペレータとの間の対話(通話)(以下、「推定対象対話」という。)の音声データが入力されると(ステップS201)、当該音声データに対する音声認識処理を行った後(ステップS203)、図3のステップS104〜S106と同様、発話列抽出部1、発話意図判別部2、及び特徴量抽出部3の各処理(ステップS204,S205,S206)を行い、その後、知識量推定部5において、推定情報生成部4と同様に「Support Vector Machine (SVM)」を用いて、ステップS206の処理により得られた推定対象意図特徴量と推定対象使用語彙特徴量(特徴量ベクトル)を、前述した学習部による処理(図3)により生成されたモデル情報5aと照合することにより、推定対象対話が、何れの知識量に該当するものであるかを特定することで、推定対象対話を行っている当該ユーザ(話者)の知識量を推定する(ステップS209)。
なお、知識量推定部5に関しても、推定情報生成部4と同様、「Support Vector Machine (SVM)」を用いて知識量の推定を行うものとするが、ニューラルネットワークを用いた推定等、他のどのような推定手法を用いても構わない。「Support Vector Machine (SVM)」を用いて、例えば上記のモデル1〜3により知識量の推定を行う場合には、モデル1〜3それぞれを用いて判別を行い、最も適合したモデルの正のデータに対応する知識量を話者の知識量とする。
次に、特徴量抽出部3が抽出する、4種類の意図特徴量、すなわち、「1.ユーザとオペレータのそれぞれの質問回数」、「2.ユーザとオペレータの疑問詞疑問文の回数」、「3.ユーザとオペレータの説明回数」及び「4.ユーザとオペレータの相槌回数」、及び、テキストデータから抽出する使用語彙特徴量からなる特徴量ベクトルについて詳細に説明する。
まず、「1.ユーザとオペレータのそれぞれの質問回数」について以下に説明する。
コンタクトセンタ等での対話(通話)において質問が果たす役割のうち、最も基本的なものは、相手に対して情報の提供を要求することである。具体的には、ユーザが発する質問は、そのユーザに欠けている知識をオペレータに提供してもらうためのものであり、また、オペレータが発する質問は、ユーザの用件や置かれた状況について情報を提供してもらうためのものである。
つまり、ユーザの質問回数は、ユーザに足りない知識の量を反映しており、また、オペレータの質問回数は、ユーザの用件・状況把握にかかった労力を反映していると言える。ここで、オペレータがユーザの用件・状況を把握しようとする際は、知識量の少ないユーザとの対話において、より多くの労力を要すると考えられるため、ユーザとオペレータの質問回数を用いれば、ユーザの知識量を推定することができる。
本例では、ユーザの質問回数とオペレータの質問回数のそのままの値を特徴量として用いることとする。例えば、図9の発話列からなるテキストデータ500で例示する対話内容の場合、アンダーラインが付与された部分(「でしょうか。」、「ますか。」)を含む発話が「質問」であり、図9の例では、オペレータとユーザ共に、質問回数は2回ずつということになる。
従って、ここでは、特徴量として使う値は、オペレータによる質問回数、ユーザによる質問回数は共に「2」となる。なお、この図9に示す発話列からなるテキストデータ500は、RAM24、ハードディスク28等の記憶装置に記憶される。
次に、「2.ユーザとオペレータの疑問詞疑問文の回数」について以下に説明する。
図8で説明したように、話者の知識量を推定するうえでは、未知の情報を要求する質問を抽出することが重要であると考えられるため、オペレータとユーザそれぞれが発話した「疑問詞疑問文」の回数も抽出し、特徴量として用いる。
図9の発話列からなるテキストデータ500で例示する対話内容の場合、図8に示される疑問詞が含まれるものとして、波線のアンダーラインで示す部分(「どう」、「何」)が疑問詞に該当し、図9の例では、オペレータの疑問詞疑問文の回数が「1」、ユーザの疑問詞疑問文の回数が「2」となり、特徴量として使う値は、オペレータの疑問詞疑問文の回数は「1」、ユーザの疑問詞疑問文の回数は「2」となる。
次に、「3.ユーザとオペレータの説明回数」について以下に説明する。
本例において、説明とは、相手に情報を提供する行為であると定義する。具体的には、図6に示される3種類の発話(「記述文・同定文」、「理由の説明」、「聞き手の意思決定に資する情報・条件の提示」)を説明とみなす。
図9の例では、二重下線で示してある部分(「ます」、「ですが」、「けど」、「です」)が説明に該当し、具体的に特徴量として使う値は、オペレータによる説明回数が「1」、ユーザによる説明回数が「3」となる.
次に、「4.ユーザとオペレータの相槌回数」について以下に説明する。
本例においては、図7で示した発話末に「はい」、「ええ」、「うん」が現れている発話を相槌発話とし、その回数を特徴量として利用する。
図9の例では、破線で示してある部分(「はい」)が相槌に該当し、具体的に特徴量として使う値は、オペレータによる相槌回数が「1」、ユーザによる相槌回数は「0」となる。
次に、使用語彙特徴量について以下に説明する。ここでは、使用語彙特徴量を「ユーザの使用語彙の異なり語数」として説明する。
異なり語数とは、通話において何種類の単語を使用したかを指す。同じ用件の通話を終えるのに、あるユーザが他のユーザより多くの種類の単語を使う必要があったということは、そのユーザの意思疎通が非効率であったことを示している。
知識量の少ないユーザは、自分の状態を的確に伝えることが不得意であると考えられるため、本実施例では、知識量が小であるユーザを特徴づけるために、ユーザの使用語彙の異なり語数を用いることとする。
本実施例では、異なり語数を数えるために、まず、発話列を入力として形態素解析を行い、発話列を単語に分割し、各単語に品詞を付与する。そして、名詞と未知語のみを対象として単語の種類を数える。
本実施例では、形態素解析には、例えば、『松本裕治、 “形態素解析システム「茶筌」”、 情報処理 41巻11号 2000年11月、 pp.1208-1214 (2000)』に記載の形態素解析システム「茶筌」を用いるが、形態素解析ツールであれば何を用いても構わない。また、音声認識結果が、単語区切りで出力され、品詞が付与されている場合は、出力された単語区切りと品詞をそのまま利用してもよい。
例えば、図9の発話列からなるテキストデータ500で例示する対話内容の場合、ユーザ役が使用した名詞、及び未知語は斜体で示されている「パソコン」、「インターネット」、及び「回線」の3種類である。よって、使用語彙特徴量として使用する値は「3」となる。
以上によって抽出された各特徴量を特徴量ベクトルとして出力する。すなわち、本実施例で使用する特徴量ベクトルは、「1:オペレータ役の質問回数、2:ユーザ役の質問回数、3:オペレータ役の説明回数、4:ユーザ役の説明回数、5:オペレータ役の相槌回数、6:ユーザ役の相槌回数、7:オペレータ役の疑問詞疑問文の回数、8:ユーザ役の疑問詞疑問文の回数、9:ユーザ役の異なり語数」という構成になっている。
以下、本実施の形態に係る知識量推定装置10に対する評価実験例について説明する。ここでは、コンタクトセンタでの通話における各ユーザ役を対象として知識量の推定を行い、その評価実験を行った。
ここで、本実施の形態に係る知識量推定装置10への入力としては、各コンタクトセンタでの通話のオペレータとユーザの両方の音声認識結果を用い、音声認識結果として得られた発話列からなるテキストデータを用いて上述した各種の意図特徴量と使用語彙特徴量を抽出する。
また、各通話に対する知識量の推定結果に対する評価に用いる正解ラベル(知識量情報)としては、人間の主観評価で、各通話における各ユーザが「知識量小」、「知識量大」のどちらに該当するかを、図10において判定基準情報として示される判定基準に従って判定させ、各通話に対して知識量情報(知識量ラベル)を付与した。なお、図10の判定基準情報は、予めハードディスク28に記憶されており、当該ハードディスク28から読み込まれてRAM24に記憶されて用いられる。
この評価実験例では、オペレータとユーザの音声認識結果と知識量ラベルの対は、180通話分用意した。そのうち、94通話に「知識量小」のラベルが付与され、86通話に「知識量大」のラベルが付与されている。
各通話に付与された知識量ラベルと、各通話から抽出した意図特徴量及び使用語彙特徴量を対応付けるモデルの学習、及び知識量の推定の評価は、データを10分割したうちの9つを学習データとし、残り1つを評価データとすることで10パターンのデータセットを用意する10分割交差検定によって実施した。
今回の例で、知識量の推定に使用した意図特徴量は、(i)オペレータ役の質問回数、(ii)ユーザ役の質問回数、(iii)オペレータ役の説明回数、(iv)ユーザ役の説明回数、(v)オペレータ役の相槌回数、(vi)ユーザ役の相槌回数、(vii)オペレータ役の疑問詞疑問文の回数、(viii)ユーザ役の疑問詞疑問文の回数、及び(ix)ユーザ役の異なり語数の9種類とした。また、各通話から抽出した意図特徴量及び使用語彙特徴量と知識量正解ラベルとの対応付けの学習、及び推定対象意図特徴量と推定対象使用語彙特徴量に基づく知識量推定には、「Support Vector Machine (SVM)」を用いた。
一方、評価指標として、本例の精度評価では、正確性の指標である「適合率(precision)」を利用する。この指標は、推定した結果の中に正解の知識量ラベルと一致するものがどのくらいあるかを示すものである。
このように、適合率を重視するのには理由がある。すなわち、本例で知識量の推定の対象としたコンタクトセンタでの通話は、データ数が膨大であるのが一番の特徴である。その膨大な通話データから、分析すべき対象を正確に絞り込むのが本発明を利用する大きな目的であると考えると、適合率が重要な意味を持つといえる。
本評価例では、「知識量小」を推定する問題と捉え、以下の式を用いて適合率を算出した。
適合率=正しく推定できた「知識量小」の数÷「知識量小」として推定した総数
なお、本実験例では、この適合率に加え、網羅性の指標である「再現率(recall)」も同時に評価し、参考にした。再現率は以下の式を用いて算出した。
再現率=正しく推定できた「知識量小」の数÷全データ中の「知識量小」の数
本例の10分割交差検定では、全180通話分のデータから10個の学習データ・評価データの対を作って学習と精度評価を行っている。今回の実験例では、10対のデータそれぞれの推定結果から算出した適合率のマイクロ平均によって評価を行う。
本例の評価では、上述の非特許文献1,2として示したユーザの使用語彙の専門性を用いた手法、及び、ユーザがどの単語を何回使用したかという単語特徴量(bag of words)をベースラインとして、本実施例との比較をする。
非特許文献1に倣い、ユーザの使用語彙の専門性を特徴量化する際、本実施例では、そのユーザが使用する単語の珍しさの平均値を用いる。単語の珍しさとしては、「Inverse Document Frequency (IDF)」を用いる。
総通話数がN、単語tを含む通話数がdf(t)のとき、単語tのIDF値は以下の式(1)を用いて算出する。
idf(t)=log(N/df(t))・・・式(1)
なお、本実施例では、ユーザの使用語彙の平均IDFの算出には、名詞と未知語のみを利用した。
このような評価の結果、本実施例により求めた特徴量を用いた場合、適合率0.8、再現率0.43で、知識量小ユーザの通話を抽出できることが確認できた。
図11に示されるとおり、再現率をそろえた場合、本実施例が最も高い適合率で知識量小ユーザの通話を抽出できる。つまり、対象データ中の知識量小ユーザの通話を同じくらい網羅して抽出できるとき、抽出した通話に含まれる知識量小ユーザの通話(正解)の割合が最も高くなるのは本実施例によるものである。
さらに、図12に示されるとおり、適合率をそろえた場合も、本実施例が最も高い再現率で知識量小ユーザの通話を抽出できる。つまり、同じくらい正確に知識量小ユーザの通話を抽出できるとき、最も網羅的に知識量小ユーザの通話を抽出できるのは本実施例によるものでる.以上により、本実施例で求める特徴量は、話者の知識量の推定において有効であると言える。
以上説明したように、本実施の形態に係る知識量推定装置10では、コンタクトセンタ等におけるオペレータとユーザとの間の対話に表れる発話意図の特徴量、及び、使用語彙の特徴量を利用して、話者(ユーザ)の知識量を推定する。
具体的には、プログラムされたコンピュータ処理により実装される機能として、少なくとも発話意図判別部2、特徴量抽出部3、推定情報生成部4、及び知識量推定部5を備え、発話意図判別部2は、問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明、及び相槌に該当する発話の意図を示す発話を判別し、特徴量抽出部3は、発話意図判別部2で判別された発話の、当該テキストデータにおける発生状態に関する特徴量を示す意図特徴量を抽出すると共に、当該テキストデータから問合せ者が使用した単語の種類の総数を使用語彙特徴量として抽出し、推定情報生成部4は、特徴量抽出部3で抽出された意図特徴量と使用語彙特徴量、及び当該意図特徴量と使用語彙特徴量の抽出の対象とされたテキストデータに対して当該テキストデータにより示される対話から想定される問合せ者の知識量を示すものとして予め付与された知識量情報を学習データとして用いることで、テキストデータに対応する知識量の推定に用いる推定情報を生成する。
このようにして推定情報生成部4で生成された推定情報は、ハードディスク28等の記憶装置に記憶される。
また、発話意図判別部2は、知識量の推定対象とする問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明、相槌などに該当する発話の意図を示す発話を判別し、特徴量抽出部3は、発話意図判別部2で判別された推定対象の発話の、テキストデータにおける発生状態に関する特徴量を示す推定対象意図特徴量を抽出すると共に、当該テキストデータから問合せ者が使用した単語の種類の総数を推定対象使用語彙特徴量として抽出し、さらに、相手への質問に該当する発話に疑問詞が含まれる発話を疑問詞疑問文として抽出して、当該疑問詞の当該テキストデータにおける発生状態に関する特徴量も上記推定対象意図特徴量として抽出し、知識量推定部5は、特徴量抽出部3で抽出された推定対象意図特徴量及び推定対象使用語彙特徴量と、予め記憶装置に記憶された推定情報とを用いて、推定対象とするテキストデータに対応する知識量を推定する。
ここでは、意図特徴量としては、問合せ者の質問回数、回答者の質問回数、問合せ者の説明回数、回答者の説明回数、問合せ者の相槌回数、回答者の相槌回数、問合せ者の疑問詞疑問文の回数、及び回答者の疑問詞疑問文の回数を含むが、相槌回数と疑問詞疑問文の回数に関しては必要に応じて用いることで良い。
このように、本例では、対話の中の質問、説明、相槌、及び疑問詞疑問文に該当する発話を用いた特徴量を利用して、対話から話者の知識量を推定しており、従来技術で音声認識結果を知識量の推定の入力として扱う場合における問題点を回避することができる。
すなわち、従来の語彙の専門性を用いた音声認識結果を知識量の推定の入力として扱う場合、ある話者の発話の音声認識結果に、専門性の高い単語が誤っていくつか出現した場合には、その話者の知識量は誤って高いと推定されてしまう恐れがあるが、本例では、対話の中の質問、説明、相槌、及び疑問詞疑問文に該当する発話を用いた特徴量利用して、対話から当該話者の知識量を推定しており、このような問題点を回避することができる。
これにより、本実施の形態に係る知識量推定装置10を用いることで、対話結果に基づき、対話の対象となった事項に対する当該話者(問合せ者)の知識量の推定を精度良く行うことができる。
なお、本発明は、上述した例に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、本例では、処理対象とする対話としてコンタクトセンタにおけるユーザとオペレータ間の対話(通話)を例に説明したが、これに限定されず、例えば、上記非特許文献2のバス運行情報案内システムにおけるユーザからの問合せに対する応答者との対話等、他の音声認識を用いた対話におけるユーザの知識量を推定するシステムに適用可能である。
また、上記対話とは、システム(回答者)対人間(問合せ者)でも、人間(回答者)対人間(問合せ者)でも、2者の発話のやりとりであれば何れでも良い。
また、上記対話のテキストデータとは、対話の音声認識結果や書き起こし、テキストチャットなど、文字化(テキスト化)された対話であれば何でもよい。
また、図2に示したコンピュータ構成において、本発明に係る各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各構成による処理が実行されてもよいし、図示されていない通信機能を用いて、当該プログラムを読み込ませることでもよい。
なお、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
このように、本発明を実施する形態例を、図面を参照して詳述してきたが、具体的な構成はこの実施の形態例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1 発話列抽出部
2 発話意図判別部
3 特徴量抽出部
4 推定情報生成部
4a 意図特徴量
4b 知識量情報(知識量ラベル)
4c モデル生成機能
5 知識量推定部
5a モデル情報
5b 通話iの特徴量
5c 照合機能
6 通話iの音声認識結果(推定対象)
7 音声認識結果(学習用通話)
8 通話iの話者(ユーザ)の知識量
10 知識量推定装置
14 キーボード
16 マウス
18 ディスプレイ
22 CPU
24 RAM
26 ROM
28 ハードディスク
30 外部I/F(インタフェース)
50 通話装置

Claims (13)

  1. 問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明に該当する発話意図を示す発話を判別する発話意図判別手段と、
    前記発話意図判別手段で判別された前記発話が該当する前記発話意図に基づき、前記テキストデータにおける前記発話意図の発生状態に関する特徴量を示す意図特徴量を抽出すると共に、前記テキストデータから前記問合せ者が使用した単語の種類の総数を使用語彙特徴量として抽出する特徴量抽出手段と、
    前記特徴量抽出手段で抽出された意図特徴量と使用語彙特徴量、及び当該意図特徴量と当該使用語彙特徴量の抽出の対象とされた前記テキストデータに対して当該テキストデータにより示される対話から想定される前記問合せ者の知識量を示すものとして予め付与された知識量情報を学習データとして用いることで、前記テキストデータに対応する前記知識量の推定に用いる推定情報を生成する知識量推定情報生成手段と、
    を備えた知識量推定情報生成装置。
  2. 前記発話意図判別手段は、前記テキストデータから、前記相手への質問、説明に加えて、相槌に該当する発話意図を示す発話を判別する
    請求項1記載の知識量推定情報生成装置。
  3. 前記意図特徴量は、前記問合せ者の質問回数、前記回答者の質問回数、前記問合せ者の説明回数、前記回答者の説明回数を含む
    請求項1または請求項2に記載の知識量推定情報生成装置。
  4. 前記意図特徴量は、さらに前記問合せ者の相槌回数、及び前記回答者の相槌回数の少なくとも1つを含む
    請求項3に記載の知識量推定情報生成装置。
  5. 前記特徴量抽出手段は、前記質問に該当する発話に疑問詞が含まれる発話を疑問詞疑問文として抽出し、前記意図特徴量は、前記問合せ者の質問回数、前記回答者の質問回数、前記問合せ者の説明回数、前記回答者の説明回数を含むと共に、前記問合せ者の相槌回数、前記回答者の相槌回数、前記問合せ者の疑問詞疑問文の回数、及び前記回答者の疑問詞疑問文の回数の少なくとも1つを含む
    請求項2に記載の知識量推定情報生成装置。
  6. 請求項1から請求項5のいずれか1項に記載の知識量推定情報生成装置で生成された前記推定情報を予め記憶した記憶手段と、
    知識量の推定対象とする問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明に該当する発話意図を示す発話を判別する推定対象発話意図判別手段と、
    前記推定対象発話意図判別手段で判別された前記発話が該当する前記発話意図に基づき、前記テキストデータにおける前記発話意図の発生状態に関する特徴量を示す推知対象意図特徴量を抽出すると共に、前記テキストデータから前記問合せ者が使用した単語の種類の総数を使用語彙特徴量として抽出する推定対象特徴量抽出手段と、
    前記推定対象特徴量抽出手段で抽出された推定対象意図特徴量及び推定対象使用語彙特徴量と、前記記憶手段に記憶された前記推定情報とを用いて、推定対象とする前記テキストデータに対応する前記知識量を推定する知識量推定手段と、
    を備えた知識量推定装置。
  7. 前記推定対象発話意図判別手段は、前記テキストデータから、前記相手への質問、説明に加えて、相槌に該当する発話意図を示す発話を判別する
    請求項6記載の知識量推定装置。
  8. 前記推定対象意図特徴量は、前記問合せ者の質問回数、前記回答者の質問回数、前記問合せ者の説明回数、前記回答者の説明回数を含む
    請求項6または請求項7に記載の知識量推定装置。
  9. 前記推定対象意図特徴量は、さらに前記問合せ者の相槌回数、及び前記回答者の相槌回数の少なくとも1つを含む
    請求項8に記載の知識量推定装置。
  10. 前記推定対象特徴量抽出手段は、前記質問に該当する発話に疑問詞が含まれる発話を疑問詞疑問文として抽出し、前記推定対象意図特徴量は、前記問合せ者の質問回数、前記回答者の質問回数、前記問合せ者の説明回数、前記回答者の説明回数を含むと共に、前記問合せ者の相槌回数、前記回答者の相槌回数、前記問合せ者の疑問詞疑問文の回数、及び前記回答者の疑問詞疑問文の回数の少なくとも1つを含む
    請求項7に記載の知識量推定装置。
  11. 問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明に該当する発話の意図を示す発話を判別する発話意図判別ステップと、
    前記発話意図判別ステップで判別された前記発話の、前記テキストデータにおける発生状態に関する特徴量を示す意図特徴量を抽出すると共に、前記テキストデータから前記問合せ者が使用した単語の種類の総数を使用語彙特徴量として抽出する特徴量抽出ステップと、
    前記特徴量抽出ステップで抽出された意図特徴量と使用語彙特徴量、及び当該意図特徴量と当該使用語彙特徴量の抽出の対象とされた前記テキストデータに対して当該テキストデータにより示される対話から想定される前記問合せ者の知識量を示すものとして予め付与された知識量情報を学習データとして用いることで、前記テキストデータに対応する前記知識量の推定に用いる推定情報を生成する知識量推定情報生成ステップと、
    を備えた知識量推定情報生成方法。
  12. 請求項11記載の知識量推定情報生成方法で生成された前記推定情報を予め記憶装置に記憶する記憶ステップと、
    知識量の推定対象とする問合せ者と回答者との対話における発話列のテキストデータから、相手への質問、説明に該当する発話の意図を示す発話を判別する推定対象発話意図判別ステップと、
    前記推定対象発話意図判別ステップで判別された前記発話の、前記テキストデータにおける発生状態に関する特徴量を示す推定対象意図特徴量を抽出すると共に、前記テキストデータから前記問合せ者が使用した単語の種類の総数を推定対象使用語彙特徴量として抽出する推定対象特徴量抽出ステップと、
    前記推定対象特徴量抽出ステップで抽出された推定対象意図特徴量及び推定対象使用語彙特徴量と、前記記憶手段に記憶された前記推定情報とを用いて、推定対象とする前記テキストデータに対応する前記知識量を推定する知識量推定ステップと、
    を備えた知識量推定方法。
  13. コンピュータを、請求項1から請求項5のいずれか1項に記載の知識量推定情報生成装置、または請求項6から請求項10のいずれか1項に記載の知識量推定装置として機能させるためのプログラム。
JP2012031020A 2012-02-15 2012-02-15 知識量推定情報生成装置、知識量推定装置、方法、及びプログラム Expired - Fee Related JP5674689B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012031020A JP5674689B2 (ja) 2012-02-15 2012-02-15 知識量推定情報生成装置、知識量推定装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012031020A JP5674689B2 (ja) 2012-02-15 2012-02-15 知識量推定情報生成装置、知識量推定装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2013167765A true JP2013167765A (ja) 2013-08-29
JP5674689B2 JP5674689B2 (ja) 2015-02-25

Family

ID=49178200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012031020A Expired - Fee Related JP5674689B2 (ja) 2012-02-15 2012-02-15 知識量推定情報生成装置、知識量推定装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP5674689B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015102914A (ja) * 2013-11-21 2015-06-04 日本電信電話株式会社 不理解文判定モデル学習方法、不理解文判定方法、装置、及びプログラム
WO2016009634A1 (ja) * 2014-07-16 2016-01-21 日本電気株式会社 会話分析システム、会話分析方法および会話分析プログラムが記録された記憶媒体
WO2016067418A1 (ja) * 2014-10-30 2016-05-06 三菱電機株式会社 対話制御装置および対話制御方法
JP2016085284A (ja) * 2014-10-23 2016-05-19 Kddi株式会社 人の発言に基づいて学習項目に対する評価レベルを推定するプログラム、装置及び方法
CN109493850A (zh) * 2017-09-13 2019-03-19 株式会社日立制作所 成长型对话装置
JP2019053473A (ja) * 2017-09-14 2019-04-04 日本電信電話株式会社 擬似応答送信装置、相づち表現学習装置、情報端末装置、通信システム、擬似応答送信方法、相づち表現学習方法および擬似応答送信プログラム
JP2020071690A (ja) * 2018-10-31 2020-05-07 西日本電信電話株式会社 パターン認識モデル及びパターン学習装置、その生成方法、それを用いたfaqの抽出方法及びパターン認識装置、並びにプログラム
US20220261556A1 (en) * 2018-10-16 2022-08-18 Nippon Telegraph And Telephone Corporation Utterance generation device, method, and program
WO2023119520A1 (ja) * 2021-12-22 2023-06-29 日本電信電話株式会社 推定装置、推定方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235165A (ja) * 1995-02-28 1996-09-13 Canon Inc 情報処理装置及びその方法
JP2003224661A (ja) * 2002-01-29 2003-08-08 Seiko Epson Corp 電子情報提供方法及びシステム、コンピュータプログラム
JP2004355108A (ja) * 2003-05-27 2004-12-16 Fujitsu Ltd オペレータ支援プログラム
JP2013117842A (ja) * 2011-12-02 2013-06-13 Nippon Telegr & Teleph Corp <Ntt> 知識量推定情報生成装置、知識量推定装置、方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235165A (ja) * 1995-02-28 1996-09-13 Canon Inc 情報処理装置及びその方法
JP2003224661A (ja) * 2002-01-29 2003-08-08 Seiko Epson Corp 電子情報提供方法及びシステム、コンピュータプログラム
JP2004355108A (ja) * 2003-05-27 2004-12-16 Fujitsu Ltd オペレータ支援プログラム
JP2013117842A (ja) * 2011-12-02 2013-06-13 Nippon Telegr & Teleph Corp <Ntt> 知識量推定情報生成装置、知識量推定装置、方法、及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015102914A (ja) * 2013-11-21 2015-06-04 日本電信電話株式会社 不理解文判定モデル学習方法、不理解文判定方法、装置、及びプログラム
WO2016009634A1 (ja) * 2014-07-16 2016-01-21 日本電気株式会社 会話分析システム、会話分析方法および会話分析プログラムが記録された記憶媒体
JP2016085284A (ja) * 2014-10-23 2016-05-19 Kddi株式会社 人の発言に基づいて学習項目に対する評価レベルを推定するプログラム、装置及び方法
WO2016067418A1 (ja) * 2014-10-30 2016-05-06 三菱電機株式会社 対話制御装置および対話制御方法
CN109493850A (zh) * 2017-09-13 2019-03-19 株式会社日立制作所 成长型对话装置
JP2019053473A (ja) * 2017-09-14 2019-04-04 日本電信電話株式会社 擬似応答送信装置、相づち表現学習装置、情報端末装置、通信システム、擬似応答送信方法、相づち表現学習方法および擬似応答送信プログラム
US20220261556A1 (en) * 2018-10-16 2022-08-18 Nippon Telegraph And Telephone Corporation Utterance generation device, method, and program
JP2020071690A (ja) * 2018-10-31 2020-05-07 西日本電信電話株式会社 パターン認識モデル及びパターン学習装置、その生成方法、それを用いたfaqの抽出方法及びパターン認識装置、並びにプログラム
WO2023119520A1 (ja) * 2021-12-22 2023-06-29 日本電信電話株式会社 推定装置、推定方法、及びプログラム

Also Published As

Publication number Publication date
JP5674689B2 (ja) 2015-02-25

Similar Documents

Publication Publication Date Title
JP5674689B2 (ja) 知識量推定情報生成装置、知識量推定装置、方法、及びプログラム
US10616414B2 (en) Classification of transcripts by sentiment
KR102151681B1 (ko) 언어 모델용 대화 상태들 결정
US10936664B2 (en) Dialogue system and computer program therefor
WO2019153522A1 (zh) 智能交互方法、电子装置及存储介质
Malandrakis et al. Distributional semantic models for affective text analysis
Wu et al. Emotion recognition from text using semantic labels and separable mixture models
CN110765244A (zh) 获取应答话术的方法、装置、计算机设备及存储介质
WO2008128423A1 (fr) Système de dialogue intelligent et son procédé de réalisation
JP2017534941A (ja) オーファン発話検出システム及び方法
JP5496863B2 (ja) 感情推定装置、その方法、プログラム及びその記録媒体
JPWO2009101837A1 (ja) 記号挿入装置および記号挿入方法
Hassan Awadallah et al. Characterizing and predicting voice query reformulation
JP2020077159A (ja) 対話システム、対話装置、対話方法、及びプログラム
JP2017125921A (ja) 発話選択装置、方法、及びプログラム
KR101677859B1 (ko) 지식 베이스를 이용하는 시스템 응답 생성 방법 및 이를 수행하는 장치
Chakraborty et al. Knowledge-based framework for intelligent emotion recognition in spontaneous speech
CN111353026A (zh) 一种智能法务律师助手客服系统
Malandrakis et al. Sail: Sentiment analysis using semantic similarity and contrast features
Hung et al. Context‐Centric Speech‐Based Human–Computer Interaction
JP2013117842A (ja) 知識量推定情報生成装置、知識量推定装置、方法、及びプログラム
CN111782779B (zh) 语音问答方法、系统、移动终端及存储介质
CN114154517A (zh) 一种基于深度学习的对话质量评估方法及系统
Polifroni et al. Using Latent Topic Features for Named Entity Extraction in Search Queries.
JP2013109738A (ja) 意味ラベル付与モデル学習装置、意味ラベル付与装置、意味ラベル付与モデル学習方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141222

R150 Certificate of patent or registration of utility model

Ref document number: 5674689

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees