JP2009294647A - 行動分析装置及びコールセンターシステム - Google Patents

Abstract

【課題】 被験者の感情状態を分析して、その後の被験者の行動を予測することができる技術を提供することを目的とする。
【解決手段】 被験者の発話の音声信号を受け付ける音声入力部と、音声信号から複数の音声特徴量を算出する演算部と、被験者の複数の感情の各々と複数の音声特徴量とを関連付けた感情テーブル及び複数の感情の出現パターンと被験者の行動とを関連付けた行動テーブルを記憶する記憶部と、感情テーブル及び行動テーブルを用い、複数の音声特徴量に基づいて被験者の感情を分析し被験者の行動を予測する分析部と、分析部によって予測された被験者の行動の結果を出力表示する表示部と、を備える。
【選択図】 図１

Description

本発明は、被験者の感情を分析して行動を予測する行動分析装置及びコールセンターシステムに関する。

近年、被験者の発話に基づいて被験者の感情を認識する技術開発が盛んに行われており（例えば、特許文献１等）、そうした音声感情認識技術が、ロボットやテレビゲーム等に応用されている。

特許文献１は、音声信号のパラメータとして音声の強度、テンポ及び抑揚の値の時間変化を求めて、それらのパラメータにおける変化のパターンと感情状態とを関連付ける情報を参照することにより、被験者の感情状態を検出する技術を開示している。

特許文献２は、コールセンターにおいて、オペレータと顧客との間でやり取りされる会話から複数の音声のパラメータを抽出して、オペレータの感情状態を分析することにより、オペレータの対応能力を診断する技術を開示している。

特許第３６７６９６９号 特開２００７−４００１号公報

しかしながら、従来技術である特許文献１や特許文献２は、被験者の発話に基づいて、被験者の感情状態の情報を検出するのを主としており、得られた感情状態を活用するという点において改良の余地があった。

ところで、本発明者は、被験者の発話に基づいて感情状態を分析するとともに、得られた感情状態とその後の被験者の行動事実との間には関連があることを見いだした。

本発明は、被験者の感情状態を分析して、その後の被験者の行動を予測することができる技術を提供することを目的とする。

上記課題を解決するために、本発明の行動分析装置は、被験者の発話の音声信号を受け付ける音声入力部と、音声信号から複数の音声特徴量を算出する演算部と、被験者の複数の感情の各々と複数の音声特徴量とを関連付けた感情テーブル及び複数の感情の出現パターンと被験者の行動とを関連付けた行動テーブルを記憶する記憶部と、感情テーブル及び行動テーブルを用い、複数の音声特徴量に基づいて被験者の感情を分析し被験者の行動を予測する分析部と、分析部によって予測された被験者の行動の結果を出力表示する表示部と、を備える。

また、感情テーブルは、被験者の複数の感情を複数の色で表しても良い。

また、行動テーブルにおける前記複数の感情の出現パターンは、被験者の複数の感情を複数の色の度数で表されても良い。

また、記憶部は、分析部によって予測された被験者の感情及び被験者の行動と被験者への対応を指示する指示内容とを関連付けた対応指示テーブルをさらに有し、表示部は、分析部によって予測された被験者の感情、被験者の行動及び対応指示テーブルに基づいて、指示内容を出力表示しても良い。

本発明の行動分析装置は、２人の被験者の発話の音声信号を受け付ける音声入力部と、音声信号から複数の音声特徴量を算出する演算部と、一方の被験者の複数の感情の各々と複数の音声特徴量とを関連付けた感情テーブル及び複数の感情の出現パターンと一方の被験者の行動とを関連付けた行動テーブルを記憶する記憶部と、感情テーブル及び行動テーブルを用い、複数の音声特徴量に基づいて一方の被験者の感情を分析し一方の被験者の行動を予測する分析部と、他方の被験者に対して、分析部によって予測された一方の被験者の行動を出力表示する表示部と、を備える。

本発明のコールセンターシステムは、２人の被験者の発話を音声信号に変換して出力する音声出力部と、この発明の行動分析装置と、を備える。

本発明によれば、被験者の感情状態を分析して、その後の被験者の行動を予測することができる。

本発明の一の実施形態に係る行動分析装置をコールセンターシステム１００へ適用した場合の概念図 対応指示テーブルの一例を示す図 コールセンターシステム１００における行動分析の処理のフローチャート オペレータの表示装置６に表示されるログイン画面１００の図 オペレータの表示装置６に表示されるオペレータ支援画面２００の図 各オペレータの感情状態等の通話分析結果の表示画面の一例を示す図 各オペレータの顧客毎及び業務毎における感情状態等の通話分析結果の表示画面の一例を示す図 図５のオペレータ支援画面２００より簡易なオペレータ支援画面の例を示す図

図１は、本発明の一の実施形態に係る行動分析装置をコールセンターシステム１００へ適用した場合の概念図である。

図１に示すコールセンターシステム１００は、交換機２、Ａ／Ｄ変換部３、ヘッドホン５、表示装置６、入力装置７及びコンピュータ２０から構成されている。さらに、コンピュータ２０は、入出力インタフェース（入出力Ｉ／Ｆ）４、ＣＰＵ８、記憶部９、メモリ１０及びバス１１から構成され、入出力Ｉ／Ｆ４、ＣＰＵ８、記憶部９及びメモリ１０は、バス１１を介して情報伝達可能に接続されている。また、コンピュータ２０には、入出力Ｉ／Ｆ４を介して、音声信号処理の途中経過や処理結果を表示する表示装置６、オペレータによる入力を受け付ける入力装置７及び顧客とオペレータとの通話の音声信号をデジタル信号として受け付けるためのＡ／Ｄ変換部３がそれぞれ接続される。また、コールセンターシステム１００は、電話網に接続され、その電話網には複数の顧客の電話機１が繋がれている。なお、図１は、コールセンターシステム１００の主要部分のみを示す。例えば、図１において、複数の顧客の電話機のうち１つのみを図示している。また、交換機２は、顧客の各々の目的や要求に応じて、コールセンターにおける各部署のオペレータへ顧客からの通話を振り分けるが、交換機２によって振り分けられた後のＡ／Ｄ変換部３、入出力Ｉ／Ｆ４、ヘッドホン５、表示装置６、入力装置７及びコンピュータ２０の構成は同じであり省略する。

電話機１は、顧客による発話を電気信号に変換するとともに、オペレータからの音声信号を音声に変換することにより、顧客がオペレータと通話可能にするためのものである。電話機１としては一般的な固定電話機や携帯電話機等を用いることができる。

交換機２は、コールセンターにかけてきた顧客の各々の目的や要求に応じて、コールセンターにおけるクレーム処理等を行う総合インフォメーション部門や、商品購入又は会員入会等を担当する販売促進部門等の各部署のオペレータへ振り分ける。交換機２が行う振り分ける方法には、顧客が交換機２による自動音声案内に従って電話機１の番号釦を押すことによって、所望の部署を選択する等の公知の手法を用いることができる。

Ａ／Ｄ変換部３は、顧客とオペレータとの間でやり取りされる通話の音声信号を受け付けて、デジタル信号に変換する。Ａ／Ｄ変換部３から出力されたデジタルの音声信号は、入出力Ｉ／Ｆ４とバス１１とを介して、記憶部９やメモリ１０に記録され、ＣＰＵ８によって音声信号処理される。

ヘッドホン５は、オペレータによる発話を電気信号に変換するとともに、顧客からの音声信号を音声に変換することにより、オペレータが顧客と通話可能するためのものである。本実施形態では、ヘッドホン５としては一般的なヘッドホンを用いることができるが、ヘッドホン５の代わりに、一般的な電話機や単にマイクロホンとスピーカとを組み合わせたものでも良い。

表示装置６は、オペレータが対応している顧客に関する情報等を表示するとともに、後述する本発明によって分析される顧客の感情状態と予測された顧客の行動に基づいた、顧客への対応の指示内容を表示する。表示装置６には、一般的な液晶モニタ等を用いることができる。

入力装置７は、オペレータが顧客からの要求や問い合わせの内容等を入力するための装置である。入力装置７には、キーボードやマウス等をそれぞれ適宜選択して使用できる。

ＣＰＵ８は、入出力Ｉ／Ｆ４を経由して受け取った顧客とオペレータとの通話の音声信号を用いて、複数の音声特徴量である音声パラメータを算出して顧客及びオペレータの感情状態を分析する。具体的には、ＣＰＵ８は、算出した音声パラメータと後述する感情テーブル及び行動テーブルとに基づいて、顧客の感情状態を分析して顧客の行動を予測する。ＣＰＵ８は、その顧客の行動予測の結果に基づいた顧客への対応指示を、同じく後述する対応指示テーブルに基づいて、表示装置６に表示してオペレータに伝える。ＣＰＵ８には、一般的な中央演算装置を用いることができる。

記憶部９は、顧客とオペレータとの通話の音声データやＣＰＵ８がそのデータに基づいて顧客やオペレータの感情状態及び顧客の行動予測をするための行動予測プログラム等を記録する。また、記憶部９には、上述した顧客の音声パラメータと感情状態とを関連付けた感情テーブル、顧客の感情状態と行動とを関連付けた行動テーブル及び顧客の感情状態と行動予測との組み合わせに基づいて、顧客への対応の仕方をオペレータに指示する対応指示テーブルをそれぞれ記憶する。記憶部９に記憶されるデータ、プログラム及びテーブル等は、バス１１を介して、ＣＰＵ８から適宜参照することができる。記憶部９には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。

メモリ１０は、ＣＰＵ８が処理する音声データや各種テーブル等のデータを一時記憶する。メモリ１０には、不揮発性メモリ等の半導体メモリを適宜選択して用いることができる。

次に、記憶部９に記憶される感情テーブル、行動テーブル及び対応指示テーブルについて説明する。

最初に、感情テーブルについて説明する。本実施形態では、被験者である顧客の感情状態を、６つのカテゴリーの色で表現して分類する。その６つの色とは、赤（怒り、主張、元気、攻撃的等）、青（哀しみ、悲しみ、慈悲、共感、哀れみ、自滅的逃避等）、黄（喜び、陽気、愛しい、楽しい、慢心、寛容、誇らしい、投げやり、演技のときに他感情の部分で出る、投げやり逃避等）、緑（平常、安らぎ、安心、無心、無関心、作為的、意図的な装い、退屈、依存等）、茶（笑い等）、橙（興奮、エネルギッシュ等）である。なお、かっこ書きには、それぞれの色に含まれる代表的な感情状態を示す。また、このように感情状態を色で表す理由は、言葉からイメージされる感情状態より広く且つ柔軟に表すことが可能となるからである。次に、複数の被験者の各々に、日常会話やテレビドラマ等における発話単位で抽出した音声をランダムな順番で聞かせ、各発話単位の音声から受ける話し手の感情状態について、上記６色のいずれかの色で示してもらった。そして、全ての被験者が示した色が共通した発話単位の音声を抽出し、各発話単位のおける、音声波形及び音声波形から算出できる強度、基本周波数、周波数分布や抑揚等の音声パラメータの値を算出するとともに、音声認識のような音声から言語情報を取得する手段で、感情や心理属性に相当する語彙や構文情報等からくる感情や心理属性に相当する情報を算出した。各音声がそれぞれの色に表される感情状態であると判定された原因を、各音声の複数の音声パラメータの各々がどのような値の範囲に分布し時間変化を示していたか、且つそれらの音声パラメータがどういうような組み合わせの場合であったかを分析した。こうした分析結果に基づいて、各色の感情状態になる条件を、各音声パラメータの値や各種情報の変化や連続性、組み合わせパターン、或いは組み合わせとして関連付けて一覧にしたのが、本実施形態の感情テーブルである。

次に、行動テーブルについて説明する。人の実際の感情状態は、上記６つの色の１つに分類できるほど単純ではなく、それらの色が混ざり合ったものである。ただし、一般的傾向として、一の色の感情状態（第１の感情）が強く現れて、他の色の感情状態がそれぞれ少しずつ現れるという傾向があることが、発明者の研究によって分かった。例えば、黄色のみだと投げやりで興奮レベルが高く、緑色である平常のみだと、興奮の中で思考が停止している状況も分析できる。平常（緑）が高く、怒り（赤）、喜び（黄）、悲しみ（青）及び興奮が少しずつ出た会話が連続すると論理的に安定している可能性がある。一方、第１の感情として赤色が強く現れているところに、黄色の感情が少し現れるような被験者は、高圧的で相手を見下すような感情状態である可能性が高い。また、第１の感情として赤色が強く現れているところに、青色の感情が少し現れている被験者は、相手に対して下手に出ているはいるが怒っている感情状態であることが分かった。そして、こうした色の出現のパターンと感情状態との関係を、実際のコールセンターにおける顧客とオペレータとのやり取りに適用して、各感情状態にある顧客がその後どのような行動を取ったかについて調べた。すると、色の出現の度合いである出現パターンと顧客の行動との間に一定の関連性があることが分かった。そこで、あらゆる色の出現パターンの組み合わせについての確率を算出し、各出現パターンの組み合わせについての確率と顧客の行動とを関連付けて一覧にしたのが、本実施形態の行動テーブルである。

最後に、対応指示テーブルについて説明する。対応指示テーブルは、顧客とオペレータとの通話の分析から決まる顧客の感情状態とその行動予測とに基づいて決まる、顧客への対応の仕方をオペレータに指示する内容を一覧にしたものである。例えば、上述したように、第１の感情として赤色が強く現れているところに、黄色の感情が少し現れている顧客の場合、高圧的で相手を見下すような感情状態であることから、「後々トラブルが発生する危険があります。対応に気をつけましょう。」や「顧客の話を整理して、ＳＶ（スーパーバイザー）につなぎましょう。音声ファイルを録音しましょう。」等のように、オペレータに対して指示する内容が、色の出現パターンの組み合わせについての確率に応じて対応付けられたものである。そのように作成された本実施形態における対応指示テーブルの一例が、図２に示すように、業務毎に様々な要件に応じて、その対応指示内容が決められている。なお、本実施形態における、図２に示す対応指示テーブルの条件欄において、各色に対する数値は、上記音声信号処理によって算出された確率を１０段階の値で表している。興奮値についても、公知の手法に基づいて算出される１０段階の値で表している。また、これら各色の数値及び興奮値は、１０段階の数値で表しているが、百分率等で表しても良い。

次に、本実施形態に係るコールセンターシステム１００について、図３のフローチャートを参照しながら説明する。

顧客が、電話機１から電話網を介してコールセンターシステム１００に電話をかける。顧客の電話機１は交換機２に接続される。交換機２は、顧客に対して、自動音声案内を流す。顧客は、その音声案内に従って電話機１の番号釦を押すことにより、交換機２は、顧客が目的とする総合インフォメーションや販売促進等の部門を担当するいずれかのオペレータへ電話を振り分ける。そして、顧客とオペレータとは通話可能となり、ステップＳ１０１からの処理が行われる。なお、本実施形態では、オペレータは、あらかじめ表示装置６に表示されるログイン画面１００（図４）に、自身のオペレータ番号や部署、及びＳＶからのサポートを受けるためのレベル等の必要事項を、入力装置７を用いて入力して、ＯＫ釦１１０を押してログインするものとする。オペレータがログインすると、オペレータの表示装置６には、図５に示すような顧客及びオペレータの双方の情報を示すオペレータ支援画面２００が表示される。図５に示すオペレータ支援画面２００は、ＣＰＵ８がオペレータと顧客との会話に基づいて算出した複数の音声パラメータ及び感情テーブルに基づいて、顧客やオペレータの興奮値を表示する興奮値表示部２１５及び２２５とともに、６つの色の分布で表示する顧客及びオペレータの心理状態表示部２１０及び２２０を有する。さらに、オペレータ支援画面２００には、それぞれの心理状態及び興奮値と行動テーブルとに基づいて、顧客心理状況及びオペレータ心理状況を表示する心理状況表示部２３０及び２４０を有する。また、オペレータ支援画面２００は、図２に示す対応指示テーブルに基づいて、オペレータ対して指示内容を表示するアクションサポート部２５０、及び会話を録音するための録音操作部２６０を備える。なお、ＣＰＵ８は、あらかじめ感情テーブル、行動テーブル及び対応指示テーブルを記憶部９から読み込み、メモリ１０に記憶するものとする。

ステップＳ１０１：オペレータによって図５の録音操作部２６０の録音開始釦が押されると、ＣＰＵ８は、顧客とオペレータとの通話の音声信号を、Ａ／Ｄ変換部３、入出力Ｉ／Ｆ４及びバス１１を介して、音声データとして受け取りメモリ１０に一時記録するとともに、担当部局の識別子を付加して記憶部９にも同時に記録する。

ステップＳ１０２：ＣＰＵ８は、取得した音声データを、所定の時間間隔で音声の強度、基本周波数及び抑揚等の複数の音声パラメータの値を算出する。ここで、所定の時間間隔とは、２０〜３０秒単位、１分単位、発話単位、或いはセンテンス単位等の間隔を意味し、本実施形態では、発話単位の時間間隔で音声パラメータを求める。また、音声パラメータの数は、顧客の感情状態を分析する精度やＣＰＵ８の処理能力等に応じて決めることができ、本実施形態では、２００〜２０００ほどの音声パラメータを用いた。ＣＰＵ８は、得られた音声パラメータをメモリ１０に記録する。

ステップＳ１０３：ＣＰＵ８は、ステップＳ１０２で算出した発話単位毎の音声パラメータを用いて感情テーブルを参照し、発話単位毎に対応する顧客とオペレータとの感情状態を、それぞれ心理状態表示部２１０及び２２０と興奮値表示部２１５及び２２５とに表示する。ＣＰＵ８は、その色を感情色データとしてメモリ１０に記録する。

ステップＳ１０４：ＣＰＵ８は、ステップＳ１０３で求めた発話単位毎の感情色データを時間軸方向の変化について、行動テーブルに予め学習し用意した色の出現パターンとパターンマッチングを行い、顧客の行動を予測する。

ステップＳ１０５：ＣＰＵ８は、ステップＳ１０２で求めた顧客及びオペレータの感情状態に基づいて、顧客及びオペレータの心理状況を心理状況表示部２３０及び２４０に表示する。同時に、ＣＰＵ８は、ステップＳ１０４で求めた行動の予測結果に基づいて決まる顧客への対応の指示内容を、対応指示テーブルから抽出し、アクションサポート部２５０にその指示内容を表示する。例えば、上述したように顧客の感情状態の第１の感情が赤色で示されて黄色が少し現れている場合であって、そうした顧客の行動として取引上のトラブルが起きやすいと予測される場合、ＣＰＵ８は、対応指示テーブルからそのような状況における指示内容（「後々トラブルが発生する危険があります。対応に気をつけましょう。」等）を抽出し、その指示内容をアクションサポート部２５０に表示して、オペレータに指示する。

ＣＰＵ８は、顧客とオペレータとの通話が確立されている間、ステップＳ１０１〜ステップＳ１０５までの処理を繰り返す。通話が終了した場合、ＣＰＵ８はそれら一連の処理を終了する。そして、ＣＰＵ８は、ステップＳ１０２で求めた感情色データやステップＳ１０４で求めた行動の予測結果のデータを、バス１１を介して記憶部９へ転送し記録する。

このように、本実施形態は、被験者である顧客の感情状態を、オペレータとの通話の音声データをリアルタイムに分析するとともに、その分析に基づいて被験者の行動を予測することにより、オペレータに対して顧客への適切な対応の指示が可能となる。

また、求めた顧客の感情状態及び顧客の行動予測に基づいて、オペレータに顧客への適切な対応の指示を行うことにより、オペレータの負担を軽減することができる。
≪実施形態の補足事項≫
本実施形態では、顧客とオペレータとの通話の音声データをリアルタイムに分析し、顧客とオペレータとの感情状態及びそれに基づいた顧客の行動予測を行ったが、本発明はこれに限定されない。例えば、記憶部９に通話全ての音声データが記録されることから、後日、顧客及びオペレータの感情状態とその時間変化及び最終的な顧客の行動との関係について詳細に分析・検索することができる。そして、その分析・検索の結果を、例えば、図６に示すように、各オペレータにおける顧客とのやり取りにおいて、各オペレータが顧客から受けたストレス及び各オペレータ自身が感じたストレスを一覧にして画面に表示しても良い。或いは、図７に示すように、各オペレータについて、業務毎における顧客とのやり取りにおいて、顧客毎に受けたストレス及びそのオペレータ自身が感じたストレスを一覧にして画面に表示しても良い。なお、後日詳細に分析する場合、音声データを会話単位の間隔で分析するのが好ましい。さらに、その分析に基づいて、感情テーブル及び行動テーブルを更新するようにすれば、顧客の感情状態や行動予測をより精度高く行うことができる。

また、後日、顧客及びオペレータの感情状態とその時間変化及び最終的な顧客の行動との関係について詳細に分析することにより、オペレータの教育等に活用できるだけでなく、オペレータの離職率の低減を図ることが可能となる。また、これにより、オペレータの顧客対応能力を客観的に評価することも可能となる。さらに、オペレータが、どのように顧客に対して対応すれば、商品の購入や会員入会等に応じてくれるかが分かることから、顧客の動向から商品の売り上げや会員数の見積もり等の市場調査に適用することができる。或いは、金融分野において、顧客の感情状態及び顧客の行動予測の結果に基づいて、顧客の信頼性について客観的に評価することができ、顧客の信頼性に応じて融資などの際の融資可能額、ならびに金利を決定するなどして、企業リスクを回避することができる。さらに、株式・投資分野において、顧客の感情状態及び顧客の行動予測の結果に基づいて、株式等の変動の予測に適用することもできる。

なお、本実施形態では、顧客の感情状態及び行動予測に基づいて、顧客への対応をオペレータ支援画面２００のアクションサポート部２５０に表示して、オペレータに指示したが、本発明はこれに限定されない。例えば、顧客及びオペレータの感情状態とその時間変動、及び顧客の行動予測の結果等を示す図５のオペレータ支援画面２００を、上司又はＳＶの表示装置に出力表示させるようにしても良い。これにより、例えば、顧客とともにオペレータが興奮状態にあるような場合、上司又はＳＶの表示装置に表示されるオペレータ支援画面２００を介して警報を発する等を行うことで、上司又はＳＶに知らせる。そして、上司又はＳＶ自らオペレータに対して直接指示等を行うことにより、オペレータによる顧客への不適切な対応を未然に防ぎ、企業リスクを回避することができる。

また、上司又はＳＶの表示装置に表示されるオペレータ支援画面２００とともに、上述した図６や図７の画面も同時に表示することで、各オペレータのストレス状態を監視し、各オペレータの健康管理を行うことができる。

なお、本実施形態では、顧客とオペレータとの通話を１つの音声データとして記録したが、本発明はこれに限定されず、顧客の発話とオペレータの発話とを別々に取得して、記憶部９に記録しても良い。

なお、本実施形態では、被験者の感情状態を、６つの色で表現して分類したが、本発明はこれに限定されず、被験者の感情状態を６色以外の任意の数の色で分類しても良い。新しい感情や心的作用の追加も同様に可能である。色の数は、要求される被験者の感情状態を求める精度やコンピュータ２０の処理能力に応じて決めるのが好ましい。

また、顧客の感情状態のカテゴリーを６つの色で分類する代わりに、本発明はこれに限定されない。例えば、光等の電磁波や音によるトーン、強度、周波数及びスペクトルに基づいて分類しても良い。

なお、本実施形態では、ステップＳ１０３において、算出した発話単位毎の音声パラメータを用いて感情テーブルを参照し、発話単位毎に対応する顧客とオペレータとの感情状態を、オペレータ支援画面２００における、興奮値表示部２１５及び２２５とともに、各色の分布である心理状態表示部２１０及び２２０に表示したが、本発明はこれに限定されない。例えば、光等の電磁波や音によるトーン、強度、周波数及びスペクトルの分布として、顧客やオペレータの心理状態を表示しても良い。或いは、顧客とオペレータとの感情状態を、上記色、光又は音等の分布に基づいて、温度・匂い・振動・言葉・文字・音楽・効果音で、顧客とオペレータとの感情状態を表しても良いし、コンピュータ等にインストールされたエージェントを介して、上記色、光又は音等の分布に基づいて、コンピュータ・グラフィックスで描写される人物等のキャラクタによる表情や背景・アニメーション・仕草等で、顧客とオペレータとの感情状態を表示しても良い。

また、図６及び図７に表示される顧客からのストレスチャート及びオペレータストレスチャートの代わりに、上記色、光又は音等の分布に基づいて、温度・匂い・振動・言葉・文字・音楽・効果音で、顧客とオペレータとの感情状態を表しても良いし、コンピュータ等にインストールされたエージェントを介して、上記色、光又は音等の分布に基づいて、コンピュータ・グラフィックスで描写される人物等のキャラクタによる表情や背景・アニメーション・仕草等で、顧客とオペレータとの感情状態を表示しても良い。

なお、本実施形態では、ステップＳ１０５において、顧客の行動の予測結果に基づいて決まる顧客への対応の指示内容を、対応指示テーブルから抽出し、アクションサポート部２５０にその指示内容を表示したが、本発明はこれに限定されない。例えば、光・温度・匂い・振動・言葉・文字・音楽・効果音で、オペレータに対して指示しても良いし、コンピュータ等にインストールされたエージェントを用いて、コンピュータ・グラフィックスで描写される人物等のキャラクタによる表情や背景・アニメーション・仕草等で、オペレータに対して指示しても良い。

なお、本実施形態では、行動分析装置をコールセンターシステムへ適用した場合を示したが、本発明はこれに限定されない。例えば、行動分析装置をロボットや自動車へ適用、心理カウンセリングや精神医療への適用、一般医療における面接や処方への応用、エンターテイメントやインターネットやケイタイ電話アプリケーションやサービス、検索システムへの応用、金融与信管理システムや行動予測、企業、学校、行政機関、警察や軍事、情報収集活動などでの情報分析、虚偽発見に繋がる心理分析、組織グループ管理への応用、組織の構成員、研究者や従業員、管理者などの心の健康や行動予測を管理するシステムへの応用、住居やオフィス、飛行機や宇宙船といった環境を制御するシステムへの応用、家族や友人の心の状態や行動予測を知るための手段や、音楽や映画配信への応用、一般的な情報検索・情報分析管理・情報処理への応用、顧客感性嗜好マーケット分析などへの応用、これらをネットワークやスタンドアローンで管理するシステムの応用等へ適用することも可能である。例えば、ロボットに適用する場合には、人の発話による人の感情状態及び行動予測に基づいて、それらに対応した発話や行動を行っても良い。また、自動車に適用する場合には、運転者の発話による運転者の感情状態及び行動予測に基づいて、それらに対応した注意喚起等を音声又は表示装置による表示を行ったり、自動車の操作を制限したりすることで、事故等を未然に防ぐようにしても良い。

なお、本実施形態では、表示装置６に図５に示すオペレータ支援画面２００を表示させたが、本発明はこれに限定されず、図８（ａ）又は（ｂ）のような簡易なオペレータ支援画面であっても良い。なお、図８（ｂ）の右側の２つの棒グラフは、例えば、顧客の快・不快のレベルをそれぞれ表示する。

なお、本実施形態では、顧客とオペレータとの通話の音声データを用いて、顧客及びオペレータの感情状態と行動予測を行ったが、本発明はこれに限定されない。例えば、音声認識やカメラでの顔表情認識を用いて感情状態や行動予測を行っても良い。また、顧客本人の確認や行動履歴確認のため、顧客による電話機１でのボタン入力やカード番号、電話番号情報も併せて用いるようにしても良い。

１ 電話機、２ 交換機、３ Ａ／Ｄ変換部、４ 入出力Ｉ／Ｆ、５ ヘッドホン、６ 表示装置、７ 入力装置、８ ＣＰＵ、９ 記憶部、１０ メモリ、１０ バス、２０ コンピュータ、１００ コールセンターシステム

Claims (6)

1. 被験者の発話の音声信号を受け付ける音声入力部と、
   前記音声信号から複数の音声特徴量を算出する演算部と、
   前記被験者の複数の感情の各々と前記複数の音声特徴量とを関連付けた感情テーブル及び前記複数の感情の出現パターンと前記被験者の行動とを関連付けた行動テーブルを記憶する記憶部と、
   前記感情テーブル及び前記行動テーブルを用い、前記複数の音声特徴量に基づいて前記被験者の感情を分析し前記被験者の行動を予測する分析部と、
   前記分析部によって予測された前記被験者の行動の結果を出力表示する表示部と、
   を備えることを特徴とする行動分析装置。
2. 請求項１に記載の行動分析装置において、
   前記感情テーブルは、前記被験者の複数の感情を複数の色で表すことを特徴とする行動分析装置。
3. 請求項２に記載の行動分析装置において、
   前記行動テーブルにおける前記複数の感情の出現パターンは、前記被験者の複数の感情を前記複数の色の度数で表されることを特徴とする行動分析装置。
4. 請求項１ないし請求項３のいずれか１項に記載の行動分析装置において、
   前記記憶部は、
   前記分析部によって予測された前記被験者の感情及び前記被験者の行動と前記被験者への対応を指示する指示内容とを関連付けた対応指示テーブルをさらに有し、
   前記表示部は、
   前記分析部によって予測された前記被験者の感情、前記被験者の行動及び前記対応指示テーブルに基づいて、前記指示内容を出力表示する
   ことを特徴とする行動分析装置。
5. ２人の被験者の発話の音声信号を受け付ける音声入力部と、
   前記音声信号から複数の音声特徴量を算出する演算部と、
   一方の前記被験者の複数の感情の各々と前記複数の音声特徴量とを関連付けた感情テーブル及び前記複数の感情の出現パターンと前記一方の被験者の行動とを関連付けた行動テーブルを記憶する記憶部と、
   前記感情テーブル及び前記行動テーブルを用い、前記複数の音声特徴量に基づいて前記一方の被験者の感情を分析し前記一方の被験者の行動を予測する分析部と、
   他方の被験者に対して、前記分析部によって予測された前記一方の被験者の行動を出力表示する表示部と、
   を備えることを特徴とする行動分析装置。
6. ２人の被験者の発話を音声信号に変換して出力する音声出力部と、
   請求項５に記載の行動分析装置と、
   を備えることを特徴とするコールセンターシステム。
   

Images