JP2018156522A - 情報処理装置、注意喚起方法、およびプログラム - Google Patents

Abstract

【課題】テレフォンオペレータを統轄するスーパーバイザによる、各オペレータの業務支援作業を円滑にする技術を提供する。【解決手段】情報処理装置１０は、顧客とオペレータとの間の通話内容を示す音声データを解析する音声解析部１１０と、オペレータの画像データを解析する画像解析部１２０と、音声データの解析結果と画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、オペレータを管理するスーパーバイザの端末にアラームを出力するアラーム出力部１３０と、を備える。【選択図】図２

Description

本発明は、テレフォンオペレータの業務を支援する技術に関する。

テレフォンオペレータの業務を支援する技術の一例が下記特許文献１に開示されている。下記特許文献１の技術では、まず、顧客とオペレータとの間の会話（音声）を解析することによって顧客およびオペレータの怒りの感情度合が数値化される。それぞれ数値化された感情度合はオペレータを統轄する管理者が使用する端末上に表示され、当該管理者は、端末上に表示される感情度合に基づいて、顧客との通話をオペレータと交代すべきか否かを判断する。そして、顧客との通話をオペレータと交代すべきと判断される場合には、管理者は、顧客の通話先を自身の端末に切り替えるための要求を送信する操作を行い、通話をオペレータから引き継ぐことができる。

また、感情認識に関する技術の一例が下記特許文献２に開示されている。下記特許文献２には、ヒューマノイドエージェントに応用される、画像処理を用いた人物の表情認識技術が開示されている。

特開２０１５−１４１４２８号公報 特開２００５−２９３５３９号公報

コンタクトセンターでは、業務に不慣れなオペレータであっても基本的に一人で業務に携わらなければならないことがある。このようなオペレータによる対応では、顧客と十分にコミュニケーションが取れない可能性が比較的高い。このような場合、一般的には、各オペレータを統轄するスーパーバイザが、コミュニケーション不足によるトラブルが発生する前（トラブルが発生した場合は出来る限り早い段階）にそのオペレータを支援するのが望ましい。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、テレフォンオペレータを統轄するスーパーバイザによる、各オペレータの業務支援作業を円滑にする技術を提供することである。

本発明の情報処理装置は、（１）顧客とオペレータとの間の通話内容を示す音声データを解析する音声解析手段と、（２）前記オペレータの画像データを解析する画像解析手段と、（３）前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力するアラーム出力手段と、を備える。

本発明の注意喚起方法は、コンピュータによって実行される。当該注意喚起方法は、（１）顧客とオペレータとの間の通話内容を示す音声データを解析し、（２）前記オペレータの画像データを解析し、（３）前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力する、ことを含む。

本発明のプログラムは、本発明の注意喚起方法をコンピュータに実行させる。

本発明によれば、テレフォンオペレータを統轄するスーパーバイザが、各オペレータの支援業務を円滑に進めることが可能となる。

コンタクトセンター等で稼働するシステムを概略的に示す図である。 第１実施形態における情報処理装置の機能構成を概念的に示すブロック図である。 情報処理装置のハードウエア構成を概念的に示す図である。 第１実施形態における情報処理装置の処理の流れを例示するフローチャートである。 第２実施形態における情報処理装置の処理の流れを例示するフローチャートである。 第３実施形態における情報処理装置の処理の流れを例示するフローチャートである。 第３実施形態における情報処理装置の処理の流れを例示するフローチャートである。

＜概要説明＞
本発明の概要について図１を用いて説明する。図１は、コンタクトセンター等で稼働するシステムを概略的に示す図である。

まず、顧客端末２０からの通話要求（発呼）が、コンタクトセンターで働くオペレータが使用するオペレータ端末３０に届けられる。オペレータは、オペレータ端末３０上で通話要求に対する応答操作を行う。これにより、顧客端末２０とオペレータ端末３０との間で通信が確立され、オペレータと顧客との通話が可能となる。

情報処理装置１０は、例えば通話録音エンジン（図示せず）などによって生成される、オペレータと顧客との間の通話の音声データを取得する。また、情報処理装置１０は、オペレータ端末３０の近傍に設けられた、或いは、オペレータ端末３０のディスプレイと一体となった撮像装置（図示せず）によって生成される、通話中のオペレータの画像データを取得する。また、情報処理装置１０は、取得された音声データおよび画像データを用いて、オペレータや顧客の感情を認識し、その認識結果を基に必要と判断された場合に、スーパーバイザが使用する管理者端末４０に、支援要請を知らせるアラーム情報を出力する。

管理者端末４０は、情報処理装置１０から出力されたアラーム情報をディスプレイ上に表示するなどして、オペレータから支援要請をスーパーバイザに通知する。スーパーバイザは、このアラーム情報を確認し、オペレータの業務支援（例えば、通話を引き継ぎ、オペレータに変わって顧客に応対するなど）を行う。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［第１実施形態］
〔情報処理装置１０の機能構成〕
図２は、第１実施形態における情報処理装置１０の機能構成を概念的に示すブロック図である。図２に示されるように、本実施形態の情報処理装置１０は、音声解析部１１０と、画像解析部１２０と、アラーム出力部１３０とを有する。

音声解析部１１０は、顧客とオペレータとの間の通話内容を示す音声データを解析し、その解析結果をアラーム出力部１３０に出力する。顧客端末２０とオペレータ端末３０との間で伝達される音声データは、例えば、通話録音エンジン（図示せず）によって記録されており、音声解析部１１０は、通話録音エンジンから音声データを取得することができる。音声解析部１１０は、既知の感情認識技術を用いて、音声データから顧客やオペレータの感情の認識結果を出力することができる。一例として、音声解析部１１０は、音声データを解析することによって当該音声データから抽出可能な各種特徴量に基づいて、音声データにおける話者の感情（例えば、「怒り」や「不満」など）を認識することができる。感情認識に用いる特徴量の具体例としては、例えば、周波数スペクトルの形状（声色）、基本周波数（声の高さ）、音声データの振幅（声の大きさ）、単位時間あたりのモーラ数（話速）などが挙げられる。なお、感情認識に用いる特徴量はここで挙げた例に制限されない。また、音声解析部１１０は、各種感情を連想できる特定のキーワードの出現回数などを、解析結果として出力してもよい。その他にも、音声解析部１１０は、音声データに対する処理において抽出した特徴量に基づいて、感情のレベルを示す情報を解析結果に含めてもよい。

画像解析部１２０は、オペレータの画像データを解析し、その解析結果をアラーム出力部１３０に出力する。オペレータの画像データは、オペレータの顔部分を少なくも含んでおり、顧客端末２０とオペレータ端末３０との間の通信が確立している期間に取得される。なお、オペレータの画像データは、例えば、オペレータ端末３０の近傍に設けられた、或いは、オペレータ端末３０のディスプレイと一体化されたＷｅｂカメラなどの撮像装置（図示せず）を用いて取得することができる。画像解析部１２０は、オペレータの顔部分を少なくとも含む画像データに対して、例えば既知の画像処理アルゴリズムを適用することにより、オペレータの表情や仕草を認識することができる。そして、画像解析部１２０は、認識した表情や仕草に対応する感情（例えば、視線が頻繁に動く仕草が認識された場合には「動揺」、眉尻を下げる表情が認識された場合には「困惑」、眉尻を上げる表情が認識された場合には「怒り」など）を解析結果として出力する。また、音声解析部１１０は、画像データに対する処理において抽出した特徴量の大きさに基づいて、各感情のレベルを示す情報を解析結果に含めることもできる。

アラーム出力部１３０は、音声解析部１１０による音声データの解析結果と、画像解析部１２０による画像データの解析結果の少なくとも一方が、所定のアラーム出力条件を満たしているか否かを判定する。アラーム出力条件は、スーパーバイザによる業務支援の要否と判断するための条件である。アラーム出力条件の具体例としては、例えば、「特定の感情（例：怒り、動揺、困惑など）が検出されたか否か」や「特定の感情のレベルが基準を超えたか否か」などが挙げられる。アラーム出力部１３０は、音声データの解析結果および画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、各データに対応するオペレータを管理する立場にあるスーパーバイザの端末にアラーム情報を出力する。アラーム情報は、オペレータを識別可能な情報（オペレータの名称など）を少なくとも含む。スーパーバイザがアラーム情報の緊急性を把握できるようにするため、アラーム出力部１３０は、音声データおよび画像データの解析結果をアラーム情報に含めてもよい。

〔ハードウエア構成〕
情報処理装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、情報処理装置１０のハードウエア構成を概念的に示す図である。図３に示されるように、情報処理装置１０は、バス１０１、プロセッサ１０２、メモリ１０３、ストレージデバイス１０４、入出力インタフェース１０５、及びネットワークインタフェース１０６を含んで構成される。

バス１０１は、プロセッサ１０２、メモリ１０３、ストレージデバイス１０４、入出力インタフェース１０５、及びネットワークインタフェース１０６が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２、メモリ１０３、ストレージデバイス１０４、入出力インタフェース１０５、及びネットワークインタフェース１０６などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算装置である。メモリ１０３は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどを用いて実現される補助記憶装置である。

ストレージデバイス１０４は、情報処理装置１０の各機能構成部（音声解析部１１０、画像解析部１２０、およびアラーム出力部１３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２は、これら各プログラムモジュールをメモリ１０３に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

入出力インタフェース１０５は、情報処理装置１０と周辺機器（図示せず）とを接続するためのインタフェースである。キーボードやマウスといった入力用デバイス、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイといった出力用デバイスが、入出力インタフェース１０５を介して接続され得る。

ネットワークインタフェース１０６は、情報処理装置１０を各種通信網に接続するためのインタフェースである。この通信網は、例えば社内ネットワーク７０（社内ＬＡＮ（Local Area Network））などである。図３に示されるように、情報処理装置１０は、ネットワークインタフェース１０６を介して通信網に接続することで、オペレータ端末３０、撮像装置３２、管理者端末４０、通話録音エンジン６０などと通信することができる。なお、通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

オペレータ端末３０は、各オペレータが業務に利用する端末である。少なくとも１台以上のオペレータ端末３０が社内ネットワーク７０に接続される。オペレータ端末３０は、キーボードやマウスといった入力用デバイス、および、情報表示用のディスプレイ装置と共に、顧客との通話を行うための通話装置（例えば、ヘッドセットなど）を備える。

撮像装置３２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを備え、オペレータの顔部分を撮像範囲に含むように配置される。撮像装置３２は、１人のオペレータに対して少なくとも１台用意される。撮像装置３２は、例えば外付け型のＷｅｂカメラ等であり、オペレータの座席付近を撮像範囲に含むように配置される。また、撮像装置３２は、オペレータ端末３０のディスプレイと一体的に構成されていてもよい。撮像装置３２は、例えば、顧客端末２０とオペレータ端末３０との間の通信の確立および切断と連動して、オペレータ端末３０の顔部分を含む画像データの生成を開始および終了する。撮像装置３２により生成される画像データには、画像内のオペレータを識別可能な情報（例えば、撮像装置３２の識別情報、リストなどによって撮像装置３２と予め対応付けられたオペレータ端末３０やオペレータの識別情報など）が付与される。情報処理装置１０は、撮像装置３２より生成されたオペレータの画像データは、情報処理装置１０または図示しないファイルサーバ等に送信される。画像解析部１２０に対する入力として利用される。

管理者端末４０は、少なくとも１人以上のオペレータを統轄するスーパーバイザが業務に利用する端末である。少なくとも１台以上の管理者端末４０が社内ネットワーク７０に接続される。管理者端末４０は、キーボードやマウスといった入力用デバイス、および、顧客情報等を表示するディスプレイ装置を備える。また、管理者端末４０は、顧客との通話をオペレータから引き継ぐ際に使用する通話装置（例えば、ヘッドセットなど）を備えていてもよい。情報処理装置１０のアラーム出力部１３０から出力されるアラームは、社内ネットワーク７０を介して管理者端末４０に送信され、管理者端末４０のディスプレイに表示される。

交換機５０は、顧客端末２０からの発呼をＰＳＴＮ（Public Switched Telephone Networks）８０経由で受け取り、着呼可能な状態のオペレータ端末３０に発呼を転送する。発呼の転送先のオペレータ端末３０においてオペレータが着呼操作を行うと、そのオペレータ端末３０と顧客端末２０との間で通信が確立し、顧客とオペレータとの間で通話が可能となる。

通話録音エンジン６０は、通信が確立した顧客端末２０とオペレータ端末３０との間で伝送される音声データを捕捉する。通話録音エンジン６０によって捕捉された音声データは、音声解析部１１０に対する入力として利用される。通話録音エンジン６０は、音声データを捕捉する際、通話のセッション情報などから顧客およびオペレータを識別可能な情報を取得して、音声データに対応付ける。そして、通話録音エンジン６０は、顧客およびオペレータを識別可能な情報を付加した音声データを情報処理装置１０に送信する。なお、通話録音エンジン６０は、捕捉した音声データを、例えば図示しないファイルサーバに出力するように構成されていてもよい。この場合、情報処理装置１０は、ファイルサーバを介して音声データを取得することができる。

なお、図３に示されるハードウエア構成は、あくまで一例であり、本発明は図３の例に制限されない。例えば、音声解析部１１０、画像解析部１２０、及びアラーム出力部１３０の機能が、複数の情報処理装置１０に分散または多重化されていてもよい。その他にも、顧客端末からの発呼に応じて当該顧客端末に対応する顧客情報を読み出し、オペレータ端末３０に送信するＣＴＩ（Computer Telephony Integration）サーバが備えられていてもよい。

〔動作例〕
図４を用いて、第１実施形態における情報処理装置１０の動作例を説明する。図４は、第１実施形態における情報処理装置１０の処理の流れを例示するフローチャートである。

音声解析部１１０は、顧客とオペレータとの間の会話の音声データを取得する（Ｓ１０２）。音声データは、顧客端末２０とオペレータ端末３０との間を流れており、例えば通話録音エンジン６０によって捕捉される。なお、音声データの捕捉時に、顧客およびオペレータを識別可能な情報が対応付けられる。音声解析部１１０は、通話録音エンジン６０から直接、或いは、図示しないファイルサーバ経由で、音声データを取得することができる。そして、音声解析部１１０は、Ｓ１０２で取得した音声データを解析する（Ｓ１０４）。音声解析部１１０は、解析を行った音声データに対応付けられている顧客およびオペレータを識別可能な情報を含めて、Ｓ１０４の解析結果をアラーム出力部１３０に出力する。

画像解析部１２０は、顧客との通話時に撮影されたオペレータの画像データを取得する（Ｓ１０６）。オペレータの画像データは、例えば、顧客端末２０との通信の確立をトリガとして撮像装置３２により生成される。なお、画像データには、画像内のオペレータを識別可能な情報が付与される。画像解析部１２０は、撮像装置３２（又は撮像装置３２が組み込まれたオペレータ端末３０）から直接、或いは、図示しないファイルサーバ経由で、オペレータの画像データを取得することができる。そして、画像解析部１２０は、Ｓ１０６で取得した画像データを解析する（Ｓ１０８）。画像解析部１２０は、解析を行った画像データに対応付けられているオペレータを識別可能な情報を含めて、Ｓ１０６の解析結果をアラーム出力部１３０に出力する。

アラーム出力部１３０は、音声解析部１１０から出力された音声データの解析結果および画像解析部１２０から出力された画像データの解析結果のそれぞれをアラーム出力条件と比較して、管理者端末４０にアラームを出力すべきか否かを判定する（Ｓ１１０）。一例として、アラーム出力部１３０は、次のように動作することができる。まず、アラーム出力部１３０は、音声データの解析結果と、音声データの解析結果に対する第１の出力条件とを比較する。また、アラーム出力部１３０は、画像データの解析結果と、画像データの解析結果に対する第２の出力条件とを比較する。ここで、それぞれの解析結果が何らかのスコアとして算出される場合、第１および第２の出力条件は例えば当該スコアに関して定義される閾値であり、例えばメモリ１０３やストレージデバイス１０４などに予め記憶される。そして、第１および第２の出力条件のうちの少なくとも一方が満たされる場合に、アラーム出力部１３０は、管理者端末４０にアラームを出力すべきと判断する。なお、アラーム出力部１３０は、例えば、各解析結果に含められたオペレータを識別可能な情報に基づいて、音声データの解析結果と画像データの解析結果との対応関係を把握することができる。

音声データの解析結果と画像データの解析結果のいずれもアラーム出力条件を満たさない場合（Ｓ１１０：ＮＯ）、以降の処理は実行されない。なお、その後において新たな音声データおよび画像データが取得されると、上述のアラーム出力を判定する処理が実行される。

一方、音声データの解析結果と画像データの解析結果のうち、少なくとも一方がアラーム出力条件を満たす場合（Ｓ１１０：ＹＥＳ）、アラーム出力部１３０はアラーム情報を生成する（Ｓ１１２）。アラーム出力部１３０は、例えば、オペレータを識別可能な情報と共に、音声データおよび画像データの解析結果（例えば、オペレータや顧客の感情およびその感情のレベルなど）を含むアラーム情報を生成することができる。

そして、アラーム出力部１３０は管理者端末４０に対してアラーム情報を出力する（Ｓ１１４）。アラーム出力部１３０は、スーパーバイザとオペレータとの対応関係を示す情報を用いて、アラームの出力先を特定することができる。一例として、アラーム出力部１３０は、管理者端末４０の宛先情報（ＩＰ（Internet Protocol）アドレスなど）とオペレータを識別可能な情報とを互いに対応付けたテーブルなどを用いて、アラーム情報の出力先とする管理者端末４０を特定することができる。このテーブルは、例えばメモリ１０３やストレージデバイス１０４などに予め記憶されている。アラーム出力部１３０は、各解析結果に紐付けられたオペレータを識別可能な情報を用いてテーブルを参照することにより、そのオペレータに対応するスーパーバイザの管理者端末４０（即ち、アラーム情報の出力先とする管理者端末４０）を特定することができる。

〔作用・効果〕
以上、本実施形態では、音声データの解析結果と画像データの解析結果を基にアラーム情報の出力要否が客観的に判断され、アラーム情報の出力が必要と判断された場合には、スーパーバイザの使用する管理者端末４０にアラーム情報が自動的に出力される。これにより、オペレータが自身の主観で支援要請を意図的に行わない、或いは、余裕のない状況によってオペレータが支援要請を失念しているといった理由により、非常事態のアラームがスーパーバイザに届かないといった問題を回避できる。そして、管理者端末４０に対して自動的に出力されるアラーム情報に基づいて、スーパーバイザがオペレータの業務支援作業を円滑に進めることが可能となる。

また、テレフォンオペレータは、接客業の一種であるが、基本的に顧客と顔を合わせることがない。このテレフォンオペレータの業務環境に鑑みて、オペレータの感情は、音声よりも表情や仕草に表れやすいと言える。そこで、本実施形態における情報処理装置１０は、オペレータの表情や仕草が分かる画像データをオペレータの感情認識に利用している。これにより、音声データのみを用いる場合と比較してオペレータの感情の認識精度が向上し、より好ましいタイミングでアラームの出力することが可能となる。つまり、本実施形態の情報処理装置１０によれば、スーパーバイザによるオペレータの業務支援作業をより円滑に進めることが可能となる。

〔第１実施形態の変形例〕
通話録音エンジン６０は、顧客端末２０とオペレータ端末３０との間で捕捉した音声データを、顧客の発話に応じて生成されるデータとオペレータの発話に応じて生成されるデータとに分割して記憶することもできる。一例として、通話録音エンジン６０は、顧客端末２０とオペレータ端末３０との間の通信経路を流れる音声データ（電気信号）の向きに基づいて、当該音声データが顧客の発話に応じて生成されたデータかオペレータの発話に応じて生成されたデータかを判別することができる。音声データが顧客の発話データとオペレータの発話データとに分けて記憶されている場合において、音声解析部１１０は、上述のＳ１０４の処理で、オペレータの発話データは解析せずに、顧客の発話データのみを解析するように構成されていてもよい。上述したように、テレフォンオペレータの業務環境に鑑みて、オペレータの感情は、音声よりも表情や仕草に表われやすい。つまり、画像データは、音声データよりもオペレータの感情を認識しやすい。本変形例によれば、音声データの解析処理にかかる負荷を低減すると共に、上述したような効果を得ることができる。

また、アラーム出力部１３０は、顧客とオペレータとの通話時間が所定の閾値以上である場合に、音声解析部１１０による音声データの解析結果と、画像解析部１２０による画像データの解析結果とを用いて、アラーム情報を出力するか否かを判定してもよい。所定の閾値は、例えば、情報処理装置１０のメモリ１０３やストレージデバイス１０４に予め記憶されている。アラームを出力する条件に「オペレータと顧客との通話時間の長さ」という新たな条件を加えることによって、多数のアラーム情報が集中してスーパーバイザによる業務支援作業が却って阻害されてしまうことを防止できる。また、この場合において、アラーム出力部１３０は、通話時間に対する閾値を、オペレータの属性情報を用いて変更してもよい。オペレータの属性情報は、例えば、情報処理装置１０のメモリ１０３やストレージデバイス１０４に予め記憶されており、アラーム出力部１３０は、メモリ１０３やストレージデバイス１０４を参照してオペレータの属性情報を取得することができる。また、オペレータの属性情報は、オペレータの習熟度（例えば、新人／中堅／ベテランといったオペレータのランクやオペレータの実務経験の長さ（勤続年数）など）を示す情報である。一般的に、オペレータの習熟度が低いほどコミュニケーション不足となる可能性が高まるため、アラーム出力部１３０は、オペレータの習熟度が低いほど、通話時間に対する閾値を短く設定する。これにより、習熟度の低いオペレータからのアラーム情報ほど早く出力されるようになるため、スーパーバイザが習熟度の低いオペレータをより早い段階で支援することが可能となる。

［第２実施形態］
本実施形態は、以下の点を除き、第１実施形態と同様である。

〔機能構成〕
本実施形態の情報処理装置１０は、第１実施形態と同様の機能構成（例：図２）を有する。本実施形態のアラーム出力部１３０は、各アラーム情報の優先度を決定し、当該アラーム情報の優先度をスーパーバイザの管理者端末４０に通知する。

例えば、アラーム出力部１３０は、音声データの解析結果および画像データの解析結果の双方がアラーム出力条件を満たしている場合の優先度を、それらのいずれか一方がアラーム出力条件を満たしている場合の優先度よりも高く設定してもよい。その他の例として、アラーム出力部１３０は、出力するアラーム情報に関連するオペレータの属性情報を更に取得し、当該オペレータの属性情報を用いてアラームの優先度を設定してもよい。オペレータの属性情報は、オペレータの習熟度（例えば、新人／中堅／ベテランといったオペレータのランクやオペレータの実務経験の長さ（勤続年数）など）を示す情報である。一般的に、オペレータの習熟度が低いほどコミュニケーション不足となる可能性が高まるため、アラーム出力部１３０は、習熟度が低いオペレータに関するアラーム情報ほど高い優先度を設定して、管理者端末４０に通知する。

また、アラーム出力部１３０は、アラーム情報の優先度を、音声データおよび画像データの解析結果（例えば、感情のレベル）に基づく絶対的な評価値として決定してもよい。また、アラーム出力部１３０は、アラーム情報の優先度を、他のアラーム情報と比較したときの相対的な評価値として決定してもよい。この場合、情報処理装置１０は、例えば、管理者端末４０に表示中のアラーム情報（未解決のアラーム情報）を管理するリストをストレージデバイス１０４などに保持しておき、当該リストのアラーム情報との比較によって、相対的な評価値を求めることができる。

なお、あるオペレータからのアラーム情報が管理者端末４０に出力されたとしても、スーパーバイザが即座に対応できるとは限らない。この場合、顧客とオペレータの会話はそのまま継続される。この場合、会話を継続しているうちに状況が変わり、アラーム情報の緊急性（優先度）が変動することもある。アラーム出力部１３０は、管理者端末４０に出力したアラーム情報の優先度をこのような状況の変化に応じて更新するように構成されていてもよい。

アラーム情報の優先度を変える指標の一例として、顧客とオペレータとの通話時間が利用できる。通話時間は、顧客の抱える問題がオペレータの応対によっても解消できていない状態が継続している期間を示すとも言える。通話が長引いている場合には、顧客とオペレータとの間でコミュニケーション不足等の問題が発生していることが疑われる。この点に鑑みて、アラーム出力部１３０は、顧客とオペレータとの通話時間に応じて、出力したアラーム情報の優先度を更新してもよい。具体的には、アラーム出力部１３０は、顧客とオペレータとの通話時間の長さに応じて、該オペレータに関連付けて管理者端末４０に出力したアラーム情報の優先度を高くする。なお、顧客とオペレータとの通話時間は、例えば顧客端末２０とオペレータ端末３０との間のセッション情報などから取得することができる。

また、アラーム情報の優先度を変える指標の他の例として、アラーム情報を出力した後の会話における、顧客またはオペレータの特定感情の変化が利用できる。例えば、コミュニケーション不足によって、顧客の怒りや不満といった特定感情が強まる、或いは、オペレータの動揺や困惑といった特定感情が強まることもある。また例えば、コミュニケーションが上手く取れたことにより、顧客の怒りや不満といった特定感情が弱まる、或いは、オペレータの動揺や困惑といった特定感情が弱まることもある。なお、前者の場合には、管理者端末４０にアラーム情報を出力したときよりも緊急性が増加していると言える。また、後者の場合には、管理者端末４０にアラーム情報を出力したときよりも緊急性が減少していると言える。この点に鑑みて、アラーム出力部１３０は、音声データの解析結果の変化、または、画像データの解析結果の変化に基づいて、アラーム情報の優先度を更新してもよい。例えば、アラーム出力部１３０は、顧客とオペレータとの会話の音声データの解析結果又はオペレータの画像データの解析結果の変化から、状況が悪化していると判別できる場合（例えば、顧客やオペレータの特定感情が強まった場合）、当該オペレータに関連付けて管理者端末４０に出力したアラームの優先度を高くする。また、アラーム出力部１３０は、顧客とオペレータとの会話の音声データの解析結果又はオペレータの画像データの解析結果の変化から、状況が改善していると判別できる場合（例えば、顧客やオペレータの特定感情が弱まった場合）、当該オペレータに関連付けて管理者端末４０に出力したアラームの優先度を低くする。

〔ハードウエア構成〕
本実施形態の情報処理装置１０は、第１実施形態と同様のハードウエア構成（例：図３）を有する。本実施形態のストレージデバイス１０４は、上述のアラーム出力部１３０の機能を実現するプログラムモジュールを更に記憶しており、プロセッサ１０２がこのプログラムモジュールを実行することによって、上述の本実施形態の機能が実現される。

〔動作例〕
本実施形態における情報処理装置１０の動作例について、図５を用いて説明する。図５は、第２実施形態における情報処理装置１０の処理の流れを例示するフローチャートである。以下では、第１実施形態で例示した処理フロー（図４）をベースとして、第１実施形態と異なる処理（Ｓ２０２、Ｓ２０４）について主に説明する。

音声データの解析結果と画像データの解析結果のうち、少なくとも一方がアラーム出力条件を満たす場合（Ｓ１１０：ＹＥＳ）、アラーム出力部１３０は、音声データの解析結果および画像データの解析結果に基づいて、アラーム情報を生成すると共にそのアラーム情報に対して設定する優先度を決定する（Ｓ２０２）。アラーム出力部１３０は、例えば、音声データの解析結果および画像データの解析結果の双方がアラーム出力条件を満たしている場合、それらのいずれか一方がアラーム出力条件を満たしている場合よりも高い優先度をアラーム情報に設定する。また、解析結果に感情のレベルを示す情報が含まれている場合、アラーム出力部１３０は、その感情のレベルに応じた優先度をアラーム情報に設定してもよい。また、アラーム情報に設定される優先度は、音声データおよび画像データの解析結果に基づく絶対的な評価値であってもよいし、他のアラーム情報と比較したときの相対的な評価値であってもよい。そして、アラーム出力部１３０は、Ｓ２０２で生成されたアラーム情報と、そのアラーム情報に対して設定された優先度を示す情報と共に、管理者端末４０に出力する（Ｓ２０４）。

以上、本実施形態では、アラーム情報が、優先度を示す情報と共に管理者端末４０に出力される。このアラーム情報の優先度に基づいて、管理者端末４０はアラーム情報の表示態様を変えることができる。管理者端末４０は、例えば、字体、文字色、背景色、特定のマークなど、優先度を視認可能な情報を併せて表示することが可能となる。これにより、スーパーバイザが、どのアラームを優先すべきかを容易に把握することができる。結果として、スーパーバイザによるオペレータの業務支援作業をより円滑に進めることが可能となる。

［第３実施形態］
第２実施形態でも述べたように、アラーム情報の緊急性は、時間と共に変動し得る。例えば、コミュニケーションが上手く取れたことによって、顧客の怒りや不満といった特定感情が弱まる、或いは、オペレータの動揺や困惑といった特定感情が弱まり、その結果、スーパーバイザによる業務支援が不要となることもある。この場合、管理者端末４０に出力されたアラーム情報は不要となる。本実施形態では、不要となったアラーム情報を取り下げる機能を更に有する情報処理装置１０について説明する。

〔機能構成〕
本実施形態の情報処理装置１０は、第１実施形態と同様の機能構成（例：図２）を有する。本実施形態のアラーム出力部１３０は、アラームの出力後、音声データの解析結果および画像データの解析結果の変化に基づいて、スーパーバイザが使用する管理者端末４０に出力したアラームを取り下げる。アラーム出力部１３０は、例えば、音声データの解析結果および画像データの解析結果が変化した結果、そのいずれもが所定のアラーム出力条件を満たさなくなった場合に、対応するアラーム情報の取り下げ通知を管理者端末４０に出力する。

〔ハードウエア構成〕
本実施形態の情報処理装置１０は、第１実施形態と同様のハードウエア構成（例：図３）を有する。本実施形態のストレージデバイス１０４は、上述のアラーム出力部１３０の機能を実現するプログラムモジュールを更に記憶しており、プロセッサ１０２がこのプログラムモジュールを実行することによって、上述の本実施形態の機能が実現される。

〔動作例〕
本実施形態における情報処理装置１０の動作例について、図６および図７を用いて説明する。図６および図７は、第３実施形態における情報処理装置１０の処理の流れを例示するフローチャートである。以下では、第１実施形態で例示した処理フロー（図４）をベースとして、第１実施形態と異なる処理（Ｓ３０２、Ｓ３０４、Ｓ３０６）について主に説明する。

音声データの解析結果と画像データの解析結果のうち、少なくとも一方がアラーム出力条件を満たす場合（Ｓ１１０：ＹＥＳ）、アラーム出力部１３０は、アラーム情報を生成して管理者端末４０に出力する（Ｓ１１２、Ｓ１１４）。この処理は、図４で説明したとおりである。そして、アラーム出力部１３０は、アラーム情報を出力した後、当該出力したアラーム情報に関連するオペレータを識別可能な情報を所定のリストに記憶する（Ｓ３０２）。この所定のリストは、現在、管理者端末４０上にアラーム情報を出力し、スーパーバイザによる作業支援を待っている状態のオペレータを管理するリストであり、例えば、メモリ１０３やストレージデバイス１０４などに記憶される。なお、Ｓ１１０の判定処理で用いられた解析結果が、このリストに既に記憶されているオペレータのものである場合、Ｓ３０２の処理は実行されない。

一方、音声データの解析結果と画像データの解析結果のいずれもアラーム出力条件を満たさない場合（Ｓ１１０：ＮＯ）、アラーム出力部１３０は、Ｓ１１０の判定処理で用いられた解析結果が所定のリストに既に記憶されているオペレータのものか否かを更に判定する（Ｓ３０４）。具体的には、アラーム出力部１３０は、Ｓ１１０の判定処理で用いられた解析結果に紐付けられたオペレータを識別可能な情報と、メモリ１０３やストレージデバイス１０４などに記憶された所定のリストに記憶されたオペレータを識別可能な情報とを突合させる。

突合の結果、リスト上で対応するオペレータの情報が見つからなかった場合（Ｓ３０４：ＮＯ）、以降の処理は実行されない。なお、その後において新たな音声データおよび画像データが取得されると、上述のアラーム出力を判定する処理が実行される。

突合の結果、リスト上で対応するオペレータの情報が見つかった場合（Ｓ３０４：ＹＥＳ）、アラーム出力部１３０は、そのオペレータに関するアラーム情報の取消通知を管理者端末４０に出力する。取消通知は、取消対象のアラーム情報を特定可能な情報（例えば、オペレータ毎に一意に割り当てられた識別子や、アラーム情報毎に一意に割り当てられた識別子など）を含む。

以上、本実施形態では、音声データの解析結果および画像データの解析結果が、スーパーバイザによる業務支援が必要ないレベルまで変化した場合に、管理者端末４０に対してアラーム情報の取消通知が出力される。これにより、管理者端末４０は、受信したアラーム情報であって、業務支援の必要がないオペレータに関するアラーム情報を、管理者端末４０のディスプレイから除去することができる。これにより、真に業務支援が必要なアラーム情報のみが管理者端末４０のディスプレイ上に残るため、スーパーバイザによるオペレータの業務支援作業の効率が向上する。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
顧客とオペレータとの間の通話内容を示す音声データを解析する音声解析手段と、
前記オペレータの画像データを解析する画像解析手段と、
前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力するアラーム出力手段と、
を備える情報処理装置。
２．
前記音声解析手段は、前記音声データのうち、前記顧客の発話データのみを解析する、
１．に記載の情報処理装置。
３．
前記アラーム出力手段は、前記アラームの優先度を決定し、当該アラームの優先度を前記スーパーバイザの端末に通知する、
１．または２．に記載の情報処理装置。
４．
前記アラーム出力手段は、前記音声データの解析結果と前記画像データの解析結果の双方が前記アラーム出力条件を満たしている場合に出力するアラームの優先度を、一方のみが前記アラーム出力条件を満たしている場合に出力するアラームの優先度よりも高く設定する、
３．に記載の情報処理装置。
５．
前記アラーム出力手段は、前記オペレータの属性情報を取得し、当該オペレータの属性情報を用いて前記アラームの優先度を設定する、
３．または４．に記載の情報処理装置。
６．
前記アラーム出力手段は、前記顧客と前記オペレータとの通話時間、前記音声データの解析結果の変化、又は、前記画像データの解析結果の変化に基づいて、前記スーパーバイザの端末に出力したアラームの優先度を更新する、
３．から５．のいずれか１つに記載の情報処理装置。
７．
前記アラーム出力手段は、前記顧客と前記オペレータとの通話時間が所定の閾値以上の場合に、前記音声データの解析結果および前記画像データの解析結果を用いて前記アラームを出力するか否かを判断する、
１．から６．のいずれか１つに記載の情報処理装置。
８．
前記アラーム出力手段は、前記オペレータの属性情報を取得し、当該オペレータの属性情報を用いて前記閾値を変える、
７．に記載の情報処理装置。
９．
前記アラーム出力手段は、前記アラームの出力後、前記音声データの解析結果および前記画像データの解析結果の変化に基づいて、前記スーパーバイザの端末に出力した前記アラームを取り下げる、
１．から８．のいずれか１つに記載の情報処理装置。
１０．
コンピュータによって実行される注意喚起方法であって、
顧客とオペレータとの間の通話内容を示す音声データを解析し、
前記オペレータの画像データを解析し、
前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力する、
ことを含む注意喚起方法。
１１．
前記音声データのうち、前記顧客の発話データのみを解析する、
ことを含む１０．に記載の注意喚起方法。
１２．
前記アラームの優先度を決定し、当該アラームの優先度を前記スーパーバイザの端末に通知する、
ことを含む１０．または１１．に記載の注意喚起方法。
１３．
前記音声データの解析結果と前記画像データの解析結果の双方が前記アラーム出力条件を満たしている場合に出力するアラームの優先度を、一方のみが前記アラーム出力条件を満たしている場合に出力するアラームの優先度よりも高く設定する、
ことを含む１２．に記載の注意喚起方法。
１４．
前記オペレータの属性情報を取得し、当該オペレータの属性情報を用いて前記アラームの優先度を設定する、
ことを含む１２．または１３．に記載の注意喚起方法。
１５．
前記顧客と前記オペレータとの通話時間、前記音声データの解析結果の変化、又は、前記画像データの解析結果の変化に基づいて、前記スーパーバイザの端末に出力したアラームの優先度を更新する、
ことを含む１２．から１４．のいずれか１つに記載の注意喚起方法。
１６．
前記顧客と前記オペレータとの通話時間が所定の閾値以上の場合に、前記音声データの解析結果および前記画像データの解析結果を用いて前記アラームを出力するか否かを判断する、
ことを含む１０．から１５．のいずれか１つに記載の注意喚起方法。
１７．
前記オペレータの属性情報を取得し、当該オペレータの属性情報を用いて前記閾値を変える、
ことを含む１６．に記載の注意喚起方法。
１８．
前記アラームの出力後、前記音声データの解析結果および前記画像データの解析結果の変化に基づいて、前記スーパーバイザの端末に出力した前記アラームを取り下げる、
ことを含む１０．から１７．のいずれか１つに記載の注意喚起方法。
１９．
コンピュータに、１０．から１８のいずれか１つに記載の注意喚起方法を実行させるプログラム。

１０ 情報処理装置
１０１ バス
１０２ プロセッサ
１０３ メモリ
１０４ ストレージデバイス
１０５ 入出力インタフェース
１０６ ネットワークインタフェース
１１０ 音声解析部
１２０ 画像解析部
１３０ アラーム出力部
２０ 顧客端末
３０ オペレータ端末
３２ 撮像装置
４０ 管理者端末
５０ 交換機
６０ 通話録音エンジン
７０ 社内ネットワーク

Claims (11)

1. 顧客とオペレータとの間の通話内容を示す音声データを解析する音声解析手段と、
   前記オペレータの画像データを解析する画像解析手段と、
   前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力するアラーム出力手段と、
   を備える情報処理装置。
2. 前記音声解析手段は、前記音声データのうち、前記顧客の発話データのみを解析する、
   請求項１に記載の情報処理装置。
3. 前記アラーム出力手段は、前記アラームの優先度を決定し、当該アラームの優先度を前記スーパーバイザの端末に通知する、
   請求項１または２に記載の情報処理装置。
4. 前記アラーム出力手段は、前記音声データの解析結果と前記画像データの解析結果の双方が前記アラーム出力条件を満たしている場合に出力するアラームの優先度を、一方のみが前記アラーム出力条件を満たしている場合に出力するアラームの優先度よりも高く設定する、
   請求項３に記載の情報処理装置。
5. 前記アラーム出力手段は、前記オペレータの属性情報を取得し、当該オペレータの属性情報を用いて前記アラームの優先度を設定する、
   請求項３または４に記載の情報処理装置。
6. 前記アラーム出力手段は、前記顧客と前記オペレータとの通話時間、前記音声データの解析結果の変化、又は、前記画像データの解析結果の変化に基づいて、前記スーパーバイザの端末に出力したアラームの優先度を更新する、
   請求項３から５のいずれか１項に記載の情報処理装置。
7. 前記アラーム出力手段は、前記顧客と前記オペレータとの通話時間が所定の閾値以上の場合に、前記音声データの解析結果および前記画像データの解析結果を用いて前記アラームを出力するか否かを判断する、
   請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記アラーム出力手段は、前記オペレータの属性情報を取得し、当該オペレータの属性情報を用いて前記閾値を変える、
   請求項７に記載の情報処理装置。
9. 前記アラーム出力手段は、前記アラームの出力後、前記音声データの解析結果および前記画像データの解析結果の変化に基づいて、前記スーパーバイザの端末に出力した前記アラームを取り下げる、
   請求項１から８のいずれか１項に記載の情報処理装置。
10. コンピュータによって実行される注意喚起方法であって、
    顧客とオペレータとの間の通話内容を示す音声データを解析し、
    前記オペレータの画像データを解析し、
    前記音声データの解析結果と前記画像データの解析結果の少なくとも一方が所定のアラーム出力条件を満たしたときに、前記オペレータを管理するスーパーバイザの端末にアラームを出力する、
    ことを含む注意喚起方法。
11. コンピュータに、請求項１０に記載の注意喚起方法を実行させるプログラム。

Images