JP2019029984A - 情報処理装置、情報処理方法、映像データ、プログラム、及び情報処理システム - Google Patents

Abstract

【課題】オペレータの業務を直接的に支援することが可能な情報処理装置等を提供する。【解決手段】顧客端末は、顧客の撮像画像及び発話音声と、顧客がオペレータと対話する内容（対話情報）とを取得してオペレータ端末へ送信する。情報処理装置は、顧客端末からオペレータ端末へ送信される顧客の撮像画像、発話音声及び対話情報を受信し、受信した撮像画像、発話音声及び対話情報に基づいて、顧客の感情を推定してオペレータ端末へ送信する。オペレータ端末は、顧客端末から送信される顧客の撮像画像、発話音声及び対話情報を受信し、受信した撮像画像及び対話情報を表示し、受信した発話音声を音声出力しつつ、情報処理装置から受信する顧客の感情を表示する。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、映像データ、プログラム、及び情報処理システムに関する。

顧客が商品やサービスに関する問合せや要望等を行うことができるコールセンター又はコンタクトセンターが設置されている。
特許文献１には、コールセンター等において顧客と対話するオペレータのストレスを検知し、オペレータのストレスを軽減する技術が開示されている。

特開２０１６−１７９０５４号公報

コールセンター等において、より効率的に運営できる技術が要望されている。
しかし、特許文献１に開示された技術では、オペレータのストレスの軽減は可能であるが、オペレータの業務を直接的に支援するものではないので、効率的な運営を実現することは困難である。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、オペレータの業務を直接的に支援するための情報処理装置等を提供することにある。

本発明の一態様に係る情報処理装置は、対話中のユーザの撮像画像及び／又は発話音声が入力される入力部と、前記入力部に入力された撮像画像及び／又は発話音声に基づいて、前記ユーザの感情を推定する推定部と、前記推定部が推定した感情及び／又は前記感情に応じたアドバイス情報を出力する出力部とを備えることを特徴とする。

本発明の一態様に係る情報処理方法は、情報処理装置が、対話中のユーザの撮像画像及び／又は発話音声を取得し、取得した前記撮像画像及び／又は発話音声に基づいて、前記ユーザの感情を推定し、推定した前記感情及び／又は前記感情に応じたアドバイス情報を出力することを特徴とする。

本発明の一態様に係る映像データは、対話中のユーザの撮影映像と、前記撮影映像に基づいて前記ユーザの感情が推定されたフレームの時間情報と、前記時間情報に基づいて前記撮影映像中に前記ユーザの感情を表示するための感情情報とを備えることを特徴とする。

本発明の一態様に係るプログラムは、コンピュータに、対話中のユーザの撮像画像を取得して表示部に表示し、前記ユーザの撮像画像及び／又は発話音声に基づいて推定された前記ユーザの感情を取得して、前記表示部に表示した前記撮像画像に対応付けて表示する処理を実行させることを特徴とする。

本発明の一態様に係る情報処理システムは、顧客端末から出力された顧客の撮像画像を受信し、オペレータの撮像画像を取得して前記顧客端末へ出力するオペレータ端末と、監督者端末と、情報処理装置とを含む情報処理システムにおいて、前記情報処理装置は、前記顧客の撮像画像及び前記オペレータの撮像画像が入力される入力部と、前記入力部に入力された前記顧客の撮像画像及び前記オペレータの撮像画像に基づいて、前記顧客及びオペレータの感情を推定する推定部と、前記推定部が推定した前記顧客及びオペレータの感情を前記監督者端末へ出力する出力部とを有し、前記監督者端末は、前記顧客の撮像画像及び前記オペレータの撮像画像が入力される入力部と、前記入力部に入力された前記顧客の撮像画像に基づく顧客画像、及び前記オペレータの撮像画像に基づくオペレータ画像を表示部に表示する画像表示部と、前記情報処理装置の前記出力部が出力した前記顧客及びオペレータの感情を、前記顧客画像及びオペレータ画像のそれぞれに対応付けて前記表示部に表示する感情表示部とを有することを特徴とする。

本発明の一態様にあっては、オペレータの業務を直接的に支援することによって、コールセンター等の効率的な運営を可能とする。

実施形態１のコンタクトセンターシステムの構成例を示す模式図である。 実施形態１のオペレータ端末及び顧客端末の内部構成例を示すブロック図である。 実施形態１の情報処理装置の内部構成例を示すブロック図である。 顧客端末及びオペレータ端末における画面例を示す模式図である。 制御部によって実現される機能を示すブロック図である。 問合せログＤＢの構成例を示す模式図である。 情報処理装置及びオペレータ端末が行う処理の手順を示すフローチャートである。 顧客の感情の表示例を示す模式図である。 実施形態２のコンタクトセンターシステムの構成例を示すブロック図である。 実施形態２の情報処理装置の制御部によって実現される機能を示すブロック図である。 実施形態２の情報処理装置が行う処理の手順を示すフローチャートである。 スーパバイザ端末が行う処理の手順を示すフローチャートである。 スーパバイザ端末における画面例を示す模式図である。 実施形態３の情報処理装置の内部構成例を示すブロック図である。 状況ログＤＢの構成例を示す模式図である。 実施形態３の情報処理装置が行う処理の手順の一部を示すフローチャートである。 情報処理装置による状況ログ情報の検索処理を示すフローチャートである。 実施形態４のオペレータ端末における画面例を示す模式図である。 実施形態４のオペレータ端末及び情報処理装置が行う処理の手順を示すフローチャートである。 教師データＤＢの構成例を示す模式図である。 警告情報ＤＢの構成例を示す模式図である。 実施形態５の情報処理装置が行う処理の手順の一部を示すフローチャートである。 実施形態６の情報処理装置が行う処理の手順を示すフローチャートである。 実施形態６の情報処理装置が行う処理の説明図である。 実施形態７の情報処理装置が行う処理の手順を示すフローチャートである。 実施形態７の情報処理装置が行う処理の説明図である。 実施形態８の顧客端末における画面例を示す模式図である。

以下、本開示の情報処理装置、情報処理方法、映像データ、プログラム、及び情報処理システムについて、コンタクトセンター等に設けられるシステム（以下、コンタクトセンターシステムという）に適用した実施形態に基づいて具体的に説明する。

（実施形態１）
図１は、実施形態１のコンタクトセンターシステムの構成例を示す模式図である。本実施形態のコンタクトセンターシステムは、顧客端末３、オペレータ端末２及び情報処理装置１を含む。顧客端末３は、コンタクトセンターを利用する顧客（ユーザ）が用いる端末であり、オペレータ端末２は、コンタクトセンターのオペレータ（ユーザ）が用いる端末であり、情報処理装置１は、コンタクトセンターに設けられたサーバ装置である。顧客端末３及びオペレータ端末２はそれぞれ複数台ずつ設けられている。情報処理装置１は、複数台設けられてもよいし、１台のサーバ装置内に設けられた複数の仮想マシンによって実現されてもよい。

顧客端末３は、タブレット端末、スマートフォン、パーソナルコンピュータ等であり、インターネット等のネットワークＮに接続可能である。オペレータ端末２は例えばパーソナルコンピュータであり、情報処理装置１は例えばサーバコンピュータである。オペレータ端末２及び情報処理装置１は、例えばコンタクトセンター内に設けられたＬＡＮ（Local Area Network）に接続されており、ＬＡＮを介してネットワークＮに接続可能である。

図２は、実施形態１のオペレータ端末２及び顧客端末３の内部構成例を示すブロック図である。
本実施形態の顧客端末３は、制御部３０、記憶部３１、操作部３２、表示部３３、カメラ３４、マイク３５、スピーカ３６、通信部３７等を含み、これらはバスを介して相互に接続されている。
制御部３０は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing Unit）等のプロセッサを含む。制御部３０は、記憶部３１に記憶してある制御プログラムを適宜実行することにより、顧客端末３が行う種々の制御処理を行う。
記憶部３１は、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部３１は、制御部３０が実行する制御プログラム（例えばＷｅｂブラウザ３１ａ）及び各種のデータ等を予め記憶している。また記憶部３１は、制御部３０が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。

操作部３２は、例えばキーボード、マウス等を含み、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部３０へ送出する。
表示部３３は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等を含み、制御部３０からの指示に従って各種の情報を表示する。
操作部３２及び表示部３３は、一体として構成されたタッチパネルであってもよい。

カメラ３４は、制御部３０からの指示に従って撮像し、顧客端末３を操作するユーザ（コンタクトセンターを利用する顧客）の撮像画像を取得する。カメラ３４は、取得した撮像画像を記憶部３１へ送出し、記憶部３１に記憶させる。カメラ３４は、顧客端末３に内蔵されていてもよいし、ケーブル等を介して顧客端末３に外付けされていてもよい。

マイク３５は、制御部３０からの指示に従って集音し、顧客が発する発話音声を取得する。マイク３５は、取得した発話音声を記憶部３１へ送出し、記憶部３１に記憶させる。
スピーカ３６は、制御部３０からの指示に従って音声を出力する。
マイク３５及びスピーカ３６は、顧客端末３に内蔵されていてもよいし、ケーブル等を介して顧客端末３に外付けされていてもよい。また、マイク３５及びスピーカ３６は、一体として構成されたヘッドセットであってもよい。

通信部３７は、ネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して、ネットワークＮに接続可能な外部装置と通信する。図２は、通信部３７が無線通信を行う構成を示すが、通信部３７は通信線を介した有線通信を行う構成でもよい。

本実施形態のオペレータ端末２は、顧客端末３と同様の構成を有する。具体的には、オペレータ端末２は、制御部２０、記憶部２１、操作部２２、表示部２３、カメラ２４、マイク２５、スピーカ２６、通信部２７等を含み、これらはバスを介して相互に接続されている。
制御部２０は、ＣＰＵ又はＭＰＵ等のプロセッサを含む。制御部２０は、記憶部２１に記憶してある制御プログラムを適宜実行することにより、オペレータ端末２が行う種々の制御処理を行う。
記憶部２１は、フラッシュメモリ、ハードディスク、ＳＳＤ等を含む。記憶部２１は、制御部２０が実行する制御プログラム（例えばＷｅｂブラウザ２１ａ）及び各種のデータ等を予め記憶している。また記憶部２１は、制御部２０が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。

操作部２２及び表示部２３は、顧客端末３の操作部３２及び表示部３３と同様の構成を有し、一体として構成されたタッチパネルであってもよい。
カメラ２４、マイク２５及びスピーカ２６は、顧客端末３のカメラ３４、マイク３５及びスピーカ３６と同様の構成を有し、マイク２５及びスピーカ２６は、一体として構成されたヘッドセットであってもよい。なお、オペレータ端末２のカメラ２４は、オペレータ端末２を操作するユーザ（コンタクトセンターのオペレータ）の撮像画像を取得し、マイク２５は、オペレータの発話音声を取得する。

通信部２７は、ＬＡＮに接続するためのインタフェースであり、ＬＡＮを介して、ＬＡＮに接続された他の装置と通信する。また、通信部２７は、ＬＡＮを介してネットワークＮに接続可能であり、ネットワークＮに接続された他の通信装置とも通信可能である。図２は、通信部２７が通信線を介してＬＡＮに接続されている構成を示すが、通信部２７は無線通信を行う構成でもよい。

図３は、実施形態１の情報処理装置１の内部構成例を示すブロック図である。
本実施形態の情報処理装置１は、制御部１０、記憶部１１、感情推定部１２、通信部１３、警告部１４等を含み、これらはバスを介して相互に接続されている。
制御部１０は、ＣＰＵ又はＭＰＵ等のプロセッサを含む。制御部１０は、記憶部１１に記憶してある制御プログラムを適宜実行することにより、情報処理装置１が行う種々の制御処理を行う。

記憶部１１は、フラッシュメモリ、ハードディスク、ＳＳＤ等を含む。記憶部１１は、制御部１０が実行する制御プログラム及び各種のデータ（例えば問合せログデータベース１１ａ及びアドバイスデータベース１１ｂ）等を予め記憶している。また記憶部１１は、制御部１０が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。
問合せログデータベース（以下、問合せログＤＢという）１１ａには、顧客が顧客端末３を用いて行った問合せに対してオペレータがオペレータ端末２を用いて行った対応に関する情報が蓄積される。問合せログＤＢ１１ａの構成については後述する。
アドバイスデータベース（以下、アドバイスＤＢという）１１ｂには、例えば、顧客からの問合せ内容（問合せ事項）に対応付けて、適切な回答内容（アドバイス情報）が予め記憶されている。また、アドバイスＤＢ１１ｂには、例えば、Anger、Happiness、Neutral、Fear、Sadness、Surprise等の感情に対応付けて、適切な応対態様（アドバイス情報）が予め記憶されている。

感情推定部１２は、人（監視対象者、ユーザ）の撮像画像、発話音声、対話内容（会話の内容）等に基づいて、監視対象者の感情を推定する。例えば、感情推定部１２は、監視対象者の撮像画像及び／又は発話音声に基づいて、監視対象者の年齢又は性別等の属性を取得（判定）し、取得した属性に応じて監視対象者の感情を推定する。なお、感情推定部１２は、属性毎に予め用意された識別器（識別モデル）１２ａを用い、監視対象者の撮像画像、発話音声及び対話内容に最も適した感情を特定する。例えば、感情推定部１２は、Anger、Happiness、Neutral、Fear、Sadness、Surprise等の感情のいずれかを特定する。なお、感情推定部１２は、上述の感情のほかに、ポジティブ、ネガティブ、肯定的、否定的、作為的、困惑度合等の感情及び状況を推定するように構成されていてもよい。

識別器１２ａが撮像画像、発話音声（声色、音の強度分布）及び対話内容のそれぞれに対して用意されている場合、感情推定部１２は、撮像画像、発話音声及び対話内容に基づく感情をそれぞれ推定し、それぞれ推定した感情から１つの感情を特定する。このとき、撮像画像に基づく感情、発話音声に基づく感情、及び対話内容に基づく感情に対して重み付けを行い、重み付けした結果から１つの感情を特定してもよい。また、撮像画像、発話音声及び対話内容の全てを用いる必要はなく、少なくとも１つの情報に基づいて監視対象者の感情を推定してもよい。
更に、撮像画像、発話音声及び対話内容に基づく感情をそれぞれ推定するのではなく、全ての情報に基づいて統合的に推定する、所謂マルチモーダル学習によって監視対象者の感情を推定することもできる。

通信部１３は、ＬＡＮに接続するためのインタフェースであり、ＬＡＮを介して、ＬＡＮに接続された他の装置と通信する。また、通信部１３は、ＬＡＮを介してネットワークＮに接続可能であり、ネットワークＮに接続された他の通信装置とも通信可能である。通信部１３は、通信線を介した有線通信を行う構成でもよいし、無線通信を行う構成でもよい。
警告部１４は、例えばランプ、ブザー、スピーカであり、制御部１０からの指示に従って、ランプの点灯又は点滅、ブザーの鳴動、スピーカによる音声出力等を行うことにより、情報処理装置１を管理する管理者（オペレータを監督する監督者）に問題の発生を通知する。
情報処理装置１は、上述した構成のほかに、操作部及び表示部等を備えてもよい。

上述したコンタクトセンターシステムでは、１つの顧客端末３と１つのオペレータ端末２とがＷｅｂブラウザ３１ａ，２１ａを介して通信接続することにより、画像情報、音声情報及びテキスト情報（対話情報）の送受信を行う。具体的には、顧客端末３は、カメラ３４で取得した顧客の撮像画像と、マイク３５で取得した顧客の発話音声と、操作部３２を介して顧客によって入力されたテキスト情報とをオペレータ端末２へ送信する。また、オペレータ端末２は、カメラ２４で取得したオペレータの撮像画像と、マイク２５で取得したオペレータの発話音声と、操作部２２を介してオペレータによって入力されたテキスト情報とを顧客端末３へ送信する。なお、本開示のシステムでは、Ｗｅｂブラウザを介して情報を送受信する構成に限らない。
顧客端末３は、オペレータ端末２から受信したオペレータの撮像画像を表示部３３に表示し、オペレータの発話音声をスピーカ３６から出力し、テキスト情報を表示部３３に表示する。同様に、オペレータ端末２は、顧客端末３から受信した顧客の撮像画像を表示部２３に表示し、顧客の発話音声をスピーカ２６から出力し、テキスト情報を表示部２３に表示する。

図４は、顧客端末３及びオペレータ端末２における画面例を示す模式図である。
上述の処理により、顧客端末３の表示部３３には、図４Ａに示すように、オペレータ端末２から受信したオペレータの撮像画像３３ａが表示される。また、顧客端末３は、カメラ３４にて取得してオペレータ端末２へ送信している顧客の撮像画像３３ｂも表示部３３に表示してもよい。また、表示部３３には、操作部３２を介して顧客がメッセージ（テキスト情報）を入力するための入力欄３３ｃ、顧客とオペレータとの間で送受信されたメッセージ（対話情報）の履歴（トーク履歴）の表示欄３３ｄ等が表示される。更に、表示部３３には通話終了ボタンが表示されており、顧客が通話終了ボタンを操作した場合、顧客端末３は、オペレータ端末２との通信を終了する。

オペレータ端末２の表示部２３には、図４Ｂに示すように、顧客端末３から受信した顧客の撮像画像２３ａが表示される。また、オペレータ端末２は、カメラ２４にて取得して顧客端末３へ送信しているオペレータの撮像画像２３ｂも表示部３３に表示してもよい。また、表示部２３には、操作部２２を介してオペレータがメッセージ（テキスト情報）を入力するための入力欄２３ｃ、顧客とオペレータとの間で送受信されたメッセージの履歴（トーク履歴）の表示欄２３ｄ等が表示される。更に、表示部２３には通話終了ボタンが表示されており、オペレータが通話終了ボタンを操作した場合、オペレータ端末２は、顧客端末３との通信を終了する。
なお、オペレータ端末２の表示部２３には、後述のように情報処理装置１から送信されてくる顧客の感情が表示される感情表示欄２３ｅ及び顧客対応に関するアドバイスが表示されるアドバイス欄２３ｆが更に表示される。

次に、情報処理装置１の制御部１０が、記憶部１１に記憶してある制御プログラムを実行することによって実現する機能について説明する。図５は、制御部１０によって実現される機能を示すブロック図である。
情報処理装置１の制御部１０は、記憶部１１に記憶してある制御プログラムを実行した場合、顧客情報取得部５１、顧客感情推定部５２、顧客感情出力部５３、アドバイス情報特定部５４、アドバイス情報出力部５５、ログ蓄積部５６の各機能を実現する。

顧客情報取得部５１は、撮像画像取得部５１ａ、発話音声取得部５１ｂ及び対話情報取得部５１ｃを含む。
コンタクトセンターにおいて、上述したように顧客端末３とオペレータ端末２とが通信している場合、撮像画像取得部５１ａは、顧客端末３がオペレータ端末２へ送信する顧客の撮像画像を通信部（入力部）１３を介して取得する。また、発話音声取得部５１ｂは、顧客端末３がオペレータ端末２へ送信する顧客の発話音声を通信部１３を介して取得し、対話情報取得部５１ｃは、顧客端末３がオペレータ端末２へ送信するテキスト情報（対話情報）を通信部１３を介して取得する。なお、対話情報取得部５１ｃは、発話音声取得部５１ｂが取得した発話音声に対して音声認識処理を行うことにより、顧客の発話内容（対話内容）をテキスト情報（対話情報）として取得することもできる。

顧客感情推定部５２は、顧客情報取得部５１が取得した顧客の情報（撮像画像、発話音声、対話情報）に基づいて、感情推定部１２にて顧客の感情を推定する。
顧客感情出力部５３は、顧客感情推定部５２が推定した顧客の感情を示す感情情報を、通信部１３からオペレータ端末２へ送信する。なお、オペレータ端末２は、情報処理装置１から感情情報を受信した場合、感情情報が示す感情を表示部２３の感情表示欄２３ｅに表示する。

アドバイス情報特定部５４は、例えば対話情報取得部５１ｃが取得した対話情報と、顧客感情推定部５２が推定した顧客の感情とに基づいて、オペレータに提供すべきアドバイス情報を特定する。具体的には、アドバイス情報特定部５４は、対話情報から、アドバイスＤＢ１１ｂに登録されている問合せ事項を抽出できた場合、抽出した問合せ事項に対応する回答内容をアドバイスＤＢ１１ｂから読み出す。また、アドバイス情報特定部５４は、推定された顧客の感情がアドバイスＤＢ１１ｂに登録されている場合、顧客の感情に対応する応対態様をアドバイスＤＢ１１ｂから読み出す。応対態様には、例えば、「丁寧に対応して下さい」、「詳しく説明して下さい」、「お客様を安心させてあげましょう」のようなオペレータの応対態度に関する情報や、「大丈夫ですよ、と声かけして下さい」、「これまでの説明で不明点がないか確認して下さい」のようなオペレータの応対内容に関する情報等が含まれる。

アドバイス情報特定部５４は、上述したようにアドバイスＤＢ１１ｂから読み出した回答内容及び応対態様を、オペレータに提供すべきアドバイス情報として特定する。このようなアドバイス情報により、問合せ事項に対する単一的な回答内容ではなく、顧客の感情を考慮した応対態様についてもオペレータにアドバイスすることができる。なお、アドバイス情報特定部５４は、顧客感情推定部５２が顧客の感情を推定する際に判定した顧客の属性に応じたアドバイス情報を特定する構成とすることもできる。
アドバイス情報出力部５５は、アドバイス情報特定部５４が特定したアドバイス情報を、通信部１３からオペレータ端末２へ送信する。なお、オペレータ端末２は、情報処理装置１からアドバイス情報を受信した場合、表示部２３のアドバイス欄２３ｆに表示する。

ログ蓄積部５６は、顧客端末３とオペレータ端末２との通信（問合せ）が開始されてから終了されるまでの各情報をログ情報として問合せログＤＢ１１ａに蓄積する。
図６は、問合せログＤＢ１１ａの構成例を示す模式図である。問合せログＤＢ１１ａには、通信（問合せ）毎に、問合せＩＤ、開始日時、終了日時、顧客ＩＤ、顧客情報、対話情報、顧客感情、オペレータＩＤ、オペレータ情報等が対応付けて記憶してある。顧客情報は例えば、撮像画像取得部５１ａが取得した顧客の撮像画像、発話音声取得部５１ｂが取得した顧客の発話音声である。対話情報は例えば、対話情報取得部５１ｃが取得した対話情報である。顧客感情は、顧客感情推定部５２が推定した顧客の感情を示す感情情報であり、各感情情報と、各感情情報が推定された日時（タイムスタンプ）とが対応付けて蓄積される。また、問合せログＤＢ１１ａには、アドバイス情報特定部５４が特定してオペレータに提供したアドバイス情報を蓄積してもよい。更に、情報処理装置１が、顧客情報取得部５１による顧客情報の取得と同様に、オペレータ端末２が顧客端末３へ送信するオペレータの情報（オペレータの撮像画像、オペレータの発話音声）も取得する場合、オペレータの情報も問合せログＤＢ１１ａに蓄積してもよい。また、対話情報は、対話情報取得部５１ｃが取得した顧客の対話情報だけでなく、オペレータの対話情報を含み、顧客とオペレータとの間で送受信された対話情報であってもよい。問合せログＤＢ１１ａは、図６に示すような１つのデータベースで構成してもよいし、複数のデータベースに分けてもよい。例えば、顧客感情を別のデータベースに蓄積してもよく、この場合、問合せＩＤに対応付けて顧客情報（タイムスタンプ及び感情情報）を蓄積する。これにより、１件の問合せ（問合せＩＤ）に対して、この顧客に対して推定された複数の感情（顧客感情）が蓄積されたデータベースを作成できる。また、顧客情報や対話情報も別のデータベースに蓄積してもよい。

次に、コンタクトセンターシステムにおける各装置が行う処理について説明する。
コンタクトセンターを利用したい顧客は、顧客端末３にＷｅｂブラウザ３１ａを実行させてネットワークＮを介してオペレータ端末２と通信し、オペレータ端末２を介してオペレータと対話する。顧客端末３は、上述したように、カメラ３４、マイク３５及び操作部３２等によって取得した顧客の情報（撮像画像、発話音声、対話情報）をオペレータ端末２へ送信する。また、顧客端末３は、オペレータ端末２からオペレータの情報（撮像画像、発話音声、対話情報）を受信し、受信した撮像画像及び対話情報を表示部３３に表示し、受信した発話音声をスピーカ３６から出力する。これにより、顧客及びオペレータは、画像、音声及びテキスト情報を用いた対話を行うことができる。

次に、情報処理装置１及びオペレータ端末２が行う処理についてフローチャートに基づいて説明する。図７は、情報処理装置１及びオペレータ端末２が行う処理の手順を示すフローチャートである。以下の処理は、情報処理装置１の記憶部１１に記憶してある制御プログラムに従って制御部１０が実行すると共に、オペレータ端末２の記憶部２１に記憶してある制御プログラムに従って制御部２０が実行する。

顧客端末３とオペレータ端末２との間で通信が行われている場合、情報処理装置１は、顧客端末３から送信される顧客の情報（撮像画像、発話音声、対話情報）を受信する（Ｓ１）。情報処理装置１は、受信した顧客の情報に基づいて、顧客の感情を推定し（Ｓ２）、推定した感情を示す感情情報をオペレータ端末２へ送信する（Ｓ３）。
また、情報処理装置１は、ステップＳ１で受信した顧客の情報（例えば対話情報）と、ステップＳ２で推定した顧客の感情とに基づいて、オペレータに提供すべきアドバイスを特定し（Ｓ４）、特定したアドバイスを示すアドバイス情報をオペレータ端末２へ送信する（Ｓ５）。なお、情報処理装置１は、上述したようなアドバイス情報特定部５４の処理により、適切なアドバイス情報を特定する。

そして、情報処理装置１は、ステップＳ１で受信した顧客の情報、及びステップＳ２で推定した顧客の感情等を含むログ情報を問合せログＤＢ１１ａに蓄積する（Ｓ６）。なお、情報処理装置１は、ステップＳ４で特定されたアドバイスもログ情報に含めて問合せログＤＢ１１ａに蓄積してもよい。
情報処理装置１は、顧客端末３とオペレータ端末２との通信が終了するまで、上述したステップＳ１〜Ｓ６の処理を所定時間間隔で繰り返す。これにより、顧客の情報に基づく顧客の感情がリアルタイムで検知されてオペレータに通知できると共に、適切なアドバイスがオペレータに提供できる。更に、顧客端末３とオペレータ端末２との間で送受信された顧客の情報及びオペレータの情報、顧客の感情等をログ情報として蓄積できる。なお、ログ情報として蓄積される顧客の感情は、感情が変化するタイミングで問合せログＤＢ１１ａに記憶されてもよい。この場合、感情が変化した日時のタイムスタンプと、変化後の感情を示す感情情報とを対応付けて逐次問合せログＤＢ１１ａに記憶する。

一方、オペレータ端末２は、顧客端末３と通信し、カメラ２４、マイク２５及び操作部２２等によってオペレータの情報（撮像画像、発話音声、対話情報）を取得して顧客端末３へ送信する（Ｓ１１）。また、オペレータ端末２は、顧客端末３から顧客の情報（撮像画像、発話音声、対話情報）を受信し、受信した撮像画像及び対話情報を表示部２３に表示（出力）し、受信した発話音声をスピーカ２６から出力する（Ｓ１２）。
オペレータ端末２は、顧客情報の受信及び出力を行いつつ、情報処理装置１から顧客の感情情報を受信したか否かを判断する（Ｓ１３）。感情情報を受信したと判断した場合（Ｓ１３：ＹＥＳ）、オペレータ端末２は、受信した感情情報が示す顧客の感情を表示部２３の感情表示欄２３ｅに表示する（Ｓ１４）。

図８は、顧客の感情の表示例を示す模式図である。感情表示欄２３ｅには、図４Ｂに示すように、オペレータ端末２が情報処理装置１から感情情報を受信する都度、受信した感情情報が示す感情のみを更新して表示してもよい。また図８Ａに示すように、オペレータ端末２が情報処理装置１から順次受信する感情情報に基づいて、顧客の感情の変化が分かるように表示してもよい。また図８Ｂに示すように、オペレータ端末２が情報処理装置１から受信した感情情報が示す感情が、所定の感情（図８ＢではAnger）である場合に、強調表示してもよい。更に、情報処理装置１（感情推定部１２）が顧客の感情として１つの感情を推定するのではなく、複数の感情それぞれの割合を特定するように構成されている場合、図８Ｃに示すように、各感情の割合を表示してもよい。なお、図８Ｃの感情表示欄２３ｅには、横軸が時間を示し、縦軸が感情毎の割合を示すグラフによって、各感情の割合が時系列的に表示されている。

図８Ｂに示すように、顧客の感情が所定の感情である場合に強調表示することにより、オペレータに警告することができる。なお、情報処理装置１が、顧客の感情情報をオペレータ端末２に送信する際に、顧客の感情が所定の感情であるか否かを判断し、所定の感情である場合に強調表示する旨の指示を付加して送信してもよい。この場合、オペレータ端末２は、情報処理装置１から受信した指示に従って、受信した感情情報が示す顧客の感情を強調表示することができる。

情報処理装置１から感情情報を受信していないと判断した場合（Ｓ１３：ＮＯ）、オペレータ端末２は、ステップＳ１４の処理をスキップし、情報処理装置１からアドバイス情報を受信したか否かを判断する（Ｓ１５）。アドバイス情報を受信したと判断した場合（Ｓ１５：ＹＥＳ）、オペレータ端末２は、受信したアドバイス情報が示すアドバイスを表示部２３のアドバイス欄２３ｆに表示する（Ｓ１６）。

情報処理装置１からアドバイス情報を受信していないと判断した場合（Ｓ１５：ＮＯ）、オペレータ端末２は、ステップＳ１６の処理をスキップし、顧客端末３との通信が終了したか否かを判断する（Ｓ１７）。顧客端末３との通信が終了していないと判断した場合（Ｓ１７：ＮＯ）、オペレータ端末２は、ステップＳ１１に処理を戻し、ステップＳ１１〜Ｓ１７の処理を繰り返す。顧客端末３との通信が終了したと判断した場合（Ｓ１７：ＹＥＳ）、オペレータ端末２は、上述した処理を終了する。
オペレータ端末２は、顧客端末３との通信が終了するまで、上述したステップＳ１１〜Ｓ１６の処理を繰り返す。これにより、オペレータ端末２及び顧客端末３を介してオペレータ及び顧客が、画像（映像）、音声及びテキスト情報を用いた対話を行うことができる。また、情報処理装置１によって逐次推定及び特定される顧客の感情及びアドバイスが適切なタイミングでオペレータに提供される。

本実施形態では、顧客端末３及びオペレータ端末２を用いて顧客及びオペレータが対話できるシステムにおいて、顧客の情報（撮像画像、発話音声、対話情報）に基づいて推定された顧客の感情をオペレータに提供できる。よって、オペレータは、顧客の感情をリアルタイムで把握でき、顧客の感情を考慮した対応を採ることができる。また、顧客からの問合せ事項に対する対応のアドバイスを、顧客の感情を考慮して特定できるので、より最適なアドバイスをオペレータに提供できる。よって、オペレータは、提供されたアドバイスに沿った対応を行えばよく、顧客の対応を効率良く行うことができる。
上述の通り、本実施形態では、オペレータの業務を直接的に支援できるので、コンタクトセンター等の効率的な運営を実現することができる。

本実施形態において、情報処理装置１は、顧客端末３が取得した顧客の情報に基づいて顧客の感情を推定してオペレータに提供するほかに、オペレータ端末２が取得したオペレータの情報に基づいてオペレータの感情を推定してオペレータに提供してもよい。この場合、オペレータは、自身の感情を客観的に把握できるので、顧客に与える印象を意識しながら、好ましい対応を心がけることが可能となる。なお、情報処理装置１は、顧客の感情及びオペレータの感情の両方を推定してオペレータに提供してもよい。
また、オペレータの感情も推定する場合、情報処理装置１は、顧客の感情及びオペレータの感情を考慮して、顧客からの問合せ事項に対したアドバイスを特定することにより、より適切なアドバイスをオペレータに提供することができる。

本実施形態において、情報処理装置１は、推定した顧客の感情が所定の感情である場合に、警告部１４による警告を行う構成を有してもよい。例えば、顧客の感情がAngerである場合、オペレータが顧客の対応に苦戦している可能性がある。よって、情報処理装置１が警告を行うことにより、管理者（監督者）にオペレータの状況を通知することができ、早期の対応が可能となる。

（実施形態２）
実施形態２のコンタクトセンターシステムについて説明する。
図９は、実施形態２のコンタクトセンターシステムの構成例を示すブロック図である。本実施形態のコンタクトセンターシステムは、上述の実施形態１のコンタクトセンターシステムと同様に、情報処理装置１、オペレータ端末２及び顧客端末３を含み、更にスーパバイザ端末４を含む。スーパバイザ端末４は、オペレータを監督する監督者（以下、スーパバイザという）が用いる端末（監督者端末）であり、複数台設けられていてもよい。
情報処理装置１、オペレータ端末２及び顧客端末３の構成は、上述の実施形態１と同様であるので説明を省略する。

スーパバイザ端末４は、制御部４０、記憶部４１、操作部４２、表示部４３、通信部４４、警告部４５等を含み、これらはバスを介して相互に接続されている。
制御部４０は、ＣＰＵ又はＭＰＵ等のプロセッサを含む。制御部４０は、記憶部４１に記憶してある制御プログラムを適宜実行することにより、スーパバイザ端末４が行う種々の制御処理を行う。
記憶部４１は、フラッシュメモリ、ハードディスク、ＳＳＤ等を含む。記憶部４１は、制御部４０が実行する制御プログラム（例えばＷｅｂブラウザ４１ａ）及び各種のデータ等を予め記憶している。また記憶部４１は、制御部４０が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。

操作部４２は、例えばキーボード、マウス等を含み、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部４０へ送出する。
表示部４３は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等を含み、制御部４０からの指示に従って各種の情報を表示する。
操作部４２及び表示部４３は、一体として構成されたタッチパネルであってもよい。

通信部４４は、ＬＡＮに接続するためのインタフェースであり、ＬＡＮを介して、ＬＡＮに接続された他の装置と通信する。また、通信部４４は、ＬＡＮを介してネットワークＮに接続可能であり、ネットワークＮに接続された他の通信装置とも通信可能である。図９は、通信部４４が通信線を介してＬＡＮに接続されている構成を示すが、通信部４４は無線通信を行う構成でもよい。

警告部４５は、例えばランプ、ブザー、スピーカであり、制御部４０からの指示に従って、ランプの点灯又は点滅、ブザーの鳴動、スピーカによる音声出力等を行うことにより、スーパバイザに問題の発生を通知する。
スーパバイザ端末４は、上述した構成のほかに、カメラ、マイク及びスピーカ等を備え、スーパバイザがスーパバイザ端末４を用いてオペレータ端末２のオペレータ又は顧客端末３の顧客と対話できるように構成されていてもよい。

本実施形態のコンタクトセンターシステムにおいて、顧客端末３及びオペレータ端末２は、実施形態１の顧客端末３及びオペレータ端末２と同様の処理を行うので説明を省略する。本実施形態の情報処理装置１は、顧客の感情だけでなくオペレータの感情を推定する処理も行う。

以下に、本実施形態の情報処理装置１の制御部１０が、記憶部１１に記憶してある制御プログラムを実行することによって実現する機能について説明する。図１０は、実施形態２の情報処理装置１の制御部１０によって実現される機能を示すブロック図である。
本実施形態の情報処理装置１において、制御部１０は、記憶部１１に記憶してある制御プログラムを実行した場合、顧客情報取得部５１、顧客感情推定部５２、顧客感情出力部５３、アドバイス情報特定部５４、アドバイス情報出力部５５、ログ蓄積部５６、オペレータ情報取得部５７、オペレータ感情推定部５８、オペレータ感情出力部５９の各機能を実現する。顧客情報取得部５１、顧客感情推定部５２及び顧客感情出力部５３は、上述の実施形態１と同様の処理を行うので説明を省略する。

オペレータ情報取得部５７は、撮像画像取得部５７ａ、発話音声取得部５７ｂ及び対話情報取得部５７ｃを含む。撮像画像取得部５７ａは、オペレータ端末２が顧客端末３へ送信するオペレータの撮像画像を通信部（入力部）１３を介して取得する。また、発話音声取得部５７ｂは、オペレータ端末２が顧客端末３へ送信するオペレータの発話音声を通信部１３を介して取得し、対話情報取得部５７ｃは、オペレータ端末２が顧客端末３へ送信するテキスト情報（対話情報）を通信部１３を介して取得する。なお、対話情報取得部５７ｃは、発話音声取得部５７ｂが取得した発話音声に対して音声認識処理を行うことにより、オペレータの発話内容（対話内容）をテキスト情報（対話情報）として取得することもできる。

オペレータ感情推定部５８は、オペレータ情報取得部５７が取得したオペレータの情報（撮像画像、発話音声、対話情報）に基づいて、感情推定部１２にてオペレータの感情を推定する。
オペレータ感情出力部５９は、オペレータ感情推定部５８が推定したオペレータの感情を示す感情情報を、通信部１３からスーパバイザ端末４へ送信する。なお、オペレータ感情出力部５９は、オペレータの感情情報をオペレータ端末２に送信してもよい。

本実施形態では、アドバイス情報特定部５４は、オペレータ用アドバイス特定部５４ａ及びスーパバイザ用アドバイス特定部５４ｂを含む。
オペレータ用アドバイス特定部５４ａは、実施形態１のアドバイス情報特定部５４と同様に、オペレータに提供すべきアドバイス情報（回答内容及び応対態様）をアドバイスＤＢ１１ｂから特定する。なお、オペレータ用アドバイス特定部５４ａは、顧客情報取得部５１の対話情報取得部５１ｃが取得した顧客の対話情報、及び顧客感情推定部５２が推定した顧客の感情だけでなく、オペレータ情報取得部５７の対話情報取得部５７ｃが取得したオペレータの対話情報、及びオペレータ感情推定部５８が推定したオペレータの感情も考慮してオペレータに提供すべきアドバイス情報（オペレータ用アドバイス）を特定する。

具体的には、オペレータ用アドバイス特定部５４ａは、顧客の対話情報から抽出した問合せ事項に対応する回答内容をアドバイスＤＢ１１ｂから読み出し、次にオペレータが回答すべき内容（回答内容）を特定する。なお、読み出した回答内容が同一の問合せ中の対話情報に含まれていた場合、オペレータが既に回答した内容であるとして、アドバイス情報から排除したり、フラグ立てすることもできる。
また、オペレータ用アドバイス特定部５４ａは、推定された顧客の感情及びオペレータの感情に対応する応対態様をアドバイスＤＢ１１ｂから読み出す。

ここで、本実施形態のアドバイスＤＢ１１ｂには、顧客の各感情とオペレータの各感情との組合せ毎に、それぞれの組合せに対応する応対態様が登録されている。また、アドバイスＤＢ１１ｂに登録されている応対態様には、オペレータがとるべき応対態様（オペレータ用の応対態様）と、スーパバイザがとるべき応対態様（スーパバイザ用の応対態様）とが含まれる。よって、オペレータ用アドバイス特定部５４ａは、推定された顧客の感情及びオペレータの感情の組合せに対応するオペレータ用の応対態様をアドバイスＤＢ１１ｂから読み出す。
オペレータ用アドバイス特定部５４ａは、上述したように特定した回答内容及びアドバイスＤＢ１１ｂから読み出したオペレータ用の応対態様を、オペレータに提供すべきアドバイス情報として特定する。

スーパバイザ用アドバイス特定部５４ｂは、オペレータ用アドバイス特定部５４ａと同様に、推定された顧客の感情及びオペレータの感情の組合せに対応するスーパバイザ用の応対態様をアドバイスＤＢ１１ｂから読み出す。スーパバイザ用アドバイス特定部５４ｂは、アドバイスＤＢ１１ｂから読み出したスーパバイザ用の応対態様を、スーパバイザに提供すべきアドバイス情報（スーパバイザ用アドバイス）に特定する。
なお、スーパバイザ用アドバイス特定部５４ｂは、顧客及びオペレータの対話情報から対話内容を抽出し、抽出した対話内容をスーパバイザ用アドバイスに含めてもよい。

アドバイス情報出力部５５は、オペレータ用アドバイス特定部５４ａが特定したアドバイス情報（オペレータ用アドバイス）を通信部１３からオペレータ端末２へ送信し、スーパバイザ用アドバイス特定部５４ｂが特定したアドバイス情報（スーパバイザ用アドバイス）を通信部１３からスーパバイザ端末４へ送信する。

ログ蓄積部５６は、顧客端末３とオペレータ端末２との通信に関する各情報をログ情報として問合せログＤＢ１１ａに蓄積する。本実施形態の問合せログＤＢ１１ａは、図６の構成のほかに、オペレータ感情推定部５８が推定したオペレータの感情も蓄積する。
本実施形態のログ蓄積部５６は、顧客情報取得部５１が取得した顧客の情報（撮像画像、発話音声、対話情報）を顧客情報として蓄積し、顧客感情推定部５２が推定した顧客の感情を示す感情情報を顧客感情として蓄積する。また、ログ蓄積部５６は、オペレータ情報取得部５７が取得したオペレータの情報（撮像画像、発話音声、対話情報）をオペレータ情報として蓄積し、オペレータ感情推定部５８推定したオペレータの感情を示す感情情報をオペレータ感情として蓄積する。なお、対話情報は、顧客の対話情報及びオペレータの対話情報をまとめて問合せログＤＢ１１ａに蓄積されてもよい。
また、問合せログＤＢ１１ａには、アドバイス情報特定部５４が特定したオペレータ用アドバイス及びスーパバイザ用アドバイスも蓄積してもよい。なお、問合せログＤＢ１１ａは１つのデータベースで構成されてもよいし、複数のデータベースに分けて構成されてもよい。

次に、本実施形態のコンタクトセンターシステムにおける各装置が行う処理についてフローチャートに基づいて説明する。
図１１は、実施形態２の情報処理装置１が行う処理の手順を示すフローチャートである。以下の処理は、情報処理装置１の記憶部１１に記憶してある制御プログラムに従って制御部１０が実行する。

本実施形態の情報処理装置１は、図７に示すステップＳ１〜Ｓ２と同様の処理を行う。具体的には、情報処理装置１は、顧客端末３から送信される顧客の情報（撮像画像、発話音声、対話情報）を受信し（Ｓ２１）、受信した顧客の情報に基づいて、顧客の感情を推定する（Ｓ２２）。本実施形態の情報処理装置１は、推定した顧客の感情を示す感情情報をオペレータ端末２及びスーパバイザ端末４へ送信する（Ｓ２３）。なお、顧客の感情情報を受信したオペレータ端末２は、受信した感情情報が示す顧客の感情を表示部２３の感情表示欄２３ｅに表示する。

次に、情報処理装置１は、オペレータ端末２から送信されるオペレータの情報（撮像画像、発話音声、対話情報）を受信し（Ｓ２４）、受信したオペレータの情報に基づいて、オペレータの感情を推定し（Ｓ２５）、推定したオペレータの感情を示す感情情報をスーパバイザ端末４へ送信する（Ｓ２６）。なお、情報処理装置１は、顧客の感情情報と同様にオペレータの感情情報もオペレータ端末２へ送信してもよく、この場合、オペレータ端末２は、オペレータの感情情報が示すオペレータの感情も表示部２３に表示するように構成される。この場合、オペレータは自身の感情を客観的に把握できる。

情報処理装置１は、ステップＳ２１で受信した顧客の情報と、ステップＳ２２で推定した顧客の感情と、ステップＳ２４で受信したオペレータの情報と、ステップＳ２５で推定したオペレータの感情とに基づいて、オペレータ用アドバイス及びスーパバイザ用アドバイスを特定する（Ｓ２７，Ｓ２８）。
情報処理装置１は、特定したオペレータ用アドバイスを示すアドバイス情報をオペレータ端末２へ、スーパバイザ用アドバイスを示すアドバイス情報をスーパバイザ端末４へそれぞれ送信する（Ｓ２９）。

そして、情報処理装置１は、ステップＳ２１で受信した顧客の情報、及びステップＳ２２で推定した顧客の感情、ステップＳ２４で受信したオペレータの情報、ステップＳ２５で推定したオペレータの感情等を含むログ情報を問合せログＤＢ１１ａに蓄積する（Ｓ３０）。なお、情報処理装置１は、ステップＳ２７，Ｓ２８で特定されたオペレータ用アドバイス及びスーパバイザ用アドバイスもログ情報に含めて問合せログＤＢ１１ａに蓄積してもよい。
上述の処理により、顧客の情報に基づく顧客の感情がリアルタイムで検知されてオペレータ及びスーパバイザに通知できると共に、オペレータの情報に基づくオペレータの感情がリアルタイムで検知されてスーパバイザに通知できる。また、オペレータ及びスーパバイザのそれぞれに対して適切なアドバイスを提供できる。更に、顧客端末３とオペレータ端末２との間で送受信された顧客の情報及びオペレータの情報等をログ情報として蓄積できる。

図１２は、スーパバイザ端末４が行う処理の手順を示すフローチャート、図１３は、スーパバイザ端末４における画面例を示す模式図である。以下の処理は、スーパバイザ端末４の記憶部４１に記憶してある制御プログラムに従って制御部４０が実行する。
スーパバイザ端末４は、顧客端末３がオペレータ端末２へ送信する顧客の情報（撮像画像、発話音声、対話情報）のうちで少なくとも顧客の撮像画像を受信し、受信した撮像画像を表示部４３に表示する（Ｓ４１）。また、スーパバイザ端末４は、オペレータ端末２が顧客端末３へ送信するオペレータの情報（撮像画像、発話音声、対話情報）のうちで少なくともオペレータの撮像画像を受信し、受信した撮像画像を表示部４３に表示する（Ｓ４２）。図１３Ａはスーパバイザ端末４の基本画面例を示しており、上述した処理により、スーパバイザ端末４は、現在通信中の顧客端末３及びオペレータ端末２毎に、顧客の撮像画像４３ａ（顧客画像）及びオペレータの撮像画像４３ｂ（オペレータ画像）を対応付けて表示部４３に表示する。

スーパバイザ端末４は、情報処理装置１から顧客の感情情報を受信したか否かを判断する（Ｓ４３）。ここでは、スーパバイザ端末４は、図１１のステップＳ２３で情報処理装置１が送信した感情情報を受信したか否かを判断する。顧客の感情情報を受信したと判断した場合（Ｓ４３：ＹＥＳ）、スーパバイザ端末４は、受信した感情情報が示す顧客の感情を、顧客の撮像画像４３ａに対応する感情表示欄４３ｃに表示する（Ｓ４４）。なお、感情表示欄４３ｃに表示される顧客の感情は、図８Ａ〜図８Ｃに示すような表示態様で表示してもよい。

情報処理装置１から顧客の感情情報を受信していないと判断した場合（Ｓ４３：ＮＯ）、スーパバイザ端末４は、ステップＳ４４の処理をスキップし、情報処理装置１からオペレータの感情情報を受信したか否かを判断する（Ｓ４５）。ここでは、スーパバイザ端末４は、図１１のステップＳ２６で情報処理装置１が送信した感情情報を受信したか否かを判断する。オペレータの感情情報を受信したと判断した場合（Ｓ４５：ＹＥＳ）、スーパバイザ端末４は、受信した感情情報が示すオペレータの感情を、オペレータの撮像画像４３ｂに対応する感情表示欄４３ｄに表示する（Ｓ４６）。なお、感情表示欄４３ｄに表示されるオペレータの感情も図８Ａ〜図８Ｃに示すような表示態様で表示してもよい。
情報処理装置１からオペレータの感情情報を受信していないと判断した場合（Ｓ４５：ＮＯ）、スーパバイザ端末４は、ステップＳ４６の処理をスキップする。

スーパバイザ端末４は、上述したステップＳ４１〜Ｓ４６の処理を繰り返す。これにより、スーパバイザ端末４に、顧客端末３及びオペレータ端末２の間で送受信される顧客及びオペレータの撮像画像と、情報処理装置１から逐次送信される顧客及びオペレータの感情とが表示される。図１３Ａに示すように、複数組の顧客及びオペレータの撮像画像を、それぞれの顧客及びオペレータの感情と共に一覧表示させた場合、各オペレータの状況を一目で把握できる。よって、スーパバイザは、顧客対応に困っているオペレータ等、問題が発生しているオペレータを早期に発見できる。なお、スーパバイザ端末４は、ステップＳ４３又はＳ４５で受信した顧客又はオペレータの感情が所定の感情であるか否かを判断し、所定の感情である場合に、警告部４５による警告を行う構成であってもよい。この場合、スーパバイザは常にスーパバイザ端末４にて各オペレータの状況を確認する必要がなく、警告が行われた場合に早期の対応が可能となる。なお、情報処理装置１が顧客又はオペレータの感情をスーパバイザ端末４へ送信する際に、所定の感情であるか否かを判断し、所定の感情である場合に、警告の実行指示と共にスーパバイザ端末４へ送信してもよい。この場合、スーパバイザ端末４は、情報処理装置１から受信した実行指示に従って警告を行えばよい。

なお、スーパバイザ端末４が警告を行うタイミングは、例えば、顧客の感情が所定の感情（例えばAnger又はFear）である場合、オペレータの感情が所定の感情（例えばFear又はSadness）である場合、或いは、顧客及びオペレータの感情の組合せが所定の組合せである場合等とすることができる。なお、顧客及びオペレータの感情の組合せが所定の組合せである場合とは、例えば、顧客及びオペレータの感情が共にAngerである場合、顧客の感情がAngerであり、オペレータの感情がFearである場合、顧客及びオペレータの感情が共にSadnessである場合等とすることができる。
また、スーパバイザ端末４が警告を行うタイミングは、顧客において所定の感情が所定時間継続した場合、オペレータにおいて所定の感情が所定時間継続した場合、或いは、顧客及びオペレータにおいて所定の組合せの感情が所定時間継続した場合等とすることができる。なお、例えば、顧客及びオペレータの感情が共にAngerである場合には早期に警告を行う等、顧客及びオペレータの感情の組合せに応じて、警告を行うタイミングを異ならせてもよい。また、顧客において所定の感情が所定時間内に所定回数推定された場合、オペレータにおいて所定の感情が所定時間内に所定回数推定された場合、或いは、顧客及びオペレータにおいて所定の組合せの感情が所定時間内に所定回数推定された場合等に、スーパバイザ端末４が警告を行う構成とすることもできる。

スーパバイザ端末４は、図１３Ａに示すように複数の顧客及びオペレータの撮像画像を表示する画面と、図１３Ｂに示すように任意の１組の顧客及びオペレータの撮像画像を表示する画面とが切替可能に構成されている。
スーパバイザ端末４は、図１３Ａに示す画面において１組の画面表示への切替が指示されたか否かを判断する（Ｓ４７）。例えば、図１３Ａに示す画面において、各組の顧客及びオペレータの撮像画像４３ａ，４３ｂ及び感情表示欄４３ｃ，４３ｄを含む領域に対して、スーパバイザが操作部４２を用いて選択操作することにより、任意の組の画面表示への切替を指示できるように構成することができる。なお、スーパバイザ端末４は、上述したように警告を行う必要があると判断した場合に、スーパバイザに通知すべき１組の画面表示への切替を自動的に行うように構成してもよい。

１組の画面表示への切替が指示されていないと判断した場合（Ｓ４７：ＮＯ）、スーパバイザ端末４は、ステップＳ４１の処理に戻り、上述した処理を繰り返す。
１組の画面表示への切替が指示されたと判断した場合（Ｓ４７：ＹＥＳ）、スーパバイザ端末４は、選択された１組の画面表示に切り替える（Ｓ４８）。１組の画面表示に切り替えた場合、スーパバイザ端末４は、顧客端末３がオペレータ端末２へ送信する顧客の情報（撮像画像、対話情報）を受信し、受信した撮像画像４３ａ及び対話情報を表示部４３に表示（出力）する（Ｓ４９）。なお、対話情報はトーク履歴の表示欄４３ｅに表示される。また、スーパバイザ端末４がスピーカを備える場合、顧客の発話音声も受信してスピーカから出力してもよい。

また、スーパバイザ端末４は、オペレータ端末２が顧客端末３へ送信するオペレータの情報（撮像画像、対話情報）を受信し、受信した撮像画像及び対話情報を表示部２３に表示（出力）する（Ｓ５０）。なお、ここでも、対話情報はトーク履歴の表示欄４３ｅに表示され、スーパバイザ端末４はオペレータの発話音声も受信してスピーカから出力してもよい。
更に、スーパバイザ端末４は、情報処理装置１から顧客の感情情報を受信し、受信した感情情報が示す顧客の感情を感情表示欄４３ｃに表示し（Ｓ５１）、情報処理装置１からオペレータの感情情報を受信し、受信した感情情報が示すオペレータの感情を感情表示欄４３ｄに表示する（Ｓ５２）。

スーパバイザ端末４は、情報処理装置１からスーパバイザ用アドバイスを示すアドバイス情報を受信したか否かを判断する（Ｓ５３）。ここでは、スーパバイザ端末４は、図１１のステップＳ２９で情報処理装置１が送信したスーパバイザ用アドバイスのアドバイス情報を受信したか否かを判断する。アドバイス情報を受信したと判断した場合（Ｓ５３：ＹＥＳ）、スーパバイザ端末４は、受信したアドバイス情報が示すスーパバイザ用アドバイスを表示部４３のアドバイス欄４３ｆに表示する（Ｓ５４）。
情報処理装置１からスーパバイザ用アドバイスのアドバイス情報を受信していないと判断した場合（Ｓ５３：ＮＯ）、スーパバイザ端末４は、ステップＳ５４の処理をスキップする。

スーパバイザ端末４は、図１３Ｂに示す１組の表示画面において、図１３Ａに示す複数組の画面表示への切替が指示されたか否かを判断する（Ｓ５５）。例えば、図１３Ｂに示す画面において、操作部４２を介して戻るボタンが操作された場合、スーパバイザ端末４（制御部４０）は、複数組の画面表示への切替指示を受け付ける。
複数組の画面表示への切替が指示されていないと判断した場合（Ｓ５５：ＮＯ）、スーパバイザ端末４は、ステップＳ４９の処理に戻り、ステップＳ４９〜Ｓ５５の処理を繰り返す。

複数組の画面表示への切替が指示されたと判断した場合（Ｓ５５：ＹＥＳ）、スーパバイザ端末４は、複数組の画面表示に切り替え（Ｓ５６）、ステップＳ４１の処理に戻る。その後、スーパバイザ端末４は、ステップＳ４１〜Ｓ４６の処理を行うことにより、図１３Ａに示すような画面を表示部４３に表示する。
上述した処理により、スーパバイザ端末４において、図１３Ａに示す画面によって各組の顧客及びオペレータの状況を把握でき、問題が発生した場合に、図１３Ｂに示す画面によって、問題が発生した組の顧客及びオペレータのやり取りを監視できる。また、顧客及びオペレータ間の対話内容、顧客及びオペレータの感情に基づくスーパバイザ用アドバイスによって、スーパバイザに対して適切なアドバイスを提供できる。

本実施形態においても、上述の実施形態１と同様の効果が得られる。
また、本実施形態では、顧客の情報に基づいて推定された顧客の感情、及びオペレータの情報に基づいて推定されたオペレータの感情をスーパバイザに提供できる。よって、スーパバイザは、顧客の感情だけでなくオペレータの感情もリアルタイムで把握でき、顧客及びオペレータのやり取りに問題が発生した場合であっても早期の対応が可能となる。
また、顧客からの問合せ事項に対する対応のアドバイスを、顧客の感情だけでなくオペレータの感情も考慮して特定できるので、より最適なアドバイスを提供できる。また、アドバイスはオペレータだけでなくスーパバイザにも提供できるので、スーパバイザは、提供されたアドバイスに沿って効率良くオペレータのサポートを行うことが可能となる。
本実施形態においても、オペレータの業務を直接的に支援できるので、コンタクトセンター等の効率的な運営を実現することができる。

本実施形態において、情報処理装置１は、推定した顧客又はオペレータの感情が所定の感情である場合に、警告部１４による警告を行う構成を有してもよい。また、情報処理装置１は、推定した顧客又はオペレータの感情が所定の感情である場合に、スーパバイザ端末４に警告処理の実行指示を行う構成を有してもよい。この場合、例えば、情報処理装置１は、顧客又はオペレータの感情情報をスーパバイザ端末４へ送信する際に、警告処理の実行指示を付加して送信する。スーパバイザ端末４は、顧客又はオペレータの感情情報と共に警告処理の実行指示を受信した場合、受信した実行指示に従って警告部４５による警告処理を行う。このように、情報処理装置１又はスーパバイザ端末４による警告を行うことにより、スーパバイザにオペレータの状況を通知することができ、早期の対応が可能となる。
なお、スーパバイザ端末４が、情報処理装置１から顧客又はオペレータの感情情報を受信した際に、顧客又はオペレータの感情が所定の感情であるか否かを判断し、所定の感情であった場合に、警告部４５による警告を行う構成とすることもできる。

（実施形態３）
上述した実施形態２のコンタクトセンターシステムの変形例について説明する。
本実施形態のコンタクトセンターシステムにおいて、各機器は、上述した実施形態２と同様の構成を有し、同様の処理を行うので、同様の構成及び処理についての説明は省略する。なお、本実施形態では、情報処理装置１が、上述した実施形態２と若干異なるので、異なる構成及び異なる処理についてのみ説明する。

図１４は、実施形態３の情報処理装置１の内部構成例を示すブロック図である。
本実施形態の情報処理装置１は、上述した実施形態２の情報処理装置１と同様の構成を有する。本実施形態の情報処理装置１において、記憶部１１に問合せログＤＢ１１ａ及びアドバイスＤＢ１１ｂのほかに状況ログデータベース（以下、状況ログＤＢという）１１ｃが記憶されている構成が、上述した実施形態２と異なる。

図１５は、状況ログＤＢ１１ｃの構成例を示す模式図である。状況ログＤＢ１１ｃには、情報処理装置１が顧客の感情又はオペレータの感情を推定した場合に、推定した感情が所定の感情であれば、この時点の各種の情報が状況ログ情報として蓄積される。
状況ログＤＢ１１ｃには、通信（問合せ）毎に、問合せＩＤ、顧客ＩＤ（顧客の識別情報）、オペレータＩＤ（オペレータの識別情報）、タイムスタンプ、顧客感情、オペレータ感情、対話情報等が対応付けて記憶してある。タイムスタンプは、情報処理装置１が顧客又はオペレータの感情を推定した場合に、推定した感情が所定の感情（例えば、Anger、Sadness等）又は所定の感情の組合せであった時点の日時であり、顧客感情及びオペレータ感情は、この時点で推定された感情（即ち、所定の感情）である。対話情報は、顧客情報取得部５１の対話情報取得部５１ｃが取得した顧客の対話情報と、オペレータ情報取得部５７の対話情報取得部５７ｃが取得したオペレータの対話情報とを含み、例えば、タイムスタンプが示す日時の前後の所定時間における顧客及びオペレータの対話情報（対話内容）である。顧客感情、オペレータ感情及び対話情報は、タイムスタンプに対応付けて蓄積される。
なお、状況ログＤＢ１１ｃには、タイムスタンプが示す日時に対応する顧客の情報（撮像画像及び発話音声）及びオペレータの情報（撮像画像及び発話音声）も蓄積される。

次に、本実施形態の情報処理装置１が状況ログＤＢ１１ｃに各情報を蓄積する処理について説明する。
図１６は、実施形態３の情報処理装置１が行う処理の手順の一部を示すフローチャートである。図１６に示す処理は、図１１に示した実施形態２の処理において、ステップＳ２６及びＳ２７の処理の間にステップＳ６１及びＳ６２の処理を追加したものである。図１６では、図１１中のステップＳ２６，Ｓ２７以外のステップの図示を省略する。

本実施形態の情報処理装置１は、図１１中のステップＳ２１〜Ｓ２６の処理を行った後、ステップＳ２２で推定した顧客の感情が所定の感情であるか否か、ステップＳ２５で推定したオペレータの感情が所定の感情であるか否か、或いは、顧客の感情及びオペレータの感情の組合せが所定の組合せであるか否かを判断する（Ｓ６１）。ここでの所定の感情は、例えばAnger、Sadness、Fearとすることができ、所定の組合せは、例えば顧客及びオペレータの感情が共にAngerである場合、顧客の感情がAngerでありオペレータの感情がFearである場合等とすることができるが、これらに限らない。所定の感情は、顧客及びオペレータにおいて同一の感情であってもよいし、異なる感情であってもよい。所定の感情及び所定の組合せとしては、顧客及びオペレータ間のやり取りで、オペレータが対応に困っている、顧客がオペレータの対応に怒っている等、何らかの問題が生じている可能性が予想される感情及び組合せを設定することが好ましい。

顧客又はオペレータの感情が所定の感情又は所定の組合せであると判断した場合（Ｓ６１：ＹＥＳ）、情報処理装置１は、この時点の各種の情報を状況ログ情報として状況ログＤＢ１１ｃに蓄積する（Ｓ６２）。具体的には、情報処理装置１は、この時点の日時を示すタイムスタンプを生成し、生成したタイムスタンプに対応付けて、ステップＳ２２で推定した顧客の感情（顧客感情）、ステップＳ２５で推定したオペレータの感情（オペレータ感情）、ステップＳ２１及びＳ２４で受信した顧客及びオペレータの対話情報を状況ログＤＢ１１ｃに記憶する。なお、対話情報は、タイムスタンプが示す日時の前後の所定時間における対話情報を、例えば問合せログＤＢ１１ａから読み出して記憶してもよい。問合せＩＤ、顧客ＩＤ及びオペレータＩＤは、１つの問合せに関する状況ログ情報が最初に状況ログＤＢ１１ｃに記憶される際に対応付けて記憶される。

顧客又はオペレータの感情が所定の感情でないと判断した場合（Ｓ６１：ＮＯ）、情報処理装置１は、ステップＳ６２の処理をスキップし、ステップＳ２７以降の処理を行う。
上述した処理により、情報処理装置１は、顧客の情報（撮像画像、発話音声、対話情報）に基づいて推定した顧客の感情が所定の感情であった場合に、また、オペレータの情報（撮像画像、発話音声、対話情報）に基づいて推定したオペレータの感情が所定の感情であった場合に、その都度、状況ログ情報を蓄積できる。また、情報処理装置１は、顧客の感情及びオペレータの感情が所定の組合せであった場合に、その都度、状況ログ情報を蓄積できる。これにより、例えばスーパバイザ等に通知すべき状況の状況ログ情報を逐次蓄積できる。このような状況ログＤＢ１１ｃを用いることにより、顧客及びオペレータ間のやり取りにおいて何らかの問題が生じた場合に、やり取りの状況ログ情報（対話情報等）を容易に検索できる。例えば、顧客がAngerの感情であった問合せに関する状況ログ情報を状況ログＤＢ１１ｃから容易に抽出できるので、状況ログ情報の検索性が向上する。

図１７は、情報処理装置１による状況ログ情報の検索処理を示すフローチャートである。
上述した状況ログＤＢ１１ｃを生成している情報処理装置１において、制御部１０は、例えば操作部（図示せず）を介して、状況ログＤＢ１１ｃから読み出したい状況ログ情報の検索条件を受け付ける（Ｓ８１）。例えば、スーパバイザ又はオペレータは、個別の顧客及びオペレータのやり取りに関する状況ログ情報を再生させたい場合、顧客ＩＤ、オペレータＩＤ、やり取りが行われた日時等を検索条件として情報処理装置１に入力する。また、顧客又はオペレータが所定の感情となったやり取りに関する状況ログ情報を再生させたい場合、スーパバイザ又はオペレータは、顧客の感情、オペレータの感情、顧客及びオペレータの感情の組合せ等を検索条件として情報処理装置１に入力する。

情報処理装置１の制御部１０は、受け付けた検索条件を検索キーとして状況ログＤＢ１１ｃを検索し、検索できたか否かを判断する（Ｓ８２）。受け付けた検索条件の状況ログ情報を検索できたと判断した場合（Ｓ８２：ＹＥＳ）、制御部１０は、検索した状況ログ情報を状況ログＤＢ１１ｃから読み出し（Ｓ８３）、表示部及びスピーカ（共に図示せず）に再生させる（Ｓ８４）。具体的には、制御部１０は、検索できた状況ログ情報から顧客の情報（撮像画像及び発話音声）、オペレータの情報（撮像画像及び発話音声）、顧客及びオペレータの対話情報を読み出す。そして、制御部１０は、読み出した顧客の撮像画像、オペレータの撮像画像、顧客及びオペレータの対話情報を表示部に表示し、顧客の発話音声及びオペレータの発話音声をスピーカから出力する。なお、制御部１０は、顧客及びオペレータの感情も状況ログＤＢ１１ｃから読み出して、顧客及びオペレータの撮像画像にそれぞれ対応させて表示させてもよい。

制御部１０は、受け付けた検索条件の状況ログ情報を検索できなかった場合（Ｓ８２：ＮＯ）、ステップＳ８３，Ｓ８４の処理をステップし、例えばエラー表示を行って処理を終了する。
上述したように、顧客及びオペレータが所定の感情となった場合に状況ログＤＢ１１ｃにやり取りの内容（状況ログ情報）を蓄積しておくことにより、状況ログＤＢ１１ｃを用いることによって、後日やり取りの状況を再生（再現）することができる。また、顧客及びオペレータの感情を状況ログ情報として記憶しておくことにより、顧客又はオペレータの感情に基づいて容易に状況ログ情報を検索できる。

本実施形態の情報処理装置１は、図１１中のステップＳ３０で、顧客端末３とオペレータ端末２との間で送受信された顧客の情報及びオペレータの情報、顧客及びオペレータの感情等を含むログ情報を問合せログＤＢ１１ａに蓄積している。従って、情報処理装置１は、状況ログＤＢ１１ｃに状況ログ情報を蓄積すべき状況が発生する都度、状況ログ情報を蓄積する必要はない。例えば、問合せログＤＢ１１ａにある程度のログ情報が蓄積した後に、問合せログＤＢ１１ａに記憶された顧客感情及びオペレータ感情に基づいて、状況ログＤＢ１１ｃに蓄積すべき状況ログ情報を問合せログＤＢ１１ａから状況ログＤＢ１１ｃにコピーする処理を行ってもよい。このような構成の場合、リアルタイムで顧客及びオペレータの感情を推定する情報処理装置１における処理負担を軽減できる。

本実施形態は、上述した実施形態２の変形例として説明したが、実施形態１にも適用できる。即ち、実施形態１の情報処理装置１において、顧客の感情を推定した際に、推定した感情が所定の感情であった場合、この時点の日時と共に、推定した顧客の感情及び顧客の情報（撮像画像、発話音声、対話情報）を状況ログＤＢ１１ｃに蓄積すればよい。この場合にも、顧客及びオペレータ間のやり取りにおいて何らかの問題が生じた場合に、やり取りの状況ログ情報（対話情報等）の検索が容易である。

（実施形態４）
上述した実施形態１のコンタクトセンターシステムの変形例について説明する。
本実施形態のコンタクトセンターシステムにおいて、各機器は、上述した実施形態１と同様の構成を有し、同様の処理を行うので、同様の構成及び処理についての説明は省略する。なお、本実施形態のコンタクトセンターシステムでは、情報処理装置１が推定してオペレータ端末２に表示される顧客の感情に対して、オペレータ端末２を介して顧客と対話中のオペレータが訂正できるように構成されている。

図１８は、実施形態４のオペレータ端末２における画面例を示す模式図である。図１８に示す画面には、図４Ｂに示す画面と同様に、顧客の撮像画像２３ａ、オペレータの撮像画像２３ｂ、メッセージの入力欄２３ｃ、トーク履歴の表示欄２３ｄ、顧客の感情表示欄２３ｅ、アドバイス欄２３ｆ、通話終了ボタンが表示される。更に、本実施形態のオペレータ端末２では、顧客の感情表示欄２３ｅの下に、感情表示欄２３ｅに表示された顧客の感情を訂正するための感情訂正ボタン２３ｇが表示される。
感情訂正ボタン２３ｇは、情報処理装置１で推定可能な感情をそれぞれ選択できるように複数のボタンを含む。オペレータは、顧客と対話しつつ、感情表示欄２３ｅに逐次表示される顧客の感情が、自身で判断した顧客の感情と異なる場合に、感情訂正ボタン２３ｇのいずれかのボタン（感情）を操作する。これにより、オペレータ端末２は、情報処理装置１にて推定された顧客の感情に対する訂正情報を受け付けることができる。

次に、上述したようにオペレータ端末２が顧客の感情に対する訂正情報を受け付けた場合に、オペレータ端末２及び情報処理装置１が行う処理について説明する。
図１９は、実施形態４のオペレータ端末２及び情報処理装置１が行う処理の手順を示すフローチャートである。本実施形態のオペレータ端末２及び情報処理装置１は、図７に示す処理を行いつつ、以下の処理を行う。

オペレータ端末２の制御部２０は、図１８に示す画面において、操作部２２を介していずれかの感情を示す感情訂正ボタン２３ｇが操作されたか否かを判断する（Ｓ７１）。感情訂正ボタン２３ｇが操作されるということは、情報処理装置１の感情推定部１２で推定された感情が適切でないということを意味する。よって、感情訂正ボタン２３ｇが操作されたと判断した場合（Ｓ７１：ＹＥＳ）、オペレータ端末２は、情報処理装置１の感情推定部１２（識別器１２ａ）に対する教師データを抽出して情報処理装置１へ送信する（Ｓ７２）。

教師データは、例えば、この時点での顧客の情報（具体的には、顧客端末３から受信する顧客の撮像画像、発話音声及び対話情報）、この時点で感情表示欄２３ｅに表示されている顧客の感情、感情訂正ボタン２３ｇを介して指定された訂正情報を含む。なお、教師データに含まれる顧客の情報は、訂正対象となった顧客の感情が推定される際に用いられた情報であることが好ましい。また、顧客の情報は、顧客の撮像画像、発話音声及び対話情報の少なくとも１つであってもよい。

情報処理装置１は、オペレータ端末２から送信された教師データを、通信部（受付部）１３にて受信し（Ｓ７３）、受信した教師データを教師データデータベース（以下、教師データＤＢという）に蓄積する（Ｓ７４）。
図２０は、教師データＤＢの構成例を示す模式図である。図２０Ａに示す教師データＤＢには、顧客情報、顧客感情及び顧客感情訂正情報が対応付けて蓄積されている。よって、情報処理装置１は、オペレータ端末２から教師データを受信した場合、受信した教師データに含まれる顧客の情報、顧客の感情及び訂正情報を対応付けて教師データＤＢに記憶する。

オペレータ端末２は、感情訂正ボタン２３ｇが操作されていないと判断した場合（Ｓ７１：ＮＯ）、ステップＳ７２の処理をスキップし、図７に示す処理等の通常動作を行いつつ、感情訂正ボタン２３ｇが操作される都度、教師データの抽出及び送信を行う。
情報処理装置１は、図７に示す処理等の通常動作を行いつつ、オペレータ端末２から教師データを受信する都度、教師データＤＢへの蓄積を行う。
上述した処理により、情報処理装置１において、図２０Ａに示すような教師データＤＢが生成される。

情報処理装置１は、上述したような教師データＤＢを用いて、感情推定部１２における識別器１２ａの再構築を行うことができるように構成されている。具体的には、情報処理装置１の制御部（処理部）１０が教師データを用いて識別器１２ａの再構築を行う。これにより、再構築された識別器１２ａ（学習済みモデル）を用いた感情推定処理の精度を向上させることができる。
本実施形態では、情報処理装置１による感情推定処理の精度を向上させるための教師データを、オペレータがオペレータ端末２を用いて顧客と対話しつつ生成することができる。よって、教師データの生成及び識別器１２ａの再構築を効率良く行うことが可能となる。

本実施形態は、上述した実施形態１の変形例として説明したが、実施形態２，３にも適用できる。例えば、上述した構成に加え、情報処理装置１が推定してスーパバイザ端末４に表示される顧客及びオペレータの感情に対して、顧客及びオペレータのやり取りを観察しているスーパバイザがスーパバイザ端末４を介して訂正できるように構成することができる。
この場合、例えば、スーパバイザ端末４に表示された図１３Ｂに示す画面において、顧客の感情表示欄４３ｃの下に、感情表示欄４３ｃに表示された顧客の感情を訂正するための感情訂正ボタンが表示され、オペレータの感情表示欄４３ｄの下に、感情表示欄４３ｄに表示されたオペレータの感情を訂正するための感情訂正ボタンが表示される。

スーパバイザは、顧客及びオペレータのやり取りを観察しつつ、感情表示欄４３ｃに逐次表示される顧客の感情が、自身で判断した顧客の感情と異なる場合に、顧客の感情に対する感情訂正ボタンを操作する。同様に、スーパバイザは、感情表示欄４３ｄに逐次表示されるオペレータの感情が、自身で判断したオペレータの感情と異なる場合に、オペレータの感情に対する感情訂正ボタンを操作する。これにより、スーパバイザ端末４は、情報処理装置１にて推定された顧客及びオペレータの感情に対する訂正情報を受け付けることができる。
なお、図１３Ａに示す画面においても、それぞれの顧客及びオペレータの感情を訂正するための感情訂正ボタンを表示することにより、同様の処理が可能である。

上述したようにスーパバイザ端末４が顧客又はオペレータの感情に対する訂正情報を受け付けた場合、スーパバイザ端末４は、図１９で示したオペレータ端末２の処理と同様に、教師データを抽出して情報処理装置１へ送信する。ここでの教師データは、例えば、顧客の感情に対する訂正情報を受け付けた場合は、訂正情報を受け付けた時点での顧客の情報、感情表示欄４３ｃに表示されている顧客の感情、指定された訂正情報を含む。また、オペレータの感情に対する訂正情報を受け付けた場合、教師データは、訂正情報を受け付けた時点でのオペレータの情報、感情表示欄４３ｄに表示されているオペレータの感情、指定された訂正情報を含む。ここでも、顧客及びオペレータの情報は、訂正対象となった顧客又はオペレータの感情が推定される際に用いられた撮像画像、発話音声及び対話情報の少なくとも１つである。

スーパバイザ端末４から教師データを受信した情報処理装置１は、受信した教師データを教師データＤＢに蓄積する。この場合、図２０Ｂに示すような教師データＤＢが生成される。図２０Ｂに示す教師データＤＢには、顧客又はオペレータの情報、顧客又はオペレータの感情、及び顧客又はオペレータの感情に対する訂正情報が対応付けて蓄積される。よって、情報処理装置１は、オペレータ端末２からだけでなくスーパバイザ端末４からも教師データを収集できるので、より効率よく教師データＤＢを生成できる。

本実施形態において、情報処理装置１が、推定した顧客及びオペレータの感情だけでなく、各感情を推定する際に推定した顧客及びオペレータの属性（年齢及び性別等）等もオペレータ端末２及びスーパバイザ端末４へ送信し、オペレータ端末２及びスーパバイザ端末４が表示する構成としてもよい。この場合、上述した処理と同様の処理によって、オペレータ端末２及びスーパバイザ端末４に表示された顧客及びオペレータの属性に対して、オペレータ及びスーパバイザによる訂正が可能となる。よって、オペレータ及びスーパバイザによる顧客及びオペレータの属性に対する訂正情報を用いて、感情推定部１２の識別器１２ａ再構築することができる。

（実施形態５）
上述した実施形態２〜４のコンタクトセンターシステムの変形例について説明する。
本実施形態のコンタクトセンターシステムにおいて、各機器は、上述した実施形態２〜４と同様の構成を有し、同様の処理を行うので、同様の構成及び処理についての説明は省略する。なお、本実施形態では、情報処理装置１が、上述した実施形態２〜４と若干異なるので、異なる構成及び異なる処理についてのみ説明する。
本実施形態の情報処理装置１は、記憶部１１に警告情報データベース（以下、警告情報ＤＢという）を記憶している。

図２１は、警告情報ＤＢの構成例を示す模式図である。本実施形態の警告情報ＤＢには、顧客及びオペレータの感情の組合せのうちで、スーパバイザに早期に警告を発する必要がある組合せが記憶されている。また、警告情報ＤＢには、顧客及びオペレータの感情の組合せに対応付けて、スーパバイザ用アドバイス及びオペレータ用アドバイスが登録されている。

次に、本実施形態の情報処理装置１が行う処理について説明する。
図２２は、実施形態５の情報処理装置１が行う処理の手順の一部を示すフローチャートである。図２２に示す処理は、図１１に示した実施形態２の処理に、ステップＳ９１〜Ｓ９３の処理を追加したものである。図２２では、図１１中のステップＳ２６〜Ｓ３０以外のステップの図示を省略する。

本実施形態の情報処理装置１は、図１１中のステップＳ２１〜Ｓ２６の処理を行った後、ステップＳ２２で推定した顧客の感情と、ステップＳ２５で推定したオペレータの感情との組合せが、警告情報ＤＢに登録されているか否かを判断する（Ｓ９１）。
顧客及びオペレータの感情の組合せが警告情報ＤＢに登録されていないと判断した場合（Ｓ９１：ＮＯ）、情報処理装置１は、実施形態２と同様に、ステップＳ２７以降の処理を行う。ここでは、例えば、顧客の情報、顧客の感情、オペレータの情報、及びオペレータの感情に基づいて、オペレータ用アドバイス及びスーパバイザ用アドバイスを特定し、オペレータ端末２及びスーパバイザ端末４へ送信する。

顧客及びオペレータの感情の組合せが警告情報ＤＢに登録されていると判断した場合（Ｓ９１：ＹＥＳ）、情報処理装置１は、顧客及びオペレータの感情の組合せに対応するスーパバイザ用アドバイス及びオペレータ用アドバイスを警告情報ＤＢから特定する（Ｓ９２）。そして、情報処理装置１は、特定したスーパバイザ用アドバイスを示すアドバイス情報をスーパバイザ端末４へ、オペレータ用アドバイスを示すアドバイス情報をオペレータ端末２へ、それぞれ警告指示と共に送信する（Ｓ９３）。なお、警告指示は、スーパバイザ端末４のみへ送信されてもよいし、スーパバイザ端末４及びオペレータ端末２へ送信されてもよい。その後、情報処理装置１は、ステップＳ３０に処理を移行する。

上述した処理により、顧客及びオペレータの感情が所定の組合せとなった場合に、スーパバイザ端末４を介してスーパバイザに早期に警告を発することができる。よって、スーパバイザは、顧客とのやり取りに何らかの問題が生じているオペレータを早期に発見し、サポートすることができる。
図２１に示した警告情報ＤＢを用いる場合、例えば、顧客が演技をしている場合のように顧客の感情が作為的であると推定され、そのときのオペレータの感情がFearや困惑していると推定された場合には、スーパバイザに警告を発することができる。この場合、例えば、顧客が、商品に関する問合せ等の本来の目的ではなく、ナンパや出会い目的でコンタクトセンターにアクセスし、オペレータが困惑している状況を早期に発見することができる。また、この場合に、スーパバイザに、「業務に関係のない話をしています。注意して下さい。」とアドバイスし、必要に応じて応対を交代することにより、問題を早期に解決することができる。また、オペレータには、「商品の話に戻して下さい。スーパバイザと代わって下さい。」とアドバイスすることにより、オペレータに解決策を伝えることができる。

上述した各実施形態において、オペレータ端末２がオペレータの心拍数又は体温等を計測する構成を更に有する場合、情報処理装置１は、オペレータの撮像画像、発話音声及び対話情報に加え、オペレータの心拍数及び体温等も考慮してオペレータの感情を推定するように構成してもよい。また、顧客端末３が顧客の心拍数又は体温等を計測する構成を更に有する場合、情報処理装置１は、顧客の撮像画像、発話音声及び対話情報に加え、顧客の心拍数及び体温等も考慮して顧客の感情を推定するように構成してもよい。
このような構成とした場合、顧客及びオペレータの感情をより正確に推定することが可能となるので、オペレータ又はスーパバイザに対してより適切なアドバイスを提供することができる。

上述した各実施形態において、顧客の撮像画像（撮影映像）中に、撮像画像から推定された顧客の感情を追加して表示する構成としてもよい。例えば、情報処理装置１が、顧客の感情を推定した際に、この感情を推定した時刻を特定し、顧客の撮像画像（撮影映像）と、特定した時刻を示す時間情報と、推定した感情を示す感情情報とを含む映像データを生成する。これにより、この映像データをオペレータ端末２又はスーパバイザ端末４で再生した場合に、顧客の撮影映像を表示しつつ、顧客の感情が推定されたタイミング（日時）で、推定された感情を撮影映像中に表示させることができる。
同様に、情報処理装置１が、オペレータの感情を推定した際に、この感情を推定した時刻を特定し、オペレータの撮像画像（撮影映像）と、特定した時刻を示す時間情報と、推定した感情を示す感情情報とを含む映像データを生成する。この場合、この映像データをオペレータ端末２又はスーパバイザ端末４で再生することにより、オペレータの撮影映像を表示しつつ、オペレータの感情が推定されたタイミング（日時）で、推定された感情を撮影映像中に表示させることができる。

（実施形態６）
実施形態６のコンタクトセンターシステムについて説明する。
本実施形態のコンタクトセンターシステムは、上述した実施形態１と同様の構成を有し、各機器は、上述した実施形態１と同様の処理を行うので、同様の構成及び処理についての説明は省略する。本実施形態の情報処理装置１は、図７に示す処理を行いつつ、以下の処理を行う。

図２３は、実施形態６の情報処理装置１が行う処理の手順を示すフローチャートであり、図２４は、実施形態６の情報処理装置１が行う処理の説明図である。上述の実施形態１では、通信中の顧客端末３及びオペレータ端末２は、カメラ３４，２４、マイク３５，２５及び操作部３２，２２等によってそれぞれ取得した顧客の情報及びオペレータの情報（撮像画像、発話音声、対話情報）を直接送受信する。これに対して、本実施形態では、通信中の顧客端末３及びオペレータ端末２がそれぞれ取得した顧客の情報及びオペレータの情報は、情報処理装置１を介して送受信される。なお、顧客及びオペレータの情報のうちの少なくとも顧客及びオペレータの撮像画像が情報処理装置１を介して送受信されればよく、顧客及びオペレータの発話音声及び対話情報は顧客端末３及びオペレータ端末２間で直接送受信されてもよい。以下では、顧客端末３及びオペレータ端末２間で情報処理装置１を介して送受信される顧客及びオペレータの撮像画像についてのみ説明する。

顧客端末３とオペレータ端末２との間で通信が行われている場合、情報処理装置１は、顧客端末３から送信される顧客の撮像画像、及びオペレータ端末２から送信されるオペレータの撮像画像を受信する。情報処理装置１は、顧客の撮像画像又はオペレータの撮像画像を受信したか否かを判断しており（Ｓ１０１）、受信していないと判断した場合（Ｓ１０１：ＮＯ）、その他の処理を行いつつ待機する。

情報処理装置１において、顧客の撮像画像又はオペレータの撮像画像を受信したと判断した場合（Ｓ１０１：ＹＥＳ）、制御部（特定部）１０は、受信した撮像画像に対して、被写体の顧客又はオペレータの背景の領域を特定する（Ｓ１０２）。例えば、制御部１０は、撮像画像から被写体（顧客又はオペレータ）の顔領域を検出し、検出した顔領域を基準とした所定領域を被写体領域に特定し、被写体領域以外の領域を背景領域に特定する。なお、撮像画像から顔領域を検出する方法は、例えばテンプレートマッチング技術を用いる。具体的には、一般的な人の顔の矩形画像を示すテンプレートが予め記憶部１１に記憶されており、制御部１０は、撮像画像からテンプレートに一致する領域を検出した場合、検出した領域を顔領域に決定する。そして、制御部１０は、撮像画像において、検出した顔領域の下側の所定の矩形領域を衣服領域に決定し、検出した顔領域と衣服領域とを併せて被写体領域に決定する。更に制御部１０は、撮像画像において、検出した被写体領域以外の領域を背景領域に決定する。このような処理により、図２４Ａに示す撮像画像において、ハッチングを付した領域が背景領域に特定される。なお、制御部１０は、撮像画像から被写体（顧客又はオペレータ）の目、鼻又は口等の器官の領域を検出し、検出した器官領域を基準とした所定領域を被写体領域に特定してもよい。

また、例えば顧客端末３及びオペレータ端末２がカメラ３４，２４から被写体（顧客又はオペレータ）までの距離を検出する深度センサを有する場合、制御部１０は、深度センサによる検出距離が所定範囲内（例えば６０ｃｍ以内）の物体を被写体に決定し、被写体を撮像した領域を被写体領域としてもよい。そして制御部１０は、撮像画像において、検出した被写体領域以外の領域を背景領域としてもよい。このような処理によれば、図２４Ｂにハッチングで示すように、被写体（顧客又はオペレータ）のアウトライン（背景との境界）で囲まれた領域以外の領域が背景領域に特定される。なお、被写体（顧客又はオペレータ）までの距離を検出する方法は、赤外線又は超音波等を用いた深度センサを用いるほかに、複数の撮像部を備えるステレオカメラを用いてもよい。カメラ３４，２４がステレオカメラである場合、制御部１０は、カメラ３４，２４が検出した被写体（顧客又はオペレータ）までの距離を用いて、撮像画像中の被写体領域及び背景領域を特定できる。また、セマンティックセグメンテーション技術を用いて、撮像画像中の被写体領域及び背景領域を特定してもよく、上述した方法以外の方法によって撮像画像中の被写体領域及び背景領域を区分してもよい。

カメラ３４，２４から被写体までの距離（深度センサによる検出距離）が所定範囲内の物体を被写体とする場合、問合せ内容に関する商品等をカメラ３４，２４から所定範囲内の位置で撮像することにより、商品等を被写体に含めることができる。例えば顧客及びオペレータが、商品を顧客及びオペレータの顔付近に持ち上げることにより、顧客及びオペレータの顔だけでなく商品等も被写体に含めることができるので、商品等を対話相手に見せることができる。

次に、制御部（画像処理部）１０は、受信した撮像画像において、ステップＳ１０２で特定した背景領域に所定の画像処理を行う（Ｓ１０３）。ここでの画像処理は、例えば被写体領域を残して背景領域をマスクするマスク処理、背景領域をぼかすぼかし処理、背景領域にモザイクをかけるモザイク処理を用いることができる。背景領域に行う画像処理は、解像度を、背景領域における被写体を識別できない程度に低下させる処理であれば、どのような処理でもよい。

情報処理装置１は、ステップＳ１０３で画像処理を行った撮像画像を、通信中の顧客端末３及びオペレータ端末２へ送信する（Ｓ１０４）。顧客端末３及びオペレータ端末２は、情報処理装置１から受信した顧客の撮像画像及びオペレータの撮像画像を表示部３３，２３に表示する。これにより、顧客端末３では、図４Ａに示す表示画面において、顧客の撮像画像３３ｂ及びオペレータの撮像画像３３ａのそれぞれが、図２４Ａ又はＢに示すように背景領域がマスクされた状態で表示される。また、オペレータ端末２では、図４Ｂに示す表示画面において、オペレータの撮像画像２３ｂ及び顧客の撮像画像２３ａのそれぞれが、図２４Ａ又はＢに示すように背景領域がマスクされた状態で表示される。

上述した処理により、顧客及びオペレータの背景領域をマスク又はぼかした状態の撮像画像を送受信するので、対話相手に自身の背景空間を見られない。よって、例えば顧客の生活空間がオペレータに見られることを防止できるので、顧客のプライバシーを保護できる。また、オペレータの背景領域を顧客に見られないので、例えばオペレータの背後にパーティション等を設置する必要がなくなるとともに、オペレータの在宅勤務に対する心理的抵抗感を軽減できる。従って、それぞれの撮像画像を送受信して対話相手の顔や問合せ内容に関する商品等を見せ合いながら対話することによって、商品等の問題点や不明点等の問合せ内容を正確に伝えることができるので、迅速に問合せを解決することができるというビデオ通話の利点を維持しつつ、顧客及びオペレータのプライバシーを保護できる。

本実施形態において、情報処理装置１は、顧客及びオペレータの撮像画像に対して背景領域を特定する処理及び背景領域に行う画像処理を、所定時間毎（例えば数秒毎）に行ってもよい。また、情報処理装置１は、撮像画像中の顧客又はオペレータの顔領域の追跡処理を行い、顔領域の位置が所定距離以上移動する都度、顧客又はオペレータの撮像画像に対する背景領域の特定処理及び画像処理を行ってもよい。撮像画像において顧客及びオペレータの顔領域の位置はほぼ同じ位置であることが多い。従って、顧客端末３及びオペレータ端末２から逐次送信されてくる撮像画像に対して、背景領域の特定処理及び画像処理を逐次行う必要はない。よって、情報処理装置１による撮像画像に対する背景領域の特定処理及び画像処理の実行頻度を少なくすることにより、情報処理装置１による処理負荷を軽減できる。

また、情報処理装置１が行う撮像画像に対する背景領域の特定処理及び背景領域に対する画像処理（マスク処理等）を顧客端末３及びオペレータ端末２でそれぞれ行ってもよい。例えば、通信中の顧客端末３及びオペレータ端末２は、カメラ３４，２４で取得した撮像画像に対して、背景領域の特定処理及び背景領域に対する画像処理を行った後、通信相手のオペレータ端末２及び顧客端末３に処理後の撮像画像を送信してもよい。この場合、顧客端末３及びオペレータ端末２で取得された撮像画像は、情報処理装置１を介して送受信される必要がなく、顧客端末３及びオペレータ端末２間で直接送受信できる。

本実施形態において、情報処理装置１は、顧客端末３から受信した顧客の撮像画像に対しては背景領域の特定処理及び画像処理を行うが、オペレータ端末２から受信したオペレータの撮像画像に対しては何も行わない構成としてもよい。このように顧客の撮像画像及びオペレータの撮像画像において、背景領域にマスク処理等の画像処理を行うか否かを異ならせてもよい。

本実施形態は、上述した実施形態１の変形例として説明したが、実施形態２〜５にも適用できる。即ち、実施形態２〜５のコンタクトセンターシステムにおいて、情報処理装置１は、顧客端末３及びオペレータ端末２間で送受信される顧客及びオペレータの撮像画像に対して、背景領域に所定の画像処理を行う構成としてもよい。この場合にも、本実施形態と同様の効果が得られる。

（実施形態７）
上述した実施形態６のコンタクトセンターシステムの変形例について説明する。
本実施形態のコンタクトセンターシステムにおいて、各機器は、上述した実施形態６と同様の構成を有し、同様の処理を行うので、同様の構成及び処理についての説明は省略する。なお、本実施形態では、顧客及びオペレータの撮像画像に対して情報処理装置１が行う背景領域の特定処理及び画像処理が実施形態６と異なるので、異なる処理についてのみ説明する。

図２５は、実施形態７の情報処理装置１が行う処理の手順を示すフローチャートであり、図２６は、実施形態７の情報処理装置１が行う処理の説明図である。本実施形態においても、顧客端末３とオペレータ端末２との間で通信が行われている場合、情報処理装置１は、顧客端末３から送信される顧客の撮像画像、及びオペレータ端末２から送信されるオペレータの撮像画像を受信する。情報処理装置１は、顧客の撮像画像又はオペレータの撮像画像を受信したか否かを判断しており（Ｓ２０１）、受信していないと判断した場合（Ｓ２０１：ＮＯ）、その他の処理を行いつつ待機する。

情報処理装置１において、顧客の撮像画像又はオペレータの撮像画像を受信したと判断した場合（Ｓ２０１：ＹＥＳ）、制御部１０は、受信した撮像画像に対して、所定領域に所定の画像処理を行う（Ｓ２０２）。所定の画像処理は、実施形態６と同様にマスク処理、ぼかし処理、モザイク処理等を用いることができる。画像処理を行う所定領域は、予め設定されており、例えば図２６に示す撮像画像において、ハッチングを付した周辺領域とすることができる。画像処理が行われる所定領域は、マスク処理等の画像処理が行われるので、顧客端末３及びオペレータ端末２でマスクされた状態で表示される。よって、以下では、画像処理が行われる領域を無効領域という。また画像処理が行われない領域は、例えば図２６に示すように撮像画像の中央部分とすることができ、画像処理が行われないので、顧客端末３及びオペレータ端末２でそのまま表示される。よって、以下では、画像処理が行われない領域を有効領域という。本実施形態の情報処理装置１は、受信した撮像画像に対して、所定の無効領域に所定の画像処理を行う。なお、撮像画像における有効領域及び無効領域は、図２６に示すような中央部分及び周辺部分に限らず、撮像画像中の適宜の領域とすることができる。

情報処理装置１は、ステップＳ２０２で画像処理を行った撮像画像を、通信中の顧客端末３及びオペレータ端末２へ送信する（Ｓ２０３）。顧客端末３及びオペレータ端末２は、情報処理装置１から受信した顧客の撮像画像及びオペレータの撮像画像を表示部３３，２３に表示する。これにより、顧客端末３では、図４Ａに示す表示画面において、顧客の撮像画像３３ｂ及びオペレータの撮像画像３３ａのそれぞれが、図２６に示すように無効領域がマスクされた状態で表示される。また、オペレータ端末２では、図４Ｂに示す表示画面において、オペレータの撮像画像２３ｂ及び顧客の撮像画像２３ａのそれぞれが、図２６に示すように無効領域がマスクされた状態で表示される。なお、図２６Ａは、顧客又はオペレータの顔の撮像画像を示し、図２６Ｂは、問合せ内容に関する商品の撮像画像を示す。

上述した処理により、顧客及びオペレータの撮像画像における無効領域をマスク又はぼかした状態の撮像画像を送受信するので、対話相手に見られる背景空間を制限できる。本実施形態では、情報処理装置１は、撮像画像から背景領域を特定する処理を行わず、撮像画像の所定領域（無効領域）に対する画像処理のみを行うので、情報処理装置１による処理負担を軽減できる。また、顧客が自身の顔をオペレータに見せたくない場合であっても、問合せ内容に関する商品をオペレータに見せることができるので、問合せ内容を正確に伝えることができる。よって、顧客のプライバシーを保護できると共に、問合せに対して迅速な解決が可能となる。

本実施形態において、情報処理装置１が行う撮像画像の無効領域（例えば周辺領域）に対する画像処理（マスク処理等）を顧客端末３及びオペレータ端末２でそれぞれ行ってもよい。例えば、通信中の顧客端末３及びオペレータ端末２は、カメラ３４，２４で取得した撮像画像に対して、無効領域に対する画像処理を行った後、通信相手のオペレータ端末２及び顧客端末３に処理後の撮像画像を送信してもよい。
また、情報処理装置１は、顧客及びオペレータの撮像画像の無効領域に画像処理を行わずに、顧客及びオペレータの撮像画像から有効領域を抽出し、有効領域のみを顧客端末３及びオペレータ端末２へ送信する構成でもよい。このような構成においても、顧客端末３及びオペレータ端末２が、顧客及びオペレータの撮像画像のそれぞれから有効領域を抽出するようにしてもよい。即ち、顧客端末３及びオペレータ端末２が、カメラ３４，２４で取得した撮像画像から有効領域を抽出し、抽出した有効領域を通信相手のオペレータ端末２及び顧客端末３に送信してもよい。この場合、顧客端末３及びオペレータ端末２はそれぞれ、受信した有効領域のみを表示してもよいし、受信した有効領域に所定の周辺領域を付加して表示してもよい。

また顧客端末３及びオペレータ端末２は、カメラ３４，２４で取得した撮像画像の情報処理装置１への送信を開始する前に、撮像画像における有効領域及び無効領域を顧客及びオペレータに通知してもよい。例えば、顧客端末３及びオペレータ端末２は、図２６Ａ，Ｂに示す撮像画像のように、有効領域及び無効領域の箇所又は境界が分かる撮像画像を表示部３３，２３に表示する。これにより、顧客及びオペレータは、対話相手に送信される自身の撮像画像を確認でき、また、自身の顔や商品等が有効領域内に入るように撮像状態を調整することができる。なお、撮像画像に対する有効領域及び無効領域は、情報処理装置１から顧客端末３及びオペレータ端末２に通知されてもよい。この場合、情報処理装置１の制御部（情報出力部）１０が、顧客端末３及びオペレータ端末２のカメラ３４，２４による撮像領域における有効領域及び無効領域を示す情報を顧客端末３及びオペレータ端末２へ出力する。そして顧客端末３及びオペレータ端末２は、情報処理装置１から取得した情報に基づいて、有効領域及び無効領域の箇所が分かる撮像画像を表示部３３，２３に表示する。

本実施形態においても、顧客の撮像画像及びオペレータの撮像画像において、無効領域に対してマスク処理等の画像処理を行うか否かを異ならせてもよい。また、本実施形態においても実施形態６で説明した変形例の適用が可能である。

（実施形態８）
実施形態８のコンタクトセンターシステムについて説明する。本実施形態のコンタクトセンターシステムでは、実施形態６，７に示したように撮像画像の背景領域（又は無効領域）に対してマスク処理等の画像処理を行う処理態様と、実施形態１〜５に示したように前記画像処理を行わない処理態様との切り替えが可能である。上述の各実施形態と同様の構成及び処理についての説明は省略する。以下では、撮像画像に対してマスク処理等の画像処理を行う処理態様を背景オフモードといい、前記画像処理を行わない処理態様を通常モードという。

図２７は、実施形態８の顧客端末３における画面例を示す模式図である。図２７に示す画面には、図４Ａに示した実施形態１の顧客端末３の表示画面に加えて背景オフボタンが更に表示されている。図２７Ａは通常モードにおける顧客端末３の表示画面例を示し、図２７Ｂは背景オフモードにおける顧客端末３の表示画面例を示す。図２７Ａに示す表示画面では、図４Ａに示す表示画面と同様に、顧客の撮像画像３３ｂが、背景領域に対してマスク処理等の画像処理が行われていない状態で表示されている。図２７Ｂに示す表示画面では、顧客の撮像画像３３ｂが、背景領域に対してマスク処理等の画像処理が行われた状態で表示されている。

顧客端末３において、図２７Ａに示す表示画面の表示中に背景オフボタンが操作された場合、顧客端末３は背景オフモードへの切り替えを情報処理装置１に指示する。情報処理装置１は、顧客端末３からの指示に従い、上述した実施形態６又は７の処理態様に切り替える。即ち、情報処理装置１は、顧客端末３から受信する顧客の撮像画像に対して背景領域（又は無効領域）に所定の画像処理を行い、処理後の撮像画像を顧客端末３及びオペレータ端末２に送信する処理態様を開始する。これにより、顧客端末３では、図２７Ｂに示す表示画面の表示が開始される。また、顧客端末３において、図２７Ｂに示す表示画面の表示中に背景オフボタンが操作された場合、顧客端末３は通常モードへの切り替えを情報処理装置１に指示する。情報処理装置１は、顧客端末３からの指示に従い、上述した実施形態１〜５の処理態様に切り替える。即ち、情報処理装置１は、顧客端末３から受信する顧客の撮像画像に対して何も行わずに顧客端末３及びオペレータ端末２に送信する処理態様を開始する。これにより、顧客端末３では、図２７Ａに示す表示画面の表示が開始される。

上述した処理により、情報処理装置１による処理を通常モードと背景オフモードとに切り替えることができる。よって、顧客の希望に応じて顧客端末３及びオペレータ端末２に表示される顧客の撮像画像を、背景領域（又は無効領域）をマスクした状態で表示するのか、そのまま表示するのかを切り替えることができる。
上述した処理は、顧客の撮像画像についてだけでなく、オペレータの撮像画像についても可能である。即ち、図４Ｂに示した実施形態１のオペレータ端末２の表示画面に背景オフボタンを表示しておき、オペレータ端末２の表示画面において背景オフボタンが操作された場合、オペレータ端末２は背景オフモードへの切り替えを情報処理装置１に指示する。情報処理装置１は、オペレータ端末２からの指示に従い、オペレータ端末２から受信するオペレータの撮像画像に対して背景領域（又は無効領域）に所定の画像処理を行い、処理後の撮像画像を顧客端末３及びオペレータ端末２に送信する処理態様を開始する。このようにオペレータの撮像画像に対しても、背景領域（又は無効領域）に所定の画像処理を行うか否かを切り替えられるようにしてもよい。

上述した各実施形態において、情報処理装置１の感情推定部１２が推定する感情には、Anger、Happiness、Neutral、Fear、Sadness、Surprise等の喜怒哀楽の感情（emotion）、ポジティブ、ネガティブ、肯定的、否定的、作為的、困惑度合等の態度（attitude）及び個性（personality）、スキル（skill）等が含まれる。また感情推定部１２は、対話中のユーザ間の関係を各ユーザの感情として推定してもよい。例えば感情推定部１２は、調和的又は親密な関係（rapport）、上司及び部下、先輩及び後輩、地位又は年齢における上下関係等の社会的な地位（status）及び役割（role）、会話において優勢であるか劣勢であるか等の優位性（dominance）、対話相手からどの程度影響を受けているか等の説得性（persuasion）等を推定してもよい。更に感情推定部１２は、そのほかの内面的な感情及び状態、会話における発話権の移譲等のコミュニケーションにおける調整（regulation）等を推定してもよい。本開示において、感情推定部１２が推定する感情は、上述した各種のものを含んでもよく、これらを推定できる識別器１２ａを用いることができる。

上述した各実施形態では、情報処理装置１が顧客の感情を推定してオペレータ端末２に通知し、また、顧客及びオペレータの感情を推定してスーパバイザ端末４に通知する。これにより、オペレータ及びスーパバイザは、顧客及びオペレータの感情を客観的に把握できる。このほかに、顧客及びオペレータの感情はオペレータ端末２又はスーパバイザ端末４に通知せずに、顧客及びオペレータの感情に応じたアドバイス情報のみをオペレータ端末２又はスーパバイザ端末４に通知する構成としてもよい。例えば、図４Ｂに示す表示画面を、顧客の感情が表示される感情表示欄２３ｅを有しない構成としてもよい。

また、スーパバイザ端末４が、テキスト入力、音声入力等を受け付ける入力部を有し、スーパバイザが入力部にて入力したオペレータに対するアドバイス情報又はメッセージを、情報処理装置１を介してオペレータ端末２へ送信する処理を行ってもよい。この場合、情報処理装置１の制御部１０は、スーパバイザ端末４の入力部から入力されたテキスト又は音声によるアドバイス情報又はメッセージをオペレータ端末２へ転送する転送部として機能する。なお、このとき、情報処理装置１は、スーパバイザ端末４から入力されたアドバイス情報又はメッセージを顧客端末３へは送信しない。
更に、スーパバイザ端末４がカメラ、マイク及びスピーカ等を備える場合には、スーパバイザがスーパバイザ端末４を用いてオペレータ端末２のオペレータ又は顧客端末３の顧客と対話できるように構成されていてもよく、或いはオペレータ及び顧客との三者で対話できるように構成されていてもよい。

上述した各実施形態において、情報処理装置１が行う各処理を、オペレータ端末２が行うように構成してもよい。この場合、オペレータ端末２は、顧客端末３から受信した顧客の撮像画像、発話音声及び対話情報から顧客の感情を推定し、推定した感情を図４Ｂに示すように表示部２３に表示してもよい。また、オペレータ端末２は、推定した感情に応じたアドバイス情報を特定し、特定したアドバイス情報を図４Ｂに示すように表示部２３に表示してもよい。なお、オペレータ端末２は、推定した感情、推定した感情に応じたアドバイス情報、或いは、感情及びアドバイス情報の両方を表示してもよい。

また上述した各実施形態において、情報処理装置１が行う各処理を、スーパバイザ端末４が行うように構成してもよい。この場合、スーパバイザ端末４は、顧客端末３から受信した顧客の撮像画像、発話音声及び対話情報から顧客の感情を推定し、推定した感情、及び／又は、推定した感情に応じたアドバイス情報を図１３Ａ，Ｂに示すように表示部４３に表示してもよい。更に、スーパバイザ端末４は、オペレータ端末２から受信したオペレータの撮像画像、発話音声及び対話情報からオペレータの感情を推定し、推定した感情、及び／又は、推定した感情に応じたアドバイス情報を図１３Ａ，Ｂに示すように表示部４３に表示してもよい。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 情報処理装置
２ オペレータ端末
３ 顧客端末
４ スーパバイザ端末
１０ 制御部
１１ 記憶部
１２ 感情推定部
１３ 通信部（入力部）
１４ 警告部
２２ 操作部
４０ 制御部（画像表示部、感情表示部）
４２ 操作部
４３ 表示部
４４ 通信部（入力部）
５１ 顧客情報取得部
５２ 顧客感情推定部（推定部）
５３ 顧客感情出力部（出力部）
５７ オペレータ情報取得部（入力部）
５８ オペレータ感情推定部（推定部）
５９ オペレータ感情出力部（出力部）

Claims (19)

1. 対話中のユーザの撮像画像及び／又は発話音声が入力される入力部と、
   前記入力部に入力された撮像画像及び／又は発話音声に基づいて、前記ユーザの感情を推定する推定部と、
   前記推定部が推定した感情及び／又は前記感情に応じたアドバイス情報を出力する出力部と
   を備えることを特徴とする情報処理装置。
2. 前記出力部は、前記感情及び／又は前記感情に応じたアドバイス情報を、前記ユーザの端末又は前記ユーザを監督する監督者の端末へ出力することを特徴とする請求項１に記載の情報処理装置。
3. 前記推定部は、更に前記ユーザの対話情報に基づいて、前記ユーザの感情を推定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記推定部が推定した前記感情に基づいて警告する警告部を更に備えることを特徴とする請求項１から３までのいずれかひとつに記載の情報処理装置。
5. 前記推定部が推定した前記感情が所定の感情である場合に、前記感情と、前記入力部に入力された前記ユーザの撮像画像及び／又は発話音声とを対応付けて記憶する記憶部を更に備えることを特徴とする請求項１から４までのいずれかひとつに記載の情報処理装置。
6. 前記推定部による推定結果の正否を示す教師データを受け付ける受付部と、
   前記受付部が受け付けた教師データに基づいて、前記推定部の推定処理に用いる識別器の再構築を行う処理部と
   を更に備えることを特徴とする請求項１から５までのいずれかひとつに記載の情報処理装置。
7. 前記推定部は、前記入力部に入力された撮像画像及び／又は発話音声に基づいて前記ユーザの属性を判定し、判定した属性に基づいて前記ユーザの感情を推定することを特徴とする請求項１から６までのいずれかひとつに記載の情報処理装置。
8. 前記出力部は、前記推定部が判定した前記属性に応じたアドバイス情報を出力することを特徴とする請求項７に記載の情報処理装置。
9. 前記入力部に入力された前記ユーザの撮像画像に対して、前記ユーザの背景の領域を特定する特定部と、
   入力された前記ユーザの撮像画像に対して、前記特定部が特定した背景の領域に所定の画像処理を行う画像処理部と、
   前記画像処理部によって処理された前記ユーザの撮像画像を、前記ユーザの端末又は前記ユーザを監督する監督者の端末へ出力する画像出力部と
   を更に備えることを特徴とする請求項１から８までのいずれかひとつに記載の情報処理装置。
10. 前記入力部に入力された前記ユーザの撮像画像に対して、所定の有効領域以外の領域に所定の画像処理を行う画像処理部と、
    前記画像処理部によって処理された前記ユーザの撮像画像を、前記ユーザの端末又は前記ユーザを監督する監督者の端末へ出力する画像出力部と
    を更に備えることを特徴とする請求項１から８までのいずれかひとつに記載の情報処理装置。
11. 前記ユーザの撮像領域における前記所定の有効領域を示す情報を前記ユーザの端末へ出力する情報出力部
    を更に備えることを特徴とする請求項１０に記載の情報処理装置。
12. 前記対話中のユーザは、顧客及びオペレータを含み、
    前記オペレータを監督する監督者の端末で入力されたテキスト又は音声の情報を前記オペレータの端末へ転送する転送部
    を更に備えることを特徴とする請求項１から１１までのいずれかひとつに記載の情報処理装置。
13. 情報処理装置が、
    対話中のユーザの撮像画像及び／又は発話音声を取得し、
    取得した前記撮像画像及び／又は発話音声に基づいて、前記ユーザの感情を推定し、
    推定した前記感情及び／又は前記感情に応じたアドバイス情報を出力する
    ことを特徴とする情報処理方法。
14. 対話中のユーザの撮影映像と、
    前記撮影映像に基づいて前記ユーザの感情が推定されたフレームの時間情報と、
    前記時間情報に基づいて前記撮影映像中に前記ユーザの感情を表示するための感情情報と
    を備えることを特徴とする映像データ。
15. コンピュータに、
    対話中のユーザの撮像画像を取得して表示部に表示し、
    前記ユーザの撮像画像及び／又は発話音声に基づいて推定された前記ユーザの感情を取得して、前記表示部に表示した前記撮像画像に対応付けて表示する
    処理を実行させることを特徴とするプログラム。
16. 前記コンピュータに、
    前記ユーザの感情に応じたアドバイス情報を取得して前記表示部に表示する
    処理を実行させることを特徴とする請求項１５に記載のプログラム。
17. 前記コンピュータに、
    前記ユーザの感情に基づいて警告する処理を実行させることを特徴とする請求項１５又は１６に記載のプログラム。
18. コンピュータに、
    それぞれ対話する複数の顧客及び複数のオペレータの撮像画像を取得して、それぞれ対応付けて表示部に表示し、
    前記複数の顧客及び複数のオペレータの撮像画像に基づいてそれぞれ推定された前記顧客及びオペレータの感情を取得して、前記表示部に表示した前記顧客及びオペレータの撮像画像のそれぞれに対応付けて表示する
    処理を実行させることを特徴とするプログラム。
19. 顧客端末から出力された顧客の撮像画像を受信し、オペレータの撮像画像を取得して前記顧客端末へ出力するオペレータ端末と、監督者端末と、情報処理装置とを含む情報処理システムにおいて、
    前記情報処理装置は、
    前記顧客の撮像画像及び前記オペレータの撮像画像が入力される入力部と、
    前記入力部に入力された前記顧客の撮像画像及び前記オペレータの撮像画像に基づいて、前記顧客及びオペレータの感情を推定する推定部と、
    前記推定部が推定した前記顧客及びオペレータの感情を前記監督者端末へ出力する出力部とを有し、
    前記監督者端末は、
    前記顧客の撮像画像及び前記オペレータの撮像画像が入力される入力部と、
    前記入力部に入力された前記顧客の撮像画像に基づく顧客画像、及び前記オペレータの撮像画像に基づくオペレータ画像を表示部に表示する画像表示部と、
    前記情報処理装置の前記出力部が出力した前記顧客及びオペレータの感情を、前記顧客画像及びオペレータ画像のそれぞれに対応付けて前記表示部に表示する感情表示部とを有する
    ことを特徴とする情報処理システム。