JP2012060387A - 対話シナリオ処理装置及びプログラム - Google Patents

Abstract

【課題】 第１の話者と対話する第２の話者に提示する対話シナリオの生成において、第１の話者の満足度を向上させる対話シナリオを生成する。
【解決手段】 本発明は、第１の話者と対話する第２の話者に提示するための対話シナリオの処理を行う対話シナリオ処理装置に関する。そして、シナリオ処理装置は、第１の話者の顔を撮像した画像データを保持する手段と、保持した画像データから、第１の話者の表情の特徴に係る表情情報を抽出する手段と、抽出した表情情報を利用して、第１の話者の表情を分析する手段と、分析結果に応じた内容の対話シナリオを生成する手段とを有することを特徴とする。
【選択図】 図１

Description

本発明は、対話シナリオ処理装置及びプログラムに関し、例えば、ビデオ会議端末等を用いて遠隔で顧客とオペレータを対話させるシステムに適用し得る。

現在、窓口相談業務を遠隔地で行なうことを可能としたコールセンタシステムは、顧客と直接接点を持つものであり、電話対応したオペレータの印象で「企業イメージ」が左右されるため、企業において重要な位置付けとなっている。

この様な状況を鑑みて、従来、オペレータに対し、各問合せに対する対話シナリオをオペレータが操作する端末に表示させるシステムとして、特許文献１の記載技術がある。

特許文献１に記載されたシステムは、対話シナリオを構成する複数のシナリオパーツから、複数の条件のうち１の条件に応じて所定のシナリオパーツを選択し、一つの条件に対応する対話シナリオを設定してオペレータに提示し、オペレータによる顧客との対話を支援している。

特開平１１−２３４４０８号公報

しかし、特許文献１に記載されたシステムでは、オペレータに提示されるシナリオの内容は、シナリオが始まった時点で決まってしまうため、途中でシナリオの内容の調整は行われない。そのため、例えば、顧客がオペレータの説明を理解しないままシナリオが進み、顧客（説明を受ける話者）の満足度が低下してしまうという問題があった。

そのため、第１の話者（例えば、顧客等）と対話する第２の話者（例えば、オペレータ等）に提示する対話シナリオの生成において、第１の話者の満足度を向上させる対話シナリオを生成する対話シナリオ処理装置及びプログラムが望まれている。

第１の本発明は、第１の話者と対話する第２の話者に提示するための対話シナリオの処理を行う対話シナリオ処理装置において、（１）上記第１の話者の顔を撮像した画像データを保持する画像データ保持手段と、（２）上記画像データ保持手段が保持した画像データから、上記第１の話者の表情の特徴に係る表情情報を抽出する表情情報抽出手段と、（３）上記表情情報抽出手段が抽出した表情情報を利用して、上記第１の話者の表情に係る分析を行う表情分析手段と、（４）上記表情分析手段の分析結果に応じた内容の対話シナリオを生成する対話シナリオ生成手段とを有することを特徴とする。

第２の本発明の対話シナリオ処理プログラムは、第１の話者と対話する第２の話者に提示するための対話シナリオの処理を行う対話シナリオ処理装置に搭載されたコンピュータを、（１）上記第１の話者の顔を撮像した画像データを保持する画像データ保持手段と、（２）上記画像データ保持手段が保持した画像データから、上記第１の話者の表情の特徴に係る表情情報を抽出する表情情報抽出手段と、（３）上記表情情報抽出手段が抽出した表情情報を利用して、上記第１の話者の表情に係る分析を行う表情分析手段と、（４）上記表情分析手段の分析結果に応じた内容の対話シナリオを生成する対話シナリオ生成手段として機能させることを特徴とする。

本発明によれば、第１の話者と対話する第２の話者に提示する対話シナリオの生成において、第１の話者の満足度を向上させる対話シナリオを生成することができる。

実施形態に係る会議システムの全体構成について示したブロック図である。 実施形態に係る会議システムの動作について示したシーケンス図（１）である。 実施形態に係る会議システムの動作について示したシーケンス図（１）である。

（Ａ）主たる実施形態
以下、本発明による対話シナリオ処理装置及びプログラム、並びに、会議サーバの一実施形態を、図面を参照しながら詳述する。なお、この実施形態では、本発明の対話シナリオ処理装置を、会議サーバ（ミーティングサーバ）に適用した例について説明する。

（Ａ−１）実施形態の構成
図１は、この実施形態の会議サーバ１０を備える会議システム１の全体構成を示すブロック図である。

会議システム１には、会議サーバ１０、オペレータ端末２０、及び顧客端末３０が配置されており、それぞれの装置はネットワークＮを介して接続されている。なお、ここでは、ネットワークＮは、ＩＰネットワークであるものとする。

オペレータ端末２０は、顧客からの問い合わせに応答する対話を行うオペレータが使用するビデオ会議端末であり、顧客端末３０は、顧客が使用するビデオ会議端末である。

会議サーバ１０は、オペレータ端末２０（オペレータ）、及び顧客端末３０（顧客）に対して、ビデオ電話会議サービスを提供する装置（会議サーバ）である。会議サーバ１０は、オペレータ端末２０、顧客端末３０に対して呼制御等の通信制御の処理を行うが、それらの通信制御の処理は、例えば、Ｈ．３２３やＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）等の既存のプロトコルを適用することができる。ここでは、例として、会議サーバ１０は、オペレータ端末２０、顧客端末３０に対してＨ．３２３を用いて通信制御を行うものとして説明する。

図１では、会議サーバ１０の配下にオペレータ端末２０、顧客端末３０のみが配置されているが、配置される端末の種類や数は限定されないものである。

オペレータ端末２０は、当該端末内の動作を制御する制御部２１、当該端末とオペレータとのインタフェースの機能を担うカメラ２２、ディスプレイ２３、マイク２４、及びスピーカ２５を有している。また、顧客端末３０は、当該端末内の動作を制御する制御部３１、当該端末と顧客とのインタフェースの機能を担うカメラ３２、ディスプレイ３３、マイク３４、及びスピーカ３５を有している。

オペレータ端末２０、及び顧客端末３０は、ユーザとのインタフェース（カメラ、ディスプレイ、マイク、及びスピーカ等）、ネットワークに接続するためのインタフェース等を有するパソコンや携帯電話端末等の情報処理装置（既存のビデオ電話端末の専用ハードウェアとしても良い）に、ビデオ会議処理に係るプログラムをインストールすることにより構築しても良い。

なお、オペレータ端末２０及び顧客端末３０に搭載されているカメラ、ディスプレイ、マイク、スピーカ等のハードウェアは、既存のビデオ会議システムにおけるビデオ電話端末（ユーザ端末）と同様のものを適用するようにしても良い。

図１では、説明を簡易にするため、会議サーバ１０に係る構成のみを示している。しかし、会議サーバ１０がコールセンタ等のサポート業務に使用されるコールセンタシステムに搭載される場合には、図示しないコールセンタサーバ（例えば、ＣＴＩサーバやＩＶＲ装置等）と連動して、顧客（顧客端末３０）からの問い合わせに対応して、顧客端末３０とオペレータ端末２０とを接続させるようにしても良い。例えば、ＩＶＲ装置で受付けた顧客（顧客端末３０）からの問い合わせについて、受付内容に応じてオペレータ（オペレータ端末２０）に接続させるようにしても良い。

また、例えば、会社の支店に訪れた顧客に対して、支店の係員では対応できない専門的な内容について、本社の専門スタッフが支店に訪れた顧客と対話すること等に、会議システム１を用いるようにしても良い。この場合、本社の専門スタッフが、オペレータ端末２０を使用し、支店に訪れた顧客が、顧客端末３０を使用することになる。

次に、会議サーバ１０の内部構成について説明する。

会議サーバ１０は、Ｉ／Ｆ部１１、制御部１２、シナリオ生成処理部１３、及び表情認識処理部１４を有している。

会議サーバ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ハードディスクなどのプログラムの実行構成、及び、ネットワークに接続するためのインタフェースを有する情報処理装置（１台に限定されず、複数台を分散処理し得るようにしたものであっても良い。）に、実施形態の対話シナリオ処理プログラム等をインストールすることにより構築するようにしても良く、その場合でも機能的には上述の図１のように示すことができる。

Ｉ／Ｆ部１１は、会議サーバ１０をネットワークＮに接続させるインタフェースの機能を担っている。Ｉ／Ｆ部１１の構成は限定されないものであるが、例えば、既存のＬＡＮ用のインタフェース等を適用することができる。

制御部１２は、会議サーバ１０の全体を制御するものである。なお、制御部１２による、後述するシナリオ生成処理部１３及び表情認識処理部１４に係る制御以外の処理（例えば、オペレータ端末２０や顧客端末３０に対する呼制御処理等）については、既存の会議サーバと同様の構成を適用するようにしても良い。

表情認識処理部１４は、顧客端末３０のカメラ３２が撮像した、顧客の顔の画像から、顧客の顔の表情の変化に係る分析を行うものであり、顔検出部１４１、特徴点抽出部１４２、特徴点変化検出部１４３、及び顔情報記憶部１４４を有している。

表情認識処理部１４において、顧客端末３０のカメラ３２が撮像した画像から、顧客の顔の表情の変化に係る分析を行う処理の具体的な方式については限定されないものであるが、例えば、既存の参考文献１（岩手県立大学 ソフトウェア情報学部 山平慎吾 著、「表情譜を用いた自然な表情の認識手法」、[Online]、INTERNET、[２０１０年８月２４日検索]、＜http://www.fujita.soft.iwate-pu.ac.jp/theses_f/2005b/yamahira.pdf＞）、参考文献２（岐阜大学大学院工学研究科 叶冠峰 著、「顔動画像からの特徴点抽出を用いた表情認識」、[Online]、INTERNET、[２０１０年８月２４日検索]、＜http://ibuki.elf.info.gifu-u.ac.jp/shuron/M2.04/ye.pdf＞）の記載技術を適用することができる。

顔検出部１４１は、顧客端末３０のカメラ３２が撮像した画像データから、顧客の顔の部分の画像（以下、「顔画像」という）を抽出する。顔検出部１４１の処理としては、例えば、参考文献２における「顔領域の抽出」処理を適用することができる。

特徴点抽出部１４２は、顔検出部１４１が抽出した顔画像から、顧客の顔の特徴点（例えば、目元、鼻、口角等に係る特徴点）の情報（以下、「顔情報」という）を抽出する。特徴点抽出部１４２による特徴点（特徴量）の抽出処理は、例えば、参考文献２における、「特徴点の抽出」処理を適用することができる。

顔情報記憶部１４４は、過去の顔情報を蓄積記憶する記憶手段である。

特徴点変化検出部１４３は、直近に抽出した所定数の顔情報（顔情報記憶部１４４に記憶された直近の所定数の顔情報）を比較することにより、顧客の顔の表情の変化を検出する。特徴点変化検出部１４３による、直近に抽出した顔情報から顧客の表情の変化を検出する処理については、例えば、参考文献１や参考文献２における表情認識の処理を適用することができる。

特徴点変化検出部１４３は、例えば、直近に抽出した所定数の顔情報を比較することにより、顧客の顔の表情が、和らいだ表情（例えば、「喜び」の表情）に変化しているのか、強張った表情（例えば、「怒り」、「嫌悪」、「悲しみ」等の表情）に変化しているのかを判定するようにしても良い。特徴点変化検出部１４３は、最新の顔情報と、直近に抽出した顔情報とを比較した結果、顧客の顔の表情の変化が所定範囲内である場合には、表情の変化無しと判定するようにしても良い。

シナリオ生成処理部１３は、会議サーバ１０が、オペレータ端末２０に提示するための対話シナリオを生成するものであり、シナリオ記憶部１３１及びシナリオ構築部１３２を有している。

シナリオ記憶部１３１には、オペレータ端末２０に提示するための対話シナリオを構成するシナリオパーツを複数記憶している。

シナリオ記憶部１３１における、シナリオパーツの格納形式は、限定されないものである。ここでは、例として、シナリオ記憶部１３１には、標準的な説明内容のシナリオパーツ群（以下、「標準シナリオパーツ群」という）、標準シナリオパーツ群よりも簡易な説明内容のシナリオパーツ群（以下、「簡易シナリオパーツ群」という）と、標準シナリオパーツ群よりも詳細な説明内容のシナリオパーツ群（以下、「詳細シナリオパーツ群」という）とが記憶されているものとする。それぞれのシナリオパーツ群の格納形式は限定されないものであるが、例えば、特許文献１の「ＣＴＩサーバ」におけるシナリオのパーツと同様の形式を適用するようにしても良い。

そして、シナリオ構築部１３２は、シナリオ記憶部１３１に記憶されているいずれかのシナリオパーツ群を用いて、オペレータ端末２０に提示するための対話シナリオを生成する。

シナリオ構築部１３２は、特徴点変化検出部１４３で検出された顧客の表情の変化状況に応じたシナリオパーツ群を選択して対話シナリオを構築する。シナリオ構築部１３２において、いずれかのシナリオパーツ群を選択した後に、その選択したシナリオパーツ群を用いて対話シナリオを構築する処理については、限定されないものであるが、例えば、特許文献１の「ＣＴＩサーバ」と同様の処理を適用することができる。

ここでは、シナリオ構築部１３２が初期に選択するシナリオパーツ群は、標準シナリオパーツ群であるものとする。

そして、オペレータが対話シナリオに基づいて顧客と対話していく過程で、顧客の表情の変化が、特徴点変化検出部１４３で検出され、その変化の状況に応じて、シナリオ構築部１３２は、対話シナリオを構成するためのシナリオパーツ群の選択を行う。

ここでは、特徴点変化検出部１４３で、顧客の表情が和らいだと判定された場合には、シナリオ構築部１３２は、より簡易な説明内容のシナリオパーツ群を選択するものとする。例えば、標準シナリオパーツ群を用いた対話シナリオに基づいてオペレータが顧客と対話している最中に、顧客の表情が和らいだと判定された場合には、シナリオ構築部１３２は、対話シナリオを構成するシナリオパーツ群を、簡易シナリオパーツ群に切替えるようにしても良い。また、例えば、詳細シナリオパーツ群を用いた対話シナリオに基づいてオペレータが顧客と対話している最中に、顧客の表情が和らいだと判定された場合には、シナリオ構築部１３２は、対話シナリオを構成するシナリオパーツ群を、標準シナリオパーツ群又は簡易シナリオパーツ群に切替えるようにしても良い。

逆に、特徴点変化検出部１４３で、顧客の表情が強張ったと判定された場合には、シナリオ構築部１３２は、より詳細な説明内容のシナリオパーツ群を選択するものとする。例えば、標準シナリオパーツ群を用いた対話シナリオに基づいてオペレータが顧客と対話をしている最中に、顧客の表情が強張ったと判定された場合には、シナリオ構築部１３２は、対話シナリオを構成するシナリオパーツ群を、詳細シナリオパーツ群に切替えるようにしても良い。また、例えば、簡易シナリオパーツ群を用いた対話シナリオに基づいてオペレータが顧客と対話をしている最中に、顧客の表情が強張ったと判定された場合には、シナリオ構築部１３２は、対話シナリオを構成するシナリオパーツ群を、標準シナリオパーツ群又は詳細シナリオパーツ群に切替えるようにしても良い。

また、シナリオ構築部１３２による、顧客の表情の変化に応じたシナリオパーツ群の切替えを所定回数以下としたり、一度切替えを行った後は所定時間以上経過しないと切り替わらないようにしても良い。切替えの頻度が多い場合には、オペレータが対応しにくくなったり、顧客も説明が聞きにくくなったりする場合も想定されるため、シナリオ構築部１３２における上述のようにシナリオパーツ群の切替えを制限することにより、顧客満足度をより向上させることができる。

（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態の会議システム１の動作を説明する。

図２、図３は、オペレータ端末２０の要求に応じて、会議サーバ１０が対話シナリオを生成してオペレータ端末２０に供給する動作について示したシーケンス図である。

図２、図３のシーケンス図では、オペレータ端末２０と顧客端末３０との間は、会議サーバ１０の制御により接続されており、通話状態であるものとして説明している。

そして、オペレータの操作（例えば、図示しないマウスやキーボード等の操作）に基づいて、オペレータ端末２０から、会議サーバ１０へ、対話シナリオの要求があったものとする（Ｓ１０１）。

ここでは、会議サーバ１０は、オペレータ端末２０からの要求に基づいて、対話シナリオの一部を逐次供給することを、対話シナリオが終了するまで繰り返すものとする。会議サーバ１０が、一回にオペレータ端末２０へ供給する対話シナリオの量は限定されないものである。例えば、会議サーバ１０は、一回にオペレータ端末２０へ供給する対話シナリオの量を、オペレータ端末２０のディスプレイ２３の一画面に表示できる量など、所定の量を上限としても良い。また、対話シナリオ内で区切りの記号を設けて、会議サーバ１０が一回にオペレータ端末２０へ供給する対話シナリオの量を、先頭又は区切り記号から、次の区切り記号までとするようにしても良い。

そして、オペレータ端末２０から、会議サーバ１０へ、対話シナリオの要求があると、会議サーバ１０の制御部１２は、顧客端末３０へ、顧客の顔の画像を要求する（Ｓ１０２、Ｓ１０３）。

そして、顧客の顔の画像データの要求を受けた顧客端末３０は、カメラ３２で撮像された、顧客の顔の画像データを会議サーバ１０（制御部１２）に送信する（Ｓ１０４）。

そして、制御部１２は、顔情報記憶部１４４に、過去に抽出された顔情報が格納されているか否かを問い合わせる（Ｓ１０５）。

そして、過去に抽出された顔情報が格納されているか否かの問い合わせを受けた顔情報記憶部１４４は、記憶している顔情報の有無を確認し（Ｓ１０６）その問い合わせの結果を、制御部１２に応答する（Ｓ１０７）。

そして、制御部１２は、受信した問い合わせ結果の内容を確認し（Ｓ１０８）、顔情報記憶部１４４に過去の顔情報が記憶されていたと確認された場合には、後述するステップＳ１１３から動作する。一方、顔情報記憶部１４４に過去の顔情報が記憶されていなかったと確認された場合には、会議サーバ１０は、後述するステップＳ１０９の処理から動作する。

上述のステップＳ１０７において、顔情報記憶部１４４に過去の顔情報が記憶されていなかったと確認された場合には、制御部１２は、表情認識処理部１４（顔検出部１４１）に顧客の顔の画像データを与える。そして、顔検出部１４１では、まず、与えられた顧客の顔の画像データから、顧客の顔の顔画像を抽出する（Ｓ１０９）。

次に、特徴点抽出部１４２は、顔検出部１４１が抽出した顔画像から、顧客の顔に係る顔情報を抽出し、さらに、顔情報記憶部１４４にその顔情報の記憶を指示する（Ｓ１１０）。

そして、顔情報記憶部１４４は、特徴点抽出部１４２から供給された顔情報を記憶する（Ｓ１１１）。

そして、シナリオ構築部１３２は、所定のシナリオパーツ群を選択して、最初にオペレータ端末２０に供給する対話シナリオの一部（対話シナリオのうち最初に供給する部分）を構築する（Ｓ１１２）。

ステップＳ１１２の時点では、顔情報記憶部１４４に格納されている顔情報は一つだけであるため、顧客の表情の変化を把握することはできない。したがって、ここでは、最初にシナリオ構築部１３２が生成する対話シナリオの一部については、予め設定された所定のシナリオパーツ群（ここでは、標準シナリオパーツ群であるものとする）が適用されるものとする。

一方、上述のステップＳ１０８において、顔情報記憶部１４４に過去の顔情報が記憶されていたと確認された場合には、制御部１２は、表情認識処理部１４（顔検出部１４１）に顧客の顔の画像データを与える。そして、顔検出部１４１では、まず、与えられた顧客の顔の画像データから、顧客の顔画像を抽出する（Ｓ１１３）。

次に、特徴点抽出部１４２は、顔検出部１４１が抽出した顔画像から、顧客の顔に係る顔情報を抽出する（Ｓ１１４）。

次に、特徴点変化検出部１４３は、直近に抽出した顔情報（顔情報記憶部１４４に記憶された所定数の顔情報）を比較することにより、顧客の表情の変化を検出し、その検出結果を、シナリオ構築部１３２へ供給する。また、特徴点変化検出部１４３は、最新の顔情報を顔情報記憶部１４４に記憶させる（Ｓ１１５）。

そして、顔情報記憶部１４４は、特徴点変化検出部１４３から供給された顔情報を記憶する（Ｓ１１６）。

そして、顧客の表情の変化に係る検出結果が与えられると、シナリオ構築部１３２は、その検出結果に応じたシナリオパーツ群を用いて、次にオペレータ端末２０に供給する対話シナリオの一部を構築される（Ｓ１１７）。

そして、上述のステップＳ１１２又はＳ１１７により、構築された対話シナリオの一部は、会議サーバ１０（シナリオ構築部１３２）から、オペレータ端末２０へ供給され（Ｓ１１８）、オペレータ端末２０では、供給された対話シナリオの一部をオペレータに提示（ディスプレイ２３に表示出力）する（Ｓ１１９）。そして、会議サーバ１０は、上述のステップＳ１０２の処理に戻って動作し、オペレータ端末２０からの次のシナリオ要求までの間待機する。

以上により、オペレータ端末２０には、顧客の表情の変化に応じた対話シナリオが逐次供給される。

（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。

会議サーバ１０では、顧客の表情に応じて、オペレータに提示する対話シナリオの生成に用いるシナリオパーツ群の切替えを行っている。言い換えると、会議サーバ１０では、顧客の表情の変化に応じて、オペレータに提示する対話シナリオの詳細度合いを調整している。

例えば、オペレータの説明を聞いた顧客が、強張った表情（例えば、「怒り」、「嫌悪」、「悲しみ」等の表情）となった場合には、オペレータの説明について理解や納得が出来ていないと推定できる。そして、そのような顧客と対話するオペレータに対して、会議サーバ１０から、より詳細な説明内容の対話シナリオを提示して顧客に説明させることにより、顧客の理解を促し、顧客満足度の向上につながる。

一方、オペレータの説明を聞いた顧客が、和らいだ表情（例えば、「喜び」の表情）となった場合には、オペレータの説明について理解や納得が出来ていると推定できる。そして、そのような顧客と対話するオペレータに対して、会議サーバ１０から、より簡易な説明内容の対話シナリオを提示して顧客に説明させることにより、スムーズな顧客対応ができ、顧客満足度の向上につながる。また、オペレータの説明について理解や納得が出来ている顧客に対して、逆に詳細な説明内容の対話シナリオに基づいた説明を行うと、顧客はその説明に煩わしさを感じる場合もあり得る。

（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｂ−１）上記の実施形態では、本発明の対話シナリオ処理装置を、会議サーバに適用した例について説明したが、対話シナリオを処理する構成（図１におけるシナリオ生成処理部１３及び表情認識処理部１４）を、独立した装置として構築するようにしても良いし、オペレータ端末側に備えるようにしても良い。

（Ｂ−２）上記の実施形態では、オペレータ端末２０、顧客端末３０は、ともにカメラ及びディスプレイを備えたビデオ会議端末であるものとして説明しているが、音声通話のみを目的とした端末としても良い。ただし、その場合でも、顧客の顔を撮像するためのカメラを配置して、会議サーバ１０に顧客の顔の画像データを供給する手段は備える必要がある。

（Ｂ−３）上記の実施形態の会議サーバ１０では、顧客の表情の変化に応じて、オペレータに提示する対話シナリオの詳細度合いを調整しているが、詳細度合い以外の要素を調整するようにしても良い。

例えば、会議サーバ１０において、顧客の表情の変化に応じて、オペレータに提示する対話シナリオの言葉遣い等を調整するようにしても良い。例えば、顧客の表情が強張った場合には、オペレータに提示する対話シナリオの言葉遣いを、より丁寧なもの（例えば、語尾の「〜です」を、「〜でございます」に変更する等）に変更したり、へりくだった表現（例えば、「申し訳ありません」というような謝罪を示す文言を追加する等）のシナリオパーツ群を適用するようにしても良い。

また、例えば、会議サーバ１０において、顧客の表情の変化に応じて、対話シナリオの詳細度合いや言葉遣い等だけでなく、対話シナリオの内容自体を大きく変更するようにしても良い。例えば、顧客の表情が、「怒り」の表情に変化した場合には、顧客にとって有益な内容の対話シナリオ（例えば、製品の不良に関する受付を行う対話シナリオであれば、特別に返品・返金等に応じる）に変更すること等が挙げられる。この場合、シナリオ生成処理部１３では、顧客の表情が「怒り」の表情に変化した場合のシナリオパーツ群を別途用意しておき、対話シナリオの構築に適用するようにしても良い。ただし、上述のように顧客の表情に応じて対話シナリオの内容自体を変更する場合には、一旦変更した対話シナリオの内容を元に戻す等の処理は行わないようにする必要がある。

（Ｂ−４）上記の実施形態では、会議サーバ１０では、顧客の表情の変化に応じて、オペレータに提示する対話シナリオの内容を調整するだけであるが、顧客の表情が変化したことを、オペレータに通知するようにしても良い。

例えば、顧客の表情が変化したことを、オペレータ端末２０のディスプレイ２３に表示（例えば、文字による表示や、画面の色により表示）し、オペレータに顧客の心理状況を把握させるようにしても良い。これにより、顧客の表情の変化に応じて、対話シナリオの内容が切り替わったことをオペレータに認識させること等ができる。

また、会議サーバ１０において、対話シナリオの進行状況と、顧客の表情の変化状況を対応付けて記録しておくようにしても良い。例えば、対話シナリオにおいて、特定の箇所で、多くの顧客（例えば、５割以上の顧客）の表情が強張る場合には、対話シナリオの当該箇所の内容自体に問題があると推定できるので、対話シナリオの内容改善に役立てることができる。

（Ｂ−５）上記の実施形態において、特徴点変化検出部１４３では、直近に抽出した所定数の顔情報を比較することにより、顧客の表情の変化を把握しているが、最新の顔情報だけで顧客の表情を把握するようにしても良い。なお、その場合、表情認識処理部１４において過去の顔情報を蓄積記憶する構成は省略するようにしても良い。

なお、最新の顔情報だけで人間の表情を把握する既存技術としては、例えば、参考文献３（東京大学工学部 東京大学先端科学技術研究センター 小泉憲裕、森武俊、佐藤知正 著、「行動メディアのための人の顔表情認識システム」、[Online]、INTERNET、[２０１０年９月７日検索]、＜http://www.nml.t.u-tokyo.ac.jp/~nkoizumi/paper/robomec99/robomec99.pdf＞）、参考文献４（岩手県立大学 インテリジェントソフトウェアシステム学講座 十文字俊裕 著、「表情特徴に基づく感情推定に関する研究」、[Online]、INTERNET、[２０１０年９月７日検索]、＜http://www.fujita.soft.iwate-pu.ac.jp/KENJI/GT06/toshi.pdf＞）の記載技術がある。

（Ｂ−６）上記の実施形態では、顧客（顧客端末３０）からオペレータ（オペレータ端末２０）へ発呼して、オペレータが会議サーバ１０から提示された対話シナリオに従って応答する例について示したが、オペレータ（オペレータ端末２０）から顧客（顧客端末３０）に発呼する場合（例えば、アウトバウンドの場合）にも適用できることは当然である。

（Ｂ−７）上記の実施形態では、図２に示すように、会議サーバ１０は、オペレータ端末２０からの対話シナリオ要求をトリガとして、顧客端末３０へ顧客の顔を撮像した画像データの送信要求をしているが、この送信要求は、会議サーバ１０が定期的に行うようにしても良い。また、会議サーバ１０が、顧客端末３０とオペレータ端末２０との間で送受信されるビデオ電話通話用の画像を中継送信している場合には、特に顧客端末３０へ画像データの送信要求を行わずに、中継するデータから保持するようにしても良い。

１…会議システム、１０…会議サーバ、１１…Ｉ／Ｆ部、１２…制御部、１３…シナリオ生成処理部、１３１…シナリオ記憶部、１３２…シナリオ構築部、１４…表情認識処理部、１４１…顔検出部、１４２…特徴点抽出部、１４３…特徴点変化検出部、１４４…顔情報記憶部、２０…オペレータ端末、３０…顧客端末。

Claims (4)

1. 第１の話者と対話する第２の話者に提示するための対話シナリオの処理を行う対話シナリオ処理装置において、
   上記第１の話者の顔を撮像した画像データを保持する画像データ保持手段と、
   上記画像データ保持手段が保持した画像データから、上記第１の話者の表情の特徴に係る表情情報を抽出する表情情報抽出手段と、
   上記表情情報抽出手段が抽出した表情情報を利用して、上記第１の話者の表情に係る分析を行う表情分析手段と、
   上記表情分析手段の分析結果に応じた内容の対話シナリオを生成する対話シナリオ生成手段と
   を有することを特徴とする対話シナリオ処理装置。
2. 上記画像データ保持手段は、定期又は不定期の間隔で、上記第１の話者の顔を撮像した画像データを保持し、
   上記表情情報抽出手段が抽出した表情情報を蓄積記憶する表情情報記憶手段をさらに備え、
   上記表情分析手段は、上記表情情報記憶手段に蓄積記憶された表情情報から、上記第１の話者の表情の変化状況を分析する、
   ことを特徴とする請求項１に記載の対話シナリオ処理装置。
3. 対話シナリオを構成するための対話シナリオパーツを複数記憶しているシナリオパーツ記憶手段をさらに備え、
   上記対話シナリオ生成手段は、上記表情分析手段の分析結果に応じたシナリオパーツを選択し、選択したシナリオパーツを用いて対話シナリオを生成する
   ことを特徴とする請求項１又は２に記載の対話シナリオ処理装置。
4. 第１の話者と対話する第２の話者に提示するための対話シナリオの処理を行う対話シナリオ処理装置に搭載されたコンピュータを、
   上記第１の話者の顔を撮像した画像データを保持する画像データ保持手段と、
   上記画像データ保持手段が保持した画像データから、上記第１の話者の表情の特徴に係る表情情報を抽出する表情情報抽出手段と、
   上記表情情報抽出手段が抽出した表情情報を利用して、上記第１の話者の表情に係る分析を行う表情分析手段と、
   上記表情分析手段の分析結果に応じた内容の対話シナリオを生成する対話シナリオ生成手段と
   して機能させることを特徴とする対話シナリオ処理プログラム。

Images