JP2017175544A - 対話システム及び対話システムの制御方法 - Google Patents

Abstract

【課題】相手に対して不適切な衣服での対話の実行を回避する。【解決手段】対話システム１は、対話の開始要求を受け付ける開始要求受付部３２０と、第１ユーザを撮影した第１撮影画像と第２ユーザを撮影した第２撮影画像を取得する撮影画像取得部３１０と、第１撮影画像と第２撮影画像に基づいて、第１ユーザと第２ユーザのそれぞれの衣服レベルを判定する衣服レベル判定部３３０と、対話の開始要求を受け付けた後であって当該対話の開始前に、第１ユーザと第２ユーザの衣服レベルと、第１ユーザと第２ユーザの対人関係について予め定められた衣服レベルの条件に基づいて、第１ユーザの衣服を仮想的に着せ替えるか否かを判定する着替判定部３４０と、第１ユーザの衣服を仮想的に着せ替える場合に、着せ替え用に決定した衣服レベルの衣服画像を第１撮影画像に合成した合成画像を、第２端末２０の表示部に表示させる表示制御部３５０を備える。【選択図】図６

Description

本発明は、対話システム及び対話システムの制御方法に関する。

遠隔地に離れた二人のユーザが、互いの端末装置において取得した音声と画像とを伝送し合うことにより、双方において相手の顔を見ながら対話を可能とした対話システムが知られている（例えば、下記の特許文献１を参照）。

特開平８−２７５１３２号公報

例えば、こうした対話システムを利用して対話を行うユーザのうち一方が目上のユーザ、他方が目下のユーザである場合に、目上のユーザがフォーマルな衣服を着用しているにもかかわらず、目下のユーザがラフな衣服を着用していると、目上のユーザに失礼となり兼ねない。このように、対話を行うユーザ間で着用している衣服のレベルが相違すると、ユーザ間の対人関係によっては一方のユーザに失礼となり兼ねないが、対話相手がどのような衣服を着用しているかは対話の開始前には知り得ないため、事前に相手側の衣服に合わせることはできなかった。

本発明は上記の課題に鑑みてなされたものであって、その目的は、対話相手に対して不適切な衣服を着用した状態での対話の実行を回避できる対話システム及び対話システムの制御方法を提供することにある。

前記課題は、第１ユーザ側に設けられた第１端末と、第２ユーザ側に設けられた第２端末との双方向通信により前記第１ユーザと前記第２ユーザとの間で対話を実行させる対話システムであって、前記第１ユーザと前記第２ユーザのうち一方から他方に向けられた対話の開始要求を受け付ける受付手段と、前記第１ユーザを撮影した第１撮影画像を取得する第１取得手段と、前記第２ユーザを撮影した第２撮影画像を取得する第２取得手段と、前記第１撮影画像から抽出される画像特徴に基づいて、前記第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第１判定手段と、前記第２撮影画像から抽出される画像特徴に基づいて、前記第２ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第２判定手段と、前記受付手段による対話の開始要求を受け付けた後であって当該対話の開始前に、前記第１ユーザの衣服レベルと、前記第２ユーザの衣服レベルと、前記第１ユーザと前記第２ユーザの対人関係について予め定められた衣服レベルの条件に基づいて、前記第１ユーザの衣服を仮想的に着せ替えるか否かを判定する着替判定手段と、前記着替判定手段により前記第１ユーザの衣服を仮想的に着せ替えると判定された場合には、前記第１ユーザの衣服レベル、前記第２ユーザの衣服レベル、及び前記衣服レベルの条件に基づいて決定した衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させる表示制御手段と、を備える対話システムにより解決される。

また、前記課題は、第１ユーザ側に設けられた第１端末と、第２ユーザ側に設けられた第２端末との双方向通信により前記第１ユーザと前記第２ユーザとの間で対話を実行させる対話システムの制御方法であって、前記対話システムに、前記第１ユーザと前記第２ユーザのうち一方から他方に向けられた対話の開始要求を受け付ける受付ステップと、前記第１ユーザを撮影した第１撮影画像を取得する第１取得ステップと、前記第２ユーザを撮影した第２撮影画像を取得する第２取得ステップと、前記第１撮影画像から抽出される画像特徴に基づいて、前記第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第１判定ステップと、前記第２撮影画像から抽出される画像特徴に基づいて、前記第２ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第２判定ステップと、前記受付ステップで対話の開始要求を受け付けた後であって当該対話の開始前に、前記第１ユーザの衣服レベルと、前記第２ユーザの衣服レベルと、前記第１ユーザと前記第２ユーザの対人関係について予め定められた衣服レベルの条件に基づいて、前記第１ユーザの衣服を仮想的に着せ替えるか否かを判定する着替判定ステップと、前記着替判定ステップで前記第１ユーザの衣服を仮想的に着せ替えると判定された場合に、前記第１ユーザの衣服レベル、前記第２ユーザの衣服レベル、及び前記衣服レベルの条件に基づいて決定した衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させる表示制御ステップと、を実行させる対話システムの制御方法により解決される。

本発明に係る対話システム及び対話システムの制御方法によれば、第１ユーザが第２ユーザと対話を開始する際に、第１ユーザは、対話相手の第２ユーザに対して不適切な衣服を着用した状態での対話の実行を回避できる。

本実施形態に係る対話システムのシステム構成図である。 対人関係の設定例を示す図である。 対話システムの処理の概要を説明する図である。 対話システムの処理の概要を説明する図である。 対話システムの処理の概要を説明する図である。 対話システムの機能ブロック図である。 衣服レベルテーブルの一例を示す図である。 対人関係テーブルの一例を示す図である。 上下関係変換テーブルの一例を示す図である。 対等関係変換テーブルの一例を示す図である。 親密関係変換テーブルの一例を示す図である。 衣服画像テーブルの一例を示す図である。 衣服の画像特徴を学習する処理の一例を説明するフロー図である。 衣服パターンの生成処理の一例を説明するフロー図である。 衣服の画像特徴を学習する処理の一例を説明するフロー図である。 対話開始処理の一例を説明するシーケンス図である。 対話処理の一例を説明するシーケンス図である。 着替判定処理の一例を説明するフロー図である。 日時場所に応じた衣服レベルテーブルの一例を示す図である。 着替判定処理の変形例を説明するフロー図である。

以下、図１乃至図１８に基づき、本発明の一実施形態（以下、本実施形態）について説明する。なお、以下に説明する実施形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。

［１．本実施形態に係る対話システム１のシステム構成］
図１には、本実施形態に係る対話システム１のシステム構成図を示した。図１に示されるように、対話システム１は、第１端末１０、第２端末２０、対話制御サーバ３０を備え、第１端末１０、第２端末２０、対話制御サーバ３０はそれぞれネットワーク２に接続し、ネットワーク２を介してデータ通信可能となっている。以下に説明する対話システム１においては、第１ユーザＵ１が操作する第１端末１０と、第２ユーザＵ２が操作する第２端末２０とが対話制御サーバ３０を介して通信することで、第１ユーザＵ１と第２ユーザＵ２とが互いの映像と音声を送受信することで遠隔対話を実行する。

第１端末１０は、第１ユーザＵ１により操作されるコンピュータである。第１端末１０は、第１ユーザＵ１を撮影した撮影画像と、第１ユーザＵ１の音声とを第２端末２０に送信するとともに、第２端末２０からは第２ユーザＵ２を撮影した撮影画像と、第２ユーザＵ２の音声とを受信し再生する。

第２端末２０は、第２ユーザＵ２により操作されるコンピュータである。第２端末２０は、第２ユーザＵ２を撮影した撮影画像と、第２ユーザＵ２の音声とを第１端末１０に送信するとともに、第１端末１０からは第１ユーザＵ１を撮影した撮影画像と、第１ユーザＵ１の音声とを受信し再生する。

対話制御サーバ３０は、第１端末１０と第２端末２０との通信を中継し、両者間での対話処理を制御するコンピュータである。

［１．１．第１端末１０及び第２端末２０のハードウェア構成］
以下、対話システム１に備えられる上記の各装置のハードウェア構成の一例について説明する。なお、本実施形態においては、第１端末１０と第２端末２０とのハードウェア構成は同一であるため、以下においては第１端末１０のハードウェア構成について説明し、第２端末２０のハードウェア構成についての説明は省略する。

図１に示されるように、第１端末１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、カメラ１６、マイク１７、スピーカ１８、及び赤外線センサ１９を備える。

制御部１１は、例えば中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み構成され、記憶部１２に記憶されるプログラムやデータに基づいて各種の演算処理を実行するとともに、第１端末１０の各部を制御する。

記憶部１２は、例えばメモリ、磁気ディスク装置を含み構成され、各種のプログラムやデータを記憶するほか、制御部１１のワークメモリとしても機能する。なお、記憶部１２には、フラッシュメモリ、光学ディスク等の情報記憶媒体を含むこととしてよい。

通信部１３は、ネットワーク２に接続し、ネットワーク２に接続する第２端末２０や対話制御サーバ３０等のデバイスと通信する。

入力部１４は、例えばタッチパネル、キーボード、マウス等の入力デバイスを含み構成され、ユーザの操作情報の入力を受け付ける。

表示部１５は、例えば液晶ディスプレイ装置等の表示デバイスを含み構成され、制御部１１により生成されるグラフィックデータに基づく画面を表示させる。本実施形態では、表示部１５は、対話相手の人物映像を等身大サイズにて表示するのに十分な画面サイズに構成されることとしてよい。

カメラ１６は、撮像範囲（画角）内にある被写体を撮影する撮影装置である。ここで、カメラ１６により撮影された画像（撮影画像）とは、静止画又は連続している複数のフレーム画像の集合体によって構成された動画のいずれも含むこととしてよい。また、カメラ１６は、表示部１５の直上位置に設置され、表示部１５の正面に位置する被写体を撮影することとしてよい。本実施形態では、カメラ１６は、第１ユーザＵ１を被写体として撮影する。一方で、第２端末２０のカメラ２６は、第２ユーザＵ２を被写体として撮影する。

マイク１７は、集音装置であり、本実施形態では、第１ユーザＵ１の発話音声を集音する。一方で、第２端末２０のマイク２７は、第２ユーザＵ２の発話音声を集音する。

スピーカ１８は、音信号に基づいて音を出力する装置であり、本実施形態では、第２端末２０から受信する第２ユーザＵ２の音声データに基づいて、第２ユーザＵ２の発話音声を出力する。一方で、第２端末２０のスピーカ２８は、第１端末１０から受信する第１ユーザＵ１の音声データに基づいて、第１ユーザＵ１の発話音声を出力する。

赤外線センサ１９は、所謂デプスセンサであり、赤外線方式にて計測対象物の深度を計測するためのセンサである。具体的に説明すると、赤外線センサ１９は、計測対象物に向けて赤外線を照射し、その反射光を受光することで計測対象物各部の深度を計測する。ここで、「深度」とは、基準面から計測対象物までの距離（すなわち、奥行距離）のことである。ちなみに、本実施形態では、表示部１５の映像表示面（画面）が基準面に該当する。つまり、赤外線センサ１９は、深度として、表示部１５の画面と計測対象物の間の距離、より厳密には表示部１５の画面の法線方向（換言すると、表示部１５を貫く方向）における距離を計測することになる。

赤外線センサ１９は、第１ユーザＵ１を計測対象物として深度を計測する。一方で、第２端末２０の赤外線センサ２９は、第２ユーザＵ２を計測対象物として深度を計測する。

［１．２．対話制御サーバ３０のハードウェア構成］
次に、対話制御サーバ３０のハードウェア構成について説明する。図１に示されるように、対話制御サーバ３０は、制御部３１、記憶部３２、及び通信部３３を備えるコンピュータである。

制御部３１は、例えば中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み構成され、記憶部３２に記憶されるプログラムやデータに基づいて各種の演算処理を実行するとともに、対話制御サーバ３０の各部を制御する。

記憶部３２は、例えばメモリ、磁気ディスク装置を含み構成され、各種のプログラムやデータを記憶するほか、制御部３１のワークメモリとしても機能する。なお、記憶部３２には、フラッシュメモリ、光ディスク等の情報記憶媒体を含むこととしてもよい。

通信部３３は、ネットワーク２に接続し、ネットワーク２に接続する第１端末１０、第２端末２０等のデバイスと通信する。

［２．本実施形態の概要］
次に、図２乃至図５に基づいて本実施形態に係る対話システム１における処理の概要について説明する。以下においては第１ユーザＵ１と第２ユーザＵ２との対人関係が異なる３つのパターンに関し、対話システム１において行われる処理の一例について説明する。

図２には、３つのパターンのそれぞれで設定される第１ユーザＵ１と第２ユーザＵ２の対人関係の例を示した。図２に示されるように、パターン「１」では、第１ユーザＵ１と第２ユーザＵ２との対人関係は上下関係であり、具体的には第１ユーザＵ１が部下（下位）、第２ユーザＵ２が上司（上位）であることとする。また、パターン「２」では、第１ユーザＵ１と第２ユーザＵ２との対人関係は対等関係であり、具体的には第１ユーザＵ１と第２ユーザＵ２とが友人関係であることとする。そして、パターン「３」では、第１ユーザＵ１と第２ユーザＵ２とが親密関係であり、具体的には第１ユーザＵ１と第２ユーザＵ２とが家族関係であることとする。以下、第１ユーザＵ１と第２ユーザＵ２との対人関係がパターン「１」〜「３」のそれぞれである場合に、対話システム１において行われる処理の概要について説明する。

［２．１．パターン「１」］
まず、図３に基づいて、第１ユーザＵ１と第２ユーザＵ２との対人関係がパターン「１」（すなわち上下関係）である場合について説明する。上述したようにパターン「１」では、第１ユーザＵ１が下位、第２ユーザＵ２が上位である。

図３（Ａ）には、第２端末２０から第１端末１０に対して対話開始が要求された時点で、第１端末１０のカメラ１６により撮影される第１撮影画像Ｐ１と、第２端末２０のカメラ２６により撮影される第２撮影画像Ｐ２の一例を示した。

本実施形態に係る対話システム１では、第１ユーザＵ１の第１撮影画像Ｐ１において衣服が映し出されている衣服領域を特定し、特定した衣服領域の画像特徴に基づいて、第１ユーザＵ１の着用している衣服のレベル（衣服レベル）を判定する。具体的には、衣服レベルには、「０：未着衣、１：室内着、２：外出着、３：仕事着」の４段階があることとし、対話システム１は、第１ユーザＵ１が着用している衣服が上記のいずれのレベルに該当するかを判定する。なお、衣服レベルは、レベルが上がるにつれてよりフォーマルな衣服であることを示すこととする。

同様に対話システム１では、第２ユーザＵ２の第２撮影画像Ｐ２において衣服が映し出されている衣服領域を特定し、特定した衣服領域の画像特徴に基づいて、第２ユーザＵ２の着用している衣服のレベル（衣服レベル）を判定する。

ここで、図３（Ａ）に示されるように、対話開始が要求された時点で、第１ユーザＵ１は仕事着Ｗ１を着用しているため、第１ユーザＵ１の衣服レベルは「３」と判定される。同様に、第２ユーザＵ２は外出着Ｗ２を着用しているため、第２ユーザＵ２の衣服レベルは「２」と判定される。

対話システム１では、対人関係が上位の第２ユーザＵ２の衣服レベルが２以上である場合には、対人関係が下位の第１ユーザＵ１の衣服レベルを上位の第２ユーザＵ２に合わせる処理を実行する。すなわち、対話システム１は、第１ユーザＵ１の衣服レベルが「３」であり、第２ユーザＵ２の衣服レベルである「２」と相違するため、第１ユーザＵ１の衣服レベルを第２ユーザＵ２の衣服レベルである「２」に変更する処理を行う。

その結果、対話システム１では、第１ユーザＵ１の衣服領域に衣服レベル「２」の仮想衣服である仮想外出着ＶＷ１を合成した合成画像を生成し、生成した合成画像を第１ユーザＵ１の画像として第２端末２０に送信することとする。ここで、仮想衣服とは、ユーザが実際には着用していない衣服であり、画像処理によりユーザの撮影画像に合成することで、あたかもユーザが着用しているかのように表示されるオブジェクトをいう。

すなわち、図３（Ｂ）に示されるように、実際の対話が開始すると、第２端末２０の表示部２５に表示される第２表示画像Ｄ２は、実際にカメラ１６で撮影される第１撮影画像Ｐ１ではなく、第１ユーザＵ１の衣服領域に仮想外出着ＶＷ１を合成した画像となる。一方、第１端末１０の表示部１５に表示される第１表示画像Ｄ１は、実際にカメラ２６により撮影された第２撮影画像Ｐ２と同じものとなる。

［２．２．パターン「２」］
次に、図４に基づいて、第１ユーザＵ１と第２ユーザＵ２との対人関係がパターン「２」（すなわち対等関係）である場合について説明する。

図４（Ａ）には、第２端末２０から第１端末１０に対して対話開始が要求された時点で、第１端末１０のカメラ１６により撮影される第３撮影画像Ｐ３と、第２端末２０のカメラ２６により撮影される第４撮影画像Ｐ４の一例を示した。

上述したように対話システム１では、第３撮影画像Ｐ３と第４撮影画像Ｐ４に基づいて、第１ユーザＵ１と第２ユーザＵ２のそれぞれの衣服レベルを判定する。

ここで、図４（Ａ）に示されるように、対話開始が要求された時点で、第１ユーザＵ１は室内着Ｗ３を着用しているため、第１ユーザＵ１の衣服レベルは「１」と判定される。同様に、第２ユーザＵ２は仕事着Ｗ４を着用しているため、第２ユーザＵ２の衣服レベルは「３」と判定される。

対話システム１では、対人関係が対等の第１ユーザＵ１と第２ユーザＵ２の衣服レベルのうち高い方の衣服レベルに合わせる処理を実行する。上記のパターン「２」においては、第１ユーザＵ１の衣服レベルよりも第２ユーザＵ２の衣服レベルの方が高いため、第１ユーザＵ１の衣服レベルを第２ユーザＵ２の衣服レベルである「３」に変更する。

その結果、対話システム１では、第１ユーザＵ１の衣服領域に衣服レベル「３」の仮想的な衣服画像である仮想仕事着ＶＷ３を合成した合成画像を生成し、生成した合成画像を第１ユーザＵ１の画像として第２端末２０に送信する。

すなわち、図４（Ｂ）に示されるように、実際の対話が開始すると、第２端末２０の表示部２５に表示される第４表示画像Ｄ４は、実際にカメラ１６で撮影される第１撮影画像Ｐ１ではなく、第１ユーザＵ１の衣服領域に仮想仕事着ＶＷ３を合成した画像となる。一方、第１端末１０の表示部１５に表示される第３表示画像Ｄ３は、実際にカメラ２６により撮影された第４撮影画像Ｐ４と同じものとなる。

［２．３．パターン「３」］
次に、図５に基づいて、第１ユーザＵ１と第２ユーザＵ２との対人関係がパターン「３」（すなわち親密関係）である場合について説明する。親密関係においては、第１ユーザＵ１と第２ユーザＵ２のそれぞれが未着衣でない（すなわち衣服レベルが「０」でない）限りは、第１ユーザＵ１と第２ユーザＵ２の衣服レベルを変更しないこととする。

ここで、図５（Ａ）に示されるように、対話開始が要求された時点で、第１ユーザＵ１は室内着Ｗ３を着用しているため、第１ユーザＵ１の衣服レベルは「１」と判定される。同様に、第２ユーザＵ２は外出着Ｗ２を着用しているため、第２ユーザＵ２の衣服レベルは「２」と判定される。

対話システム１では、対人関係が親密関係の第１ユーザＵ１と第２ユーザＵ２の衣服レベルはともに１以上であるため、第１ユーザＵ１と第２ユーザＵ２の衣服レベルを変更しない。

その結果、図５（Ｂ）に示されるように、実際の対話が開始すると、第２端末２０の表示部２５に表示される第６表示画像Ｄ６は、実際にカメラ１６で撮影される第５撮影画像Ｐ５と同じものとなる。同様に、第１端末１０の表示部１５に表示される第５表示画像Ｄ５は、実際にカメラ２６により撮影された第６撮影画像Ｐ６と同じものとなる。

このようにすることで、対話システム１では対話開始要求を受け付けた時点における、対話者である第１ユーザＵ１及び第２ユーザＵ２のそれぞれの衣服レベルと、対話者の対人関係に基づいて、各ユーザの衣服レベルの変更（すなわち着せ替え）の要否を判定する。そして、上記判定の結果、衣服レベルの変更が必要と判定された場合には、対話者の対人関係に応じて適切な衣服レベルを決定し、決定した衣服レベルの仮想的な衣服画像を合成して相手側に表示させることができる。これにより、対話システム１では、対話相手のユーザに対して不適切な衣服を着用した状態での対話の実行を回避することができる。以下では、上述した処理を実現するために対話システム１に備えられる機能について説明する。

［３．対話システム１の機能の説明］
図３には対話システム１に備えられる機能を示した。以下に説明する機能は、対話システム１における主要な機能の一部であり、対話システム１が他の機能を更に備えていてもよい。

図３に示されるように、第１端末１０は、機能として撮影画像送信部１００、開始要求部１１０、及び表示制御部１２０を備える。

第１端末１０に備えられる上記の機能は、第１端末１０の制御部１１が、記憶部１２に記憶されるプログラムに基づいて、第１端末１０の各部を動作させることにより実現されるものである。なお、第１端末１０は、上記のプログラムを、情報記憶媒体から読み込むこととしてもよいし、通信部１３によりネットワーク２等の通信網を介してダウンロードしてもよい。

図３に示されるように、第２端末２０は、機能として撮影画像送信部２００、開始要求部２１０、及び表示制御部２２０を備える。

第２端末２０に備えられる上記の機能は、第２端末２０の制御部２１が、記憶部２２に記憶されるプログラムに基づいて、第２端末２０の各部を動作させることにより実現されるものである。なお、第２端末２０は、上記のプログラムを、情報記憶媒体から読み込むこととしてもよいし、通信部２３によりネットワーク２等の通信網を介してダウンロードしてもよい。

図３に示されるように、対話制御サーバ３０は、データ記憶部３００、撮影画像取得部３１０、開始要求受付部３２０、衣服レベル判定部３３０、着替判定部３４０、及び表示制御部３５０を備える。

対話制御サーバ３０に備えられる上記の機能は、対話制御サーバ３０の制御部３１が、記憶部３２に記憶されるプログラムに基づいて、対話制御サーバ３０の各部を動作させることにより実現されるものである。なお、対話制御サーバ３０は、上記のプログラムを、情報記憶媒体から読み込むこととしてもよいし、通信部３３によりネットワーク２等の通信網を介してダウンロードしてもよい。以下、上記の各部の機能の詳細について説明する。

［３．１．データ記憶部３００］
データ記憶部３００は、主に対話制御サーバ３０の記憶部３２により実現される。データ記憶部３００は、ユーザの撮影画像に映し出された衣服のレベルを判定するためのデータ、着せ替え判定がなされた場合にユーザに着せ替える衣服レベルを設定するためのデータ、衣服レベルに応じた衣服画像を設定するためのデータ等の各種データが記憶される。例えば、本実施形態においては、データ記憶部３００には、衣服レベルテーブル３０１、対人関係テーブル３０２、衣服変換テーブル３０３、衣服画像テーブル３０４が記憶される。以下、上記の各テーブルの詳細について説明する。

［３．１．１．衣服レベルテーブル３０１］
衣服レベルテーブル３０１は、ユーザに関する各衣服レベルの情報を格納したテーブルである。

図７には、衣服レベルテーブル３０１の一例を示した。図７に示されるように、衣服レベルテーブル３０１には、ユーザを識別するユーザＩＤ、衣服レベル、衣服のカテゴリ（分類）、衣服の着用時間帯、学習された画像特徴の情報が関連付けて記憶される。なお、衣服の画像特徴の学習処理の詳細については後述する。

衣服レベルとは、衣服の着用状態、衣服の正装度に基づいて衣服を複数段階に区分した情報であり、本実施形態では、０から３の４段階に区分されている。

本実施形態では、衣服レベルが高くなるにつれて衣服の正装度が高くなることを示す。具体的には、衣服レベル「０」は着衣がない状態、衣服レベル「１」は室内着、衣服レベル「２」は外出着、衣服レベル「３」は仕事着に対応する。

ここで、「室内着」とは、ユーザが自宅で主に着用する衣服であり、就寝時に着用する衣服を含む。そして、「室内着」として着用する衣服の画像特徴は、予め定められていてもよいし、カメラ１６によりユーザを撮影した画像のうち、２１：００〜６：００の間に撮影された画像においてユーザが着用している衣服の画像特徴に基づいて学習することとしてもよい。

「外出着」とは、主にユーザが仕事以外の用事で外出する際に着用する衣服である。そして、「外出着」として着用する衣服の画像特徴は、予め定められていてもよいし、カメラ１６によりユーザを撮影した画像のうち、休日（土日祝日）の１０：００〜２０：００の間に撮影された画像においてユーザが着用している衣服の画像特徴に基づいて学習することとしてもよい。

「仕事着」とは、主にユーザが仕事で外出する際に着用する衣服である。そして、「仕事着」として着用する衣服の画像特徴は、予め定められていてもよいし、カメラ１６によりユーザを撮影した画像のうち、平日の７：００〜２０：００の間に撮影された画像においてユーザが着用している衣服の画像特徴に基づいて学習することとしてもよい。

［３．１．２．対人関係テーブル３０２］
対人関係テーブル３０２は、ユーザ間の対人関係を記憶したテーブルである。本実施形態では、対人関係には、上下関係、対等関係、親密関係の３つを設定することとするが、対人関係はこれらに限られるものではない。

ここで、上下関係とは、一方のユーザが他方のユーザよりも上位（優位）であることをいう。具体的には、組織におけるリーダ（上位）と、当該組織のメンバー（下位）の対人関係は上下関係となる。

対等関係とは、ユーザ間に上下関係が存在せず、かつユーザ間に親密関係が設定されていないことをいう。具体的には、上記の組織のメンバー同士や、友人同士の関係は対等関係の一例となる。

親密関係とは、ユーザ同士が家族、親しい友人等の親密な関係にあることをいう。

図８には、対人関係テーブル３０２の一例を示した。対人関係テーブル３０２は、複数のユーザ（それぞれ第１ユーザと第２ユーザとする）の対人関係を記憶したテーブルであり、第１ユーザを識別する第１ユーザＩＤ、第２ユーザを識別する第２ユーザＩＤ、両者間に設定される対人関係、対人関係が上下関係である場合における上位ユーザの情報がそれぞれ関連付けて記憶される。なお、対人関係テーブル３０２の情報はユーザの指定に基づいて予め登録されることとしてよい。

［３．１．３．衣服変換テーブル３０３］
衣服変換テーブル３０３は、二人のユーザ間の対人関係と、各ユーザが着用している衣服のレベル（衣服レベル）に応じて、対話実行時に各ユーザの衣服レベルを変換するか否かの判定条件、及び変換する場合の衣服レベルの情報を定めたテーブルである。

本実施形態では、衣服変換テーブル３０３には、それぞれの対人関係についての衣服変換情報を定めた上下関係変換テーブル３０３Ａ、対等関係変換テーブル３０３Ｂ、親密関係変換テーブル３０３Ｃが含まれる。以下、各テーブルの詳細について説明する。

［３．１．３．１．上下関係変換テーブル３０３Ａ］
上下関係変換テーブル３０３Ａは、二人のユーザ間の対人関係が上下関係である場合に、上位と下位のそれぞれのユーザが着用している衣服のレベル（衣服レベル）に応じて、対話実行時に各ユーザの衣服レベルを変換するか否か、そして変換する場合の衣服レベルの情報を定めたテーブルである。

図９Ａには、上下関係変換テーブル３０３Ａの一例を示す。図９Ａに示されるように、上下関係変換テーブル３０３Ａにおいては、上位ユーザの衣服レベルと、下位ユーザの衣服レベルの組み合わせに応じて、上位ユーザと下位ユーザのそれぞれの着替フラグの値（ＯＮ又はＯＦＦ）、着せ替え後の衣服レベルが記憶される。なお例えば、着替フラグは真偽値であり、値が１のときにＯＮ、値が０のときにＯＦＦとしてよい。なお、ユーザに設定される着替フラグがＯＮであれば、当該ユーザについて着せ替えを行うこととし、ＯＦＦであれば当該ユーザについて着せ替えを行わないこととする。

図９Ａに示されるように、上位ユーザの衣服レベルが２以上である場合には、下位ユーザの衣服レベルが上位ユーザの衣服レベルと一致するように衣服レベルが決定される。一方で、上位ユーザの衣服レベルが２未満である場合には、下位ユーザの衣服レベル又は所定レベル（図９Ａに示す例ではレベル「２」）のいずれか高い方に変換後の衣服レベルが決定される。

［３．１．３．２．対等関係変換テーブル３０３Ｂ］
対等関係変換テーブル３０３Ｂは、二人のユーザ間（それぞれ第１ユーザ、第２ユーザとする）の対人関係が対等関係である場合に、それぞれのユーザが着用している衣服のレベル（衣服レベル）に応じて、対話実行時に各ユーザの衣服レベルを変換するか否か、そして変換する場合の衣服レベルの情報を定めたテーブルである。

図９Ｂには、対等関係変換テーブル３０３Ｂの一例を示す。図９Ｂに示されるように、対等関係変換テーブル３０３Ｂにおいては、第１ユーザの衣服レベルと、第２ユーザの衣服レベルの組み合わせに応じて、第１ユーザと第２ユーザのそれぞれの着替フラグの値（ＯＮ又はＯＦＦ）、着せ替え後の衣服レベルが記憶されている。

図９Ｂに示されるように、第１ユーザと第２ユーザのうちいずれかの衣服レベルが２以上である場合には、第１ユーザの衣服レベルと第２ユーザの衣服レベルのうち高い方が変換後の衣服レベルとなる。一方で、第１ユーザと第２ユーザの両者の衣服レベルが２未満である場合には、所定レベル（図９Ｂに示す例ではレベル「２」）が変換後の衣服レベルとなる。

［３．１．３．３．親密関係変換テーブル３０３Ｃ］
親密関係変換テーブル３０３Ｃは、二人のユーザ間（それぞれ第１ユーザ、第２ユーザとする）の対人関係が親密関係である場合に、それぞれのユーザが着用している衣服のレベルに応じて、対話実行時に各ユーザの衣服レベルを変換するか否か、そして変換する場合の衣服レベルの情報を定めたテーブルである。

図９Ｃには、親密関係変換テーブル３０３Ｃの一例を示す。図９Ｃに示されるように、親密関係変換テーブル３０３Ｃにおいては、第１ユーザの衣服レベルと、第２ユーザの衣服レベルの組み合わせに応じて、第１ユーザと第２ユーザのそれぞれの着替フラグの値（ＯＮ又はＯＦＦ）、着せ替え後の衣服レベルが記憶されている。

図９Ｃに示されるように、ユーザの衣服レベルが０である場合には、変換後の衣服レベルは１以上の所定値となる。図９Ｃに示す例においては、ユーザの衣服レベルが０である場合には、変換後の衣服レベルが「１」となる。

［３．１．４．衣服画像テーブル３０４］
衣服画像テーブル３０４は、衣服を着せ替えると判定されたユーザに対して、着せ替える仮想衣服の情報（画像情報）を格納したテーブルである。

図１０には、衣服画像テーブル３０４の一例を示した。図１０に示されるように、衣服画像テーブル３０４には、着せ替えを行うユーザ（着替ユーザ）のユーザＩＤ（着替ユーザＩＤ）、対話の相手であるユーザ（相手ユーザ）のユーザＩＤ（相手ユーザＩＤ）、着替ユーザについて着せ替える衣服のレベル（衣服レベル）、着替ユーザの撮影画像に合成する衣服画像の情報が関連付けて記憶される。

図１０に示した例においては、例えば第１ユーザＵ１と第２ユーザＵ２との対話を開始する際に、第１ユーザＵ１を衣服レベル３の仮想衣服に着せ替えると判定された場合には、衣服レベル「３」（仕事着）に紐付けられる衣服画像（Ｉｍｇ３）が、第１ユーザＵ１の衣服領域に合成されることなる。

なお、衣服画像テーブル３０４の衣服画像の情報は、ユーザ（着替ユーザ）が入力した情報に基づいて予め登録されることとしてよい。また、例えば第１ユーザＵ１（又は第２ユーザＵ２）に関連付けて記憶される衣服画像は、例えばカメラ１６（又はカメラ２６）による第１ユーザＵ１（又は第２ユーザＵ２）の撮影画像から切り出した衣服画像の情報としてよい。

ここで、衣服レベルに対して複数の衣服画像の情報が関連付けられている場合には、いずれかの衣服画像をランダムに選択してもよいし、デフォルトの衣服画像を選択することとしてもよい。例えば、一の衣服レベルに関連付けられる複数の衣服画像のうち、ユーザの使用頻度が最も高い衣服に対応する衣服画像を上記のデフォルトの衣服画像として設定することとしてよい。

［３．２．撮影画像送信部１００、撮影画像送信部２００、撮影画像取得部３１０］
撮影画像送信部１００は、主に第１端末１０の制御部１１、記憶部１２、通信部１３、カメラ１６及び赤外線センサ１９により実現される。撮影画像送信部２００は、主に第２端末２０の制御部２１、記憶部２２、通信部２３、カメラ２６及び赤外線センサ２９により実現される。撮影画像取得部３１０は、主に対話制御サーバ３０の制御部３１、記憶部３２、及び通信部３３により実現される。

撮影画像送信部１００は、第１ユーザＵ１をカメラ１６により撮影した撮影画像と、赤外線センサ１９による測定情報とを対話制御サーバ３０に送信する。例えば、撮影画像送信部１００は非対話状態においては、定期的なタイミング（例えば１時間に１度）でカメラ１６による第１ユーザＵ１の撮影画像と、赤外線センサ１９による測定情報とを送信することとしてよい。また、撮影画像送信部１００は、対話開始要求を受け付けたタイミングでカメラ１６による第１ユーザＵ１の撮影画像と、赤外線センサ１９による測定情報とを対話制御サーバ３０に送信することとしてよい。そして、撮影画像送信部１００は、対話実行中においては、所定の間隔で連続的に（例えば１／６０秒おきに）撮影した第１ユーザＵ１の撮影画像を対話制御サーバ３０に送信することとしてよい。

同様に、撮影画像送信部２００は、第２ユーザＵ２をカメラ２６により撮影した撮影画像と、赤外線センサ２９による測定情報とを対話制御サーバ３０に送信する。例えば、撮影画像送信部２００は非対話状態においては、定期的なタイミング（例えば１時間に１度）でカメラ２６による第２ユーザＵ２の撮影画像と、赤外線センサ２９による測定情報とを送信することとしてよい。また、撮影画像送信部２００は、対話開始要求を受け付けたタイミングでカメラ２６による第２ユーザＵ２の撮影画像と、赤外線センサ２９による測定情報とを対話制御サーバ３０に送信することとしてよい。そして、撮影画像送信部２００は、対話実行中においては、所定の間隔で連続的に（例えば１／６０秒おきに）撮影した第２ユーザＵ２の撮影画像を対話制御サーバ３０に送信することとしてよい。

撮影画像取得部３１０は、第１取得部３１１及び第２取得部３１２を有する。そして、第１取得部３１１は、撮影画像送信部１００により送信された第１ユーザＵ１の撮影画像と測定情報とを受信し、取得する。第１取得部３１１は、取得した撮影画像と測定情報について、撮影日時（測定日時）とともにデータ記憶部３００に記憶することとしてよい。

同様に、第２取得部３１２は、撮影画像送信部２００により送信された第２ユーザＵ２の撮影画像と測定情報とを受信し、取得する。第２取得部３１２は、取得した撮影画像と測定情報について、撮影日時（測定日時）とともにデータ記憶部３００に記憶することとしてよい。

［３．３．開始要求部１１０、開始要求部２１０、開始要求受付部３２０］
開始要求部１１０は、主に第１端末１０の制御部１１、記憶部１２、通信部１３及び入力部１４により実現される。開始要求部２１０は、主に第２端末２０の制御部２１、記憶部２２、通信部２３及び入力部２４により実現される。開始要求受付部３２０は、対話制御サーバ３０の制御部３１、記憶部３２及び通信部３３により実現される。

開始要求部１１０は、第１ユーザＵ１から受け付けた情報に基づいて、第１ユーザＵ１により指定されたユーザを相手とする対話の開始を要求する。例えば、開始要求部１１０は、入力部１４により第１ユーザＵ１から入力された情報に基づいて、第２ユーザＵ２を指定した対話の開始要求を受け付けた場合に、対話制御サーバ３０に対して、対話相手を第２ユーザＵ２とした対話の開始を要求する。なお、開始要求部１１０による対話の開始要求とともに、撮影画像送信部１００は、第１ユーザＵ１の撮影画像及び測定情報を対話制御サーバ３０に送信することとしてよい。

同様に、開始要求部２１０は、第２ユーザＵ２から受け付けた情報に基づいて、第２ユーザＵ２により指定されたユーザを相手とする対話の開始を要求する。例えば、開始要求部２１０は、入力部２４により第２ユーザＵ２から入力された情報に基づいて、第１ユーザＵ１を指定した対話の開始要求を受け付けた場合に、対話制御サーバ３０に対して、対話相手を第１ユーザＵ１とした対話の開始を要求する。なお、開始要求部２１０による対話の開始要求とともに、撮影画像送信部２００は、第２ユーザＵ２の撮影画像及び測定情報を対話制御サーバ３０に送信することとしてよい。

開始要求受付部３２０は、開始要求部１１０又は開始要求部２１０から対話の開始要求を受け付ける。例えば、開始要求受付部３２０は、開始要求部１１０から第２ユーザＵ２を相手とする対話の開始要求を受け付けると、第２ユーザＵ２に関連付けて記憶されるデバイス（ここでは第２端末２０）に開始要求を転送する。そして、第２端末２０では、対話制御サーバ３０から開始要求の転送を受けると、撮影画像送信部２００により対話制御サーバ３０に第２ユーザＵ２の撮影画像及び測定情報を送信する。

同様に、開始要求受付部３２０は、開始要求部２１０から第１ユーザＵ１を相手とする対話の開始要求を受け付けると、第１ユーザＵ１に関連付けて記憶されるデバイス（ここでは第１端末１０）に開始要求を転送する。そして、第１端末１０では、対話制御サーバ３０から開始要求の転送を受けると、撮影画像送信部１００により対話制御サーバ３０に第１ユーザＵ１の撮影画像及び測定情報を送信する。

［３．４．衣服レベル判定部３３０］
衣服レベル判定部３３０は、主に対話制御サーバ３０の制御部３１及び記憶部３２により実現される。衣服レベル判定部３３０は、第１判定部３３１、第２判定部３３２を有する。

第１判定部３３１は、開始要求受付部３２０において対話の開始要求を受け付けた後に、撮影画像送信部１００により送信され撮影画像取得部３１０で受信された撮影画像、赤外線センサ１９の測定情報に基づいて、当該受信された撮影画像に映し出されている第１ユーザＵ１の衣服のレベルを判定する。

例えば、第１判定部３３１は、対話の開始要求を受付後に、撮影画像取得部３１０により受信された撮影画像及び赤外線センサ１９の測定情報に基づいて、撮影画像における第１ユーザＵ１の衣服領域を特定するとともに、特定した衣服領域の画像特徴（衣服パターン）を生成する。なお、衣服パターンの生成処理の詳細については、後述する。

次に、第１判定部３３１は、上記生成した衣服パターン（対象衣服パターン）が、複数段階の衣服レベルのうちどれに該当するかを判定する。具体的には、第１判定部３３１は、衣服レベルテーブル３０１において第１ユーザＵ１に関連付けて記憶される各衣服レベルについて学習された画像特徴と、対象衣服パターンとの類似度（例えばベクトル間距離）を算出し、最も類似度が高い（例えば最もベクトル間距離が近い）画像特徴の衣服レベルに該当することと判定する。なお、第１判定部３３１は、撮影画像から衣服領域が検出されなかった場合には、衣服の着用がないとして衣服レベル「０」と判定することとしてよい。

そして、第２判定部３３２は、開始要求受付部３２０において対話の開始要求を受け付けた後に、撮影画像送信部２００により送信され撮影画像取得部３１０で受信された撮影画像、赤外線センサ２９の測定情報に基づいて、当該受信された撮影画像に映し出されている第２ユーザＵ２の衣服のレベルを判定する。第２判定部３３２における衣服レベルの判定処理は、上述した第１判定部３３１の衣服レベルの判定処理と同様の処理により実現されるため説明を省略する。

［３．５．着替判定部３４０］
着替判定部３４０は、主に対話制御サーバ３０の制御部３１及び記憶部３２により実現される。着替判定部３４０は、開始要求受付部３２０による対話の開始要求を受け付けた後であって当該対話の開始前に、第１判定部３３１により判定された第１ユーザＵ１の衣服レベルと、第２判定部３３２により判定された第２ユーザＵ２の衣服レベルと、第１ユーザＵ１と第２ユーザＵ２の対人関係について予め定められた衣服レベルの条件（衣服変換テーブル３０３）に基づいて、第１ユーザＵ１と第２ユーザＵ２のそれぞれについて衣服を仮想的に着せ替えるか否かを判定する。以下、着替判定部３４０における処理を具体的に説明する。

まず、着替判定部３４０は、対人関係テーブル３０２において、第１ユーザＵ１と第２ユーザＵ２のそれぞれのユーザＩＤに関連付けられているレコードを検索し、検索されたレコードの記憶内容に基づいて、第１ユーザＵ１と第２ユーザＵ２の対人関係を特定する。図８に示される例においては、第１ユーザＵ１と第２ユーザＵ２との対人関係は「上下関係」であり、第２ユーザＵ２が上位、第１ユーザＵ１が下位の関係にあると特定される。

次に、着替判定部３４０は、上記特定した第１ユーザＵ１と第２ユーザＵ２の対人関係に基づいて、衣服変換テーブル３０３のうち第１ユーザＵ１と第２ユーザＵ２の対人関係についての衣服レベルの条件を定めたテーブルを参照する。上記の例では、第１ユーザＵ１と第２ユーザＵ２の対人関係は「上下関係」であるため、着替判定部３４０は、上下関係についての衣服レベルの条件を定めた上下関係変換テーブル３０３Ａを参照する。

次に、着替判定部３４０は、第１ユーザＵ１の衣服レベルと、第２ユーザＵ２の衣服レベルと、第１ユーザＵ１と第２ユーザＵ２の対人関係に基づいて参照した各々の衣服レベルの条件（変換内容）を定めたテーブルに基づいて、第１ユーザＵ１と第２ユーザＵ２のそれぞれについて衣服を仮想的に着せ替えるか否か、すなわち衣服レベルを変更するか否かを判定する。

上記の例では、上下関係変換テーブル３０３Ａにおいて、下位ユーザである第１ユーザＵ１の衣服レベルと、上位ユーザである第２ユーザＵ２の衣服レベルとに基づいて特定されるセルに記憶される情報に基づいて、第１ユーザＵ１と第２ユーザＵ２のそれぞれの着せ替え判定を行う。具体的には、上記特定されるセルにおいて、着替フラグがＯＮとなっているユーザについては、着せ替えを行うと判定し、着替フラグがＯＦＦとなっているユーザについては着せ替えを行わないと判定する。そして、着せ替えを行うと判定された場合には、着替判定部３４０は、上記特定されるセルに記憶される衣服レベルを、着せ替えを行うユーザの変換後の衣服レベルとする。

［３．６．表示制御部３５０、表示制御部１２０、表示制御部２２０］
表示制御部３５０は、主に対話制御サーバ３０の制御部３１、記憶部３２及び通信部３３により実現される。表示制御部１２０は、主に第１端末１０の制御部１１、記憶部１２、通信部１３及び表示部１５により実現される。表示制御部２２０は、主に第２端末２０の制御部２１、記憶部２２、通信部２３及び表示部２５により実現される。

表示制御部３５０は、着替判定部３４０により第１ユーザＵ１の衣服を仮想的に着せ替えると判定された場合に、第１取得部３１１により取得される撮影画像において第１ユーザＵ１が映し出される領域に、着替判定部３４０により第１ユーザＵ１について設定された変換後の衣服レベルの衣服画像を合成した合成画像を、第２端末２０の表示部２５に表示させる。すなわち、表示制御部３５０は、上記合成した合成画像を、第１ユーザＵ１の撮影画像として第２端末２０に送信する。そして、表示制御部２２０は、表示制御部３５０より送信された画像を受信し、受信した画像を表示部２５に表示させる。

なお、上記の第１ユーザＵ１の撮影画像に合成される衣服画像は、衣服画像テーブル３０４において、着替ユーザである第１ユーザＵ１、相手ユーザである第２ユーザＵ２、第１ユーザＵ１について設定された変換後の衣服レベルに基づいて特定されるレコードに記憶される衣服画像としてよい。

また、着替判定部３４０により第２ユーザＵ２の衣服を仮想的に着せ替えると判定された場合には、第２ユーザＵ２について第２取得部３１２により取得される撮影画像において第２ユーザＵ２が映し出される領域に、着替判定部３４０により第２ユーザＵ２について設定された変換後の衣服レベルの衣服画像を合成した合成画像を、第２端末２０の表示部２５に表示させる。すなわち、表示制御部３５０は、上記合成した合成画像を、第２ユーザＵ２の撮影画像として第１端末１０に送信する。そして、表示制御部１２０は、表示制御部３５０より送信された画像を受信し、受信した画像を表示部１５に表示させる。

なお、上記の第２ユーザＵ２の撮影画像に合成される衣服画像は、衣服画像テーブル３０４において、着替ユーザである第２ユーザＵ２、相手ユーザである第１ユーザＵ１、第２ユーザＵ２について設定された変換後の衣服レベルに基づいて特定されるレコードに記憶される衣服画像としてよい。

また、表示制御部３５０は、着替判定部３４０により第１ユーザＵ１の着せ替えを行わないと判定した場合には、第１取得部３１１により取得した第１ユーザＵ１の撮影画像を第２端末２０に送信し、第２端末２０の表示部２５に表示させる。同様に、表示制御部３５０は、着替判定部３４０により第２ユーザＵ２の着せ替えを行わないと判定した場合には、第２取得部３１２により取得した第２ユーザＵ２の撮影画像を第１端末１０に送信し、第１端末１０の表示部１５に表示させる。

なお、対話開始以後には、第１端末１０からは、第１ユーザＵ１の撮影画像とともにマイク１７により集音された音声データが対話制御サーバ３０に送信される。そして、対話制御サーバ３０は、第１ユーザＵ１の撮影画像（合成画像）とともに、第１端末１０から受信した第１ユーザＵ１の音声データを第２端末２０に送信しており、第２端末２０では、第１ユーザＵ１の撮影画像（合成画像）と音声データとが同期再生される。同様に、対話開始以後には、第２端末２０からは、第２ユーザＵ２の撮影画像（合成画像）とともにマイク２７により集音された音声データが対話制御サーバ３０に送信される。そして、対話制御サーバ３０は、第２ユーザＵ２の撮影画像（合成画像）とともに、第２端末２０から受信した第２ユーザＵ２の音声データを第１端末１０に送信しており、第１端末１０では、第２ユーザＵ２の撮影画像（合成画像）と音声データとが同期再生される。

［４．対話システム１における処理の流れ］
次に、図１１乃至図１６に基づいて、対話システム１において実行される処理の具体的について説明する。

［４．１．衣服の画像特徴の学習処理］
まず、図１１に基づいて、ユーザの各衣服レベルの画像特徴を学習する処理の一例について説明する。

図１１に示されるように、対話制御サーバ３０の制御部３１は、データ記憶部３００から撮影画像、赤外線センサ１９による測定情報を取得する（Ｓ１）。なお、対話制御サーバ３０の制御部３１は、Ｓ１においては、非対話状態において撮影画像送信部１００により送信される情報を取得することとしてよい。

そして、対話制御サーバ３０の制御部３１は、取得した撮影画像に対する画像処理（例えば二値化、エッジ処理等）により顔領域を特定（顔認識処理）する（Ｓ２）。そして、対話制御サーバ３０の制御部３１は、予めデータ記憶部３００に記憶されるユーザＩＤと顔領域の画像特徴のうち、Ｓ２で特定された顔領域の画像特徴に類似する画像特徴を特定することにより、撮影画像に映し出されるユーザのユーザＩＤを特定する（Ｓ３）。

次に、対話制御サーバ３０の制御部３１は、撮影画像に映し出されたユーザの衣服パターンを生成する（Ｓ４）。ここで、「衣服パターン」とは、ユーザが着用している衣服の特徴であり、具体的には、撮影画像中において特定される衣服領域（衣服が映し出された領域）の画像特徴により表される。なお、衣服パターンの生成処理の詳細については後述する。

対話制御サーバ３０の制御部３１は、Ｓ４において特定された衣服パターンが、当該ユーザＩＤについて直前の衣服パターンから変化がある場合には（Ｓ５：Ｙ）、Ｓ６に進み、Ｓ４において特定された衣服パターンが、当該ユーザＩＤについて直前の衣服パターンから変化がない場合には（Ｓ５：Ｎ）、Ｓ１４に進む。

Ｓ６において、対話制御サーバ３０の制御部３１は、撮影画像の撮影時間が平日夜間である（例えば、平日の２１：００〜２：００）場合には（Ｓ６：Ｙ）、変化後の衣服パターンを、Ｓ３で特定したユーザＩＤの室内着の衣服パターンに、変化前の衣服パターンを仕事着に分類し（Ｓ７）、Ｓ１４に進む。一方、Ｓ６において、撮影画像の撮影時間が平日夜間でなく（Ｓ６：Ｎ）、平日朝である（例えば、５：００〜８：００）場合には（Ｓ８：Ｙ）、対話制御サーバ３０の制御部３１は、変化前の衣服パターンを、Ｓ３で特定したユーザＩＤの室内着の衣服パターンに、変化後の衣服パターンを仕事着に分類し（Ｓ９）、Ｓ１４に進む。

また、Ｓ８において、撮影画像の撮影時間が平日朝でなく（Ｓ８：Ｎ）、休日夜間である（例えば、休日の１９：００〜２４：００）場合には（Ｓ１０：Ｙ）、対話制御サーバ３０の制御部３１は、変化後の衣服パターンを、Ｓ３で特定したユーザＩＤの室内着の衣服パターンに、変化前の衣服パターンを外出着に分類し（Ｓ１１）、Ｓ１４に進む。一方、Ｓ１０において、撮影画像の撮影時間が休日夜間でなく（Ｓ１０：Ｎ）、休日朝である（例えば、休日の８：００〜１０：００）場合には（Ｓ１１：Ｙ）、対話制御サーバ３０の制御部３１は、変化前の衣服パターンを、Ｓ３で特定したユーザＩＤの室内着の衣服パターンに、変化後の衣服パターンを外出着に分類し（Ｓ１２）、Ｓ１４に進む。

そして、Ｓ１４において、データ記憶部３００に記憶される撮影画像、測定情報に未処理のデータがある場合には（Ｓ１４：Ｎ）、Ｓ１に戻る。一方で、Ｓ１４において、データ記憶部３００に記憶される撮影画像、測定情報に未処理のデータがない場合には（Ｓ１４：Ｙ）、対話制御サーバ３０の制御部３１は、ユーザＩＤの室内着として分類された衣服パターンに基づいて各分類（具体的には、室内着、外出着、仕事着）の画像特徴を学習する（Ｓ１５）。

具体的には、対話制御サーバ３０の制御部３１は、ユーザＩＤの各分類の衣服パターンの画像特徴である特徴ベクトルの代表ベクトルを決定し、決定した代表ベクトルを各分類の画像特徴とすることとしてよい。なお、代表ベクトルは、各分類の特徴ベクトルの平均としてもよいし、各分類の特徴ベクトルのうち最も他の特徴ベクトルとの距離が近いもの（すなわちより中心に位置するもの）を代表ベクトルとして選択してもよい。また、各分類の衣服パターンのうち最も使用頻度が高い衣服パターンの情報に基づいて、上記の画像特徴の学習処理を行うこととしてもよい。

また、対話制御サーバ３０の制御部３１は、Ｓ１４で学習された画像特徴を、衣服レベルテーブル３０１において対応するユーザＩＤと衣服レベルに関連付けて記憶することとする。

ここで、図１２に示されるフロー図に基づいて、上記のＳ４において実行される衣服パターンの生成処理について説明する。

図１２に示されるように、対話制御サーバ３０の制御部３１は、撮影画像とともに取得された赤外線センサ１９の測定情報に基づいて、第１ユーザＵ１の骨格モデルを作成する（Ｓ２１）。そして、対話制御サーバ３０の制御部３１は、Ｓ２１で作成した骨格モデルに基づいて、第１ユーザＵ１の衣服領域を抽出する（Ｓ２２）。なお、衣服領域とは、衣服が映し出される画像領域のことをいう。

次に、対話制御サーバ３０の制御部３１は、Ｓ２２で抽出された第１ユーザＵ１の上半身と下半身の衣服のそれぞれの色ヒストグラムを生成するとともに（Ｓ２３）、それぞれの形状データ（エッジデータ）を生成する（Ｓ２４）。

そして、対話制御サーバ３０の制御部３１は、第１ユーザＵ１の上半身と下半身のそれぞれの衣服の色、形状の情報を含む衣服パターンの情報を生成し（Ｓ２５）、衣服パターンの生成処理を抜ける。

また、衣服の各分類の画像特徴を学習する処理は、上記のフロー図に基づいて説明したものに限定されない。以下においては、図１３に示されるフロー図に基づいて、室内着の画像特徴を学習する処理の一例について説明する。

図１３に示されるように、対話制御サーバ３０の制御部３１は、対象日の朝に撮影された撮影画像から得られた第１衣服パターンと、対象日の前日夜に撮影された撮影画像から得られた第２衣服パターンとを取得する（Ｓ３１）。

そして、対話制御サーバ３０の制御部３１は、第１衣服パターンと第２衣服パターンとの差異が閾値以内であって、両者が一致しているとみなせる場合には（Ｓ３２：Ｙ）、第１衣服パターンと第２衣服パターンとを室内着に分類する（Ｓ３３）。

そして、対話制御サーバ３０の制御部３１は、室内着に分類された衣服パターンに基づいて画像特徴を学習する（Ｓ３４）。なお、Ｓ３４における画像特徴の学習処理については、図１１におけるＳ１５の処理と同様であるため説明を省略する。

Ｓ３４の後、又はＳ３２において第１衣服パターンと第２衣服パターンとが一致していない場合には（Ｓ３２：Ｎ）、処理を終了する。

以上の処理によれば、ユーザが就寝時に着用している衣服の特徴を学習することができる。

［４．２．対話制御処理］
次に、図１４及び図１５に示すシーケンス図に基づいて、対話システム１において実行される対話制御処理の一例について説明する。以下に説明する例においては、第２ユーザＵ２から第１ユーザＵ１への対話を要求することとするが、第１ユーザＵ１から第２ユーザＵ２に対して対話が要求される場合にも同様の処理により実現できる。

図１４に示されるように、第２端末２０の制御部２１は、入力部２４により第２ユーザＵ２から受け付けた操作に基づいて、第１ユーザＵ１を対話相手に指定した対話の開始を対話制御サーバ３０に対して要求する（Ｓ２０１）。

対話制御サーバ３０の制御部３１は、通信部３３を介して第２端末２０から対話開始要求を受け付ける（Ｓ３０１）。ここで、対話制御サーバ３０の制御部３１は、対話相手に指定された第１ユーザＵ１に紐付けられたデバイス情報に基づいて第１端末１０を特定するとともに、特定した第１端末１０に対話開始要求を転送する（Ｓ３０２）。

第１端末１０の制御部１１は、通信部１３を介して対話制御サーバ３０から対話開始要求を受け付けると（Ｓ１０１）、カメラ１６により第１ユーザＵ１を撮影し、撮影した画像（撮影画像）を対話制御サーバ３０に送信する（Ｓ１０２）。

また、第２端末２０の制御部２１は、Ｓ２０１の後に、カメラ２６により第２ユーザＵ２を撮影し、撮影した画像（撮影画像）を対話制御サーバ３０に送信する（Ｓ２０２）。

対話制御サーバ３０の制御部３１は、通信部３３を介して第１端末１０から第１ユーザＵ１の撮影画像（第１撮影画像）を、そして第２端末２０から第２ユーザＵ２の撮影画像（第２撮影画像）をそれぞれ受信する（Ｓ３０３）。

対話制御サーバ３０の制御部３１は、第１撮影画像の中から第１ユーザＵ１の衣服が映し出された衣服領域（第１衣服領域）を、そして第２撮影画像の中から第２ユーザＵ２の衣服が映し出された衣服領域（第２衣服領域）をそれぞれ抽出する（Ｓ３０４）。

対話制御サーバ３０の制御部３１は、上記抽出した第１衣服領域の画像特徴に基づいて、第１ユーザＵ１の衣服レベルを、そして第２衣服領域の画像特徴に基づいて第２ユーザＵ２の衣服レベルをそれぞれ判定する（Ｓ３０５）。具体的には、対話制御サーバ３０の制御部３１は、第１ユーザＵ１と第２ユーザＵ２の衣服レベルがそれぞれ、レベル「０」（未着衣）、レベル「１」（室内着）、レベル「２」（外出着）、レベル「３」（仕事着）のいずれであるかを判定する。なお、Ｓ３０５における衣服レベルの判定処理は着替判定部３４０により実行されるものである。

また、対話制御サーバ３０の制御部３１は、対人関係テーブル３０２を参照して、第１ユーザＵ１と第２ユーザＵ２の対人関係を特定する（Ｓ３０６）。

そして、対話制御サーバ３０の制御部３１は、第１ユーザＵ１の衣服レベル、第２ユーザＵ２の衣服レベル、及び第１ユーザＵ１と第２ユーザＵ２の対人関係に定められた衣服変換テーブル３０３の情報に基づいて、第１ユーザＵ１と第２ユーザＵ２のそれぞれの衣服を仮想的に着せ替えるか否かを判定する（Ｓ３０７）。ここで、Ｓ３０７において実行される処理（着替判定処理）の詳細は、図１６に示すフロー図に基づいて説明する。

図１６に示されるように、対話制御サーバ３０の制御部３１は、Ｓ３０６で特定された第１ユーザＵ１と第２ユーザＵ２の対人関係が、「上下関係」である場合には（Ｓ３０７１：上下関係）、上下関係変換テーブル３０３Ａを参照し（Ｓ３０７２）、「対等関係」である場合には（Ｓ３０７１：対等関係）、対等関係変換テーブル３０３Ｂを参照し（Ｓ３０７３）、「親密関係」である場合には（Ｓ３０７１：親密関係）、親密関係変換テーブル３０３Ｃを参照する（Ｓ３０７４）。

次に、対話制御サーバ３０の制御部３１は、Ｓ３０５で特定された第１ユーザＵ１の衣服レベルと、第２ユーザＵ２の衣服レベルと、上記参照した変換テーブルとに基づいて、第１ユーザＵ１と第２ユーザＵ２のそれぞれについて着せ替えが必要か否かを判定する（Ｓ３０７５）。上記判定は、上記参照した変換テーブルにおいて、第１ユーザＵ１の衣服レベルと、第２ユーザＵ２の衣服レベルに基づいて特定されるセルに記憶される各ユーザの着替フラグの値（ＯＮ又はＯＦＦ）に基づいて実行される。具体的には、対話制御サーバ３０の制御部３１は、上記特定されるセルに記憶される着替フラグがＯＮであれば着せ替えが必要と判定し、ＯＦＦであれば不要と判定する。

Ｓ３０７５の判定処理の結果、ユーザについて着せ替えが必要と判定された場合には（Ｓ３０７５：Ｙ）、当該ユーザについて着替フラグをＯＮに設定するとともに（Ｓ３０７６）、着せ替えに係る衣服レベルと衣服画像を決定し（Ｓ３０７７）、着替判定処理を抜ける。具体的には、対話制御サーバ３０の制御部３１は、第１ユーザＵ１、第２ユーザＵ２、上記特定されるセルに記憶される衣服レベルについて、衣服画像テーブル３０４に記憶される衣服画像を、上記の着せ替えに係る衣服画像に決定する。

一方、Ｓ３０７５の判定処理の結果、ユーザについて着せ替えが必要でないと判定された場合には（Ｓ３０７５：Ｎ）、当該ユーザについて着替フラグをＯＦＦに設定し（Ｓ３０７８）、着替判定処理を抜ける。なお、Ｓ３０７５〜Ｓ３０７８に示すフローは第１ユーザＵ１と第２ユーザＵ２のそれぞれについて実行されるものとする。

ここで再び図１４のシーケンス図に戻り、Ｓ３０７以降の処理について説明を続ける。

図１４に示されるように、対話制御サーバ３０の制御部３１は、Ｓ３０７の処理を終えると、第１端末１０と第２端末２０のそれぞれに対して、対話の開始処理を通知して、対話処理を開始させる（Ｓ３０８）。

第１端末１０の制御部１１は、対話制御サーバ３０から対話の開始が通知されると、第２端末２０との対話処理を開始する（Ｓ１０３）。同様に、第２端末２０の制御部２１は、対話制御サーバ３０から対話の開始が通知されると、第１端末１０との対話処理を開始する（Ｓ２０３）。ここで、対話の開始以後に実行される処理について図１５に示すシーケンス図に基づいて説明する。

図１５に示されるように、第１端末１０の制御部１１は、カメラ１６により撮影される第１ユーザＵ１の撮影画像と、マイク１７により集音される音声データとを対話制御サーバ３０に送信する（Ｓ１１１）。

同様に、第２端末２０の制御部２１は、カメラ２６により撮影される第２ユーザＵ２の撮影画像と、マイク２７により集音される音声データとを対話制御サーバ３０に送信する（Ｓ２１１）。

対話制御サーバ３０の制御部３１は、通信部３３を介して第１ユーザＵ１の撮影画像と音声データ、及び第２ユーザＵ２の撮影画像と音声データを受信する（Ｓ３１１）。そして、対話制御サーバ３０の制御部３１は、第１ユーザＵ１について着替フラグがＯＮに設定されている場合には（Ｓ３１２：Ｙ）、第１ユーザＵ１の撮影画像における衣服領域に、第１ユーザＵ１について決定された着替用の衣服画像を合成した合成画像を生成する（Ｓ３１３）。この場合、上記生成した合成画像が第２端末２０における再生用の画像となる。一方で、第１ユーザＵ１について着替フラグがＯＮに設定されていない場合には（Ｓ３１２：Ｎ）、Ｓ３１１で受信された撮影画像が、第２端末２０における再生用の画像となる。

同様に、対話制御サーバ３０の制御部３１は、第２ユーザＵ２について着替フラグがＯＮに設定されている場合には（Ｓ３１２：Ｙ）、第２ユーザＵ２の撮影画像における衣服領域に、第２ユーザＵ２について決定された着替用の衣服画像を合成した合成画像を生成する（Ｓ３１３）。この場合、上記生成した合成画像が第１端末１０における再生用の画像となる。一方で、第２ユーザＵ２について着替フラグがＯＮに設定されていない場合には（Ｓ３１２：Ｎ）、Ｓ３１１で受信された撮影画像が、第１端末１０における再生用の画像となる。

次に、対話制御サーバ３０の制御部３１は、第１ユーザＵ１が映し出された再生用の画像及び音声データを第２端末２０に送信するとともに、第２ユーザＵ２が映し出された再生用の画像及び音声データを第１端末１０に送信する（Ｓ３１４）。

第１端末１０の制御部１１は、通信部１３を介して第２ユーザＵ２が映し出された再生用の画像及び音声データを受信し、受信した画像を表示部１５に表示させるとともに、受信した音声データをスピーカ１８により出力して再生する（Ｓ１１２）。

同様に、第２端末２０の制御部２１は、通信部２３を介して第１ユーザＵ１が映し出された再生用の画像と音声データとを受信し、受信した画像を表示部２５に表示させるとともに、受信した音声データをスピーカ２８により出力して再生する（Ｓ２１２）。

第１端末１０の制御部１１は、対話処理を終了しない場合には（Ｓ１１３：Ｎ）、Ｓ１１１に戻る。同様に、第２端末２０の制御部２１は、対話処理を終了しない場合には（Ｓ２１３：Ｎ）、Ｓ２１１に戻る。

また、第１端末１０の制御部１１は、例えば入力部１４で受け付けた操作に基づいて対話処理を終了する場合には（Ｓ１１３：Ｙ）、終了処理を実行し（Ｓ１１４）、対話処理を終了する。この場合、第１端末１０の制御部１１は、対話制御サーバ３０に終了を通知し、対話制御サーバ３０の制御部３１は第２端末２０に対話処理の終了を通知して処理を終了させる（Ｓ３１５）。第２端末２０の制御部２１は、対話の終了の通知を受けた場合には、対話処理を終了する（Ｓ２１４）。

同様に、第２端末２０の制御部２１は、例えば入力部２４で受け付けた操作に基づいて対話処理を終了する場合には（Ｓ２１３：Ｙ）、終了処理を実行し（Ｓ２１４）、対話処理を終了する。この場合、第２端末２０の制御部２１は、対話制御サーバ３０に終了を通知し、対話制御サーバ３０の制御部３１は第１端末１０に対話処理の終了を通知して処理を終了させる（Ｓ３１５）。第１端末１０の制御部１１は、対話の終了の通知を受けた場合には、対話処理を終了する（Ｓ１１４）。

以上説明した対話システム１によれば、第１ユーザＵ１と第２ユーザＵ２が対話を開始する際に、第１ユーザＵ１と第２ユーザＵ２のそれぞれが着用する衣服が、相手との対人関係に照らして不適切である場合には、適切なレベルの仮想的な衣服に着替えた状態で対話を行うことができる。これにより、第１ユーザＵ１と第２ユーザＵ２の双方が、相手に対して不適切な衣服を着用した状態での対話の実行を回避できる。
また、第１ユーザＵ１と第２ユーザＵ２の双方が、相手にとって不適当な衣服を着用しているか否かを気にせずに対話を行うことができる。

また、対話システム１によれば、ユーザにとって対話相手の対人関係が上位である場合には、対話相手の衣服レベルに合わせた状態で対話を行うことができる。

また、対話システム１によれば、ユーザにとって対話相手の対人関係が対等である場合には、ユーザと対話相手のうち衣服レベルの高い方に合わせた状態で対話を行うことができる。

また、対話システム１によれば、ユーザの衣服レベルが所定レベルよりも低い場合（例えば未着衣や室内着の場合）には、ユーザを所定レベル以上の仮想的な衣服に着せ替えた状態（例えば外出着や仕事着等に着せ替えた状態）で対話を実行できる。

また、対話システム１によれば、ユーザの着せ替えに用いる衣服画像を、対話相手と着せ替え後の衣服レベルに対して予め登録することができる。

［５．その他の実施形態］
本発明は上記の実施形態に限定されるものではない。上記の実施形態においては、対話システム１において対話を行う第１ユーザＵ１と第２ユーザＵ２の対人関係及び両者の実際の衣服レベルに基づいて両者の衣服レベルを決定したが、更に第１ユーザＵ１と第２ユーザＵ２のいる場所、対話が行われる時間帯を考慮して両者の衣服レベルを決定してもよい。以下、図１７及び図１８に基づいて、対話場所及び対話時間帯に応じて第１ユーザＵ１と第２ユーザＵ２の適切な衣服レベルを決定する例について説明する。

図１７には、時間場所衣服テーブルの一例を示した。図１７に示されるように、時間場所衣服テーブルとは、時間帯と場所に対して、適切な衣服レベルを定めたテーブル情報である。なお、時間場所衣服テーブルは、データ記憶部３００に記憶されることとしてよい。

例えば、図１７に示される例では、時間帯、場所がそれぞれ平日夜、公共の場所であれば、適切な衣服レベルは外出着（レベル「２」）以上であり、平日夜、住宅であれば、適切な衣服レベルは室内着（レベル「１」）以上となっている。

次に、図１８に示したフロー図に基づいて、対話時間及び対話場所を考慮した場合における着替判定処理の一例について説明する。

図１８に示されるように、対話制御サーバ３０の制御部３１は、第１ユーザＵ１と第２ユーザＵ２の対人関係が所定の関係（例えば対等関係）である場合には（Ｓ４０１：Ｙ）、時間場所衣服テーブルを参照する（Ｓ４０２）。また、第１ユーザＵ１と第２ユーザＵ２の対人関係が所定の関係（例えば対等関係）でない場合には（Ｓ４０１：Ｎ）、対話制御サーバ３０の制御部３１は、着替判定処理を抜ける。

そして、第１ユーザＵ１と第２ユーザＵ２のそれぞれの衣服レベルが所定レベル以下（例えば未着衣のレベル「０」）である場合には（Ｓ４０３：Ｙ）、Ｓ４０５に進む。また、第１ユーザＵ１と第２ユーザＵ２のそれぞれの衣服レベルが所定レベル以下（例えば未着衣のレベル「０」）でなく（Ｓ４０３：Ｎ）、更に第１ユーザＵ１と第２ユーザＵ２の衣服レベルが相違している場合には（Ｓ４０４：Ｙ）、Ｓ４０５に進む。

Ｓ４０５において、対話制御サーバ３０の制御部３１は、現在の日時と、第１ユーザＵ１の操作する第１端末１０が設置されている場所について時間場所衣服テーブルに関連付けられている衣服レベルと、第１ユーザＵ１の衣服レベルとのうち高い方を第１ユーザＵ１の衣服レベルとする。

更に、Ｓ４０５において、対話制御サーバ３０の制御部３１は、現在の日時と、第２ユーザＵ２の操作する第２端末２０が設置されている場所について時間場所衣服テーブルに関連付けられている衣服レベルと、第２ユーザＵ２の衣服レベルとのうち高い方を第２ユーザＵ２の衣服レベルとする。

次に、対話制御サーバ３０の制御部３１は、Ｓ４０５で決定した第１ユーザＵ１の衣服レベルと、第２ユーザＵ２の衣服レベルのうち高い方を選択する（Ｓ４０６）。

対話制御サーバ３０は、ユーザについてＳ４０５で決定した衣服レベルと、Ｓ４０６で選択した衣服レベルとが相違する場合には、着せ替えが必要と判断し（Ｓ４０７：Ｙ）、当該ユーザについて着替フラグをＯＮに設定するとともに（Ｓ４０８）、着せ替えに用いる衣服画像を決定し（Ｓ４０９）、着替判定処理を抜ける。例えば、第１ユーザＵ１について着替フラグがＯＮに設定される場合に、対話制御サーバ３０の制御部３１は、第１ユーザＵ１、第２ユーザＵ２、Ｓ４０６で選択された衣服レベルについて、衣服画像テーブル３０４に記憶される衣服画像を、上記の着せ替えに用いる衣服画像とする。

一方、Ｓ４０７でユーザに対し着せ替えが不要と判定された場合には（Ｓ４０７：Ｎ）、当該ユーザについて着替フラグをＯＦＦに設定し（Ｓ４１０）、着替判定処理を抜ける。なお、Ｓ４０７〜Ｓ４１０に示すフローは第１ユーザＵ１と第２ユーザＵ２のそれぞれについて実行されるものとする。

また、着替判定処理以外については図１４及び図１５において説明した処理と同様の処理を実行することとしてよいため説明を省略する。

以上説明した対話システム１によれば、第１ユーザＵ１と第２ユーザＵ２が対話を行う際には、第１ユーザＵ１と第２ユーザＵ２は、それぞれの場所及び時間帯に応じて定められる衣服レベルのうちより高い方に合わせた状態で対話を行うことができる。これにより、場所や時間帯に照らして不適切な格好で対話が実行されてしまうことを回避できる。

また例えば、上記の実施形態においては、第１端末１０と第２端末２０との通信を対話制御サーバ３０が中継することとしたが、第１端末１０と第２端末２０とが直接通信するようにしてもよい。この場合においては、第１端末１０又は第２端末２０が対話制御サーバ３０の機能を有し、対話制御サーバ３０が実行する処理を行うこととしてよい。

［６．付記］
本発明の代表的な態様は以下の通りである。

本発明に係る対話システムは、第１ユーザ側に設けられた第１端末と、第２ユーザ側に設けられた第２端末との双方向通信により前記第１ユーザと前記第２ユーザとの間で対話を実行させる対話システムであって、前記第１ユーザと前記第２ユーザのうち一方から他方に向けられた対話の開始要求を受け付ける受付手段と、前記第１ユーザを撮影した第１撮影画像を取得する第１取得手段と、前記第２ユーザを撮影した第２撮影画像を取得する第２取得手段と、前記第１撮影画像から抽出される画像特徴に基づいて、前記第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第１判定手段と、前記第２撮影画像から抽出される画像特徴に基づいて、前記第２ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第２判定手段と、前記受付手段による対話の開始要求を受け付けた後であって当該対話の開始前に、前記第１ユーザの衣服レベルと、前記第２ユーザの衣服レベルと、前記第１ユーザと前記第２ユーザの対人関係について予め定められた衣服レベルの条件に基づいて、前記第１ユーザの衣服を仮想的に着せ替えるか否かを判定する着替判定手段と、前記着替判定手段により前記第１ユーザの衣服を仮想的に着せ替えると判定された場合には、前記第１ユーザの衣服レベル、前記第２ユーザの衣服レベル、及び前記衣服レベルの条件に基づいて決定した衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させる表示制御手段と、を備える。

また、本発明に係る対話システムの制御方法は、第１ユーザ側に設けられた第１端末と、第２ユーザ側に設けられた第２端末との双方向通信により前記第１ユーザと前記第２ユーザとの間で対話を実行させる対話システムの制御方法であって、前記対話システムに、前記第１ユーザと前記第２ユーザのうち一方から他方に向けられた対話の開始要求を受け付ける受付ステップと、前記第１ユーザを撮影した第１撮影画像を取得する第１取得ステップと、前記第２ユーザを撮影した第２撮影画像を取得する第２取得ステップと、前記第１撮影画像から抽出される画像特徴に基づいて、前記第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第１判定ステップと、前記第２撮影画像から抽出される画像特徴に基づいて、前記第２ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第２判定ステップと、前記受付ステップで対話の開始要求を受け付けた後であって当該対話の開始前に、前記第１ユーザの衣服レベルと、前記第２ユーザの衣服レベルと、前記第１ユーザと前記第２ユーザの対人関係について予め定められた衣服レベルの条件に基づいて、前記第１ユーザの衣服を仮想的に着せ替えるか否かを判定する着替判定ステップと、前記着替判定ステップで前記第１ユーザの衣服を仮想的に着せ替えると判定された場合に、前記第１ユーザの衣服レベル、前記第２ユーザの衣服レベル、及び前記衣服レベルの条件に基づいて決定した衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させる表示制御ステップと、を実行させる。

上記の対話システム及び対話システムの制御方法によれば、第１ユーザが第２ユーザと対話を開始する際に、第１ユーザの着用する衣服が第１ユーザと第２ユーザの対人関係に照らして不適切である場合には、第１ユーザは適切なレベルの仮想的な衣服に着替えた状態で対話を行うことができる。
これにより、第１ユーザは、対話相手の第２ユーザに対して不適切な衣服を着用した状態での対話の実行を回避できる。
また、第１ユーザは、対話相手の第２ユーザに対して不適切な衣服を着用しているか否かを気にせずに第２ユーザとの対話を行うことができる。

上記の対話システムにおいて、前記第１ユーザと前記第２ユーザの対人関係において前記第２ユーザが上位であり、且つ前記第１ユーザの衣服レベルと、前記第２ユーザの衣服レベルが異なる場合には、前記着替判定手段は、前記第１ユーザの衣服を仮想的に着せ替えると判定し、前記表示制御手段は、前記第２ユーザの衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させることとしてよい。
こうすることで、第１ユーザは、対人関係が上位である第２ユーザと対話をする際には、第２ユーザの衣服レベルに合わせた状態で対話を行うことができる。

上記の対話システムにおいて、前記第１ユーザと前記第２ユーザの対人関係において前記第１ユーザと前記第２ユーザが対等であり、且つ前記第１ユーザの衣服レベルが、前記第２ユーザの衣服レベルよりも低い場合には、前記着替判定手段は、前記第１ユーザの衣服を仮想的に着せ替えると判定し、前記表示制御手段は、前記第２ユーザの衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させることとしてよい。
こうすることで、第１ユーザは、対人関係が対等な第２ユーザと対話をする際には、第１ユーザと第２ユーザのうち衣服レベルの高い方に合わせた状態で対話を行うことができる。

上記の対話システムにおいて、前記衣服レベルの条件は、前記第１ユーザと前記第２ユーザの対人関係が所定の関係である場合に、前記第１ユーザと前記第２ユーザのそれぞれの場所に基づいて衣服レベルを定めるものであり、前記第１ユーザと前記第２ユーザの対人関係が前記所定の関係であり、且つ前記第１ユーザの場所に基づく衣服レベルが、前記第２ユーザの場所に基づく衣服レベルよりも低い場合には、前記着替判定手段は、前記第１ユーザの衣服を仮想的に着せ替えると判定し、前記表示制御手段は、前記第２ユーザの場所に基づく衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させることとしてよい。
こうすることで、第１ユーザは、第１ユーザと第２ユーザのいる場所に応じて定められる衣服レベルのうちより高い方に合わせた状態で対話を行うことができる。

上記の対話システムにおいて、前記第１ユーザの衣服レベルが所定レベル未満である場合には、前記表示制御手段は、前記所定レベル以上の衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させることとしてよい。
こうすることで、第１ユーザの衣服レベルが所定レベルよりも低い場合には、第１ユーザを所定レベル以上の衣服に着せ替えた状態で対話を実行できる。

上記の対話システムにおいて、前記第１ユーザ、前記第２ユーザ、及び衣服レベルに関連付けて衣服画像を記憶する記憶手段を備え、前記表示制御手段は、前記第１ユーザ、前記第２ユーザ、及び前記決定した衣服レベルについて前記記憶手段に記憶される衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させることとしてよい。
こうすることで、第１ユーザの着せ替えに用いる衣服画像を、対話相手の第２ユーザと衣服レベルに対して予め登録することができる。

上記の対話システムにおいて、前記着替判定手段は、前記受付手段による対話の開始要求を受け付けた後であって当該対話の開始前に、前記第１ユーザの衣服レベルと、前記第２ユーザの衣服レベルと、前記第１ユーザと前記第２ユーザの対人関係について予め定められた衣服レベルの条件に基づいて、前記第２ユーザの衣服を仮想的に着せ替えるか否かを判定し、前記着替判定手段により前記第２ユーザの衣服を仮想的に着せ替えると判定された場合には、前記表示制御手段は、前記第１ユーザの衣服レベル、前記第２ユーザの衣服レベル、及び前記衣服レベルの条件に基づいて決定した衣服レベルの衣服画像を前記第２撮影画像において前記第２ユーザが映し出される領域に合成した合成画像を、前記第１端末の表示部に表示させることとしてよい。
こうすることで、第２ユーザの着用する衣服が、第１ユーザと第２ユーザの対人関係に照らして不適切である場合には、第２ユーザは適切なレベルの仮想的な衣服に着替えた状態で対話を行うことができる。
これにより、第１ユーザと第２ユーザの双方が、相手に対して不適切な衣服を着用した状態での対話の実行を回避できる。
また、第１ユーザと第２ユーザの双方が、相手にとって不適当な衣服を着用しているか否かを気にせずに対話を行うことができる。

Ｕ１ 第１ユーザ
Ｕ２ 第２ユーザ
Ｐ１ 第１撮影画像
Ｐ２ 第２撮影画像
Ｐ３ 第３撮影画像
Ｐ４ 第４撮影画像
Ｐ５ 第５撮影画像
Ｐ６ 第６撮影画像
Ｄ１ 第１表示画像
Ｄ２ 第２表示画像
Ｄ３ 第３表示画像
Ｄ４ 第４表示画像
Ｄ５ 第５表示画像
Ｄ６ 第６表示画像
Ｗ１ 仕事着
Ｗ２ 外出着
Ｗ３ 室内着
Ｗ４ 仕事着
ＶＷ１ 仮想外出着
ＶＷ３ 仮想仕事着
１ 対話システム
２ ネットワーク
１０ 第１端末
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ カメラ
１７ マイク
１８ スピーカ
１９ 赤外線センサ
２０ 第２端末
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 入力部
２５ 表示部
２６ カメラ
２７ マイク
２８ スピーカ
２９ 赤外線センサ
３０ 対話制御サーバ
３１ 制御部
３２ 記憶部
３３ 通信部
１００ 撮影画像送信部
１１０ 開始要求部
１２０ 表示制御部
２００ 撮影画像送信部
２１０ 開始要求部
２２０ 表示制御部
３００ データ記憶部
３０１ 衣服レベルテーブル
３０２ 対人関係テーブル
３０３ 衣服変換テーブル
３０３Ａ 上下関係変換テーブル
３０３Ｂ 対等関係変換テーブル
３０３Ｃ 親密関係変換テーブル
３０４ 衣服画像テーブル
３１０ 撮影画像取得部
３１１ 第１取得部
３１２ 第２取得部
３２０ 開始要求受付部
３３０ 衣服レベル判定部
３３１ 第１判定部
３３２ 第２判定部
３４０ 着替判定部
３５０ 表示制御部
３５１ 第１表示制御部
３５２ 第２表示制御部

Claims (8)

1. 第１ユーザ側に設けられた第１端末と、第２ユーザ側に設けられた第２端末との双方向通信により前記第１ユーザと前記第２ユーザとの間で対話を実行させる対話システムであって、
   前記第１ユーザと前記第２ユーザのうち一方から他方に向けられた対話の開始要求を受け付ける受付手段と、
   前記第１ユーザを撮影した第１撮影画像を取得する第１取得手段と、
   前記第２ユーザを撮影した第２撮影画像を取得する第２取得手段と、
   前記第１撮影画像から抽出される画像特徴に基づいて、前記第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第１判定手段と、
   前記第２撮影画像から抽出される画像特徴に基づいて、前記第２ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第２判定手段と、
   前記受付手段による対話の開始要求を受け付けた後であって当該対話の開始前に、前記第１ユーザの衣服レベルと、前記第２ユーザの衣服レベルと、前記第１ユーザと前記第２ユーザの対人関係について予め定められた衣服レベルの条件に基づいて、前記第１ユーザの衣服を仮想的に着せ替えるか否かを判定する着替判定手段と、
   前記着替判定手段により前記第１ユーザの衣服を仮想的に着せ替えると判定された場合には、前記第１ユーザの衣服レベル、前記第２ユーザの衣服レベル、及び前記衣服レベルの条件に基づいて決定した衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させる表示制御手段と、
   を備えることを特徴とする対話システム。
2. 前記第１ユーザと前記第２ユーザの対人関係において前記第２ユーザが上位であり、且つ前記第１ユーザの衣服レベルと、前記第２ユーザの衣服レベルが異なる場合には、前記着替判定手段は、前記第１ユーザの衣服を仮想的に着せ替えると判定し、
   前記表示制御手段は、前記第２ユーザの衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させる
   ことを特徴とする請求項１に記載の対話システム。
3. 前記第１ユーザと前記第２ユーザの対人関係において前記第１ユーザと前記第２ユーザが対等であり、且つ前記第１ユーザの衣服レベルが、前記第２ユーザの衣服レベルよりも低い場合には、前記着替判定手段は、前記第１ユーザの衣服を仮想的に着せ替えると判定し、
   前記表示制御手段は、前記第２ユーザの衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させる
   ことを特徴とする請求項１又は２に記載の対話システム。
4. 前記衣服レベルの条件は、前記第１ユーザと前記第２ユーザの対人関係が所定の関係である場合に、前記第１ユーザと前記第２ユーザのそれぞれの場所に基づいて衣服レベルを定めるものであり、
   前記第１ユーザと前記第２ユーザの対人関係が前記所定の関係であり、且つ前記第１端末の場所に応じた衣服レベルが、前記第２ユーザの場所に基づく衣服レベルよりも低い場合には、前記着替判定手段は、前記第１ユーザの衣服を仮想的に着せ替えると判定し、
   前記表示制御手段は、前記第２ユーザの場所に基づく衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させる
   ことを特徴とする請求項１乃至３のいずれかに記載の対話システム。
5. 前記第１ユーザの衣服レベルが所定レベル未満である場合には、前記表示制御手段は、前記所定レベル以上の衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させる
   ことを特徴とする請求項１乃至４のいずれかに記載の対話システム。
6. 前記第１ユーザ、前記第２ユーザ、及び衣服レベルに関連付けて衣服画像を記憶する記憶手段を備え、
   前記表示制御手段は、前記第１ユーザ、前記第２ユーザ、及び前記決定した衣服レベルについて前記記憶手段に記憶される衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させる
   ことを特徴とする請求項１乃至５のいずれかに記載の対話システム。
7. 前記着替判定手段は、前記受付手段による対話の開始要求を受け付けた後であって当該対話の開始前に、前記第１ユーザの衣服レベルと、前記第２ユーザの衣服レベルと、前記第１ユーザと前記第２ユーザの対人関係について予め定められた衣服レベルの条件に基づいて、前記第２ユーザの衣服を仮想的に着せ替えるか否かを判定し、
   前記着替判定手段により前記第２ユーザの衣服を仮想的に着せ替えると判定された場合には、前記表示制御手段は、前記第１ユーザの衣服レベル、前記第２ユーザの衣服レベル、及び前記衣服レベルの条件に基づいて決定した衣服レベルの衣服画像を前記第２撮影画像において前記第２ユーザが映し出される領域に合成した合成画像を、前記第１端末の表示部に表示させる
   ことを特徴とする請求項１乃至６のいずれかに記載の対話システム。
8. 第１ユーザ側に設けられた第１端末と、第２ユーザ側に設けられた第２端末との双方向通信により前記第１ユーザと前記第２ユーザとの間で対話を実行させる対話システムの制御方法であって、前記対話システムに、
   前記第１ユーザと前記第２ユーザのうち一方から他方に向けられた対話の開始要求を受け付ける受付ステップと、
   前記第１ユーザを撮影した第１撮影画像を取得する第１取得ステップと、
   前記第２ユーザを撮影した第２撮影画像を取得する第２取得ステップと、
   前記第１撮影画像から抽出される画像特徴に基づいて、前記第１ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第１判定ステップと、
   前記第２撮影画像から抽出される画像特徴に基づいて、前記第２ユーザの衣服レベルが複数段階のレベルのいずれに該当するかを判定する第２判定ステップと、
   前記受付ステップで対話の開始要求を受け付けた後であって当該対話の開始前に、前記第１ユーザの衣服レベルと、前記第２ユーザの衣服レベルと、前記第１ユーザと前記第２ユーザの対人関係について予め定められた衣服レベルの条件に基づいて、前記第１ユーザの衣服を仮想的に着せ替えるか否かを判定する着替判定ステップと、
   前記着替判定ステップで前記第１ユーザの衣服を仮想的に着せ替えると判定された場合に、前記第１ユーザの衣服レベル、前記第２ユーザの衣服レベル、及び前記衣服レベルの条件に基づいて決定した衣服レベルの衣服画像を前記第１撮影画像において前記第１ユーザが映し出される領域に合成した合成画像を、前記第２端末の表示部に表示させる表示制御ステップと、
   を実行させることを特徴とする対話システムの制御方法。
   

Images