JP2019162219A - 情報処理装置、ミラーデバイス、プログラム - Google Patents

Abstract

【課題】鏡像を観察する観察者に対して、視覚情報が反映されたインタラクションを提供する。【解決手段】情報処理装置は、観察者ＯＢＪの鏡像ＭＩ１に対応する観察者画像ＩＭＧ１を取得し、且つ、音声ＳＣ１を出力可能なミラーデバイス１０と接続される。情報処理装置は、ミラーデバイス１０から観察者画像ＩＭＧ１を取得する手段を備え、観察者画像ＩＭＧ１に基づいて、鏡像ＭＩ１に写った観察者の状態を判定する手段を備え、判定の結果に基づいて、擬人化キャラクタの音声ＳＣ１を生成する手段を備え、生成された音声ＳＣ１をミラーデバイス１０に送信する手段を備える。【選択図】図３

Description

本発明は、情報処理装置、ミラーデバイス、及び、プログラムに関する。

近年、音声認識技術が実装されたスマートスピーカが注目されている。スマートスピーカは、ユーザが発話した音声コマンドを解析し、且つ、解析結果に応じた動作（例えば、音声出力）を行う。

例えば、特許文献１の音声認識端末装置は、ユーザが発話した音声コマンドを取得し、取得した音声コマンドを音声認識サーバに送信して音声認識処理を要求する。音声認識端末装置は、音声認識サーバから応答メッセージを受信した場合、取得した応答メッセージに基づく出力処理を実行する。

スマートスピーカでは、スマートスピーカに実装されたコンピュータとユーザとの間で対話形式のインタラクションが発生する。その結果、ユーザは、スマートスピーカと会話するように、スマートスピーカを使用することができる。

特開２０１５−１３５４２０号公報

一般に、人の日常生活において、鏡は欠かせないデバイスである。特に、女性は、美容行動（例えば、化粧、衣服の確認、又は、表情の確認）のために鏡を頻繁に使用する。ところが、ユーザは、鏡像を観察するために鏡を使用するので、鏡とユーザとの間でインタラクションは発生しない。

例えば、ユーザと鏡との間でインタラクションを発生させる方法として、鏡に特許文献１の技術を実装する方法が考えられる。この場合、ユーザが音声コマンドを発話すると、鏡が音声コマンドに応じた出力処理を行う。その結果、ユーザが発した音声コマンドを介して、ユーザと鏡との間で、インタラクションが発生する。このインタラクションは、音声入力と音声出力によるインタラクションである。

一方、美容行動を行う人は、視覚情報を重視している。例えば、女性が鏡に写った鏡像を見ながら化粧を行うのは、化粧が施された顔を視覚的に確認するためである。

しかし、鏡に特許文献１の技術を実装したとしても、音声入力と音声出力によるインタラクションであるため、鏡に写った観察者が重視する視覚情報がインタラクションに介在しない。つまり、出力される音声には、観察者が重視する情報が反映されない。

このように、従来の音声認識技術では、鏡像を観察する観察者にとって重要な視覚情報が反映されたインタラクションを発生させることはできない。

本発明の目的は、鏡像を観察する観察者に対して、視覚情報が反映されたインタラクションを提供することである。

本発明の一態様は、
観察者の鏡像に対応する観察者画像を取得し、且つ、音声を出力可能なミラーデバイスと接続される情報処理装置であって、
前記ミラーデバイスから前記観察者画像を取得する手段を備え、
前記観察者画像に基づいて、前記鏡像に写った観察者の状態を判定する手段を備え、
前記判定の結果に基づいて、擬人化キャラクタの音声を生成する手段を備え、
前記生成された音声を前記ミラーデバイスに送信する手段を備える、
情報処理装置である。

本発明によれば、鏡像を観察する観察者に対して、視覚情報が反映されたインタラクションを提供することができる。

本実施形態の情報処理システムの構成を示すブロック図である。 図１の情報処理システムの機能ブロック図である。 本実施形態の概要の説明図である。 本実施形態の観察者情報データベースのデータ構造を示す図である。 本実施形態のキャラクタ情報マスタのデータ構造を示す図である。 本実施形態のパターンマッチングテーブルのデータ構造を示す図である。 本実施形態のログ情報データベースのデータ構造を示す図である。 本実施形態の情報処理のシーケンス図である。 図８の情報処理における出力例を示す図である。 図８の情報処理における出力例を示す図である。 図８の情報処理における出力例を示す図である。 図８のリアクションの生成の詳細なフローチャートである。 変形例１の情報処理における出力例を示す図である。 変形例２のリアクションの生成の詳細なフローチャートである。 変形例７の概要の説明図である。 変形例８の概要の説明図である。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。図２は、図１の情報処理システムの機能ブロック図である。

図１に示すように、情報処理システム１は、ミラーデバイス１０と、サーバ３０とを備える。
ミラーデバイス１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。

ミラーデバイス１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。
ミラーデバイス１０は、ディスプレイ１８と、ハーフミラー１９と、を備える。ミラーデバイス１０は、ディスプレイ１８を介して画像を観察者に提示し、且つ、ハーフミラー１９を介して鏡像を観察者に提示する。つまり、ミラーデバイス１０は、観察者に対して、画像及び鏡像を同時に提示することができる。

ハーフミラー１９は、ディスプレイ１８に対して、外側に配置される（図１）。
観察者がハーフミラー１９に視線を向けると、ハーフミラー１９を透過したディスプレイ１８の光が観察者の目に入射する。これにより、観察者は、ディスプレイ１８に表示された画像と、ハーフミラー１９に写った鏡像（例えば、観察者自身の像）と、を同時に観察することができる。

サーバ３０は、ミラーデバイス１０から送信されたリクエストに応じたレスポンスをミラーデバイス１０に提供する情報処理装置の一例である。サーバ３０は、例えば、ウェブサーバである。

（１−１）ミラーデバイスの構成
ミラーデバイス１０の構成について説明する。

図２に示すように、ミラーデバイス１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４と、カメラ１５と、スピーカ１６と、マイクロホン１７と、ディスプレイ１８と、ハーフミラー１９と、を備える。

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーションのプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、ミラーデバイス１０の機能を実現するように構成される。プロセッサ１２は、コンピュータの一例である。

入出力インタフェース１３は、ミラーデバイス１０に接続される入力デバイスから観察者の指示を取得し、かつ、ミラーデバイス１０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、カメラ１５と、マイクロホン１７と、入力装置（一例として、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せ）と、を含む。
出力デバイスは、スピーカ１６と、ディスプレイ１８と、を含む。

通信インタフェース１４は、ミラーデバイス１０とサーバ３０との間の通信を制御するように構成される。

カメラ１５は、画像を撮像するように構成される。
カメラ１５は、例えば、ＣＯＭＳ（Complementary Metal Oxide Semiconductor）カメラ、又は、赤外線カメラである。

スピーカ１６は、プロセッサ１２によって作成された音声コンテンツを出力するように構成される。

マイクロホン１７は、音声（例えば、観察者の音声）を入力するように構成される。プロセッサ１２は、マイクロホン１７によって入力された観察者の音声を解析することにより、観察者の音声の文脈を特定する。プロセッサ１２は、特定した文脈を観察者の指示として取り扱う。これにより、ミラーデバイス１０は、観察者の音声に応じた挙動を示す。

ディスプレイ１８は、プロセッサ１２によって生成された画像を表示するように構成される。

ハーフミラー１９は、鏡像（例えば、観察者自身の像）を写すように構成される。

（１−２）サーバの構成
図１を参照して、サーバ３０の構成について説明する。

図１に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、コンピュータの一例である。

入出力インタフェース３３は、サーバ３０に接続される入力デバイスから観察者の指示を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース３４は、サーバ３０とミラーデバイス１０との間の通信を制御するように構成される。

（２）実施形態の概要
本実施形態の概要について説明する。図３は、本実施形態の概要の説明図である。

図３に示すように、本実施形態は、観察者ＯＢＪが、ミラーデバイス１０のハーフミラー１９に写った鏡像を観察しながら、美容行動（例えば、化粧）をする場合に適用可能である。

観察者ＯＢＪが化粧をするときに、ミラーデバイス１０の前に立つと、化粧前の観察者ＯＢＪの顔の鏡像ＭＩ０がハーフミラー１９に写る。
観察者ＯＢＪがハーフミラー１９を見ながら化粧を開始すると、ミラーデバイス１０は、化粧中の観察者ＯＢＪの顔の画像ＩＭＧ１を取得する。ハーフミラー１９には、化粧中の観察者ＯＢＪの顔の鏡像ＭＩ１が写る。鏡像ＭＩ１は、画像ＩＭＧ１に対応する。ミラーデバイス１０は、画像ＩＭＧ１（つまり、化粧中の観察者ＯＢＪの顔）に応じた音声ＳＣ１（例えば、「もっと明るい色が良いよ」という擬人化キャラクタの音声）を再生する。
観察者ＯＢＪが化粧を終了すると、ミラーデバイス１０は、化粧後の観察者ＯＢＪの顔の画像ＩＭＧ２を取得する。ハーフミラー１９には、化粧後の観察者ＯＢＪの顔の鏡像ＭＩ２が写る。鏡像ＭＩ２は、画像ＩＭＧ２に対応する。ミラーデバイス１０は、画像ＩＭＧ２（つまり、化粧後の観察者ＯＢＪの顔）に応じた音声ＳＣ２（例えば、「似合ってるね」という擬人化キャラクタの音声）を再生する。

このように、ミラーデバイス１０は、観察者ＯＢＪの状態に応じた音声コンテンツを再生する。これにより、ミラーデバイス１０は、美容行動中の観察者ＯＢＪにとって、音声によって対話する対象者（いわゆる、パートナー）として振る舞う。その結果、観察者ＯＢＪは、擬人化キャラクタの声による反応を聞きながら、美容行動を行うことができる。このように、観察者ＯＢＪに対して、新しい美容行動のユーザ体験を提供することができる。

特に、鏡像ＭＩ１を観察している観察者ＯＢＪにとって重要な視覚情報である画像ＩＭＧ１に応じて、聴覚情報である音声ＳＣ１〜ＳＣ２を再生することにより、観察者ＯＢＪは、自身が重視している情報に応じた出力を得ることができる。これは、観察者ＯＢＪが、ミラーデバイス１０に対して意識的にコマンドを与えることなく、自身が重視している視覚情報を無意識に与えるだけで、当該視覚情報に応じた出力が得られることを意味する。

（３）データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。

（３−１）観察者情報データベース
本実施形態の観察者情報データベースについて説明する。図４は、本実施形態の観察者情報データベースのデータ構造を示す図である。

図４に示すように、観察者情報データベースには、観察者に関する観察者情報が格納される。
観察者情報データベースは、「観察者ＩＤ」フィールドと、「パスワード」フィールドと、「観察者名」フィールドと、「観察者属性」フィールドと、を含む。各フィールドは、互いに関連付けられている。

「観察者ＩＤ」フィールドには、観察者ＯＢＪを識別する観察者ＩＤ（「観察者識別情報」の一例）が格納される。

「パスワード」フィールドには、観察者ＯＢＪがサーバ３０にログインするときの認証のためのパスワードが格納される。「パスワード」フィールドの情報は、観察者情報をサーバ３０に登録するときに、観察者ＯＢＪの任意で決定される。

「観察者名」フィールドには、観察者ＯＢＪの名前に関する情報が格納される。「観察者名」フィールドの情報は、観察者情報をサーバ３０に登録するときに、観察者ＯＢＪの任意で決定される。

「観察者属性」フィールドには、観察者の属性に関する観察者属性情報が格納される。「観察者属性」フィールドの情報は、観察者情報をサーバ３０に登録するときに、観察者ＯＢＪの任意で決定される。「観察者属性」フィールドは、「性別」フィールドと、「年齢」フィールドと、「職業」フィールドと、を含む。

「性別」フィールドには、観察者の性別に関する情報が格納される。

「年齢」フィールドには、観察者の年齢に関する情報が格納される。

「職業」フィールドには、観察者の職業に関する情報が格納される。

（３−２）キャラクタ情報マスタ
本実施形態のキャラクタ情報マスタについて説明する。図５は、本実施形態のキャラクタ情報マスタのデータ構造を示す図である。

図５のキャラクタ情報マスタには、擬人化キャラクタに関するキャラクタ情報が格納される。「擬人化キャラクタ」とは、ミラーデバイス１０のユーザにとって、コンピュータ空間において擬人化された人物であって、且つ、音声によってユーザとコミュニケーションを取ることができる仮想的な人物である。
キャラクタ情報マスタは、「キャラクタＩＤ」フィールドと、「キャラクタパラメータ」フィールドと、「リアクション」フィールドと、を含む。

「キャラクタＩＤ」フィールドには、擬人化キャラクタを識別するキャラクタＩＤ（「キャラクタ識別情報」の一例）が格納される。

「キャラクタパラメータ」フィールドには、擬人化キャラクタに設定されたキャラクタパラメータが格納される。
「キャラクタパラメータ」フィールドは、「性別」フィールドと、「年齢」フィールドと、「職業」フィールドと、「性格」フィールドと、を含む。

「性別」フィールドには、擬人化キャラクタの性別に関する情報が格納される。

「年齢」フィールドには、擬人化キャラクタの年齢に関する情報が格納される。

「職業」フィールドには、擬人化キャラクタの職業に関する情報が格納される。

「性格」フィールドには、擬人化キャラクタの性格に関する情報が格納される。

（３−３）パターンマッチングテーブル
本実施形態のパターンマッチングテーブルについて説明する。図６は、本実施形態のパターンマッチングテーブルのデータ構造を示す図である。

図６に示すように、パターンマッチングテーブルには、コンテンツと、画像の特徴量のパターン（以下「画像パターン」という）との関連性に関するパターンマッチング情報が格納される。
パターンマッチングテーブルは、「パターンファイル」フィールドと、「状態」フィールドと、「リアクションファイル」フィールドと、を含む。各フィールドは、互いに関連付けられている。
パターンマッチングテーブルは、キャラクタＩＤに関連付けられている。

「パターンファイル」フィールドには、画像パターンが記述された画像パターンファイルが格納される。画像パターンは、例えば、以下の何れかである。
・化粧の画像パターン
・表情の画像パターン
・肌の状態の画像パターン
・顔の形状の画像パターン
・性格の画像パターン
・衣服の画像パターン
・体型の画像パターン

「状態」フィールドには、観察者画像の特徴量に基づいて判定される観察者ＯＢＪの状態を識別する状態コードが格納される。状態コードは、例えば、以下の少なくとも１つの状態を示す。
・化粧の状態（一例として、化粧の色合い、使用頻度が高い化粧アイテム）
・表情の状態（一例として、喜怒哀楽、驚き、イライラ、及び、疑心暗記）
・肌の状態（一例として、肌の透明度、肌の健康状態、肌の明るさ、肌のきめ細かさ、肌のハリ、ニキビの状態、隈の状態、皺の状態、及び、毛穴の状態）
・顔の状態（一例として、２次元状態（具体的には、輪郭、目の形状、鼻の形状、口の形状、瞼の形状、及び、眉毛の形状）、並びに、３次元状態（具体的には、ほうれい線の状態、たるみの状態、及び、Ｅラインの状態））
・性格
・衣服の状態（一例として、衣服の組合せと観察者ＯＢＪとの相性、及び、皺の状態）
・体型の状態（一例として、体つき）

「リアクションファイル」フィールドには、コンテンツファイルが格納される。「リアクションファイル」フィールドは、「音声」フィールドと、「ＡＲ」フィールドと、「テキスト」フィールドと、を含む。

「音声」フィールドには、音声リアクションファイルが格納される。音声リアクションファイルには、擬人化キャラクタの音声リアクションに関する音声情報が記述された音声リアクションファイルが記述されている。

「ＡＲ」フィールドには、ＡＲリアクションファイルが格納される。ＡＲリアクションファイルには、擬人化キャラクタの仮想現実（Augmented Reality）リアクションに関するＡＲ情報が記述されている。

「テキスト」フィールドには、テキストリアクションファイルが格納される。テキストリアクションファイルには、擬人化キャラクタのテキストによる反応の基礎となる情報が記述されたテキストリアクションファイルが記述されている。

（３−４）ログ情報データベース
本実施形態のログ情報データベースについて説明する。図７は、本実施形態のログ情報データベースのデータ構造を示す図である。

図７に示すように、ログ情報データベースには、観察者ＯＢＪがミラーデバイス１０を使用する度にミラーデバイス１０によって収集されるログ情報が格納される。
ログ情報データベースは、「ログＩＤ」フィールドと、「日時」フィールドと、「入力」フィールドと、「状態」フィールドと、「出力」フィールドと、を含む。各フィールドは、互いに関連付けられている。
ログ情報データベースは、観察者ＩＤに関連付けられる。

「ログＩＤ」フィールドには、ログ情報を識別するログＩＤ（「ログ識別情報」の一例）が格納される。

「日時」フィールドには、ログ情報の日時に関する情報が格納される。

「ログ」フィールドには、ミラーデバイス１０によって取得された情報が格納される。「ログ」フィールドは、「入力画像」フィールドと、「解析結果」フィールドと、を含む。

「入力画像」フィールドには、ミラーデバイス１０によって取得された画像の観察者画像が格納される。

「解析結果」フィールドには、観察者画像に対する画像解析の結果を示すファイル（以下「解析結果ファイル」という）が格納される。解析結果ファイルには、観察者画像の特徴量が記述される。

「状態」フィールドには、解析結果ファイルに対応する観察者ＯＢＪの状態を識別する状態コードが格納される。

「出力」フィールドには、「入力」フィールドの情報に対応する反応に関するリアクション情報が格納される。「出力」フィールドは、「キャラクタＩＤ」フィールドと、「出力コンテンツ」フィールドと、を含む。

「キャラクタＩＤ」フィールドには、「入力」フィールドの情報に対応する反応を示した擬人化キャラクタのキャラクタＩＤが格納される。

「出力コンテンツ」フィールドには、「入力」フィールドの情報に対応する反応に関するリアクション情報が記述されたリアクションファイルが格納される。

（４）情報処理
本実施形態の情報処理について説明する。図８は、本実施形態の情報処理のシーケンス図である。図９〜図１１は、図８の情報処理における出力例を示す図である。図１２は、図８のリアクションの生成の詳細なフローチャートである。

図８に示すように、ミラーデバイス１０は、キャラクタの指定の受付（Ｓ１００）を実行する。
具体的には、プロセッサ１２は、ディスプレイ１８に画面Ｐ１００（図９）を表示する。画面Ｐ１００は、ハーフミラー１９に写った鏡像ＭＩ０（例えば、化粧を開始する前の観察者ＯＢＪの顔の像）に重畳して表示される。

画面Ｐ１００は、表示オブジェクトＡ１００と、フィールドオブジェクトＦ１００と、操作オブジェクトＢ１００と、を含む。
表示オブジェクトＡ１００には、現在の日時に関する情報が表示される。
フィールドオブジェクトＦ１００は、複数の擬人化キャラクタの中から少なくとも１人の擬人化キャラクタの指定を受け付けるためのオブジェクトである。フィールドオブジェクトＦ１００には、複数の擬人化キャラクタのキャラクタ情報（例えば、キャラクタ名、性別、年齢、及び、職業）が表示される。各キャラクタ情報には、キャラクタＩＤが割り当てられている。
操作オブジェクトＢ１００は、フィールドオブジェクトＦ１００において指定されたキャラクタ情報に割り当てられたキャラクタＩＤをサーバ３０に送信するための指示を受け付けるためのオブジェクトである。

観察者ＯＢＪが、フィールドオブジェクトＦ１００に表示されたキャラクタ情報の少なくとも１つを指定し、且つ、操作オブジェクトＢ１００を操作すると、プロセッサ１２は、観察者ＯＢＪによって指定されたキャラクタ情報に割り当てられたキャラクタＩＤと、観察者ＯＢＪの観察者ＩＤと、をサーバ３０に送信する。

ステップＳ１００の後、サーバ３０は、キャラクタの決定（Ｓ３００）を実行する。
具体的には、プロセッサ３２は、ステップＳ１００においてミラーデバイス１０から送信されたキャラクタＩＤを、観察者ＯＢＪに対するリアクションを示すべきキャラクタのキャラクタＩＤとして決定する。
プロセッサ３２は、キャラクタＩＤを決定したことを示す通知をミラーデバイス１０に送信する。

ステップＳ３００の後、ミラーデバイス１０は、画像の取得（Ｓ１０１）を実行する。
具体的には、プロセッサ１２は、カメラ１５を起動させる。
カメラ１５が観察者ＯＢＪの顔の画像（以下「観察者画像」という）を撮像すると、プロセッサ１２は、カメラ１５によって撮像された観察者画像を記憶装置１１に記憶する。観察者画像は、観察者ＯＢＪが観察する鏡像ＭＩ０に対応する。例えば、カメラ１５は、鏡像ＭＩ０に対応する画像が撮像可能な位置に配置されている。

ステップＳ１０１の後、ミラーデバイス１０は、リアクションリクエスト（Ｓ１０２）を実行する。
具体的には、プロセッサ１２は、リアクションリクエストデータをサーバ３０に送信する。リアクションリクエストデータは、以下の情報を含む。
・ステップＳ１０１で記憶装置１１に記憶された観察者画像を含む。
・ステップＳ１０２の実行日時に関する情報

ステップＳ１０２の後、サーバ３０は、リアクションの生成（Ｓ３０１）を実行する。

図１２に示すように、サーバ３０は、画像解析（Ｓ３０１０）を実行する。
具体的には、プロセッサ３２は、リアクションリクエストデータに含まれる観察者画像の特徴量に基づいて、観察者画像の画像パターンを特定する。

ステップＳ３０１０の後、サーバ３０は、パターンマッチング（Ｓ３０１１）を実行する。
具体的には、プロセッサ３２は、ステップＳ３００において決定したキャラクタＩＤに関連付けられたパターンマッチングテーブル（図６）を参照して、観察者画像の画像パターンと同一、又は、類似の画像パターンが記述された画像パターンファイルを特定する。「類似の画像パターン」とは、例えば、観察者画像の画像パターンとの特徴量の差分が所定以下である画像パターンである。

ステップＳ３０１２の後、サーバ３０は、状態の判定（Ｓ３０１２）を実行する。
具体的には、記憶装置３１には、状態判定モデルが記憶されている。状態判定モデルの入力及び出力は、以下のとおりである。
・入力：画像パターン
・出力：観察者の状態

プロセッサ３２は、記憶装置３１に記憶された状態判定モデルに、ステップＳ３０１１で特定した画像パターンファイルを入力することにより、当該画像パターンファイルに対応する観察者ＯＢＪの状態を識別する状態コードを決定する。

ステップＳ３０１２の後、サーバ３０は、音声リアクションの生成（Ｓ３０１３）を実行する。
具体的には、プロセッサ３２は、ステップＳ３０１２において決定した状態コードに関連付けられた「音声」フィールドの音声リアクションファイルを参照して、音声リアクションとして出力すべき音声リアクションデータを生成する。

ステップＳ３０１３の後、サーバ３０は、ＡＲリアクションの生成（Ｓ３０１４）を実行する。
具体的には、プロセッサ３２は、ステップＳ３０１２において決定した状態コードに関連付けられた「ＡＲ」フィールドのＡＲリアクションファイルを参照して、ＡＲリアクションとして出力すべきＡＲリアクションデータを生成する。

ステップＳ３０１４の後、サーバ３０は、テキストリアクションの生成（Ｓ３０１５）を実行する。
具体的には、プロセッサ３２は、ステップＳ３０１２において決定した状態コードに関連付けられた「テキスト」フィールドのテキストリアクションファイルを参照して、テキストリアクションとして出力すべきテキストリアクションデータを生成する。

ステップＳ３０１５の後、サーバ３０は、データベースの更新（Ｓ３０２）を実行する。
具体的には、プロセッサ３２は、ステップＳ１００においてミラーデバイス１０から送信された観察者ＩＤに関連付けられたログ情報データベース（図７）を特定する。
プロセッサ３２は、特定したログ情報データベースに新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
・「ログＩＤ」フィールドには、プロセッサ３２が任意に決定した新規ログＩＤが格納される。
・「日時」フィールドには、リアクションリクエストデータに含まれるステップＳ１０２の実行日時に関する情報が格納される。
・「入力画像」フィールドには、リアクションリクエストデータに含まれる観察者画像が格納される。
・「解析結果」フィールドには、ステップＳ３０１０において特定された画像パターンが格納される。
・「状態」フィールドには、ステップＳ３０１２において決定された状態コードが格納される。
・「キャラクタＩＤ」フィールドには、Ｓ３００において決定したキャラクタＩＤが格納される。
・「リアクション」フィールドには、ステップＳ３０１３〜Ｓ３０１５において生成されたリアクションデータ（音声リアクションデータ、ＡＲリアクションデータ、及び、テキストリアクションデータ）が格納される。

ステップＳ３０２の後、サーバ３０は、リアクションレスポンス（Ｓ３０３）を実行する。
具体的には、プロセッサ３２は、ミラーデバイス１０にリアクションレスポンスデータを送信する。リアクションレスポンスデータは、ステップＳ３０１３〜Ｓ３０１５において生成されたリアクションデータを含む。

ステップＳ３０３の後、ミラーデバイス１０は、リアクション（Ｓ１０３）を実行する。
具体的には、プロセッサ１２は、ディスプレイ１８に画面Ｐ１０１（図１０）を表示する。画面Ｐ１０１は、ハーフミラー１９に写った鏡像ＭＩ１（例えば、化粧中の観察者ＯＢＪの顔の像）に重畳して表示される。

画面Ｐ１０１は、表示オブジェクトＡ１００を含む。
表示オブジェクトＡ１００には、現在の日時に関する情報が表示される。

プロセッサ１２は、リアクションレスポンスデータに含まれる音声リアクションデータに基づく音声（例えば、「もっと明るい色が良いよ」という音声）をスピーカ１６から出力する。この音声は、ステップＳ１０１で取得された画像に基づいて生成されている。これにより、観察者ＯＢＪは、化粧中の自身の顔の状態に応じた助言や誘導を、擬人化キャラクタの音声を介して得ることができる。

ステップＳ１０１〜Ｓ１０３、及び、Ｓ３０１〜Ｓ３０３は、観察者ＯＢＪが情報処理の終了の指示（例えば、情報処理を終了させることを意味する音声の発話）を行うまで継続的に実行される。
したがって、観察者ＯＢＪの化粧が進行する度に、ステップＳ１０３において、擬人化キャラクタのリアクションが観察者ＯＢＪに提示される。

例えば、プロセッサ１２は、ディスプレイ１８に画面Ｐ１０２（図１１）を表示する。画面Ｐ１０２は、ハーフミラー１９に写った鏡像ＭＩ２（例えば、図１０に対して、化粧が進行した後の観察者ＯＢＪの顔の像）に重畳して表示される。

画面Ｐ１０２は、表示オブジェクトＡ１００及びＡ１０２と、画像オブジェクトＩＭＧ１０２と、を含む。

表示オブジェクトＡ１０２には、ステップＳ３０１５で生成されたテキストリアクションデータに対応するテキストが表示される。
画像オブジェクトＩＭＧ１０２は、ステップＳ３０１４でせいせいされたＡＲリアクションデータに基づく画像（例えば、化粧の方法を提案する化粧ナビゲーション画像）である。

プロセッサ１２は、リアクションレスポンスデータに含まれる音声リアクションデータに基づく音声（例えば、「もっと明るい色が良いよ」という音声）をスピーカ１６から出力する。この音声は、ステップＳ１０１で取得された画像に基づいて生成されている。

これにより、観察者ＯＢＪは、化粧が進行した後の自身の顔に対する擬人化キャラクタの反応を、音声、ＡＲ画像、及び、テキスト、を介して体験することができる。
画像パターンが衣服の画像パターンである場合、観察者ＯＢＪが身に付けた衣服に対する擬人化キャラクタの反応を、音声、ＡＲ画像、及び、テキスト、を介して体験することができる。
画像パターンが体型の画像パターンである場合、観察者ＯＢＪの体型に対する擬人化キャラクタの反応を、音声、ＡＲ画像、及び、テキスト、を介して体験することができる。
画像パターンが表情の画像パターンである場合、観察者ＯＢＪの表情に対する擬人化キャラクタの反応を、音声、ＡＲ画像、及び、テキスト、を介して体験することができる。

本実施形態によれば、サーバ３０は、観察者ＯＢＪに対して意見や助言を提供するパートナーに相当する擬人化キャラクタとして振る舞うように、ミラーデバイス１０を制御する。例えば、サーバ３０は、観察者ＯＢＪに対して、観察者ＯＢＪがより美しくなるための助言や誘導を含むリアクションを提示する。つまり、擬人化キャラクタは、観察者ＯＢＪにとって、他の誰よりも観察者ＯＢＪのことを魅力的だと思っている仮想的なパートナー、又は、他の誰よりも観察者ＯＢｊの魅力を引き出せる仮想的なパートナーとして振る舞う。これにより、観察者ＯＢＪは、このようなパートナーから、自身の美しさに関する客観的な反応を体験しながら、美容行動（例えば、化粧、衣服のコーディネート、体型管理、及び、体組成管理の少なくとも１つの行動）を取ることができる。

特に、本実施形態では、擬人化キャラクタの画像を表示しないことが好ましい。擬人化キャラクタと観察者ＯＢＪとのコミュニケーションを音声又はテキストによって実現することにより、擬人化キャラクタのリアクションが観察者ＯＢＪに強く印象付けられる。その結果、観察者ＯＢＪは、擬人化キャラクタに対して身近感を覚える。

（５）変形例
本実施形態の変形例について説明する。

（５−１）変形例１
変形例１について説明する。変形例１は、複数のキャラクタの中から選択されたｎ（ｎ≧２）人のキャラクタに対応する音声コンテンツを出力する例である。図１３は、変形例１の情報処理における出力例を示す図である。

変形例１では、ステップＳ１００（図８）において、観察者ＯＢＪがフィールドオブジェクトＦ１００に表示されたキャラクタ情報の中から複数のキャラクタ情報を指定した場合、プロセッサ１２は、観察者ＯＢＪによって指定されたキャラクタ情報に割り当てられた複数のキャラクタＩＤと、観察者ＯＢＪの観察者ＩＤと、をサーバ３０に送信する。

ステップＳ３００（図８）において、プロセッサ３２は、ステップＳ１００においてミラーデバイス１０から送信された複数のキャラクタＩＤを、観察者ＯＢＪに対するリアクションを示すべきキャラクタのキャラクタＩＤとして決定する。

ステップＳ３０１１（図１２）において、プロセッサ３２は、ステップＳ３００において決定した複数のキャラクタＩＤに関連付けられたパターンマッチングテーブル（図６）を参照して、観察者画像の画像パターンと類似する画像パターンが記述された画像パターンファイルをキャラクタＩＤ毎に特定する。

ステップＳ３０１３〜Ｓ３０１５（図１２）において、プロセッサ３２は、ステップＳ３０１１において特定したキャラクタＩＤ毎に、音声リアクションデータ、ＡＲリアクションデータ、及び、テキストリアクションデータを生成する。

ステップＳ１０３（図８）において、プロセッサ１２は、ディスプレイ１８に画面Ｐ１１０（図１３）を表示する。画面Ｐ１１０は、ハーフミラー１９に写った鏡像ＭＩ１（例えば、化粧中の観察者ＯＢＪの顔の像）に重畳して表示される。

プロセッサ１２は、リアクションレスポンスデータに含まれる複数の音声リアクションデータに基づく音声（例えば、キャラクタ１（キャラクタＩＤ：ＣＨＡ００１）の音声「もっと明るい色が良いよ」、及び、キャラクタ２（キャラクタＩＤ：ＣＨＡ００２）の音声「暗い色の方が似合うよ」）をスピーカ１６から出力する。

変形例１によれば、観察者ＯＢＪは、化粧中の自身の顔の鏡像ＭＩ１に対して、複数の擬人化キャラクタ同士が会話をしているような反応を体験することができる。

（５−２）変形例２
変形例２について説明する。変形例２は、第１観察者ＯＢＪ１と類似する第２観察者ＯＢＪ２の情報を参照して、第１観察者ＯＢＪ１の画像に対するリアクションを提示する例である。図１４は、変形例２のリアクションの生成の詳細なフローチャートである。

図１４に示すように、ステップＳ３０１０〜Ｓ３０１２（図１２）の後、サーバ３０は、参照観察者情報の参照（Ｓ３２２０）を実行する。
具体的には、プロセッサ３２は、観察者情報データベース（図４）を参照して、ステップＳ１００においてミラーデバイス１０から送信された観察者ＩＤ（以下「第１観察者ＩＤ」という）に関連付けられた観察者属性情報を特定する。
プロセッサ３２は、観察者情報データベースの「観察者属性」フィールドを参照して、第１観察者属性情報と同一又は類似の観察者属性情報に関連付けられた少なくとも１つの観察者ＩＤ（以下「第２観察者ＩＤ」という）を特定する。「類似の観察者属性情報」とは、例えば、第１観察者ＩＤに関連付けられた観察者属性情報との差分が所定以下である観察者属性情報である。
プロセッサ３２は、特定した第２観察者ＩＤに関連付けられたログ情報データベース（図７）を参照して、所定条件に該当するレコード（例えば、「日時」フィールドの情報が、ステップＳ３２２０の実行日時から一定期間内に含まれるレコード）を特定する。
プロセッサ３２は、特定したレコードのうち、「キャラクタＩＤ」フィールドに、ステップＳ３００で決定されたキャラクタＩＤが格納されたレコードの情報を、参照観察者情報として特定する。

ステップＳ３２２０の後、サーバ３０は、音声リアクションの生成（Ｓ３２２１）を実行する。
具体的には、プロセッサ３２は、ステップＳ３０１２において決定した状態コードに関連付けられた「音声」フィールドの音声リアクションファイルと、ステップＳ３２２０において特定された参照観察者情報の「リアクション」フィールドの情報と、を参照して、音声リアクションとして出力すべき音声リアクションデータを生成する。

ステップＳ３２２１の後、サーバ３０は、ＡＲリアクションの生成（Ｓ３２２２）を実行する。
具体的には、プロセッサ３２は、ステップＳ３０１２において決定した状態コードに関連付けられた「ＡＲ」フィールドのＡＲリアクションファイルと、ステップＳ３２２０において特定された参照観察者情報の「リアクション」フィールドの情報と、を参照して、ＡＲリアクションとして出力すべきＡＲリアクションデータを生成する。

ステップＳ３２２２の後、サーバ３０は、テキストリアクションの生成（Ｓ３２２３）を実行する。
具体的には、プロセッサ３２は、ステップＳ３０１２において決定した状態コードに関連付けられた「テキスト」フィールドのテキストリアクションファイルと、ステップＳ３２２０において特定された参照観察者情報の「リアクション」フィールドの情報と、を参照して、テキストリアクションとして出力すべきテキストリアクションデータを生成する。

ステップＳ３２２３の後、サーバ３０は、ステップＳ３０２〜Ｓ３０３（図８）を実行する。
ステップＳ３０３の後、ミラーデバイス１０は、ステップＳ１０３を実行する。

変形例２によれば、第１観察者の属性と同一又は類似の第２観察者のログ情報を参照して、レスポンスデータが生成される。これにより、第１観察者は、擬人化キャラクタの多様な反応を体験することができる。

（５−３）変形例３
変形例３について説明する。変形例３は、観察者ＯＢＪの体組成に応じたリアクションを提示する例である。

変形例３のパターンマッチングテーブル（図６）の「パターンファイル」フィールドには、画像パターンファイルに加えて、体組成パターンファイルが格納される。体組成パターンファイルには、体組成に関する体組成パターンが記述されている。

プロセッサ１２は、ステップＳ１０２（図８）において、体組成計測装置（不図示）から、観察者ＯＢＪの体組成（例えば、体重、及び、体脂肪の少なくとも１つ）に関する体組成情報を取得する。
プロセッサ１２は、リアクションリクエストデータに、更に、体組成情報を含める。

プロセッサ３２は、ステップＳ３０１１（図１２）において、リアクションリクエストデータに含まれる体組成情報と同一、又は、類似の体組成情報が記述された体組成パターンファイルを特定する。「類似の体組成情報」とは、例えば、リアクションリクエストデータに含まれる体組成情報との差分が所定以下である体組成情報である。

記憶装置３１に記憶された状態判定モデルの入力及び出力は、以下のとおりである。
・入力：画像パターン及び体組成
・出力：観察者の状態

プロセッサ３２は、記憶装置３１に記憶された状態判定モデルに、ステップＳ３０１１で特定した画像パターンファイル及び体組成パターンファイルを入力することにより、当該パターンファイルに対応する観察者ＯＢＪの状態を識別する状態コードを決定する。

ステップＳ３０１３（図１２）において、プロセッサ３２は、ステップＳ３０１２において決定した状態コードに関連付けられた「音声」フィールドの音声リアクションファイルを参照して、音声リアクションとして出力すべき音声リアクションデータを生成する。

ステップＳ３０１４（図１２）において、プロセッサ３２は、ステップＳ３０１２において決定した状態コードに関連付けられた「ＡＲ」フィールドのＡＲリアクションファイルを参照して、ＡＲリアクションとして出力すべきＡＲリアクションデータを生成する。

ステップＳ３０１５（図１２）において、プロセッサ３２は、ステップＳ３０１２において決定した状態コードに関連付けられた「テキスト」フィールドのテキストリアクションファイルを参照して、テキストリアクションとして出力すべきテキストリアクションデータを生成する。

変形例３によれば、観察者ＯＢＪの画像及び体組成の両方に応じたリアクションが提示される。これにより、より多様なリアクションを観察者ＯＢＪに提示することができる。

（５−４）変形例４
変形例４について説明する。変形例４は、観察者ＯＢＪの変化に応じたリアクションを提示する例である。

変形例４のプロセッサ３２は、ステップＳ３０１３（図１２）において、「解析結果」フィールドの情報（つまり、過去の解析結果に関する解析結果ファイル）と、ステップＳ３０１０の解析結果と、を比較することにより、過去の解析結果（例えば、過去の化粧の評価）と、現在の解析結果（例えば、現在の化粧の評価）とを比較する。
プロセッサ３２は、比較の結果に基づく文脈（例えば、「昨日より良くなったね」）の音声リアクションデータ、ＡＲリアクションデータ、及び、テキストリアクションデータを生成する。

変形例４によれば、観察者ＯＢＪの変化に応じたリアクションが提示される。これにより、観察者ＯＢＪは、自身の変化を客観的に知ることができる。

（５−５）変形例５
変形例５について説明する。変形例５は、観察者ＯＢＪと統計値との比較結果に応じたリアクションを提示する例である。

変形例５の記憶装置３１には、統計情報が格納されている。統計情報は、以下の少なくとも１つを含む。
・化粧の美しさに関する統計情報
・衣服の美しさに関する統計情報
・体型の美しさに関する統計情報
・表情の美しさに関する統計情報

プロセッサ３２は、ステップＳ３０１３（図１２）において、ステップＳ３０１０の解析結果と、記憶装置３１に記憶された統計情報と、を比較することにより、解析結果（例えば、現在の化粧の評価）と、統計情報（例えば、化粧の美しさに関する統計情報）と、の差を計算する。
プロセッサ３２は、計算の結果に基づく文脈（例えば、「他の人よりスッキリしているよ」）の音声リアクションデータ、ＡＲリアクションデータ、及び、テキストリアクションデータを生成する。

変形例５によれば、観察者ＯＢＪの変化に応じたリアクションが提示される。これにより、観察者ＯＢＪは、自身の状態と、統計結果との差を客観的に知ることができる。その結果、ミラーデバイス１０を使用することの観察者ＯＢＪの意欲が促進される。

（５−６）変形例６
変形例６について説明する。変形例６は、観察者ＯＢＪの音声に応じたリアクションを提示する例である。

変形例６の記憶装置３１には、音声パターンファイルが格納される。音声パターンファイルには、音声の文脈と周波数との関連性に関する音声パターンが記述されている。

マイクロホン１７は、ステップＳ１０２（図８）において、観察者ＯＢＪの音声（例えば、「どうやればいいと思う？」という音声）に関する音声情報を取得する。
プロセッサ１２は、リアクションリクエストデータに、更に、音声情報を含める。

プロセッサ３２は、ステップＳ３０１１（図１２）において、記憶装置３１に記憶された音声パターンファイルを参照して、リアクションリクエストデータに含まれる音声情報の意味を解釈する。

プロセッサ３２は、ステップＳ３０１３（図１２）において、ステップＳ３０１０の解析結果と、ステップＳ３０１２の判定の結果と、に応じた文脈（例えば、「昨日使っていた化粧品を使った方が良いよ」）の音声リアクションデータ、ＡＲリアクションデータ、及び、テキストリアクションデータを生成する。

変形例６によれば、観察者ＯＢＪの画像及び音声の両方に応じたリアクションが提示される。これにより、観察者ＯＢＪは、擬人化キャラクタと会話をしている感覚で、ミラーデバイス１０を使用することができる。

（５−７）変形例７
変形例７について説明する。変形例７は、画像から特定される観察者ＯＢＪの状態の傾向に基づいて、擬人化キャラクタの音声を提供する例である。図１５は、変形例７の概要の説明図である。

図１５に示すように、観察者ＯＢＪが鏡像ＭＩ０を見ながら明るい色の化粧を施すと、ミラーデバイス１０は、明るい色の化粧が施された顔の画像ＩＭＧ３を取得する。ハーフミラー１９には、観察者ＯＢＪの顔の鏡像ＭＩ３が写る。鏡像ＭＩ３は、画像ＩＭＧ３に対応する。

サーバ３０には、観察者ＯＢＪの嗜好に関する嗜好モデルが記憶されている。観察者ＯＢＪの嗜好とは、顔の画像から特定される観察者ＯＢＪの傾向（つまり、観察者ＯＢＪの顔の視覚的な傾向）を意味する。
サーバ３０は、ログ情報データベース（図７）の「出力」フィールドの情報に基づいて、嗜好モデルを更新する。その結果、嗜好モデルには、観察者ＯＢＪの顔の視覚的な嗜好が記述される。
嗜好モデルに記述される傾向は、例えば、以下を含む。
・明るい色のチークを使用する頻度が多い。
・月曜日は暗い表情をする頻度が多い。

嗜好モデルの入力及び出力は、例えば、以下のとおりである。
・入力：状態コード
・出力：音声リアクションデータ

サーバ３０は、音声リアクションの作成（図１２のステップＳ３０１３又は図１４のステップＳ３２２１）において、音声リアクションファイル（図６）の代わりに、ステップＳ３０１２において決定した状態コードを嗜好モデルに入力することにより、音声リアクションデータを生成する。

このように、ミラーデバイス１０は、観察者ＯＢＪの状態の傾向に応じた音声コンテンツを再生する。これにより、観察者ＯＢＪは、擬人化キャラクタを、自分のことを自分よりも客観視できるパートナーとして感じることができる。このように、観察者ＯＢＪに対して、新しい美容行動のユーザ体験を提供することができる。

変形例７の嗜好モデルは、音声リアクションの生成だけでなく、以下の処理にも適用可能である。
・ＡＲリアクションの生成（図１２のステップＳ３０１４及び図１４のステップＳ３２２２）
・テキストリアクションの生成（図１２のステップＳ３０１５及び図１４のステップＳ３２２３）

（５−８）変形例８
変形例８について説明する。変形例８は、擬人化キャラクタの音声に応じた観察者ＯＢＪの反応の傾向に基づいて、擬人化キャラクタの音声を提供する例である。図１６は、変形例８の概要の説明図である。

図１６に示すように、観察者ＯＢＪがハーフミラー１９を見ると、ミラーデバイス１０は、化粧中の観察者ＯＢＪの顔の画像ＩＭＧｍ（ｍは、１〜ｎ−１の整数の少なくとも１つ）を取得する。ハーフミラー１９には、観察者ＯＢＪの顔の鏡像ＭＩｍが写る。鏡像ＭＩｍは、画像ＩＭＧｍに対応する。ミラーデバイス１０は、画像ＩＭＧｍに応じた音声ＳＣｍ（例えば、「いい笑顔だね」という擬人化キャラクタの音声）を再生する。
観察者ＯＢＪが、音声ＳＣｍが再生されたにもかかわらず表情を変えなかった（つまり、擬人化キャラクタの音声に反する反応を示した）場合、ミラーデバイス１０は、擬人化キャラクタの音声に反する反応を示した観察者ＯＢＪの顔の画像ＩＭＧｎ（ｎ＝ｍ＋１）（つまり、擬人化キャラクタの音声に反する反応を示した観察者ＯＢＪの顔の状態）に応じた音声ＳＣｎ（例えば、「もっと笑ってみて」という擬人化キャラクタの音声）を再生する。

具体的には、サーバ３０には、観察者ＯＢＪの嗜好に関する嗜好モデルが記憶されている。観察者ＯＢＪの嗜好とは、擬人化キャラクタの音声に応じて観察者ＯＢＪが示す反応の傾向を意味する。
サーバ３０は、ログ情報データベース（図７）のｍ番目のレコードの「入力」フィールドの情報と、ｎ番目のレコードの「出力」フィールドの情報と、の関係に基づいて、嗜好モデルを更新する。その結果、嗜好モデルには、擬人化キャラクタの音声が示す文脈を観察者ＯＢＪが受け入れたか否かによって決まる観察者ＯＢＪの嗜好が記述される。
嗜好モデルに記述される傾向は、例えば、以下を含む。
・明るい色のチークの使用を推奨しても、暗い色のチークを使用する頻度が多い。
・月曜日は軽く褒める音声を提供しても、観察者ＯＢＪの表情の変化は少ない。

嗜好モデルの入力及び出力は、例えば、以下のとおりである。
・入力：状態コード
・出力：音声リアクションデータ

サーバ３０は、音声リアクションの作成（図１２のステップＳ３０１３又は図１４のステップＳ３２２１）において、音声リアクションファイル（図６）の代わりに、ステップＳ３０１２において決定した状態コードを嗜好モデルに入力することにより、音声リアクションデータを生成する。

このように、ミラーデバイス１０は、擬人化キャラクタの音声に応じた観察者ＯＢＪの反応に基づく音声コンテンツを再生する。これにより、観察者ＯＢＪは、擬人化キャラクタを、自分のことを自分よりも客観視できるパートナーとして感じることができる。このように、観察者ＯＢＪに対して、新しい美容行動のユーザ体験を提供することができる。

変形例８の嗜好モデルは、音声リアクションの生成だけでなく、以下の処理にも適用可能である。
・ＡＲリアクションの生成（図１２のステップＳ３０１４及び図１４のステップＳ３２２２）
・テキストリアクションの生成（図１２のステップＳ３０１５及び図１４のステップＳ３２２３）

（５−９）変形例９
変形例９について説明する。変形例９は、擬人化キャラクタと観察者ＯＢＪの組合せに応じた擬人化キャラクタの音声を生成する例である。

変形例９のパターンマッチングテーブル（図６）は、キャラクタパラメータ（図５）と、観察者属性情報（図４）の組合せに関連付けられる。

ステップＳ３０１３（図１２）又Ｓ３２２１（図１４）において、プロセッサ３２は、ステップＳ３００で決定された擬人化キャラクタのキャラクタＩＤに関連付けられたキャラクタパラメータ、及び、ステップＳ１００において送信された観察者ＩＤに関連付けられた観察者属性情報の組合せに関連付けられたパターンマッチングテーブルを特定する。
プロセッサ３２は、特定したパターンマッチングテーブルを参照して、ステップＳ３０１２において決定した状態コードに関連付けられた「音声」フィールドの音声リアクションファイルを特定する。
プロセッサ３２は、特定した音声リアクションファイルを参照して、音声リアクションとして出力すべき音声リアクションデータを生成する。

変形例９によれば、擬人化キャラクタのパラメータと観察者ＯＢＪの観察者属性との関係（例えば、相性）に応じた擬人化キャラクタの音声を提供することができる。その結果、観察者ＯＢＪは、擬人化キャラクタのより多様な音声を体験することができる。

（５−１０）変形例１０
変形例１０について説明する。変形例１０は、擬人化キャラクタの性格と観察者ＯＢＪの性格に応じた擬人化キャラクタの音声を生成する例である。

変形例９のパターンマッチングテーブル（図６）は、「性格」フィールド（図５）の情報、及び、観察者の性格の組合せに関連付けられる。

記憶装置３１には、性格判定モデルが記憶されている。性格判定モデルの入出力は以下のとおりである。
・入力：画像の特徴量（例えば、顔の各パーツの配置）
・出力：人の性格

プロセッサ３２は、Ｓ３０１２において、観察者ＯＢＪの状態を判定した後、記憶装置３１に記憶された性格判定モデルに、ステップＳ３０１１で特定した画像パターンファイルを入力することにより、当該画像パターンファイルに対応する観察者ＯＢＪの性格を判定する。

ステップＳ３０１３（図１２）又Ｓ３２２１（図１４）において、プロセッサ３２は、判定された性格、及び、擬人化キャラクタの性格に関する情報の組合せに関連付けられたパターンマッチングテーブルを特定する。
プロセッサ３２は、特定したパターンマッチングテーブルを参照して、ステップＳ３０１２において決定した状態コードに関連付けられた「音声」フィールドの音声リアクションファイルを特定する。
プロセッサ３２は、特定した音声リアクションファイルを参照して、音声リアクションとして出力すべき音声リアクションデータを生成する。

変形例１０によれば、擬人化キャラクタの性格及び観察者ＯＢＪの性格の組合せ（例えば、相性）に応じた擬人化キャラクタの音声を提供することができる。その結果、観察者ＯＢＪは、擬人化キャラクタのより多様な音声を体験することができる。

（６）本実施形態の小括
本実施形態について小括する。

本実施形態の第１態様は、
観察者の鏡像に対応する観察者画像を取得し、且つ、音声を出力可能なミラーデバイス１０と接続される情報処理装置（例えば、サーバ３０）であって、
ミラーデバイス１０から観察者画像を取得する手段（例えば、ステップＳ３０１の処理を実行するプロセッサ３２）を備え、
観察者画像に基づいて、鏡像に写った観察者の状態を判定する手段（例えば、ステップＳ３０１２の処理を実行するプロセッサ３２）を備え、
判定の結果に基づいて、擬人化キャラクタの音声を生成する手段（例えば、ステップＳ３０１３の処理を実行するプロセッサ３２）を備え、
生成された音声をミラーデバイス１０に送信する手段（例えば、ステップＳ３０３の処理を実行するプロセッサ３２）を備える、
情報処理装置。

第１態様によれば、ミラーデバイス１０を介して、観察者画像に基づいて判定された観察者の状態に応じた擬人化キャラクタの音声が観察者に対して提供される。これにより、観察者に対して、視覚情報が反映されたインタラクションを提供することができる。
特に、観察者は、ミラーデバイス１０が自身の状態に応じて語りかけてくれるような体験をすることができる。その結果、観察者は、ミラーデバイス１０に対して、親近感を覚える。このことは、観察者に対して、ミラーデバイス１０を使用することの動機づけを与えるので、観察者は、ミラーデバイスを頻繁に使用するようになる。

本実施形態の第２態様は、
観察者画像の特徴量を解析することにより、観察者画像の画像パターンを特定する手段（例えば、ステップＳ３０１０の処理を実行するプロセッサ３２）を備え、
判定する手段は、特定された画像パターンに基づいて、観察者の状態を判定する、
情報処理装置である。

第２態様によれば、ミラーデバイス１０を介して、観察者画像の画像パターンに基づいて判定された観察者の状態に応じた擬人化キャラクタの音声が観察者に対して提供される。これにより、観察者に対して、視覚情報が反映されたインタラクションを提供することができる。

本実施形態の第３態様は、
観察者を識別する観察者識別情報と、観察者の属性に関する観察者属性情報と、特定された画像パターンと、を関連付けて記憶する手段（例えば、図４の観察者情報データベース及び図７のログ情報データベース）を備え、
前記特定する手段は、第１観察者の観察者属性情報と同一又は類似の観察者属性情報に関連付けられた第２観察者識別情報を特定する手段を備え、
前記判定する手段は、前記第１観察者の観察者画像から特定された第１画像パターンと、前記第２観察者識別情報に関連付けられた第２画像パターンと、に基づいて、前記第１観察者の状態を判定する、
情報処理装置である。

第３態様によれば、擬人化キャラクタの音声を提供すべき第１観察者の状態を判定するときに、第１観察者の第１画像パターンだけでなく、属性が第１観察者と類似する第２観察者の第２画像パターンを参照する。これにより、第１観察者の状態の判定の精度を向上させることができる。このように、第１観察者の実際の状態により適したインタラクションを提供することができる。

本実施形態の第４態様は、
判定する手段は、観察者の状態の変化を判定する、
情報処理装置である。

第４態様によれば、観察者の状態の変化に応じた擬人化キャラクタの音声が観察者に提供される。これにより、観察者ＯＢＪは、自身の変化を客観的に知ることができる。

本実施形態の第５態様は、
判定する手段は、観察者の顔に施された化粧の評価を判定する、
情報処理装置である。

第５態様によれば、化粧を施した観察者の顔の状態に応じた擬人化キャラクタの音声が観察者に提供される。これにより、観察者は、擬人化キャラクタの音声とインタラクションを行いながら化粧を行うことができる。このように、化粧という美容行動に全く新しいユーザ体験が生まれる。その結果、観察者の美容意識も向上することが期待される。

本実施形態の第６態様は、
判定する手段は、観察者が身に付けている衣服の評価を判定する、
情報処理装置である。

第６態様によれば、
衣服を身に着けた観察者の状態に応じた擬人化キャラクタの音声が観察者に提供される。これにより、観察者は、擬人化キャラクタの音声とインタラクションを行いながら衣服を選択することができる。このように、衣服の選択という行動に全く新しいユーザ体験が生まれる。その結果、衣服に対する観察者の意識も向上することが期待される。

本実施形態の第７態様は、
判定する手段は、観察者の体型の評価を判定する、
情報処理装置である。

第７態様によれば、観察者の体型に応じた擬人化キャラクタの音声が観察者に提供される。これにより、観察者は、擬人化キャラクタの音声とインタラクションを行いながら体型を確認択することができる。このように、体型の管理という行動に全く新しいユーザ体験が生まれる。その結果、体験に対する観察者の意識も向上することが期待される。

第８態様は、
判定する手段は、観察者の表情の評価を判定する、
情報処理装置である。

第８態様によれば、観察者の表情に応じた擬人化キャラクタの音声が観察者に提供される。これにより、観察者は、擬人化キャラクタの音声とインタラクションを行いながら表情を観察することができる。このように、表情の確認という行動に全く新しいユーザ体験が生まれる。その結果、表情に対する観察者の意識も向上することが期待される。

本実施形態の第９態様は、
複数の擬人化キャラクタの中から少なくとも１つの擬人化キャラクタを指定する指示を受け付ける手段（例えば、ステップＳ３００の処理を実行するプロセッサ３２）を備え、
生成する手段は、受け付けられた指示によって指定された擬人化キャラクタの音声を出力する、
情報処理装置である。

第９態様によれば、観察者の任意の擬人化キャラクタの音声が観察者に提供される。これにより、観察者がより大きな親近感をミラーデバイス１０に覚えるようになる。

本実施形態の第１０態様は、
受け付ける手段が複数の擬人化キャラクタを指定する指示を受け付けた場合、生成する手段は、複数の擬人化キャラクタの音声を生成する、
情報処理装置である。

第１０態様によれば、複数の擬人化キャラクタの音声が観察者に提供される。これにより、観察者は、複数の擬人化キャラクタとコミュニケーションを取るような感覚で、鏡像を観察することができる。

本実施形態の第１１態様は、
ミラーデバイスから観察者の音声を取得する手段を備え、
生成する手段は、判定の結果及び観察者の音声に応じた擬人化キャラクタの音声を出力する、
情報処理装置である。

第１１態様によれば、観察者画像及び観察者の音声の両方に応じた擬人化キャラクタの音声が観察者に提供される。これにより、観察者は、より現実のコミュニケーションに近い感覚で、鏡像を観察することができる。

本実施形態の第１２態様は、
生成する手段は、判定の結果に応じた助言又は誘導を提示するための擬人化キャラクタの音声を生成する、
情報処理装置である。

第１２態様によれば、ミラーデバイス１０を使用する観察者ＯＢＪに対して、魅力を引き出すための行動を促すことができる。

本実施形態の第１３態様は、
生成する手段は、観察者の状態の傾向が記述された嗜好モデルを参照して、擬人化キャラクタの音声を生成する、
情報処理装置である。

第１３態様によれば、観察者ＯＢＪの状態の傾向に応じた音声コンテンツが提供される。これにより、観察者ＯＢＪは、擬人化キャラクタを、自分のことを自分よりも客観視できるパートナーとして感じることができる。このように、観察者ＯＢＪに対して、新しい美容行動のユーザ体験を提供することができる。

生成する手段は、擬人化キャラクタの音声に対して観察者が示した反応の傾向が記述された嗜好モデルを参照して、擬人化キャラクタの音声を生成する、
情報処理装置である。

第１４態様によれば、擬人化キャラクタの音声に応じた観察者ＯＢＪの反応に基づく音声コンテンツが提供される。これにより、観察者ＯＢＪは、擬人化キャラクタを、自分のことを自分よりも客観視できるパートナーとして感じることができる。このように、観察者ＯＢＪに対して、新しい美容行動のユーザ体験を提供することができる。

本実施形態の第１５態様は、
生成する手段は、擬人化キャラクタのパラメータ、及び、観察者の属性に関する観察者属性情報の組合せと、判定の結果と、に基づいて、擬人化キャラクタの音声を生成する、
情報処理装置である。

第１５態様によれば、擬人化キャラクタのパラメータと観察者ＯＢＪの観察者属性との関係（例えば、相性）に応じた擬人化キャラクタの音声を提供することができる。その結果、観察者ＯＢＪは、擬人化キャラクタのより多様な音声を体験することができる。

本実施形態の第１６態様は、
画像の特徴量を入力とし、且つ、性格を出力とする性格判定モデルを参照して、観察者画像に応じた観察者の性格を判定する手段を備え、
生成する手段は、擬人化キャラクタの性格に関する情報、及び、判定された観察者の性格の組合せと、判定された観察者の状態と、に基づいて、擬人化キャラクタの音声を生成する、
情報処理装置である。

第１６態様によれば、擬人化キャラクタの性格及び観察者ＯＢＪの性格の組合せ（例えば、相性）に応じた擬人化キャラクタの音声を提供することができる。その結果、観察者ＯＢＪは、擬人化キャラクタのより多様な音声を体験することができる。

本実施形態の第１７態様は、
観察者の鏡像を写すミラー（例えば、ハーフミラー１９）を備え、
ミラーに写った鏡像に対応する観察者画像を撮像するカメラ１５を備え、
カメラ１５によって撮像された観察者画像に基づいて判定された観察者の状態に応じた擬人化キャラクタの音声を出力するスピーカ１６を備える、
ミラーデバイス１０である。

第１７態様によれば、観察者の状態に応じた擬人化キャラクタの音声がミラーデバイス１０に送信される。これにより、観察者に対して、視覚情報が反映されたインタラクションを提供することができる。

本実施形態の第１８態様は、
コンピュータ（例えば、プロセッサ１２又は３２）を、上記各手段として機能させるためのプログラムである。

（７）その他の変形例
その他の変形例について説明する。

記憶装置１１は、ネットワークＮＷを介して、ミラーデバイス１０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。

上記の情報処理の各ステップは、ミラーデバイス１０及びサーバ３０の何れでも実行可能である。
例えば、サーバ３０が行う情報処理は、ミラーデバイス１０が行ってもよい。この場合、ミラーデバイス１０の記憶装置１１及びプロセッサ１２は、サーバ３０の記憶装置３１及びプロセッサ３２の機能を代替する。

ミラーデバイス１０の構成（図２）について、マイクロホン１７、及び、ディスプレイ１８は省略可能である。この場合、本実施形態とは以下の点が異なる。
・ハーフミラー１９は、光を全反射する鏡によって代替される。
・ステップＳ３０１４〜Ｓ３０１５（図１２）、及び、Ｓ３２２２〜Ｓ３２２３（図１４）は省略される。

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

１ ：情報処理システム
１ ：キャラクタ
２ ：キャラクタ
１０ ：ミラーデバイス
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
１５ ：カメラ
１６ ：スピーカ
１７ ：マイクロホン
１８ ：ディスプレイ
１９ ：ハーフミラー
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース

Claims (18)

1. 観察者の鏡像に対応する観察者画像を取得し、且つ、音声を出力可能なミラーデバイスと接続される情報処理装置であって、
   前記ミラーデバイスから前記観察者画像を取得する手段を備え、
   前記観察者画像に基づいて、前記鏡像に写った観察者の状態を判定する手段を備え、
   前記判定の結果に基づいて、擬人化キャラクタの音声を生成する手段を備え、
   前記生成された音声を前記ミラーデバイスに送信する手段を備える、
   情報処理装置。
2. 前記観察者画像の特徴量を解析することにより、前記観察者画像の画像パターンを特定する手段を備え、
   前記判定する手段は、前記特定された画像パターンに基づいて、前記観察者の状態を判定する、
   請求項１に記載の情報処理装置。
3. 観察者を識別する観察者識別情報と、観察者の属性に関する観察者属性情報と、前記特定された画像パターンと、を関連付けて記憶する手段を備え、
   前記特定する手段は、第１観察者の観察者属性情報と同一又は類似の観察者属性情報に関連付けられた第２観察者識別情報を特定する手段を備え、
   前記判定する手段は、前記第１観察者の観察者画像から特定された第１画像パターンと、前記第２観察者識別情報に関連付けられた第２画像パターンと、に基づいて、前記第１観察者の状態を判定する、
   請求項２に記載の情報処理装置。
4. 前記判定する手段は、前記観察者の状態の変化を判定する、
   請求項１〜３の何れかに記載の情報処理装置。
5. 前記判定する手段は、前記観察者の顔に施された化粧の評価を判定する、
   請求項１〜４の何れかに記載の情報処理装置。
6. 前記判定する手段は、前記観察者が身に付けている衣服の評価を判定する、
   請求項１〜５の何れかに記載の情報処理装置。
7. 前記判定する手段は、前記観察者の体型の評価を判定する、
   請求項１〜６の何れかに記載の情報処理装置。
8. 前記判定する手段は、前記観察者の表情の評価を判定する、
   請求項１〜７の何れかに記載の情報処理装置。
9. 複数の擬人化キャラクタの中から少なくとも１つの擬人化キャラクタを指定する指示を受け付ける手段を備え、
   前記生成する手段は、前記受け付けられた指示によって指定された擬人化キャラクタの音声を出力する、
   請求項１〜８の何れかに記載の情報処理装置。
10. 前記受け付ける手段が複数の擬人化キャラクタを指定する指示を受け付けた場合、前記生成する手段は、複数の擬人化キャラクタの音声を生成する、
    請求項９に記載の情報処理装置。
11. 前記ミラーデバイスから前記観察者の音声を取得する手段を備え、
    前記生成する手段は、前記判定の結果及び前記観察者の音声に応じた前記擬人化キャラクタの音声を出力する、
    請求項１〜１０の何れかに記載の情報処理装置。
12. 前記生成する手段は、前記判定の結果に応じた助言又は誘導を提示するための前記擬人化キャラクタの音声を生成する、
    請求項１〜１１の何れかに記載の情報処理装置。
13. 前記生成する手段は、前記観察者の状態の傾向が記述された嗜好モデルを参照して、前記擬人化キャラクタの音声を生成する、
    請求項１〜１２の何れかに記載の情報処理装置。
14. 前記生成する手段は、前記擬人化キャラクタの音声に対して前記観察者が示した反応の傾向が記述された嗜好モデルを参照して、前記擬人化キャラクタの音声を生成する、
    請求項１３に記載の情報処理装置。
15. 前記生成する手段は、前記擬人化キャラクタのパラメータ、及び、前記観察者の属性に関する観察者属性情報の組合せと、前記判定の結果と、に基づいて、擬人化キャラクタの音声を生成する、
    請求項１〜１４の何れかに記載の情報処理装置。
16. 画像の特徴量を入力とし、且つ、性格を出力とする性格判定モデルを参照して、前記観察者画像に応じた前記観察者の性格を判定する手段を備え、
    前記生成する手段は、前記擬人化キャラクタの性格に関する情報、及び、前記判定された観察者の性格の組合せと、前記判定された観察者の状態と、に基づいて、擬人化キャラクタの音声を生成する、
    請求項１〜１５の何れかに記載の情報処理装置。
17. 観察者の鏡像を写すミラーを備え、
    前記ミラーに写った鏡像に対応する観察者画像を撮像するカメラを備え、
    前記カメラによって撮像された前記観察者画像に基づいて判定された前記観察者の状態に応じた擬人化キャラクタの音声を出力するスピーカを備える、
    ミラーデバイス。
18. コンピュータを、請求項１〜１６の何れかに記載の各手段として機能させるためのプログラム。

Images