JP2019139169A - 画像表示装置、画像表示方法および画像表示プログラム - Google Patents

Abstract

【課題】従来の玩具等の単調な応答を改善し、取得した音楽情報により示される音楽にあわせて、音声情報をキャラクターに出力させることができる画像表示装置等を提供する【解決手段】本発明の画像表示装置２０１０は、キャラクターを表示する表示部と、音楽に関する音楽情報を取得する取得部と、取得部が取得した音楽情報により示される音楽にあわせてキャラクターに出力させるための音声情報を生成する生成部と、生成部が生成した音声情報を出力する出力部とを備えることを特徴とする。【選択図】図１

Description

本発明は、キャラクター画像を表示する画像表示装置、画像表示方法および画像表示プログラムに関し、特に、音楽にあわせてキャラクターに音声を出力させることができる画像表示装置、画像表示方法および画像表示プログラムに関する。

従来、様々なキャラクター商品が販売され、その中には、デスクトップキャラクターと呼称されるものがある。これは、ＰＣ等のモニタ上にキャラクターを表示させ、予め定められたアルゴリズムに従って動作し、特定のセリフを表示したり、音楽を流したりするアプリケーションである。また、ユーザの通信端末上に表示させたキャラクターにチャットシステムを利用して、提供しているサービスの説明をさせるアプリケーションもある（例えば、特許文献１）。

ところで、従来から、外部からの音声等に応じてコミュニケーションを行うコミュニケーションロボットや、外部からの音声等に応じて動作する電子玩具等が存在する（例えば、特許文献２及び３参照）。

一方、このようなロボットや玩具による応答は限定されている。具体的には、ロボットや玩具は、特定の音声に対して、特定の応答や動きをすることができるのみであった。

特開２００４−１４５５４１号公報 特開２０１１−２２７２３７号公報 特開２００２−３０７３５４号公報

本発明の目的は、従来の玩具等の単調な応答を改善し、取得した音楽情報により示される音楽にあわせて、音声情報をキャラクターに出力させることができる画像表示装置、画像表示方法および画像表示プログラムを提供することにある。

上記目的を達成するため、本発明の画像表示装置は、キャラクターを表示する表示部と、音楽に関する音楽情報を取得する取得部と、取得部が取得した音楽情報により示される音楽にあわせてキャラクターに出力させるための音声情報を生成する生成部と、生成部が生成した音声情報を出力する出力部とを備えることを特徴とする。

本発明の画像表示装置、画像表示方法および画像表示プログラムによれば、取得した音楽情報により示される音楽にあわせて、音声情報をキャラクターに出力させることにより、ユーザに、キャラクターが自分と一緒に音楽を聴いて楽しんでいるような感覚を与えることができる。

図１（ａ），（ｂ）は、本発明の実施形態に係る画像表示装置の構成図および回路構成図である。 図２は、本発明の実施形態に係る画像表示装置で表示される画像の一例である。 図３（ａ），（ｂ）は、本発明の実施形態に係る画像表示装置で表示される画像の一例である。 図４は、本発明の実施形態に係る画像表示装置における処理を説明するフローチャートである。 図５は、本発明の実施形態に係る画像表示装置を上方から見た斜視図である。 図６は、本発明の実施形態に係る画像表示装置を下方から見た斜視図である。 図７は、本発明の実施形態に係る画像表示装置の左側面図である。 図８Ａは、本発明の実施形態に係る画像表示装置に搭載される機器であって、上部収容部に設置される機器を模式的に示す図である。 図８Ｂは、本発明の実施形態に係る画像表示装置に搭載される機器であって、柱部に設置される機器を模式的に示す図である。 図８Ｃは、本発明の実施形態に係る画像表示装置に搭載される機器であって、下部収容部に設置される機器を模式的に示す図である。 図９は、本発明の実施形態に係る画像表示装置の機能ブロック図であって一使用態様を示す図である。 図１０は、本発明の実施形態に係る画像表示装置の他の機能ブロック図である。 図１１Ａは、本発明の実施形態に係る画像表示装置で利用される画像データのデータ構成図である。 図１１Ｂは、本発明の実施形態に係る画像表示装置で利用される音声データのデータ構成図である。 図１１Ｃは、本発明の実施形態に係る画像表示装置で利用される信号データのデータ構成図である。 図１２は、本発明の実施形態に係る画像表示装置で出力される音声のパターンを説明する図である。 図１３は、本発明の実施形態に係る画像表示装置で利用される会話履歴データのデータ構成例を示すデータ構成図である。 図１４は、本発明の実施形態に係る画像表示装置で利用されるチャット履歴データのデータ構成例を示すデータ構成図である。 図１５は、本発明の実施形態に係る画像表示装置で利用されるランダム会話データのデータ構成例を示すデータ構成図である。 図１６は、本発明の実施形態に係る画像表示装置における状態遷移を説明する図である。 図１７Ａは、本発明の実施形態に係る画像表示装置で表示される画像の一例である。 図１７Ｂは、本発明の実施形態に係る画像表示装置で表示される画像の他の例である。 図１７Ｃは、本発明の実施形態に係る画像表示装置における処理を説明するフローチャートである。 図１８Ａは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図１８Ｂは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図１８Ｃは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図１８Ｄは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図１８Ｅは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図１８Ｆは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図１８Ｇは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図１８Ｈは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図１８Ｉは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図１９Ａは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図１９Ｂは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図１９Ｃは、本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 図２０は、本発明の実施形態に係る画像表示装置のコミュニケーションモードにおける動作を示すフローチャートである。 図２１Ａは、本発明の実施形態に係る画像表示装置にユーザのスケジュールを登録する画面例である。 図２１Ｂは、本発明の実施形態に係る画像表示装置にユーザのスケジュールを登録する画面例である。 図２２は、本発明の実施形態に係る画像表示装置における起床モードを説明するチャートである。 図２３は、本発明の実施形態に係る画像表示装置における外出モードを説明するチャートである。 図２４は、本発明の実施形態に係る画像表示装置における帰宅モードを説明するチャートである。 図２５は、本発明の実施形態に係る画像表示装置におけるチャットモードを説明するフローチャートである。 図２６Ａは、本発明の実施形態に係るチャットモードのユーザの通信端末の表示画面例を示す図である。 図２６Ｂは、本発明の実施形態に係るチャットモードのユーザの通信端末の表示画面例を示す図である。 図２７は、本発明の実施形態に係る画像表示装置の回路構成図である。

以下、本発明の実施形態に係る画像表示装置について図面を参照して説明する。本実施形態に係る画像表示装置は、例えば後述する画像表示装置とすることができるが、本発明の目的を達成できるものであればこれに限定されるものではない。

図１（ａ）に示すように、本発明の画像表示装置２０１０は、表示部２０１１と、取得部２０１２と、生成部２０１３と、出力部２０１４とを備える。

表示部２０１１は、キャラクターを表示するものである。本発明の画像表示装置２０１０は、例えば、後述するプロジェクタからキャラクターに係る画像を透過フィルムに投影させることで、キャラクターを表示することができる。表示部２０１１は、例えば、プロセッサやグラフィックエンジンなどによって実現されるが、実現の手法はこれに限られるものではない。キャラクターは、アニメ、漫画、小説、コンピュータゲーム、小説などに登場する人物や動物などであるが、これに限られず、オリジナルの創造上の人物であってもよい。また、人物や動物に限らず、個性を有する無機物もキャラクターとしてあり得る。例えば、ロボットなどである。

取得部２０１２は、音楽に関する音楽情報を取得するものである。取得部２０１２は、例えば、マイク等の集音装置を介して入力された音楽情報を取得するものであったり、入力部により直接的に入力された音楽情報を取得するものであったりすることができる。

取得部２０１２が音楽情報を取得する際、キャラクターに、音楽情報を取得中であることを表すような動作をさせることもできる。図２は、キャラクターが、耳に手を当てて音楽を聴いているかのような動作をしている状態を表したイメージ図である。

上記音楽には、人の声と楽器とで奏でられる声楽曲や、楽器のみで奏でられる器楽曲等が含まれる。また、音楽情報とは、音楽が有する情報であって、例えば、音楽の音波から人の声および各楽器の波形を解析して得られる情報とすることもできるし、曲名やアーティスト名などの書誌的な情報とすることもできるし、音楽の楽曲データそのものの情報とすることもできる。

そして、生成部２０１３は、取得部２０１２が取得した音楽情報により示される音楽にあわせてキャラクターに出力させるための音声情報を生成する。

この音声情報は、例えば、キャラクターの声による歌唱、鼻歌、ハミング、口笛等の情報や、キャラクターによる手拍子、タップ、ボイスパーカッションなどのリズムに関する情報などとすることができる。これらの音声情報は、例えば後述する音楽情報の周波数特性に基づいて生成されることができるが、これに限定されるものではない。詳細については後述する。

そして、出力部２０１４は、生成部２０１３が生成した音声情報を出力する。この出力部により出力された音声情報は、スピーカ等により増幅器を介して出力される。この出力部２０１４による出力は、周囲に流れる音楽とのずれがユーザに認知されない程度に、周囲に流れる音楽とリアルタイムで出力されるものとする。

出力部２０１４が、生成部２０１３が生成した音声情報を出力する際、キャラクターに、音声情報を出力中であることを表すような動作をさせることもできる。図３（ａ），（ｂ）は、キャラクターが、鼻歌を歌っているような動作をしている状態、および、キャラクターが、ギターを弾いているような動作をしている状態を表したイメージ図である。

かかる構成により、本発明の画像表示装置は、取得した音楽情報により示される音楽にあわせて、音声情報をキャラクターに出力させることができる。これにより、ユーザに、キャラクターが自分と一緒に音楽を聴いて楽しんでいるような感覚を与えることができる。

画像表示装置２０１０は、さらに、集音部を備えることができる。この集音部は、周囲の音を集音するものであって、例えば、マイク等の集音装置とすることができる。

そして、取得部２０１２は、集音部が集音した音から音楽情報を取得することができる。このとき取得される音楽情報は、例えば、上述したような、音楽の音波から人の声および各楽器の波形を解析して得られる情報とすることができる。

また、生成部２０１３は、音楽情報の周波数特性に基づいて、音声情報を生成することができる。この周波数特性は、例えば、音楽の音波から人の声および各楽器の波形を解析して得られるものとすることができる。

さらに、生成部２０１３は、音楽情報の周波数特性に基づいて、音楽情報により示される音楽の主旋律を特定し、主旋律に対応する音声情報を生成することができる。

主旋律とは、例えば、声楽曲の場合はメインボーカルが歌う旋律、器楽曲の場合はメインの楽器が奏でる旋律である。この主旋律に対応する音声情報とは、主旋律と同じ旋律の他、主旋律とハーモニーを形成するような旋律や、主旋律の伴奏となるコード（和音）に基づく旋律を歌う、または、奏でるための音声情報とすることができるが、これに限定されるものではない。

主旋律の特定は、例えば以下の手法により実現することができる。
（１）音楽が声楽曲の場合は、例えば、人の声を示す周波数帯域を設定し、得られた音波に対してバンドパスフィルタ等の周波数フィルタを適用して主旋律を特定する。
（２）音楽が器楽曲の場合は、例えば、得られた各楽器の音波を周波数特性に基づいて分離して楽器の種類を特定し、この中から一の楽器の旋律を主旋律と特定する。このとき、予め楽器の種別ごとに、主旋律とする優先順位を設定しておくことができる。

また、上記いずれの場合であっても、主旋律の特定を、得られた複数の音波の中で最も大きい振幅を有する音波を主旋律として特定することもできるし、音程から主旋律を特定することもできる。

取得部２０１２は、さらに、音楽情報により示される音楽に関する詳細情報を記憶する外部の記憶装置から、当該詳細情報を取得し、生成部２０１３は、さらに、詳細情報に基づいて音声情報を生成することができる。

詳細情報は、音楽情報により示される音楽の主旋律に関する主旋律情報を含むもとのすることができ、このとき、生成部２０１３は、主旋律情報に基づいて主旋律に対応する音声情報を生成することができる。

外部の記憶装置とは、例えば、本画像表示装置２０１０と有線または無線によりインターネット接続された音楽データを記憶するサーバ装置とすることができる。

具体的には、取得部２０１２は、外部の記憶装置に記憶された複数の音楽のデータベースの中から、集音部が集音した音に対応する音楽データを抽出し、抽出した音楽データから主旋律を特定する。この特定は、予め音楽データに主旋律に関する情報が含まれている場合は、その主旋律に関する情報から主旋律を特定することができ、音楽データに主旋律に関する情報が含まれていない場合は、上述した主旋律の特定手法により音楽データから主旋律を特定することができる。

かかる構成によれば、取得部２０１２による音楽情報の取得は音楽の冒頭数秒等だけでよくなり、音楽情報の取得・分析による出力の遅延を小さくすることができる。

そして、生成部２０１３は、取得部２０１２が取得した音楽情報により示される音楽にあわせてキャラクターが歌う鼻歌の音声情報を生成することができる。ここでいう鼻歌は、歌詞を含まない歌とする。

かかる構成に依れば、キャラクターの口は閉じたままで、キャラクターに歌を歌わせることができるため、音声情報の出力の遅延を小さくすることができる。

上述した音声情報は、音楽情報の取得がなされていない場合でも出力できるよう記憶部に記憶しておくこともできる。

また、上述した鼻歌として、音楽の冒頭で出力する際はわざと主旋律からずれた歌を出力し、この歌が、音楽が進行するにつれて主旋律に近づいていくように表現することで、キャラクターの鼻歌がだんだん上手になっていく様子を表現することもできる。

さらに、上述した主旋律の特定に誤りがあり、キャラクターが主旋律とは異なる旋律に基づく歌を歌った場合、ユーザが指摘することで別の旋律を主旋律として特定し直す機能を設けてもよい。

また、本発明の画像表示装置と、周囲の電子機器と連携させて、音楽に合わせて照明を変化させたり、電子楽器を奏でたりすることも可能である。

続いて、本発明の実施形態に係る画像表示方法について図面を参照して説明する。本発明の実施形態に係る画像表示装置は、図４に示すように、表示ステップ２０３１と、取得ステップ２０３２と、生成ステップ２０３３と、出力ステップ２０３４とを含むことを特徴とする。

表示ステップ２０３１では、キャラクターを表示する。この表示ステップは上述した表示部により実行されることができる。詳細については上述したとおりである。

取得ステップ２０３２では、音楽に関する音楽情報を取得する。この取得ステップは上述した取得部により実行されることができる。詳細については上述したとおりである。

生成ステップ２０３３では、取得ステップにおいて取得した音楽情報により示される音楽にあわせてキャラクターに出力させるための音声情報を生成する。この生成ステップは上述した生成部により実行されることができる。詳細については上述したとおりである。

出力ステップ２０３４では、生成ステップにおいて生成した音声情報を出力する。この出力ステップは上述した出力部により実行されることができる。詳細については上述したとおりである。

また、本発明の画像表示プログラムは、コンピュータに、表示機能と、取得機能と、生成機能と、出力機能とを実現させることを特徴とする。

表示機能は、キャラクターを表示する。この表示機能は上述した表示部により実現されることができる。詳細については上述したとおりである。

取得機能は、音楽に関する音楽情報を取得する。この取得機能は上述した取得部により実現されることができる。詳細については上述したとおりである。

生成機能は、取得機能が取得した音楽情報により示される音楽にあわせてキャラクターに出力させるための音声情報を生成する。この生成機能は上述した生成部により実現されることができる。詳細については上述したとおりである。

出力機能は、生成機能が生成した音声情報を出力する。この出力機能は上述した出力部により実現されることができる。詳細については上述したとおりである。

上記の機能を実現するコンピュータは、図１（ｂ）に示す画像表示装置２０２０とし、表示回路２０２１と、取得回路２０２２、生成回路２０２３と、出力回路２０２４とから構成されてもよい。それぞれの機能は、上記実施形態に示した同様の名称を有する各部と同様である。

そして、本発明の実施形態に係る画像表示装置は、一部又は全部が透光性部材からなるケースと、ケースの内部に立設した透光性を有する平状部材と、を更に備え、表示部は、平状部材にキャラクターを投影することで、キャラクターを表示することができる。詳細については以下に詳説する。

以下、本発明の実施形態に係る画像表示装置について図面を参照して説明する。実施形態に係る画像表示装置は、キャラクター画像を表示するとともに、キャラクターの音声を出力するものである。この際、画像表示装置に表示されるキャラクター画像及びキャラクターの音声は、画像表示装置が置かれる環境、当該装置を所有するユーザに関する情報、時刻情報に応じて決定される。

〈装置構成〉
まず、図５乃至図８Ｃを用いて、実施形態に画像表示装置１の装置構成について説明する。図５は、画像表示装置１を上方から見た斜視図である。図６は、画像表示装置１を下方から見た斜視図である。

図５，図６に示すように、画像表示装置１は、主に、内部が空洞な円筒状の透明のケース２と、そのケース２の内部にほぼ垂直に立設した透過フィルム（本発明の平状部材）３と、キャラクター画像等を出力するプロジェクタ４と、反射ミラー５等の部品や機器を備える。

このような構成の画像表示装置１において、プロジェクタ４から出力された画像は、反射ミラー５による反射を介して透過フィルム３に投影され、ユーザは、このようにして透過フィルム３に投影された画像を透明なケース２を通して見ることができる。

ケース２は、一部又は全部が透光性部材からなる筐体であり、例えば、アクリル板等によって形成されている。例えば、ケース２は、２つの透明な半円柱状のケース部材２ａ，２ｂを、２本の支柱２３に組み込むことで全体が透明な一体の円筒体を形成している。ただし、予め成形された円筒体をケース２に用いることもでき、また、弾性又は可撓性を有する矩形状の板材や膜材を半円柱状に湾曲させ、これを支柱２３に組み込んで形成した円筒体をケース２として用いることもできる。このように円筒状のケース２を用いることで、左右のどの角度からでも透過フィルム３に投影される画像を適切に視認することができる。なお、支柱２３は透明な部材で形成されていてもよく、この場合、ケース２のほぼ全部を透明にすることができる。ただし、支柱２３は、不透明や半透明であってもよい。

ケース２の正面側上部には、ケース２の表面に沿って湾曲させた帯状の不透明な遮蔽部２５を設けている。これにより、ケース２を正面側から見たときに、反射ミラー５は、遮蔽部２５の後方にあるため、隠れて見えなくさせることができる。また、図示していないが、ケース２の上底面にあたる円形部には、遮光塗料の塗布等、遮光処理を施している。これにより、透過フィルム３に室内の照明等が入り込むことを防ぐことができ、透過フィルム３に表示される画像を見易くすることができる。また、ケース２の背面側上部（ケース部材２ｂの上部）は、開口を施しており、反射ミラー５からの画像を形成する光がケース部材２ｂを介さず、直接透過フィルム３に到達できるようにしている。なお、ケース２は、透明な部材に限らず、乳白色のように半透明の部材を用いてもよい。

このようなケース２の内部には、透過フィルム３が設けられており、また、ケース２の上方、下方、背面側には、後述する上部収容部２１、下部収容部２２、柱部６が設けられている。

透過フィルム３は、本発明の「透光性を有する平状部材」の一実施態様であり、所定の画像が投影される透明なスクリーンとして機能する。本実施形態の透過フィルム３は矩形状であり、これが、ケース２の内部の中央付近にほぼ垂直になるように立設されている。具体的には、透過フィルム３は、台座２２１の両端に立設された２本の支柱２３によって支持され、これにより、表面が正面側（背面側）を向きつつ、台座２２１の中央に垂直に立設させている。なお、透過フィルム３の代わりに、透明の板材、半透明の板材や膜材等を用いることもできる。

下部収容部２２は、プラスチック等からなる箱体であり、プロジェクタ４の出力制御を含む種々の制御動作を行う制御ボード７０１その他の機器（図８Ｃ参照）を取り付けるスペースを有する。下部収容部２２には、着脱可能な下部カバー２２２が設けてあり、取り付けることで内部を隠すことができ、取り外すことで内部の機器のメンテナンス等を可能としている。下部収容部２２の上面の台座２２１には、透過フィルム３の立設位置の左右の端部に支柱２３を立設している。

透過フィルム３やケース部材２ａ，２ｂは、この支柱２３により支持されることで台座２２１上に一体的に立設される。これにより、円筒状のケース２が台座２２１上に立設され、透過フィルム３は、側部がケース２の内側に内接しつつ、下部（下端）が台座２２１の上面（表面）に沿うように設けられる。

台座２２１は、ケース２内に表示されるキャラクター等を仮想的に載置する台としても機能する。すなわち、台座２２１は、人形や模型を展示可能に収容するディスプレイケースのベース基材のように見せることができる。

画像表示装置１では、ミラー取付部５１により反射ミラー５の角度や向きを調整することで、透過フィルム３の下端に、キャラクター等の足元を一致させて表示させるようにしている（図５）。このようにすることで、キャラクター等が台座２２１の上に実際に立っているように見せることができる。

また、台座２２１は所定の視認性を有する。具体的には、台座２２１の表面に模様や着色を施したり、形状に特徴を施したりすることで、台座２２１の存在が目立つようにしている。例えば、本実施形態の台座２２１は、アクリル板の表面に、レーザー加工等によって、いわゆる魔方陣の模様に沿った溝を施すようにしている。なお、この模様は一例にすぎず、例えば、魔法陣としては、五芒星にしてもよいし、その他の複雑な幾何学模様を施すこととしてもよい。

さらに、台座２２１は、アクリル板の下部に複数の演出用ＬＥＤ７０６（本発明の発光手段）を分散して配置することで、台座２２１の全面に演出用ＬＥＤ７０６からの光が行きわたるようにしている。このようにすると、台座２２１の表面において、透過フィルム３を跨ぐぞれぞれの領域が強く認識されるため、透過フィルム３に投影されたキャラクター等の前後において台座２２１の存在をより強調することができる。そうすると、キャラクター等が、台座２２１の上にしっかりと着地して立っているように見せることができる。

上部収容部２１は、画像出力を行うプロジェクタ４などの機器（図８Ａ参照）を取り付けるスペースを有する。具体的には、上部収容部２１は、柱部６の上部に連結された梯子状の上部機器取付部２１１を設けており、この上部機器取付部２１１の下面にプロジェクタ４が取り付けられている。

上部機器取付部２１１は、図６や図７に示すように、柱部６との連結部２１３から正面側上方に傾いた状態で固定されており、これに伴い、上部機器取付部２１１に取り付けられたプロジェクタ４も斜めに傾いた状態で固定されている。このように、プロジェクタ４を斜めに取り付けることで、画像の出力方向が当該プロジェクタ４の背面側下方に位置する反射ミラー５に向くようにしている。

なお、上部機器取付部２１１は、柱部６との連結において、ボルト等の軸部材を用いて軸支させ、軸を中心に任意の位置まで回動させてナット等の固定部材により固定することもできる。このようにすると、プロジェクタ４の傾きを容易に変更することができ、この変更によって画像の出力を上下方向に調整することができる。

上部収容部２１には、着脱可能な上部カバー２１２が設けてあり、取り付けることで、上部機器取付部２１１やプロジェクタ４等の機器を隠すことができ、取り外すことで内部の機器のメンテナンス等を可能としている。

プロジェクタ４は、キャラクター画像等の画像の出力を行う画像出力手段である。この種のプロジェクタ４は、通常、いわゆるスクリーンに対し直接映像を投射することで画像を表示するが、本実施形態では、反射ミラー５を介して間接的にスクリーン（透過フィルム３）に画像を投射するようにしている。具体的には、本実施形態のプロジェクタ４は、ケース２の背面側に離間して立設されている柱部６の上部の反射ミラー５に出力画像が向かうように、上部収容部２１において傾斜した状態で取り付けられている。

ところで、プロジェクタの仕様には、焦点距離（以下、「許容投射距離」という）と投射比（以下、「許容投射角度」という）がある。「許容投射距離」は、画像サイズに対応した必要な投射距離（プロジェクタからスクリーンに至る光路の距離）である。実際の投射距離が許容投射距離に満たないと焦点が合わず画像を鮮明に映し出すことはできない。「許容投射角度」は、スクリーンに投射される画像の光路とスクリーンとの角度の許容値である。実際の投射角度が許容投射角度に満たないと、画像の歪みが大きくなり、また、画像の両端で光量が異なって、画像がぼやけるなど画質が低下する。

これらの点に鑑み、本実施形態のプロジェクタ４は、比較的、許容投射距離が短く、許容投射角度が小さい仕様のものを用い、さらに、反射ミラー５を用いることで、プロジェクタ４とスクリーン（すなわち、透過フィルム３）とをコンパクトに一体化できるようにしている。

柱部６は、下部収容部２２の最背部に立設された柱状の部材であり、ケース２の背面側にケース２とは離間して立設されている。このように、柱部６をケース２の背面側に設けることで、透過フィルム３に室内の照明等が入り込むことを防ぎ、透過フィルム３に表示される画像を見易くすることができる。柱部６には、反射ミラー５や各種センサを取り付けている（図６，図７，図８Ｂ等参照）。

反射ミラー５は、柱部６の上部に鏡面がほぼ垂直（すなわち、透過フィルム３の面とほぼ平行）になるように設けられている。これにより、プロジェクタ４から背面側斜め下方向に出力された所定の入射角の画像の光をこれと同角度（反射角）で反射し、その反射光によって画像を透過フィルム３に投影するようにしている。このようにすると、透過フィルム３における画像の上部と下部の投射距離の距離差を抑えることができるため、透過フィルム３に投影される画像のぼやけ等を抑えることができる。

図７に示すように、プロジェクタ４から出力された画像の光は、反射ミラー５によって反射され、その反射された画像の光は、正面側斜め下方向に進み、ケース部材２ｂの開口を通過して、ケース２の内部に設けられた透過フィルム３を背面側から投射する。この状態において、ケース２を通して透過フィルム３に投影されたキャラクター等の画像を見ると、キャラクター等が、より立体的で同じ空間にいる実体物のように視認することができる。

このような視認効果を奏する理由について以下に説明する。既述の通り、画像表示装置１は、透明なケース２の内部に透明なフィルム（透過フィルム３）を設け、この透明なフィルムに画像を投影するようにしている。このような画像表示装置１においては、ユーザは、透明なケース２を通して透明なフィルムに表示されるキャラクター等を見ることになる。

この場合、ユーザは、ケース２に仕切られることで制限されたケース２内という空間で、その３Ｄ環境、すなわち、縦（高さ）・横・奥行きを認識することになる。このため、特に、その空間内に表示されるキャラクター等とケース２との関係から生ずる奥行きを認識することによって、キャラクター等自体も３Ｄ（立体的）に見えるといった視覚効果（３Ｄ環境効果）を奏する。

すなわち、キャラクター等の奥に透明なケース２を視認することで、閉空間内にキャラクター等とその奥側の仕切りが共に視認されることとなり、この結果、同一の空間におけるキャラクター等と透明なケース２との奥行き感に基づいてキャラクター等が立体的に見える。

これに対し、仮にケース２を無くし、周りに何も無い開放された空間の中で、透明なフィルムに投影されるキャラクター等の画像を見た場合には、周囲の空間が縦・横の認識が強まる一方、奥行きの認識は弱まる。そうすると、このような開放された環境で透明なフィルムに投影されるキャラクター等の画像を見ても、フィルムの存在感が増えるだけで奥行き感を感じにくいことから、既述したような立体的な視覚効果を奏し得ない。

また、透明なケース２を通して透明なフィルムを見た場合、透明なフィルムが目立たなくなる。これは、ケース２に透過フィルム３が内接されていることで、透過フィルム３の左右の端部が見えなくなることに起因する。また、透明な物質を含め、前方の物質を通して後方を見ると、当該後方の物質を認識しづらくなる。

これを画像表示装置１に当て嵌めると、例えば、ケース２を正面側から見たときに、ケース２（ケース部材２ａ）の後方にある透過フィルム３は認識しづらくなる。そうすると、平面状の透過フィルム３の存在が認識されないことで、その透過フィルム３に投影されるキャラクター等は、平面ではない立体物が浮遊するように見える。このような理由からも、ケース２がない場合よりもケース２がある方が、キャラクター等の画像をより立体的に見せることができる。

また、本実施形態の画像表示装置１は、透過フィルム３の下方（下端）に台座２２１を設け、キャラクター等の足元を透過フィルム３の下端に一致させて表示するようにしている。このようにすると、あたかもキャラクター等が台座２２１の上に立っているように見え、キャラクター等がまるで質量がある立体物のように錯覚させることができる。

特に、台座２２１は、表面が視認し易いように模様等を施しているほか、透過フィルム３を跨ぐ正面側の領域と背面側の領域の双方に演出用ＬＥＤ７０６を配置して発光させるようにしている。これにより、キャラクター等の前後に台座２２１があることを明確に認識させることができ、ひいては、キャラクター等が、台座２２１にしっかりと着地した状態で立っているように見せることができる。したがって、このような台座２２１との関係によっても、透明なケース２内の透過フィルム３に投影されるキャラクター等を実体のある立体物のように見せることができる。

加えて、透過フィルム３に対しては、背面側上部に設けた反射ミラー５からの反射光による投影を行うようにしており、画像の光の一部が透過フィルム３を透過して、台座２２１上に光の影として映し出されるようにしている。このような影が視認されることによっても、表示対象をより立体的に視認させる効果を奏する。

次に、画像表示装置１に搭載される機器について図８Ａ〜図８Ｃを参照しながら説明する。図８Ａは、上部収容部に設置される機器、図８Ｂは、柱部に設置される機器、図８Ｃは、下部収容部に設置される機器の模式図である。

なお、ケース２の側面は不透明にしたり、側面部に不透明なフィルムを帖着したりするなどして、側面からのキャラクターの視認性を低下させることで、ユーザが正面側からキャラクターを見るようにしてもよい。また、ここでは、透過フィルム３にプロジェクタからの画像を投影することとしているが、これは、例えば、画像表示装置に例えば水滴等を噴霧できる構成を設けて、噴霧された水滴にプロジェクションを行うというような立体ホログラフィーでキャラクターを投影することとしてもよい。立体ホログラフィー技術を応用することで、より立体感のあるキャラクターを表示することができる。

《下部収容部の設置機器》
図８Ｃに示すように、下部収容部２２には、制御ボード７０１、人感センサ７０２、赤外線ＬＥＤ７０３、マイク７０４、スピーカ７０５、演出用ＬＥＤ７０６、赤外線受光部７０７、ステータスＬＥＤ７０８、起動ボタン７０９、ＵＳＢハブ７１０のほか、Ｗｉ−Ｆｉ（登録商標）モジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等が設置されている。

制御ボード７０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＭＩ（登録商標）ポート、ＬＡＮポート、ＵＳＢポート、各種入出力ポートなどが搭載された一又は複数の制御チップが搭載され、各種センサ等から入力された情報に基づき、画像、音声を含む様々な出力動作を所定の機器に実行させる。

人感センサ７０２は、赤外線の変化量を検知して人の所在を検出するセンサであり、正面側の左右に設けている。

赤外線ＬＥＤ７０３は、正面上部に放射状に設けられ、いわゆる赤外線リモコンとして機能する。具体的には、赤外線を周囲に出力することで、テレビや掃除機などの外部の機器の遠隔操作を可能としている。

マイク７０４は、ユーザから発せられる音声を入力する。例えば、マイク７０４は、正面の下段に１つ設けられる。

スピーカ７０５は、音声や音楽などの音情報を、増幅器を介して出力する。図８Ｃに示す例では、スピーカ７０５は、正面側に設けられているが、後方柱部の左右にステレオ方式で設置されることが好ましい。

演出用ＬＥＤ７０６は、台座２２１における発光手段である。

赤外線受光部７０７は、正面側に設けられ、テレビや照明器具、エアコン、ロボット掃除機等の家電製品のリモコンから、そのリモコンで用いられるリモコン操作に関する赤外線情報を受信する。

ステータスＬＥＤ７０８は、画像表示装置１の状態（例えば、電源オン、エラー発生、通信中や、後述する「スリープ状態」、「未召喚状態」、「召喚状態」等）を示す報知手段であって、特定の点滅パターンや発光色等によって各種状態を識別可能に報知する。

起動ボタン７０９は、画像表示装置１本体の電源のオン／オフを行うための操作手段である。

ＵＳＢハブ７１０は、ＵＳＢ機器を複数接続するためのハブである。

Ｗｉ−Ｆｉ（登録商標）モジュールは、ＵＳＢハブに接続された無線ＬＡＮモジュールであり、アクセスポイントとして無線ＬＡＮ子機にインターネット環境を提供したり、無線ＬＡＮ子機として他のアクセスポイントを通じてインターネットに接続したりすることができる。

Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールは、所定規格に対応したキーボードやマウス、スマートフォン等の通信端末、マイク、スピーカなどの周辺機器と無線通信を可能とする無線通信インタフェースである。

《柱部の設置機器》
図８Ｂに示すように、柱部６には、既述の反射ミラー５に加え、温湿度センサ６１１、振動センサ６１２、騒音センサ６１３が設けられている。

温湿度センサ６１１は、室内の温度及び湿度を測定し、これらの測定値を入力する。

振動センサ６１２は、振動を検知するためのセンサであり、例えば、ピエゾ振動センサが相当する。振動センサ６１２によって検出される振動としては、地震のような大きな揺れのほか、足音やドアの開け閉めを識別可能な比較的小さな振動がある。

騒音センサ６１３は、室内の環境音を検出するためのセンサである。騒音センサ６１３によって検出される環境音としては、例えば、所定の基準音量に基づいて判別されるユーザの生活音（テレビの音を含む）、近所の環境音、騒音がある。

《上部収容部の設置機器》
図８Ｃに示すように、上部収容部２１には、プロジェクタ４、赤外線ＬＥＤ７０３、光センサ（照度センサ）７２１及びカメラ７２２が設けられている。

プロジェクタ４は、既述したように、反射ミラー５を介して透過フィルム３に画像を投射する。プロジェクタ４から出力される画像には、例えば、様々な漫画やアニメに登場する各キャラクターや実在の人物、物品等の２Ｄ画像や３Ｄ画像、キャラクターの感情表現を演出する演出用の画像がある。

赤外線ＬＥＤ７０３は、左右にそれぞれ設けられ、上部収容部２１に設けられているものと同様、赤外線リモコンとして機能する。

光センサ（照度センサ）７２１は、明るさ（照度）を測定するセンサである。

カメラ７２２は、前方に設けられ、静止画や動画を撮影する撮像手段である。

〈機能〉
次に、既述した各機器によって実現される機能について図９及び図１０を参照して説明する。図９は、実施形態に係る画像表示装置１の機能ブロック図である。図９に示すように、画像表示装置１は、表示部７００と、会話部７１７と、チャット部７１８とを備える。

表示部７００は、キャラクターを表示する機能を有するものである。例えば、前述のプロジェクタ４にキャラクターに係る画像を透過フィルム３に投影させることで、キャラクターを表示する。表示部７００は、例えば、プロセッサやグラフィックエンジンなどによって実現されるが、実現の手法はこれに限られるものではない。キャラクターは、アニメ、漫画、小説、コンピュータゲーム、小説などに登場する人物や動物などであるが、これに限られず、オリジナルの創造上の人物であってもよい。また、人物や動物に限らず、個性を有する無機物もキャラクターとしてあり得る。例えば、ロボットなどである。

会話部７１７は、ユーザと会話する機能を有するものであって、キャラクターがユーザと会話しているように演出する機能を有するものである。会話部７１７は、例えば、プロセッサにより実現され、予め定められたアルゴリズムに従って、ユーザとの会話を行う。会話部７１７は、予め記憶している音声の中から、ユーザとの会話の話題を選択して、その音声をスピーカ７０５から出力し、マイク７０４から入力されるユーザの音声を解析することで会話を実行する。なお、ここで、キャラクターの音声は予め記憶していることとしたが、これはその限りではなく、キャラクターは音声として合成音声を出力することとしてもよい。

チャット部７１８は、ユーザが保持する通信端末との間で、チャットを実行するものであって、例えば、プロセッサにより実現され、予め定められたアルゴリズムに従って、ユーザとチャットを行う。チャット部７１８は、ユーザの通信端末と直接無線通信を実行してチャットを行うこととしてもよいし、所定のメッセージングサーバ（チャットサーバ）を介して、チャットを実行することとしてもよい。ここでいうチャットはいわゆるメッセージ（通信文）のやり取りを行うためのものである。チャット部７１８は、自動で会話の内容を選択して、選択した会話の内容を文字列として、送信するとともに、ユーザの通信端末から送信されたチャットの内容を解析して、解析した内容に応じた話題を選択して応答を生成し、そのメッセージを送信する。

ここで、会話部７１７とチャット部７１８とは互いに連動する。会話部７１７とチャット部７１８とが互いに連動するとは、ユーザとの間で会話部７１７が実行したキャラクター−ユーザ間の会話がチャット部７１８が実行するチャットの内容に反映され、チャット部７１８がユーザの通信端末との間で実行したチャットの内容が、会話部７１７が実行する会話の内容に反映されることをいう。チャットの内容や、会話の内容とは、発言の内容そのものや話題のことである。そして、会話部７１７とチャット部７１８とが連動するとは、例えば、会話部が野球に関する会話をユーザとの間で実行された場合に、チャット部が実行する話題に野球に関する話題を含ませる、より正確には、野球に関する話題を実行する可能性を持たせることをいう。会話部７１７、チャット部７１８は、下記における制御部７１により実現される。

また、画像表示装置１は、図５乃至図７を用いて上述したように少なくとも一部が透光性部材からなるケース２をさらに備えることができる。そして、表示部７００は、ケース２内に立設した透光性の平板部材である透過フィルム３と、平板部材である透過フィルム３に、キャラクター画像及び演出用画像を投光する投光装置であるプロジェクタ４と、投光装置であるプロジェクタを介した画像の表示制御する表示処理部７１３とを有することができる。

具体的には、画像表示装置１は、図１０に示すように、制御部７１と、入力部７２と、出力部７３と、操作部７４と、記憶装置７５と、通信部７６とを備える。この記憶装置７５に記憶される画像表示プログラムＰ１や、会話プログラムＰ２、チャットプログラムＰ３が実行されることで、制御部７１が取得処理部７１１、解析部７１２、表示処理部７１３、音声出力部７１４、送信処理部７１５及びデータ管理部７１６としての処理を実行することができる。

入力部７２は、各種センサによって検出された様々な情報が入力される手段である。入力部７２に入力されるデータには、例えば、人感センサ７０２が人を検知したときに人感センサ７０２から出力される識別情報、マイク７０４を介して入力された音声情報、温湿度センサ６１１によって検出される室内の温度や湿度の情報、振動センサ６１２が検出した振動の大きさや変化を識別可能な情報、騒音センサ６１３を介して入力された音量情報、光センサ７２１を介して入力された照度情報、カメラ７２２によって撮像された静止画・動画の情報等がある。

出力部７３は、所定の命令にもとづいて信号や情報の出力を行う出力手段である。出力部７３によって出力される信号や情報には、例えば、赤外線ＬＥＤ７０３から出力される外部機器の動作を制御するための赤外線信号、スピーカ７０５を介して出力される音声情報、演出用ＬＥＤ７０６から発光される光、プロジェクタ４から出力される画像等がある。

操作部７４は、ユーザによる操作手段であり、例えば、図示しないキーボードやマウス、画像表示装置１に設けられた操作ボタン（ハードキー）や、タッチパネルが相当する。操作部７４によって行われる操作には、例えば、起動ボタン７０９による装置本体の電源のオン／オフや、画像表示装置１をスリープ状態（非召還状態）とアクティブ状態（召還状態）を切り替えるためのボタン等がある。

記憶装置７５は、例えば、画像表示装置１を構成するＲＡＭや、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリ等により構成され、画像表示装置１の有する各種機能を実行するためのプログラムやデータを記憶する記憶手段である。記憶装置７５に記憶されるデータには、キャラクター等の画像データ７５１や音声データ７５２、テレビや照明器具などの外部機器を操作する信号データ７５３、ユーザの属性情報等に関するユーザデータ７５４、画像表示装置１がユーザとの間で交わした会話の履歴を示す会話履歴データ７５５、画像表示装置１がユーザの通信端末との間で実行したチャットの履歴を示すチャット履歴データ７５６、外部機器のリモコンに関するリモコン情報、カレンダーサイトで登録したカレンダー情報、装置本体や各機器の属性情報、センサから入力した情報、音楽情報、言語データ等がある。また、記憶装置７５には、記憶されるプログラムには、後述する各種制御動作を実行するための画像表示プログラムＰ１の他、ユーザとの間で直接会話を交わすための会話プログラムＰ２や、ユーザの通信端末との間で（チャットサーバを介して）チャットを実行するためのチャットプログラムＰ３、音声認識プログラムや人工知能プログラム等がある。

画像データ７５１は、画像を表示する表示条件と、当該条件に起因して表示されるキャラクター画像を特定するキャラクター画像情報（第１画像情報）および演出用画像を特定する演出用画像情報（第２画像情報）とが関連付けられるデータである。演出用画像は、キャラクターの感情等を表現するものであって、感情等を表す言葉の文字を含む画像であってもよいし、星型やハート型等のパーティクルを含む画像であってもよい。なお、演出用画像は、必須のものではなく、表示しなくともよい。例えば、所定の確率で表示することとしてもよい。具体的には、例えば、１日で変わるランダムな閾値を設け、演出用画像を表示するタイミングで表示するか否かをその時々でランダム値を算出して、そのランダム値が設定した閾値を超えるか否かで演出用画像を表示してもよい。キャラクター画像情報は、三次元画像の画像情報であることが好ましい。また、演出用画像情報は、状況に応じて、二次元画像の画像情報、又は、三次元画像情報である。

図１１Ａに示す画像データ７５１の例では、環境信号として「音声Ａ」が検出された場合、「キャラクター画像Ａ」と「演出用画像Ａ」とが表示されることが規定される。例えば、音声Ａが「おはよう」という言葉であるとき、キャラクター画像Ａとして、キャラクターが「おはよう」と言う様子が表されるような画像が表示されるとともに、演出用画像Ａとして、朝のさわやかな演出をする画像が表示される。また、演出用画像Ａには、「おはよう」の文字が表示される吹き出しを含んでもよい。

環境信号として「動作Ｃ」が検出された場合、「キャラクター画像Ｃ」と「演出用画像Ｃ」とが表示される。例えば、動作Ｃが「ユーザの帰宅」であるとき、キャラクター画像Ｃとして、キャラクターが「おかえり」と言う様子が表されるような画像が表示されるとともに、演出用画像Ｃとして、帰宅を迎えるような演出をする画像が表示される。また、演出用画像Ｃには、「おかえり」の文字が表示される吹き出しを含んでもよい。

「時刻Ｄ」のタイミングでは、「キャラクター画像Ｄ」と「演出用画像Ｄ」とが表示される。例えば、時刻Ｄとして、目覚ましの時間として「午前６時」がセットされているとき、午前６時になると、キャラクター画像Ｄとして、キャラクターがユーザを起こすような様子が表される画像が表示されるとともに、演出用画像Ｄとして、目が覚めるような画像を表示してもよい。また、演出用画像Ｄには、「朝だよ」の文字が表示される吹き出しを含んでもよい。

「信号Ｅ」を受信したタイミングでは、「キャラクター画像Ｅ」と「演出用画像Ｅ」とが表示される。例えば、信号Ｅが、ユーザの通信端末から送信される「ハブラシ」の信号であるとき、この信号Ｅを受信すると、キャラクター画像Ｅとして、キャラクターが歯磨きをする様子が表される画像が表示されるとともに、演出用画像Ｅとして、歯磨きにふさわしい、気分爽快な画像を表示してもよい。また、演出用画像Ｅには、「はみがき中」の文字を含んでもよい。

また、画像データ７５１では、環境情報とともに時刻情報を含む表示条件が規定されてもよい。例えば、画像データ７５１は、環境情報が同一であっても、午前と午後とでは、表示されるキャラクター画像及び演出用画像が異なるように規定することができる。

さらに、画像データ７５１では、環境情報とともに受信信号を含む表示条件が規定されてもよい。

音声データ７５２は、音声を出力する出力条件と、当該条件に起因して出力される音声を特定する情報とが関連付けられるデータである。

図１１Ｂに示す音声データ７５２の例では、環境信号として「音声Ａ」が検出された場合、「音声Ａ」が出力されることが規定される。例えば、音声Ａが「おはよう」という言葉であるとき、音声Ａとして、キャラクターの声で「おはよう」と出力される。

環境信号として「動作Ｃ」が検出された場合、「音声Ｃ」が出力される。例えば、動作Ｃが「ユーザの帰宅」であるとき、音声Ｃとして、キャラクターの声で「おかえり」と出力される。

「時刻Ｄ」のタイミングでは、音声Ｄとして、キャラクターの声で、「６時だよ」と出力される。

「信号Ｅ」を受信したタイミングでは、音声Ｅとして、キャラクターが歯磨きをする音や、うがいをする音が出力される。

また、音声データ７５２では、環境情報とともに時刻情報を含む出力条件が規定されてもよい。例えば、音声データ７５２は、環境情報が同一であっても、午前と午後とでは出力される音声が異なるように規定することができる。

さらに、音声データ７５２では、環境情報とともに受信信号を含む出力条件が規定されてもよい。

信号データ７５３は、家電等の外部の電気機器を操作する操作信号を出力する条件と、当該条件に起因して送信される操作信号とが関連付けられるデータである。

図１１Ｃに示す信号データ７５３の例では、環境信号として「音声Ｆ」が検出された場合、「操作信号Ｆ」が出力されることが規定される。例えば、音声Ｆが「テレビ消して」という言葉であるとき、テレビの電源をつける操作信号Ｆが出力される。

なお、図１２に示すように、同一の言葉や行動に対しても、日時に応じて出力される画像や音声は異なっていてもよい。例えば、「おはよう」の音声が検出された場合、平日朝であれば「おはよう 今日も頑張ろうね！」と一日を励ます音声を出力し、休日朝であれば「おはよう 今日はゆっくりできるね」と平日の疲れを労わるような音声を出力する。一方、夜であれば、「なに言ってるの？ もうこんな時間だよ」の音声を出力する。したがって、日常生活で不自然な機械的なやり取りを防止することができる。これにより、ユーザはキャラクターをより身近に感じることができる。

ユーザデータ７５４は、ユーザのプロフィール、属性、嗜好等のユーザに関する種々の情報を有する。ユーザデータ７５４において、ユーザの氏名を有することで、画像表示装置１は、例えば、ユーザの名前を音声で出力することができる。このとき、氏名だけでなくニックネーム等を登録してもよい。これにより、キャラクターがユーザの名前を呼ぶようにすることが可能となる。したがって、ユーザは、キャラクターに親しみを感じ、また、より身近に感じることができる。

ユーザデータ７５４において、ユーザの住所や会社の住所を入力することで、画像表示装置１は、例えば、ユーザの行動範囲に関する情報をインターネット等を利用して取得し、音声や画像で出力することができる。これにより、キャラクターが、ユーザに様々な情報を知らせてくれるようにすることが可能となる。したがって、ユーザは、キャラクターに親しみを感じ、かつ、より身近に感じることができる。

ユーザデータ７５４において、ユーザの生年月日を入力することで、画像表示装置１は、例えば、ユーザの誕生日に、誕生日を祝う画像や音声を出力することができる。これにより、キャラクターが、ユーザの誕生日を祝うようにすることが可能となる。これにより、ユーザはキャラクターに親しみを感じ、かつ、より身近に感じることができる。

ユーザデータ７５４において、ユーザの携帯電話の電話番号を入力することで、画像表示装置１は、例えば、ユーザが外出中に、携帯電話に電話をかけるようにすることができる。これにより、ユーザは外出先において、家で待つキャラクターから電話を受けたような状態とすることが可能となる。これにより、ユーザは、キャラクターに親しみを感じ、かつ、より身近に感じることができる。

その他、ユーザデータ７５４は、好きなアニメや漫画、小説、ゲーム、映画、好きなキャラクター、趣味、興味のあるもの、体重、身長、職業等の情報を有することができる。画像表示装置１は、このようなユーザに関する情報に基づいて、ユーザの興味のある話題から画像を表示したり、音声を出力したりすることが可能となる。また、このような情報は、アンケート等の結果や、ユーザが利用したＳＮＳ（ソーシャルネットワーキングサービス）の履歴等から生成することができる。ここでいうアンケートとは、画像表示装置１のキャラクターがユーザに対して「○○は好き？」とかいった質問を会話やチャットを通じて行うものであってもよいし、あるいは、時々質問リストのようなデータにユーザが記入するものであってもよい。前者の場合、質問内容とそれに対するユーザからの回答の文字列を対応付けて、ユーザデータ７５４の一部として、記憶しておくことで、以降においてユーザ好みの話題を選択することができる。

会話履歴データ７５５は、画像表示装置１のキャラクターがユーザとの間で直接交わした会話の内容に関する履歴情報である。図１３は、会話履歴データ７５５の一具体例を示すデータ概念図である。図１３に示すように、会話履歴データ７５５は、会話を行ったものを示す情報であってキャラクター側の発話かユーザ側の発話かを示す発話者情報９０１と、発話された日時を示す日時情報９０２と、会話の具体的内容を示す会話内容情報９０３と、が対応付けられた情報である。例えば、図１３の例で言えば、キャラクターは、「２０１６年７月１０日、１８時３０分１０秒」に、「今日、野球中継があるね」と話しかけているのに対し、ユーザが、「２０１６年７月１０日、１８時３２分２０秒」に、「そうなんだ？教えてくれてありがとう」と答えていることがわかる。なお、ユーザについての会話内容情報９０３は、入力された音声に対して、解析部７１２が実行した音声認識の結果のテキストデータが記憶される。なお、会話内容情報９０３は、会話の内容全てを文字列にした情報であってもよいし、会話の内容から、キーワードをピックアップした情報であってもよい。例えば、図１３の例でいえば、「Ａチームが好きかな」という会話内容であれば、「Ａチーム、好き」というような組み合わせの情報を会話内容情報９０３として記憶しておいてもよい。この場合、画像表示装置１が選択するキーワードは、会話文中の名詞を基準に選択することとしてもよいし、ユーザの感情を表す語があれば、それをピックアップして記憶することとしてもよい。会話履歴データ７５５が記憶装置７５に記憶されていることにより、画像表示装置１は、過去の会話の内容を認識することができるとともに、その後の会話やチャットの話題に反映することができる。会話履歴データ７５５は、画像表示装置１が表示するキャラクターとユーザとの間で会話が成されるごとに、制御部７１により追加更新される。

チャット履歴データ７５６は、画像表示装置１のキャラクターが、ユーザが保持する通信端末との間で実行したチャットの内容に関する履歴情報である。図１４は、チャット履歴データ７５６の一具体歴を示すデータ概念図である。図１４に示すように、チャット履歴データ７５６は、チャットで発言をした側を示す情報であって、ユーザ側の発言かキャラクター側の発言かを示す発言者情報１００１と、チャット上でその発言がされた日時を示す日時情報１００２と、発言したチャットの内容を示す文字列であるチャット内容情報１００３とが対応付けられた情報である。例えば、図１４の例で言えば、キャラクターは、「２０１６年７月２日、１９時３９分２１秒」に、「今、何してる？」とチャットで質問しているのに対し、ユーザが、「２０１６年７月２日、１９時４０分３０秒」に、「神宮球場で、野球の試合見てるよ」と答えていることがわかる。なお、チャット内容情報１００３は、チャットの内容全てを文字列にした情報であってもよいし、チャットの内容から、キーワードをピックアップした情報であってもよい。例えば、図１４の例でいえば、「神宮球場で、野球の試合見てるよ」というチャット内容から、「野球」というキーワードのみを記憶しておいてもよいし、「ａ選手が好きかな」というチャット内容であれば、「a選手、好き」というような組み合わせのキーワードをチャット内容情報１００３として記憶しておいてもよい。この場合、画像表示装置１が選択するキーワードは、チャット文中の名詞を基準に選択することとしてもよいし、ユーザの感情を表す語があれば、それをピックアップして記憶することとしてもよい。チャット履歴データ７５６が記憶装置７５に記憶されていることにより、画像表示装置１は、過去のチャットの内容を認識することができるとともに、その後のチャットや会話の話題に反映することができる。チャット履歴データ７５６は、画像表示装置１が表示するキャラクターとユーザとの間でチャットが成されるごとに、制御部７１により追加更新される。

ランダム会話データ７５７は、キャラクターがランダムに会話またはチャットを実行する場合の話題の選択に係るデータである。図１５に示すようにランダム会話データ７５７は、キーワード１１０１と、条件１１０２と、会話orチャット内容１１０３とが対応付けられた情報である。キーワード１１０１は、会話のトリガとなるワードであって、制御部７１が会話履歴データ７５５及びチャット履歴データ７５６に記録されている会話履歴及びチャット履歴中の話題と照合するための情報である。会話履歴とチャット履歴の中に含まれているキーワードが、キーワード１１０１のいずれかに合致する場合に、会話orチャット内容１１０３の内容が音声で出力または、チャットの文章として出力される。条件１１０２は、対応する会話orチャット内容をキャラクターが話す又はチャットするためにクリアしておく必要のある条件のことであり、条件がない場合も含む。条件としては、特定の天候（晴れ、雨、雪、…）であったり、特定の音声が入力されることであったり、特定の情報（例えば、ある番組が放送されること）が入力された情報（例えば、テレビの番組情報）に含まれていることであったり、様々である。会話orチャット内容１１０３は、会話履歴またはチャット履歴に含まれるキーワードがキーワード１１０１に一致し、かつ、条件１１０２が合致する場合に、実行する会話またはチャットの実内容を示す情報である。なお、制御部７１により複数の会話orチャット内容が検出できた場合には、その中のいずれかをランダムに選択することとしてもよいし、選択された会話orチャット内容の会話に含まれるキーワードのユーザの嗜好との合致率の高いものを選択することとしてもよいし、その前の１以上の会話との整合性の高いものを選択することとしてもよい。ランダム会話データが記憶されていることにより、制御部７１は、会話部またはチャット部として、それぞれの過去の履歴を反映した次の会話又はチャットを行うことができる。

通信部７６は、有線又は無線により、外部の機器との間で双方向又は片方向のデータ通信処理を行う通信手段である。例えば、インターネットに接続された機器との間で、ＬＡＮポートに接続されたＬＡＮケーブルやＷｉ−Ｆｉ（登録商標）モジュールに基づく無線を介して、各種データの送受信が可能である。例えば、通信部７６は、ユーザの通信端末から送信される信号を受信することができる。また、通信部７６は、天気情報サイトから受信可能な天気情報、カレンダーサイトに登録したカレンダー情報などのインターネットを介して取得可能な情報がある。また、通信部７６は、図示していないネットワーク上のチャットサーバを介して、ユーザの通信端末との間でチャット通信を実行することができる。

制御部７１は、画像表示プログラムＰ１に従って、取得処理部７１１、解析部７１２、表示処理部７１３、音声出力部７１４、送信処理部７１５、データ管理部７１６、としての制御動作を行うことができる。

取得処理部７１１は、マイク７０４、カメラ７２２、人感センサ７０２、光センサ７２１、温湿度センサ６１１、振動センサ６１２、騒音センサ６１３等のすくなくともいずれかから検出された信号を取得する。

解析部７１２は、取得処理部７１１が取得した環境情報を解析する。例えば、解析部７１２は、取得処理部７１１がマイク７０４から検出した環境信号から、ユーザが発した言葉を解析する。解析部７１２は、例えば、記憶装置７５に予め登録される言語モデル及び音声モデルを用いて、マイク７０４が取得した音声から、ユーザが発した言葉を特定するようにできる。言語モデルとは、画像表示装置１が使用する言語において使用される言語の単語情報の集合や、各種の言い回しを登録したデータである。また、音声モデルは、使用する言語の音声信号のモデルのことであり、例えば、周波数特性を示す信号のことである。具体的には、「あ」、「い」、…、「ａ」、「ｂ」といった一語一語の音声の標準的なモデルのことである。これにより、入力されたユーザの音声をパターンマッチングにより特定することができる。また、これにより、画像表示装置１は、ユーザが発した言葉に応じて定められる画像を表示し、言葉に応じて定められる音声を出力することができる。ここで、記憶装置７５において、画像表示装置１の持ち主であるユーザに関するユーザデータとして声紋情報を有し、持ち主ユーザの声を認識することができるようにしてもよい。

なお、解析部７１２が、ユーザが発した言葉を解析できないとき、画像表示装置１は、「もう一度言って」等、通常の機械的な音声を出力してユーザに繰り返しを要求するのではなく、別の方法で反応する。例えば、画像表示装置１は、「もっと近くでしゃべって」、「優しく言って」の音声を出力して繰り返すことを誘導する。また、画像表示装置１は、「ふーん」、「そっかー」、「なるほどー」等、適当な相槌の音声を出力してもよいし、「んー」、「えっとー」のようなフィラー表現の音声を出力してもよい。

また、解析部７１２は、取得処理部７１１がカメラ７２２から検出した環境信号から、ユーザの位置や動作を解析する。具体的には、解析部７１２は、画像解析として、画像から人の顔を検出することができる。また、記憶装置７５において、持ち主ユーザに関するユーザデータとしてユーザの顔情報を有し、検出した人の顔から、持ち主ユーザの顔を認識することができるようにしてもよい。

画像表示装置１は、持ち主ユーザを特定することで、キャラクターが持ち主ユーザに対しては親しげに接するような画像を表示したり音声を出力したりすることが可能となる。また反対に、画像表示装置１は、持ち主以外の者に対しては、よそよそしく接したり、自己紹介等の挨拶をしたりするような画像を表示したり音声を出力したりすることができる。これにより、ユーザは、画像表示装置１で表示されるキャラクターに対し、より親近感を覚えることができる。

また、解析部７１２は、解析されたユーザが発した言葉、ユーザの位置や動作に加え、他のセンサ等で検出された他の環境情報やボタン操作を合わせて一つの環境情報とした結果を生成してもよい。例えば、音声や画像に加え、人感センサの検出結果から、後述する外出や帰宅の判定をすることができる。

表示処理部７１３は、記憶装置７５から画像データ７５１を読み出し、この画像データ７５１から取得処理部７１１が取得した環境信号に対応する表示条件と関連付けられるキャラクター画像情報及び演出用画像情報を選択する。また、表示処理部７１３は、選択したキャラクター画像情報及び演出用画像情報と対応する画像を、出力部７３に出力して表示させる。また、表示処理部７１３は、環境情報及び時刻情報に応じて、キャラクター画像及び演出用画像を表示してもよい。さらに、表示処理部７１３は、環境情報及び受信信号に応じて、キャラクター画像及び演出用画像を表示してもよい。

音声出力部７１４は、記憶装置７５から音声データ７５２を読み出し、この音声データ７５２から取得処理部７１１が取得した環境信号に対応する出力条件と関連付けられる音声情報とを選択する。また、音声出力部７１４は、選択した音声情報と対応する音声を、出力部７３に出力する。また、音声出力部７１４は、環境情報及び時刻情報に応じて、音声を出力してもよい。さらに、音声出力部７１４は、環境情報及び受信信号に応じて、音声を出力してもよい。

送信処理部７１５は、記憶装置７５から信号データ７５３を読み出し、この信号データ７５３から取得処理部７１１が取得した環境信号と対応付けられる操作信号を選択する。また、送信処理部７１５は、読み出した操作信号を、出力部７３に出力する。

データ管理部７１６は、画像表示装置１に内蔵される時計又は外部の時計から、時刻情報を取得する。時刻に応じて表示する画像や音声が定められるとき、この表示及び出力スケジュールに従い、表示処理部７１３及び音声出力部７１４に制御信号を出力する。

また、データ管理部７１６は、画像表示装置１の起動時に天気情報サイトにアクセスして、その日の天気情報を取得して記憶装置７５に記憶させる。さらに、データ管理部７１６は、ユーザのスケジュールが登録されているカレンダーサイトに定期的にアクセスして、これにより得られる最新のカレンダー情報を記憶装置７５に記憶させることができる。また、データ管理部７１６は、テレビや照明などの外部機器のリモコンから当該外部機器に関するリモコン情報（赤外線情報）を赤外線受光部７０７により受信させて記憶装置７５に記憶（学習）させることができ、このリモコン情報に基づいて、外部機器を操作するための赤外線情報を赤外線ＬＥＤ７０３から発信させることができる。なお、データ管理部７１６は、様々なネットワーク上のデータにアクセスし、ユーザとの会話やチャットに用いることができる様々なデータを収集することもできる。

〈動作〉
画像表示装置１では、「スリープ状態」、「未召喚状態」、「召喚状態」等の各状態に応じて、画像の表示や音声の出力等の処理を実行する。図１６に示すように、画像表示装置１は、コンセントが未接続の状態（Ｓ１）において、電源ボタン（図示せず）は有効ではないが、コンセントが挿されてコンセントが接続の状態になると（Ｓ２）、電源ボタンが有効になる。

《未召喚状態》
コンセントが接続された状態（Ｓ２）で電源ボタンが押下されると、制御部７１が起動する（Ｓ３）。この起動により、例えば、起動画面が表示され、「未召喚状態」に移行する（Ｓ４）。「未召喚状態」は、画像表示装置１に電源は入っており、プロジェクタ４は起動しているものの、キャラクター画像は表示されておらず、未召喚画像が表示される状態である。また、未召喚状態では、プロジェクタ４は起動しているものの、スピーカ７０５やカメラ７２２等は起動しておらず、環境信号を検出することはできない。画像表示装置１は、未召喚状態では、ステータスＬＥＤ７０８が点灯している。

《召喚状態》
未召喚状態（Ｓ４）でタッチボタン２６が長押しされると、「召喚状態」に移行する（Ｓ５）。タッチボタン２６が長押しされるとは、所定時間以上（例えば、３秒以上）、ユーザにタッチボタン２６が触れられることをいう。この召喚状態が、画像表示装置１における特徴的な画像の表示や音声の出力の処理が実行される状態である。召喚状態は、画像表示装置１は、プロジェクタ４が起動しておりキャラクター画像が表示されるとともに、スピーカ７０５、カメラ７２２等が起動して環境信号の検出が可能な状態である。また、「召喚状態」では、（ａ）コミュニケーションモード、（ｂ）ライフモード、（ｃ）ケアモード、（ｄ）アピールモード、（ｅ）チャットモード等のモードがあり、これらのモード毎に所定の処理が実行される。

《スリープ状態》
未召喚状態（Ｓ４）で電源ボタンが押下されるか、所定時間放置されると、「スリープ状態」に移行する（Ｓ６）。「所定時間放置される」とは、例えば、所定時間以上（例えば、２０分以上）タッチボタン２６が長押しされることがない状態である。スリープ状態は、省電力の待機モードの状態であり、プロジェクタ４も起動しておらず、スピーカ７０５やカメラ７２２等も起動していない状態である。画像表示装置１は、スリープ状態では、ステータスＬＥＤ７０８が点灯している。

画像表示装置１は、スリープ状態で、ユーザにより、電源ボタンが押下、又は、タッチボタン２６がタッチされると、未召喚状態に移行する。「タッチボタンがタッチされる」とは、所定時間未満（例えば、３秒未満）の時間、ユーザにタッチボタン２６が触れられることをいう。

次に、召喚状態における、（ａ）コミュニケーションモード、（ｂ）ライフモード、（ｃ）ケアモード、（ｄ）アピールモード、（ｅ）チャットモードについて説明する。

（ａ）コミュニケーションモード
コミュニケーションモードは、キャラクター画像が表示され、キャラクターとユーザとがコミュニケーションをとることが可能な状態である。具体的には、画像表示装置１は、コミュニケーションモードでは、取得処理部７１１が取得する環境信号に応じたキャラクター画像を表示する。また、画像表示装置１は、環境信号に応じた演出用画像を表示する。さらに、画像表示装置１は、環境信号に応じて音声を出力する。

画像表示装置１は、未召喚状態から、タッチボタンが長押しされ、召喚状態に移行したとき、まず初めにコミュニケーションモードとなる。また、画像表示装置１は、コミュニケーションモードのタイミングで、所定時間以上（例えば、１０分以上）継続して、環境信号が取得されず、また、操作信号等の信号を受信しない場合、ライフモードに移行する。

例えば、画像表示装置１では、マイク７０４によって環境信号であるユーザが発した「今日の天気は？」の言葉が検出されると、これに応じて、データ管理部７１６によって記憶装置７５に記憶された天気情報に基づき、スピーカ７０５から「今日は晴れだよ」等の音声が出力される。また、画像表示装置１では、透過フィルム３に、晴れに対する喜びを表す動作をするキャラクター画像が表示される。さらに、画像表示装置１では、透過フィルム３に、晴れの天気を演出する演出用画像が表示される。演出用画像としては、図１７Ａに示すように、単なる画像だけの他、「今日は晴れだよ」の文字を吹き出しで表示するなどテキストデータとの組み合わせであってもよい。これにより、ユーザは、今日の天気を教えてくれた、キャラクターと暮らすような感覚を覚え、キャラクターをより身近に感じることができる。なお、演出用画像は必須のものではなく、ランダムで表示非表示を切り替えることとしてもよい。

また例えば、画像表示装置１では、ユーザが画像表示装置１に近づき、カメラ７２２によってユーザの顔が大きく検出されると、これに応じて、スピーカ７０５から「近すぎだよ」等の音声が出力される。また、画像表示装置１では、透過フィルム３に、ユーザの顔が近くにあることを恥ずかしがる動作をするキャラクター画像が表示される。さらに、画像表示装置１では、キャラクターの恥ずかしがる感情を演出する演出用画像が表示される。演出用画像としては、図１７Ｂに示すように、単なる画像だけの他、「近すぎだよー」の文字を吹き出して表示するなどテキストデータとの組み合わせであってもよい。これにより、ユーザは、近くによると恥ずかしがるキャラクターと暮らすような感覚を覚え、キャラクターをより身近に感じることができる。

この場合、例えば、図１７Cに示すように、画像表示装置１は、環境信号を取得すると（Ｔ１）、取得した環境信号に応じてキャラクターのキャラクター画像を表示するとともに、当該環境信号に応じて当該キャラクターの感情表現を演出する演出用画像を表示する（Ｔ２）。また、画像表示装置１は、取得した環境信号に応じた音声を出力する（Ｔ３）。なお、ステップＴ２とＴ３とは同時に実行されることが好ましい。

さらに、例えば、画像表示装置１では、ユーザがタッチボタン２６を複数回押すことで、複数回呼びかけてキャラクターの行動を邪魔するような動作をすると、これに応じて、スピーカ７０５から「もう、なんなのー」の音声が出力される。また、画像表示装置１では、透過フィルム３に、ユーザに複数回呼びかけられたことで、邪魔されたような動作をするキャラクター画像が表示される。さらに、画像表示装置１では、透過フィルム３に、ユーザの複数回の呼びかけを問うような演出用画像が表示される。これにより、ユーザは、複数回の呼びかけに対応するキャラクターに対しより身近に感じることができ、キャラクターと暮らすような感覚を覚えることができる。

また例えば、画像表示装置１では、ユーザの通信端末から、キャラクターに物を送るような信号を送信すると、これに応じ、スピーカ７０５からこれを喜ぶような音声が出力され、また、透過フィルム３で送信された物を使用するキャラクターが表示されたりする。

図１８Ａに示すように、ユーザの通信端末を操作し、画像表示装置１のキャラクターに「テレビ」を送信する。そうすると、画像表示装置１において、図１８Ｂに示すように、演出用画像としてテレビが表示される。また、演出用画像には、例えば、「一緒にテレビみよ」という文字が吹き出しに含まれていてもよい。この場合、画像データ７５１において、テレビを送信する送信信号には、図１８Ｂに示すキャラクター画像及び演出用画像が対応付けられる。

さらに、画像表示装置１において、「一緒にテレビみよ」という音声が出力される。この場合、音声データ７５２において、テレビを送信する送信信号には、「一緒にテレビみよ」という音声が出力される。

そして、対象のテレビ番組が終了すると、図１８Ｃに示すように、画像表示装置１には、「おもしろかった」という文字を吹き出しに含む演出用画像が表示されてもよい。同時に、画像表示装置１は、「おもしろかった」という音声が出力される。この場合、画像データ７５１において、テレビを送信する送信信号を受信後所定時間が経過（テレビ番組が終了）したことを条件として、「おもしろかった」を含む演出用画像が対応付けられる。また、音声データ７５２において、テレビを送信する送信信号を受信後所定時間が経過（テレビ番組が終了）したことを条件として、「おもしろかった」の音声が対応付けられる。なお、テレビ番組の内容として、「面白い」がふさわしくない場合もあるため、その感想としてふさわしい感想の音声を選択して出力するようにしてもよい。

加えて、ユーザがテレビを視聴の間、ユーザが笑ったりした場合、画像表示装置１は、ユーザの笑い声を検出すると、同時にキャラクターの笑う音声を出力するようにしてもよい。このようなキャラクター画像、演出用画像及び音声を出力することで、ユーザがキャラクターとともにテレビを視聴するような感覚を覚えることができる。

例えば、ユーザの通信端末の入力装置がタッチパネルであるとき、送信操作は、送信する物質の画像を、画像表示装置１の方向に向かって、フリックすることで、実行することができる。

図１８Ｄに示すように、ユーザの通信端末を操作し、画像表示装置１のキャラクターに「コーヒー」を送信する。そうすると、画像表示装置１において、図１８Ｅに示すように、演出用画像としてコーヒーが表示される。また、演出用画像には、例えば、「コーヒーブレイクしよう」という文字が吹き出しに含まれていてもよい。この場合、画像データ７５１において、コーヒーを送信する送信信号には、図１８Ｅに示すキャラクター画像及び演出用画像が対応付けられる。

さらに、画像表示装置１において、「コーヒーブレイクしよう」という音声が出力される。この場合、音声データ７５２において、コーヒーを送信する送信信号には、「コーヒーブレイクしよう」という音声が出力される。

そして、所定時間（例えば、１０分）が経過すると、図１８Ｆに示すように、画像表示装置１には、「ごちそうさまでした」という文字を吹き出しに含む演出用画像が表示されてもよい。同時に、画像表示装置１は、「ごちそうさまでした」という音声が出力される。この場合、画像データ７５１において、コーヒーを送信する送信信号を受信後所定時間が経過したことを条件として、「ごちそうさまでした」を含む演出用画像が対応付けられる。また、音声データ７５２において、コーヒーを送信する送信信号を受信後所定時間が経過したことを条件として、「ごちそうさまでした」の音声が対応付けられる。

加えて、コーヒーを飲む間、画像表示装置１は、キャラクターがコーヒーを飲む動画像を表示したり、「おいしいね」等の音声を出力したりするようにしてもよい。このようなキャラクター画像、演出用画像及び音声を出力することで、ユーザがキャラクターとともにコーヒーを飲むような感覚を覚えることができる。

図１８Ｇに示すように、ユーザの通信端末を操作し、画像表示装置１のキャラクターに「食べ物（図１８Ｇでは、ドーナツ）」を送信する。そうすると、画像表示装置１において、図１８Ｈに示すように、演出用画像として食べ物が表示される。また、演出用画像には、例えば、「ありがとう」という文字が吹き出しに含まれていてもよい。この場合、画像データ７５１において、食べ物を送信する送信信号には、図１８Ｈに示すキャラクター画像及び演出用画像が対応付けられる。

さらに、画像表示装置１において、「ありがとう」という音声が出力される。この場合、音声データ７５２において、食べ物を送信する送信信号には、「ありがとう」という音声が出力される。

そして、所定時間（例えば、１０分）が経過すると、図１８Ｉに示すように、画像表示装置１には、「おいしかった」という文字を吹き出しに含む演出用画像が表示されてもよい。同時に、画像表示装置１は、「おいしかった」という音声が出力される。この場合、画像データ７５１において、食べ物を送信する送信信号を受信後所定時間が経過したことを条件として、「おいしかった」を含む演出用画像が対応付けられる。また、音声データ７５２において、食べ物を送信する送信信号を受信後所定時間が経過したことを条件として、「おいしかった」の音声が対応付けられる。

ここで、演出用画像は、ユーザの通信端末から画像表示装置１に物質がとばされてきたように演出させることもできる。このとき、例えば、転送時には、黄色等の光で光っており、キャラクター画像がこの物質を持った場合に、その光が消えるように演出することもできる。

また、通信端末から画像表示装置１に物質を転送する他、画像表示装置１からユーザ端末に物質を転送するように演出してもよい。例えば、画像表示装置１がコーヒーメーカーを操作した際に、キャラクターから通信端末にコーヒーカップを転送するように演出させることができる。

図１９Ａに示すようにユーザの通信端末で表示される複数種類の衣類やアクセサリーの中から、図１９Ｂに示すように、いずれかを選択し、選択した衣類等を送信する操作を可能としてもよい。そうすると、画像表示装置１において、図１９Ｃに示すように、送信した衣類を身に着けたキャラクターのキャラクター画像が表示される。また、演出用画像には、例えば、「ありがとう」という文字が吹き出しに含まれていてもよい。さらに、画像表示装置１において、「ありがとう」という音声が出力される。

この場合、画像データ７５１において、当該送信信号には、図１９Ｃに示すキャラクター画像及び演出用画像が関連付けられる。また、音声データ７５２において、当該送信信号には、「ありがとう」という音声が関連付けられる。

このようなキャラクター画像、演出用画像及び音声を出力することで、ユーザがキャラクターにプレゼントをしたような感覚を覚えることができる。また、ユーザは、キャラクターに好みの服を着せることができる。したがって、ユーザはキャラクターをより身近に感じることができる。

その他、ユーザがハブラシのデータを送信すると、画像表示装置１は、キャラクターが歯磨きをする様子の画像を表示し、ユーザはキャラクターとともに歯磨きできるようにしてもよい。また、ユーザが縄跳びやダンベルのデータを送信すると、画像表示装置１は、運動をする様子の画像を表示し、ユーザはキャラクターとともに運動できるようにしてもよい。

なお、記憶装置７５において、キャラクターの好みに関する嗜好データや過去に送信したアイテムやプレゼントに関する履歴データを記憶していてもよい。この場合、図１８Ａ乃至図１９Ｃで上述したようなアイテムやプレゼントを送信すると、その嗜好や履歴によって、キャラクターの反応が異なるようにしてもよい。例えば、キャラクターが好きなアイテムを送信した場合、キャラクターの喜びが大きい画像と音声で表現される。これに対し、キャラクターが特に好きではないアイテムを送信した場合、キャラクターの喜びが小さい画像と音声で表現される。また、同じアイテムを送信し続けた場合、喜び方が小さくなるようにしてもよい。さらに、食べ物を送信する頻度が多くなると、「太っちゃうよー」等と画像と音声で表現されるようにしてもよい。このように、キャラクターの反応が常に同一ではないため、ユーザは、キャラクターにより親しみをもつことができる。

また、さらには、コミュニケーションモードにおいては、画像表示装置１は、ユーザとする会話の話題を選択するにあたって、取得処理部７１１が取得する環境信号以外に、所定の確率（予め定められた確率で、過去のコミュニケーションに関連する会話を行うか否かを判定するための確率。この確率は、適宜、変動することとしてもよい）で、過去においてした会話の内容及び後述するチャットモードにおいて画像表示装置１がユーザの通信端末との間で実行したチャットの内容に応じた話題に基づくランダム会話を実行する。

具体的には、制御部７１は、人感センサ７０２が人（ユーザ）を検出しているときに、ランダムなタイミングで、乱数を生成するプログラムに従って生成したランダムな数値（例えば、０〜１００の数値）が、所定の閾値を超えるか否かを判定し、この閾値を超えた場合に、制御部７１は、会話履歴データ７５５と、チャット履歴データ２５６とを記憶装置７５から読み出す。そして、会話履歴データ７５５の会話内容情報９０３と、チャット履歴データ２５６のチャット内容情報１００３とに含まれる会話の内容からキーワードを選択し、そのキーワードに応じた画像データ７５１及び音声データ７５２から読み出して、キーワードと一致するタグを有する画像データと音声データを特定し、表示処理部７１３が特定した画像データをプロジェクタ４から出力するとともに、音声出力部７１４が特定した音声データをスピーカ７０５から出力する。ランダムな会話において、画像表示装置１が過去において実行した会話の話題に関連する会話を行うので、ユーザは、画像表示装置１に表示されるキャラクターにより親近感を覚える。また、ユーザが自身の通信端末でしたチャットの内容に関する話題に基づく会話も行うので、ユーザは、より一層、キャラクターに親近感を覚え、身近に感じることができる。また、ユーザがした会話に対して音声認識処理を行うことで、画像表示装置１は、会話のテキストデータを得て、会話履歴データ７５５に会話の内容を追加し、以降の会話及びチャットに利用することができる。例えば、チャットでユーザがした「野球の試合を見てるよ」というチャット内容を受けて、キャラクターが「今日、テレビで野球中継をやるよ」というような発言をさせることで、ユーザにキャラクターと行ったチャットの内容を思い出させることができるとともに、キャラクターがそのことを覚えてくれていたことに、ユーザは、親近感を感じることができる。また、画像表示装置１は、音声認識した結果から、出力条件に対応する音声を出力したり、ランダム会話の対応する会話の音声を出力したりすることができる。

以下、このようなコミュニケーションモードを実現する画像表示装置１の汎用動作を説明する。

図２０に示すように、取得処理部７１１は、各種の環境信号を取得する（Ｓ１６１）。取得処理部７１１が取得した各種の環境信号は、解析部７１２に伝達され、解析部７１２は伝達された環境信号を解析する（Ｓ１６２）。解析結果及び画像データ７５１、音声データ７５２、信号データ７５３等を参照して、制御部７１は、キャラクターが実行すべきキャラクター動作が規定された条件のいずれかに合致するかを判定する（Ｓ１６３）。判定の結果、実行すべきキャラクター動作があった場合には（Ｓ１６３：ＹＥＳ）、音声出力部７１４は、対応する音声を出力するとともに、表示処理部７１３は対応するキャラクター画像をプロジェクタ４から投影する（Ｓ１６４）。解析の結果、実行すべきキャラクターが動作がない場合には（Ｓ１６４：ＮＯ）、制御部７１は、ステップＳ１６５の処理に移行する。

ステップＳ１６５において、制御部７１は、例えば、０〜１００のランダム値を生成する（Ｓ１６５）。なお、ランダム値は０〜１００の範囲に限られない。制御部７１は、生成したランダム値と、これと比較するための閾値との間で大小を比較する。ランダム値が閾値よりも大きい場合に（Ｓ１６６：ＹＥＳ）ステップＳ１６７に移行し、ランダム値が閾値以下である場合に（Ｓ１６６：ＮＯ）、処理を終了する。

ステップＳ１６７において、制御部７１は、会話履歴データ７５５及びチャット履歴データ７５６を読み出す。読み出した会話履歴データ７５５の会話内容情報９０３とチャット履歴データ７５６のチャット内容情報１００３とからキーワードを抽出する。これは、例えば、構文解析等により実現できる。そして、例えば、直近（例えば１日）のキーワードの登場頻度の高いキーワードを選択する。当該キーワードの選択は、ランダムであってもよいし、その他の基準で選択することとしてもよい。

制御部７１は、選択したキーワード及びステップＳ１６１で取得した環境信号に合致する会話があるか否かを、ランダム会話データ７５７を参照して特定する（Ｓ１６８）。そして、音声出力部７１４は、特定した会話の音声をスピーカ７０５から出力する。また、このとき、表示処理部７１３は、対応するキャラクター画像があれば、それを投影し（Ｓ１６９）、処理を終える。例えば、キャラクターがする会話の内容が「野球」に関する内容であれば、キャラクターが野球のユニフォームを着ている画像を表示したり、ボールやバットなどのアイテムを持たせた画像を表示したりする。

図２０の処理は、コミュニケーションモードにおいて繰り返し実行される。このように、ランダムな会話において、キャラクターは、ユーザと過去に交わした会話内容や、実行したチャットの内容に基づく、会話を行うので、ユーザはキャラクターとの間の歴史の積み重ねを感じて、よりキャラクターを身近に感じることができる。

（ｂ）ライフモード
ライフモードは、キャラクター画像が表示され、このキャラクター画像が環境信号に依存せず、例えば、時刻に応じて変化する状態である。例えば、画像表示装置１では、朝であれば、朝ごはんを作ったり、朝ごはんを食べたり、掃除をしたりする画像が表示される。昼であれば、昼ごはんを作ったり、昼ごはんをたべたり、アイロンをかけたりする画像が表示される。夜であれば、夕ごはんを作ったり、夕ごはんを食べたり、ストレッチをしたりする画像が表示される。

その他、キャラクターが洗濯をしたり、掃除をしたり、歯磨きをしたり、シャワーをしたりする画像であってもよい。また、単に、キャラクターが、椅子に座って足をぶらぶらする画像や、椅子に座ってスマートフォン等の通信端末を操作する画像、椅子に座って絵を書く画像等を表示してもよい。その他、キャラクターがベッドの上で漫画を読む画像、ベッドの上で周りを見回す画像、ベッドの上で寝ている画像等を表示してもよい。

また、この頻度や確率を管理することが可能であり、日によって、異なる動作をする画像を表示するようにすることも可能であり、また、動作時間は、完全に同一でなくてもよく、ある範囲の中でランダムに選択される。これにより、また、ユーザが興味のある行動については、長い時間表示されるようにしてもよい。例えば、朝ごはんを作っているときにユーザが「かわいいね」ということが多い場合、朝ごはんを作る画像を表示する時間を長くすることができる。

画像表示装置１は、ライフモードのタイミングで、タッチボタン２６が触れられると、コミュニケーションモードに移行する。また、ライフモードにおいて、所定のタイミングで、ケアモードやアピールモードに移行する。

（ｃ）ケアモード
ケアモードは、予め登録されたユーザのスケジュールに応じ、所定の各タイミングで、キャラクター画像や演出用画像を表示し、タイングに応じた音声を出力する。例えば、画像表示装置１は、「おはよう」、「いってらっしゃい」、「おはよう」、「おやすみ」等の音声を出力する。

例えば、ユーザは、通信端末等を利用し、事前に図２１Ａに示すような登録画面Ｗ１を介して、各時刻入力ボックスｂ１１〜ｂ１４に時刻を入力し、日々の行動の「起床時間」、「外出時間」、「帰宅時間」及び「就寝時間」を登録する。

また、このスケジュールに変更が生じた場合、再度この登録画面Ｗ１を利用して更新することもできるが、１日のみ予定を変更したい場合、後述するチャットモードにより、図２１Ｂに示すようなチャット画面Ｗ２を利用して変更してもよい。チャット画面Ｗ２は、送信するメッセージを入力する入力部ｂ２１と、入力したメッセージを送信する送信部ｂ２２と、メッセージ例が表示されるメッセージ表示部ｂ２３と、送信されたメッセージが表示されるメッセージ表示部ｂ２４とを有する。

図２２のチャートに示すように、画像表示装置１は、『起床モード』を実行することができる。具体的には、登録された起床時間の所定時間前（例えば、「１時間前」）に、『起床モード』が開始される（Ｓ２０１）。

この状態で、解析部７１２によりユーザの顔が検出される、又は、タッチボタン２６がタッチされると、ユーザが起床したと判定される。また、ユーザが起床したことを条件に、表示処理部７１３により「おはよう」の挨拶をするキャラクター画像及び演出用画像が表示され、音声出力部７１４により「おはよう」の挨拶が出力される（Ｓ２０２）。

その他、ユーザの行動に応じた言葉が出力されてもよい。ユーザが登録される起床時間より早く目覚めた場合、「シャキッと目覚めたね」の音声を出力することができる。ユーザが前日に遅刻した場合、「今日は遅刻しないでね」の音声を出力することができる。カーテンが閉まっていることが検出された場合、「カーテン開けようね」の音声を出力することができる。ユーザの前日の就寝時間が遅く、今日の起床時間が遅い場合、「昨日遅くまで起きているからよ」の音声を出力することができる。

ユーザの起床が判定されると、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ２０３）。例えば、起床後に起動する家電として、コーヒーメーカーがセットされている場合、コーヒーメーカーが起動される。

また、ユーザの起床が判定されると、朝の情報通知の画像や音声を出力する（Ｓ２０４）。例えば、「日付」、「天気」、「気温」等を通知する画像や音声を出力する。

家電の操作や朝の情報通知に関する画像や音声の出力に対してユーザが発した音声が検出されると、これに対するキャラクターの挨拶の音声が出力される（Ｓ２０５）。例えば、ユーザが発した「ありがとう」が検出されると、キャラクターの音声として「どういたしまして」等の音声が出力される。その後、所定時間が経過すると、ライフモードに移行する（Ｓ２１３）。

また、未召喚状態の場合に、起床時間の所定時間前（例えば、３０秒前）までに、解析部７１２によりユーザの顔が検出されず、又は、タッチボタン２６がタッチされていないとき、召喚状態となる（Ｓ２０６）。

未召喚状態から召喚状態となると、送信処理部７１５は、操作信号を送信し、予め登録される家電を操作する（Ｓ２０７）。

また、起床時刻まで解析部７１２によってユーザの顔検出がされないとき、表示処理部７１３はユーザを起こす画像を表示し、音声出力部７１４がユーザを起こす音声を出力し、目覚まし機能を開始する（Ｓ２０８）。例えば、ユーザを起こす音声としては、キャラクターの「朝だよ」等の音声である。

解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、ステップＳ２０２に移行する。一方、ユーザの顔も検出されず、タッチボタン２６のタッチもされないとき、スヌーズ機能として、ユーザを起こす画像と音声の出力を継続する（Ｓ２０９）。例えば、ユーザを起こす音声は、徐々の大きくすることができる。また、画像表示装置１から出力される光の光量を上げてもよい。

解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、ステップＳ２０２に移行する。一方、ユーザの顔も検出されず、タッチボタン２６のタッチもされないとき、送信処理部７１５が操作信号を送信し、予め登録される家電を操作する（Ｓ２１０）。

さらに、ユーザを起こす画像と音声を最終手段の画像及び音声とする（Ｓ２１１）。例えば、表示処理部７１３は、キャラクターがフライパンをたたく画像を表示する。また、例えば、音声出力部７１４は、キャラクターが「起きないとおくれるよー」と言いながらフライパンがたたかれる音を含む音声を出力する。

その後、解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、ステップＳ２０２に移行する。一方、解析部７１２により顔検出がされず、タッチボタン２６の検出もないとき、画像表示装置１は、ユーザの状態を不明とし（Ｓ２１２）、ライフモードに移行する（Ｓ２１３）。

図２３のチャートに示すように、画像表示装置１は、『外出モード』を実行することができる。具体的には、登録された外出時間の所定時間前（例えば、「５分前」）に、『外出モード』が開始され、未召喚状態（Ｓ３０１）から召喚状態に移行する（Ｓ３０２）。

また、出発時刻になると、アラートの画像及び音声が出力される（Ｓ３０３）。例えば、アラートとは、ユーザを急がせるようなキャラクターの画像とキャラクターの「出発だよ」の音声等である。

また、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ３０３）。

さらに、表示処理部７１３は、外出チェックの画像を表示し、音声出力部７１４は、外出チェックの音声を出力する（Ｓ３０４）。例えば、予定の確認、忘れ物の確認、降水確率が高い場合に傘を持つよう促す確認等を通知する画像や音声を出力する。

また、出発時刻になると、表示処理部７１３は、出発を急がせる画像を出力し、音声出力部７１４は、出発を急がせる音声を出力する（Ｓ３０５）。例えば、キャラクターが慌ただしく動く動画像と、キャラクターの「もう出発時間！遅刻だよ」等の音声である。

解析部７１２がユーザの「行ってきます」の音声を検出したとき、表示処理部７１３は、これに応じた画像を表示し、音声出力部７１４は、これに応じた音声を出力する（Ｓ３０６）。例えば、表示処理部７１３は、ユーザに手を振るキャラクター画像を表示する。また、音声出力部７１４は、「いってらっしゃい」等の音声を出力する。また、出力する音声は、登録されるユーザのスケジュールやユーザの行動履歴等に応じて変更してもよい。

その後、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ３０７）。

ステップＳ３０５で出発時刻を通知後、又は、ステップＳ３０７で家電を操作後、ライフモードに移行する（Ｓ３０８，Ｓ３０９）。さらに、所定時間（例えば、１０分）経過後、人感センサ７０２によって人が検出されない場合、スリープ状態に移行する（Ｓ３１０）。

図２４に示すように、画像表示装置１は、環境信号に応じて「外出・帰宅判定」が可能であり、これに応じて『帰宅モード』を実行することができる。具体的には、図１９を用いて上述した『外出モード』において外出が判定された後、画像表示装置１がスリープ状態であるとき（Ｓ４１）、ユーザの通信端末から帰宅予定のメッセージを受信すると、帰宅準備として、召喚状態に移行する（Ｓ４２）。

その後、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ４３）。

また、画像表示装置１は、人感センサ７０２で人を検出したタイミング、家の照明の電源がオンにされたタイミング、ドアが開けられたタイミングで、帰宅をしたと予想する「帰宅予想」と判定する（Ｓ４４）。ここで、ドアの開閉は、気圧センサ（図示せず）による気圧の変化の検出や、騒音センサ６１３による音の検出によって判定することができる。また、帰宅予想が判定されると、音声出力部７１４は、「帰ってきたみたいだー」等の音声を出力してもよい。

帰宅予想が判定されると、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ４５）。

また、画像表示装置１は、解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、「帰宅」と判定される。また、ユーザが帰宅したことを条件に、表示処理部７１３は、帰宅の挨拶をするキャラクター画像及び演出画像が表示され、音声出力部７１４により帰宅の挨拶の音声が出力される（Ｓ４６）。例えば、帰宅の挨拶としては、「おかえり」に限られず、「今日も遅いんだから―」、「今日は早ね」、「今日はおそいね」、「おつかれさま」等、日々のユーザの行動履歴等に基づいて決定される音声を含むことができる。

ユーザが発した音声が検出されると、これに対してキャラクターの返答の音声が出力される（Ｓ４７）。例えば、キャラクターは、その日にしたこととして、「昨日ドーナツを食べたから、今日は運動したよ」等の音声を出力してもよい。また、家で起きたことを知らせてもよい。例えば、玄関のチャイムが複数回鳴った場合、「今日は誰かが来ていたよ」等の音声を出力してもよい。

一方、帰宅予想を判定後、所定時間（例えば３０秒間）、帰宅が判定できないとき、帰宅確認をする（Ｓ４８）。例えば、帰宅確認とは、音声出力部７１４によって、「帰ってきたの？顔みせなさいよ」等の音声を出力する。また、表示処理部７１３によって、拗ねたようなキャラクター画像や怒ったようなキャラクター画像と、演出用画像を表示する。

ステップＳ４７でユーザの挨拶に対して返答した後、又は、ステップＳ４８で帰宅確認をした後、ライフモードに移行する（Ｓ４９）。

（ｄ）アピールモード
アピールモードは、時刻やセンサ等で検出される信号等に応じ、各条件に応じたキャラクター画像や演出画像を表示し、各条件に応じた音声を出力する。例えば、画像表示装置１は、時刻に応じて、「もう８時だよ」等の音声を出力することができる。また、画像表示装置１は、温度に応じて、「なんか暑いね」等の音声を出力することができる。これにより、ユーザは思わぬタイミングでキャラクターから話しかけられるため、キャラクターをより身近に感じることができる。

（ｅ）チャットモード
チャットモードは、ユーザが外出中等、画像表示装置１と離れた場所にいる場合、ユーザが保持する通信端末との間でメッセージの送受信を実現する。ユーザが保持する通信端末とは、例えば、スマートフォンや携帯電話機等の携帯通信端末のことである。

チャットモードにおける基本的なアルゴリズムは、ユーザとの会話と同様に行うことができる。ただし、ユーザからの音声入力に代えて、チャット上の文字列を入力として画像表示装置１は、チャットを行う。

図２５は、チャットモードに画像表示装置１の動作を示すフローチャートであって、チャットモードで動作中のフローチャートである。なお、チャットモードを実行する場合、ユーザは、自身の通信端末で画像表示装置１とのチャットを行うためのチャットアプリケーションを実行する。すると、ユーザの通信端末からチャットアプリケーションの起動信号がネットワークを介して画像表示装置１に送信される。すると、画像表示装置１の制御部７１は、チャットモードを起動し、ユーザの通信端末との間のチャットを、チャットサーバを介して開始する。なお、画像表示装置１は、人感センサを用いてユーザが周囲にいないことを検出して、所定の条件のもとで、画像表示装置１側からチャットモードを起動し、ユーザの通信端末にチャットアプリケーションの起動信号を送信してチャットを開始することとしてもよい。当該チャットサーバは、画像表示装置１のための専用サーバであってもよいし、汎用のチャットサーバであってもよい。

図２５に示すように、まず、取得処理部７１１は、各種の環境信号を取得する（Ｓ５０１）。この環境信号は、チャット上でユーザが入力した最新の発言を含んでよい。取得処理部７１１が取得した各種の環境信号は、解析部７１２に伝達され、解析部７１２は伝達された環境信号を解析する（Ｓ５０２）。解析部７１２は、ユーザのチャット上の発言内容の文字列に対して構文解析を行って、発言内容を認識する。また、解析部７１２は、その他の環境信号、例えば、天候情報などから状況を判断する。制御部７１は、解析結果及び音声データ７５２、信号データ７５３等を参照して、キャラクターが実行すべきチャット上の発言が規定された条件のいずれかに合致するかを判定する（Ｓ５０３）。なお、音声データ７５２は、音声を規定する情報ではあるが、会話という概念においてチャットと共通することから、チャットにおいても利用できる。判定の結果、発言すべき内容があった場合には（Ｓ５０３：ＹＥＳ）、送信処理部７１５は、特定した発言内容のメッセージをチャットアプリケーションを介して、ユーザの通信端末に送信する（Ｓ５０４）。解析の結果、実行すべきキャラクター発言がない場合には（Ｓ５０４：ＮＯ）、制御部７１は、ステップＳ５０５の処理に移行する。

ステップＳ５０５において、制御部７１は、例えば、０〜１００のランダム値を生成する（Ｓ５０５）。なお、ランダム値は０〜１００の範囲に限られない。制御部７１は、生成したランダム値と、これと比較するための閾値との間で大小を比較する。ランダム値が閾値よりも大きい場合に（Ｓ５０６：ＹＥＳ）ステップＳ５０７に移行し、ランダム値が閾値以下である場合に（Ｓ５０６：ＮＯ）、処理を終了する。

ステップＳ５０７において、制御部７１は、会話履歴データ７５５及びチャット履歴データ７５６を読み出す。読み出した会話履歴データ７５５の会話内容情報９０３とチャット履歴データ７５６のチャット内容情報１００３とからキーワードを抽出する（Ｓ５０７）。これは、例えば、構文解析等により実現できる。そして、例えば、直近（例えば１日）のキーワードの登場頻度の高いキーワードを選択する。当該キーワードの選択は、ランダムであってもよいし、その他の基準で選択することとしてもよい。

制御部７１は、選択したキーワード及びステップＳ５０１で取得した環境信号に合致する会話があるか否かを、ランダム会話データ７５７を参照して特定する（Ｓ５０８）。そして、送信処理部７１５は、特定した発言の内容を示すメッセージを、チャットアプリケーションを介してユーザの通信端末に送信する（Ｓ５０９）。また、このとき、送信処理部７１５は、対応するキャラクター画像があれば、その画像をチャット上で表示するための画像データをチャットアプリケーションを介して送信し、処理を終える。例えば、キャラクターがする会話の内容が「野球」に関する内容であれば、キャラクターが野球のユニフォームを着た画像を送信したり、ボールやバットなどのアイテムを持たせた画像を送信する。

図２５の処理は、チャットモードにおいて繰り返し実行される。このように、チャットにおけるランダムな会話において、キャラクターは、ユーザと過去に交わした会話内容や、実行したチャットの内容に基づく、発言を行うので、ユーザはキャラクターとの間の歴史の積み重ねを感じて、よりキャラクターを身近に感じることができる。そして、画像表示装置１は、図２０の処理と図２５の処理とにより、会話の内容とチャットの内容が互いに連動する構成を実現できている。なお、チャットの内容が以降の会話の内容に反映され、会話の内容が以降のチャットの内容にも反映されるように構成されていれば、画像表示装置１は、本実施の形態に示したアルゴリズム以外のアルゴリズムに従って動作して、同様の構成を実現してもよいことはいうまでもない。

上述の構成により、例えば、図２６Ａに示すようなチャットを行うことができる。図２６Ａは、ユーザの通信端末におけるチャット画面の表意例を示している。チャット画面Ｗ３には、ユーザとキャラクターとの発言内容が表示される。ユーザは、通信端末のタッチパネル（図示せず）を利用して、入力部ｂ２１にメッセージを入力し、送信部ｂ２２をタッチしてメッセージを送信する。

また、このチャットにおいては、図２６Ｂのチャット画面Ｗ４に示すように、通常のチャットとは異なり、キャラクターから、質問が投げかけられて、それに対する回答としての選択肢ｂ２２０を表示することもできる。これは、画像表示装置１との間で専用のチャットアプリケーションをユーザの通信端末にインストールすることで実現することができる。また、この場合、チャットサーバは、この制御を実現するための画像表示装置１からのコマンドをユーザの通信端末に中継する機能を有する。このコマンドには、ユーザが選択した回答のコマンドも含まれる。このような構成にすることで、ユーザにキャラクターとのゲームをしている感覚を与えることもできる。したがって、ユーザは、キャラクターとゲーム感覚でチャットを楽しむこともができる。

なお、本実施の形態においては、会話履歴データ７５５及びチャット履歴データ７５６を利用した会話やチャットはランダムに実行することとしているが、これはその限りではなく、予め定められた条件が満たされた場合には、必ず実行するようにしてもよいことはいうまでもない。

《音声に関する動作》
例えば、ユーザがマイク７０４に向かってキャラクターの名前を呼ぶと、画像表示装置１は、その名前に対応するキャラクターの画像を表示させることができる。また、ユーザが、表示されたキャラクターに特定の話題について話しかけると、画像表示装置１は、ユーザに対して応答した音声を出力することができる。

このため、ユーザは、好きなときに、好きなキャラクターを呼び出すことができ、このキャラクター等をより立体的に見せることが可能な透明なケース２の中に表示させることができる。また、ユーザがキャラクター等に向かって話しかけると、あたかもそのキャラクター等が、ユーザの話しかけに応じた振る舞いをするように動作させることができる。このため、同じ空間にいるキャラクター等と一緒に生活をしているかのような感覚をユーザに与えることができる。

また、音声入力に応じて照明の点灯／消灯を制御することもできる。例えば、「電気消して」や「おやすみなさい」の音声がマイク７０４から入力されると、制御部７１は、予めこの文字列に紐付けて記憶装置７５に記憶されている照明の消灯に関するリモコン情報を記憶装置７５から取り出し、対応する赤外線情報を赤外線ＬＥＤ７０３から発信させる。これにより、室内の照明を消灯することができる。また、同様に、「おかえり」や「おはよう」に応じて照明を点灯することもできる。なお、ここで利用する信号は、赤外線情報以外を利用してもよい。

さらに、このような音声入力と、人感センサ７０２による人の検知を組み合わせた制御動作も可能である。例えば、ユーザの話しかけにより「いってきます」の音声をマイク７０４から入力すると、制御部７１は、この音声により得られる文字列に対応した監視モードに移行する。なお、キャラクター等による「いってらっしゃい」に対応して監視モードに移行することもできる。

監視モードは、ユーザが室内に存在しない状態におけるモードである。このため、監視モードは、ユーザの話しかけによる「ただいま」の音声を入力し、この音声により得られる文字列を検出すると解除することができる。なお、キャラクター等による「おかえりなさい」に対応して監視モードを解除することもできる。

監視モード中に、例えば、人感センサ７０２により人が検知されると、制御部７１は、これを異常と判断し、これを報知することができる。具体的には、所定の警報音や警告メッセージをスピーカ７０５から出力したり、通信部７６を介して予め登録した宛先に所定のメッセージを送信することができる。また、このとき、制御部７１は、カメラ７２２に室内を撮影させて、記憶装置７５に画像を記憶したり、通信部７６を介して予め登録した宛先に画像を送信することもできる。

なお、監視モード中に人感センサ７０２により人が検知された後、すぐに異常と判断して報知を行ってもよく、また、一定時間内に監視モードの解除がない場合に異常と判断して報知を行うこともできる。

《赤外線ＬＥＤに関する制御動作》
赤外線ＬＥＤ７０３を用いた制御動作として、以下の動作を行うことができる。具体的には、制御部７１は、タイマープログラムによって予めセットされた起床時刻になると、その時刻情報に紐付けられている行動情報に基づき、対応する機器の動作を制御する。

例えば、起床時（７：００）に「照明点灯」、就寝時（２３：００）に「照明消灯」といったタイマープログラムを登録した場合、制御部７１は、７：００になると、「照明点灯」のリモコン情報を記憶装置７５から取り出し、対応する赤外線情報を赤外線ＬＥＤ７０３から発信させ、２３：００になると、「照明消灯」のリモコン情報を記憶装置７５から取り出し、対応する赤外線情報を赤外線ＬＥＤ７０３から発信させる。このようにすると、所定の日時に所定の機器を自動的に動作させることができる。

このほか、温湿度センサ６１１により検知される温湿度に応じてエアコン等のオン／オフ制御を行ったり、時間帯に応じてテレビのオン／オフ制御を行うこともできる。

《センサに関する制御動作》
光センサ７２１を用い、例えば、昼間であるにもかかわらず、カーテンが開いていないことを検知して、ユーザにカーテンを開けるよう促すことができる。

具体的には、日の出の時刻をカレンダー情報として記憶装置７５に記憶しておき、その時刻を過ぎても、光センサ７２１から入力される照度が所定の照度に満たない場合、制御部７１は、予め記憶装置７５に記憶している音声データ（「カーテンあけよう」）を、スピーカ７０５から出力させる。

《騒音センサに関する制御動作》
騒音センサ６１３を用い、例えば、テレビが長時間つきっぱなしであることをユーザに注意することができる。具体的には、制御部７１は、騒音センサ６１３により入力された音の音量、周波数等に基づき、テレビがつけられたと判断すると、その判断をしたときから計時を開始し、その状態の時間が所定時間を超過した場合に、予め記憶装置７５に記憶している音声データ（「テレビ消そうよ」）を取り出し、スピーカ７０５から出力させる。これにより、省エネに貢献するとともに、あたかも嫁から注意されているかのような感覚をユーザに与えることができる。

《振動センサに関する制御動作》
振動センサ６１２を用い、地震の検出やその報知動作を行うことができる。

例えば、人感センサ７０２により人がいることが検知されていない状態において、振動センサ６１２により所定の大きさの揺れを検知した場合には、地震が発生したものと判断して、制御部７１は、所定の警報音や警告メッセージをスピーカ７０５から出力させ、又は、通信部７６を介して予め登録した宛先に所定のメッセージを送信することができる。

他方、人感センサ７０２により人がいることが検知されている状態において、振動センサ６１２により所定の大きさの揺れを検知した場合には、ユーザ等による人為的な行為によるものと判断し、報知を行わない。なお、この場合、例えば、音声メッセージ（「揺らしちゃダメ！」）をスピーカ７０５から出力させることができる。このようにすると、地震と生活振動とを精度良く区別しつつ、それぞれに対応した動作を行うことができる。

《温湿度センサに関する制御動作》
温湿度センサ６１１に対応した所定の音声出力制御を行うことができる。例えば、温湿度センサ６１１により検出された温度が１０°Ｃ未満の場合、制御部７１は、所定のタイミングで「今日は寒いね」といった音声をスピーカ７０５から出力させることができる。

また、温湿度センサ６１１により検出された湿度が４０％未満の場合には、所定のタイミングで「乾燥してるよ！風邪ひかないようにね」といった音声をスピーカ７０５から出力させることができる。

《画像に関する動作》
カメラ７２２で撮影された画像に対応した画像表示及び音声出力制御を行うことができる。例えば、カメラ７２２で取得した画像を利用してフェイストラッキングや表情検出を実行してキャラクターの画像を変更することができる。

具体的には、ユーザが移動すると、キャラクターがユーザの方を見るようなキャラクター画像を表示してもよい。また、キャラクターが、たまに目を背けてまた、ユーザの方を見るようなキャラクター画像を表示してもよい。さらに、ユーザが笑うと、笑い返すキャラクター画像を表示してもよい。また、ユーザがキャラクターとは違う方向を見ていた後で目が合うと、目が合ったタイミングでほほ笑むキャラクター画像を表示してもよい。さらに、ユーザが画像表示装置１に登録済みのカップで飲み物を飲んでいると、「私も飲む」という音声を出力して、同じカップで飲み物を飲むキャラクター画像を表示してもよい。さらに、ユーザが画像表示装置１に登録済みの服を着ていると、「かっこいい！」という音声を出力してもよい。

この他にも様々な入出力制御が可能である。

例えば、温湿度や天気情報の入力情報に基づいて、「傘持って行った方がいいよ」といった音声を出力させたり、ユーザからの「何着ていこうかな」といった音声入力に対し、温湿度、天気情報、カレンダー情報等に対応したおすすめの洋服を表示させたりすることができる。

《好感度に応じた動作》
画像表示装置１が表示するキャラクターは、キャラクターのユーザに対する好感度に応じて動作を異ならせてもよい。例えば、キャラクターの設定情報として予め、好きな言葉や色などの嗜好や、好みの動作、されてうれしいこと、等のキャラクター情報を設定するとともに、キャラクターのユーザに対する好感度を設定しておく。そして、キャラクターの嗜好に合致する会話やチャット、行動をユーザがとった場合に、キャラクターの好感度値を上げ、合致しない会話やチャット、行動をユーザがとった場合に、キャラクターの好感度を下げることとしてもよい。

そして、記憶装置７５においては、さらに、その好感度値に応じたキャラクターの行動を規定する情報を記憶しておいてもよい。例えば、ユーザがキャラクターに近い場合であって、キャラクターが「近すぎるよー」と発言する際に、好感度が低い場合には、怒ったような声色の音声を出力し、好感度が高い場合には、照れたような声色の音声を出力することとしてもよい。したがって、記憶装置７５は、好感度に応じた同内容のセリフの音声を複数記憶しておいてもよい。このようにすることで、画像表示装置１のキャラクターにより人間味を持たせることができ、ユーザにより親近感を覚えさせることができる。

また、画像表示装置１は、以下のような処理を実現してもよい。

《起床判定システム》
制御部７１は、例えば、カレンダーサイトで記憶装置７５に登録されたユーザの起床時刻を含むカレンダー情報と、データ管理部７１６が取得する時刻とを利用し、目覚ましの呼びかけをすることができる。その後、例えば、ユーザがベッドから起き上がり、解析部７１２で検出する顔が一定以上の大きさになると制御部７１は、起床と判定し、ユーザが起床後の処理を実行する。例えば、ユーザは、自身の通信端末のスケジュール情報を、画像表示装置１に送信して、画像表示装置１は、受信したスケジュール情報に示される内容にしたがって、動作することとしてもよい。例えば、スケジュール情報に、「２３日６時起床」とあった場合に、制御部７１は、２３日の６時に、キャラクターにユーザを起こす動作をさせることとしてもよい。

《外出判定システム》
制御部７１は、例えば、解析部７１２が検出するユーザの「いってきます」の音声に加え、取得処理部７１１が取得するユーザの通信端末の位置情報が、家の外にある場合、ユーザが外出したと判定することができる。また例えば、人感センサ７０２でユーザの存在が検出されないことに加え、取得処理部７１１が取得するユーザの通信端末の位置情報が、家の外にある場合、ユーザが外出したと判定することができる。

《帰宅判定システム》
制御部７１は、例えば、上述の外出判定においてユーザが外出したと判定した後に、人感センサ７０２でユーザの存在が検出された場合、ユーザが帰宅したと判定することができる。当該検出では、人感センサ７０２で人を検出することに加え、カメラ７２２で撮像した画像から、ユーザの顔を判定することとしてもよい。

《寝落ち判定システム》
制御部７１は、ユーザが在宅中に、例えば、人感センサ７０２により、ユーザの動きが1時間検出されず、かつ、光センサ７２１によって検出される照度が、照明が消されていない程度の明るさであると解析部７１２で解析されると、ユーザが寝落ちしたと判定することができる。ここでいう、「寝落ち」とはユーザがテレビを見たり、ゲームをしたりする等、何かの作業中に、照明を消すことがなく寝てしまうことをいう。画像表示装置１は、ユーザが寝落ちしたと判定した場合であって、部屋の照明が消灯されていない場合に、部屋の照明を消灯するように証明を制御することとしてもよい。

《起床時刻確認システム》
制御部７１は、例えば、翌朝の外出時間が、普段の朝より早い場合、普段の朝の準備時間を確保すべく、翌朝の目覚まし時刻を早くするよう提案することができる。具値的には、翌日目覚まし時刻と翌日の外出予定時刻との時間差が、平均の起床時刻と外出時刻との時間差で求められる外出準備時間よりも短い場合、翌朝の目覚まし時刻より早くするよう提案する。例えば、制御部７１は、音声データ７５２から、「明日は出発時刻が早いみたいだけど、目覚まし時刻早める？」の音声を選択し、出力する。また、制御部７１は、ユーザは「ＹＥＳ」の返答があった場合、記憶装置７５に登録される目覚まし時刻を変更する。

また例えば、制御部７１は、今朝、遅刻した場合、翌朝の目覚まし時刻を早くするよう提案することができる。具体的には、制御部７１は、今朝の外出時刻が、外出予定時刻より所定時間（例えば、１０分）遅れた場合、目覚まし時間をその所定時刻早めるよう提案することができる。例えば、制御部７１は、音声データ７５２から、「今日遅刻したでしょ！明日は１０分早く起きてみる？」の音声を選択し、出力する。また、制御部７１は、ユーザは「ＹＥＳ」の返答があった場合、記憶装置７５に登録される目覚まし時刻を変更する。

《スクワット判定機能》
制御部７１は、例えば、解析部７１２が顔認識の上下運動を検出し、スクワットしている回数を数えるシステムを備えることができる。また、制御部７１は、腕立て伏せだけでなく、腹筋の回数や、腕立てふせの回数を数えるシステムにも応用することもできる。これにより、表示処理部７１３は、ユーザの動作を応援するキャラクター画像や演出用画像を表示することができる。また、音声出力部７１４は、キャラクターがカウントする音声や応援する音声を出力することができる。

《カメラ自撮りシステム》
制御部７１は、例えば、ユーザが、キャラクターと自撮り撮影できるようにしてもよい。この際、ユーザがカメラ７２２で撮像可能な範囲に移動することで、カメラ７２２でユーザの画像を撮像すると、制御部７１は、撮像画像にキャラクター画像を合成する。また、制御部７１は、キャラクター画像が合成された撮影画像を、インターネット等を介してＳＮＳ（ソーシャルネットワーキングサービス）等の提供サーバにアップロードしてもよい。

《コーヒーブレイクタイムシステム》
制御部７１は、キャラクターがユーザにコーヒーブレイクを提案するようにしてもよい。例えば、データ管理部７１６が管理する時刻が所定時刻の場合に、送信処理部７１５が、コーヒーメーカーに、操作信号を送信する。また、表示処理部７１３は、ユーザにコーヒーブレイクを促す画像を選択して表示し、音声出力部７１４は、ユーザにコーヒーブレイクを促す音声を選択して出力する。さらに、解析部７１２が、画像や音声から、ユーザがコーヒーを飲み終わるのを検出すると、制御部７１は、コーヒーブレイクを終了する。例えば、制御部７１は、解析部７１２が、ユーザの「おいしかったよ」や「ごちそうさま」の音声を検出することにより、終了することができる。

《コール・レスポンスシステム》
制御部７１は、ユーザとキャラクターと名前を呼びあうようにしてもよい。音声出力部７１３が、ユーザデータ７５４に登録される名前やニックネームを呼ぶキャラクターの音声を出力する。また、解析部７１２によってユーザが発したキャラクターの名前やニックネームの音声が検出されると、音声出力部７１３は、ユーザの名前やニックネームを呼ぶキャラクターの音声を出力することができる。

《着替えレコメンドシステム》
制御部７１は、ユーザのコーディネートをレコメンドするようにしてもよい。例えば、解析部７１２によって、カメラ７２２が撮像した画像から「顔の上の正方形の帽子」、「顔の下の長い長方形のネクタイ」等のユーザが身につけているものの形状や色を判定する。また、制御部７１は、取得処理部７１１で取得する環境情報から解析されるユーザの表情や気分や、記憶装置７５に登録されるユーザのスケジュールや、天気情報、季節等を総合的に判断して、おすすめの色をレコメンドしてもよい。

《操作依頼》
制御部７１は、ユーザから通信端末等の情報処理装置を介し、機器の操作や、スケジュール管理の依頼を受けることができる。例えば、機器の操作が依頼された場合、送信処理部７１５は、依頼された信号に応じて、操作信号を出力する。また、スケジュールの登録や変更が依頼された場合、データ管理部７１６は、この信号に応じて、データを登録又は更新する。具体的には、図１７Ｂを用いて上述したように、チャット機能を用いたり、メモや伝言板のようなものを用いて、制御部７１を操作したりすることができる。ユーザは、自身がキャラクターにしてほしいことをキャラクターにお願いするように感じることができるため、人間にお願いしているように感じることができる。

《ふて寝モード》
制御部７１は、所定の条件を満たした場合に、怒ってふて寝をするキャラクター画像を表示させてもよい。例えば、画像表示装置１が外部のネットワークに接続されていない場合、又は、画像表示装置１がユーザの通信端末との間でネットワーク接続がされていない場合、怒ってふて寝するような画像を選択し、表示する。これにより、画像表示装置１がユーザに訴えかけるようなキャラクター画像を表示することで、より人間らしく、よりリアルに表現することができる。

《興味の変遷アルゴリズム》
ユーザデータ７５４に複数種類の興味や趣味嗜好が登録されているとき、制御部７１は、複数の中からいずれかをランダムに選択し、出力する画像や音声に反映させることができる。例えば、このとき、ユーザデータ７５４では、ユーザの嗜好情報についてそれぞれ重み値が設定され、制御部７１は、その重み値を加味して、出力する画像や音声を選択することができる。また、これらの趣味嗜好の重み値は、時間の経過と共に増加させたり、減衰させたりすることができる。さらに、重み値が所定の値以下になったら、他の嗜好の重み値が大きくなることにより、別の趣味嗜好の話題を選択するようにしてもよい。

《ライフモードのアルゴリズム》
制御部７１は、ライフモードにおいて、「ユーザの嗜好情報」や「キャラクター内部の嗜好情報」をもとに、表示する画像や、出力する音声を選択することができる。例えば、ユーザが漫画好きであれば、制御部７１は、ライフモードにおいて、漫画を読むキャラクター画像を表示することができ、これに対応する音声を出力することができる。また、ユーザが料理好きであれば、制御部７１は、暇な時に料理をするキャラクター画像を表示することができ、これに対応する音声を出力することができる。

《興味トーク》
制御部７１は、ユーザとのインタラクションが発生した一定時間後に、そのインタラクションに関連する話題の画像及び音声を出力することができる。制御部７１は、ユーザとのインタラクションが発生した時刻を記憶しておき、そこから、所定時間が経過したか否かを判定することで、当該制御を実現する。

《ユーザ行動分析推定システム》
制御部７１でユーザの行動を判定するためのデータとしては、予め教師データとして与えられた複数パターンのデータを参照し、導きだすことができる。具体的には、画像表示装置１に備えられた各種センサを用いて、ユーザが所定の行動をした際のセンシングデータを取得しておき、その際の所定の行動を示す情報と対応付けて記憶しておき、これを教師データとする。そして、画像表示装置１は、備えられている各種のセンサから入力されたデータを、教師データとを比較することにより、ユーザの行動を分析、推定することができる。これにより、制御部７１は、ユーザの行動に応じた動作をキャラクターにさせることができる。また、制御部７１は、逐次、この教師データをユーザの行動に応じて更新することとしてもよい。

《人感情追従システム》
また、画像表示装置１は、ユーザの感情を推定して、キャラクターにそのユーザ感情に対応した動作を実行させてもよい。具体的には、以下のように処理を実行する。

制御部７１は、カメラ７２２で撮像したユーザの顔画像から表情認識処理を行って、ユーザの感情を推定してもよい。これは、予め各種の感情に応じた顔画像の特徴量の情報を記憶装置７５に記憶しておき、撮像した画像とのパターンマッチングにより、最も近いと推定される顔画像を特定して、対応する感情を特定するものである。また、マイク７０４から入力された声紋からユーザの感情を推定してもよい。これも顔画像の場合と同様に、予め各種の感情に応じた声情報（例えば、周波数や音量など）の情報を記憶装置７５に記憶しておき、入力された声紋との特徴量に応じて、ユーザの感情を推定する。また、あるいは、制御部７１は、ユーザとの間の会話やチャットの内容から、ユーザの感情を推定することとしてもよい。例えば、会話中の「楽しかった」とか「むかつく」といった感情を表す言葉から、ユーザの感情を推定する。

そして、画像表示装置１の制御部７１は、画像表示装置１に記憶、設定されているキャラクターの個性に応じて、ユーザに同調したり、励ましたりといった行動をとらせることができる。例えば、ユーザの感情を判定した結果、ユーザが寂しいと感じていると推定したら、「そうだね、寂しかったね。でも、私がいるよ？」とか、「そんなことで、寂しく思う必要なんかないよ！大丈夫大丈夫！」といったセリフの音声を音声出力部７１４から出力したりするとよい。また、例えば、ユーザが落ち込んでいると推定した場合には、「ファイト！」と励ましたりしてもよい。なお、これらのキャラクターの行動は一例であることは言うまでもない。

《ありがとう学習システム》
画像表示装置１の制御部７１は、ユーザから会話で伝達された、もしくは、チャット上で伝達された、ありがとう等、感謝の言葉を伝えられた内容を記憶する。そして、その時の条件を記憶する。即ち、制御部７１（キャラクター）は、ユーザが、「いつ」、「何をする」とありがとうと言われるのかを記憶する。即ち、ユーザから感謝されたときの、「タイミング」と「キャラクターの行動」とを対応付けて記憶装置７５に記憶する。そして、制御部７１は、その「いつ」というタイミングにおいて、感謝された行動をキャラクターに再現させることとしてもよい。

《顔学習システム》
画像表示装置１の制御部７１は、カメラ７２２で撮像した画像に、ユーザと異なる人物の顔画像が含まれると判定した場合に、その顔画像をチャットに添付して、「この人誰？」と問いかけることとしてもよい。これに対して、ユーザが「お母さんだよ」と回答することで、画像表示装置１は、その人物を撮像して得られた顔画像と、「お母さん」という言葉を対応付けて記憶する。また、画像表示装置１の制御部７１は、ユーザの「お母さんだよ」という回答に対して、例えば、「お母さんなんだね。覚えたよ」というようなメッセージをかえしてもよい。また、別のタイミングで、記憶した人物の顔画像を撮像して得た場合には、画像表示装置１は、「お母さんが来たよ」というメッセージをユーザの通信端末に送信することとしてもよい。また、その際にその人物の行動を推定できた場合に、その内容も含めて送信してもよい。また、当該構成は、画像表示装置１が撮像した顔画像がユーザにとって知らない人物の顔であった場合には防犯の役に立てることもできる。

《心配性システム》
画像表示装置１は、ユーザが外出したことを検出してから（人感センサ７０２が人を検出しないまま所定時間が経過してから）、一定以上遅くなってきた場合（例えば、現在時刻が夜２２時を経過した場合）に、ユーザに対して、twitter（登録商標）、メール、チャット、電話などの手段で連絡をとってもよい。例えば、制御部７１は、「遅いけど、大丈夫？」というようなメッセージを送信してもよいし、電話をかけてもよい。なお、電話を掛ける場合には、画像表示装置１に電話回線と接続するための設定しておく必要がある。また、当該行動をとるかどうかの閾値を定めておき、ランダム値がこの閾値を超えるかどうかで、このユーザを心配する行動をとるかどうかを判定してもよい。また、画像表示装置１は、この閾値を時間が遅くなればなるほど高くなるように制御してもよい。また、その日の朝のユーザの様子に応じて、この閾値を変更することとしてもよい。例えば、ユーザの体調が悪いと推定している場合には、通常よりも閾値が低くなるように制御することとしてもよい。

《赤外線情報監視システム》
画像表示装置１は更に赤外線センサを備えて、周囲の赤外線情報を取得し、取得した赤外線情報に応じた行動をキャラクターに取らせることとしてもよい。例えば、ユーザがテレビのリモコンを操作したことを、リモコンから出力された赤外線情報を取得して、検出し、テレビをオンした時間と曜日とチャンネルを記憶しておいてもよい。そして、別の日であって、同じ曜日の同じ時間になったときに、画像表示装置１がテレビを操作して、同じチャンネルをつけるように制御してもよい。

また、赤外線センサからユーザの体温や部屋の温度をモニタして、温度が高くなってきたことを検出したら、画像表示装置１の制御部７１は、キャラクターに、ユーザに対して、「窓開けたらどうかな？」とか、「扇風機つける？」とか、「空調つける？」といった提案をする会話をさせることとしてもよい。

《視聴番組監視システム》
画像表示装置１は、ユーザが視聴しているテレビやラジオ番組に関する情報を取得し、記憶する構成を備えてもよい。具体的には、ネットワーク上からテレビ番組情報を取得し、テレビから発せられる音声に対して音声人気処理を行ってユーザの視聴している番組を推定する。あるいは、画像表示装置１は、各種家電と接続し、テレビのＯＮ／ＯＦＦ情報や、チャンネル情報を取得して、ユーザが視聴した番組を特定し、記憶する。そして、記憶した番組に関する番組表からキーワードを取得して、会話のネタにしてもよい。

例えば、クラウドサーバにおいて、各放送局の番組についてどのような会話が行われているかに対して音声認識にかけ、各放送局の番組の内容をテキスト化し、クラウドテキスト情報を取得する。一方、画像表示装置１において、ユーザが視聴している番組の音声情報をマイク７０４から取得する。そして、取得した音声に音声認識をかけてユーザテキスト情報に変換する。そして、クラウドテキスト情報とユーザテキスト情報とを比較、照合することにより、画像表示装置１は、ユーザがどの番組を視聴しているかを特定することができる。そして、制御部７１は、ユーザが視聴している番組を特定し、その番組名を組み込んで、例えば、「朝は、Ａテレビだよね！」とリコメンドし、テレビのリモコンを制御することとしてもよい。

《空気読みシステム》
画像表示装置１の制御部７１は、ユーザが忙しそうにしているか否かを判定し、判定した状態に応じた行動、所謂空気を読んだ行動をとることとしてもよい。画像表示装置１の制御部７１（取得処理部７１１）が取得した種々の環境信号に応じてユーザの忙しさを判定する。例えば、ユーザの起床時刻が遅く、人感センサ７０２が検出するユーザの位置が所定時間内（例えば、５分以内）に左右に所定回数以上（例えば、１０回以上）動くことを検出した場合に、ユーザが忙しいと判定して、画像表示装置１の制御部７１は、キャラクターにユーザに話しかけないように制御する。また、ユーザがあまり動かない、即ち、人感センサ７０２が検出するユーザ位置が所定範囲内にとどまっている場合に、制御部７１は、キャラクターにユーザに話しかけさせるように制御する。このように、画像表示装置１の制御部７１は、キャラクターにユーザの状態を見て、即ち、空気を読んで、アクションを起こさせるか否かを判定することができる。

《フェイス＆アイトラッキングシステム》
画像表示装置１の制御部７１は、カメラ７２２が取得するユーザの顔画像と目の画像に基づいて、ユーザの視線を検出することとしてもよい。例えば、ユーザの顔画像が画像表示装置１の方向を向いていることを検出し、眼の瞳孔が双方とも画像表示装置１の方向を向いているか否かを検出する。そして、制御部７１は、ユーザの視線がキャラクターの方を向いている場合に、キャラクターに恥ずかしがらせたり、ユーザと見つめ合わせたりするようにすることもできる。

《バーチャル風システム》
画像表示装置１の制御部７１は、マイク７０４に、ユーザが息を吹きかけていることを検出して、画像表示装置１内の世界に風を吹かせたエフェクトを発生させてもよい。例えば、キャラクターの服がひらひらと揺れたりする演出をしてもよい。当該構成はマイク７０４ではなく、画像表示装置１に風圧センサを設けることでも実現できる。

《体調管理システム》
画像表示装置１は、通信部７６を介して、ユーザが保持する体重計や運動量計など、ユーザの状態を検出することができる機器から、ユーザの状態情報を取得することとしてもよい。例えば、体重計から検出したユーザの体重が、所定期間内に所定以上減少していたような場合には、制御部７１は、「ちゃんと食べてる？」とキャラクターに話させたり、ユーザの身長に対する体重が平均体重を所定以上多い場合には、「ちょっとは運動しなきゃ！」とリコメンドさせたりすることとしてもよい。また、ユーザが繰り返し運動するような場合には、制御部７１は、カメラ７２２で撮像した画像を参照しながら、キャラクターに繰り返し運動の回数を数えるように音声を出力させることとしてもよい。例えば、腕立て伏せやスクワットの回数を数えることなどが考えられる。

《リアルタイムモーション配信システム》
画像表示装置１の制御部７１は、通信部７６を介して特殊な信号を受信することで特殊な動作をすることとしてもよい。具体的には、開発運営側の人物の体にモーションキャプチャセンサーを装着し、人物の動きを全ユーザの画像表示装置１に配信する。画像表示装置１は、配信されたモーションと同じ動きをするキャラクターを表示することで、番組配信を実現することもできる。例えば、特殊な信号として地震速報などを受信した場合には、「○○で、震度４の地震だよ。落ち着いて行動してね」といった音声を音声出力部７１４が出力することとしてもよい。また、特殊な信号内に、表示すべき画像データが含まれる場合に、その画像データを表示してもよい。この画像データとしては、例えば実在の人物であってもよく、例えば、有名人の会見を表示し、その音声を出力するようにしてもよい。これにより、例えば、ホログラムによる番組配信を実現することもできる。また、画像表示装置１は、実在の人物の画像データを取得し、その人物の音声データを取得することで、実在の人物を表示するキャラクターとして表示することができる。

《ホログラムアバター電話システム》
画像表示装置１に電話機が接続、又は、画像表示装置１に電話機能が備えられている場合に、画像表示装置１は、以下の機能を備えてもよい。画像表示装置１は、このとき、カメラ７２２から取得した画像に基づいて、ユーザの表情を特定し、特定した表情と同じ表情のアバター情報を生成し、電話相手にそのアバター情報を送信して、電話相手の表示画面にそのアバター画像を表示させる構成を備えてもよい。

《報告システム》
画像表示装置１の制御部７１は、ユーザの帰宅を検出して、ユーザに対して、キャラクターにキャラクターの一日を報告させることとしてもよい。例えば、解析部７１２は、人感センサ７０２が、所定時間以上、ユーザを検出していない状態で、新たにユーザを検知した場合に、ユーザが帰宅したものと判定する。すると、制御部７１は、キャラクターに周辺で起こった出来事（各種センサから取得できる情報に基づいて、その事象が起こったと推定される内容）を、ユーザに報告させることとしてもよい。例えば、温湿度センサ６１１が所定以上の温度を、所定時間以上、検出していた場合に、キャラクターに「今日は暑かったよ〜」と報告させたり、室温度センサ６１１が所定以上の温度と湿度を、所定時間以上検出していた場合に、「今日は蒸し暑かったねえ」と報告させたり、地震速報を受信していた場合には、「今日、地震があったね。そっちは大丈夫だった？」と報告させたり、「あなたがいないときに、誰々がきたよ〜」と報告させたりしてもよい。

《体調不良連絡電話システム》
画像表示装置１の制御部７１は、画像表示装置１に電話機能が搭載されている場合に、ユーザの体調が悪い場合に、ユーザからの指示に従って、ユーザの勤務先や通学先など、予め設定されている電話番号に、「本日、体調不良のためお休みをいただきます」と、ユーザの代わりに電話連絡をさせることとしてもよい。

《特定デバイスによるジェスチャーコントロールシステム》
画像表示装置１の制御部７１は、ユーザが装着または保持する特定のアイテムからの信号に従って、キャラクターを制御することとしてもよい。例えば、特定のアイテムが指輪の場合であって、画像解析によりユーザが指輪をこすっていることを検出した場合に、キャラクターに恥ずかし気な動作をさせることとしてもよい。また、あるいは、特定のアイテムとして、ユーザがペンライトを持って左右に振っていた場合には、制御部７１は、キャラクターにペンライトを持たせた画像を表示し、その手を左右に振らせるように動かす映像を投影することとしてもよい。

《キャラクターお着替えシステム》
画像表示装置１の制御部７１は、キャラクターに着させる服装やアイテムなどを、適宜、変更することとしてもよい。そのために、制御部７１は、各種の服装やアイテムの表示データを記憶装置７５に記憶、あるいは、外部のサーバからダウンロードして取得する。そして、制御部７１は、画像表示装置１が搭載する計時部（図示せず。現在日時を検出するクロック）からの日時が含まれる季節や、天気、気温、時間帯に応じた服装をしたキャラクターを表示することとしてもよい。

《瞬間移動システム》
上記実施の形態に係る画像表示装置１をユーザが複数台保持する場合、各画像表示装置１を連動させて、そのうちの、ユーザが確認できる位置にのみキャラクターを表示することとしてもよい。その場合、制御部７０１は、ユーザが移動した移動先にある画像表示装置１に、キャラクターも移動してきたかのような演出をすることとしてもよい。

《掃除システム》
画像表示装置１の制御部７１は、家電として、ロボット掃除機と通信を行って、そのロボット掃除機を制御して、ユーザの室内を掃除することとしてもよい。また、その際に、制御部７１は、ユーザが普段掃除している箇所と掃除していない箇所とを特定し、

《歯磨き応援システム》
画像表示装置１の制御部７１は、画像解析によりユーザが歯磨きをしていることを検出して、キャラクターにユーザの歯磨きを応援する行動をとらせてもよいし、ユーザが薬を飲んだり、患部に薬を塗ったりすることを検出して、キャラクターにその行動を応援させることとしてもよい。

《スポーツ選手モーションキャプチャシステム》
画像表示装置１は、スポーツ中継などの映像を取得し、そのスポーツ中継に登場するスポーツ選手のモーションと同じモーションをキャラクターに実行させるように画像を投影してもよい。また、その際に、ユーザは、ユーザの通信端末や、画像表示装置１に備え付けられた操作パネルや、音声等により、キャラクターの向く向きを指示して、当該指示に従った映像を画像表示装置１は、表示することとしてもよい。また、このとき、キャラクターではなく、スポーツ選手そのものの映像を表示することとしてもよい。

《ライブ応援システム》
画像表示装置１は、ユーザが何等かのアイドル等のライブなどを視聴している場合に、制御部７１は、キャラクターにもそのライブ映像を視聴しているように表示するとともに、そのキャラクターにライブに参加しているかのように、掛け声を発したり、ケミカルライトを振る動作をさせてもよい。また、あるいは、制御部７１は、キャラクターがバーチャルシンガーとしてアイドルのように、歌を歌って踊る動作をさせる場合に、ユーザからの手拍子や応援に応じて、その動作を連動させてもよい。例えば、ユーザの手拍子のタイミングを検出して、そのタイミングに合わせてステップを踏ませるように画像を出力することとしてもうよいし、ユーザからの応援の声量に合わせて行動を変化させてもよい。

《マルチエージェントシステム》
画像表示装置１は、記憶装置７５に複数のキャラクターに関する情報を記憶しておいてもよい。そして、制御部７１は、ユーザの状況に応じて使用するキャラクターを選択し、投影することとしてもよい。また、画像表示装置１にマルチコアを搭載し、１コアで１キャラクターを制御する場合に、画像表示装置１は、同時に複数のキャラクターを投影することとしてもよい。

《年齢経過システム》
画像表示装置１は、キャラクターを表示する際に、一定時間でキャラクターが年をとるように画像を表示することとしてもよい。画像表示装置１は、例えば、キャラクターを初めて召還する場合には、赤ちゃんの状態を表示することとし、そこから、所定期間が経過するごと（例えば、１ヶ月経過するごと）に、キャラクターの画像を変化させるようにして、キャラクターが成長しているかのように、表示することとしてもよい。

《各種言語対応システムシステム》
画像表示装置１は、音声認識のアルゴリズムや、対話システムを、各国の各言葉に応じたモデルを搭載することで、各種の言語に対応することができる。

《オリジナルキャラクターシステム》
画像表示装置１が表示するキャラクターは、ユーザがオリジナルで作成することとしてもよい。画像表示装置１は、そのために必要とする各種データのフォーマットを用意し、ユーザがエディットできるように構成されてもよいし、エディット自体はユーザのＰＣ等で作成したものを画像表示装置１に転送することとしてもよい。また、ユーザが作成したキャラクターデータは、ネットワークを介して配信することとしてもよい。

《各種キャラクター召還システム》
画像表示装置１が表示するキャラクターとしては、ＶＲ（Virtual Reality）コンテンツのキャラクターのデータを用いることとしてもよい。例えば、ユーザがＨＭＤ（Head Mounted Display）を利用して遊んだゲーム等のキャラクターを画像表示装置１が表示するキャラクターとして使用することとしてもよい。また、ＶＲコンテンツに限らず、各種のゲーム（例えば、スマホゲームなど）のキャラクターをダウンロードして表示するキャラクターとして使用することができる。

《チャット機能の外部実装》
上記では、画像表示装置１が、チャット機能を有することとしてが、チャット機能は、外部の装置が実行することとしてもよい。即ち、ユーザが通信端末を用いて、画像表示装置１のキャラクターとメッセージのやり取りをする際には、実際には、外部サーバとやり取りをしている構成をとってもよい。その場合に、外部のサーバは、キャラクターとしての応答アルゴリズムを保持するほか、画像表示装置１から、ユーザに関する会話履歴データ７５５、チャット履歴データ７５６を事前に取得しておく必要がある。そのため、ユーザからのチャット入力があった場合に、外部の装置は、画像表示装置１にアクセスして、それらの情報を取得する構成を備えていてもよい。また、外部の装置がユーザの通信端末とのチャットを終えた後には、外部の装置は、チャット履歴データ７５６を画像表示装置１に送信し、画像表示装置１は、受信したチャット履歴データ７５６を記憶装置７５に上書きすることとしてもよい。このような実装により、画像表示装置１の外部にチャット機能を有する装置を設けたシステムを実現することができる。

以上のように、本発明の第一実施形態に係る画像表示装置１によれば、表示対象であるキャラクター等を、同じ空間にいる実体物のように表示させることができる。また、画像表示装置１では、ユーザの音声等の環境情報に対応した振る舞いを、キャラクター等などにより行わせるようにしている。さらに、画像表示装置１では、キャラクターの心情等を表現する演出画像をキャラクター画像とともに表示させることができる。さらには、ユーザと行った会話やチャットの内容について、過去の内容が最新の会話やチャットに反映されるので、ユーザはより一層キャラクターに対して親近感を覚え、愛着がわく。

これにより、あたかも実在するキャラクター等と同じ空間にいるような感覚をユーザに与えることができる。また、キャラクターをより身近に感じさせることができる。

上述した実施形態においては、各処理を、画像表示装置１の制御部７１が画像表示プログラム、会話プログラム、チャットプログラム等を実行することにより、実現するものとして説明した。一方、画像表示装置１において、ＣＰＵに代えて、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））、ＦＰＧＡ（Field Programmable gate array）、ＣＰＬＤ（Complex Programmable Logic Device）等に形成された論理回路（ハードウェア）や専用回路によって各処理を実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。

すなわち、図２７に示すように、画像表示装置１は、制御回路７１ａ、入力回路７２ａ、出力回路７３ａ、操作回路７４ａ、記憶回路７５ａ、通信回路７６ａから構成されてもよい。制御回路７１ａが有する取得制御回路７１１ａ、解析回路７１２ａ、表示処理回路７１３ａ、音声出力回路７１４ａ、送信処理回路７１５ａ及びデータ管理回路７１６ａは、画像表示プログラムＰ１、会話プログラムＰ２、チャットプログラムＰ３等によって制御される。それぞれの機能は、上記実施形態に示した同様の名称を有する各部と同様である。

また、上記記憶装置７５としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記画像表示プログラムＰ１、会話プログラムＰ２、チャットプログラムＰ３は、当該画像表示プログラムＰ１、会話プログラムＰ２、チャットプログラムＰ３を伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記映像表示プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。また、これらのプログラムに限らず、キャラクターに関する音声データや画像データもそれらを記憶しているサーバからダウンロードして画像表示装置１で使用できてもよい。こうすることで、様々なキャラクターを画像表示装置１で楽しむことができる。また、同一キャラクターの新たな音声データや画像データもダウンロードして使用できるように構成されてもよい。また、記憶装置７５に記憶されている各種データは、記憶装置７５ではなく、画像表示装置１がアクセス可能なネットワーク上のサーバ等の外部装置に記憶することとしてもよい。そして、画像表示装置１の制御部７１は通信部７６を介して、都度必要なタイミングで外部サーバにアクセスして必要な情報を取得することとしてもよい。例えば、上記実施の形態における言語モデルや音声モデルなどの情報をネットワーク上に記憶しておくことができる。

なお、上記画像表示プログラムＰ１、会話プログラムＰ２、チャットプログラムＰ＃は、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Java（登録商標）などのコンパイラ言語、アセンブリ言語、ＲＴＬ（Register Transfer Language）などを用いて実装できる。

２０１０ 画像表示装置
２０１１ 表示部
２０１２ 取得部
２０１３ 生成部
２０１４ 出力部
１ 画像表示装置
２ ケース
２１ 上部収容部
２２ 下部収容部
２２１ 台座
２３ 支柱
３ 透過フィルム（平状部材）
４ プロジェクタ（映像出力手段）
５ 反射ミラー（反射手段）
５１ ミラー取付部（調整手段）
６ 柱部
７１ 制御部（出力制御手段）
７２ 入力部（入力手段）
７３ 出力部（出力手段）
７０６ 演出用ＬＥＤ（発光手段）

Claims (10)

1. キャラクターを表示する表示部と、
   音楽に関する音楽情報を取得する取得部と、
   前記取得部が取得した音楽情報により示される前記音楽にあわせて前記キャラクターに出力させるための音声情報を生成する生成部と、
   前記生成部が生成した音声情報を出力する出力部と
   を備える画像表示装置。
2. 前記画像表示装置は、さらに、
   周囲の音を集音する集音部を備え、
   前記取得部は、前記集音部が集音した音から前記音楽情報を取得することを特徴とする請求項１に記載の画像表示装置。
3. 前記生成部は、前記音楽情報の周波数特性に基づいて、前記音声情報を生成することを特徴とする請求項１または２に記載の画像表示装置。
4. 前記生成部は、前記音楽情報の周波数特性に基づいて、前記音楽情報により示される音楽の主旋律を特定し、前記主旋律に対応する音声情報を生成することを特徴とする請求項３に記載の画像表示装置。
5. 前記取得部は、さらに、前記音楽情報により示される音楽に関する詳細情報を記憶する外部の記憶装置から、当該詳細情報を取得し、
   前記生成部は、さらに、前記詳細情報に基づいて前記音声情報を生成することを特徴とする請求項１〜４のいずれか一項に記載の画像表示装置。
6. 前記詳細情報は、前記音楽情報により示される音楽の主旋律に関する主旋律情報を含み、
   前記生成部は、前記主旋律情報に基づいて前記主旋律に対応する音声情報を生成する
   ことを特徴とする請求項５に記載の画像表示装置。
7. 前記生成部は、前記取得部が取得した音楽情報により示される前記音楽にあわせて前記キャラクターが歌う鼻歌の前記音声情報を生成することを特徴とする請求項１〜６のいずれか一項に記載の画像表示装置。
8. 前記画像表示装置は、
   一部又は全部が透光性部材からなるケースと、
   前記ケースの内部に立設した透光性を有する平状部材と、を更に備え、
   前記表示部は、前記平状部材に前記キャラクターを投影することで、前記キャラクターを表示する
   ことを特徴とする請求項１〜７のいずれか一項に記載の画像表示装置。
9. キャラクターを表示する表示ステップと、
   音楽に関する音楽情報を取得する取得ステップと、
   前記取得ステップにおいて取得した音楽情報により示される前記音楽にあわせて前記キャラクターに出力させるための音声情報を生成する生成ステップと、
   前記生成ステップにおいて生成した音声情報を出力する出力ステップとを含む
   画像表示方法。
10. コンピュータに、
    キャラクターを表示する表示機能と、
    音楽に関する音楽情報を取得する取得機能と、
    前記取得機能が取得した音楽情報により示される前記音楽にあわせて前記キャラクターに出力させるための音声情報を生成する生成機能と、
    前記生成機能が生成した音声情報を出力する出力機能と
    を実現させる画像表示プログラム。

Images