JP2018014575A - 画像表示装置、画像表示方法及び画像表示プログラム - Google Patents

Abstract

【課題】キャラクターを身近に感じさせる。
【解決手段】環境信号を取得する取得処理部と、取得処理部が取得した環境信号に応じてキャラクターのキャラクター画像を表示するとともに、環境信号に応じて当該キャラクターの感情表現を演出する演出用画像を表示する表示部と、取得処理部が取得した環境信号に応じた音声を出力する音声出力部とを備える。
【選択図】図６

Description

本発明は、キャラクター画像とともに、キャラクターの心情等を表す演出用画像を表示可能な画像表示装置に関し、ユーザがキャラクターを、より身近に感じることを可能とする画像表示装置に関する。

特定のキャラクター画像の人気は高く、このようなキャラクターとコミュニケーションを図ることが希望されることもある。また、このようなキャラクターとともに生活をすることができれば、日常生活がより豊かなものと考えられることもある。

これに対し、従来、外部からの音声等に応じてコミュニケーションを行うコミュニケーションロボットや、外部からの音声等に応じて動作する電子玩具等が存在する（例えば、特許文献１及び２参照）。

一方、このようなロボットや玩具による応答は限定されている。具体的には、ロボットや玩具は、音声に対して、特定の応答や動きをすることができる。しかしながら、ロボットや玩具では単なる応答のみであり、感情表現まではされない。したがって、ユーザは、このようなロボットや玩具を身近に感じにくいことがある。

特開２０１１−２２７２３７号公報 特開２００２−３０７３５４号公報

上述したように、特定のキャラクターとのコミュニケーションを実現することが望まれていた。また、その際、キャラクターをより身近に感じることが好ましい。

本発明は、特定のキャラクターとのコミュニケーションを実現するとともに、キャラクターをより身近に感じさせることを課題とする。

上記目的を達成するため、画像表示装置は、環境信号を取得する取得処理部と、取得処理部が取得した環境信号に応じてキャラクターのキャラクター画像を表示するとともに、環境信号に応じて当該キャラクターの感情表現を演出する演出用画像を表示する表示部と、取得処理部が取得した環境信号に応じた音声を出力する音声出力部とを備える。

特定のキャラクターとのコミュニケーションを実現するとともに、キャラクターをより身近に感じさせることができる。

本発明の実施形態に係る画像表示装置を上方から見た斜視図である。 本発明の実施形態に係る画像表示装置を下方から見た斜視図である。 本発明の実施形態に係る画像表示装置の左側面図である。 本発明の実施形態に係る画像表示装置に搭載される機器であって、（ａ）は上部収容部に設置される機器、（ｂ）は柱部に設置される機器、（ｃ）は下部収容部に設置される機器を模式的に示す図である。 本発明の実施形態に係る画像表示装置の機能ブロック図である。 本発明の実施形態に係る画像表示装置の他の機能ブロック図である。 本発明の実施形態に係る画像表示装置で利用されるデータのデータ構成図であって（ａ）は画像データ、（ｂ）は音声データ、（ｂ）信号データの一例である。 本発明の実施形態に係る画像表示装置で出力される音声のパターンを説明する図である。 本発明の実施形態に係る画像表示装置における状態遷移を説明する図である。 本発明の実施形態に係る画像表示装置で表示される画像の一例である。 本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する図である。 本発明の実施形態に係る画像表示装置におけるコミュニケーションモードを説明する他の図である。 本発明の実施形態に係る画像表示装置にユーザのスケジュールを登録する画面例である。 本発明の実施形態に係る画像表示装置における起床モードを説明するチャートである。 本発明の実施形態に係る画像表示装置における外出モードを説明するチャートである。 本発明の実施形態に係る画像表示装置における帰宅モードを説明するチャートである。 本発明の実施形態に係る画像表示装置の回路構成図である。

以下、本発明の実施形態に係る画像表示装置について図面を参照して説明する。実施形態に係る画像表示装置は、キャラクター画像を表示するとともに、キャラクターの音声を出力するものである。この際、画像表示装置に表示されるキャラクター画像及びキャラクターの音声は、画像表示装置が置かれる環境、当該装置を所有するユーザに関する情報、時刻情報に応じて決定される。

〈装置構成〉
まず、図１乃至図４を用いて、実施形態に画像表示装置１の装置構成について説明する。図１は、画像表示装置１を上方から見た斜視図である。図２は、画像表示装置１を下方から見た斜視図である。

図１，図２に示すように、画像表示装置１は、主に、内部が空洞な円筒状の透明のケース２と、そのケース２の内部にほぼ垂直に立設した透過フィルム（本発明の平状部材）３と、キャラクター画像等を出力するプロジェクタ４と、反射ミラー５等の部品や機器を備える。

このような構成の画像表示装置１において、プロジェクタ４から出力された画像は、反射ミラー５による反射を介して透過フィルム３に投影され、ユーザは、このようにして透過フィルム３に投影された画像を透明なケース２を通して見ることができる。

ケース２は、一部又は全部が透光性部材からなる筐体であり、例えば、アクリル板等によって形成されている。例えば、ケース２は、２つの透明な半円柱状のケース部材２ａ，２ｂを、２本の支柱２３に組み込むことで全体が透明な一体の円筒体を形成している。ただし、予め成形された円筒体をケース２に用いることもでき、また、弾性又は可撓性を有する矩形状の板材や膜材を半円柱状に湾曲させ、これを支柱２３に組み込んで形成した円筒体をケース２として用いることもできる。このように円筒状のケース２を用いることで、左右のどの角度からでも透過フィルム３に投影される画像を適切に視認することができる。なお、支柱２３は透明な部材で形成されていてもよく、この場合、ケース２のほぼ全部を透明にすることができる。ただし、支柱２３は、不透明や半透明であってもよい。

ケース２の正面側上部には、ケース２の表面に沿って湾曲させた帯状の不透明な遮蔽部２５を設けている。これにより、ケース２を正面側から見たときに、反射ミラー５は、遮蔽部２５の後方にあるため、隠れて見えなくさせることができる。また、図示していないが、ケース２の上底面にあたる円形部には、遮光塗料の塗布等、遮光処理を施している。これにより、透過フィルム３に室内の照明等が入り込むことを防ぐことができ、透過フィルム３に表示される画像を見易くすることができる。また、ケース２の背面側上部（ケース部材２ｂの上部）は、開口を施しており、反射ミラー５からの画像を形成する光がケース部材２ｂを介さず、直接透過フィルム３に到達できるようにしている。なお、ケース２は、透明な部材に限らず、乳白色のように半透明の部材を用いてもよい。

このようなケース２の内部には、透過フィルム３が設けられており、また、ケース２の上方、下方、背面側には、後述する上部収容部２１、下部収容部２２、柱部６が設けられている。

透過フィルム３は、本発明の「透光性を有する平状部材」の一実施態様であり、所定の画像が投影される透明なスクリーンとして機能する。本実施形態の透過フィルム３は矩形状であり、これが、ケース２の内部の中央付近にほぼ垂直になるように立設されている。具体的には、透過フィルム３は、台座２２１の両端に立設された２本の支柱２３によって支持され、これにより、表面が正面側（背面側）を向きつつ、台座２２１の中央に垂直に立設させている。なお、透過フィルム３の代わりに、透明の板材、半透明の板材や膜材等を用いることもできる。

下部収容部２２は、プラスチック等からなる箱体であり、プロジェクタ４の出力制御を含む種々の制御動作を行う制御ボード７０１その他の機器（図４（ｃ）参照）を取り付けるスペースを有する。下部収容部２２には、着脱可能な下部カバー２２２が設けてあり、取り付けることで内部を隠すことができ、取り外すことで内部の機器のメンテナンス等を可能としている。下部収容部２２の上面の台座２２１には、透過フィルム３の立設位置の左右の端部に支柱２３を立設している。

透過フィルム３やケース部材２ａ，２ｂは、この支柱２３により支持されることで台座２２１上に一体的に立設される。これにより、円筒状のケース２が台座２２１上に立設され、透過フィルム３は、側部がケース２の内側に内接しつつ、下部（下端）が台座２２１の上面（表面）に沿うように設けられる。

台座２２１は、ケース２内に表示されるキャラクター等を仮想的に載置する台としても機能する。すなわち、台座２２１は、人形や模型を展示可能に収容するディスプレイケースのベース基材のように見せることができる。

画像表示装置１では、ミラー取付部５１により反射ミラー５の角度や向きを調整することで、透過フィルム３の下端に、キャラクター等の足元を一致させて表示させるようにしている（図１）。このようにすることで、キャラクター等が台座２２１の上に実際に立っているように見せることができる。

また、台座２２１は所定の視認性を有する。具体的には、台座２２１の表面に模様や着色を施したり、形状に特徴を施すことで、台座２２１の存在が目立つようにしている。例えば、本実施形態の台座２２１は、アクリル板の表面に、レーザー加工等によって、いわゆる魔方陣の模様に沿った溝を施すようにしている。

さらに、台座２２１は、アクリル板の下部に複数の演出用ＬＥＤ７０６（本発明の発光手段）を分散して配置することで、台座２２１の全面に演出用ＬＥＤ７０６からの光が行きわたるようにしている。このようにすると、台座２２１の表面において、透過フィルム３を跨ぐぞれぞれの領域が強く認識されるため、透過フィルム３に投影されたキャラクター等の前後において台座２２１の存在をより強調することができる。そうすると、キャラクター等が、台座２２１の上にしっかりと着地して立っているように見せることができる。

上部収容部２１は、画像出力を行うプロジェクタ４などの機器（図４（ａ）参照）を取り付けるスペースを有する。具体的には、上部収容部２１は、柱部６の上部に連結された梯子状の上部機器取付部２１１を設けており、この上部機器取付部２１１の下面にプロジェクタ４が取り付けられている。

上部機器取付部２１１は、図２や図３に示すように、柱部６との連結部２１３から正面側上方に傾いた状態で固定されており、これに伴い、上部機器取付部２１１に取り付けられたプロジェクタ４も斜めに傾いた状態で固定されている。このように、プロジェクタ４を斜めに取り付けることで、画像の出力方向が当該プロジェクタ４の背面側下方に位置する反射ミラー５に向くようにしている。

なお、上部機器取付部２１１は、柱部６との連結において、ボルト等の軸部材を用いて軸支させ、軸を中心に任意の位置まで回動させてナット等の固定部材により固定することもできる。このようにすると、プロジェクタ４の傾きを容易に変更することができ、この変更によって画像の出力を上下方向に調整することができる。

上部収容部２１には、着脱可能な上部カバー２１２が設けてあり、取り付けることで、上部機器取付部２１１やプロジェクタ４等の機器を隠すことができ、取り外すことで内部の機器のメンテナンス等を可能としている。

プロジェクタ４は、キャラクター画像等の画像の出力を行う画像出力手段である。この種のプロジェクタ４は、通常、いわゆるスクリーンに対し直接映像を投射することで画像を表示するが、本実施形態では、反射ミラー５を介して間接的にスクリーン（透過フィルム３）に画像を投射するようにしている。具体的には、本実施形態のプロジェクタ４は、ケース２の背面側に離間して立設されている柱部６の上部の反射ミラー５に出力画像が向かうように、上部収容部２１において傾斜した状態で取り付けられている。

ところで、プロジェクタの仕様には、焦点距離（以下、「許容投射距離」という）と投射比（以下、「許容投射角度」という）がある。「許容投射距離」は、画像サイズに対応した必要な投射距離（プロジェクタからスクリーンに至る光路の距離）である。実際の投射距離が許容投射距離に満たないと焦点が合わず画像を鮮明に映し出すことはできない。「許容投射角度」は、スクリーンに投射される画像の光路とスクリーンとの角度の許容値である。実際の投射角度が許容投射角度に満たないと、画像の歪みが大きくなり、また、画像の両端で光量が異なって、画像がぼやけるなど画質が低下する。

これらの点に鑑み、本実施形態のプロジェクタ４は、比較的、許容投射距離が短く、許容投射角度が小さい仕様のものを用い、さらに、反射ミラー５を用いることで、プロジェクタ４とスクリーン（すなわち、透過フィルム３）とをコンパクトに一体化できるようにしている。

柱部６は、下部収容部２２の最背部に立設された柱状の部材であり、ケース２の背面側にケース２とは離間して立設されている。このように、柱部６をケース２の背面側に設けることで、透過フィルム３に室内の照明等が入り込むことを防ぎ、透過フィルム３に表示される画像を見易くすることができる。柱部６には、反射ミラー５や各種センサを取り付けている（図２，図３，図４（ｂ）等参照）。

反射ミラー５は、柱部６の上部に鏡面がほぼ垂直（すなわち、透過フィルム３の面とほぼ平行）になるように設けられている。これにより、プロジェクタ４から背面側斜め下方向に出力された所定の入射角の画像の光をこれと同角度（反射角）で反射し、その反射光によって画像を透過フィルム３に投影するようにしている。このようにすると、透過フィルム３における画像の上部と下部の投射距離の距離差を抑えることができるため、透過フィルム３に投影される画像のぼやけ等を抑えることができる。

図３に示すように、プロジェクタ４から出力された画像の光は、反射ミラー５によって反射され、その反射された画像の光は、正面側斜め下方向に進み、ケース部材２ｂの開口を通過して、ケース２の内部に設けられた透過フィルム３を背面側から投射する。この状態において、ケース２を通して透過フィルム３に投影されたキャラクター等の画像を見ると、キャラクター等が、より立体的で同じ空間にいる実体物のように視認することができる。

このような視認効果を奏する理由について以下に説明する。既述の通り、画像表示装置１は、透明なケース２の内部に透明なフィルム（透過フィルム３）を設け、この透明なフィルムに画像を投影するようにしている。このような画像表示装置１においては、ユーザは、透明なケース２を通して透明なフィルムに表示されるキャラクター等を見ることになる。

この場合、ユーザは、ケース２に仕切られることで制限されたケース２内という空間で、その３Ｄ環境、すなわち、縦（高さ）・横・奥行きを認識することになる。このため、特に、その空間内に表示されるキャラクター等とケース２との関係から生ずる奥行きを認識することによって、キャラクター等自体も３Ｄ（立体的）に見えるといった視覚効果（３Ｄ環境効果）を奏する。

すなわち、キャラクター等の奥に透明なケース２を視認することで、閉空間内にキャラクター等とその奥側の仕切りが共に視認されることとなり、この結果、同一の空間におけるキャラクター等と透明なケース２との奥行き感に基づいてキャラクター等が立体的に見える。

これに対し、仮にケース２を無くし、周りに何も無い開放された空間の中で、透明なフィルムに投影されるキャラクター等の画像を見た場合には、周囲の空間が縦・横の認識が強まる一方、奥行きの認識は弱まる。そうすると、このような開放された環境で透明なフィルムに投影されるキャラクター等の画像を見ても、フィルムの存在感が増えるだけで奥行き感を感じにくいことから、既述したような立体的な視覚効果を奏し得ない。

また、透明なケース２を通して透明なフィルムを見た場合、透明なフィルムが目立たなくなる。これは、ケース２に透過フィルム３が内接されていることで、透過フィルム３の左右の端部が見えなくなることに起因する。また、透明な物質を含め、前方の物質を通して後方を見ると、当該後方の物質を認識しづらくなる。

これを画像表示装置１に当て嵌めると、例えば、ケース２を正面側から見たときに、ケース２（ケース部材２ａ）の後方にある透過フィルム３は認識しづらくなる。そうすると、平面状の透過フィルム３の存在が認識されないことで、その透過フィルム３に投影されるキャラクター等は、平面ではない立体物が浮遊するように見える。このような理由からも、ケース２がない場合よりもケース２がある方が、キャラクター等の画像をより立体的に見せることができる。

また、本実施形態の画像表示装置１は、透過フィルム３の下方（下端）に台座２２１を設け、キャラクター等の足元を透過フィルム３の下端に一致させて表示するようにしている。このようにすると、あたかもキャラクター等が台座２２１の上に立っているように見え、キャラクター等がまるで質量がある立体物のように錯覚させることができる。

特に、台座２２１は、表面が視認し易いように模様等を施しているほか、透過フィルム３を跨ぐ正面側の領域と背面側の領域の双方に演出用ＬＥＤ７０６を配置して発光させるようにしている。これにより、キャラクター等の前後に台座２２１があることを明確に認識させることができ、ひいては、キャラクター等が、台座２２１にしっかりと着地した状態で立っているように見せることができる。したがって、このような台座２２１との関係によっても、透明なケース２内の透過フィルム３に投影されるキャラクター等を実体のある立体物のように見せることができる。

加えて、透過フィルム３に対しては、背面側上部に設けた反射ミラー５からの反射光による投影を行うようにしており、画像の光の一部が透過フィルム３を透過して、台座２２１上に光の影として映し出されるようにしている。このような影が視認されることによっても、表示対象をより立体的に視認させる効果を奏する。

次に、画像表示装置１に搭載される機器について図４を参照しながら説明する。図４（ａ）は、上部収容部に設置される機器、図４（ｂ）は、柱部に設置される機器、図４(ｃ)は、下部収容部に設置される機器の模式図である。

なお、ケース２の側面は不透明にしたり、側面部に不透明なフィルムを帖着したりするなどして、側面からのキャラクターの視認性を低下させることで、ユーザが正面側からキャラクターを見るようにしてもよい。また、ここでは、透過フィルム３にプロジェクタからの画像を投影することとしているが、これは、例えば、画像表示装置に例えば水滴等を噴霧できる構成を設けて、噴霧された水滴にプロジェクションを行うというような立体ホログラフィーでキャラクターを投影することとしてもよい。立体ホログラフィー技術を応用することで、より立体感のあるキャラクターを表示することができる。

《下部収容部の設置機器》
図４（ｃ）に示すように、下部収容部２２には、制御ボード７０１、人感センサ７０２、赤外線ＬＥＤ７０３、マイク７０４、スピーカ７０５、演出用ＬＥＤ７０６、赤外線受光部７０７、ステータスＬＥＤ７０８、起動ボタン７０９、ＵＳＢハブ７１０のほか、Ｗｉ−Ｆｉ（登録商標）モジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等が設置されている。

制御ボード７０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＭＩ（登録商標）ポート、ＬＡＮポート、ＵＳＢポート、各種入出力ポートなどが搭載された一又は複数の制御チップが搭載され、各種センサ等から入力された情報に基づき、画像、音声を含む様々な出力動作を所定の機器に実行させる。

人感センサ７０２は、赤外線の変化量を検知して人の所在を検出するセンサであり、正面側の左右に設けている。

赤外線ＬＥＤ７０３は、正面上部に放射状に設置され、いわゆる赤外線リモコンとして機能する。具体的には、赤外線を周囲に出力することで、テレビや掃除機などの外部の機器の遠隔操作を可能としている。

マイク７０４は、ユーザから発せられる音声を入力する。例えば、マイク７０４は、正面の下段に１つ設けられる。

スピーカ７０５は、音声や音楽などの音情報を、増幅器を介して出力する。図４（ｃ）に示す例では、スピーカ７０５は、正面側に設けられるが、後方柱部の左右にステレオ方式で設置されることが好ましい。

演出用ＬＥＤ７０６は、台座２２１における発光手段である。

赤外線受光部７０７は、正面側に設けられ、テレビや照明器具、エアコン、ロボット掃除機等の電化製品のリモコンから、そのリモコンで用いられるリモコン操作に関する赤外線情報を受信する。

ステータスＬＥＤ７０８は、画像表示装置１の状態（例えば、電源オン、エラー発生、通信中や、後述する「スリープ状態」、「未召喚状態」、「召喚状態」等）を示す報知手段であって、特定の点滅パターンや発光色等によって各種状態を識別可能に報知する。

起動ボタン７０９は、画像表示装置１本体の電源のオン／オフを行うための操作手段である。

ＵＳＢハブ７１０は、ＵＳＢ機器を複数接続するためのハブである。

Ｗｉ−Ｆｉ（登録商標）モジュールは、ＵＳＢハブに接続された無線ＬＡＮモジュールであり、アクセスポイントとして無線ＬＡＮ子機にインターネット環境を提供したり、無線ＬＡＮ子機として他のアクセスポイントを通じてインターネットに接続することができる。

Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールは、所定規格に対応したキーボード、マウス、スマートフォン等の通信端末、マイク、スピーカなどの周辺機器と無線通信を可能とする無線通信インタフェースである。

《柱部の設置機器》
図４（ｂ）に示すように、柱部６には、既述の反射ミラー５に加え、温湿度センサ６１１、振動センサ６１２、騒音センサ６１３が設けられている。

温湿度センサ６１１は、室内の温度及び湿度を測定し、これらの測定値を入力する。

振動センサ６１２は、振動を検知するためのセンサであり、例えば、ピエゾ振動センサが相当する。振動センサ６１２によって検出される振動としては、地震のような大きな揺れのほか、足音やドアの開け閉めを識別可能な比較的小さな振動がある。

騒音センサ６１３は、室内の環境音を検出するためのセンサである。騒音センサ６１３によって検出される環境音としては、例えば、所定の基準音量に基づいて判別されるユーザの生活音（テレビの音を含む）、近所の環境音、騒音がある。

《上部収容部の設置機器》
図４（ｃ）に示すように、上部収容部２１には、プロジェクタ４、赤外線ＬＥＤ７０３、光センサ（照度センサ）７２１及びカメラ７２２が設けられている。

プロジェクタ４は、既述したように、反射ミラー５を介して透過フィルム３に画像を投射する。プロジェクタ４から出力される画像には、例えば、様々な漫画やアニメに登場する各キャラクターや実在の人物、物品等の２Ｄ画像や３Ｄ画像、キャラクターの感情表現を演出する演出用の画像がある。

赤外線ＬＥＤ７０３は、左右にそれぞれ設けられ、上部収容部２１に設けられているものと同様、赤外線リモコンとして機能する。

光センサ（照度センサ）７２１は、明るさ（照度）を測定するセンサである。

カメラ７２２は、前方に設けられ、静止画や動画を撮影する撮像手段である。

〈機能〉
次に、既述した各機器によって実現される機能について図５及び図６を参照して説明する。図５は、実施形態に係る画像表示装置１の機能ブロック図である。図５に示すように、画像表示装置１は、環境信号を取得する取得処理部７１１と、取得処理部７１１が取得した環境信号に応じてキャラクターのキャラクター画像を表示するとともに、環境信号に応じて当該キャラクターの感情表現を演出する演出用画像を表示する表示部７００と、取得処理部７１１が取得した環境信号に応じた音声を出力する音声出力部７１４とを備える。

また、画像表示装置１は、図１乃至図３を用いて上述したように少なくとも一部が透光性部材からなるケース２をさらに備えることができる。そして、表示部７００は、ケース２内に立設した透光性の平板部材である透過フィルム３と、平板部材である透過フィルム３に、にキャラクター画像及び演出用画像を投光する投光装置であるプロジェクタ４と、投光装置であるプロジェクタを介した画像の表示制御する表示処理部７１３とを有することができる。

具体的には、画像表示装置１は、図６に示すように、制御部７１と、入力部７２と、出力部７３と、操作部７４と、記憶装置７５と、通信部７６とを備えるコンピュータを有する。この記憶装置７５に記憶される画像表示プログラムＰが実行されることで、制御部７１が取得処理部７１１、解析部７１２、表示処理部７１３、音声出力部７１４、送信処理部７１５及びデータ管理部７１６としての処理を実行することができる。

入力部７２は、各種センサによって検出された様々な情報が入力される手段である。入力部７２に入力されるデータには、例えば、人感センサ７０２が人を検知したときに人感センサ７０２から出力される識別情報、マイク７０４を介して入力された音声情報、温湿度センサ６１１によって検出される室内の温度や湿度の情報、振動センサ６１２が検出した振動の大きさや変化を識別可能な情報、騒音センサ６１３を介して入力された音量情報、光センサ７２１を介して入力された照度情報、カメラ７２２によって撮像された静止画・動画の情報等がある。

出力部７３は、所定の命令にもとづいて信号や情報の出力を行う出力手段である。出力部７３によって出力される信号や情報には、例えば、赤外線ＬＥＤ７０３から出力される外部機器の動作を制御するための赤外線信号、スピーカ７０５を介して出力される音声情報、演出用ＬＥＤ７０６から発光される光、プロジェクタ４から出力される画像等がある。

操作部７４は、ユーザによる操作手段であり、例えば、図示しないキーボードやマウスが相当する。操作部７４によって行われる操作には、例えば、起動ボタン７０９による装置本体の電源のオン／オフ等がある。

記憶装置７５は、例えば、制御部７１を構成するＲＡＭや、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリ等により構成され、画像表示装置１の有する各種機能を実行するためのプログラムやデータを記憶する記憶手段である。記憶装置７５に記憶されるデータには、キャラクター等の画像データ７５１や音声データ７５２、テレビや照明器具などの外部機器を操作する信号データ７５３、ユーザの属性情報等に関するユーザデータ７５４、外部機器のリモコンに関するリモコン情報、カレンダーサイトで登録したカレンダー情報、装置本体や各機器の属性情報、センサから入力した情報、音楽情報、言語データ等がある。また、記憶装置７５には、記憶されるプログラムには、後述する各種制御動作を実行するための画像表示プログラムＰの他、音声認識プログラムや人工知能プログラム等がある。

画像データ７５１は、画像を表示する表示条件と、当該条件に起因して表示されるキャラクター画像を特定するキャラクター画像情報（第１画像情報）および演出用画像を特定する演出用画像情報（第２画像情報）とが関連付けられるデータである。キャラクターは、アニメ、漫画、小説、コンピュータゲーム、小説などに登場する人物や動物などであるが、これに限られず、オリジナルの創造上の人物であってもよい。また、人物や動物に限らず、個性を有する無機物もキャラクターとしてあり得る。例えば、ロボットなどである。演出用画像は、キャラクターの感情等を表現するものであって、感情等を表す言葉の文字を含む画像であってもよいし、星型やハート型等のパーティクルを含む画像であってもよい。キャラクター画像情報は、三次元画像の画像情報であることが好ましい。また、演出用画像情報は、状況に応じて、二次元画像の画像情報、又は、三次元画像情報である。

図７（ａ）に示す画像データ７５１の例では、環境信号として「音声Ａ」が検出された場合、「キャラクター画像Ａ」と「演出用画像Ａ」とが表示されることが規定される。例えば、音声Ａが「おはよう」という言葉であるとき、キャラクター画像Ａとして、キャラクターが「おはよう」と言う様子が表されるような画像が表示されるとともに、演出用画像Ａとして、朝のさわやかな演出をする画像が表示される。また、演出用画像Ａには、「おはよう」の文字が表示される吹き出しを含んでもよい。

環境信号として「動作Ｃ」が検出された場合、「キャラクター画像Ｃ」と「演出用画像Ｃ」とが表示される。例えば、動作Ｃが「ユーザの帰宅」であるとき、キャラクター画像Ｃとして、キャラクターが「おかえり」と言う様子が表されるような画像が表示されるとともに、演出用画像Ｃとして、帰宅を迎えるような演出をする画像が表示される。また、演出用画像Ｃには、「おかえり」の文字が表示される吹き出しを含んでもよい。

「時刻Ｄ」のタイミングでは、「キャラクター画像Ｄ」と「演出用画像Ｄ」とが表示される。例えば、時刻Ｄとして、目覚ましの時間として「午前６時」がセットされているとき、午前６時になると、キャラクター画像Ｄとして、キャラクターがユーザを起こすような様子が表される画像が表示されるとともに、演出用画像Ｄとして、目が覚めるような画像を表示してもよい。また、演出用画像Ｄには、「朝だよ」の文字が表示される吹き出しを含んでもよい。

「信号Ｅ」を受信したタイミングでは、「キャラクター画像Ｅ」と「演出用画像Ｅ」とが表示される。例えば、信号Ｅが、ユーザの通信端末から送信される「ハブラシ」の信号であるとき、この信号Ｅを受信すると、キャラクター画像Ｅとして、キャラクターが歯磨きをする様子が表される画像が表示されるとともに、演出用画像Ｅとして、歯磨きにふさわしい、気分爽快な画像を表示してもよい。また、演出用画像Ｅには、「はみがき中」の文字を含んでもよい。

また、画像データ７５１では、環境情報とともに時刻情報を含む表示条件が規定されてもよい。例えば、画像データ７５１は、環境情報が同一であっても、午前と午後とでは、表示されるキャラクター画像及び演出用画像が異なるように規定することができる。

さらに、画像データ７５１では、環境情報とともに受信信号を含む表示条件が規定されてもよい。

音声データ７５２は、音声を出力する出力条件と、当該条件に起因して出力される音声を特定する情報とが関連付けられるデータである。

図７（ｂ）に示す音声データ７５２の例では、環境信号として「音声Ａ」が検出された場合、「音声Ａ」が出力されることが規定される。例えば、音声Ａが「おはよう」という言葉であるとき、音声Ａとして、キャラクターの声で「おはよう」と出力される。

環境信号として「動作Ｃ」が検出された場合、「音声Ｃ」が出力される。例えば、動作Ｃが「ユーザの帰宅」であるとき、音声Ｃとして、キャラクターの声で「おかえり」と出力される。

「時刻Ｄ」のタイミングでは、音声Ｄとして、キャラクターの声で、「６時だよ」と出力される。

「信号Ｅ」を受信したタイミングでは、音声Ｅとして、キャラクターが歯磨きをする音や、うがいをする音が出力される。

また、音声データ７５２では、環境情報とともに時刻情報を含む出力条件が規定されてもよい。例えば、音声データ７５２は、環境情報が同一であっても、午前と午後とでは出力される音声が異なるように規定することができる。

さらに、音声データ７５２では、環境情報とともに受信信号を含む出力条件が規定されてもよい。

信号データ７５３は、家電等の外部の電気機器を操作する操作信号を出力する条件と、当該条件に起因して送信される操作信号とが関連付けられるデータである。

図７（ｃ）に示す信号データ７５３の例では、環境信号として「音声Ｆ」が検出された場合、「操作信号Ｆ」が出力されることが規定される。例えば、音声Ｆが「テレビ消して」という言葉であるとき、テレビの電源をつける操作信号Ｆが出力される。

なお、図８に示すように、同一の言葉や行動に対しても、日時に応じて出力される画像や音声は異なっていてもよい。例えば、「おはよう」の音声が検出された場合、平日朝であれば「おはよう 今日も頑張ろうね！」と一日を励ます音声を出力し、休日朝であれば「おはよう 今日はゆっくりできるね」と平日の疲れを労わるような音声を出力する。一方、夜であれば、「なに言ってるの？ もうこんな時間だよ」の音声を出力する。したがって、日常生活で不自然な機械的なやり取りを防止することができる。これにより、ユーザはキャラクターをより身近に感じることができる。

ユーザデータ７５４は、ユーザのプロフィール、属性、嗜好等のユーザに関する種々の情報を有する。ユーザデータ７５４において、ユーザの氏名を有することで、画像表示装置１は、例えば、ユーザの名前を音声で出力することができる。このとき、氏名だけでなくニックネーム等を登録してもよい。これにより、キャラクターがユーザの名前を呼ぶようにすることが可能となる。したがって、ユーザは、キャラクターに親しみを感じ、また、より身近に感じることができる。

ユーザデータ７５４において、ユーザの住所や会社の住所を入力することで、画像表示装置１は、例えば、ユーザの行動範囲に関する情報をインターネット等を利用して取得し、音声や画像で出力することができる。これにより、キャラクターが、ユーザに様々な情報を知らせてくれるようにすることが可能となる。したがって、ユーザは、キャラクターに親しみを感じ、かつ、より身近に感じることができる。

ユーザデータ７５４において、ユーザの生年月日を入力することで、画像表示装置１は、例えば、ユーザの誕生日に、誕生日を祝う画像は音声を出力することができる。これにより、キャラクターが、ユーザの誕生日を祝うようにすることが可能となる。これにより、ユーザはキャラクターに親しみを感じ、かつ、より身近に感じることができる。

ユーザデータ７５４において、ユーザの携帯電話の電話番号を入力することで、画像表示装置１は、例えば、ユーザが外出中に、携帯電話に電話をかけるようにすることができる。これにより、ユーザは外出先において、家で待つキャラクターから電話を受けたような状態とすることが可能となる。これにより、ユーザは、キャラクターに親しみを感じ、かつ、より身近に感じることができる。

その他、ユーザデータ７５４は、好きなアニメ、好きなキャラクター、趣味、興味のあるもの、体重、身長、職業等の情報を有することができる。画像表示装置１は、このようなユーザに関する情報に基づいて、ユーザの興味のある話題から画像を表示したり、音声を出力することが可能となる。また、このような情報は、アンケート等の結果や、ユーザが利用したＳＮＳ（ソーシャルネットワーキングサービス）の履歴等から生成することができる。

通信部７６は、有線又は無線により、外部の機器との間で双方向又は片方向のデータ通信処理を行う通信手段である。例えば、インターネットに接続された機器との間で、ＬＡＮポートに接続されたＬＡＮケーブルやＷｉ−Ｆｉ（登録商標）モジュールに基づく無線を介して、各種データの送受信が可能である。 例えば、通信部７６は、ユーザの通信端末から送信される信号を受信することができる。また、通信部７６は、天気情報サイトから受信可能な天気情報、カレンダーサイトに登録したカレンダー情報などのインターネットを介して取得可能な情報がある。

制御部７１は、画像表示プログラムＰに従って、取得処理部７１１、解析部７１２、表示処理部７１３、音声出力部７１４、送信処理部７１５、データ管理部７１６、としての制御動作を行うことができる。

取得処理部７１１は、マイク７０４、カメラ７２２、人感センサ７０２、光センサ７２１、温湿度センサ６１１、振動センサ６１２、騒音センサ６１３等のすくなくともいずれかから検出された信号を取得する。

解析部７１２は、取得処理部７１１が取得した環境情報を解析する。例えば、解析部７１２は、取得処理部７１１がマイク７０４から検出した環境信号から、ユーザが発した言葉を解析する。解析部７１２は、例えば、記憶装置７５に予め登録される言語データを用いて、マイク７０４が取得した音声から、ユーザが発した言葉を特定するようにできる。これにより、画像表示装置１は、ユーザが発した言葉に応じて定められる画像を表示し、言葉に応じて定められる音声を出力することができる。ここで、記憶装置７５において、画像表示装置１の持ち主であるユーザに関するユーザデータとして声紋情報を有し、持ち主ユーザの声を認識することができるようにしてもよい。

なお、解析部７１２が、ユーザが発した言葉を解析できないとき、画像表示装置１は、「もう一度言って」等、通常の機械的な音声を出力してユーザに繰り返しを要求するのではなく、別の方法で反応する。例えば、画像表示装置１は、「もっと近くでしゃべって」、「優しく言って」の音声を出力して繰り返すことを誘導する。また、画像表示装置１は、「ふーん」、「そっかー」、「なるほどー」等、適当な相槌の音声を出力してもよい。

また、解析部７１２は、取得処理部７１１がカメラ７２２から検出した環境信号から、ユーザの位置や動作を解析する。具体的には、解析部７１２は、画像解析として、画像から人の顔を検出することができる。また、記憶装置７５において、持ち主ユーザに関するユーザデータとしてユーザの顔情報を有し、検出した人の顔から、持ち主ユーザの顔を認識することができるようにしてもよい。

画像表示装置１は、持ち主ユーザを特定することで、キャラクターが持ち主ユーザに対しては親しげに接するような画像を表示したり音声を出力したりすることが可能となる。また反対に、画像表示装置１は、持ち主以外の者に対しては、よそよそしく接したり、自己紹介等の挨拶をしたりするような画像を表示したり音声を出力したりすることができる。これにより、ユーザは、画像表示装置１で表示されるキャラクターに対し、より親近感を覚えることができる。

また、解析部７１２は、解析されたユーザが発した言葉、ユーザの位置や動作に加え、他のセンサ等で検出された他の環境情報やボタン操作を合わせて一つの環境情報とした結果を生成してもよい。例えば、音声や画像に加え、人感センサの検出結果から、後述する外出や帰宅の判定をすることができる。

表示処理部７１３は、記憶装置７５から画像データ７５１を読み出し、この画像データ７５１から取得処理部７１１が取得した環境信号に対応する表示条件と関連付けられるキャラクター画像情報及び演出用画像情報を選択する。また、表示処理部７１３は、選択したキャラクター画像情報及び演出用画像情報と対応する画像を、出力部７３に出力して表示させる。また、表示処理部７１３は、環境情報及び時刻情報に応じて、キャラクター画像及び演出用画像を表示してもよい。さらに、表示処理部７１３は、環境情報及び受信信号に応じて、キャラクター画像及び演出用画像を表示してもよい。

音声出力部７１４は、記憶装置７５から音声データ７５２を読み出し、この音声データ７５２から取得処理部７１１が取得した環境信号に対応する出力条件と関連付けられる音声情報とを選択する。また、音声出力部７１４は、選択した音声情報と対応する音声を、出力部７３に出力する。また、音声出力部７１４は、環境情報及び時刻情報に応じて、音声を出力してもよい。さらに、音声出力部７１４は、環境情報及び受信信号に応じて、音声を出力してもよい。

送信処理部７１５は、記憶装置７５から信号データ７５３を読み出し、この信号データ７５３から取得処理部７１１が取得した環境信号と対応付けられる操作信号を選択する。また、送信処理部７１５は、読み出した操作信号を、出力部７３に出力する。

データ管理部７１６は、画像表示装置１に内蔵される時計又は外部の時計から、時刻情報を取得する。時刻に応じて表示する画像や音声が定められるとき、この表示及び出力スケジュールに従い、表示処理部７１３及び音声出力部７１４に制御信号を出力する。

また、データ管理部７１６は、画像表示装置１の起動時に天気情報サイトにアクセスして、その日の天気情報を取得して記憶装置７５に記憶させる。さらに、データ管理部７１６は、ユーザのスケジュールが登録されているカレンダーサイトに定期的にアクセスして、これにより得られる最新のカレンダー情報を記憶装置７５に記憶させることができる。また、データ管理部７１６は、テレビや照明などの外部機器のリモコンから当該外部機器に関するリモコン情報（赤外線情報）を赤外線受光部７０７により受信させて記憶装置７５に記憶（学習）させることができ、このリモコン情報に基づいて、外部機器を操作するための赤外線情報を赤外線ＬＥＤ７０３から発信させることができる。

〈動作〉
画像表示装置１では、「スリープ状態」、「未召喚状態」、「召喚状態」等の各状態に応じて、画像の表示や音声の出力等の処理を実行する。図９に示すように、画像表示装置１は、コンセントが未接続の状態（Ｓ１）において、電源ボタン（図示せず）は有効ではないが、コンセントが挿されてコンセントが接続の状態になると（Ｓ２）、電源ボタンが有効になる。

《未召喚状態》
コンセントが接続された状態（Ｓ２）で電源ボタンが押下されると、制御部７１が起動する（Ｓ３）。この起動により、例えば、起動画面が表示され、「未召喚状態」に移行する（Ｓ４）。「未召喚状態」は、画像表示装置１に電源は入っており、プロジェクタ４は起動しているものの、キャラクター画像は表示されておらず、未召喚画像が表示される状態である。また、未召喚状態では、プロジェクタ４は起動しているものの、スピーカ７０５やカメラ７２２等は起動しておらず、環境信号を検出することはできない。画像表示装置１は、未召喚状態では、ステータスＬＥＤ７０８が点灯している。

《召喚状態》
未召喚状態（Ｓ４）でタッチボタン２６が長押しされると、「召喚状態」に移行する（Ｓ５）。タッチボタン２６が長押しされるとは、所定時間以上（例えば、３秒以上）、ユーザにタッチボタン２６が触れられることをいう。この召喚状態が、画像表示装置１における特徴的な画像の表示や音声の出力の処理が実行される状態である。召喚状態は、画像表示装置１は、プロジェクタ４が起動しておりキャラクター画像が表示されるとともに、スピーカ７０５、カメラ７２２等が起動して環境信号の検出が可能な状態である。また、「召喚状態」では、（ａ）コミュニケーションモード、（ｂ）ライフモード、（ｃ）ケアモード、（ｄ）アピールモード、（ｅ）チャットモード等のモードがあり、これらのモード毎に所定の処理が実行される。

《スリープ状態》
未召喚状態（Ｓ４）で電源ボタンが押下されるか、所定時間放置されると、「スリープ状態」に移行する（Ｓ６）。「所定時間放置される」とは、例えば、所定時間以上（例えば、２０分以上）タッチボタン２６が長押しされることがない状態である。スリープ状態は、省電力の待機モードの状態であり、プロジェクタ４も起動しておらず、スピーカ７０５やカメラ７２２等も起動していない状態である。画像表示装置１は、スリープ状態では、ステータスＬＥＤ７０８が点灯している。

画像表示装置１は、スリープ状態で、ユーザにより、電源ボタンが押下、又は、タッチボタン２６がタッチされると、未召喚状態に移行する。「タッチボタンがタッチされる」とは、所定時間未満（例えば、３秒未満）の時間、ユーザにタッチボタン２６が触れられることをいう。

次に、召喚状態における、（ａ）コミュニケーションモード、（ｂ）ライフモード、（ｃ）ケアモード、（ｄ）アピールモード、（ｅ）チャットモードについて説明する。

（ａ）コミュニケーションモード
コミュニケーションモードは、キャラクター画像が表示され、キャラクターとユーザとがコミュニケーションをとることが可能な状態である。具体的には、画像表示装置１は、コミュニケーションモードでは、取得処理部７１１が取得する環境信号に応じたキャラクター画像を表示する。また、画像表示装置１は、環境信号に応じた演出用画像を表示する。さらに、画像表示装置１は、環境信号に応じて音声を出力する。

画像表示装置１は、未召喚状態から、タッチボタンが長押しされ、召喚状態に移行したとき、まず初めにコミュニケーションモードとなる。また、画像表示装置１は、コミュニケーションモードのタイミングで、所定時間以上（例えば、１０分以上）継続して、環境信号が取得されず、また、操作信号等の信号を受信しない場合、ライフモードに移行する。

例えば、画像表示装置１では、マイク７０４によって環境信号であるユーザが発した「今日の天気は？」の言葉が検出されると、これに応じて、データ管理部７１６によって記憶装置７５に記憶された天気情報に基づき、スピーカ７０５から「今日は晴れだよ」等の音声が出力される。また、画像表示装置１では、透過フィルム３に、晴れに対する喜びを表す動作をするキャラクター画像が表示される。さらに、画像表示装置１では、透過フィルム３に、晴れの天気を演出する演出用画像が表示される。演出用画像としては、図１０（ａ）に示すように、単なる画像だけの他、「今日は晴れだよ」の文字を吹き出しで表示するなどテキストデータとの組み合わせであってもよい。これにより、ユーザは、今日の天気を教えてくれた、キャラクターと暮らすような感覚を覚え、キャラクターをより身近に感じることができる。

また例えば、画像表示装置１では、ユーザが画像表示装置１に近づき、カメラ７２２によってユーザの顔が大きく検出されると、これに応じて、スピーカ７０５から「近すぎだよ」等の音声が出力される。また、画像表示装置１では、透過フィルム３に、ユーザの顔が近くにあることを恥ずかしがる動作をするキャラクター画像が表示される。さらに、画像表示装置１では、キャラクターの恥ずかしがる感情を演出する演出用画像が表示される。演出用画像としては、図１０（ｂ）に示すように、単なる画像だけの他、「近すぎだよー」の文字を吹き出して表示するなどテキストデータとの組み合わせであってもよい。これにより、ユーザは、近くによると恥ずかしがるキャラクターと暮らすような感覚を覚え、キャラクターをより身近に感じることができる。

この場合、例えば、図１０（ｃ）に示すように、画像表示装置１は、環境信号を取得すると（Ｔ１）、取得した環境信号に応じてキャラクターのキャラクター画像を表示するとともに、当該環境信号に応じて当該キャラクターの感情表現を演出する演出用画像を表示する（Ｔ２）。また、画像表示装置１は、取得した環境信号に応じた音声を出力する（Ｔ３）。なお、ステップＴ２とＴ３とは同時に実行されることが好ましい。

さらに、例えば、画像表示装置１では、ユーザがタッチボタン２６を複数回押すことで、複数回呼びかけてキャラクターの行動を邪魔するような動作をすると、これに応じて、スピーカ７０５から「もう、なんなのー」の音声が出力される。また、画像表示装置１では、透過フィルム３に、ユーザに複数回呼びかけられたことで、邪魔されたような動作をするキャラクター画像が表示される。さらに、画像表示装置１では、透過フィルム３に、ユーザの複数回の呼びかけを問うような演出用画像が表示される。これにより、ユーザは、複数回の呼びかけに対応するキャラクターに対しより身近に感じることができ、キャラクターと暮らすような感覚を覚えることができる。

また例えば、画像表示装置１では、ユーザの通信端末から、キャラクターに物を送るような信号を送信すると、これに応じ、スピーカ７０５からこれを喜ぶような音声が出力され、また、透過フィルム３で送信された物を使用するキャラクターが表示されたりする。

図１１（ａ）に示すように、ユーザの通信端末を操作し、画像表示装置１のキャラクターに「テレビ」を送信する。そうすると、画像表示装置１において、図１１（ｂ）に示すように、演出用画像としてテレビが表示される。また、演出用画像には、例えば、「一緒にテレビみよ」という文字が吹き出しに含まれていてもよい。この場合、画像データ７５１において、テレビを送信する送信信号には、図１１（ｂ）に示すキャラクター画像及び演出用画像が対応付けられる。

さらに、画像表示装置１において、「一緒にテレビみよ」という音声が出力される。この場合、音声データ７５２において、テレビを送信する送信信号には、「一緒にテレビみよ」という音声が出力される。

そして、対象のテレビ番組が終了すると、図１１（ｂ）に示すように、画像表示装置１には、「おもしろかった」という文字を吹き出しに含む演出用画像が表示されてもよい。同時に、画像表示装置１は、「おもしろかった」という音声が出力される。この場合、画像データ７５１において、テレビを送信する送信信号を受信後所定時間が経過（テレビ番組が終了）したことを条件として、「おもしろかった」を含む演出用画像が対応付けられる。また、音声データ７５１において、テレビを送信する送信信号を受信後所定時間が経過（テレビ番組が終了）したことを条件として、「おもしろかった」の音声が対応付けられる。なお、テレビ番組の内容として、「面白い」がふさわしくない場合もあるため、その感想としてふさわしい感想の音声を選択して出力するようにしてもよい。

加えて、ユーザがテレビを視聴の間、ユーザが笑ったりした場合、画像表示装置１は、ユーザの笑い声を検出すると、同時にキャラクターの笑う音声を出力するようにしてもよい。このようなキャラクター画像、演出用画像及び音声を出力することで、ユーザがキャラクターとともにテレビを視聴するような感覚を覚えることができる。

例えば、ユーザの通信端末の入力装置がタッチパネルであるとき、送信操作は、送信する物質の画像を、画像表示装置１の方向に向かって、フリックすることで、実行することができる。

図１１（ｄ）に示すように、ユーザの通信端末を操作し、画像表示装置１のキャラクターに「コーヒー」を送信する。そうすると、画像表示装置１において、図１１（ｅ）に示すように、演出用画像としてコーヒーが表示される。また、演出用画像には、例えば、「コーヒーブレイクしよう」という文字が吹き出しに含まれていてもよい。この場合、画像データ７５１において、コーヒーを送信する送信信号には、図１１（ｅ）に示すキャラクター画像及び演出用画像が対応付けられる。

さらに、画像表示装置１において、「コーヒーブレイクしよう」という音声が出力される。この場合、音声データ７５２において、コーヒーを送信する送信信号には、「コーヒーブレイクしよう」という音声が出力される。

そして、所定時間（例えば、１０分）が経過すると、図１１（ｆ）に示すように、画像表示装置１には、「ごちそうさまでした」という文字を吹き出しに含む演出用画像が表示されてもよい。同時に、画像表示装置１は、「ごちそうさまでした」という音声が出力される。この場合、画像データ７５１において、コーヒーを送信する送信信号を受信後所定時間が経過したことを条件として、「ごちそうさまでした」を含む演出用画像が対応付けられる。また、音声データ７５１において、コーヒーを送信する送信信号を受信後所定時間が経過したことを条件として、「ごちそうさまでした」の音声が対応付けられる。

加えて、コーヒーを飲む間、画像表示装置１は、キャラクターがコーヒーを飲む動画像を表示したり、「おいしいね」等の音声を出力したりするようにしてもよい。このようなキャラクター画像、演出用画像及び音声を出力することで、ユーザがキャラクターとともにコーヒーを飲むような感覚を覚えることができる。

図１１（ｇ）に示すように、ユーザの通信端末を操作し、画像表示装置１のキャラクターに「食べ物（図１１（ｇ）では、ドーナツ）」を送信する。そうすると、画像表示装置１において、図１１（ｈ）に示すように、演出用画像として食べ物が表示される。また、演出用画像には、例えば、「ありがとう」という文字が吹き出しに含まれていてもよい。この場合、画像データ７５１において、食べ物を送信する送信信号には、図１１（ｈ）に示すキャラクター画像及び演出用画像が対応付けられる。

さらに、画像表示装置１において、「ありがとう」という音声が出力される。この場合、音声データ７５２において、食べ物を送信する送信信号には、「ありがとう」という音声が出力される。

そして、所定時間（例えば、１０分）が経過すると、図１１（ｉ）に示すように、画像表示装置１には、「おいしかった」という文字を吹き出しに含む演出用画像が表示されてもよい。同時に、画像表示装置１は、「おいしかった」という音声が出力される。この場合、画像データ７５１において、食べ物を送信する送信信号を受信後所定時間が経過したことを条件として、「おいしかった」を含む演出用画像が対応付けられる。また、音声データ７５１において、食べ物を送信する送信信号を受信後所定時間が経過したことを条件として、「おいしかった」の音声が対応付けられる。

ここで、演出用画像は、ユーザの通信端末から画像表示装置１に物質がとばされてきたように演出させることもできる。このとき、例えば、転送時には、黄色等の光で光っており、キャラクター画像がこの物質を持った場合に、その光が消えるように演出することもできる。

また、通信端末から画像表示装置１に物質を転送する他、画像表示装置１からユーザ端末に物質を転送するように演出してもよい。例えば、画像表示装置１がコーヒーメーカーを操作した際に、キャラクターから通信端末にコーヒーカップを転送するように演出させることができる。

図１２（ａ）に示すようにユーザの通信端末で表示される複数種類の衣類やアクセサリーの中から、図１２（ｂ）に示すように、いずれかを選択し、選択した衣類等を送信する操作を可能としてもよい。そうすると、画像表示装置１において、図１２（ｃ）に示すように、送信した衣類を身に着けたキャラクターのキャラクター画像が表示される。また、演出用画像には、例えば、「ありがとう」という文字が吹き出しに含まれていてもよい。さらに、画像表示装置１において、「ありがとう」という音声が出力される。

この場合、画像データ７５１において、当該送信信号には、図１２（ｃ）に示すキャラクター画像及び演出用画像が関連付けられる。また、音声データ７５２において、当該送信信号には、「ありがとう」という音声が関連付けられる。

このようなキャラクター画像、演出用画像及び音声を出力することで、ユーザがキャラクターにプレゼントをしたような感覚を覚えることができる。また、ユーザは、キャラクターに好みの服を着せることができる。したがって、ユーザはキャラクターをより身近に感じることができる。

その他、ユーザがハブラシのデータを送信すると、画像表示装置１は、キャラクターが歯磨きをする様子の画像を表示し、ユーザはキャラクターとともに歯磨きできるようにしてもよい。また、ユーザが縄跳びやダンベルのデータを送信すると、画像表示装置１は、運動をする様子の画像を表示し、ユーザはキャラクターとともに運動できるようにしてもよい。

なお、記憶装置７５において、キャラクターの好みに関する嗜好データや過去に送信したアイテムやプレゼントに関する履歴データを記憶していてもよい。この場合、図１１及び図１２で上述したようなアイテムやプレゼントを送信すると、その嗜好や履歴によって、キャラクターの反応が異なるようにしてもよい。例えば、キャラクターが好きなアイテムを送信した場合、キャラクターの喜びが大きい画像と音声で表現される。これに対し、キャラクターが特に好きではないアイテムを送信した場合、キャラクターの喜びが小さい画像と音声で表現される。また、同じアイテムを送信し続けた場合、喜び方が小さくなるようにしてもよい。さらに、食べ物を送信する頻度が多くなると、「太っちゃうよー」等と画像と音声で表現されるようにしてもよい。このように、キャラクターの反応が常に同一ではないため、ユーザは、キャラクターにより親しみをもつことができる。

（ｂ）ライフモード
ライフモードは、キャラクター画像が表示され、このキャラクター画像が環境信号に依存せず、例えば、時刻に応じて変化する状態である。例えば、画像表示装置１では、朝であれば、朝ごはんを作ったり、朝ごはんを食べたり、掃除をしたりする画像が表示される。昼であれば、昼ごはんを作ったり、昼ごはんをたべたり、アイロンをかけたりする画像が表示される。夜であれば、夕ごはんを作ったり、夕ごはんを食べたり、ストレッチをしたりする画像が表示される。

その他、キャラクターが洗濯をしたり、掃除をしたり、歯磨きをしたり、シャワーをしたりする画像であってもよい。また、単に、キャラクターが、椅子に座って足をぶらぶらする画像や、椅子に座ってスマートフォン等の端末を操作する画像、椅子に座って絵を書く画像等を表示してもよい。その他、キャラクターがベッドの上で漫画を読む画像、ベッドの上で周りを見回す画像、ベッドの上で寝ている画像等を表示してもよい。

また、この頻度や確率を管理することが可能であり、日によって、異なる動作をする画像を表示するようにすることも可能であり、また、動作時間は、完全に同一でなくてもよく、ある範囲の中でランダムに選択される。これにより、また、ユーザが興味のある行動については、長い時間表示されるようにしてもよい。例えば、朝ごはんを作っているときにユーザが「かわいいね」ということが多い場合、朝ごはんを作る画像を表示する時間を長くすることができる。

画像表示装置１は、ライフモードのタイミングで、タッチボタン２６が触れられると、コミュニケーションモードに移行する。また、ライフモードにおいて、所定のタイミングで、ケアモードやアピールモードに移行する。

（ｃ）ケアモード
ケアモードは、予め登録されたユーザのスケジュールに応じ、所定の各タイミングで、キャラクター画像や演出用画像を表示し、タイングに応じた音声を出力する。例えば、画像表示装置１は、「おはよう」、「いってらっしゃい」、「おはよう」、「おやすみ」等の音声を出力する。

例えば、ユーザは、通信端末等を利用し、事前に図１３（ａ）に示すような登録画面Ｗ１を介して、各時刻入力ボックスｂ１１〜ｂ１４に時刻を入力し、日々の行動の「起床時間」、「外出時間」、「帰宅時間」及び「就寝時間」を登録する。

また、このスケジュールに変更が生じた場合、再度この登録画面Ｗ１を利用して更新することもできるが、１日のみ予定を変更したい場合、後述するチャットモードにより、図１３（ｂ）に示すようなチャット画面Ｗ２を利用して変更してもよい。チャット画面Ｗ２は、送信するメッセージを入力する入力部ｂ２１と、送信する送信部ｂ２２と、メッセージ例が表示されるメッセージ表示部ｂ２３と、送信されたメッセージが表示されるメッセージ表示部ｂ２４とを有する。

図１４のチャートに示すように、画像表示装置１は、『起床モード』を実行することができる。具体的には、登録された起床時間の所定時間前（例えば、「１時間前」）に、『起床モード』が開始される（Ｓ２０１）。

この状態で、解析部７１２によりユーザの顔が検出される、又は、タッチボタン２６がタッチされると、ユーザが起床したと判定される。また、ユーザが起床したことを条件に、表示処理部７１３により「おはよう」の挨拶をするキャラクター画像及び演出用画像が表示され、音声出力部７１４により「おはよう」の挨拶が出力される（Ｓ２０２）。

その他、ユーザの行動に応じた言葉が出力されてもよい。ユーザが登録される起床時間より早く目覚めた場合、「シャキッと目覚めたね」の音声を出力することができる。ユーザが前日に遅刻した場合、「今日は遅刻しないでね」の音声を出力することができる。カーテンが閉まっていることが検出された場合、「カーテン開けようね」の音声を出力することができる。ユーザの前日の就寝時間が遅く、今日の起床時間が遅い場合、「昨日遅くまで起きているからよ」の音声を出力することができる。

ユーザの起床が判定されると、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ２０３）。例えば、起床後に起動する家電として、コーヒーメーカーがセットされている場合、コーヒーメーカーが起動される。

また、ユーザの起床が判定されると、朝の情報通知の画像や音声を出力する（Ｓ２０４）。例えば、「日付」、「天気」、「気温」等を通知する画像や音声を出力する。

家電の操作や朝の情報通知に関する画像や音声の出力に対してユーザが発した音声が検出されると、これに対するキャラクターの挨拶の音声が出力される（Ｓ２０５）。例えば、ユーザが発した「ありがとう」が検出されると、キャラクターの音声として「どういたしまして」等の音声が出力される。その後、所定時間が経過すると、ライフモードに移行する（Ｓ２１３）。

また、未召喚状態の場合に、起床時間の所定時間前（例えば、３０秒前）までに、解析部７１２によりユーザの顔が検出されず、又は、タッチボタン２６がタッチされていないとき、召喚状態となる（Ｓ２０６）。

未召喚状態から召喚状態となると、送信処理部７１５は、操作信号を送信し、予め登録される家電を操作する（Ｓ２０７）。

また、起床時刻まで解析部７１２によってユーザの顔検出がされないとき、表示処理部７１３はユーザを起こす画像を表示し、音声出力部７１４がユーザを起こす音声を出力し、目覚まし機能を開始する（Ｓ２０８）。例えば、ユーザを起こす音声としては、キャラクターの「朝だよ」等の音声である。

解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、ステップＳ２０２に移行する。一方、ユーザの顔も検出されず、タッチボタン２６のタッチもされないとき、スヌーズ機能として、ユーザを起こす画像と音声の出力を継続する（Ｓ２０９）。例えば、ユーザを起こす音声は、徐々の大きくすることができる。また、画像表示装置１から出力される光の光量を上げてもよい。

解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、ステップＳ２０２に移行する。一方、ユーザの顔も検出されず、タッチボタン２６のタッチもされないとき、送信処理部７１５が操作信号を送信し、予め登録される家電を操作する（Ｓ２１０）。

さらに、ユーザを起こす画像と音声を最終手段の画像及び音声とする（Ｓ２１１）。例えば、表示処理部７１３は、キャラクターがフライパンをたたく画像を表示する。また、例えば、音声出力部７１４は、キャラクターが「起きないとおくれるよー」と言いながらフライパンがたたかれる音を含む音声を出力する。

その後、解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、ステップＳ２０２に移行する。一方、解析部７１２により顔検出がされず、タッチボタン２６の検出もないとき、画像表示装置１は、ユーザの状態を不明とし（Ｓ２１２）、ライフモードに移行する（Ｓ２１３）。

図１５のチャートに示すように、画像表示装置１は、『外出モード』を実行することができる。具体的には、登録された外出時間の所定時間前（例えば、「５分前」）に、『外出モード』が開始され、未召喚状態（Ｓ３０１）から召喚状態に移行する（Ｓ３０２）。

また、出発時刻になると、アラートの画像及び音声が出力される（Ｓ３０３）。例えば、アラートとは、ユーザを急がせるようなキャラクターの画像とキャラクターの「出発だよ」の音声等である。

また、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ３０３）。

さらに、表示処理部７１３は、外出チェックの画像を表示し、音声出力部７１４は、外出チェックの音声を出力する（Ｓ３０４）。例えば、予定の確認、忘れ物の確認、降水確率が高い場合に傘を持つよう促す確認等を通知する画像や音声を出力する。

また、出発時刻になると、表示処理部７１３は、出発を急がせる画像を出力し、音声出力部７１４は、出発を急がせる音声を出力する（Ｓ３０５）。例えば、キャラクターが慌ただしく動く動画像と、キャラクターの「もう出発時間！遅刻だよ」等の音声である。

解析部７１２がユーザの「行ってきます」の音声を検出したとき、表示処理部７１３は、これに応じた画像を表示し、音声出力部７１４は、これに応じた音声を出力する（Ｓ３０６）。例えば、表示処理部７１３は、ユーザに手を振るキャラクター画像を表示する。また、音声出力部７１４は、「いってらっしゃい」等の音声を出力する。また、出力する音声は、登録されるユーザのスケジュールやユーザの行動履歴等に応じて変更してもよい。

その後、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ３０７）

ステップＳ３０５で出発時刻を通知後、又は、ステップＳ３０７で家電を操作後、ライフモードに移行する（Ｓ３０８，Ｓ３０９）。さらに、所定時間（例えば、１０分）経過後、人感センサ７０２によって人が検出されない場合、スリープ状態に移行する（Ｓ３１０）。

図１６に示すように、画像表示装置１は、環境信号に応じて「外出・帰宅判定」が可能であり、これに応じて『帰宅モード』を実行することができる。具体的には、図１５を用いて上述した『外出モード』において外出が判定された後、画像表示装置１がスリープ状態であるとき（Ｓ４１）、ユーザの通信端末から帰宅予定のメッセージを受信すると、帰宅準備として、召喚状態に移行する（Ｓ４２）。

その後、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ４３）。

また、画像表示装置１は、人感センサ７０２で人を検出したタイミング、家の照明の電源がオンにされたタイミング、ドアが開けられたタイミングで、帰宅をしたと予想する「帰宅予想」と判定する（Ｓ４４）。ここで、ドアの開閉は、気圧センサ（図示せず）による気圧の変化の検出や、騒音センサ６１３による音の検出によって判定することができる。また、帰宅予想が判定されると、音声出力部７１４は、「帰ってきたみたいだー」等の音声を出力してもよい。

帰宅予想が判定されると、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ４５）。

また、画像表示装置１は、解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、「帰宅」と判定される。また、ユーザが帰宅したことを条件に、表示処理部７１３は、帰宅の挨拶をするキャラクター画像及び演出画像が表示され、音声出力部７１４により帰宅の挨拶の音声が出力される（Ｓ４６）。例えば、帰宅の挨拶としては、「おかえり」に限られず、「今日も遅いんだから―」、「今日は早ね」、「今日はおそいね」、「おつかれさま」等、日々のユーザの行動履歴等に基づいて決定される音声を含むことができる。

ユーザが発した音声が検出されると、これに対してキャラクターの返答の音声が出力される（Ｓ４７）。例えば、キャラクターは、その日にしたこととして、「昨日ドーナツを食べたから、今日は運動したよ」等の音声を出力してもよい。また、家で起きたことを知らせてもよい。例えば、玄関のチャイムが複数回鳴った場合、「今日は誰かが来ていたよ」等の音声を出力してもよい。

一方、帰宅予想を判定後、所定時間（例えば３０秒間）、帰宅が判定できないとき、帰宅確認をする（Ｓ４８）。例えば、帰宅確認とは、音声出力部７１４によって、「帰ってきたの？顔みせなさいよ」等の音声を出力する。また、表示処理部７１３によって、拗ねたようなキャラクター画像や怒ったようなキャラクター画像と、演出用画像を表示する。

ステップＳ４７でユーザの挨拶に対して返答した後、又は、ステップＳ４８で帰宅確認をした後、ライフモードに移行する（Ｓ４９）。

（ｄ）アピールモード
アピールモードは、時刻やセンサ等で検出される信号等に応じ、各条件に応じたキャラクター画像や演出画像を表示し、各条件に応じた音声を出力する。例えば、画像表示装置１は、時刻に応じて、「もう８時だよ」等の音声を出力することができる。また、画像表示装置１は、温度に応じて、「なんか暑いね」等の音声を出力することができる。これにより、ユーザは思わぬタイミングでキャラクターから話しかけられるため、キャラクターをより身近に感じることができる。

（ｅ）チャットモード
チャットモードは、ユーザが外出中等、画像表示装置１と離れた場所にいる場合、ユーザの通信端末との間でメッセージの送受信を実現する。

《音声に関する動作》
例えば、ユーザがマイク７０４に向かってキャラクターの名前を呼ぶと、画像表示装置１は、その名前に対応するキャラクターの画像を表示させることができる。また、ユーザが、表示されたキャラクターに特定の話題について話しかけると、画像表示装置１は、ユーザに対して応答した音声を出力することができる。

このため、ユーザは、好きなときに、好きなキャラクターを呼び出すことができ、このキャラクター等をより立体的に見せることが可能な透明なケース２の中に表示させることができる。また、ユーザがキャラクター等に向かって話しかけると、あたかもそのキャラクター等が、ユーザの話しかけに応じた振る舞いをするように動作させることができる。このため、同じ空間にいるキャラクター等と一緒に生活をしているかのような感覚をユーザに与えることができる。

また、音声入力に応じて照明の点灯／消灯を制御することもできる。例えば、「電気消して」や「おやすみなさい」の音声がマイク７０４から入力されると、制御部７１は、予めこの文字列に紐付けて記憶部７５に記憶されている照明の消灯に関するリモコン情報を記憶部７５から取り出し、対応する赤外線情報を赤外線ＬＥＤ７０３から発信させる。これにより、室内の照明を消灯することができる。また、同様に、「おかえり」や「おはよう」に応じて照明を点灯することもできる。なお、ここで利用する信号は、赤外線情報以外を利用してもよい。

さらに、このような音声入力と、人感センサ７０２による人の検知を組み合わせた制御動作も可能である。例えば、ユーザの話しかけにより「いってきます」の音声をマイク７０４から入力すると、制御部７１は、この音声により得られる文字列に対応した監視モードに移行する。なお、キャラクター等による「いってらっしゃい」に対応して監視モードに移行することもできる。

監視モードは、ユーザが室内に存在しない状態におけるモードである。このため、監視モードは、ユーザの話しかけによる「ただいま」の音声を入力し、この音声により得られる文字列を検出すると解除することができる。なお、キャラクター等による「おかえりなさい」に対応して監視モードを解除することもできる。

監視モード中に、例えば、人感センサ７０２により人が検知されると、制御部７１は、これを異常と判断し、これを報知することができる。具体的には、所定の警報音や警告メッセージをスピーカ７０５から出力したり、通信部７６を介して予め登録した宛先に所定のメッセージを送信することができる。また、このとき、制御部７１は、カメラ７２２に室内を撮影させて、記憶部７５に画像を記憶したり、通信部７６を介して予め登録した宛先に画像を送信することもできる。

なお、監視モード中に人感センサ７０２により人が検知された後、すぐに異常と判断して報知を行ってもよく、また、一定時間内に監視モードの解除がない場合に異常と判断して報知を行うこともできる。

《赤外線ＬＥＤに関する制御動作》
赤外線ＬＥＤ７０３を用いた制御動作として、以下の動作を行うことができる。具体的には、制御部７１は、タイマープログラムによって予めセットされた起床時刻になると、その時刻情報に紐付けられている行動情報に基づき、対応する機器の動作を制御する。

例えば、起床時（７：００）に「照明点灯」、就寝時（２３：００）に「照明消灯」といったタイマープログラムを登録した場合、制御部７１は、７：００になると、「照明点灯」のリモコン情報を記憶部７５から取り出し、対応する赤外線情報を赤外線ＬＥＤ７０３から発信させ、２３：００になると、「照明消灯」のリモコン情報を記憶部７５から取り出し、対応する赤外線情報を赤外線ＬＥＤ７０３から発信させる。このようにすると、所定の日時に所定の機器を自動的に動作させることができる。

このほか、温湿度センサ６１１により検知される温湿度に応じてエアコン等のオン／オフ制御を行ったり、時間帯に応じてテレビのオン／オフ制御を行うこともできる。

《センサに関する制御動作》
光センサ７２１を用い、例えば、昼間であるにもかかわらず、カーテンが開いていないことを検知して、ユーザにカーテンを開けるよう促すことができる。
具体的には、日の出の時刻をカレンダー情報として記憶部７５に記憶しておき、その時刻を過ぎても、光センサ７２１から入力される照度が所定の照度に満たない場合、制御部７１は、予め記憶部７５に記憶している音声データ（「カーテンあけよう」）を、スピーカ７０５から出力させる。

《騒音センサに関する制御動作》
騒音センサ６１３を用い、例えば、テレビが長時間つきっぱなしであることをユーザに注意することができる。具体的には、制御部７１は、騒音センサ６１３により入力された音の音量、周波数等に基づき、テレビがつけられたと判断すると、その判断をしたときから計時を開始し、その状態の時間が所定時間を超過した場合に、予め記憶部７５に記憶している音声データ（「テレビ消そうよ」）を取り出し、スピーカ７０５から出力させる。これにより、省エネに貢献するとともに、あたかも嫁から注意されているかのような感覚をユーザに与えることができる。

《振動センサに関する制御動作》
振動センサ６１２を用い、地震の検出やその報知動作を行うことができる。
例えば、人感センサ７０２により人がいることが検知されていない状態において、振動センサ６１２により所定の大きさの揺れを検知した場合には、地震が発生したものと判断して、制御部７１は、所定の警報音や警告メッセージをスピーカ７０５から出力させ、又は、通信部７６を介して予め登録した宛先に所定のメッセージを送信することができる。

他方、人感センサ７０２により人がいることが検知されている状態において、振動センサ６１２により所定の大きさの揺れを検知した場合には、ユーザ等による人為的な行為によるものと判断し、報知を行わない。なお、この場合、例えば、音声メッセージ（「揺らしちゃダメ！」）をスピーカ７０５から出力させることができる。このようにすると、地震と生活振動とを精度良く区別しつつ、それぞれに対応した動作を行うことができる。

《温湿度センサに関する制御動作》
温湿度センサ６１１に対応した所定の音声出力制御を行うことができる。例えば、温湿度センサ６１１により検出された温度が１０°Ｃ未満の場合、制御部７１は、所定のタイミングで「今日は寒いね」といった音声をスピーカ７０５から出力させることができる。

また、温湿度センサ６１１により検出された湿度が４０％未満の場合には、所定のタイミングで「乾燥してるよ！風邪ひかないようにね」といった音声をスピーカ７０５から出力させることができる。

《画像に関する動作》
カメラ７２２で撮影された画像に対応した画像表示及び音声出力制御を行うことができる。例えば、カメラ７２２で取得した画像を利用してフェイストラッキングや表情検出を実行してキャラクターの画像を変更することができる。

具体的には、ユーザが移動すると、キャラクターがユーザの方を見るようなキャラクター画像を表示してもよい。また、キャラクターが、たまに目を背けてまた、ユーザの方を見るようなキャラクター画像を表示してもよい。さらに、ユーザが笑うと、笑い返すキャラクター画像を表示してもよい。また、ユーザがキャラクターとは違う方向を見ていた後で目が合うと、目が合ったタイミングでほほ笑むキャラクター画像を表示してもよい。さらに、ユーザが画像表示装置１に登録済みのカップで飲み物を飲んでいると、「私も飲む」という音声を出力して、同じカップで飲み物を飲むキャラクター画像を表示してもよい。さらに、ユーザが画像表示装置１に登録済みの服を着ていると、「かっこいい！」という音声を出力してもよい。

この他にも様々な入出力制御が可能である。
例えば、温湿度や天気情報の入力情報に基づいて、「傘持って行った方がいいよ」といった音声を出力させたり、ユーザからの「何着ていこうかな」といった音声入力に対し、温湿度、天気情報、カレンダー情報等に対応したおすすめの洋服を表示させたりすることができる。

また、画像表示装置１は、以下のような処理を実現してもよい。

《起床判定システム》
制御部７１は、例えば、カレンダーサイトで記憶装置７５に登録されたユーザの起床時刻を含むカレンダー情報と、データ管理部７１６が取得する時刻とを利用し、目覚ましの呼びかけをすることができる。その後、例えば、ユーザがベッドから起き上がり、解析部７１２で検出する顔が一定以上の大きさになると制御部７１は、起床と判定し、ユーザが起床後の処理を実行する。例えば、ユーザは、自身の通信端末のスケジュール情報を、画像表示装置１に送信して、画像表示装置１は、受信したスケジュール情報に示される内容にしたがって、動作することとしてもよい。例えば、スケジュール情報に、「２３日６時起床」とあった場合に、制御部７１は、２３日の６時に、キャラクターにユーザを起こす動作をさせることとしてもよい。

《外出判定システム》
制御部７１は、例えば、解析部７１２が検出するユーザの「いってきます」の音声に加え、取得処理部７１１が取得するユーザの通信端末の位置情報が、家の外にある場合、ユーザが外出したと判定することができる。また例えば、人感センサ７０２でユーザの存在が検出されないことに加え、取得処理部７１１が取得するユーザの通信端末の位置情報が、家の外にある場合、ユーザが外出したと判定することができる。

《帰宅判定システム》
制御部７１は、例えば、上述の外出判定においてユーザが外出したと判定した後に、人感センサ７０２でユーザの存在が検出された場合、ユーザが帰宅したと判定することができる。当該検出では、人感センサ７０２で人を検出することに加え、カメラ７２２で撮像した画像から、ユーザの顔を判定することとしてもよい。

《寝落ち判定システム》
制御部７１は、ユーザが在宅中に、例えば、人感センサ７０２により、ユーザの動きが1時間検出されず、かつ、光センサ７２１によって検出される照度が、照明が消されていない程度の明るさであると解析部７１２で解析されると、ユーザが寝落ちしたと判定することができる。ここでいう、「寝落ち」とはユーザがテレビを見たり、ゲームをしたりする等、何かの作業中に、照明を消すことがなく寝てしまうことをいう。画像表示装置１は、ユーザが寝落ちしたと判定した場合であって、部屋の照明が消灯されていない場合に、部屋の照明を消灯するように証明を制御することとしてもよい。

《起床時刻確認システム》
制御部７１は、例えば、翌朝の外出時間か?、普段の朝より早い場合、普段の朝の準備時間を確保すへ?く、翌朝の目覚まし時刻を早くするよう提案することができる。具値的には、翌日目覚まし時刻と翌日の外出予定時刻との時間差が、平均の起床時刻と外出時刻との時間差で求められる外出準備時間よりも短い場合、翌朝の目覚まし時刻より早くするよう提案する。例えば、制御部７１は、音声データ７５２から、「明日は出発時刻か?早いみたいた?けと?、目覚まし時刻早める？」の音声を選択し、出力する。また、制御部７１は、ユーザは「ＹＥＳ」の返答か?あった場合、記憶装置７５に登録される目覚まし時刻を変更する。

また例えば、制御部７１は、今朝、遅刻した場合、翌朝の目覚まし時刻を早くするよう提案することができる。具体的には、制御部７１は、今朝の外出時刻が、外出予定時刻より所定時間（例えば、１０分）遅れた場合、目覚まし時間をその所定時刻早めるよう提案することができる。例えば、制御部７１は、音声データ７５２から、「今日遅刻したて?しょ！明日は１０分早く起きてみる？」の音声を選択し、出力する。また、制御部７１は、ユーザは「ＹＥＳ」の返答か?あった場合、記憶装置７５に登録される目覚まし時刻を変更する。

《スクワット判定機能》
制御部７１は、例えば、解析部７１２が顔認識の上下運動を検出し、スクワットしている回数を数えるシステムを備えることができる。また、制御部７１は、腕立て伏せだけでなく、腹筋の回数や、腕立てふせの回数を数えるシステムにも応用することもできる。これにより、表示処理部７１３は、ユーザの動作を応援するキャラクター画像や演出用画像を表示することができる。また、音声出力部７１４は、キャラクターがカウントする音声や応援する音声を出力することができる。

《カメラ自撮りシステム》
制御部７１は、例えば、ユーザが、キャラクターと自撮り撮影できるようにしてもよい。この際、ユーザがカメラ７２２で撮像可能な範囲に移動することで、カメラ７２２でユーザの画像を撮像すると、制御部７１は、撮像画像にキャラクター画像を合成する。また、制御部７１は、キャラクター画像が合成された撮影画像を、インターネット等を介してＳＮＳ（ソーシャルネットワーキングサービス）等の提供サーバにアップロードしてもよい。

《コーヒーブレイクタイムシステム》
制御部７１は、キャラクターがユーザにコーヒーブレイクを提案するようにしてもよい。例えば、データ管理部７１６が管理する時刻が所定時刻の場合に、送信処理部７１５が、コーヒーメーカーに、操作信号を送信する。また、表示処理部７１３は、ユーザにコーヒーブレイクを促す画像を選択して表示し、音声出力部７１４は、ユーザにコーヒーブレイクを促す音声を選択して出力する。さらに、解析部７１２が、画像や音声から、ユーザがコーヒーを飲み終わるのを検出すると、制御部７１は、コーヒーブレイクを終了する。例えば、制御部７１は、解析部７１２が、ユーザの「おいしかったよ」や「ごちそうさま」の音声を検出することにより、終了することができる。

《コール・レスポンスシステム》
制御部７１は、ユーザとキャラクターと名前を呼びあうようにしてもよい。音声出力部７１３が、ユーザデータ７５４に登録される名前やニックネームを呼ぶキャラクターの音声を出力する。また、解析部７１２によってユーザが発したキャラクターの名前やニックネームの音声が検出されると、音声出力部７１３は、ユーザの名前やニックネームを呼ぶキャラクターの音声を出力することができる。

《着替えレコメンドシステム》
制御部７１は、ユーザのコーディネートをレコメンドするようにしてもよい。例えば、解析部７１２によって、カメラ７２２が撮像した画像から「顔の上の正方形の帽子」、「顔の下の長い長方形のネクタイ」等のユーザが身につけているものの形状や色を判定する。また、制御部７１は、取得処理部７１１で取得する環境情報から解析されるユーザの表情や気分や、記憶装置７５に登録されるユーザのスケジュールや、天気情報、季節等を総合的に判断して、おすすめの色をレコメンドしてもよい。

《お願い操作》
制御部７１は、ユーザから通信端末等の情報処理装置を介し、機器の操作や、スケジュール管理の依頼を受けることができる。例えば、機器の操作が依頼された場合、送信処理部７１５は、依頼された信号に応じて、操作信号を出力する。また、スケジュールの登録や変更が依頼された場合、データ管理部７１６は、この信号に応じて、データを登録又は更新する。具体的には、図１３（ｂ）を用いて上述したように、チャット機能を用いたり、メモや伝言板のようなものを用いて、制御部７１を操作したりすることができる。ユーザは、自身がキャラクターにしてほしいことをキャラクターにお願いするように感じることができるため、人間にお願いしているように感じることができる。

《ふて寝モード》
制御部７１は、所定の条件を満たした場合に、怒ってふて寝をするキャラクター画像を表示させてもよい。例えば、画像表示装置１が外部のネットワークに接続されていない場合、又は、画像表示装置１がユーザの通信端末との間でネットワーク接続がされていない場合、怒ってふて寝するような画像を選択し、表示する。これにより、画像表示装置１がユーザに訴えかけるようなキャラクター画像を表示することで、より人間らしく、よりリアルに表現することができる。

《興味の変遷アルゴリズム》
ユーザデータ７５４に複数種類の興味や趣味嗜好が登録されているとき、制御部７１は、複数の中からいずれかをランダムに選択し、出力する画像や音声に反映させることができる。例えば、このとき、ユーザデータ７５４では、ユーザの嗜好情報についてそれぞれ重み値が設定され、制御部７１は、その重み値を加味して、出力する画像や音声を選択することができる。また、これらの趣味嗜好の重み値は、時間の経過と共に増加させたり、減衰させたりすることができる。さらに、重み値が所定の値以下になったら、他の嗜好の重み値が大きくなることにより、別の趣味嗜好の話題を選択するようにしてもよい。

《ライフモードのアルゴリズム》
制御部７１は、ライフモードにおいて、「ユーザの嗜好情報」や「キャラクター内部の嗜好情報」をもとに、表示する画像や、出力する音声を選択することができる。例えば、ユーザが漫画好きであれば、制御部７１は、ライフモードにおいて、漫画を読むキャラクター画像を表示することができ、これに対応する音声を出力することができる。また、ユーザが料理好きであれば、制御部７１は、暇な時に料理をするキャラクター画像を表示することができ、これに対応する音声を出力することができる。

《興味トーク》
制御部７１は、ユーザとのインタラクションが発生した一定時間後に、そのインタラクションに関連する話題の画像及び音声を出力することができる。制御部７１は、ユーザとのインタラクションが発生した時刻を記憶しておき、そこから、所定時間が経過したか否かを判定することで、当該制御を実現する。
《ユーザー行動分析推定システム》
制御部７１でユーザの行動を判定するためのデータとしては、予め教師データとして与えられた複数パターンのデータを参照し、導きだすことができる。具体的には、画像表示装置１に備えられた各種センサを用いて、ユーザが所定の行動をした際のセンシングデータを取得しておき、その際の所定の行動を示す情報と対応付けて記憶しておき、これを教師データとする。そして、画像表示装置１は、備えられている各種のセンサから入力されたデータを、教師データとを比較することにより、ユーザの行動を分析、推定することができる。これにより、制御部７１は、ユーザの行動に応じた動作をキャラクターにさせることができる。また、制御部７１は、逐次、この教師データをユーザの行動に応じて更新することとしてもよい。

《人感情追従システム》
また、画像表示装置１は、ユーザの感情を推定して、キャラクターにそのユーザ感情に対応した動作を実行させてもよい。具体的には、以下のように処理を実行する。

制御部７１は、カメラ７２２で撮像したユーザの顔画像から表情認識処理を行って、ユーザの感情を推定してもよい。これは、予め各種の感情に応じた顔画像の特徴量の情報を記憶装置７５に記憶しておき、撮像した画像とのパターンマッチングにより、最も近いと推定される顔画像を特定して、対応する感情を特定するものである。また、マイク７０４から入力された声紋からユーザの感情を推定してもよい。これも顔画像の場合と同様に、予め各種の感情に応じた声情報（例えば、周波数や音量など）の情報を記憶装置７５に記憶しておき、入力された声紋との特徴量に応じて、ユーザの感情を推定する。また、あるいは、制御部７１は、ユーザとの間の会話やチャットの内容から、ユーザの感情を推定することとしてもよい。例えば、会話中の「楽しかった」とか「むかつく」といった感情を表す言葉から、ユーザの感情を推定する。

そして、画像表示装置１の制御部７１は、画像表示装置１に記憶、設定されているキャラクターの個性に応じて、ユーザに同調したり、励ましたりといった行動をとらせることができる。例えば、ユーザの感情を判定した結果、ユーザが寂しいと感じていると推定したら、「そうだね、寂しかったね。でも、私がいるよ？」とか、「そんなことで、寂しく思う必要なんかないよ！大丈夫大丈夫！」といったセリフの音声を音声出力部７１４から出力したりするとよい。また、例えば、ユーザが落ち込んでいると推定した場合には、「ファイト！」と励ましたりしてもよい。なお、これらのキャラクターの行動は一例であることは言うまでもない。

《ありがとう学習システム》
画像表示装置１の制御部７１は、ユーザから会話で伝達された、もしくは、チャット上で伝達された、ありがとう等、感謝の言葉を伝えられた内容を記憶する。そして、その時の条件を記憶する。即ち、制御部７１（キャラクター）は、ユーザが、「いつ」、「何をする」とありがとうと言われるのかを記憶する。即ち、ユーザから感謝されたときの、「タイミング」と「キャラクターの行動」とを対応付けて記憶装置７５に記憶する。そして、制御部７１は、その「いつ」というタイミングにおいて、感謝された行動をキャラクターに再現させることとしてもよい。

《顔学習システム》
画像表示装置１の制御部７１は、カメラ７２２で撮像した画像に、ユーザと異なる人物の顔画像が含まれると判定した場合に、その顔画像をチャットに添付して、「この人誰？」と問いかけることとしてもよい。これに対して、ユーザが「お母さんだよ」と回答することで、画像表示装置１は、その人物を撮像して得られた顔画像と、「お母さん」という言葉を対応付けて記憶する。また、画像表示装置１の制御部７１は、ユーザの「お母さんだよ」という回答に対して、例えば、「お母さんなんだね。覚えたよ」というようなメッセージをかえしてもよい。また、別のタイミングで、記憶した人物の顔画像を撮像して得た場合には、画像表示装置１は、「お母さんが来たよ」というメッセージをユーザの通信端末に送信することとしてもよい。また、その際にその人物の行動を推定できた場合に、その内容も含めて送信してもよい。また、当該構成は、画像表示装置１が撮像した顔画像がユーザにとって知らない人物の顔であった場合には防犯の役に立てることもできる。

《心配性システム》
画像表示装置１は、ユーザが外出したことを検出してから（人感センサ７０２が人を検出しないまま所定時間が経過してから）、一定以上遅くなってきた場合（例えば、現在時刻が夜２２時を経過した場合）に、ユーザに対して、twitter（登録商標）、メール、チャット、電話などの手段で連絡をとってもよい。例えば、制御部７１は、「遅いけど、大丈夫？」というようなメッセージを送信してもよいし、電話をかけてもよい。なお、電話を掛ける場合には、画像表示装置１に電話回線と接続するための設定しておく必要がある。また、当該行動をとるかどうかの閾値を定めておき、ランダム値がこの閾値を超えるかどうかで、このユーザを心配する行動をとるかどうかを判定してもよい。また、画像表示装置１は、この閾値を時間が遅くなればなるほど高くなるように制御してもよい。また、その日の朝のユーザの様子に応じて、この閾値を変更することとしてもよい。例えば、ユーザの体調が悪いと推定している場合には、通常よりも閾値が低くなるように制御することとしてもよい。
《赤外線情報監視システム》
画像表示装置１は更に赤外線センサを備えて、周囲の赤外線情報を取得し、取得した赤外線情報に応じた行動をキャラクターに取らせることとしてもよい。例えば、ユーザがテレビのリモコンを操作したことを、リモコンから出力された赤外線情報を取得して、検出し、テレビをオンした時間と曜日とチャンネルを記憶しておいてもよい。そして、別の日であって、同じ曜日の同じ時間になったときに、画像表示装置１がテレビを操作して、同じチャンネルをつけるように制御してもよい。

また、赤外線センサからユーザの体温や部屋の温度をモニタして、温度が高くなってきたことを検出したら、画像表示装置１の制御部７１は、キャラクターに、ユーザに対して、「窓開けたらどうかな？」とか、「扇風機つける？」とか、「空調つける？」といった提案をする会話をさせることとしてもよい。

《視聴番組監視システム》
画像表示装置１は、ユーザが視聴しているテレビやラジオ番組に関する情報を取得し、記憶する構成を備えてもよい。具体的には、ネットワーク上からテレビ番組情報を取得し、テレビから発せられる音声に対して音声人気処理を行ってユーザの視聴している番組を推定する。あるいは、画像表示装置１は、各種家電と接続し、テレビのＯＮ／ＯＦＦ情報や、チャンネル情報を取得して、ユーザが視聴した番組を特定し、記憶する。そして、記憶した番組に関する番組表からキーワードを取得して、会話のネタにしてもよい。

例えば、クラウドサーバにおいて、各放送局の番組についてどのような会話が行われているかに対して音声認識にかけ、各放送局の番組の内容をテキスト化し、クラウドテキスト情報を取得する。一方、画像表示装置１において、ユーザが視聴している番組の音声情報をマイク７０４から取得する。そして、取得した音声に音声認識をかけてユーザテキスト情報に変換する。そして、クラウドテキスト情報とユーザテキスト情報とを比較、照合することにより、画像表示装置１は、ユーザがどの番組を視聴しているかを特定することができる。そして、制御部７１は、ユーザが視聴している番組を特定し、その番組名を組み込んで、例えば、「朝は、Ａテレビだよね！」とリコメンドし、テレビのリモコンを制御することとしてもよい。

《空気読みシステム》
画像表示装置１の制御部７１は、ユーザが忙しそうにしているか否かを判定し、判定した状態に応じた行動、所謂空気を読んだ行動をとることとしてもよい。画像表示装置１の制御部７１（取得処理部７１１）が取得した種々の環境信号に応じてユーザの忙しさを判定する。例えば、ユーザの起床時刻が遅く、人感センサ７０２が検出するユーザの位置が所定時間内（例えば、５分以内）に左右に所定回数以上（例えば、１０回以上）動くことを検出した場合に、ユーザが忙しいと判定して、画像表示装置１の制御部７１は、キャラクターにユーザに話しかけないように制御する。また、ユーザがあまり動かない、即ち、人感センサ７０２が検出するユーザ位置が所定範囲内にとどまっている場合に、制御部７１は、キャラクターにユーザに話しかけさせるように制御する。このように、画像表示装置１の制御部７１は、キャラクターにユーザの状態を見て、即ち、空気を読んで、アクションを起こさせるか否かを判定することができる。

《フェイス＆アイトラッキングシステム》
画像表示装置１の制御部７１は、カメラ７２２が取得するユーザの顔画像と目の画像に基づいて、ユーザの視線を検出することとしてもよい。例えば、ユーザの顔画像が画像表示装置１の方向を向いていることを検出し、眼の瞳孔が双方とも画像表示装置１の方向を向いているか否かを検出する。そして、制御部７１は、ユーザの視線がキャラクターの方を向いている場合に、キャラクターに恥ずかしがらせたり、ユーザと見つめ合わせたりするようにすることもできる。

《バーチャル風システム》
画像表示装置１の制御部７１は、マイク７０４に、ユーザが息を吹きかけていることを検出して、画像表示装置１内の世界に風を吹かせたエフェクトを発生させてもよい。例えば、キャラクターの服がひらひらと揺れたりする演出をしてもよい。当該構成はマイク７０４ではなく、画像表示装置１に風圧センサを設けることでも実現できる。

《体調管理システム》
画像表示装置１は、通信部７６を介して、ユーザが保持する体重計や運動量計など、ユーザの状態を検出することができる機器から、ユーザの状態情報を取得することとしてもよい。例えば、体重計から検出したユーザの体重が、所定期間内に所定以上減少していたような場合には、制御部７１は、「ちゃんと食べてる？」とキャラクターに話させたり、ユーザの身長に対する体重が平均体重を所定以上多い場合には、「ちょっとは運動しなきゃ！」とリコメンドさせたりすることとしてもよい。また、ユーザが繰り返し運動するような場合には、制御部７１は、カメラ７２２で撮像した画像を参照しながら、キャラクターに繰り返し運動の回数を数えるように音声を出力させることとしてもよい。例えば、腕立て伏せやスクワットの回数を数えることなどが考えられる。

《リアルタイムモーション配信システム》
画像表示装置１の制御部７１は、通信部７６を介して特殊な信号を受信することで特殊な動作をすることとしてもよい。具体的には、開発運営側の人物の体にモーションキャプチャセンサーを装着し、人物の動きを全ユーザの画像表示装置１に配信する。画像表示装置１は、配信されたモーションと同じ動きをするキャラクターを表示することで、番組配信を実現することもできる。例えば、特殊な信号として地震速報などを受信した場合には、「○○で、震度４の地震だよ。落ち着いて行動してね」といった音声を音声出力部７１４が出力することとしてもよい。また、特殊な信号内に、表示すべき画像データが含まれる場合に、その画像データを表示してもよい。この画像データとしては、例えば実在の人物であってもよく、例えば、有名人の会見を表示し、その音声を出力するようにしてもよい。これにより、例えば、ホログラムによる番組配信を実現することもできる。また、画像表示装置１は、実在の人物の画像データを取得し、その人物の音声データを取得することで、実在の人物を表示するキャラクターとして表示することができる。

《ホログラムアバター電話システム》
画像表示装置１に電話機が接続、又は、画像表示装置１に電話機能が備えられている場合に、画像表示装置１は、以下の機能を備えてもよい。画像表示装置１は、このとき、カメラ７２２から取得した画像に基づいて、ユーザの表情を特定し、特定した表情と同じ表情のアバター情報を生成し、電話相手にそのアバター情報を送信して、電話相手の表示画面にそのアバター画像を表示させる構成を備えてもよい。

《報告システム》
画像表示装置１の制御部７１は、ユーザの帰宅を検出して、ユーザに対して、キャラクターにキャラクターの一日を報告させることとしてもよい。例えば、解析部７１２は、人感センサ７０２が、所定時間以上、ユーザを検出していない状態で、新たにユーザを検知した場合に、ユーザが帰宅したものと判定する。すると、制御部７１は、キャラクターに周辺で起こった出来事（各種センサから取得できる情報に基づいて、その事象が起こったと推定される内容）を、ユーザに報告させることとしてもよい。例えば、温湿度センサ６１１が所定以上の温度を、所定時間以上、検出していた場合に、キャラクターに「今日は暑かったよ〜」と報告させたり、室温度センサ６１１が所定以上の温度と湿度を、所定時間以上検出していた場合に、「今日は蒸し暑かったねえ」と報告させたり、地震速報を受信していた場合には、「今日、地震があったね。そっちは大丈夫だった？」と報告させたり、「あなたがいないときに、誰々がきたよ〜」と報告させたりしてもよい。

《体調不良連絡電話システム》
画像表示装置１の制御部７１は、画像表示装置１に電話機能が搭載されている場合に、ユーザの体調が悪い場合に、ユーザからの指示に従って、ユーザの勤務先や通学先など、予め設定されている電話番号に、「本日、体調不良のためお休みをいただきます」と、ユーザの代わりに電話連絡をさせることとしてもよい。

《特定デバイスによるジェスチャーコントロールシステム》
画像表示装置１の制御部７１は、ユーザが装着または保持する特定のアイテムからの信号に従って、キャラクターを制御することとしてもよい。例えば、特定のアイテムが指輪の場合であって、画像解析によりユーザが指輪をこすっていることを検出した場合に、キャラクターに恥ずかし気な動作をさせることとしてもよい。また、あるいは、特定のアイテムとして、ユーザがペンライトを持って左右に振っていた場合には、制御部７１は、キャラクターにペンライトを持たせた画像を表示し、その手を左右に振らせるように動かす映像を投影することとしてもよい。

《キャラクターお着替えシステム》
画像表示装置１の制御部７１は、キャラクターに着させる服装やアイテムなどを、適宜、変更することとしてもよい。そのために、制御部７１は、各種の服装やアイテムの表示データを記憶装置７５に記憶、あるいは、外部のサーバからダウンロードして取得する。そして、制御部７１は、画像表示装置１が搭載する計時部（図示せず。現在日時を検出するクロック）からの日時が含まれる季節や、天気、気温、時間帯に応じた服装をしたキャラクターを表示することとしてもよい。

《瞬間移動システム》
上記実施の形態に係る画像表示装置１をユーザが複数台保持する場合、各画像表示装置１を連動させて、そのうちの、ユーザが確認できる位置にのみキャラクターを表示することとしてもよい。その場合、制御部７０１は、ユーザが移動した移動先にある画像表示装置１に、キャラクターも移動してきたかのような演出をすることとしてもよい。

《掃除システム》
画像表示装置１の制御部７１は、家電として、ロボット掃除機と通信を行って、そのロボット掃除機を制御して、ユーザの室内を掃除することとしてもよい。また、その際に、制御部７１は、ユーザが普段掃除している箇所と掃除していない箇所とを特定し、

《歯磨き応援システム》
画像表示装置１の制御部７１は、画像解析によりユーザが歯磨きをしていることを検出して、キャラクターにユーザの歯磨きを応援する行動をとらせてもよいし、ユーザが薬を飲んだり、患部に薬を塗ったりすることを検出して、キャラクターにその行動を応援させることとしてもよい。

《スポーツ選手モーションキャプチャシステム》
画像表示装置１は、スポーツ中継などの映像を取得し、そのスポーツ中継に登場するスポーツ選手のモーションと同じモーションをキャラクターに実行させるように画像を投影してもよい。また、その際に、ユーザは、ユーザの通信端末や、画像表示装置１に備え付けられた操作パネルや、音声等により、キャラクターの向く向きを指示して、当該指示に従った映像を画像表示装置１は、表示することとしてもよい。また、このとき、キャラクターではなく、スポーツ選手そのものの映像を表示することとしてもよい。

《ライブ応援システム》
画像表示装置１は、ユーザが何等かのアイドル等のライブなどを視聴している場合に、制御部７１は、キャラクターにもそのライブ映像を視聴しているように表示するとともに、そのキャラクターにライブに参加しているかのように、掛け声を発したり、ケミカルライトを振る動作をさせてもよい。また、あるいは、制御部７１は、キャラクターがバーチャルシンガーとしてアイドルのように、歌を歌って踊る動作をさせる場合に、ユーザからの手拍子や応援に応じて、その動作を連動させてもよい。例えば、ユーザの手拍子のタイミングを検出して、そのタイミングに合わせてステップを踏ませるように画像を出力することとしてもうよいし、ユーザからの応援の声量に合わせて行動を変化させてもよい。

《マルチエージェントシステム》
画像表示装置１は、記憶装置７５に複数のキャラクターに関する情報を記憶しておいてもよい。そして、制御部７１は、ユーザの状況に応じて使用するキャラクターを選択し、投影することとしてもよい。また、画像表示装置１にマルチコアを搭載し、１コアで１キャラクターを制御する場合に、画像表示装置１は、同時に複数のキャラクターを投影することとしてもよい。

《年齢経過システム》
画像表示装置１は、キャラクターを表示する際に、一定時間でキャラクターが年をとるように画像を表示することとしてもよい。画像表示装置１は、例えば、キャラクターを初めて召還する場合には、赤ちゃんの状態を表示することとし、そこから、所定期間が経過するごと（例えば、１ヶ月経過するごと）に、キャラクターの画像を変化させるようにして、キャラクターが成長しているかのように、表示することとしてもよい。

《各種言語対応システムシステム》
画像表示装置１は、音声認識のアルゴリズムや、対話システムを、各国の各言葉に応じたモデルを搭載することで、各種の言語に対応することができる。

《オリジナルキャラクターシステム》
画像表示装置１が表示するキャラクターは、ユーザがオリジナルで作成することとしてもよい。画像表示装置１は、そのために必要とする各種データのフォーマットを用意し、ユーザがエディットできるように構成されてもよいし、エディット自体はユーザのＰＣ等で作成したものを画像表示装置１に転送することとしてもよい。また、ユーザが作成したキャラクターデータは、ネットワークを介して配信することとしてもよい。

《各種キャラクター召還システム》
画像表示装置１が表示するキャラクターとしては、ＶＲ（Virtual Reality）コンテンツのキャラクターのデータを用いることとしてもよい。例えば、ユーザがＨＭＤ（Head Mounted Display）を利用して遊んだゲーム等のキャラクターを画像表示装置１が表示するキャラクターとして使用することとしてもよい。また、ＶＲコンテンツに限らず、各種のゲーム（例えば、スマホゲームなど）のキャラクターをダウンロードして表示するキャラクターとして使用することができる。

《チャット機能の外部実装》
上記では、画像表示装置１が、チャット機能を有することとしてが、チャット機能は、外部の装置が実行することとしてもよい。即ち、ユーザが通信端末を用いて、画像表示装置１のキャラクターとメッセージのやり取りをする際には、実際には、外部サーバとやり取りをしている構成をとってもよい。その場合に、外部のサーバは、キャラクターとしての応答アルゴリズムを保持するほか、画像表示装置１から、ユーザに関する会話履歴データ７５５、チャット履歴データ７５６を事前に取得しておく必要がある。そのため、ユーザからのチャット入力があった場合に、外部の装置は、画像表示装置１にアクセスして、それらの情報を取得する構成を備えていてもよい。また、外部の装置がユーザの通信端末とのチャットを終えた後には、外部の装置は、チャット履歴データ７５６を画像表示装置１に送信し、画像表示装置１は、受信したチャット履歴データ７５６を記憶装置７５に上書きすることとしてもよい。このような実装により、画像表示装置１の外部にチャット機能を有する装置を設けたシステムを実現することができる。

以上のように、本発明の第一実施形態に係る画像表示装置１によれば、表示対象であるキャラクター等を、同じ空間にいる実体物のように表示させることができる。また、画像表示装置１では、ユーザの音声等の環境情報に対応した振る舞いを、キャラクター等などにより行わせるようにしている。さらに、画像表示装置１では、キャラクターの心情等を表現する演出画像をキャラクター画像とともに表示させることができる。

これにより、あたかも実在するキャラクター等と同じ空間にいるような感覚をユーザに与えることができる。また、キャラクターをより身近に感じさせることができる。

上述した実施形態においては、各処理を、画像表示装置１の制御部７１が画像表示プログラム等を実行することにより、実現するものとして説明した。一方、画像表示装置１において、ＣＰＵに代えて、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））、ＦＰＧＡ（Field Programmable gate array）、ＣＰＬＤ（Complex Programmable Logic Device）等に形成された論理回路（ハードウェア）や専用回路によって各処理を実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。

すなわち、図１７に示すように、画像表示装置１は、制御回路７１ａ、入力部７２、出力部７３、操作部７４、記憶装置７５、通信部７６から構成されてもよい。制御回路７１ａが有する取得制御回路７１１ａ、解析回路７１２ａ、表示処理回路７１３ａ、音声出力回路７１４ａ、送信処理回路７１５ａ及びデータ管理回路７１６ａは、画像表示プログラムＰによって制御される。それぞれの機能は、上記実施形態に示した同様の名称を有する各部と同様である。

また、上記記憶装置７５としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記検索プログラムは、当該検索プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記映像表示プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。さらに、図６及び図１７に示す例では、各データは、記憶装置７５に記憶されるものとして説明したが、これに限定されない。例えば、各データは、ネットワークを介して接続される外部のサーバ等の記憶装置に記憶され、ネットワークを介して読み出され、使用されてもよい。

なお、上記プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Java（登録商標）などのコンパイラ言語、アセンブリ言語、ＲＴＬ（Register Transfer Language）などを用いて実装できる。

本発明は、キャラクター画像をキャラクターの心情等を表現する演出用画像とともに表示することが可能な画像表示装置に好適に用いることができる。

１ 画像表示装置
２ ケース
２１ 上部収容部
２２ 下部収容部
２２１ 台座
２３ 支柱
３ 透過フィルム（平状部材）
４ プロジェクタ（映像出力手段）
５ 反射ミラー（反射手段）
５１ ミラー取付部（調整手段）
６ 柱部
７１ 制御部（出力制御手段）
７２ 入力部（入力手段）
７３ 出力部（出力手段）
７０６ 演出用ＬＥＤ（発光手段）

Claims (10)

1. 環境信号を取得する取得処理部と、
   前記取得処理部が取得した環境信号に応じてキャラクターのキャラクター画像を表示するとともに、当該環境信号に応じて当該キャラクターの感情表現を演出する演出用画像を表示する表示部と、
   前記取得処理部が取得した環境信号に応じた音声を出力する音声出力部と、を備える画像表示装置。
2. 少なくとも一部が透光性部材からなるケースをさらに備え、
   前記表示部は、前記ケース内に立設した透光性の平板部材と、当該平板部材にキャラクター画像及び演出用画像を投光する投光装置と、当該投光装置を制御する表示処理部とを有する、請求項１に記載の画像表示装置。
3. 前記取得処理部は、マイク、カメラ、または、人感センサの少なくともいずれか１つで得られた環境信号を取得し、
   前記取得処理部が取得した環境情報を解析する解析部をさらに備え、
   前記表示処理部は、画像を表示する表示条件と、当該条件の場合に表示されるキャラクター画像を特定する第１画像情報と、当該条件の場合に表示される演出用画像を特定する第２画像情報とが関連付けられる画像データを記憶する画像データ記憶部から、前記解析部で解析された環境情報に対応する表示条件と関連付けられる第１画像情報及び第２画像情報とを選択し、キャラクター画像及び演出用画像を表示し、
   前記音声出力部は、音声を出力する出力条件と、当該条件の場合に出力される音声を特定する音声情報とが関連付けられる音声データを記憶する音声データ記憶部から、前記解析部で解析された環境情報に対応する出力条件と関連付けられる音声情報を選択し、音声を出力する
   する請求項１又は２に記載の画像表示装置。
4. 前記取得処理部は、時刻情報を取得可能であって、
   前記画像データでは、環境情報とともに時刻情報に応じてキャラクター画像と演出用画像を表示する表示条件が定められ、
   前記音声データでは、環境情報とともに時刻情報に応じて音声を出力する出力条件が定められ、
   前記表示処理部は、環境情報及び時刻情報に応じて、キャラクター画像及び演出用画像を表示し、
   前記音声出力部は、環境情報及び時刻情報に応じて、音声を出力する
   請求項３に記載の画像表示装置。
5. キャラクターとともに表示させる画像に関する信号を受信する受信部を備え、
   前記画像データでは、環境情報とともに受信信号に応じてキャラクター画像と演出用画像を表示する表示条件が定められ、
   前記音声データでは、環境情報とともに受信信号に応じて音声を出力する出力条件が定められ、
   前記表示処理部は、環境情報及び受信信号に応じて、キャラクター画像及び演出用画像を表示し、
   前記音声出力部は、環境情報及び受信信号に応じて、出力する請求項３又は４に記載の画像表示装置。
6. 外部の電気機器を操作する操作信号と、当該操作信号を送信する送信条件とが関連付けられる信号データを記憶する信号データ記憶部から、前記取得処理部が取得した環境信号と関連付けられる操作信号を選択して送信する送信処理部とをさらに備える請求項１乃至５のいずれか１に記載の画像表示装置。
7. 前記表示処理部は、ホログラムとして画像を表示する請求項１乃至６のいずれか１項に記載の画像表示装置。
8. 前記キャラクター画像は、動画像である請求項１乃至７のいずれか１項に記載の画像表示装置。
9. 環境信号を取得する取得処理ステップと、
   前記取得処理ステップで取得した環境信号に応じてキャラクターのキャラクター画像を表示するとともに、当該環境信号に応じて当該キャラクターの感情表現を演出する演出用画像を表示する表示ステップと、
   前記取得処理ステップで取得した環境信号に応じた音声を出力する音声出力ステップと、を有する画像表示方法。
10. コンピュータに、
    環境信号を取得する取得処理機能と、
    前記取得処理機能が取得した環境信号に応じてキャラクターのキャラクター画像を表示するとともに、当該環境信号に応じて当該キャラクターの感情表現を演出する演出用画像を表示する表示機能と、
    前記取得処理機能が取得した環境信号に応じた音声を出力する音声出力機能とを実現させる画像表示プログラム。

Images