JP2019139170A - Image display device, image display method, and image display program - Google Patents
Image display device, image display method, and image display program Download PDFInfo
- Publication number
- JP2019139170A JP2019139170A JP2018024584A JP2018024584A JP2019139170A JP 2019139170 A JP2019139170 A JP 2019139170A JP 2018024584 A JP2018024584 A JP 2018024584A JP 2018024584 A JP2018024584 A JP 2018024584A JP 2019139170 A JP2019139170 A JP 2019139170A
- Authority
- JP
- Japan
- Prior art keywords
- user
- character
- information
- image display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、キャラクター画像を表示する画像表示装置、画像表示方法および画像表示プログラムに関し、特に、ユーザの状態を推定し、推定結果に基づいて、キャラクターに動作および／または発言を行わせることができる画像表示装置、画像表示方法および画像表示プログラムに関する。 The present invention relates to an image display device that displays a character image, an image display method, and an image display program, and in particular, can estimate a user's state and cause a character to perform an action and / or a statement based on the estimation result. The present invention relates to an image display device, an image display method, and an image display program.
従来、様々なキャラクター商品が販売され、その中には、デスクトップキャラクターと呼称されるものがある。これは、ＰＣ等のモニタ上にキャラクターを表示させ、予め定められたアルゴリズムに従って動作し、特定のセリフを表示したり、音楽を流したりするアプリケーションである。また、ユーザの通信端末上に表示させたキャラクターにチャットシステムを利用して、提供しているサービスの説明をさせるアプリケーションもある（例えば、特許文献１）。 Conventionally, various character products have been sold, and some of them are called desktop characters. This is an application that displays a character on a monitor such as a PC, operates according to a predetermined algorithm, displays a specific line, and plays music. There is also an application that allows a character displayed on a user's communication terminal to explain a service provided by using a chat system (for example, Patent Document 1).
ところで、従来から、外部からの音声等に応じてコミュニケーションを行うコミュニケーションロボットや、外部からの音声等に応じて動作する電子玩具等が存在する（例えば、特許文献２及び３参照）。
Conventionally, there are communication robots that perform communication according to external voices, electronic toys that operate according to external voices, and the like (see, for example,
一方、このようなロボットや玩具による応答は限定されている。具体的には、ロボットや玩具は、特定の音声に対して、特定の応答や動きをすることができるのみであった。 On the other hand, the response by such robots and toys is limited. Specifically, the robot and the toy were only able to make a specific response or movement with respect to a specific sound.
本発明の目的は、従来の玩具等の単調な応答を改善し、ユーザの状態を推定し、推定結果に基づいて、キャラクターに動作および／または発言を行わせることができる画像表示装置、画像表示方法および画像表示プログラムに関する。 An object of the present invention is to improve the monotonous response of a conventional toy or the like, estimate the user's state, and allow the character to perform an action and / or speech based on the estimation result, and an image display The present invention relates to a method and an image display program.
上記目的を達成するため、本発明の画像表示装置は、キャラクターを表示する表示部と、ユーザに関する情報を取得する取得部と、取得部が取得した情報からユーザの状態を推定する推定部と、推定部による推定結果に基づいて、キャラクターに動作および／または発言を行わせるための情報を生成する生成部と、生成部が生成した情報を出力する出力部とを備えることを特徴とする。 In order to achieve the above object, an image display device of the present invention includes a display unit that displays a character, an acquisition unit that acquires information about the user, an estimation unit that estimates a user's state from the information acquired by the acquisition unit, A generation unit that generates information for causing a character to perform an action and / or speech based on an estimation result by the estimation unit, and an output unit that outputs information generated by the generation unit are provided.
本発明の画像表示装置、画像表示方法および画像表示プログラムによれば、ユーザの状態を推定し、推定結果に基づいて、キャラクターに動作および／または発言を行わせることにより、ユーザに、キャラクターが自分と一緒に生活をしているような感覚を与えることができる。 According to the image display device, the image display method, and the image display program of the present invention, by estimating the state of the user and causing the character to act and / or speak based on the estimation result, the user can Can give you the feeling of living with.
以下、本発明の実施形態に係る画像表示装置について図面を参照して説明する。本実施形態に係る画像表示装置は、例えば後述する画像表示装置とすることができるが、本発明の目的を達成できるものであればこれに限定されるものではない。 Hereinafter, an image display device according to an embodiment of the present invention will be described with reference to the drawings. The image display apparatus according to the present embodiment can be, for example, an image display apparatus described later, but is not limited to this as long as the object of the present invention can be achieved.
図１（ａ）に示すように、本発明の画像表示装置２０１０は、表示部２０１１と、取得部２０１２、推定部２０１３と、生成部２０１４と、出力部２０１５とを備える。
As shown in FIG. 1A, the
表示部２０１１は、キャラクターを表示するものである。本発明の画像表示装置は、例えば、後述するプロジェクタにキャラクターに係る画像を透過フィルムに投影させることで、キャラクターを表示することができる。表示部２０１１は、例えば、プロセッサやグラフィックエンジンなどによって実現されるが、実現の手法はこれに限られるものではない。キャラクターは、アニメ、漫画、小説、コンピュータゲーム、小説などに登場する人物や動物などであるが、これに限られず、オリジナルの創造上の人物であってもよい。また、人物や動物に限らず、個性を有する無機物もキャラクターとしてあり得る。例えば、ロボットなどである。
The
取得部２０１２は、ユーザに関する情報を取得するものである。ユーザに関する情報とは、例えば、後述するセンサにより得られるユーザの生体情報や部屋の情報、カメラにより撮影された画像から得られるユーザの生体情報や部屋の情報、記憶装置から得られるユーザに関連する環境情報などとすることができる。
The
ユーザの生体情報とは、例えば、体温情報、血圧情報、脈拍情報、体重情報などの情報とすることができるが、これらに限られず、例えば歩数や運動時間なども含むことができる。 The user's biological information can be, for example, information such as body temperature information, blood pressure information, pulse information, and weight information, but is not limited thereto, and can include, for example, the number of steps and exercise time.
ユーザの部屋の情報とは、例えば、部屋の温度情報、湿度情報、空気情報、配置物の情報とすることができるが、これらに限られるものではない。 The user's room information can be, for example, room temperature information, humidity information, air information, and arrangement information, but is not limited thereto.
ユーザに関連する環境情報とは、例えば、ユーザがいる地域の天気情報や、ユーザの本門予定先の渋滞情報とすることができるが、これらに限られるものではない。 The environment information related to the user can be, for example, weather information of a region where the user is present or traffic jam information of a user's main scheduled destination, but is not limited thereto.
推定部２０１３は、取得部２０１２が取得した情報からユーザの状態を推定する。例えば、一例として、情報が体温情報である場合、この体温情報が予め設定された閾値を超えている場合に、推定部２０１３は、ユーザが発熱状態であると推定することができる。また、一例として、情報が空気情報である場合、この空気情報にアルコール値が予め設定された閾値を超えている場合に、推定部２０１３は、ユーザが飲酒状態であると推定することができる。
The
そして、生成部２０１４は、推定部２０１３による推定結果に基づいて、キャラクターに動作および／または発言を行わせるための情報を生成する。
And the production |
推定結果に基づく動作および／または発言とは、後述するように、ユーザの状態と同じ状態を示す動作および／または発言と、ユーザの状態に対応する動作および／または発言とが含まれるものとすることができる。 The operation and / or speech based on the estimation result includes an operation and / or speech indicating the same state as the user state and an operation and / or speech corresponding to the user state, as will be described later. be able to.
そして、出力部２０１５は、生成部が生成２０１４した情報を出力する。この出力部２０１５により出力された情報は、キャラクターに、上記の動作および／または発言を行わせるものとする。キャラクターの動作は、上記表示部２０１１に出力され、キャラクターの発言は、スピーカ等により増幅器を介して出力される。
And the
図２は、出力部２０１５が、生成部２０１４が生成した情報を出力し、キャラクターが、ユーザの状態と同じ状態を示す動作および／または発言をしている状態を表したイメージ図である。同様に、図３は、出力部２０１５が、生成部２０１４が生成した情報を出力し、キャラクターが、ユーザの状態に対応する動作および／または発言をしている状態を表したイメージ図である。
FIG. 2 is an image diagram in which the
なお、キャラクターが、ユーザの状態と同じ状態を示す動作および／または発言とは、図２に示すように、ユーザの状態が発熱状態である場合には、キャラクターも発熱状態であることを示す動作および／または発言（例えば、寝込む、咳をする、ふらつく等）を行わせるものであればよく、必ずしもユーザの動作および／または発言と一致していることを限定したものではない。 In addition, the operation | movement and / or remark that a character shows the same state as a user's state are operations which show that a character is also a heat generation state, as shown in FIG. 2, when a user's state is a heat generation state. What is necessary is just to be able to make a speech (for example, to sleep, cough, sway, etc.), and is not necessarily limited to be consistent with the user's action and / or speech.
また、キャラクターが、ユーザの状態と同じ状態を示す動作および／または発言とは、図３に示すように、ユーザの状態が飲酒状態である場合には、キャラクターがユーザを気遣う状態であることを示す動作および／または発言（例えば、心配する発言をする、眉をひそめる等）を行わせるものであればよい。 In addition, as shown in FIG. 3, the action and / or remark that the character shows the same state as the user's state means that the character cares for the user when the user's state is a drinking state. Any operation and / or utterance (for example, making a worried utterance or frowning) may be performed.
かかる構成により、本発明の画像表示装置は、ユーザの状態を推定し、推定結果に基づいて、キャラクターに動作および／または発言を行わせることができる。これにより、ユーザに、キャラクターが自分と一緒に生活をしているような感覚を与えることができる。 With this configuration, the image display apparatus of the present invention can estimate the user's state and cause the character to perform an action and / or speech based on the estimation result. Thereby, it is possible to give the user a feeling that the character is living with him / herself.
取得部２０１２は、ユーザの生体情報、ユーザの部屋の情報、ユーザに関連する環境情報の少なくとも一つの情報を取得することができる。これら情報の詳細については上述したとおりである。
The
生成部２０１４は、推定部２０１３による推定結果に基づいて、キャラクターに、ユーザの状態と同じ状態を示す動作および／または発言を行わせるための情報を生成することができる。これら情報の詳細については上述したとおりである。
Based on the estimation result from the
生成部２０１４は、推定部２０１３による推定結果に基づいて、キャラクターに、ユーザの状態に対応する動作および／または発言を行わせるための情報を生成することができる。これら情報の詳細については上述したとおりである。
The
取得部２０１２は、センサにより測定された測定値からユーザに関する情報を取得することができる。
The
上記センサは、例えば、体温情報、血圧情報、脈拍情報、体重情報を測定するための体温計、血圧計、脈拍計、体重計等とすることができる。これらのセンサは、一のセンサで複数の情報を測定することが可能なものを用いることもできる。また、ユーザが腕等に装着可能（ウェアラブルな）な測定機器を用いることもできる。このように、センサをウェアラブルな機器とした場合は、ユーザの歩数や運動時間などの情報も得ることができる。 The sensor may be, for example, a thermometer, a sphygmomanometer, a pulse meter, a weight scale, etc. for measuring body temperature information, blood pressure information, pulse information, weight information. These sensors can use what can measure a plurality of information with one sensor. Further, a measuring device that can be worn on the arm or the like by the user (wearable) can also be used. Thus, when the sensor is a wearable device, information such as the number of steps of the user and exercise time can be obtained.
また、上記センサは、例えば、ユーザの部屋の温度情報、湿度情報、空気情報、配置物の情報を測定するための温度センサ、湿度センサ、ガスセンサ、加速度センサ、赤外線センサ等とすることができる。これらのセンサは、一のセンサで複数の情報を測定することが可能なものを用いることもできる。また、ユーザが腕等に装着可能（ウェアラブルな）な測定機器を用いることもできる。 Further, the sensor may be, for example, a temperature sensor, a humidity sensor, a gas sensor, an acceleration sensor, an infrared sensor, or the like for measuring temperature information, humidity information, air information, and arrangement information of a user's room. These sensors can use what can measure a plurality of information with one sensor. Further, a measuring device that can be worn on the arm or the like by the user (wearable) can also be used.
この場合のユーザに関する情報は、例えば、ユーザの体温情報、血圧情報、脈拍情報、体重情報や、ユーザの部屋の温度情報、湿度情報、空気情報、配置物の情報等とすることができる。 Information about the user in this case can be, for example, the user's body temperature information, blood pressure information, pulse information, weight information, the user's room temperature information, humidity information, air information, arrangement information, and the like.
推定部２０１３は、取得部２０１２が取得した上記の情報からユーザの状態を推定する。例えば、情報が体温情報である場合、この体温情報が予め設定された閾値を超えている場合に、推定部２０１３は、ユーザが発熱状態であると推定することができる。また、情報が血圧情報である場合、この体温情報が予め設定された閾値を超えている／下回っている場合に、推定部２０１３は、ユーザの血圧が異常状態であると推定することができる。また、情報が脈拍情報である場合、この脈拍情報が予め設定された閾値を超えている／下回っている場合に、推定部２０１３は、ユーザの脈拍が異常状態であると推定することができる。また、情報が体重情報である場合、この体重情報が予め設定された閾値を超えている／下回っている場合に、推定部２０１３は、ユーザの体重が異常状態であると推定することができる。
The
また、例えば、情報が温度情報である場合、この温度情報が予め設定された閾値を超えている／下回っている場合に、推定部２０１３は、ユーザが不快状態であると推定することができる。また、例えば、情報が湿度情報である場合、この温度情報が予め設定された閾値を超えている／下回っている場合に、推定部２０１３は、ユーザが不快状態であると推定することができる。
For example, when the information is temperature information, the
また、例えば、情報が空気情報である場合、この空気情報から得られる値が予め設定された例えばアルコール、一酸化炭素、二酸化炭素等の気体成分の濃度の閾値を超えている場合に、推定部２０１３は、ユーザが飲酒状態や不快状態であると推定することができる。 Further, for example, when the information is air information, the estimation unit when the value obtained from the air information exceeds a preset threshold value of a gas component such as alcohol, carbon monoxide, carbon dioxide, etc. In 2013, it can be estimated that the user is in a drinking or uncomfortable state.
また、例えば、情報が配置物の情報である場合、この配置物の情報から得られる配置物の数や体積が予め設定された閾値を超えている場合に、推定部２０１３は、ユーザが快／不快状態、または、不健康状態であると推定することができる。ユーザが快状態と推定される配置物の例としては、加湿器、空気清浄機、開いた窓、植物等が挙げられ、ユーザが不快状態と推定される配置物の例としては、空き缶やペットボトル等のゴミなどが挙げられる。また、ユーザが不健康状態と推定される例としては、上述したゴミ等の他、タバコやお酒の瓶・カンなどが挙げられる。
Further, for example, when the information is information on an arrangement, when the number or volume of the arrangement obtained from the arrangement information exceeds a preset threshold, the
上記のセンサは、本発明の画像表示装置が備えるものとしてもよいし、外部機器として有線または無線により接続されるものとすることもできる。 The sensor may be included in the image display device of the present invention, or may be connected as an external device by wire or wirelessly.
また、取得部２０１２は、カメラにより撮影された画像からユーザに関する情報を取得することができる。
Moreover, the
取得部２０１２は、例えば、カメラにより撮影された画像を解析することにより、ユーザの顔色情報や動き情報などの生体情報を得たり、部屋の配置物の情報を得たりすることができる。配置物の例は上述したとおりである。なお、これらの画像解析方法については公知の画像解析技術を用いて実現することができる。
For example, the
推定部２０１３は、取得部２０１２が取得した上記の情報からユーザの状態を推定する。例えば、情報がユーザの顔色情報である場合、この顔色情報から得られる値が予め設定された閾値を超えている／下回っている場合に、推定部２０１３は、ユーザが不健康状態であると推定することができる。また、例えば、情報がユーザの動き情報である場合、この動き情報から得られる値が予め設定された閾値を超えている／下回っている場合に、推定部２０１３は、ユーザが不健康状態であると推定することができる。
The
上記のカメラは、本発明の画像表示装置が備えるものとしてもよいし、外部機器として有線または無線により接続されるものとすることもできる。 The above camera may be included in the image display device of the present invention, or may be connected as an external device by wire or wirelessly.
取得部２０１３は、記憶装置からユーザに関する情報を取得することができる。
The
上記の記憶装置は、本発明の画像表示装置が備えるものとしてもよいし、外部機器として有線または無線により接続されるものとすることもできる。特に、記憶装置をインターネット上の特定のサービス提供するサーバ装置が備えるものとし、ユーザに関する情報として、例えば、ユーザがいる地域の天気予報やユーザが訪問予定の地域の渋滞情報等を取得することも可能である。 The above storage device may be provided in the image display device of the present invention, or may be connected as an external device by wire or wirelessly. In particular, the storage device is provided in a server device that provides a specific service on the Internet, and as information about the user, for example, a weather forecast for a region where the user is located, traffic congestion information for a region the user is scheduled to visit, or the like may be acquired. Is possible.
また、本発明の画像表示方法は、図４に示すように、表示ステップ２０３１と、取得ステップ２０３２と、推定ステップ２０３３と、生成ステップ２０３４と、出力ステップ２０３５とを含むことを特徴とする。
In addition, as shown in FIG. 4, the image display method of the present invention includes a
表示ステップ２０３１では、キャラクターを表示する。この表示ステップは上述した表示部により実行されることができる。詳細については上述したとおりである。
In a
取得ステップ２０３２では、ユーザに関する情報を取得する。この取得ステップは上述した取得部により実行されることができる。詳細については上述したとおりである。
In
推定ステップ２０３３では、取得ステップにおいて取得した情報からユーザの状態を推定する。この推定ステップは上述した推定部により実行されることができる。詳細については上述したとおりである。
In the
生成ステップ２０３４では、推定ステップにおける推定結果に基づいて、キャラクターに動作および／または発言を行わせるための情報を生成する。この生成ステップは上述した生成部により実行されることができる。詳細については上述したとおりである。
In the
出力ステップ２０３５では、生成ステップにおいて生成した情報を出力する。この出力ステップは上述した出力部により実行されることができる。詳細については上述したとおりである。
In the
また、本発明の画像表示プログラムは、コンピュータに、表示機能と、取得機能と、推定機能と、生成機能と、出力機能とを実現させることを特徴とする。 The image display program of the present invention is characterized in that a computer realizes a display function, an acquisition function, an estimation function, a generation function, and an output function.
表示機能は、キャラクターを表示する。この表示機能は上述した表示部により実現されることができる。詳細については上述したとおりである。 The display function displays the character. This display function can be realized by the display unit described above. Details are as described above.
取得機能は、ユーザに関する情報を取得する。この取得機能は上述した取得部により実現されることができる。詳細については上述したとおりである。 The acquisition function acquires information about the user. This acquisition function can be realized by the acquisition unit described above. Details are as described above.
推定機能は、取得機能が取得した情報から前記ユーザの状態を推定する。この推定機能は上述した推定部により実現されることができる。詳細については上述したとおりである。 The estimation function estimates the state of the user from information acquired by the acquisition function. This estimation function can be realized by the estimation unit described above. Details are as described above.
生成機能は、推定機能による推定結果に基づいて、前記キャラクターに動作および／または発言を行わせるための情報を生成する。この生成機能は上述した生成部により実現されることができる。詳細については上述したとおりである。 The generation function generates information for causing the character to perform an action and / or speech based on the estimation result obtained by the estimation function. This generation function can be realized by the generation unit described above. Details are as described above.
出力機能は、生成機能が生成した情報を出力する。この出力機能は上述した出力部により実現されることができる。詳細については上述したとおりである。 The output function outputs information generated by the generation function. This output function can be realized by the output unit described above. Details are as described above.
上記の機能を実現するコンピュータは、図１（ｂ）に示す画像表示装置２０２０とし、表示回路２０２１と、取得回路２０２２、推定回路２０２３、生成回路２０２４と、出力回路２０２５とから構成されてもよい。それぞれの機能は、上記実施形態に示した同様の名称を有する各部と同様である。
A computer that realizes the above function is the
画像表示装置は、一部又は全部が透光性部材からなるケースと、ケースの内部に立設した透光性を有する平状部材と、を更に備え、表示部は、平状部材にキャラクターを投影することで、キャラクターを表示することができる。詳細については以下に詳説する。 The image display device further includes a case partly or entirely made of a translucent member, and a translucent flat member standing inside the case, and the display unit has a character on the flat member. By projecting, a character can be displayed. Details are described in detail below.
以下、本発明の実施形態に係る画像表示装置について図面を参照して説明する。実施形態に係る画像表示装置は、キャラクター画像を表示するとともに、キャラクターの音声を出力するものである。この際、画像表示装置に表示されるキャラクター画像及びキャラクターの音声は、画像表示装置が置かれる環境、当該装置を所有するユーザに関する情報、時刻情報に応じて決定される。 Hereinafter, an image display device according to an embodiment of the present invention will be described with reference to the drawings. The image display device according to the embodiment displays a character image and outputs a voice of the character. At this time, the character image and the sound of the character displayed on the image display device are determined according to the environment in which the image display device is placed, information about the user who owns the device, and time information.
〈装置構成〉
まず、図５乃至図８Ｃを用いて、実施形態に画像表示装置１の装置構成について説明する。図５は、画像表示装置１を上方から見た斜視図である。図６は、画像表示装置１を下方から見た斜視図である。
<Device configuration>
First, the apparatus configuration of the
図５，図６に示すように、画像表示装置１は、主に、内部が空洞な円筒状の透明のケース２と、そのケース２の内部にほぼ垂直に立設した透過フィルム（本発明の平状部材）３と、キャラクター画像等を出力するプロジェクタ４と、反射ミラー５等の部品や機器を備える。
As shown in FIG. 5 and FIG. 6, the
このような構成の画像表示装置１において、プロジェクタ４から出力された画像は、反射ミラー５による反射を介して透過フィルム３に投影され、ユーザは、このようにして透過フィルム３に投影された画像を透明なケース２を通して見ることができる。
In the
ケース２は、一部又は全部が透光性部材からなる筐体であり、例えば、アクリル板等によって形成されている。例えば、ケース２は、２つの透明な半円柱状のケース部材２ａ，２ｂを、２本の支柱２３に組み込むことで全体が透明な一体の円筒体を形成している。ただし、予め成形された円筒体をケース２に用いることもでき、また、弾性又は可撓性を有する矩形状の板材や膜材を半円柱状に湾曲させ、これを支柱２３に組み込んで形成した円筒体をケース２として用いることもできる。このように円筒状のケース２を用いることで、左右のどの角度からでも透過フィルム３に投影される画像を適切に視認することができる。なお、支柱２３は透明な部材で形成されていてもよく、この場合、ケース２のほぼ全部を透明にすることができる。ただし、支柱２３は、不透明や半透明であってもよい。
The
ケース２の正面側上部には、ケース２の表面に沿って湾曲させた帯状の不透明な遮蔽部２５を設けている。これにより、ケース２を正面側から見たときに、反射ミラー５は、遮蔽部２５の後方にあるため、隠れて見えなくさせることができる。また、図示していないが、ケース２の上底面にあたる円形部には、遮光塗料の塗布等、遮光処理を施している。これにより、透過フィルム３に室内の照明等が入り込むことを防ぐことができ、透過フィルム３に表示される画像を見易くすることができる。また、ケース２の背面側上部（ケース部材２ｂの上部）は、開口を施しており、反射ミラー５からの画像を形成する光がケース部材２ｂを介さず、直接透過フィルム３に到達できるようにしている。なお、ケース２は、透明な部材に限らず、乳白色のように半透明の部材を用いてもよい。
A band-like
このようなケース２の内部には、透過フィルム３が設けられており、また、ケース２の上方、下方、背面側には、後述する上部収容部２１、下部収容部２２、柱部６が設けられている。
A
透過フィルム３は、本発明の「透光性を有する平状部材」の一実施態様であり、所定の画像が投影される透明なスクリーンとして機能する。本実施形態の透過フィルム３は矩形状であり、これが、ケース２の内部の中央付近にほぼ垂直になるように立設されている。具体的には、透過フィルム３は、台座２２１の両端に立設された２本の支柱２３によって支持され、これにより、表面が正面側（背面側）を向きつつ、台座２２１の中央に垂直に立設させている。なお、透過フィルム３の代わりに、透明の板材、半透明の板材や膜材等を用いることもできる。
The
下部収容部２２は、プラスチック等からなる箱体であり、プロジェクタ４の出力制御を含む種々の制御動作を行う制御ボード７０１その他の機器（図８Ｃ参照）を取り付けるスペースを有する。下部収容部２２には、着脱可能な下部カバー２２２が設けてあり、取り付けることで内部を隠すことができ、取り外すことで内部の機器のメンテナンス等を可能としている。下部収容部２２の上面の台座２２１には、透過フィルム３の立設位置の左右の端部に支柱２３を立設している。
The
透過フィルム３やケース部材２ａ，２ｂは、この支柱２３により支持されることで台座２２１上に一体的に立設される。これにより、円筒状のケース２が台座２２１上に立設され、透過フィルム３は、側部がケース２の内側に内接しつつ、下部（下端）が台座２２１の上面（表面）に沿うように設けられる。
The
台座２２１は、ケース２内に表示されるキャラクター等を仮想的に載置する台としても機能する。すなわち、台座２２１は、人形や模型を展示可能に収容するディスプレイケースのベース基材のように見せることができる。
The
画像表示装置１では、ミラー取付部５１により反射ミラー５の角度や向きを調整することで、透過フィルム３の下端に、キャラクター等の足元を一致させて表示させるようにしている（図５）。このようにすることで、キャラクター等が台座２２１の上に実際に立っているように見せることができる。
In the
また、台座２２１は所定の視認性を有する。具体的には、台座２２１の表面に模様や着色を施したり、形状に特徴を施したりすることで、台座２２１の存在が目立つようにしている。例えば、本実施形態の台座２２１は、アクリル板の表面に、レーザー加工等によって、いわゆる魔方陣の模様に沿った溝を施すようにしている。なお、この模様は一例にすぎず、例えば、魔法陣としては、五芒星にしてもよいし、その他の複雑な幾何学模様を施すこととしてもよい。
Moreover, the
さらに、台座２２１は、アクリル板の下部に複数の演出用ＬＥＤ７０６（本発明の発光手段）を分散して配置することで、台座２２１の全面に演出用ＬＥＤ７０６からの光が行きわたるようにしている。このようにすると、台座２２１の表面において、透過フィルム３を跨ぐぞれぞれの領域が強く認識されるため、透過フィルム３に投影されたキャラクター等の前後において台座２２１の存在をより強調することができる。そうすると、キャラクター等が、台座２２１の上にしっかりと着地して立っているように見せることができる。
Further, the
上部収容部２１は、画像出力を行うプロジェクタ４などの機器（図８Ａ参照）を取り付けるスペースを有する。具体的には、上部収容部２１は、柱部６の上部に連結された梯子状の上部機器取付部２１１を設けており、この上部機器取付部２１１の下面にプロジェクタ４が取り付けられている。
The
上部機器取付部２１１は、図６や図７に示すように、柱部６との連結部２１３から正面側上方に傾いた状態で固定されており、これに伴い、上部機器取付部２１１に取り付けられたプロジェクタ４も斜めに傾いた状態で固定されている。このように、プロジェクタ４を斜めに取り付けることで、画像の出力方向が当該プロジェクタ４の背面側下方に位置する反射ミラー５に向くようにしている。
As shown in FIG. 6 and FIG. 7, the upper
なお、上部機器取付部２１１は、柱部６との連結において、ボルト等の軸部材を用いて軸支させ、軸を中心に任意の位置まで回動させてナット等の固定部材により固定することもできる。このようにすると、プロジェクタ４の傾きを容易に変更することができ、この変更によって画像の出力を上下方向に調整することができる。
The upper
上部収容部２１には、着脱可能な上部カバー２１２が設けてあり、取り付けることで、上部機器取付部２１１やプロジェクタ４等の機器を隠すことができ、取り外すことで内部の機器のメンテナンス等を可能としている。
The
プロジェクタ４は、キャラクター画像等の画像の出力を行う画像出力手段である。この種のプロジェクタ４は、通常、いわゆるスクリーンに対し直接映像を投射することで画像を表示するが、本実施形態では、反射ミラー５を介して間接的にスクリーン（透過フィルム３）に画像を投射するようにしている。具体的には、本実施形態のプロジェクタ４は、ケース２の背面側に離間して立設されている柱部６の上部の反射ミラー５に出力画像が向かうように、上部収容部２１において傾斜した状態で取り付けられている。
The
ところで、プロジェクタの仕様には、焦点距離（以下、「許容投射距離」という）と投射比（以下、「許容投射角度」という）がある。「許容投射距離」は、画像サイズに対応した必要な投射距離（プロジェクタからスクリーンに至る光路の距離）である。実際の投射距離が許容投射距離に満たないと焦点が合わず画像を鮮明に映し出すことはできない。「許容投射角度」は、スクリーンに投射される画像の光路とスクリーンとの角度の許容値である。実際の投射角度が許容投射角度に満たないと、画像の歪みが大きくなり、また、画像の両端で光量が異なって、画像がぼやけるなど画質が低下する。 By the way, the specifications of the projector include a focal length (hereinafter referred to as “allowable projection distance”) and a projection ratio (hereinafter referred to as “allowable projection angle”). The “allowable projection distance” is a necessary projection distance corresponding to the image size (the distance of the optical path from the projector to the screen). If the actual projection distance is less than the allowable projection distance, the image is not focused and the image cannot be displayed clearly. The “allowable projection angle” is an allowable value of the angle between the optical path of the image projected on the screen and the screen. If the actual projection angle is less than the allowable projection angle, the image will be distorted, and the image quality will deteriorate, for example, the amount of light will be different at both ends of the image and the image will be blurred.
これらの点に鑑み、本実施形態のプロジェクタ４は、比較的、許容投射距離が短く、許容投射角度が小さい仕様のものを用い、さらに、反射ミラー５を用いることで、プロジェクタ４とスクリーン（すなわち、透過フィルム３）とをコンパクトに一体化できるようにしている。
In view of these points, the
柱部６は、下部収容部２２の最背部に立設された柱状の部材であり、ケース２の背面側にケース２とは離間して立設されている。このように、柱部６をケース２の背面側に設けることで、透過フィルム３に室内の照明等が入り込むことを防ぎ、透過フィルム３に表示される画像を見易くすることができる。柱部６には、反射ミラー５や各種センサを取り付けている（図６，図７，図８Ｂ等参照）。
The
反射ミラー５は、柱部６の上部に鏡面がほぼ垂直（すなわち、透過フィルム３の面とほぼ平行）になるように設けられている。これにより、プロジェクタ４から背面側斜め下方向に出力された所定の入射角の画像の光をこれと同角度（反射角）で反射し、その反射光によって画像を透過フィルム３に投影するようにしている。このようにすると、透過フィルム３における画像の上部と下部の投射距離の距離差を抑えることができるため、透過フィルム３に投影される画像のぼやけ等を抑えることができる。
The
図７に示すように、プロジェクタ４から出力された画像の光は、反射ミラー５によって反射され、その反射された画像の光は、正面側斜め下方向に進み、ケース部材２ｂの開口を通過して、ケース２の内部に設けられた透過フィルム３を背面側から投射する。この状態において、ケース２を通して透過フィルム３に投影されたキャラクター等の画像を見ると、キャラクター等が、より立体的で同じ空間にいる実体物のように視認することができる。
As shown in FIG. 7, the image light output from the
このような視認効果を奏する理由について以下に説明する。既述の通り、画像表示装置１は、透明なケース２の内部に透明なフィルム（透過フィルム３）を設け、この透明なフィルムに画像を投影するようにしている。このような画像表示装置１においては、ユーザは、透明なケース２を通して透明なフィルムに表示されるキャラクター等を見ることになる。
The reason why such a visual recognition effect is exhibited will be described below. As described above, the
この場合、ユーザは、ケース２に仕切られることで制限されたケース２内という空間で、その３Ｄ環境、すなわち、縦（高さ）・横・奥行きを認識することになる。このため、特に、その空間内に表示されるキャラクター等とケース２との関係から生ずる奥行きを認識することによって、キャラクター等自体も３Ｄ（立体的）に見えるといった視覚効果（３Ｄ環境効果）を奏する。
In this case, the user recognizes the 3D environment, that is, the vertical (height), the horizontal, and the depth in the space in the
すなわち、キャラクター等の奥に透明なケース２を視認することで、閉空間内にキャラクター等とその奥側の仕切りが共に視認されることとなり、この結果、同一の空間におけるキャラクター等と透明なケース２との奥行き感に基づいてキャラクター等が立体的に見える。
That is, by visually recognizing the
これに対し、仮にケース２を無くし、周りに何も無い開放された空間の中で、透明なフィルムに投影されるキャラクター等の画像を見た場合には、周囲の空間が縦・横の認識が強まる一方、奥行きの認識は弱まる。そうすると、このような開放された環境で透明なフィルムに投影されるキャラクター等の画像を見ても、フィルムの存在感が増えるだけで奥行き感を感じにくいことから、既述したような立体的な視覚効果を奏し得ない。
On the other hand, if the
また、透明なケース２を通して透明なフィルムを見た場合、透明なフィルムが目立たなくなる。これは、ケース２に透過フィルム３が内接されていることで、透過フィルム３の左右の端部が見えなくなることに起因する。また、透明な物質を含め、前方の物質を通して後方を見ると、当該後方の物質を認識しづらくなる。
Further, when the transparent film is viewed through the
これを画像表示装置１に当て嵌めると、例えば、ケース２を正面側から見たときに、ケース２（ケース部材２ａ）の後方にある透過フィルム３は認識しづらくなる。そうすると、平面状の透過フィルム３の存在が認識されないことで、その透過フィルム３に投影されるキャラクター等は、平面ではない立体物が浮遊するように見える。このような理由からも、ケース２がない場合よりもケース２がある方が、キャラクター等の画像をより立体的に見せることができる。
When this is applied to the
また、本実施形態の画像表示装置１は、透過フィルム３の下方（下端）に台座２２１を設け、キャラクター等の足元を透過フィルム３の下端に一致させて表示するようにしている。このようにすると、あたかもキャラクター等が台座２２１の上に立っているように見え、キャラクター等がまるで質量がある立体物のように錯覚させることができる。
In addition, the
特に、台座２２１は、表面が視認し易いように模様等を施しているほか、透過フィルム３を跨ぐ正面側の領域と背面側の領域の双方に演出用ＬＥＤ７０６を配置して発光させるようにしている。これにより、キャラクター等の前後に台座２２１があることを明確に認識させることができ、ひいては、キャラクター等が、台座２２１にしっかりと着地した状態で立っているように見せることができる。したがって、このような台座２２１との関係によっても、透明なケース２内の透過フィルム３に投影されるキャラクター等を実体のある立体物のように見せることができる。
In particular, the
加えて、透過フィルム３に対しては、背面側上部に設けた反射ミラー５からの反射光による投影を行うようにしており、画像の光の一部が透過フィルム３を透過して、台座２２１上に光の影として映し出されるようにしている。このような影が視認されることによっても、表示対象をより立体的に視認させる効果を奏する。
In addition, for the
次に、画像表示装置１に搭載される機器について図８Ａ〜図８Ｃを参照しながら説明する。図８Ａは、上部収容部に設置される機器、図８Ｂは、柱部に設置される機器、図８Ｃは、下部収容部に設置される機器の模式図である。
Next, devices mounted on the
なお、ケース２の側面は不透明にしたり、側面部に不透明なフィルムを帖着したりするなどして、側面からのキャラクターの視認性を低下させることで、ユーザが正面側からキャラクターを見るようにしてもよい。また、ここでは、透過フィルム３にプロジェクタからの画像を投影することとしているが、これは、例えば、画像表示装置に例えば水滴等を噴霧できる構成を設けて、噴霧された水滴にプロジェクションを行うというような立体ホログラフィーでキャラクターを投影することとしてもよい。立体ホログラフィー技術を応用することで、より立体感のあるキャラクターを表示することができる。
In addition, the side of
《下部収容部の設置機器》
図８Ｃに示すように、下部収容部２２には、制御ボード７０１、人感センサ７０２、赤外線ＬＥＤ７０３、マイク７０４、スピーカ７０５、演出用ＬＥＤ７０６、赤外線受光部７０７、ステータスＬＥＤ７０８、起動ボタン７０９、ＵＳＢハブ７１０のほか、Ｗｉ−Ｆｉ（登録商標）モジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等が設置されている。
《Installation equipment for lower housing part》
As shown in FIG. 8C, the
制御ボード７０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＭＩ（登録商標）ポート、ＬＡＮポート、ＵＳＢポート、各種入出力ポートなどが搭載された一又は複数の制御チップが搭載され、各種センサ等から入力された情報に基づき、画像、音声を含む様々な出力動作を所定の機器に実行させる。
The
人感センサ７０２は、赤外線の変化量を検知して人の所在を検出するセンサであり、正面側の左右に設けている。 The human sensor 702 is a sensor that detects the location of a person by detecting the amount of change in infrared rays, and is provided on the left and right sides of the front side.
赤外線ＬＥＤ７０３は、正面上部に放射状に設けられ、いわゆる赤外線リモコンとして機能する。具体的には、赤外線を周囲に出力することで、テレビや掃除機などの外部の機器の遠隔操作を可能としている。
The
マイク７０４は、ユーザから発せられる音声を入力する。例えば、マイク７０４は、正面の下段に１つ設けられる。 The microphone 704 inputs sound emitted from the user. For example, one microphone 704 is provided in the lower part of the front.
スピーカ７０５は、音声や音楽などの音情報を、増幅器を介して出力する。図８Ｃに示す例では、スピーカ７０５は、正面側に設けられているが、後方柱部の左右にステレオ方式で設置されることが好ましい。
The
演出用ＬＥＤ７０６は、台座２２１における発光手段である。
The
赤外線受光部７０７は、正面側に設けられ、テレビや照明器具、エアコン、ロボット掃除機等の家電製品のリモコンから、そのリモコンで用いられるリモコン操作に関する赤外線情報を受信する。 The infrared light receiving unit 707 is provided on the front side, and receives infrared information related to a remote control operation used by the remote controller from a remote controller of home appliances such as a television, a lighting fixture, an air conditioner, and a robot cleaner.
ステータスＬＥＤ７０８は、画像表示装置１の状態（例えば、電源オン、エラー発生、通信中や、後述する「スリープ状態」、「未召喚状態」、「召喚状態」等）を示す報知手段であって、特定の点滅パターンや発光色等によって各種状態を識別可能に報知する。
The
起動ボタン７０９は、画像表示装置１本体の電源のオン／オフを行うための操作手段である。
The start button 709 is an operation unit for turning on / off the power of the main body of the
ＵＳＢハブ７１０は、ＵＳＢ機器を複数接続するためのハブである。 The USB hub 710 is a hub for connecting a plurality of USB devices.
Ｗｉ−Ｆｉ（登録商標）モジュールは、ＵＳＢハブに接続された無線ＬＡＮモジュールであり、アクセスポイントとして無線ＬＡＮ子機にインターネット環境を提供したり、無線ＬＡＮ子機として他のアクセスポイントを通じてインターネットに接続したりすることができる。 The Wi-Fi (registered trademark) module is a wireless LAN module connected to a USB hub, and provides an Internet environment to a wireless LAN slave unit as an access point, or connects to the Internet through another access point as a wireless LAN slave unit. You can do it.
Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールは、所定規格に対応したキーボードやマウス、スマートフォン等の通信端末、マイク、スピーカなどの周辺機器と無線通信を可能とする無線通信インタフェースである。 The Bluetooth (registered trademark) module is a wireless communication interface that enables wireless communication with peripheral devices such as a keyboard, a mouse, a communication terminal such as a smartphone, a microphone, and a speaker that comply with a predetermined standard.
《柱部の設置機器》
図８Ｂに示すように、柱部６には、既述の反射ミラー５に加え、温湿度センサ６１１、振動センサ６１２、騒音センサ６１３が設けられている。
《Pillar installation equipment》
As shown in FIG. 8B, the
温湿度センサ６１１は、室内の温度及び湿度を測定し、これらの測定値を入力する。 The temperature / humidity sensor 611 measures indoor temperature and humidity, and inputs these measured values.
振動センサ６１２は、振動を検知するためのセンサであり、例えば、ピエゾ振動センサが相当する。振動センサ６１２によって検出される振動としては、地震のような大きな揺れのほか、足音やドアの開け閉めを識別可能な比較的小さな振動がある。 The vibration sensor 612 is a sensor for detecting vibration, and corresponds to, for example, a piezo vibration sensor. The vibration detected by the vibration sensor 612 includes a large vibration such as an earthquake, and a relatively small vibration that can identify footsteps and door opening / closing.
騒音センサ６１３は、室内の環境音を検出するためのセンサである。騒音センサ６１３によって検出される環境音としては、例えば、所定の基準音量に基づいて判別されるユーザの生活音（テレビの音を含む）、近所の環境音、騒音がある。 The noise sensor 613 is a sensor for detecting indoor environmental sounds. The environmental sound detected by the noise sensor 613 includes, for example, a user's life sound (including TV sound), a nearby environmental sound, and noise determined based on a predetermined reference volume.
《上部収容部の設置機器》
図８Ｃに示すように、上部収容部２１には、プロジェクタ４、赤外線ＬＥＤ７０３、光センサ（照度センサ）７２１及びカメラ７２２が設けられている。
<< Installation equipment for the upper housing part >>
As shown in FIG. 8C, the
プロジェクタ４は、既述したように、反射ミラー５を介して透過フィルム３に画像を投射する。プロジェクタ４から出力される画像には、例えば、様々な漫画やアニメに登場する各キャラクターや実在の人物、物品等の２Ｄ画像や３Ｄ画像、キャラクターの感情表現を演出する演出用の画像がある。
As described above, the
赤外線ＬＥＤ７０３は、左右にそれぞれ設けられ、上部収容部２１に設けられているものと同様、赤外線リモコンとして機能する。
The
光センサ（照度センサ）７２１は、明るさ（照度）を測定するセンサである。 The optical sensor (illuminance sensor) 721 is a sensor that measures brightness (illuminance).
カメラ７２２は、前方に設けられ、静止画や動画を撮影する撮像手段である。
The
〈機能〉
次に、既述した各機器によって実現される機能について図９及び図１０を参照して説明する。図９は、実施形態に係る画像表示装置１の機能ブロック図である。図９に示すように、画像表示装置１は、表示部７００と、会話部７１７と、チャット部７１８とを備える。
<function>
Next, functions realized by the above-described devices will be described with reference to FIGS. FIG. 9 is a functional block diagram of the
表示部７００は、キャラクターを表示する機能を有するものである。例えば、前述のプロジェクタ４にキャラクターに係る画像を透過フィルム３に投影させることで、キャラクターを表示する。表示部７００は、例えば、プロセッサやグラフィックエンジンなどによって実現されるが、実現の手法はこれに限られるものではない。キャラクターは、アニメ、漫画、小説、コンピュータゲーム、小説などに登場する人物や動物などであるが、これに限られず、オリジナルの創造上の人物であってもよい。また、人物や動物に限らず、個性を有する無機物もキャラクターとしてあり得る。例えば、ロボットなどである。
The
会話部７１７は、ユーザと会話する機能を有するものであって、キャラクターがユーザと会話しているように演出する機能を有するものである。会話部７１７は、例えば、プロセッサにより実現され、予め定められたアルゴリズムに従って、ユーザとの会話を行う。会話部７１７は、予め記憶している音声の中から、ユーザとの会話の話題を選択して、その音声をスピーカ７０５から出力し、マイク７０４から入力されるユーザの音声を解析することで会話を実行する。なお、ここで、キャラクターの音声は予め記憶していることとしたが、これはその限りではなく、キャラクターは音声として合成音声を出力することとしてもよい。
The
チャット部７１８は、ユーザが保持する通信端末との間で、チャットを実行するものであって、例えば、プロセッサにより実現され、予め定められたアルゴリズムに従って、ユーザとチャットを行う。チャット部７１８は、ユーザの通信端末と直接無線通信を実行してチャットを行うこととしてもよいし、所定のメッセージングサーバ（チャットサーバ）を介して、チャットを実行することとしてもよい。ここでいうチャットはいわゆるメッセージ（通信文）のやり取りを行うためのものである。チャット部７１８は、自動で会話の内容を選択して、選択した会話の内容を文字列として、送信するとともに、ユーザの通信端末から送信されたチャットの内容を解析して、解析した内容に応じた話題を選択して応答を生成し、そのメッセージを送信する。
The
ここで、会話部７１７とチャット部７１８とは互いに連動する。会話部７１７とチャット部７１８とが互いに連動するとは、ユーザとの間で会話部７１７が実行したキャラクター−ユーザ間の会話がチャット部７１８が実行するチャットの内容に反映され、チャット部７１８がユーザの通信端末との間で実行したチャットの内容が、会話部７１７が実行する会話の内容に反映されることをいう。チャットの内容や、会話の内容とは、発言の内容そのものや話題のことである。そして、会話部７１７とチャット部７１８とが連動するとは、例えば、会話部が野球に関する会話をユーザとの間で実行された場合に、チャット部が実行する話題に野球に関する話題を含ませる、より正確には、野球に関する話題を実行する可能性を持たせることをいう。会話部７１７、チャット部７１８は、下記における制御部７１により実現される。
Here, the
また、画像表示装置１は、図５乃至図７を用いて上述したように少なくとも一部が透光性部材からなるケース２をさらに備えることができる。そして、表示部７００は、ケース２内に立設した透光性の平板部材である透過フィルム３と、平板部材である透過フィルム３に、キャラクター画像及び演出用画像を投光する投光装置であるプロジェクタ４と、投光装置であるプロジェクタを介した画像の表示制御する表示処理部７１３とを有することができる。
In addition, the
具体的には、画像表示装置１は、図１０に示すように、制御部７１と、入力部７２と、出力部７３と、操作部７４と、記憶装置７５と、通信部７６とを備える。この記憶装置７５に記憶される画像表示プログラムＰ１や、会話プログラムＰ２、チャットプログラムＰ３が実行されることで、制御部７１が取得処理部７１１、解析部７１２、表示処理部７１３、音声出力部７１４、送信処理部７１５及びデータ管理部７１６としての処理を実行することができる。
Specifically, as shown in FIG. 10, the
入力部７２は、各種センサによって検出された様々な情報が入力される手段である。入力部７２に入力されるデータには、例えば、人感センサ７０２が人を検知したときに人感センサ７０２から出力される識別情報、マイク７０４を介して入力された音声情報、温湿度センサ６１１によって検出される室内の温度や湿度の情報、振動センサ６１２が検出した振動の大きさや変化を識別可能な情報、騒音センサ６１３を介して入力された音量情報、光センサ７２１を介して入力された照度情報、カメラ７２２によって撮像された静止画・動画の情報等がある。
The
出力部７３は、所定の命令にもとづいて信号や情報の出力を行う出力手段である。出力部７３によって出力される信号や情報には、例えば、赤外線ＬＥＤ７０３から出力される外部機器の動作を制御するための赤外線信号、スピーカ７０５を介して出力される音声情報、演出用ＬＥＤ７０６から発光される光、プロジェクタ４から出力される画像等がある。
The
操作部７４は、ユーザによる操作手段であり、例えば、図示しないキーボードやマウス、画像表示装置１に設けられた操作ボタン（ハードキー）や、タッチパネルが相当する。操作部７４によって行われる操作には、例えば、起動ボタン７０９による装置本体の電源のオン／オフや、画像表示装置１をスリープ状態（非召還状態）とアクティブ状態（召還状態）を切り替えるためのボタン等がある。
The
記憶装置７５は、例えば、画像表示装置１を構成するＲＡＭや、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリ等により構成され、画像表示装置１の有する各種機能を実行するためのプログラムやデータを記憶する記憶手段である。記憶装置７５に記憶されるデータには、キャラクター等の画像データ７５１や音声データ７５２、テレビや照明器具などの外部機器を操作する信号データ７５３、ユーザの属性情報等に関するユーザデータ７５４、画像表示装置１がユーザとの間で交わした会話の履歴を示す会話履歴データ７５５、画像表示装置１がユーザの通信端末との間で実行したチャットの履歴を示すチャット履歴データ７５６、外部機器のリモコンに関するリモコン情報、カレンダーサイトで登録したカレンダー情報、装置本体や各機器の属性情報、センサから入力した情報、音楽情報、言語データ等がある。また、記憶装置７５には、記憶されるプログラムには、後述する各種制御動作を実行するための画像表示プログラムＰ１の他、ユーザとの間で直接会話を交わすための会話プログラムＰ２や、ユーザの通信端末との間で（チャットサーバを介して）チャットを実行するためのチャットプログラムＰ３、音声認識プログラムや人工知能プログラム等がある。
The
画像データ７５１は、画像を表示する表示条件と、当該条件に起因して表示されるキャラクター画像を特定するキャラクター画像情報（第１画像情報）および演出用画像を特定する演出用画像情報（第２画像情報）とが関連付けられるデータである。演出用画像は、キャラクターの感情等を表現するものであって、感情等を表す言葉の文字を含む画像であってもよいし、星型やハート型等のパーティクルを含む画像であってもよい。なお、演出用画像は、必須のものではなく、表示しなくともよい。例えば、所定の確率で表示することとしてもよい。具体的には、例えば、１日で変わるランダムな閾値を設け、演出用画像を表示するタイミングで表示するか否かをその時々でランダム値を算出して、そのランダム値が設定した閾値を超えるか否かで演出用画像を表示してもよい。キャラクター画像情報は、三次元画像の画像情報であることが好ましい。また、演出用画像情報は、状況に応じて、二次元画像の画像情報、又は、三次元画像情報である。
The
図１１Ａに示す画像データ７５１の例では、環境信号として「音声Ａ」が検出された場合、「キャラクター画像Ａ」と「演出用画像Ａ」とが表示されることが規定される。例えば、音声Ａが「おはよう」という言葉であるとき、キャラクター画像Ａとして、キャラクターが「おはよう」と言う様子が表されるような画像が表示されるとともに、演出用画像Ａとして、朝のさわやかな演出をする画像が表示される。また、演出用画像Ａには、「おはよう」の文字が表示される吹き出しを含んでもよい。
In the example of the
環境信号として「動作Ｃ」が検出された場合、「キャラクター画像Ｃ」と「演出用画像Ｃ」とが表示される。例えば、動作Ｃが「ユーザの帰宅」であるとき、キャラクター画像Ｃとして、キャラクターが「おかえり」と言う様子が表されるような画像が表示されるとともに、演出用画像Ｃとして、帰宅を迎えるような演出をする画像が表示される。また、演出用画像Ｃには、「おかえり」の文字が表示される吹き出しを含んでもよい。 When “motion C” is detected as the environmental signal, “character image C” and “effect image C” are displayed. For example, when the action C is “user's return home”, an image that shows the character saying “return” is displayed as the character image C, and the home screen is presented as the production image C. An image that produces a special effect is displayed. Further, the effect image C may include a balloon displaying the characters “return”.
「時刻Ｄ」のタイミングでは、「キャラクター画像Ｄ」と「演出用画像Ｄ」とが表示される。例えば、時刻Ｄとして、目覚ましの時間として「午前６時」がセットされているとき、午前６時になると、キャラクター画像Ｄとして、キャラクターがユーザを起こすような様子が表される画像が表示されるとともに、演出用画像Ｄとして、目が覚めるような画像を表示してもよい。また、演出用画像Ｄには、「朝だよ」の文字が表示される吹き出しを含んでもよい。 At the timing of “time D”, “character image D” and “effect image D” are displayed. For example, when “6 am” is set as the alarm time for time D, when it is 6 am, an image showing a character waking up the user is displayed as character image D. As the effect image D, an image that wakes up may be displayed. In addition, the effect image D may include a balloon displaying the characters “It's morning”.
「信号Ｅ」を受信したタイミングでは、「キャラクター画像Ｅ」と「演出用画像Ｅ」とが表示される。例えば、信号Ｅが、ユーザの通信端末から送信される「ハブラシ」の信号であるとき、この信号Ｅを受信すると、キャラクター画像Ｅとして、キャラクターが歯磨きをする様子が表される画像が表示されるとともに、演出用画像Ｅとして、歯磨きにふさわしい、気分爽快な画像を表示してもよい。また、演出用画像Ｅには、「はみがき中」の文字を含んでもよい。 At the timing when “signal E” is received, “character image E” and “effect image E” are displayed. For example, when the signal E is a “habrush” signal transmitted from the user's communication terminal, when the signal E is received, an image representing a character brushing teeth is displayed as the character image E. At the same time, as the effect image E, a refreshing image suitable for tooth brushing may be displayed. In addition, the effect image E may include a character “in brushing”.
また、画像データ７５１では、環境情報とともに時刻情報を含む表示条件が規定されてもよい。例えば、画像データ７５１は、環境情報が同一であっても、午前と午後とでは、表示されるキャラクター画像及び演出用画像が異なるように規定することができる。
In the
さらに、画像データ７５１では、環境情報とともに受信信号を含む表示条件が規定されてもよい。
Further, the
音声データ７５２は、音声を出力する出力条件と、当該条件に起因して出力される音声を特定する情報とが関連付けられるデータである。
The
図１１Ｂに示す音声データ７５２の例では、環境信号として「音声Ａ」が検出された場合、「音声Ａ」が出力されることが規定される。例えば、音声Ａが「おはよう」という言葉であるとき、音声Ａとして、キャラクターの声で「おはよう」と出力される。
In the example of the
環境信号として「動作Ｃ」が検出された場合、「音声Ｃ」が出力される。例えば、動作Ｃが「ユーザの帰宅」であるとき、音声Ｃとして、キャラクターの声で「おかえり」と出力される。 When “operation C” is detected as the environmental signal, “voice C” is output. For example, when the action C is “user's return home”, “Okaeri” is output as the voice C in the voice of the character.
「時刻Ｄ」のタイミングでは、音声Ｄとして、キャラクターの声で、「６時だよ」と出力される。 At the timing of “time D”, “6 o'clock” is output as voice D in the voice of the character.
「信号Ｅ」を受信したタイミングでは、音声Ｅとして、キャラクターが歯磨きをする音や、うがいをする音が出力される。 At the timing when the “signal E” is received, a sound that the character brushes and gargles is output as the sound E.
また、音声データ７５２では、環境情報とともに時刻情報を含む出力条件が規定されてもよい。例えば、音声データ７５２は、環境情報が同一であっても、午前と午後とでは出力される音声が異なるように規定することができる。
In the
さらに、音声データ７５２では、環境情報とともに受信信号を含む出力条件が規定されてもよい。
Furthermore, in the
信号データ７５３は、家電等の外部の電気機器を操作する操作信号を出力する条件と、当該条件に起因して送信される操作信号とが関連付けられるデータである。
The
図１１Ｃに示す信号データ７５３の例では、環境信号として「音声Ｆ」が検出された場合、「操作信号Ｆ」が出力されることが規定される。例えば、音声Ｆが「テレビ消して」という言葉であるとき、テレビの電源をつける操作信号Ｆが出力される。
In the example of the
なお、図１２に示すように、同一の言葉や行動に対しても、日時に応じて出力される画像や音声は異なっていてもよい。例えば、「おはよう」の音声が検出された場合、平日朝であれば「おはよう 今日も頑張ろうね！」と一日を励ます音声を出力し、休日朝であれば「おはよう 今日はゆっくりできるね」と平日の疲れを労わるような音声を出力する。一方、夜であれば、「なに言ってるの？ もうこんな時間だよ」の音声を出力する。したがって、日常生活で不自然な機械的なやり取りを防止することができる。これにより、ユーザはキャラクターをより身近に感じることができる。 In addition, as shown in FIG. 12, the image and audio | voice output according to a date may differ also with respect to the same word and action. For example, if a voice of “Good morning” is detected, a voice that encourages the day will be output if it is a weekday morning, “Good morning today!” If it is a holiday morning, “Good morning, I can do it slowly” And output a sound that makes you tired of weekdays. On the other hand, at night, it outputs a voice saying "What are you talking about? Therefore, it is possible to prevent unnatural mechanical communication in daily life. Thereby, the user can feel the character closer.
ユーザデータ７５４は、ユーザのプロフィール、属性、嗜好等のユーザに関する種々の情報を有する。ユーザデータ７５４において、ユーザの氏名を有することで、画像表示装置１は、例えば、ユーザの名前を音声で出力することができる。このとき、氏名だけでなくニックネーム等を登録してもよい。これにより、キャラクターがユーザの名前を呼ぶようにすることが可能となる。したがって、ユーザは、キャラクターに親しみを感じ、また、より身近に感じることができる。
The
ユーザデータ７５４において、ユーザの住所や会社の住所を入力することで、画像表示装置１は、例えば、ユーザの行動範囲に関する情報をインターネット等を利用して取得し、音声や画像で出力することができる。これにより、キャラクターが、ユーザに様々な情報を知らせてくれるようにすることが可能となる。したがって、ユーザは、キャラクターに親しみを感じ、かつ、より身近に感じることができる。
By inputting the user's address or company address in the
ユーザデータ７５４において、ユーザの生年月日を入力することで、画像表示装置１は、例えば、ユーザの誕生日に、誕生日を祝う画像や音声を出力することができる。これにより、キャラクターが、ユーザの誕生日を祝うようにすることが可能となる。これにより、ユーザはキャラクターに親しみを感じ、かつ、より身近に感じることができる。
By inputting the date of birth of the user in the
ユーザデータ７５４において、ユーザの携帯電話の電話番号を入力することで、画像表示装置１は、例えば、ユーザが外出中に、携帯電話に電話をかけるようにすることができる。これにより、ユーザは外出先において、家で待つキャラクターから電話を受けたような状態とすることが可能となる。これにより、ユーザは、キャラクターに親しみを感じ、かつ、より身近に感じることができる。
By inputting the user's mobile phone number in the
その他、ユーザデータ７５４は、好きなアニメや漫画、小説、ゲーム、映画、好きなキャラクター、趣味、興味のあるもの、体重、身長、職業等の情報を有することができる。画像表示装置１は、このようなユーザに関する情報に基づいて、ユーザの興味のある話題から画像を表示したり、音声を出力したりすることが可能となる。また、このような情報は、アンケート等の結果や、ユーザが利用したＳＮＳ（ソーシャルネットワーキングサービス）の履歴等から生成することができる。ここでいうアンケートとは、画像表示装置１のキャラクターがユーザに対して「○○は好き？」とかいった質問を会話やチャットを通じて行うものであってもよいし、あるいは、時々質問リストのようなデータにユーザが記入するものであってもよい。前者の場合、質問内容とそれに対するユーザからの回答の文字列を対応付けて、ユーザデータ７５４の一部として、記憶しておくことで、以降においてユーザ好みの話題を選択することができる。
In addition, the
会話履歴データ７５５は、画像表示装置１のキャラクターがユーザとの間で直接交わした会話の内容に関する履歴情報である。図１３は、会話履歴データ７５５の一具体例を示すデータ概念図である。図１３に示すように、会話履歴データ７５５は、会話を行ったものを示す情報であってキャラクター側の発話かユーザ側の発話かを示す発話者情報９０１と、発話された日時を示す日時情報９０２と、会話の具体的内容を示す会話内容情報９０３と、が対応付けられた情報である。例えば、図１３の例で言えば、キャラクターは、「２０１６年７月１０日、１８時３０分１０秒」に、「今日、野球中継があるね」と話しかけているのに対し、ユーザが、「２０１６年７月１０日、１８時３２分２０秒」に、「そうなんだ？教えてくれてありがとう」と答えていることがわかる。なお、ユーザについての会話内容情報９０３は、入力された音声に対して、解析部７１２が実行した音声認識の結果のテキストデータが記憶される。なお、会話内容情報９０３は、会話の内容全てを文字列にした情報であってもよいし、会話の内容から、キーワードをピックアップした情報であってもよい。例えば、図１３の例でいえば、「Ａチームが好きかな」という会話内容であれば、「Ａチーム、好き」というような組み合わせの情報を会話内容情報９０３として記憶しておいてもよい。この場合、画像表示装置１が選択するキーワードは、会話文中の名詞を基準に選択することとしてもよいし、ユーザの感情を表す語があれば、それをピックアップして記憶することとしてもよい。会話履歴データ７５５が記憶装置７５に記憶されていることにより、画像表示装置１は、過去の会話の内容を認識することができるとともに、その後の会話やチャットの話題に反映することができる。会話履歴データ７５５は、画像表示装置１が表示するキャラクターとユーザとの間で会話が成されるごとに、制御部７１により追加更新される。
The
チャット履歴データ７５６は、画像表示装置１のキャラクターが、ユーザが保持する通信端末との間で実行したチャットの内容に関する履歴情報である。図１４は、チャット履歴データ７５６の一具体歴を示すデータ概念図である。図１４に示すように、チャット履歴データ７５６は、チャットで発言をした側を示す情報であって、ユーザ側の発言かキャラクター側の発言かを示す発言者情報１００１と、チャット上でその発言がされた日時を示す日時情報１００２と、発言したチャットの内容を示す文字列であるチャット内容情報１００３とが対応付けられた情報である。例えば、図１４の例で言えば、キャラクターは、「２０１６年７月２日、１９時３９分２１秒」に、「今、何してる？」とチャットで質問しているのに対し、ユーザが、「２０１６年７月２日、１９時４０分３０秒」に、「神宮球場で、野球の試合見てるよ」と答えていることがわかる。なお、チャット内容情報１００３は、チャットの内容全てを文字列にした情報であってもよいし、チャットの内容から、キーワードをピックアップした情報であってもよい。例えば、図１４の例でいえば、「神宮球場で、野球の試合見てるよ」というチャット内容から、「野球」というキーワードのみを記憶しておいてもよいし、「ａ選手が好きかな」というチャット内容であれば、「a選手、好き」というような組み合わせのキーワードをチャット内容情報１００３として記憶しておいてもよい。この場合、画像表示装置１が選択するキーワードは、チャット文中の名詞を基準に選択することとしてもよいし、ユーザの感情を表す語があれば、それをピックアップして記憶することとしてもよい。チャット履歴データ７５６が記憶装置７５に記憶されていることにより、画像表示装置１は、過去のチャットの内容を認識することができるとともに、その後のチャットや会話の話題に反映することができる。チャット履歴データ７５６は、画像表示装置１が表示するキャラクターとユーザとの間でチャットが成されるごとに、制御部７１により追加更新される。
The
ランダム会話データ７５７は、キャラクターがランダムに会話またはチャットを実行する場合の話題の選択に係るデータである。図１５に示すようにランダム会話データ７５７は、キーワード１１０１と、条件１１０２と、会話orチャット内容１１０３とが対応付けられた情報である。キーワード１１０１は、会話のトリガとなるワードであって、制御部７１が会話履歴データ７５５及びチャット履歴データ７５６に記録されている会話履歴及びチャット履歴中の話題と照合するための情報である。会話履歴とチャット履歴の中に含まれているキーワードが、キーワード１１０１のいずれかに合致する場合に、会話orチャット内容１１０３の内容が音声で出力または、チャットの文章として出力される。条件１１０２は、対応する会話orチャット内容をキャラクターが話す又はチャットするためにクリアしておく必要のある条件のことであり、条件がない場合も含む。条件としては、特定の天候（晴れ、雨、雪、…）であったり、特定の音声が入力されることであったり、特定の情報（例えば、ある番組が放送されること）が入力された情報（例えば、テレビの番組情報）に含まれていることであったり、様々である。会話orチャット内容１１０３は、会話履歴またはチャット履歴に含まれるキーワードがキーワード１１０１に一致し、かつ、条件１１０２が合致する場合に、実行する会話またはチャットの実内容を示す情報である。なお、制御部７１により複数の会話orチャット内容が検出できた場合には、その中のいずれかをランダムに選択することとしてもよいし、選択された会話orチャット内容の会話に含まれるキーワードのユーザの嗜好との合致率の高いものを選択することとしてもよいし、その前の１以上の会話との整合性の高いものを選択することとしてもよい。ランダム会話データが記憶されていることにより、制御部７１は、会話部またはチャット部として、それぞれの過去の履歴を反映した次の会話又はチャットを行うことができる。
The
通信部７６は、有線又は無線により、外部の機器との間で双方向又は片方向のデータ通信処理を行う通信手段である。例えば、インターネットに接続された機器との間で、ＬＡＮポートに接続されたＬＡＮケーブルやＷｉ−Ｆｉ（登録商標）モジュールに基づく無線を介して、各種データの送受信が可能である。例えば、通信部７６は、ユーザの通信端末から送信される信号を受信することができる。また、通信部７６は、天気情報サイトから受信可能な天気情報、カレンダーサイトに登録したカレンダー情報などのインターネットを介して取得可能な情報がある。また、通信部７６は、図示していないネットワーク上のチャットサーバを介して、ユーザの通信端末との間でチャット通信を実行することができる。
The
制御部７１は、画像表示プログラムＰ１に従って、取得処理部７１１、解析部７１２、表示処理部７１３、音声出力部７１４、送信処理部７１５、データ管理部７１６、としての制御動作を行うことができる。
The
取得処理部７１１は、マイク７０４、カメラ７２２、人感センサ７０２、光センサ７２１、温湿度センサ６１１、振動センサ６１２、騒音センサ６１３等のすくなくともいずれかから検出された信号を取得する。
The
解析部７１２は、取得処理部７１１が取得した環境情報を解析する。例えば、解析部７１２は、取得処理部７１１がマイク７０４から検出した環境信号から、ユーザが発した言葉を解析する。解析部７１２は、例えば、記憶装置７５に予め登録される言語モデル及び音声モデルを用いて、マイク７０４が取得した音声から、ユーザが発した言葉を特定するようにできる。言語モデルとは、画像表示装置１が使用する言語において使用される言語の単語情報の集合や、各種の言い回しを登録したデータである。また、音声モデルは、使用する言語の音声信号のモデルのことであり、例えば、周波数特性を示す信号のことである。具体的には、「あ」、「い」、…、「ａ」、「ｂ」といった一語一語の音声の標準的なモデルのことである。これにより、入力されたユーザの音声をパターンマッチングにより特定することができる。また、これにより、画像表示装置１は、ユーザが発した言葉に応じて定められる画像を表示し、言葉に応じて定められる音声を出力することができる。ここで、記憶装置７５において、画像表示装置１の持ち主であるユーザに関するユーザデータとして声紋情報を有し、持ち主ユーザの声を認識することができるようにしてもよい。
The
なお、解析部７１２が、ユーザが発した言葉を解析できないとき、画像表示装置１は、「もう一度言って」等、通常の機械的な音声を出力してユーザに繰り返しを要求するのではなく、別の方法で反応する。例えば、画像表示装置１は、「もっと近くでしゃべって」、「優しく言って」の音声を出力して繰り返すことを誘導する。また、画像表示装置１は、「ふーん」、「そっかー」、「なるほどー」等、適当な相槌の音声を出力してもよいし、「んー」、「えっとー」のようなフィラー表現の音声を出力してもよい。
In addition, when the
また、解析部７１２は、取得処理部７１１がカメラ７２２から検出した環境信号から、ユーザの位置や動作を解析する。具体的には、解析部７１２は、画像解析として、画像から人の顔を検出することができる。また、記憶装置７５において、持ち主ユーザに関するユーザデータとしてユーザの顔情報を有し、検出した人の顔から、持ち主ユーザの顔を認識することができるようにしてもよい。
Further, the
画像表示装置１は、持ち主ユーザを特定することで、キャラクターが持ち主ユーザに対しては親しげに接するような画像を表示したり音声を出力したりすることが可能となる。また反対に、画像表示装置１は、持ち主以外の者に対しては、よそよそしく接したり、自己紹介等の挨拶をしたりするような画像を表示したり音声を出力したりすることができる。これにより、ユーザは、画像表示装置１で表示されるキャラクターに対し、より親近感を覚えることができる。
By specifying the owner user, the
また、解析部７１２は、解析されたユーザが発した言葉、ユーザの位置や動作に加え、他のセンサ等で検出された他の環境情報やボタン操作を合わせて一つの環境情報とした結果を生成してもよい。例えば、音声や画像に加え、人感センサの検出結果から、後述する外出や帰宅の判定をすることができる。
Further, the
表示処理部７１３は、記憶装置７５から画像データ７５１を読み出し、この画像データ７５１から取得処理部７１１が取得した環境信号に対応する表示条件と関連付けられるキャラクター画像情報及び演出用画像情報を選択する。また、表示処理部７１３は、選択したキャラクター画像情報及び演出用画像情報と対応する画像を、出力部７３に出力して表示させる。また、表示処理部７１３は、環境情報及び時刻情報に応じて、キャラクター画像及び演出用画像を表示してもよい。さらに、表示処理部７１３は、環境情報及び受信信号に応じて、キャラクター画像及び演出用画像を表示してもよい。
The
音声出力部７１４は、記憶装置７５から音声データ７５２を読み出し、この音声データ７５２から取得処理部７１１が取得した環境信号に対応する出力条件と関連付けられる音声情報とを選択する。また、音声出力部７１４は、選択した音声情報と対応する音声を、出力部７３に出力する。また、音声出力部７１４は、環境情報及び時刻情報に応じて、音声を出力してもよい。さらに、音声出力部７１４は、環境情報及び受信信号に応じて、音声を出力してもよい。
The
送信処理部７１５は、記憶装置７５から信号データ７５３を読み出し、この信号データ７５３から取得処理部７１１が取得した環境信号と対応付けられる操作信号を選択する。また、送信処理部７１５は、読み出した操作信号を、出力部７３に出力する。
The
データ管理部７１６は、画像表示装置１に内蔵される時計又は外部の時計から、時刻情報を取得する。時刻に応じて表示する画像や音声が定められるとき、この表示及び出力スケジュールに従い、表示処理部７１３及び音声出力部７１４に制御信号を出力する。
The
また、データ管理部７１６は、画像表示装置１の起動時に天気情報サイトにアクセスして、その日の天気情報を取得して記憶装置７５に記憶させる。さらに、データ管理部７１６は、ユーザのスケジュールが登録されているカレンダーサイトに定期的にアクセスして、これにより得られる最新のカレンダー情報を記憶装置７５に記憶させることができる。また、データ管理部７１６は、テレビや照明などの外部機器のリモコンから当該外部機器に関するリモコン情報（赤外線情報）を赤外線受光部７０７により受信させて記憶装置７５に記憶（学習）させることができ、このリモコン情報に基づいて、外部機器を操作するための赤外線情報を赤外線ＬＥＤ７０３から発信させることができる。なお、データ管理部７１６は、様々なネットワーク上のデータにアクセスし、ユーザとの会話やチャットに用いることができる様々なデータを収集することもできる。
In addition, the
〈動作〉
画像表示装置１では、「スリープ状態」、「未召喚状態」、「召喚状態」等の各状態に応じて、画像の表示や音声の出力等の処理を実行する。図１６に示すように、画像表示装置１は、コンセントが未接続の状態（Ｓ１）において、電源ボタン（図示せず）は有効ではないが、コンセントが挿されてコンセントが接続の状態になると（Ｓ２）、電源ボタンが有効になる。
<Operation>
In the
《未召喚状態》
コンセントが接続された状態（Ｓ２）で電源ボタンが押下されると、制御部７１が起動する（Ｓ３）。この起動により、例えば、起動画面が表示され、「未召喚状態」に移行する（Ｓ４）。「未召喚状態」は、画像表示装置１に電源は入っており、プロジェクタ４は起動しているものの、キャラクター画像は表示されておらず、未召喚画像が表示される状態である。また、未召喚状態では、プロジェクタ４は起動しているものの、スピーカ７０５やカメラ７２２等は起動しておらず、環境信号を検出することはできない。画像表示装置１は、未召喚状態では、ステータスＬＥＤ７０８が点灯している。
《Unsummoned》
When the power button is pressed while the outlet is connected (S2), the
《召喚状態》
未召喚状態（Ｓ４）でタッチボタン２６が長押しされると、「召喚状態」に移行する（Ｓ５）。タッチボタン２６が長押しされるとは、所定時間以上（例えば、３秒以上）、ユーザにタッチボタン２６が触れられることをいう。この召喚状態が、画像表示装置１における特徴的な画像の表示や音声の出力の処理が実行される状態である。召喚状態は、画像表示装置１は、プロジェクタ４が起動しておりキャラクター画像が表示されるとともに、スピーカ７０５、カメラ７２２等が起動して環境信号の検出が可能な状態である。また、「召喚状態」では、（ａ）コミュニケーションモード、（ｂ）ライフモード、（ｃ）ケアモード、（ｄ）アピールモード、（ｅ）チャットモード等のモードがあり、これらのモード毎に所定の処理が実行される。
《Summoned state》
When the
《スリープ状態》
未召喚状態（Ｓ４）で電源ボタンが押下されるか、所定時間放置されると、「スリープ状態」に移行する（Ｓ６）。「所定時間放置される」とは、例えば、所定時間以上（例えば、２０分以上）タッチボタン２６が長押しされることがない状態である。スリープ状態は、省電力の待機モードの状態であり、プロジェクタ４も起動しておらず、スピーカ７０５やカメラ７２２等も起動していない状態である。画像表示装置１は、スリープ状態では、ステータスＬＥＤ７０８が点灯している。
《Sleep state》
If the power button is pressed in the unsummoned state (S4) or left for a predetermined time, the state shifts to the “sleep state” (S6). “Leave for a predetermined time” is, for example, a state in which the
画像表示装置１は、スリープ状態で、ユーザにより、電源ボタンが押下、又は、タッチボタン２６がタッチされると、未召喚状態に移行する。「タッチボタンがタッチされる」とは、所定時間未満（例えば、３秒未満）の時間、ユーザにタッチボタン２６が触れられることをいう。
The
次に、召喚状態における、（ａ）コミュニケーションモード、（ｂ）ライフモード、（ｃ）ケアモード、（ｄ）アピールモード、（ｅ）チャットモードについて説明する。 Next, (a) communication mode, (b) life mode, (c) care mode, (d) appeal mode, and (e) chat mode in the summon state will be described.
（ａ）コミュニケーションモード
コミュニケーションモードは、キャラクター画像が表示され、キャラクターとユーザとがコミュニケーションをとることが可能な状態である。具体的には、画像表示装置１は、コミュニケーションモードでは、取得処理部７１１が取得する環境信号に応じたキャラクター画像を表示する。また、画像表示装置１は、環境信号に応じた演出用画像を表示する。さらに、画像表示装置１は、環境信号に応じて音声を出力する。
(A) Communication mode The communication mode is a state in which a character image is displayed and the character and the user can communicate with each other. Specifically, the
画像表示装置１は、未召喚状態から、タッチボタンが長押しされ、召喚状態に移行したとき、まず初めにコミュニケーションモードとなる。また、画像表示装置１は、コミュニケーションモードのタイミングで、所定時間以上（例えば、１０分以上）継続して、環境信号が取得されず、また、操作信号等の信号を受信しない場合、ライフモードに移行する。
The
例えば、画像表示装置１では、マイク７０４によって環境信号であるユーザが発した「今日の天気は？」の言葉が検出されると、これに応じて、データ管理部７１６によって記憶装置７５に記憶された天気情報に基づき、スピーカ７０５から「今日は晴れだよ」等の音声が出力される。また、画像表示装置１では、透過フィルム３に、晴れに対する喜びを表す動作をするキャラクター画像が表示される。さらに、画像表示装置１では、透過フィルム３に、晴れの天気を演出する演出用画像が表示される。演出用画像としては、図１７Ａに示すように、単なる画像だけの他、「今日は晴れだよ」の文字を吹き出しで表示するなどテキストデータとの組み合わせであってもよい。これにより、ユーザは、今日の天気を教えてくれた、キャラクターと暮らすような感覚を覚え、キャラクターをより身近に感じることができる。なお、演出用画像は必須のものではなく、ランダムで表示非表示を切り替えることとしてもよい。
For example, in the
また例えば、画像表示装置１では、ユーザが画像表示装置１に近づき、カメラ７２２によってユーザの顔が大きく検出されると、これに応じて、スピーカ７０５から「近すぎだよ」等の音声が出力される。また、画像表示装置１では、透過フィルム３に、ユーザの顔が近くにあることを恥ずかしがる動作をするキャラクター画像が表示される。さらに、画像表示装置１では、キャラクターの恥ずかしがる感情を演出する演出用画像が表示される。演出用画像としては、図１７Ｂに示すように、単なる画像だけの他、「近すぎだよー」の文字を吹き出して表示するなどテキストデータとの組み合わせであってもよい。これにより、ユーザは、近くによると恥ずかしがるキャラクターと暮らすような感覚を覚え、キャラクターをより身近に感じることができる。
Further, for example, in the
この場合、例えば、図１７Cに示すように、画像表示装置１は、環境信号を取得すると（Ｔ１）、取得した環境信号に応じてキャラクターのキャラクター画像を表示するとともに、当該環境信号に応じて当該キャラクターの感情表現を演出する演出用画像を表示する（Ｔ２）。また、画像表示装置１は、取得した環境信号に応じた音声を出力する（Ｔ３）。なお、ステップＴ２とＴ３とは同時に実行されることが好ましい。
In this case, for example, as shown in FIG. 17C, when the
さらに、例えば、画像表示装置１では、ユーザがタッチボタン２６を複数回押すことで、複数回呼びかけてキャラクターの行動を邪魔するような動作をすると、これに応じて、スピーカ７０５から「もう、なんなのー」の音声が出力される。また、画像表示装置１では、透過フィルム３に、ユーザに複数回呼びかけられたことで、邪魔されたような動作をするキャラクター画像が表示される。さらに、画像表示装置１では、透過フィルム３に、ユーザの複数回の呼びかけを問うような演出用画像が表示される。これにより、ユーザは、複数回の呼びかけに対応するキャラクターに対しより身近に感じることができ、キャラクターと暮らすような感覚を覚えることができる。
Further, for example, in the
また例えば、画像表示装置１では、ユーザの通信端末から、キャラクターに物を送るような信号を送信すると、これに応じ、スピーカ７０５からこれを喜ぶような音声が出力され、また、透過フィルム３で送信された物を使用するキャラクターが表示されたりする。
Further, for example, in the
図１８Ａに示すように、ユーザの通信端末を操作し、画像表示装置１のキャラクターに「テレビ」を送信する。そうすると、画像表示装置１において、図１８Ｂに示すように、演出用画像としてテレビが表示される。また、演出用画像には、例えば、「一緒にテレビみよ」という文字が吹き出しに含まれていてもよい。この場合、画像データ７５１において、テレビを送信する送信信号には、図１８Ｂに示すキャラクター画像及び演出用画像が対応付けられる。
As illustrated in FIG. 18A, the user's communication terminal is operated to transmit “TV” to the character of the
さらに、画像表示装置１において、「一緒にテレビみよ」という音声が出力される。この場合、音声データ７５２において、テレビを送信する送信信号には、「一緒にテレビみよ」という音声が出力される。
Further, the
そして、対象のテレビ番組が終了すると、図１８Ｃに示すように、画像表示装置１には、「おもしろかった」という文字を吹き出しに含む演出用画像が表示されてもよい。同時に、画像表示装置１は、「おもしろかった」という音声が出力される。この場合、画像データ７５１において、テレビを送信する送信信号を受信後所定時間が経過（テレビ番組が終了）したことを条件として、「おもしろかった」を含む演出用画像が対応付けられる。また、音声データ７５２において、テレビを送信する送信信号を受信後所定時間が経過（テレビ番組が終了）したことを条件として、「おもしろかった」の音声が対応付けられる。なお、テレビ番組の内容として、「面白い」がふさわしくない場合もあるため、その感想としてふさわしい感想の音声を選択して出力するようにしてもよい。
Then, when the target television program ends, as shown in FIG. 18C, the
加えて、ユーザがテレビを視聴の間、ユーザが笑ったりした場合、画像表示装置１は、ユーザの笑い声を検出すると、同時にキャラクターの笑う音声を出力するようにしてもよい。このようなキャラクター画像、演出用画像及び音声を出力することで、ユーザがキャラクターとともにテレビを視聴するような感覚を覚えることができる。
In addition, when the user laughs while watching the television, the
例えば、ユーザの通信端末の入力装置がタッチパネルであるとき、送信操作は、送信する物質の画像を、画像表示装置１の方向に向かって、フリックすることで、実行することができる。
For example, when the input device of the user's communication terminal is a touch panel, the transmission operation can be executed by flicking the image of the substance to be transmitted toward the
図１８Ｄに示すように、ユーザの通信端末を操作し、画像表示装置１のキャラクターに「コーヒー」を送信する。そうすると、画像表示装置１において、図１８Ｅに示すように、演出用画像としてコーヒーが表示される。また、演出用画像には、例えば、「コーヒーブレイクしよう」という文字が吹き出しに含まれていてもよい。この場合、画像データ７５１において、コーヒーを送信する送信信号には、図１８Ｅに示すキャラクター画像及び演出用画像が対応付けられる。
As illustrated in FIG. 18D, the user's communication terminal is operated to transmit “coffee” to the character of the
さらに、画像表示装置１において、「コーヒーブレイクしよう」という音声が出力される。この場合、音声データ７５２において、コーヒーを送信する送信信号には、「コーヒーブレイクしよう」という音声が出力される。
Further, the
そして、所定時間（例えば、１０分）が経過すると、図１８Ｆに示すように、画像表示装置１には、「ごちそうさまでした」という文字を吹き出しに含む演出用画像が表示されてもよい。同時に、画像表示装置１は、「ごちそうさまでした」という音声が出力される。この場合、画像データ７５１において、コーヒーを送信する送信信号を受信後所定時間が経過したことを条件として、「ごちそうさまでした」を含む演出用画像が対応付けられる。また、音声データ７５２において、コーヒーを送信する送信信号を受信後所定時間が経過したことを条件として、「ごちそうさまでした」の音声が対応付けられる。
Then, when a predetermined time (for example, 10 minutes) has elapsed, as shown in FIG. At the same time, the
加えて、コーヒーを飲む間、画像表示装置１は、キャラクターがコーヒーを飲む動画像を表示したり、「おいしいね」等の音声を出力したりするようにしてもよい。このようなキャラクター画像、演出用画像及び音声を出力することで、ユーザがキャラクターとともにコーヒーを飲むような感覚を覚えることができる。
In addition, while drinking coffee, the
図１８Ｇに示すように、ユーザの通信端末を操作し、画像表示装置１のキャラクターに「食べ物（図１８Ｇでは、ドーナツ）」を送信する。そうすると、画像表示装置１において、図１８Ｈに示すように、演出用画像として食べ物が表示される。また、演出用画像には、例えば、「ありがとう」という文字が吹き出しに含まれていてもよい。この場合、画像データ７５１において、食べ物を送信する送信信号には、図１８Ｈに示すキャラクター画像及び演出用画像が対応付けられる。
As shown in FIG. 18G, the user's communication terminal is operated to transmit “food (a donut in FIG. 18G)” to the character of the
さらに、画像表示装置１において、「ありがとう」という音声が出力される。この場合、音声データ７５２において、食べ物を送信する送信信号には、「ありがとう」という音声が出力される。
Further, the
そして、所定時間（例えば、１０分）が経過すると、図１８Ｉに示すように、画像表示装置１には、「おいしかった」という文字を吹き出しに含む演出用画像が表示されてもよい。同時に、画像表示装置１は、「おいしかった」という音声が出力される。この場合、画像データ７５１において、食べ物を送信する送信信号を受信後所定時間が経過したことを条件として、「おいしかった」を含む演出用画像が対応付けられる。また、音声データ７５２において、食べ物を送信する送信信号を受信後所定時間が経過したことを条件として、「おいしかった」の音声が対応付けられる。
Then, when a predetermined time (for example, 10 minutes) elapses, as shown in FIG. 18I, an effect image including a character “delicious” in a balloon may be displayed on the
ここで、演出用画像は、ユーザの通信端末から画像表示装置１に物質がとばされてきたように演出させることもできる。このとき、例えば、転送時には、黄色等の光で光っており、キャラクター画像がこの物質を持った場合に、その光が消えるように演出することもできる。
Here, the production image can be produced as if the substance has been skipped from the user communication terminal to the
また、通信端末から画像表示装置１に物質を転送する他、画像表示装置１からユーザ端末に物質を転送するように演出してもよい。例えば、画像表示装置１がコーヒーメーカーを操作した際に、キャラクターから通信端末にコーヒーカップを転送するように演出させることができる。
In addition to transferring the substance from the communication terminal to the
図１９Ａに示すようにユーザの通信端末で表示される複数種類の衣類やアクセサリーの中から、図１９Ｂに示すように、いずれかを選択し、選択した衣類等を送信する操作を可能としてもよい。そうすると、画像表示装置１において、図１９Ｃに示すように、送信した衣類を身に着けたキャラクターのキャラクター画像が表示される。また、演出用画像には、例えば、「ありがとう」という文字が吹き出しに含まれていてもよい。さらに、画像表示装置１において、「ありがとう」という音声が出力される。
As shown in FIG. 19B, it is possible to select one of a plurality of types of clothing and accessories displayed on the user's communication terminal as shown in FIG. 19A and send the selected clothing and the like. . Then, in the
この場合、画像データ７５１において、当該送信信号には、図１９Ｃに示すキャラクター画像及び演出用画像が関連付けられる。また、音声データ７５２において、当該送信信号には、「ありがとう」という音声が関連付けられる。
In this case, in the
このようなキャラクター画像、演出用画像及び音声を出力することで、ユーザがキャラクターにプレゼントをしたような感覚を覚えることができる。また、ユーザは、キャラクターに好みの服を着せることができる。したがって、ユーザはキャラクターをより身近に感じることができる。 By outputting such a character image, an image for production, and a sound, it is possible to learn a sense that the user has presented the character. In addition, the user can put favorite clothes on the character. Therefore, the user can feel the character closer.
その他、ユーザがハブラシのデータを送信すると、画像表示装置１は、キャラクターが歯磨きをする様子の画像を表示し、ユーザはキャラクターとともに歯磨きできるようにしてもよい。また、ユーザが縄跳びやダンベルのデータを送信すると、画像表示装置１は、運動をする様子の画像を表示し、ユーザはキャラクターとともに運動できるようにしてもよい。
In addition, when the user transmits toothbrush data, the
なお、記憶装置７５において、キャラクターの好みに関する嗜好データや過去に送信したアイテムやプレゼントに関する履歴データを記憶していてもよい。この場合、図１８Ａ乃至図１９Ｃで上述したようなアイテムやプレゼントを送信すると、その嗜好や履歴によって、キャラクターの反応が異なるようにしてもよい。例えば、キャラクターが好きなアイテムを送信した場合、キャラクターの喜びが大きい画像と音声で表現される。これに対し、キャラクターが特に好きではないアイテムを送信した場合、キャラクターの喜びが小さい画像と音声で表現される。また、同じアイテムを送信し続けた場合、喜び方が小さくなるようにしてもよい。さらに、食べ物を送信する頻度が多くなると、「太っちゃうよー」等と画像と音声で表現されるようにしてもよい。このように、キャラクターの反応が常に同一ではないため、ユーザは、キャラクターにより親しみをもつことができる。
Note that the
また、さらには、コミュニケーションモードにおいては、画像表示装置１は、ユーザとする会話の話題を選択するにあたって、取得処理部７１１が取得する環境信号以外に、所定の確率（予め定められた確率で、過去のコミュニケーションに関連する会話を行うか否かを判定するための確率。この確率は、適宜、変動することとしてもよい）で、過去においてした会話の内容及び後述するチャットモードにおいて画像表示装置１がユーザの通信端末との間で実行したチャットの内容に応じた話題に基づくランダム会話を実行する。
In addition, in the communication mode, the
具体的には、制御部７１は、人感センサ７０２が人（ユーザ）を検出しているときに、ランダムなタイミングで、乱数を生成するプログラムに従って生成したランダムな数値（例えば、０〜１００の数値）が、所定の閾値を超えるか否かを判定し、この閾値を超えた場合に、制御部７１は、会話履歴データ７５５と、チャット履歴データ２５６とを記憶装置７５から読み出す。そして、会話履歴データ７５５の会話内容情報９０３と、チャット履歴データ２５６のチャット内容情報１００３とに含まれる会話の内容からキーワードを選択し、そのキーワードに応じた画像データ７５１及び音声データ７５２から読み出して、キーワードと一致するタグを有する画像データと音声データを特定し、表示処理部７１３が特定した画像データをプロジェクタ４から出力するとともに、音声出力部７１４が特定した音声データをスピーカ７０５から出力する。ランダムな会話において、画像表示装置１が過去において実行した会話の話題に関連する会話を行うので、ユーザは、画像表示装置１に表示されるキャラクターにより親近感を覚える。また、ユーザが自身の通信端末でしたチャットの内容に関する話題に基づく会話も行うので、ユーザは、より一層、キャラクターに親近感を覚え、身近に感じることができる。また、ユーザがした会話に対して音声認識処理を行うことで、画像表示装置１は、会話のテキストデータを得て、会話履歴データ７５５に会話の内容を追加し、以降の会話及びチャットに利用することができる。例えば、チャットでユーザがした「野球の試合を見てるよ」というチャット内容を受けて、キャラクターが「今日、テレビで野球中継をやるよ」というような発言をさせることで、ユーザにキャラクターと行ったチャットの内容を思い出させることができるとともに、キャラクターがそのことを覚えてくれていたことに、ユーザは、親近感を感じることができる。また、画像表示装置１は、音声認識した結果から、出力条件に対応する音声を出力したり、ランダム会話の対応する会話の音声を出力したりすることができる。
Specifically, when the human sensor 702 detects a person (user), the
以下、このようなコミュニケーションモードを実現する画像表示装置１の汎用動作を説明する。
Hereinafter, general-purpose operations of the
図２０に示すように、取得処理部７１１は、各種の環境信号を取得する（Ｓ１６１）。取得処理部７１１が取得した各種の環境信号は、解析部７１２に伝達され、解析部７１２は伝達された環境信号を解析する（Ｓ１６２）。解析結果及び画像データ７５１、音声データ７５２、信号データ７５３等を参照して、制御部７１は、キャラクターが実行すべきキャラクター動作が規定された条件のいずれかに合致するかを判定する（Ｓ１６３）。判定の結果、実行すべきキャラクター動作があった場合には（Ｓ１６３：ＹＥＳ）、音声出力部７１４は、対応する音声を出力するとともに、表示処理部７１３は対応するキャラクター画像をプロジェクタ４から投影する（Ｓ１６４）。解析の結果、実行すべきキャラクターが動作がない場合には（Ｓ１６４：ＮＯ）、制御部７１は、ステップＳ１６５の処理に移行する。
As illustrated in FIG. 20, the
ステップＳ１６５において、制御部７１は、例えば、０〜１００のランダム値を生成する（Ｓ１６５）。なお、ランダム値は０〜１００の範囲に限られない。制御部７１は、生成したランダム値と、これと比較するための閾値との間で大小を比較する。ランダム値が閾値よりも大きい場合に（Ｓ１６６：ＹＥＳ）ステップＳ１６７に移行し、ランダム値が閾値以下である場合に（Ｓ１６６：ＮＯ）、処理を終了する。
In step S165, the
ステップＳ１６７において、制御部７１は、会話履歴データ７５５及びチャット履歴データ７５６を読み出す。読み出した会話履歴データ７５５の会話内容情報９０３とチャット履歴データ７５６のチャット内容情報１００３とからキーワードを抽出する。これは、例えば、構文解析等により実現できる。そして、例えば、直近（例えば１日）のキーワードの登場頻度の高いキーワードを選択する。当該キーワードの選択は、ランダムであってもよいし、その他の基準で選択することとしてもよい。
In step S167, the
制御部７１は、選択したキーワード及びステップＳ１６１で取得した環境信号に合致する会話があるか否かを、ランダム会話データ７５７を参照して特定する（Ｓ１６８）。そして、音声出力部７１４は、特定した会話の音声をスピーカ７０５から出力する。また、このとき、表示処理部７１３は、対応するキャラクター画像があれば、それを投影し（Ｓ１６９）、処理を終える。例えば、キャラクターがする会話の内容が「野球」に関する内容であれば、キャラクターが野球のユニフォームを着ている画像を表示したり、ボールやバットなどのアイテムを持たせた画像を表示したりする。
The
図２０の処理は、コミュニケーションモードにおいて繰り返し実行される。このように、ランダムな会話において、キャラクターは、ユーザと過去に交わした会話内容や、実行したチャットの内容に基づく、会話を行うので、ユーザはキャラクターとの間の歴史の積み重ねを感じて、よりキャラクターを身近に感じることができる。 The process of FIG. 20 is repeatedly executed in the communication mode. In this way, in a random conversation, the character has a conversation based on the content of the conversation with the user in the past and the content of the chat performed, so the user feels the accumulation of history with the character, and more You can feel the character close to you.
（ｂ）ライフモード
ライフモードは、キャラクター画像が表示され、このキャラクター画像が環境信号に依存せず、例えば、時刻に応じて変化する状態である。例えば、画像表示装置１では、朝であれば、朝ごはんを作ったり、朝ごはんを食べたり、掃除をしたりする画像が表示される。昼であれば、昼ごはんを作ったり、昼ごはんをたべたり、アイロンをかけたりする画像が表示される。夜であれば、夕ごはんを作ったり、夕ごはんを食べたり、ストレッチをしたりする画像が表示される。
(B) Life mode The life mode is a state in which a character image is displayed and this character image does not depend on an environmental signal, and changes according to time, for example. For example, the
その他、キャラクターが洗濯をしたり、掃除をしたり、歯磨きをしたり、シャワーをしたりする画像であってもよい。また、単に、キャラクターが、椅子に座って足をぶらぶらする画像や、椅子に座ってスマートフォン等の通信端末を操作する画像、椅子に座って絵を書く画像等を表示してもよい。その他、キャラクターがベッドの上で漫画を読む画像、ベッドの上で周りを見回す画像、ベッドの上で寝ている画像等を表示してもよい。 In addition, the image may be an image of a character washing, cleaning, brushing teeth, or showering. In addition, an image of a character sitting on a chair and hanging his legs, an image of sitting on a chair and operating a communication terminal such as a smartphone, an image of sitting on a chair and writing a picture may be displayed. In addition, an image of a character reading a comic on the bed, an image of looking around on the bed, an image of sleeping on the bed, and the like may be displayed.
また、この頻度や確率を管理することが可能であり、日によって、異なる動作をする画像を表示するようにすることも可能であり、また、動作時間は、完全に同一でなくてもよく、ある範囲の中でランダムに選択される。これにより、また、ユーザが興味のある行動については、長い時間表示されるようにしてもよい。例えば、朝ごはんを作っているときにユーザが「かわいいね」ということが多い場合、朝ごはんを作る画像を表示する時間を長くすることができる。 In addition, it is possible to manage this frequency and probability, it is possible to display images that perform different operations depending on the day, and the operation time may not be completely the same, It is selected randomly within a certain range. Thereby, you may make it display for a long time about the action which a user is interested. For example, when the user often makes “breakfast” while making breakfast, the time for displaying an image for making breakfast can be lengthened.
画像表示装置１は、ライフモードのタイミングで、タッチボタン２６が触れられると、コミュニケーションモードに移行する。また、ライフモードにおいて、所定のタイミングで、ケアモードやアピールモードに移行する。
When the
（ｃ）ケアモード
ケアモードは、予め登録されたユーザのスケジュールに応じ、所定の各タイミングで、キャラクター画像や演出用画像を表示し、タイングに応じた音声を出力する。例えば、画像表示装置１は、「おはよう」、「いってらっしゃい」、「おはよう」、「おやすみ」等の音声を出力する。
(C) Care mode In the care mode, a character image and an effect image are displayed at predetermined timings according to a user's schedule registered in advance, and sound corresponding to the twing is output. For example, the
例えば、ユーザは、通信端末等を利用し、事前に図２１Ａに示すような登録画面Ｗ１を介して、各時刻入力ボックスｂ１１〜ｂ１４に時刻を入力し、日々の行動の「起床時間」、「外出時間」、「帰宅時間」及び「就寝時間」を登録する。 For example, the user inputs a time in each time input box b11 to b14 via a registration screen W1 as shown in FIG. 21A in advance using a communication terminal or the like, and “wakes up time”, “ Register “outing time”, “home time” and “sleeping time”.
また、このスケジュールに変更が生じた場合、再度この登録画面Ｗ１を利用して更新することもできるが、１日のみ予定を変更したい場合、後述するチャットモードにより、図２１Ｂに示すようなチャット画面Ｗ２を利用して変更してもよい。チャット画面Ｗ２は、送信するメッセージを入力する入力部ｂ２１と、入力したメッセージを送信する送信部ｂ２２と、メッセージ例が表示されるメッセージ表示部ｂ２３と、送信されたメッセージが表示されるメッセージ表示部ｂ２４とを有する。 If the schedule is changed, the registration screen W1 can be used again to update the schedule. However, when the schedule is changed only for one day, the chat screen shown in FIG. You may change using W2. The chat screen W2 includes an input unit b21 for inputting a message to be transmitted, a transmission unit b22 for transmitting the input message, a message display unit b23 for displaying a message example, and a message display unit for displaying the transmitted message. b24.
図２２のチャートに示すように、画像表示装置１は、『起床モード』を実行することができる。具体的には、登録された起床時間の所定時間前（例えば、「１時間前」）に、『起床モード』が開始される（Ｓ２０１）。
As shown in the chart of FIG. 22, the
この状態で、解析部７１２によりユーザの顔が検出される、又は、タッチボタン２６がタッチされると、ユーザが起床したと判定される。また、ユーザが起床したことを条件に、表示処理部７１３により「おはよう」の挨拶をするキャラクター画像及び演出用画像が表示され、音声出力部７１４により「おはよう」の挨拶が出力される（Ｓ２０２）。
In this state, when the user's face is detected by the
その他、ユーザの行動に応じた言葉が出力されてもよい。ユーザが登録される起床時間より早く目覚めた場合、「シャキッと目覚めたね」の音声を出力することができる。ユーザが前日に遅刻した場合、「今日は遅刻しないでね」の音声を出力することができる。カーテンが閉まっていることが検出された場合、「カーテン開けようね」の音声を出力することができる。ユーザの前日の就寝時間が遅く、今日の起床時間が遅い場合、「昨日遅くまで起きているからよ」の音声を出力することができる。 In addition, words according to the user's behavior may be output. When the user wakes up earlier than the registered wake-up time, the voice of “I woke up crisply” can be output. When the user is late for the previous day, the voice “Do not be late today” can be output. When it is detected that the curtain is closed, the voice “Let's open the curtain” can be output. If the user's bedtime on the previous day is late and today's wake-up time is late, the voice “being up late yesterday” can be output.
ユーザの起床が判定されると、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ２０３）。例えば、起床後に起動する家電として、コーヒーメーカーがセットされている場合、コーヒーメーカーが起動される。
When it is determined that the user has woken up, the
また、ユーザの起床が判定されると、朝の情報通知の画像や音声を出力する（Ｓ２０４）。例えば、「日付」、「天気」、「気温」等を通知する画像や音声を出力する。 If the user's wake-up is determined, an image and sound for morning information notification are output (S204). For example, an image or sound for notifying “date”, “weather”, “temperature”, etc. is output.
家電の操作や朝の情報通知に関する画像や音声の出力に対してユーザが発した音声が検出されると、これに対するキャラクターの挨拶の音声が出力される（Ｓ２０５）。例えば、ユーザが発した「ありがとう」が検出されると、キャラクターの音声として「どういたしまして」等の音声が出力される。その後、所定時間が経過すると、ライフモードに移行する（Ｓ２１３）。 When a voice uttered by the user is detected in response to an operation of home appliances or an image or voice output related to morning information notification, a voice of the character greeting is output (S205). For example, when “thank you” issued by the user is detected, a voice such as “you are welcome” is output as the voice of the character. Thereafter, when a predetermined time elapses, the mode shifts to the life mode (S213).
また、未召喚状態の場合に、起床時間の所定時間前（例えば、３０秒前）までに、解析部７１２によりユーザの顔が検出されず、又は、タッチボタン２６がタッチされていないとき、召喚状態となる（Ｓ２０６）。
Further, when the user's face is not detected by the
未召喚状態から召喚状態となると、送信処理部７１５は、操作信号を送信し、予め登録される家電を操作する（Ｓ２０７）。
When changing from the unsummoned state to the summoned state, the
また、起床時刻まで解析部７１２によってユーザの顔検出がされないとき、表示処理部７１３はユーザを起こす画像を表示し、音声出力部７１４がユーザを起こす音声を出力し、目覚まし機能を開始する（Ｓ２０８）。例えば、ユーザを起こす音声としては、キャラクターの「朝だよ」等の音声である。
When the
解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、ステップＳ２０２に移行する。一方、ユーザの顔も検出されず、タッチボタン２６のタッチもされないとき、スヌーズ機能として、ユーザを起こす画像と音声の出力を継続する（Ｓ２０９）。例えば、ユーザを起こす音声は、徐々の大きくすることができる。また、画像表示装置１から出力される光の光量を上げてもよい。
When the user's face is detected by the
解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、ステップＳ２０２に移行する。一方、ユーザの顔も検出されず、タッチボタン２６のタッチもされないとき、送信処理部７１５が操作信号を送信し、予め登録される家電を操作する（Ｓ２１０）。
When the user's face is detected by the
さらに、ユーザを起こす画像と音声を最終手段の画像及び音声とする（Ｓ２１１）。例えば、表示処理部７１３は、キャラクターがフライパンをたたく画像を表示する。また、例えば、音声出力部７１４は、キャラクターが「起きないとおくれるよー」と言いながらフライパンがたたかれる音を含む音声を出力する。
Further, the image and sound that wakes up the user are used as the image and sound of the final means (S211). For example, the
その後、解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、ステップＳ２０２に移行する。一方、解析部７１２により顔検出がされず、タッチボタン２６の検出もないとき、画像表示装置１は、ユーザの状態を不明とし（Ｓ２１２）、ライフモードに移行する（Ｓ２１３）。
Thereafter, when the user's face is detected by the
図２３のチャートに示すように、画像表示装置１は、『外出モード』を実行することができる。具体的には、登録された外出時間の所定時間前（例えば、「５分前」）に、『外出モード』が開始され、未召喚状態（Ｓ３０１）から召喚状態に移行する（Ｓ３０２）。
As shown in the chart of FIG. 23, the
また、出発時刻になると、アラートの画像及び音声が出力される（Ｓ３０３）。例えば、アラートとは、ユーザを急がせるようなキャラクターの画像とキャラクターの「出発だよ」の音声等である。 When the departure time is reached, an alert image and sound are output (S303). For example, the alert is a character image that urges the user and a voice of the character “It's a departure”.
また、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ３０３）。
Further, the
さらに、表示処理部７１３は、外出チェックの画像を表示し、音声出力部７１４は、外出チェックの音声を出力する（Ｓ３０４）。例えば、予定の確認、忘れ物の確認、降水確率が高い場合に傘を持つよう促す確認等を通知する画像や音声を出力する。
Further, the
また、出発時刻になると、表示処理部７１３は、出発を急がせる画像を出力し、音声出力部７１４は、出発を急がせる音声を出力する（Ｓ３０５）。例えば、キャラクターが慌ただしく動く動画像と、キャラクターの「もう出発時間！遅刻だよ」等の音声である。
At the departure time, the
解析部７１２がユーザの「行ってきます」の音声を検出したとき、表示処理部７１３は、これに応じた画像を表示し、音声出力部７１４は、これに応じた音声を出力する（Ｓ３０６）。例えば、表示処理部７１３は、ユーザに手を振るキャラクター画像を表示する。また、音声出力部７１４は、「いってらっしゃい」等の音声を出力する。また、出力する音声は、登録されるユーザのスケジュールやユーザの行動履歴等に応じて変更してもよい。
When the
その後、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ３０７）。
Thereafter, the
ステップＳ３０５で出発時刻を通知後、又は、ステップＳ３０７で家電を操作後、ライフモードに移行する（Ｓ３０８，Ｓ３０９）。さらに、所定時間（例えば、１０分）経過後、人感センサ７０２によって人が検出されない場合、スリープ状態に移行する（Ｓ３１０）。 After notifying the departure time in step S305, or after operating the home appliance in step S307, the mode is shifted to the life mode (S308, S309). Furthermore, when a human being is not detected by the human sensor 702 after a predetermined time (for example, 10 minutes) has elapsed, the process shifts to a sleep state (S310).
図２４に示すように、画像表示装置１は、環境信号に応じて「外出・帰宅判定」が可能であり、これに応じて『帰宅モード』を実行することができる。具体的には、図１９を用いて上述した『外出モード』において外出が判定された後、画像表示装置１がスリープ状態であるとき（Ｓ４１）、ユーザの通信端末から帰宅予定のメッセージを受信すると、帰宅準備として、召喚状態に移行する（Ｓ４２）。
As shown in FIG. 24, the
その後、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ４３）。
Thereafter, the
また、画像表示装置１は、人感センサ７０２で人を検出したタイミング、家の照明の電源がオンにされたタイミング、ドアが開けられたタイミングで、帰宅をしたと予想する「帰宅予想」と判定する（Ｓ４４）。ここで、ドアの開閉は、気圧センサ（図示せず）による気圧の変化の検出や、騒音センサ６１３による音の検出によって判定することができる。また、帰宅予想が判定されると、音声出力部７１４は、「帰ってきたみたいだー」等の音声を出力してもよい。
Further, the
帰宅予想が判定されると、送信処理部７１５は操作信号を送信し、所定の家電を操作する（Ｓ４５）。
When the return home prediction is determined, the
また、画像表示装置１は、解析部７１２によりユーザの顔が検出された場合、又は、タッチボタン２６がタッチされた場合、「帰宅」と判定される。また、ユーザが帰宅したことを条件に、表示処理部７１３は、帰宅の挨拶をするキャラクター画像及び演出画像が表示され、音声出力部７１４により帰宅の挨拶の音声が出力される（Ｓ４６）。例えば、帰宅の挨拶としては、「おかえり」に限られず、「今日も遅いんだから―」、「今日は早ね」、「今日はおそいね」、「おつかれさま」等、日々のユーザの行動履歴等に基づいて決定される音声を含むことができる。
Further, the
ユーザが発した音声が検出されると、これに対してキャラクターの返答の音声が出力される（Ｓ４７）。例えば、キャラクターは、その日にしたこととして、「昨日ドーナツを食べたから、今日は運動したよ」等の音声を出力してもよい。また、家で起きたことを知らせてもよい。例えば、玄関のチャイムが複数回鳴った場合、「今日は誰かが来ていたよ」等の音声を出力してもよい。 When the voice uttered by the user is detected, the voice of the character reply is output (S47). For example, the character may output a voice such as “I ate yesterday yesterday and exercised today” as what I did on that day. You may also let you know what happened at home. For example, when the chime at the entrance sounds multiple times, a sound such as “someone came today” may be output.
一方、帰宅予想を判定後、所定時間（例えば３０秒間）、帰宅が判定できないとき、帰宅確認をする（Ｓ４８）。例えば、帰宅確認とは、音声出力部７１４によって、「帰ってきたの？顔みせなさいよ」等の音声を出力する。また、表示処理部７１３によって、拗ねたようなキャラクター画像や怒ったようなキャラクター画像と、演出用画像を表示する。
On the other hand, when the return home cannot be determined for a predetermined time (for example, 30 seconds) after the return home prediction is determined, the return home confirmation is performed (S48). For example, in the confirmation of returning home, the
ステップＳ４７でユーザの挨拶に対して返答した後、又は、ステップＳ４８で帰宅確認をした後、ライフモードに移行する（Ｓ４９）。 After responding to the greeting of the user in step S47, or after confirming the return home in step S48, the mode shifts to the life mode (S49).
（ｄ）アピールモード
アピールモードは、時刻やセンサ等で検出される信号等に応じ、各条件に応じたキャラクター画像や演出画像を表示し、各条件に応じた音声を出力する。例えば、画像表示装置１は、時刻に応じて、「もう８時だよ」等の音声を出力することができる。また、画像表示装置１は、温度に応じて、「なんか暑いね」等の音声を出力することができる。これにより、ユーザは思わぬタイミングでキャラクターから話しかけられるため、キャラクターをより身近に感じることができる。
(D) Appeal mode In the appeal mode, a character image or effect image corresponding to each condition is displayed according to a time or a signal detected by a sensor or the like, and sound corresponding to each condition is output. For example, the
（ｅ）チャットモード
チャットモードは、ユーザが外出中等、画像表示装置１と離れた場所にいる場合、ユーザが保持する通信端末との間でメッセージの送受信を実現する。ユーザが保持する通信端末とは、例えば、スマートフォンや携帯電話機等の携帯通信端末のことである。
(E) Chat mode The chat mode realizes message transmission / reception with a communication terminal held by the user when the user is away from the
チャットモードにおける基本的なアルゴリズムは、ユーザとの会話と同様に行うことができる。ただし、ユーザからの音声入力に代えて、チャット上の文字列を入力として画像表示装置１は、チャットを行う。
The basic algorithm in the chat mode can be performed in the same manner as the conversation with the user. However, instead of the voice input from the user, the
図２５は、チャットモードに画像表示装置１の動作を示すフローチャートであって、チャットモードで動作中のフローチャートである。なお、チャットモードを実行する場合、ユーザは、自身の通信端末で画像表示装置１とのチャットを行うためのチャットアプリケーションを実行する。すると、ユーザの通信端末からチャットアプリケーションの起動信号がネットワークを介して画像表示装置１に送信される。すると、画像表示装置１の制御部７１は、チャットモードを起動し、ユーザの通信端末との間のチャットを、チャットサーバを介して開始する。なお、画像表示装置１は、人感センサを用いてユーザが周囲にいないことを検出して、所定の条件のもとで、画像表示装置１側からチャットモードを起動し、ユーザの通信端末にチャットアプリケーションの起動信号を送信してチャットを開始することとしてもよい。当該チャットサーバは、画像表示装置１のための専用サーバであってもよいし、汎用のチャットサーバであってもよい。
FIG. 25 is a flowchart showing the operation of the
図２５に示すように、まず、取得処理部７１１は、各種の環境信号を取得する（Ｓ５０１）。この環境信号は、チャット上でユーザが入力した最新の発言を含んでよい。取得処理部７１１が取得した各種の環境信号は、解析部７１２に伝達され、解析部７１２は伝達された環境信号を解析する（Ｓ５０２）。解析部７１２は、ユーザのチャット上の発言内容の文字列に対して構文解析を行って、発言内容を認識する。また、解析部７１２は、その他の環境信号、例えば、天候情報などから状況を判断する。制御部７１は、解析結果及び音声データ７５２、信号データ７５３等を参照して、キャラクターが実行すべきチャット上の発言が規定された条件のいずれかに合致するかを判定する（Ｓ５０３）。なお、音声データ７５２は、音声を規定する情報ではあるが、会話という概念においてチャットと共通することから、チャットにおいても利用できる。判定の結果、発言すべき内容があった場合には（Ｓ５０３：ＹＥＳ）、送信処理部７１５は、特定した発言内容のメッセージをチャットアプリケーションを介して、ユーザの通信端末に送信する（Ｓ５０４）。解析の結果、実行すべきキャラクター発言がない場合には（Ｓ５０４：ＮＯ）、制御部７１は、ステップＳ５０５の処理に移行する。
As shown in FIG. 25, first, the
ステップＳ５０５において、制御部７１は、例えば、０〜１００のランダム値を生成する（Ｓ５０５）。なお、ランダム値は０〜１００の範囲に限られない。制御部７１は、生成したランダム値と、これと比較するための閾値との間で大小を比較する。ランダム値が閾値よりも大きい場合に（Ｓ５０６：ＹＥＳ）ステップＳ５０７に移行し、ランダム値が閾値以下である場合に（Ｓ５０６：ＮＯ）、処理を終了する。
In step S505, the
ステップＳ５０７において、制御部７１は、会話履歴データ７５５及びチャット履歴データ７５６を読み出す。読み出した会話履歴データ７５５の会話内容情報９０３とチャット履歴データ７５６のチャット内容情報１００３とからキーワードを抽出する（Ｓ５０７）。これは、例えば、構文解析等により実現できる。そして、例えば、直近（例えば１日）のキーワードの登場頻度の高いキーワードを選択する。当該キーワードの選択は、ランダムであってもよいし、その他の基準で選択することとしてもよい。
In step S507, the
制御部７１は、選択したキーワード及びステップＳ５０１で取得した環境信号に合致する会話があるか否かを、ランダム会話データ７５７を参照して特定する（Ｓ５０８）。そして、送信処理部７１５は、特定した発言の内容を示すメッセージを、チャットアプリケーションを介してユーザの通信端末に送信する（Ｓ５０９）。また、このとき、送信処理部７１５は、対応するキャラクター画像があれば、その画像をチャット上で表示するための画像データをチャットアプリケーションを介して送信し、処理を終える。例えば、キャラクターがする会話の内容が「野球」に関する内容であれば、キャラクターが野球のユニフォームを着た画像を送信したり、ボールやバットなどのアイテムを持たせた画像を送信する。
The
図２５の処理は、チャットモードにおいて繰り返し実行される。このように、チャットにおけるランダムな会話において、キャラクターは、ユーザと過去に交わした会話内容や、実行したチャットの内容に基づく、発言を行うので、ユーザはキャラクターとの間の歴史の積み重ねを感じて、よりキャラクターを身近に感じることができる。そして、画像表示装置１は、図２０の処理と図２５の処理とにより、会話の内容とチャットの内容が互いに連動する構成を実現できている。なお、チャットの内容が以降の会話の内容に反映され、会話の内容が以降のチャットの内容にも反映されるように構成されていれば、画像表示装置１は、本実施の形態に示したアルゴリズム以外のアルゴリズムに従って動作して、同様の構成を実現してもよいことはいうまでもない。
The process of FIG. 25 is repeatedly executed in the chat mode. In this way, in a random conversation in chat, the character speaks based on the content of the conversation with the user in the past and the content of the executed chat, so the user feels the accumulation of history with the character. , You can feel closer to the character. The
上述の構成により、例えば、図２６Ａに示すようなチャットを行うことができる。図２６Ａは、ユーザの通信端末におけるチャット画面の表意例を示している。チャット画面Ｗ３には、ユーザとキャラクターとの発言内容が表示される。ユーザは、通信端末のタッチパネル（図示せず）を利用して、入力部ｂ２１にメッセージを入力し、送信部ｂ２２をタッチしてメッセージを送信する。 With the above configuration, for example, a chat as shown in FIG. 26A can be performed. FIG. 26A shows an ideographic example of the chat screen in the user's communication terminal. The chat content of the user and the character is displayed on the chat screen W3. The user uses a touch panel (not shown) of the communication terminal to input a message to the input unit b21, and touches the transmission unit b22 to transmit the message.
また、このチャットにおいては、図２６Ｂのチャット画面Ｗ４に示すように、通常のチャットとは異なり、キャラクターから、質問が投げかけられて、それに対する回答としての選択肢ｂ２２０を表示することもできる。これは、画像表示装置１との間で専用のチャットアプリケーションをユーザの通信端末にインストールすることで実現することができる。また、この場合、チャットサーバは、この制御を実現するための画像表示装置１からのコマンドをユーザの通信端末に中継する機能を有する。このコマンドには、ユーザが選択した回答のコマンドも含まれる。このような構成にすることで、ユーザにキャラクターとのゲームをしている感覚を与えることもできる。したがって、ユーザは、キャラクターとゲーム感覚でチャットを楽しむこともができる。
Also, in this chat, as shown in the chat screen W4 in FIG. 26B, unlike a normal chat, a question is asked from a character, and an option b220 as an answer to the question can be displayed. This can be realized by installing a dedicated chat application with the
なお、本実施の形態においては、会話履歴データ７５５及びチャット履歴データ７５６を利用した会話やチャットはランダムに実行することとしているが、これはその限りではなく、予め定められた条件が満たされた場合には、必ず実行するようにしてもよいことはいうまでもない。
In the present embodiment, the conversation and chat using the
《音声に関する動作》
例えば、ユーザがマイク７０４に向かってキャラクターの名前を呼ぶと、画像表示装置１は、その名前に対応するキャラクターの画像を表示させることができる。また、ユーザが、表示されたキャラクターに特定の話題について話しかけると、画像表示装置１は、ユーザに対して応答した音声を出力することができる。
<Operations related to audio>
For example, when the user calls a character name toward the microphone 704, the
このため、ユーザは、好きなときに、好きなキャラクターを呼び出すことができ、このキャラクター等をより立体的に見せることが可能な透明なケース２の中に表示させることができる。また、ユーザがキャラクター等に向かって話しかけると、あたかもそのキャラクター等が、ユーザの話しかけに応じた振る舞いをするように動作させることができる。このため、同じ空間にいるキャラクター等と一緒に生活をしているかのような感覚をユーザに与えることができる。
For this reason, the user can call a favorite character when he / she likes it, and can display this character etc. in the
また、音声入力に応じて照明の点灯／消灯を制御することもできる。例えば、「電気消して」や「おやすみなさい」の音声がマイク７０４から入力されると、制御部７１は、予めこの文字列に紐付けて記憶装置７５に記憶されている照明の消灯に関するリモコン情報を記憶装置７５から取り出し、対応する赤外線情報を赤外線ＬＥＤ７０３から発信させる。これにより、室内の照明を消灯することができる。また、同様に、「おかえり」や「おはよう」に応じて照明を点灯することもできる。なお、ここで利用する信号は、赤外線情報以外を利用してもよい。
In addition, lighting on / off can be controlled according to voice input. For example, when a sound such as “Turn off electricity” or “Good night” is input from the microphone 704, the
さらに、このような音声入力と、人感センサ７０２による人の検知を組み合わせた制御動作も可能である。例えば、ユーザの話しかけにより「いってきます」の音声をマイク７０４から入力すると、制御部７１は、この音声により得られる文字列に対応した監視モードに移行する。なお、キャラクター等による「いってらっしゃい」に対応して監視モードに移行することもできる。
Furthermore, a control operation combining such voice input and human detection by the human sensor 702 is also possible. For example, when a voice “I'm coming” is input from the microphone 704 in response to the user's conversation, the
監視モードは、ユーザが室内に存在しない状態におけるモードである。このため、監視モードは、ユーザの話しかけによる「ただいま」の音声を入力し、この音声により得られる文字列を検出すると解除することができる。なお、キャラクター等による「おかえりなさい」に対応して監視モードを解除することもできる。 The monitoring mode is a mode in a state where the user is not present in the room. For this reason, the monitoring mode can be canceled when a voice of “I'm right” by talking to the user is input and a character string obtained from this voice is detected. It is also possible to cancel the monitoring mode in response to “Please come back” by a character or the like.
監視モード中に、例えば、人感センサ７０２により人が検知されると、制御部７１は、これを異常と判断し、これを報知することができる。具体的には、所定の警報音や警告メッセージをスピーカ７０５から出力したり、通信部７６を介して予め登録した宛先に所定のメッセージを送信することができる。また、このとき、制御部７１は、カメラ７２２に室内を撮影させて、記憶装置７５に画像を記憶したり、通信部７６を介して予め登録した宛先に画像を送信することもできる。
For example, when a person is detected by the human sensor 702 during the monitoring mode, the
なお、監視モード中に人感センサ７０２により人が検知された後、すぐに異常と判断して報知を行ってもよく、また、一定時間内に監視モードの解除がない場合に異常と判断して報知を行うこともできる。 It should be noted that, after a person is detected by the human sensor 702 during the monitoring mode, it may be determined that there is an abnormality immediately and notification may be given, and if the monitoring mode is not canceled within a certain time, it is determined that there is an abnormality. Can also be notified.
《赤外線ＬＥＤに関する制御動作》
赤外線ＬＥＤ７０３を用いた制御動作として、以下の動作を行うことができる。具体的には、制御部７１は、タイマープログラムによって予めセットされた起床時刻になると、その時刻情報に紐付けられている行動情報に基づき、対応する機器の動作を制御する。
<Control operation related to infrared LED>
As a control operation using the
例えば、起床時（７：００）に「照明点灯」、就寝時（２３：００）に「照明消灯」といったタイマープログラムを登録した場合、制御部７１は、７：００になると、「照明点灯」のリモコン情報を記憶装置７５から取り出し、対応する赤外線情報を赤外線ＬＥＤ７０３から発信させ、２３：００になると、「照明消灯」のリモコン情報を記憶装置７５から取り出し、対応する赤外線情報を赤外線ＬＥＤ７０３から発信させる。このようにすると、所定の日時に所定の機器を自動的に動作させることができる。
For example, when registering a timer program such as “lights on” when waking up (7:00) and “lights off” at bedtime (23:00), the
このほか、温湿度センサ６１１により検知される温湿度に応じてエアコン等のオン／オフ制御を行ったり、時間帯に応じてテレビのオン／オフ制御を行うこともできる。 In addition, on / off control of an air conditioner or the like can be performed according to the temperature / humidity detected by the temperature / humidity sensor 611, and television on / off control can be performed according to a time zone.
《センサに関する制御動作》
光センサ７２１を用い、例えば、昼間であるにもかかわらず、カーテンが開いていないことを検知して、ユーザにカーテンを開けるよう促すことができる。
<Control operations related to sensors>
Using the
具体的には、日の出の時刻をカレンダー情報として記憶装置７５に記憶しておき、その時刻を過ぎても、光センサ７２１から入力される照度が所定の照度に満たない場合、制御部７１は、予め記憶装置７５に記憶している音声データ（「カーテンあけよう」）を、スピーカ７０５から出力させる。
Specifically, the sunrise time is stored in the
《騒音センサに関する制御動作》
騒音センサ６１３を用い、例えば、テレビが長時間つきっぱなしであることをユーザに注意することができる。具体的には、制御部７１は、騒音センサ６１３により入力された音の音量、周波数等に基づき、テレビがつけられたと判断すると、その判断をしたときから計時を開始し、その状態の時間が所定時間を超過した場合に、予め記憶装置７５に記憶している音声データ（「テレビ消そうよ」）を取り出し、スピーカ７０５から出力させる。これにより、省エネに貢献するとともに、あたかも嫁から注意されているかのような感覚をユーザに与えることができる。
《Control action for noise sensor》
The noise sensor 613 can be used to alert the user that, for example, the television remains on for a long time. Specifically, when the
《振動センサに関する制御動作》
振動センサ６１２を用い、地震の検出やその報知動作を行うことができる。
<Control operation related to vibration sensor>
Using the vibration sensor 612, an earthquake can be detected and a notification operation can be performed.
例えば、人感センサ７０２により人がいることが検知されていない状態において、振動センサ６１２により所定の大きさの揺れを検知した場合には、地震が発生したものと判断して、制御部７１は、所定の警報音や警告メッセージをスピーカ７０５から出力させ、又は、通信部７６を介して予め登録した宛先に所定のメッセージを送信することができる。
For example, in the state where the presence of a person is not detected by the human sensor 702, when the vibration sensor 612 detects a predetermined magnitude of vibration, the
他方、人感センサ７０２により人がいることが検知されている状態において、振動センサ６１２により所定の大きさの揺れを検知した場合には、ユーザ等による人為的な行為によるものと判断し、報知を行わない。なお、この場合、例えば、音声メッセージ（「揺らしちゃダメ！」）をスピーカ７０５から出力させることができる。このようにすると、地震と生活振動とを精度良く区別しつつ、それぞれに対応した動作を行うことができる。
On the other hand, when the vibration sensor 612 detects a predetermined magnitude of vibration in a state where the presence sensor 702 detects that there is a person, it is determined that it is due to an artificial action by the user or the like, and notification is made. Do not do. In this case, for example, a voice message (“No shaking!”) Can be output from the
《温湿度センサに関する制御動作》
温湿度センサ６１１に対応した所定の音声出力制御を行うことができる。例えば、温湿度センサ６１１により検出された温度が１０°Ｃ未満の場合、制御部７１は、所定のタイミングで「今日は寒いね」といった音声をスピーカ７０５から出力させることができる。
<Control operations related to temperature and humidity sensor>
Predetermined audio output control corresponding to the temperature / humidity sensor 611 can be performed. For example, when the temperature detected by the temperature / humidity sensor 611 is lower than 10 ° C., the
また、温湿度センサ６１１により検出された湿度が４０％未満の場合には、所定のタイミングで「乾燥してるよ！風邪ひかないようにね」といった音声をスピーカ７０５から出力させることができる。
When the humidity detected by the temperature / humidity sensor 611 is less than 40%, a sound such as “Dry! Don't catch a cold” can be output from the
《画像に関する動作》
カメラ７２２で撮影された画像に対応した画像表示及び音声出力制御を行うことができる。例えば、カメラ７２２で取得した画像を利用してフェイストラッキングや表情検出を実行してキャラクターの画像を変更することができる。
<Operations related to images>
Image display and audio output control corresponding to an image captured by the
具体的には、ユーザが移動すると、キャラクターがユーザの方を見るようなキャラクター画像を表示してもよい。また、キャラクターが、たまに目を背けてまた、ユーザの方を見るようなキャラクター画像を表示してもよい。さらに、ユーザが笑うと、笑い返すキャラクター画像を表示してもよい。また、ユーザがキャラクターとは違う方向を見ていた後で目が合うと、目が合ったタイミングでほほ笑むキャラクター画像を表示してもよい。さらに、ユーザが画像表示装置１に登録済みのカップで飲み物を飲んでいると、「私も飲む」という音声を出力して、同じカップで飲み物を飲むキャラクター画像を表示してもよい。さらに、ユーザが画像表示装置１に登録済みの服を着ていると、「かっこいい！」という音声を出力してもよい。
Specifically, when the user moves, a character image in which the character looks at the user may be displayed. Further, a character image may be displayed such that the character sometimes turns away from his eyes and looks at the user. Further, when the user laughs, a character image that laughs back may be displayed. In addition, if the user sees a direction different from the character and then sees, a character image that smiles at the timing when the user sees the eye may be displayed. Further, when the user is drinking with a cup registered in the
この他にも様々な入出力制御が可能である。 Various other input / output controls are possible.
例えば、温湿度や天気情報の入力情報に基づいて、「傘持って行った方がいいよ」といった音声を出力させたり、ユーザからの「何着ていこうかな」といった音声入力に対し、温湿度、天気情報、カレンダー情報等に対応したおすすめの洋服を表示させたりすることができる。 For example, on the basis of temperature / humidity and weather information input information, it is possible to output a voice such as “It ’s better to carry an umbrella” or a voice input from a user such as “What should I wear?” It is possible to display recommended clothes corresponding to weather information, calendar information, and the like.
《好感度に応じた動作》
画像表示装置１が表示するキャラクターは、キャラクターのユーザに対する好感度に応じて動作を異ならせてもよい。例えば、キャラクターの設定情報として予め、好きな言葉や色などの嗜好や、好みの動作、されてうれしいこと、等のキャラクター情報を設定するとともに、キャラクターのユーザに対する好感度を設定しておく。そして、キャラクターの嗜好に合致する会話やチャット、行動をユーザがとった場合に、キャラクターの好感度値を上げ、合致しない会話やチャット、行動をユーザがとった場合に、キャラクターの好感度を下げることとしてもよい。
《Action according to likability》
The character displayed by the
そして、記憶装置７５においては、さらに、その好感度値に応じたキャラクターの行動を規定する情報を記憶しておいてもよい。例えば、ユーザがキャラクターに近い場合であって、キャラクターが「近すぎるよー」と発言する際に、好感度が低い場合には、怒ったような声色の音声を出力し、好感度が高い場合には、照れたような声色の音声を出力することとしてもよい。したがって、記憶装置７５は、好感度に応じた同内容のセリフの音声を複数記憶しておいてもよい。このようにすることで、画像表示装置１のキャラクターにより人間味を持たせることができ、ユーザにより親近感を覚えさせることができる。
And in the memory |
また、画像表示装置１は、以下のような処理を実現してもよい。
Further, the
《起床判定システム》
制御部７１は、例えば、カレンダーサイトで記憶装置７５に登録されたユーザの起床時刻を含むカレンダー情報と、データ管理部７１６が取得する時刻とを利用し、目覚ましの呼びかけをすることができる。その後、例えば、ユーザがベッドから起き上がり、解析部７１２で検出する顔が一定以上の大きさになると制御部７１は、起床と判定し、ユーザが起床後の処理を実行する。例えば、ユーザは、自身の通信端末のスケジュール情報を、画像表示装置１に送信して、画像表示装置１は、受信したスケジュール情報に示される内容にしたがって、動作することとしてもよい。例えば、スケジュール情報に、「２３日６時起床」とあった場合に、制御部７１は、２３日の６時に、キャラクターにユーザを起こす動作をさせることとしてもよい。
《Wake-up judgment system》
The
《外出判定システム》
制御部７１は、例えば、解析部７１２が検出するユーザの「いってきます」の音声に加え、取得処理部７１１が取得するユーザの通信端末の位置情報が、家の外にある場合、ユーザが外出したと判定することができる。また例えば、人感センサ７０２でユーザの存在が検出されないことに加え、取得処理部７１１が取得するユーザの通信端末の位置情報が、家の外にある場合、ユーザが外出したと判定することができる。
<< Outing judgment system >>
For example, when the location information of the user's communication terminal acquired by the
《帰宅判定システム》
制御部７１は、例えば、上述の外出判定においてユーザが外出したと判定した後に、人感センサ７０２でユーザの存在が検出された場合、ユーザが帰宅したと判定することができる。当該検出では、人感センサ７０２で人を検出することに加え、カメラ７２２で撮像した画像から、ユーザの顔を判定することとしてもよい。
《Homecoming judgment system》
For example, when the presence sensor is detected by the human sensor 702 after determining that the user has gone out in the above-described going-out determination, the
《寝落ち判定システム》
制御部７１は、ユーザが在宅中に、例えば、人感センサ７０２により、ユーザの動きが1時間検出されず、かつ、光センサ７２１によって検出される照度が、照明が消されていない程度の明るさであると解析部７１２で解析されると、ユーザが寝落ちしたと判定することができる。ここでいう、「寝落ち」とはユーザがテレビを見たり、ゲームをしたりする等、何かの作業中に、照明を消すことがなく寝てしまうことをいう。画像表示装置１は、ユーザが寝落ちしたと判定した場合であって、部屋の照明が消灯されていない場合に、部屋の照明を消灯するように証明を制御することとしてもよい。
《Sleep determination system》
When the user is at home, the
《起床時刻確認システム》
制御部７１は、例えば、翌朝の外出時間が、普段の朝より早い場合、普段の朝の準備時間を確保すべく、翌朝の目覚まし時刻を早くするよう提案することができる。具値的には、翌日目覚まし時刻と翌日の外出予定時刻との時間差が、平均の起床時刻と外出時刻との時間差で求められる外出準備時間よりも短い場合、翌朝の目覚まし時刻より早くするよう提案する。例えば、制御部７１は、音声データ７５２から、「明日は出発時刻が早いみたいだけど、目覚まし時刻早める？」の音声を選択し、出力する。また、制御部７１は、ユーザは「ＹＥＳ」の返答があった場合、記憶装置７５に登録される目覚まし時刻を変更する。
《Wake-up time confirmation system》
For example, when the time of going out the next morning is earlier than the usual morning, the
また例えば、制御部７１は、今朝、遅刻した場合、翌朝の目覚まし時刻を早くするよう提案することができる。具体的には、制御部７１は、今朝の外出時刻が、外出予定時刻より所定時間（例えば、１０分）遅れた場合、目覚まし時間をその所定時刻早めるよう提案することができる。例えば、制御部７１は、音声データ７５２から、「今日遅刻したでしょ！明日は１０分早く起きてみる？」の音声を選択し、出力する。また、制御部７１は、ユーザは「ＹＥＳ」の返答があった場合、記憶装置７５に登録される目覚まし時刻を変更する。
Further, for example, if the
《スクワット判定機能》
制御部７１は、例えば、解析部７１２が顔認識の上下運動を検出し、スクワットしている回数を数えるシステムを備えることができる。また、制御部７１は、腕立て伏せだけでなく、腹筋の回数や、腕立てふせの回数を数えるシステムにも応用することもできる。これにより、表示処理部７１３は、ユーザの動作を応援するキャラクター画像や演出用画像を表示することができる。また、音声出力部７１４は、キャラクターがカウントする音声や応援する音声を出力することができる。
《Squat judgment function》
For example, the
《カメラ自撮りシステム》
制御部７１は、例えば、ユーザが、キャラクターと自撮り撮影できるようにしてもよい。この際、ユーザがカメラ７２２で撮像可能な範囲に移動することで、カメラ７２２でユーザの画像を撮像すると、制御部７１は、撮像画像にキャラクター画像を合成する。また、制御部７１は、キャラクター画像が合成された撮影画像を、インターネット等を介してＳＮＳ（ソーシャルネットワーキングサービス）等の提供サーバにアップロードしてもよい。
《Camera self-taking system》
For example, the
《コーヒーブレイクタイムシステム》
制御部７１は、キャラクターがユーザにコーヒーブレイクを提案するようにしてもよい。例えば、データ管理部７１６が管理する時刻が所定時刻の場合に、送信処理部７１５が、コーヒーメーカーに、操作信号を送信する。また、表示処理部７１３は、ユーザにコーヒーブレイクを促す画像を選択して表示し、音声出力部７１４は、ユーザにコーヒーブレイクを促す音声を選択して出力する。さらに、解析部７１２が、画像や音声から、ユーザがコーヒーを飲み終わるのを検出すると、制御部７１は、コーヒーブレイクを終了する。例えば、制御部７１は、解析部７１２が、ユーザの「おいしかったよ」や「ごちそうさま」の音声を検出することにより、終了することができる。
《Coffee break time system》
The
《コール・レスポンスシステム》
制御部７１は、ユーザとキャラクターと名前を呼びあうようにしてもよい。音声出力部７１３が、ユーザデータ７５４に登録される名前やニックネームを呼ぶキャラクターの音声を出力する。また、解析部７１２によってユーザが発したキャラクターの名前やニックネームの音声が検出されると、音声出力部７１３は、ユーザの名前やニックネームを呼ぶキャラクターの音声を出力することができる。
《Call response system》
The
《着替えレコメンドシステム》
制御部７１は、ユーザのコーディネートをレコメンドするようにしてもよい。例えば、解析部７１２によって、カメラ７２２が撮像した画像から「顔の上の正方形の帽子」、「顔の下の長い長方形のネクタイ」等のユーザが身につけているものの形状や色を判定する。また、制御部７１は、取得処理部７１１で取得する環境情報から解析されるユーザの表情や気分や、記憶装置７５に登録されるユーザのスケジュールや、天気情報、季節等を総合的に判断して、おすすめの色をレコメンドしてもよい。
《Changing recommendation system》
The
《操作依頼》
制御部７１は、ユーザから通信端末等の情報処理装置を介し、機器の操作や、スケジュール管理の依頼を受けることができる。例えば、機器の操作が依頼された場合、送信処理部７１５は、依頼された信号に応じて、操作信号を出力する。また、スケジュールの登録や変更が依頼された場合、データ管理部７１６は、この信号に応じて、データを登録又は更新する。具体的には、図１７Ｂを用いて上述したように、チャット機能を用いたり、メモや伝言板のようなものを用いて、制御部７１を操作したりすることができる。ユーザは、自身がキャラクターにしてほしいことをキャラクターにお願いするように感じることができるため、人間にお願いしているように感じることができる。
《Operation request》
The
《ふて寝モード》
制御部７１は、所定の条件を満たした場合に、怒ってふて寝をするキャラクター画像を表示させてもよい。例えば、画像表示装置１が外部のネットワークに接続されていない場合、又は、画像表示装置１がユーザの通信端末との間でネットワーク接続がされていない場合、怒ってふて寝するような画像を選択し、表示する。これにより、画像表示装置１がユーザに訴えかけるようなキャラクター画像を表示することで、より人間らしく、よりリアルに表現することができる。
《Sleeping Mode》
The
《興味の変遷アルゴリズム》
ユーザデータ７５４に複数種類の興味や趣味嗜好が登録されているとき、制御部７１は、複数の中からいずれかをランダムに選択し、出力する画像や音声に反映させることができる。例えば、このとき、ユーザデータ７５４では、ユーザの嗜好情報についてそれぞれ重み値が設定され、制御部７１は、その重み値を加味して、出力する画像や音声を選択することができる。また、これらの趣味嗜好の重み値は、時間の経過と共に増加させたり、減衰させたりすることができる。さらに、重み値が所定の値以下になったら、他の嗜好の重み値が大きくなることにより、別の趣味嗜好の話題を選択するようにしてもよい。
《Interest Transition Algorithm》
When a plurality of types of interests and hobbies are registered in the
《ライフモードのアルゴリズム》
制御部７１は、ライフモードにおいて、「ユーザの嗜好情報」や「キャラクター内部の嗜好情報」をもとに、表示する画像や、出力する音声を選択することができる。例えば、ユーザが漫画好きであれば、制御部７１は、ライフモードにおいて、漫画を読むキャラクター画像を表示することができ、これに対応する音声を出力することができる。また、ユーザが料理好きであれば、制御部７１は、暇な時に料理をするキャラクター画像を表示することができ、これに対応する音声を出力することができる。
《Life mode algorithm》
In the life mode, the
《興味トーク》
制御部７１は、ユーザとのインタラクションが発生した一定時間後に、そのインタラクションに関連する話題の画像及び音声を出力することができる。制御部７１は、ユーザとのインタラクションが発生した時刻を記憶しておき、そこから、所定時間が経過したか否かを判定することで、当該制御を実現する。
《Interest Talk》
The
《ユーザ行動分析推定システム》
制御部７１でユーザの行動を判定するためのデータとしては、予め教師データとして与えられた複数パターンのデータを参照し、導きだすことができる。具体的には、画像表示装置１に備えられた各種センサを用いて、ユーザが所定の行動をした際のセンシングデータを取得しておき、その際の所定の行動を示す情報と対応付けて記憶しておき、これを教師データとする。そして、画像表示装置１は、備えられている各種のセンサから入力されたデータを、教師データとを比較することにより、ユーザの行動を分析、推定することができる。これにより、制御部７１は、ユーザの行動に応じた動作をキャラクターにさせることができる。また、制御部７１は、逐次、この教師データをユーザの行動に応じて更新することとしてもよい。
<< User behavior analysis estimation system >>
The data for determining the user's action by the
《人感情追従システム》
また、画像表示装置１は、ユーザの感情を推定して、キャラクターにそのユーザ感情に対応した動作を実行させてもよい。具体的には、以下のように処理を実行する。
<< Emotion tracking system >>
Further, the
制御部７１は、カメラ７２２で撮像したユーザの顔画像から表情認識処理を行って、ユーザの感情を推定してもよい。これは、予め各種の感情に応じた顔画像の特徴量の情報を記憶装置７５に記憶しておき、撮像した画像とのパターンマッチングにより、最も近いと推定される顔画像を特定して、対応する感情を特定するものである。また、マイク７０４から入力された声紋からユーザの感情を推定してもよい。これも顔画像の場合と同様に、予め各種の感情に応じた声情報（例えば、周波数や音量など）の情報を記憶装置７５に記憶しておき、入力された声紋との特徴量に応じて、ユーザの感情を推定する。また、あるいは、制御部７１は、ユーザとの間の会話やチャットの内容から、ユーザの感情を推定することとしてもよい。例えば、会話中の「楽しかった」とか「むかつく」といった感情を表す言葉から、ユーザの感情を推定する。
The
そして、画像表示装置１の制御部７１は、画像表示装置１に記憶、設定されているキャラクターの個性に応じて、ユーザに同調したり、励ましたりといった行動をとらせることができる。例えば、ユーザの感情を判定した結果、ユーザが寂しいと感じていると推定したら、「そうだね、寂しかったね。でも、私がいるよ？」とか、「そんなことで、寂しく思う必要なんかないよ！大丈夫大丈夫！」といったセリフの音声を音声出力部７１４から出力したりするとよい。また、例えば、ユーザが落ち込んでいると推定した場合には、「ファイト！」と励ましたりしてもよい。なお、これらのキャラクターの行動は一例であることは言うまでもない。
Then, the
《ありがとう学習システム》
画像表示装置１の制御部７１は、ユーザから会話で伝達された、もしくは、チャット上で伝達された、ありがとう等、感謝の言葉を伝えられた内容を記憶する。そして、その時の条件を記憶する。即ち、制御部７１（キャラクター）は、ユーザが、「いつ」、「何をする」とありがとうと言われるのかを記憶する。即ち、ユーザから感謝されたときの、「タイミング」と「キャラクターの行動」とを対応付けて記憶装置７５に記憶する。そして、制御部７１は、その「いつ」というタイミングにおいて、感謝された行動をキャラクターに再現させることとしてもよい。
《Thank you learning system》
The
《顔学習システム》
画像表示装置１の制御部７１は、カメラ７２２で撮像した画像に、ユーザと異なる人物の顔画像が含まれると判定した場合に、その顔画像をチャットに添付して、「この人誰？」と問いかけることとしてもよい。これに対して、ユーザが「お母さんだよ」と回答することで、画像表示装置１は、その人物を撮像して得られた顔画像と、「お母さん」という言葉を対応付けて記憶する。また、画像表示装置１の制御部７１は、ユーザの「お母さんだよ」という回答に対して、例えば、「お母さんなんだね。覚えたよ」というようなメッセージをかえしてもよい。また、別のタイミングで、記憶した人物の顔画像を撮像して得た場合には、画像表示装置１は、「お母さんが来たよ」というメッセージをユーザの通信端末に送信することとしてもよい。また、その際にその人物の行動を推定できた場合に、その内容も含めて送信してもよい。また、当該構成は、画像表示装置１が撮像した顔画像がユーザにとって知らない人物の顔であった場合には防犯の役に立てることもできる。
《Face learning system》
When the
《心配性システム》
画像表示装置１は、ユーザが外出したことを検出してから（人感センサ７０２が人を検出しないまま所定時間が経過してから）、一定以上遅くなってきた場合（例えば、現在時刻が夜２２時を経過した場合）に、ユーザに対して、twitter（登録商標）、メール、チャット、電話などの手段で連絡をとってもよい。例えば、制御部７１は、「遅いけど、大丈夫？」というようなメッセージを送信してもよいし、電話をかけてもよい。なお、電話を掛ける場合には、画像表示装置１に電話回線と接続するための設定しておく必要がある。また、当該行動をとるかどうかの閾値を定めておき、ランダム値がこの閾値を超えるかどうかで、このユーザを心配する行動をとるかどうかを判定してもよい。また、画像表示装置１は、この閾値を時間が遅くなればなるほど高くなるように制御してもよい。また、その日の朝のユーザの様子に応じて、この閾値を変更することとしてもよい。例えば、ユーザの体調が悪いと推定している場合には、通常よりも閾値が低くなるように制御することとしてもよい。
<< worry system >>
When the
《赤外線情報監視システム》
画像表示装置１は更に赤外線センサを備えて、周囲の赤外線情報を取得し、取得した赤外線情報に応じた行動をキャラクターに取らせることとしてもよい。例えば、ユーザがテレビのリモコンを操作したことを、リモコンから出力された赤外線情報を取得して、検出し、テレビをオンした時間と曜日とチャンネルを記憶しておいてもよい。そして、別の日であって、同じ曜日の同じ時間になったときに、画像表示装置１がテレビを操作して、同じチャンネルをつけるように制御してもよい。
<Infrared information monitoring system>
The
また、赤外線センサからユーザの体温や部屋の温度をモニタして、温度が高くなってきたことを検出したら、画像表示装置１の制御部７１は、キャラクターに、ユーザに対して、「窓開けたらどうかな？」とか、「扇風機つける？」とか、「空調つける？」といった提案をする会話をさせることとしてもよい。
When the body temperature of the user or the temperature of the room is monitored from the infrared sensor and it is detected that the temperature has risen, the
《視聴番組監視システム》
画像表示装置１は、ユーザが視聴しているテレビやラジオ番組に関する情報を取得し、記憶する構成を備えてもよい。具体的には、ネットワーク上からテレビ番組情報を取得し、テレビから発せられる音声に対して音声人気処理を行ってユーザの視聴している番組を推定する。あるいは、画像表示装置１は、各種家電と接続し、テレビのＯＮ／ＯＦＦ情報や、チャンネル情報を取得して、ユーザが視聴した番組を特定し、記憶する。そして、記憶した番組に関する番組表からキーワードを取得して、会話のネタにしてもよい。
《Viewing program monitoring system》
The
例えば、クラウドサーバにおいて、各放送局の番組についてどのような会話が行われているかに対して音声認識にかけ、各放送局の番組の内容をテキスト化し、クラウドテキスト情報を取得する。一方、画像表示装置１において、ユーザが視聴している番組の音声情報をマイク７０４から取得する。そして、取得した音声に音声認識をかけてユーザテキスト情報に変換する。そして、クラウドテキスト情報とユーザテキスト情報とを比較、照合することにより、画像表示装置１は、ユーザがどの番組を視聴しているかを特定することができる。そして、制御部７１は、ユーザが視聴している番組を特定し、その番組名を組み込んで、例えば、「朝は、Ａテレビだよね！」とリコメンドし、テレビのリモコンを制御することとしてもよい。
For example, in a cloud server, speech recognition is performed on what kind of conversation is being performed on a program of each broadcast station, the contents of the program of each broadcast station are converted into text, and cloud text information is acquired. On the other hand, in the
《空気読みシステム》
画像表示装置１の制御部７１は、ユーザが忙しそうにしているか否かを判定し、判定した状態に応じた行動、所謂空気を読んだ行動をとることとしてもよい。画像表示装置１の制御部７１（取得処理部７１１）が取得した種々の環境信号に応じてユーザの忙しさを判定する。例えば、ユーザの起床時刻が遅く、人感センサ７０２が検出するユーザの位置が所定時間内（例えば、５分以内）に左右に所定回数以上（例えば、１０回以上）動くことを検出した場合に、ユーザが忙しいと判定して、画像表示装置１の制御部７１は、キャラクターにユーザに話しかけないように制御する。また、ユーザがあまり動かない、即ち、人感センサ７０２が検出するユーザ位置が所定範囲内にとどまっている場合に、制御部７１は、キャラクターにユーザに話しかけさせるように制御する。このように、画像表示装置１の制御部７１は、キャラクターにユーザの状態を見て、即ち、空気を読んで、アクションを起こさせるか否かを判定することができる。
《Air reading system》
The
《フェイス＆アイトラッキングシステム》
画像表示装置１の制御部７１は、カメラ７２２が取得するユーザの顔画像と目の画像に基づいて、ユーザの視線を検出することとしてもよい。例えば、ユーザの顔画像が画像表示装置１の方向を向いていることを検出し、眼の瞳孔が双方とも画像表示装置１の方向を向いているか否かを検出する。そして、制御部７１は、ユーザの視線がキャラクターの方を向いている場合に、キャラクターに恥ずかしがらせたり、ユーザと見つめ合わせたりするようにすることもできる。
<< Face & Eye Tracking System >>
The
《バーチャル風システム》
画像表示装置１の制御部７１は、マイク７０４に、ユーザが息を吹きかけていることを検出して、画像表示装置１内の世界に風を吹かせたエフェクトを発生させてもよい。例えば、キャラクターの服がひらひらと揺れたりする演出をしてもよい。当該構成はマイク７０４ではなく、画像表示装置１に風圧センサを設けることでも実現できる。
《Virtual style system》
The
《体調管理システム》
画像表示装置１は、通信部７６を介して、ユーザが保持する体重計や運動量計など、ユーザの状態を検出することができる機器から、ユーザの状態情報を取得することとしてもよい。例えば、体重計から検出したユーザの体重が、所定期間内に所定以上減少していたような場合には、制御部７１は、「ちゃんと食べてる？」とキャラクターに話させたり、ユーザの身長に対する体重が平均体重を所定以上多い場合には、「ちょっとは運動しなきゃ！」とリコメンドさせたりすることとしてもよい。また、ユーザが繰り返し運動するような場合には、制御部７１は、カメラ７２２で撮像した画像を参照しながら、キャラクターに繰り返し運動の回数を数えるように音声を出力させることとしてもよい。例えば、腕立て伏せやスクワットの回数を数えることなどが考えられる。
《Physical condition management system》
The
《リアルタイムモーション配信システム》
画像表示装置１の制御部７１は、通信部７６を介して特殊な信号を受信することで特殊な動作をすることとしてもよい。具体的には、開発運営側の人物の体にモーションキャプチャセンサーを装着し、人物の動きを全ユーザの画像表示装置１に配信する。画像表示装置１は、配信されたモーションと同じ動きをするキャラクターを表示することで、番組配信を実現することもできる。例えば、特殊な信号として地震速報などを受信した場合には、「○○で、震度４の地震だよ。落ち着いて行動してね」といった音声を音声出力部７１４が出力することとしてもよい。また、特殊な信号内に、表示すべき画像データが含まれる場合に、その画像データを表示してもよい。この画像データとしては、例えば実在の人物であってもよく、例えば、有名人の会見を表示し、その音声を出力するようにしてもよい。これにより、例えば、ホログラムによる番組配信を実現することもできる。また、画像表示装置１は、実在の人物の画像データを取得し、その人物の音声データを取得することで、実在の人物を表示するキャラクターとして表示することができる。
《Real-time motion distribution system》
The
《ホログラムアバター電話システム》
画像表示装置１に電話機が接続、又は、画像表示装置１に電話機能が備えられている場合に、画像表示装置１は、以下の機能を備えてもよい。画像表示装置１は、このとき、カメラ７２２から取得した画像に基づいて、ユーザの表情を特定し、特定した表情と同じ表情のアバター情報を生成し、電話相手にそのアバター情報を送信して、電話相手の表示画面にそのアバター画像を表示させる構成を備えてもよい。
《Hologram Avatar Phone System》
When a telephone is connected to the
《報告システム》
画像表示装置１の制御部７１は、ユーザの帰宅を検出して、ユーザに対して、キャラクターにキャラクターの一日を報告させることとしてもよい。例えば、解析部７１２は、人感センサ７０２が、所定時間以上、ユーザを検出していない状態で、新たにユーザを検知した場合に、ユーザが帰宅したものと判定する。すると、制御部７１は、キャラクターに周辺で起こった出来事（各種センサから取得できる情報に基づいて、その事象が起こったと推定される内容）を、ユーザに報告させることとしてもよい。例えば、温湿度センサ６１１が所定以上の温度を、所定時間以上、検出していた場合に、キャラクターに「今日は暑かったよ〜」と報告させたり、室温度センサ６１１が所定以上の温度と湿度を、所定時間以上検出していた場合に、「今日は蒸し暑かったねえ」と報告させたり、地震速報を受信していた場合には、「今日、地震があったね。そっちは大丈夫だった？」と報告させたり、「あなたがいないときに、誰々がきたよ〜」と報告させたりしてもよい。
《Reporting system》
The
《体調不良連絡電話システム》
画像表示装置１の制御部７１は、画像表示装置１に電話機能が搭載されている場合に、ユーザの体調が悪い場合に、ユーザからの指示に従って、ユーザの勤務先や通学先など、予め設定されている電話番号に、「本日、体調不良のためお休みをいただきます」と、ユーザの代わりに電話連絡をさせることとしてもよい。
《Unwell physical contact phone system》
When the telephone function is installed in the
《特定デバイスによるジェスチャーコントロールシステム》
画像表示装置１の制御部７１は、ユーザが装着または保持する特定のアイテムからの信号に従って、キャラクターを制御することとしてもよい。例えば、特定のアイテムが指輪の場合であって、画像解析によりユーザが指輪をこすっていることを検出した場合に、キャラクターに恥ずかし気な動作をさせることとしてもよい。また、あるいは、特定のアイテムとして、ユーザがペンライトを持って左右に振っていた場合には、制御部７１は、キャラクターにペンライトを持たせた画像を表示し、その手を左右に振らせるように動かす映像を投影することとしてもよい。
<< Gesture control system by specific device >>
The
《キャラクターお着替えシステム》
画像表示装置１の制御部７１は、キャラクターに着させる服装やアイテムなどを、適宜、変更することとしてもよい。そのために、制御部７１は、各種の服装やアイテムの表示データを記憶装置７５に記憶、あるいは、外部のサーバからダウンロードして取得する。そして、制御部７１は、画像表示装置１が搭載する計時部（図示せず。現在日時を検出するクロック）からの日時が含まれる季節や、天気、気温、時間帯に応じた服装をしたキャラクターを表示することとしてもよい。
《Character change system》
The
《瞬間移動システム》
上記実施の形態に係る画像表示装置１をユーザが複数台保持する場合、各画像表示装置１を連動させて、そのうちの、ユーザが確認できる位置にのみキャラクターを表示することとしてもよい。その場合、制御部７０１は、ユーザが移動した移動先にある画像表示装置１に、キャラクターも移動してきたかのような演出をすることとしてもよい。
《Moment transfer system》
When the user holds a plurality of
《掃除システム》
画像表示装置１の制御部７１は、家電として、ロボット掃除機と通信を行って、そのロボット掃除機を制御して、ユーザの室内を掃除することとしてもよい。また、その際に、制御部７１は、ユーザが普段掃除している箇所と掃除していない箇所とを特定し、
《Cleaning system》
The
《歯磨き応援システム》
画像表示装置１の制御部７１は、画像解析によりユーザが歯磨きをしていることを検出して、キャラクターにユーザの歯磨きを応援する行動をとらせてもよいし、ユーザが薬を飲んだり、患部に薬を塗ったりすることを検出して、キャラクターにその行動を応援させることとしてもよい。
《Tooth brushing support system》
The
《スポーツ選手モーションキャプチャシステム》
画像表示装置１は、スポーツ中継などの映像を取得し、そのスポーツ中継に登場するスポーツ選手のモーションと同じモーションをキャラクターに実行させるように画像を投影してもよい。また、その際に、ユーザは、ユーザの通信端末や、画像表示装置１に備え付けられた操作パネルや、音声等により、キャラクターの向く向きを指示して、当該指示に従った映像を画像表示装置１は、表示することとしてもよい。また、このとき、キャラクターではなく、スポーツ選手そのものの映像を表示することとしてもよい。
《Sports player motion capture system》
The
《ライブ応援システム》
画像表示装置１は、ユーザが何等かのアイドル等のライブなどを視聴している場合に、制御部７１は、キャラクターにもそのライブ映像を視聴しているように表示するとともに、そのキャラクターにライブに参加しているかのように、掛け声を発したり、ケミカルライトを振る動作をさせてもよい。また、あるいは、制御部７１は、キャラクターがバーチャルシンガーとしてアイドルのように、歌を歌って踊る動作をさせる場合に、ユーザからの手拍子や応援に応じて、その動作を連動させてもよい。例えば、ユーザの手拍子のタイミングを検出して、そのタイミングに合わせてステップを踏ませるように画像を出力することとしてもうよいし、ユーザからの応援の声量に合わせて行動を変化させてもよい。
《Live support system》
When the user is watching a live such as an idol or the like, the
《マルチエージェントシステム》
画像表示装置１は、記憶装置７５に複数のキャラクターに関する情報を記憶しておいてもよい。そして、制御部７１は、ユーザの状況に応じて使用するキャラクターを選択し、投影することとしてもよい。また、画像表示装置１にマルチコアを搭載し、１コアで１キャラクターを制御する場合に、画像表示装置１は、同時に複数のキャラクターを投影することとしてもよい。
《Multi-agent system》
The
《年齢経過システム》
画像表示装置１は、キャラクターを表示する際に、一定時間でキャラクターが年をとるように画像を表示することとしてもよい。画像表示装置１は、例えば、キャラクターを初めて召還する場合には、赤ちゃんの状態を表示することとし、そこから、所定期間が経過するごと（例えば、１ヶ月経過するごと）に、キャラクターの画像を変化させるようにして、キャラクターが成長しているかのように、表示することとしてもよい。
《Age course system》
When displaying the character, the
《各種言語対応システムシステム》
画像表示装置１は、音声認識のアルゴリズムや、対話システムを、各国の各言葉に応じたモデルを搭載することで、各種の言語に対応することができる。
<< Systems for various languages >>
The
《オリジナルキャラクターシステム》
画像表示装置１が表示するキャラクターは、ユーザがオリジナルで作成することとしてもよい。画像表示装置１は、そのために必要とする各種データのフォーマットを用意し、ユーザがエディットできるように構成されてもよいし、エディット自体はユーザのＰＣ等で作成したものを画像表示装置１に転送することとしてもよい。また、ユーザが作成したキャラクターデータは、ネットワークを介して配信することとしてもよい。
《Original character system》
The character displayed by the
《各種キャラクター召還システム》
画像表示装置１が表示するキャラクターとしては、ＶＲ（Virtual Reality）コンテンツのキャラクターのデータを用いることとしてもよい。例えば、ユーザがＨＭＤ（Head Mounted Display）を利用して遊んだゲーム等のキャラクターを画像表示装置１が表示するキャラクターとして使用することとしてもよい。また、ＶＲコンテンツに限らず、各種のゲーム（例えば、スマホゲームなど）のキャラクターをダウンロードして表示するキャラクターとして使用することができる。
《Various character summoning system》
As a character displayed by the
《チャット機能の外部実装》
上記では、画像表示装置１が、チャット機能を有することとしてが、チャット機能は、外部の装置が実行することとしてもよい。即ち、ユーザが通信端末を用いて、画像表示装置１のキャラクターとメッセージのやり取りをする際には、実際には、外部サーバとやり取りをしている構成をとってもよい。その場合に、外部のサーバは、キャラクターとしての応答アルゴリズムを保持するほか、画像表示装置１から、ユーザに関する会話履歴データ７５５、チャット履歴データ７５６を事前に取得しておく必要がある。そのため、ユーザからのチャット入力があった場合に、外部の装置は、画像表示装置１にアクセスして、それらの情報を取得する構成を備えていてもよい。また、外部の装置がユーザの通信端末とのチャットを終えた後には、外部の装置は、チャット履歴データ７５６を画像表示装置１に送信し、画像表示装置１は、受信したチャット履歴データ７５６を記憶装置７５に上書きすることとしてもよい。このような実装により、画像表示装置１の外部にチャット機能を有する装置を設けたシステムを実現することができる。
《External implementation of chat function》
In the above description, the
以上のように、本発明の第一実施形態に係る画像表示装置１によれば、表示対象であるキャラクター等を、同じ空間にいる実体物のように表示させることができる。また、画像表示装置１では、ユーザの音声等の環境情報に対応した振る舞いを、キャラクター等などにより行わせるようにしている。さらに、画像表示装置１では、キャラクターの心情等を表現する演出画像をキャラクター画像とともに表示させることができる。さらには、ユーザと行った会話やチャットの内容について、過去の内容が最新の会話やチャットに反映されるので、ユーザはより一層キャラクターに対して親近感を覚え、愛着がわく。
As described above, according to the
これにより、あたかも実在するキャラクター等と同じ空間にいるような感覚をユーザに与えることができる。また、キャラクターをより身近に感じさせることができる。 Thereby, it is possible to give the user a feeling as if they were in the same space as a real character or the like. In addition, the character can be felt closer.
上述した実施形態においては、各処理を、画像表示装置１の制御部７１が画像表示プログラム、会話プログラム、チャットプログラム等を実行することにより、実現するものとして説明した。一方、画像表示装置１において、ＣＰＵに代えて、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））、ＦＰＧＡ（Field Programmable gate array）、ＣＰＬＤ（Complex Programmable Logic Device）等に形成された論理回路（ハードウェア）や専用回路によって各処理を実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。
In the embodiment described above, each process has been described as being realized by the
すなわち、図２７に示すように、画像表示装置１は、制御回路７１ａ、入力回路７２ａ、出力回路７３ａ、操作回路７４ａ、記憶回路７５ａ、通信回路７６ａから構成されてもよい。制御回路７１ａが有する取得制御回路７１１ａ、解析回路７１２ａ、表示処理回路７１３ａ、音声出力回路７１４ａ、送信処理回路７１５ａ及びデータ管理回路７１６ａは、画像表示プログラムＰ１、会話プログラムＰ２、チャットプログラムＰ３等によって制御される。それぞれの機能は、上記実施形態に示した同様の名称を有する各部と同様である。
That is, as shown in FIG. 27, the
また、上記記憶装置７５としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記画像表示プログラムＰ１、会話プログラムＰ２、チャットプログラムＰ３は、当該画像表示プログラムＰ１、会話プログラムＰ２、チャットプログラムＰ３を伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記映像表示プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。また、これらのプログラムに限らず、キャラクターに関する音声データや画像データもそれらを記憶しているサーバからダウンロードして画像表示装置１で使用できてもよい。こうすることで、様々なキャラクターを画像表示装置１で楽しむことができる。また、同一キャラクターの新たな音声データや画像データもダウンロードして使用できるように構成されてもよい。また、記憶装置７５に記憶されている各種データは、記憶装置７５ではなく、画像表示装置１がアクセス可能なネットワーク上のサーバ等の外部装置に記憶することとしてもよい。そして、画像表示装置１の制御部７１は通信部７６を介して、都度必要なタイミングで外部サーバにアクセスして必要な情報を取得することとしてもよい。例えば、上記実施の形態における言語モデルや音声モデルなどの情報をネットワーク上に記憶しておくことができる。
Further, as the
なお、上記画像表示プログラムＰ１、会話プログラムＰ２、チャットプログラムＰ＃は、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Java（登録商標）などのコンパイラ言語、アセンブリ言語、ＲＴＬ（Register Transfer Language）などを用いて実装できる。 The image display program P1, the conversation program P2, and the chat program P # are script languages such as ActionScript, JavaScript (registered trademark), Python, Ruby, C language, C ++, C #, Objective-C, Java (for example). It can be implemented using a compiler language such as a registered trademark, assembly language, RTL (Register Transfer Language), or the like.
２０１０ 画像表示装置
２０１１ 表示部
２０１２ 取得部
２０１３ 推定部
２０１４ 生成部
２０１５ 出力部
１ 画像表示装置
２ ケース
２１ 上部収容部
２２ 下部収容部
２２１ 台座
２３ 支柱
３ 透過フィルム（平状部材）
４ プロジェクタ（映像出力手段）
５ 反射ミラー（反射手段）
５１ ミラー取付部（調整手段）
６ 柱部
７１ 制御部（出力制御手段）
７２ 入力部（入力手段）
７３ 出力部（出力手段）
７０６ 演出用ＬＥＤ（発光手段）
2010
4 Projector (video output means)
5 Reflection mirror (reflection means)
51 Mirror mounting part (adjustment means)
6
72 Input section (input means)
73 Output section (output means)
706 Production LED (light emitting means)
Claims (11)
ユーザに関する情報を取得する取得部と、
前記取得部が取得した情報から前記ユーザの状態を推定する推定部と、
前記推定部による推定結果に基づいて、前記キャラクターに動作および／または発言を行わせるための情報を生成する生成部と、
前記生成部が生成した情報を出力する出力部と
を備える画像表示装置。 A display for displaying the character,
An acquisition unit for acquiring information about the user;
An estimation unit that estimates the state of the user from the information acquired by the acquisition unit;
Based on the estimation result by the estimation unit, a generation unit that generates information for causing the character to perform movement and / or speech,
An image display device comprising: an output unit that outputs information generated by the generation unit.
一部又は全部が透光性部材からなるケースと、
前記ケースの内部に立設した透光性を有する平状部材と、を更に備え、
前記表示部は、前記平状部材に前記キャラクターを投影することで、前記キャラクターを表示する
ことを特徴とする請求項１〜８のいずれか一項に記載の画像表示装置。 The image display device includes:
A case where part or all of the case is made of a translucent member;
A flat member having translucency standing upright inside the case, and
The image display device according to claim 1, wherein the display unit displays the character by projecting the character onto the flat member.
キャラクターを表示する表示ステップと、
ユーザに関する情報を取得する取得ステップと、
前記取得ステップにおいて取得した情報から前記ユーザの状態を推定する推定ステップと、
前記推定ステップにおける推定結果に基づいて、前記キャラクターに動作および／または発言を行わせるための情報を生成する生成ステップと、
前記生成ステップにおいて生成した情報を出力する出力ステップと
を実行させる画像表示方法。 On the computer,
A display step to display the character;
An acquisition step for acquiring information about the user;
An estimation step of estimating the state of the user from the information acquired in the acquisition step;
A generation step for generating information for causing the character to perform movement and / or speech based on the estimation result in the estimation step;
An image display method for executing an output step of outputting information generated in the generation step.
キャラクターを表示する表示機能と、
ユーザに関する情報を取得する取得機能と、
前記取得機能が取得した情報から前記ユーザの状態を推定する推定機能と、
前記推定機能による推定結果に基づいて、前記キャラクターに動作および／または発言を行わせるための情報を生成する生成機能と、
前記生成機能が生成した情報を出力する出力機能と
を実現させる画像表示プログラム。 On the computer,
Display function to display the character,
An acquisition function to acquire information about users;
An estimation function for estimating the state of the user from the information acquired by the acquisition function;
A generation function for generating information for causing the character to perform movement and / or speech based on an estimation result by the estimation function;
The image display program which implement | achieves the output function which outputs the information which the said production | generation function produced | generated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018024584A JP2019139170A (en) | 2018-02-14 | 2018-02-14 | Image display device, image display method, and image display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018024584A JP2019139170A (en) | 2018-02-14 | 2018-02-14 | Image display device, image display method, and image display program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019139170A true JP2019139170A (en) | 2019-08-22 |
Family
ID=67693924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018024584A Pending JP2019139170A (en) | 2018-02-14 | 2018-02-14 | Image display device, image display method, and image display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019139170A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021075118A1 (en) * | 2019-10-15 | 2021-04-22 | ソニー株式会社 | Image display device |
| JP2022526511A (en) * | 2019-08-28 | 2022-05-25 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | Interactive methods, devices, devices, and storage media |
| JP2022081257A (en) * | 2020-11-19 | 2022-05-31 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Information processing apparatus, information processing method, and information processing program |
| JP2022095609A (en) * | 2020-12-16 | 2022-06-28 | 株式会社あかつき | Game server, game program and information processing method |
| JP2022095610A (en) * | 2020-12-16 | 2022-06-28 | 株式会社あかつき | Game server, game program and information processing method |
| CN117557698A (en) * | 2024-01-11 | 2024-02-13 | 广州趣丸网络科技有限公司 | Digital human limb animation generation method and device, storage medium and computer equipment |
| CN117557698B (en) * | 2024-01-11 | 2024-04-26 | 广州趣丸网络科技有限公司 | Digital human limb animation generation method and device, storage medium and computer equipment |
-
2018
- 2018-02-14 JP JP2018024584A patent/JP2019139170A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022526511A (en) * | 2019-08-28 | 2022-05-25 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | Interactive methods, devices, devices, and storage media |
| WO2021075118A1 (en) * | 2019-10-15 | 2021-04-22 | ソニー株式会社 | Image display device |
| JP2022081257A (en) * | 2020-11-19 | 2022-05-31 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Information processing apparatus, information processing method, and information processing program |
| JP2022095609A (en) * | 2020-12-16 | 2022-06-28 | 株式会社あかつき | Game server, game program and information processing method |
| JP2022095610A (en) * | 2020-12-16 | 2022-06-28 | 株式会社あかつき | Game server, game program and information processing method |
| JP7137725B2 (en) | 2020-12-16 | 2022-09-14 | 株式会社あかつき | Game server, game program, information processing method |
| JP7137724B2 (en) | 2020-12-16 | 2022-09-14 | 株式会社あかつき | Game server, game program, information processing method |
| CN117557698A (en) * | 2024-01-11 | 2024-02-13 | 广州趣丸网络科技有限公司 | Digital human limb animation generation method and device, storage medium and computer equipment |
| CN117557698B (en) * | 2024-01-11 | 2024-04-26 | 广州趣丸网络科技有限公司 | Digital human limb animation generation method and device, storage medium and computer equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10713006B2 (en) | Image display apparatus, topic selection method, topic selection program, image display method, and image display program | |
| JP6165302B1 (en) | Image display device, topic selection method, topic selection program | |
| JP2018014575A (en) | Image display device, image display method, and image display program | |
| JP2019139170A (en) | Image display device, image display method, and image display program | |
| JP6367440B2 (en) | Interactive objects for immersive environments | |
| AU2014236686B2 (en) | Apparatus and methods for providing a persistent companion device | |
| US10357881B2 (en) | Multi-segment social robot | |
| CN107000210A (en) | Apparatus and method for providing lasting partner device | |
| JP2019521449A (en) | Persistent Companion Device Configuration and Deployment Platform | |
| CN110139732A (en) | Social robot with environmental Kuznets Curves feature | |
| KR20170085422A (en) | Apparatus and method for operating personal agent | |
| JPWO2016068262A1 (en) | Communication robot | |
| US10086265B2 (en) | Video teleconference object enable system | |
| JP6682475B2 (en) | Image display device, topic selection method, topic selection program | |
| JP2022169645A (en) | Device and program, or the like | |
| WO2019215983A1 (en) | Information processing system, information processing method, and recording medium | |
| JP2019139169A (en) | Image display device, image display method, and image display program | |
| JP7448142B2 (en) | Display device etc. | |
| JP7475027B2 (en) | Display devices, etc. | |
| WO2017152167A1 (en) | Interactive toy device, and systems and methods of communication between the same and network devices | |
| JP2022157245A (en) | System and the like | |
| JP2021117479A (en) | Display device and the like | |
| WO2018183812A1 (en) | Persistent companion device configuration and deployment platform | |
| JP2023035270A (en) | Display device, etc |