JP2023035270A - 表示装置等 - Google Patents

表示装置等 Download PDF

Info

Publication number
JP2023035270A
JP2023035270A JP2021141973A JP2021141973A JP2023035270A JP 2023035270 A JP2023035270 A JP 2023035270A JP 2021141973 A JP2021141973 A JP 2021141973A JP 2021141973 A JP2021141973 A JP 2021141973A JP 2023035270 A JP2023035270 A JP 2023035270A
Authority
JP
Japan
Prior art keywords
image
display
display device
character
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021141973A
Other languages
English (en)
Inventor
圭三 高橋
Keizo Takahashi
英樹 石橋
Hideki Ishibashi
隆 浅野
Takashi Asano
彰 須野原
Akira Sunohara
勇喜 清水
Yuki Shimizu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yupiteru Corp
Original Assignee
Yupiteru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yupiteru Corp filed Critical Yupiteru Corp
Priority to JP2021141973A priority Critical patent/JP2023035270A/ja
Publication of JP2023035270A publication Critical patent/JP2023035270A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

【課題】表示装置の有する視覚的な効果を高める。【解決手段】表示装置1は、遮光された映像表示空間を内部に有し、前記映像表示空間の第1方向側に映像の観察領域SCを設けた筐体100と、前記映像表示空間に空中映像とを結像させる映像表示部と、を有する。【選択図】図2

Description

本発明は、表示装置等に関する。
特許文献1には、特殊な眼鏡を用いない立体映像表示装置が記載されている。この立体映像表示装置は、光源と、液晶表示パネルと、この液晶表示パネルの観察者側に配置されるパララックスバリアとを備える。
特開2003-295113号公報
本発明の目的は、例えば表示装置の有する視覚的な効果を高めることなど、従来よりも優れたものを提供することである。
本願の発明の目的はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」と記載した箇所を「~が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、各々の課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正または分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題を解決する構成についても開示しているものであり、権利取得する意思を有する。
(1)空中映像を表示させる映像表示部と、
前記映像表示部の前方側に設けられ、前記映像表示部の前方側を遮蔽する遮蔽部と、
を有する表示装置が提供されるとよい。
このようにすれば、ユーザが遮蔽部よりも前方側から視認したとき、映像表示部によって表示された空中映像そのものではなく、映像表示部によって表示された空中映像について遮蔽された映像を見ることができる。例えば、映像表示部を構成する部材がユーザに直接視認されることを低減することができる。例えば、空中映像が映像表示部によって表示されているものであることをユーザにとって感得しにくくすることができる。したがって、ユーザーに空中映像の表示される仕組みの種明かしがなされてしまい、ユーザが空中映像を見て興ざめてしまうことを抑制できる。
映像表示部の前方側の遮蔽としては、前方側の全体を遮蔽するようにしてもよいが、前方側の一部を遮蔽する構成とするとよい。前方側の一部としては、空中映像の中心部を遮蔽するようにしてもよいが、特に空中映像の端部側から所定の範囲を遮蔽するようにするとよい。
このようにすれば、映像表示部の端部が遮蔽部によって遮蔽されるので、ユーザが映像表示部の端部にある部材を視認してしまうことを抑制することができ、ユーザが空中映像を見て興ざめてしまうことをより一層抑制できる。
遮蔽としては、完全に見えなくする構成としてもよいが、光の透過を制限して見えにくくするとよい。そして、遮蔽部には、光の透過を制限して、見えにくくする減光部材とするとよい。遮蔽部にこのような減光部材を用いれば、減光部材によって外光が減じられ、空中映像が比較的暗い空間に表示されるので、ユーザに与えることのできる空中映像の立体感を高めることができる。
前方としては、例えば、映像表示部で表示させた空中映像が、ユーザの視点の範囲として予め設定された範囲内の位置に至るまでの、空中映像を構成する光の通る範囲内とするとよく、例えば、ユーザがユーザの視点から下方に配置された映像表示部を覗き込むような場合において、ユーザの視点の下側も含むようにするとよい。
空中映像としては、例えばあたかも空中にあるかのように見える映像とするとよい。空中映像としては、例えば、半透過型ディスプレイの映像そのもののように、実像としてパネル上に視認されるものを用いてもよいが、特に表示画面の映像の前に光学部材を備える構成とするとよい。光学部材としては、ミラー、レンズ、プリズム、光学フィルム等およびこららのうち少なくともいずれか2つの組み合わせとするとよい。
空中映像としては、例えば、ミラーによる反射像、裸眼立体視が可能な映像とするとよい。
空中映像としては、例えば、実像としてもよいが、虚像とするとよい。空中映像としては、平面映像としてもよいが、特に立体映像とするとよい。立体映像としては左右の目に異なる映像が視認される構成とするとよい。
前方とは、例えば、映像表示部の下前方とするとよい。
このようにすれば、表示された像が映像表示部の下端の形状によって切れたように見えることを抑制できる。例えば、映像表示部が一般的な矩形であり、映像表示部の一辺が下端となるように構成し、例えば下端の辺よりも上の領域から下端の辺に向けて映像表示部に像を表示すると、その像は映像表示部の下端でスパッと直線上に切れたように視認されてしまうが、こうした問題を抑制できる。例えばキャラクターを、例えば下端の辺よりも上の領域から下端の辺に向けて映像表示部に表示したとき、下端の辺でキャラクターが切られたような表示となってしまうことを抑制できる。
或いは、前方とは、例えば、映像表示部の右前方および左前方とするとよい。
このようにすれば、例えば、映像表示部にキャラクターを表示させた場合に、映像表示部に表示されるキャラクターが遮蔽部によって両側から挟まれ、ユーザに画像の立体感を与えることができ、映像表示部の有する視覚的な効果を高めることができる。
表示装置としては、例えば、映像表示部が、画像光を発する表示部と、前記画像光に基づいて前記空中映像を結像させる光学部材とを含む構成とすると良い。
(2)前記遮蔽部は前記映像表示部を収納し前面側に開口部が形成された筐体を備える構成とするとよい。
このようにすれば、ユーザは、筐体に収納された映像表示部によって表示された空中映像を筐体の前面側に形成された筐体の開口部の周囲の部分によって遮蔽された映像として視認できる。筐体は例えば筐体の当該開口部以外から映像表示部に進入する外光が遮断される構造とするとよい。例えば、当該開口部は映像表示部に外光が進入するが、それ以外の開口部を設けないか、これ以外の開口部等を設ける場合でもこれ以外の開口部等からは外光が進入しない構造とするとよい。この結果、空中映像が比較的暗い空間に表示されるので、ユーザに与えることのできる空中映像の立体感を高めることができる。
(3)前記映像表示部は、画像光を発する表示部と、前記画像光に基づいて前記空中映像を結像させる光学部材とを備える構成とするとよい。
このようにすれば、光学部材に結像された空中映像が、あたかも所定の空間に浮かび合っているような感覚をユーザに与えることができる。
光学部材は、光の透過性および反射性を有することが好ましい。
このようにすれば、ユーザが光学部材に結像された空中映像に重ねて、光学部材の空中映像が結像される側と反対側をユーザに観察させることができるので、ユーザに与えることのできる空中映像の立体感をより高めることができる。
光学部材は、ハーフミラーであることが好ましく、アクリルミラーで構成されていることがより好ましい。
(4)前記表示部の位置を移動させる表示部移動手段と、
前記光学部材の位置を移動させる光学部材移動手段と、を備えるとよい。
このようにすれば、ユーザの筐体に対する位置に応じて、表示部および光学部材の筐体に対する位置を移動させることにより、光学部材に結像される空中結像をユーザにとって見やすい位置に位置させることができる。また、光学部材に結像される空中映像の奥行き方向の位置を調整することができる。
表示部移動手段によって表示部の位置を移動させる動作や光学部材移動手段によって光学部材を移動させる動作は、例えば、ユーザによるスライド操作によってもよいが、より好ましくは、ユーザによる回転操作によってもよい。
例えば、ユーザのスライド操作または回転操作を表示部移動手段または光学部材移動手段の少なくともいずれか一方に伝達する構造を備えるとよい。ユーザのスライド操作または回転操作は、直接的に表示部移動手段または光学部材移動手段の少なくともいずれか一方に伝達する構造としてもよいが、各種の機械要素を経由して間接的に伝達するようにしてもよく、特に、ユーザの操作方向と表示部移動手段または光学部材移動手段の移動方向とを変換する方向変換手段を備えるとよい。例えばユーザの操作をハンドルを回転させて第一の回転軸周りに行う構成とし、表示部移動手段または光学部材移動手段の少なくともいずれか一方を第二の回転軸周りに回転させて移動させる構成とし、第一の回転軸と第二の回転軸とは平行でない軸とするとよく、特に両軸が離れた位置で90度で交差する軸とした構成とするとよい。
ユーザの1の操作部に対する操作によって、表示部の位置の移動と光学部材の位置の移動の双方が同時になされる構造とするとよい。
このようにすれば、ユーザは、表示部および光学部材のそれぞれを一度の動作で揺動させることができる。
(5)前記表示部移動手段は、前記表示部を筐体の開口部からの奥側の位置において前記筐体に揺動可能に取り付けて構成され、
前記光学部材移動手段は、前記光学部材を前記筐体の前記開口部からの奥側の位置に前記筐体に揺動可能に取り付けて構成されているとよい。
このようにすれば、表示部および光学部材の筐体に対する揺動角度を、可変とすることができ、ユーザが見やすい位置に空中映像を配置させることができる。
(6)前記表示部の揺動と連動して前記光学部材を前記表示部の揺動方向と同じ方向に揺動させる連動部を備えるとよい。
このようにすれば、連動部によって表示部および光学部材の筐体に対する揺動角度を、表示部および光学部材を連動させて可変とすることができる。よって、ユーザは、表示部および光学部材のそれぞれを一度の動作で揺動させることができる。また、表示部および光学部材を連動させて揺動させることができるので、表示部および光学部材がそれぞれ揺動する構成と比較して、空中結像が光学部材から外れた位置に結像されることが抑制される。
前記表示部の回転軸と前記光学部材の回転軸は、例えば、交差する軸上に位置していてもよいが、平行な軸上とするとよく、同軸上であることが望ましい。
前記連動部による前記表示部の揺動角と前記光学部材の揺動角は、例えば、同じ角度であってもよいが、前記表示部の揺動角の方が前記光学部材の揺動角よりも大きいことがより好ましい。
前記連動部は、例えば、プーリーとベルトによって前記光学部材および前記表示部を連動させて揺動させる構成であってもよいが、複数のギヤによって前記光学部材および前記表示部を連動させて揺動させる構成であることが好ましい。
(7)表示部の回転軸と、光学部材の回転軸は、交差しない軸上に設けるとよい。
このようにすれば表示部および光学部材の揺動によって、表示部と光学部材とを移動させたとき空中結像の位置が移動してしまうことを抑制できる。
表示部の回転軸と、光学部材の回転軸は、平行な軸上に設けるとよく、特に同軸上に設けるとよい。表示部の回転軸と光学部材の回転軸の中心線は一致させるとよい。
このようにすれば表示部および光学部材の揺動によって、表示部と光学部材とを移動させたとき空中結像の位置が移動してしまうことをより抑制できる。
(8)前記連動部は、
ユーザからの操作に応じて、角度を同時に回転させるための第1回転軸と、
前記第1回転軸の回転に応じて表示部の角度を変化させるための第2回転軸と、
前記第1回転軸の回転に応じて光学部材の角度を変化させるための第3回転軸とを備えるとよい。
このようにすれば、ユーザは1つの回転操作をするだけでその回転操作に応じて表示部の角度と光学部材の角度を変化させることができる。
前記第1回転軸、前記第2回転軸、および前記第3回転軸は互いに平行であることが好ましい。
前記第1回転軸と前記第2回転軸との距離と、前記第1回転軸と前記第3回転軸との距離は同じ長さであることが好ましい。
(9)
前記連動部は、
前記第1回転軸に取り付けられた第1ギヤと、
前記第1回転軸に取り付けられた第2ギヤと、
前記第1ギヤと噛み合い前記光学部材が接続された第3ギヤと、
前記第2ギヤと噛み合い前記表示部が接続された第4ギヤと、を有するとよい。
このようにすれば、第1回転軸に付与された回転動作が、第1ギヤを介して光学部材が接続された第3ギヤに伝達されるとともに、第2ギヤを介して表示部が接続された第4ギヤに伝達され、光学部材と表示部とが連動して揺動する。
前記第2ギヤの半径を前記第4ギヤの半径で除した値は、前記第1ギヤの半径を前記第3ギヤの半径で除した値よりも大きいことが好ましく2倍であることがより好ましい。
また、前記第2ギヤの歯数を前記第4ギヤの歯数で除した値は、前記第1ギヤの歯数を前記第3ギヤの歯数で除した値よりも大きいことが好ましく2倍であることがより好ましい。
前記第1回転軸、前記第3ギヤが取り付けられる軸、および前記第4ギヤが取り付けられる軸を軸支するケース部材を備えると好ましい。
このようにすれば、各ギヤのバックラッシュを抑制することができ、より確実に表示部と光学部材とを連動させて揺動させることができる。
前記第1ギヤ、前記第2ギヤ、前記第3ギヤ、および前記第4ギヤは、例えば、前記表示部の揺動角度が前記光学部材の揺動角度と同じになるように設定されてもよいが、前記表示部の揺動角度が前記光学部材の揺動角度よりも大きくなるように設定されていることが好ましく、前記表示部の揺動角度が前記光学部材の揺動角度よりも2倍程度に設定されていることがより好ましい。
(10)前記第1ギヤ、前記第2ギヤ、前記第3ギヤ、および前記第4ギヤは、前記表示部の揺動角度が前記光学部材の揺動角度の2倍になるように設定するとよい。
このようにすれば、表示部と光学部材とを連動させて揺動させた場合に、光学部材に結像された空中映像が良好に見えることが本発明の発明者によって見いだされた。
(11)前記連動部は、
前記第1回転軸に取り付けられたウォームホイールと、
前記ウォームホイールと噛み合うウォームと、を有するとよい。
このようにすれば、連動部によって、表示部の揺動角度と光学部材の揺動角度を調整した後であっても、ウォームと噛み合うウォームホイールの回転が抑制されて、表示部と光学部材の揺動位置が変化することが抑制される。
(12)前記連動部は、前記ウォームに接続された操作部材を有するとよい。
このようにすれば、操作者が操作部材を操作することによって、表示部と光学部材とを同じ揺動方向に連動して揺動させることができる。
また、ウォームによってウォームホイールを回転させる構造なので、ウォームの回転を大幅に減速させてウォームホイールに伝達させることができ、表示部と光学部材の揺動位置を微調整することができる。
さらに、操作者が表示部と光学部材の揺動位置を調整した後に、操作部材から手を離した場合であっても、ウォームと噛み合うウォームホイールの回転が抑制されて、表示部と光学部材の揺動位置が変化することが抑制される。
2つの前記ウォームがそれぞれウォームホイールの異なる位置において噛み合い、前記2つのウォームのそれぞれに前記操作部材が接続され、前記操作部材が前記筐体の異なる位置に露出している構成であってもよい。
このようにすれば、ユーザの筐体に対する位置によって、ユーザが操作しやすい方の操作部材を操作することによって、表示部および光学部材を連動させて揺動させることができ、ユーザの操作性が向上する。
(13)前記表示部と前記光学部材とは、双方の荷重がかかる部材があり、当該部材に対してそのバランスを調整するためのバランス部材を備えるとよい。
このようにすれば、特に、表示部と光学部材との双方が移動可能かつ移動させた位置にとどまるようにする構造物の摩耗を抑制できる。例えば、表示部と光学部材の重量により双方の荷重がかかる部材の左右等のモーメントが異なる。例えば、双方の荷重がかかる部材が、表示部用のギヤと光学部材用のギヤを備えるギヤボックスとした構成において、そのバランスを調整するための部材として例えば少なくともいずれかのギヤまたはギヤボックス等にそのバランスを調整するためのバネ等の付勢手段を設けるとよい。バランスを調整するための部材としては例えば赤道儀におけるバランスウェートの役割と同じ役割をする部材を備えるとよい。
バランスの調整としては、特に前記表示部と前記光学部材との双方の荷重がかかる部材に対して、かかる双方の荷重を等しくするように調整する構成とするとよい
(14)
前記バランス部材は、
前記表示部の自重によって前記第3ギヤが回転する方向と反対側に前記第3ギヤを付勢する第1付勢部材と、
前記光学部材の自重によって前記第4ギヤが回転する方向と反対側に前記第4ギヤを付勢する第2付勢部材の少なくとも一方、であるとよい。
このようにすれば、表示部や光学部材の自重によって、第3ギヤや第4ギヤが回転する力を軽減させることができる。この結果、第3ギヤと第1ギヤとの噛合部の消耗や、第4ギヤと第2ギヤとの噛合部の消耗の少なくとも一方を低減させることができる。
さらに、操作者による操作部の操作力を低減させることができる。
前記第1付勢部材や前記第2付勢部材は、例えば、ゴムや板バネであってもよく、例えば、コイルスプリングであることが好ましい。
前記第1付勢部材や前記第2付勢部材は、第3ギヤや第4ギヤを押圧する方向に付勢させてもよいが、第3ギヤや第4ギヤを引っ張って付勢させることがより好ましい。
表示部と光学部材のうちいずれか重い方に取り付けられたギヤのみに付勢部材を取り付けてもよい。このようにすれば、上記重い方に取り付けられたギヤとこれに噛み合うギヤとの噛合部の消耗を抑制しつつ、付勢部材が1つで済むので、表示装置の軽量化とコスト削減を図ることができる。
前記連動部は、第1付勢部材と第2付勢部材の両方を有していることが好ましい。このようにすれば、第3ギヤと第1ギヤとの噛合部の消耗と、第4ギヤと第2ギヤとの噛合部の消耗の両方を低減させることができる。
(15)前記遮蔽部は、前方から前記映像表示部を見た場合に前記映像表示部の下部を遮蔽するように前記映像表示部の前側に間隔を設けて配置されており、
前記遮蔽部は、前記映像表示部からのユーザの距離が近くなるに従って、前記ユーザが前記映像表示部のより広範囲の部分が視認可能となるように、前記映像表示部に対する上下方向の位置および前記映像表示部からの離間距離を設定するとよい。
このようにすれば、ユーザは、映像表示部の下部が遮蔽部によって遮蔽された状態で映像表示部に表示される空中画像を見ることができる。このため、像表示部に表示された空中画像が映像表示部の下端の形状に切れたように見えることを抑制できる。例えばキャラクターを、例えば下端の辺よりも上の領域から下端の辺に向けて映像表示部に表示したとき、下端の辺でキャラクターが切られたような表示となってしまうことを抑制できる。この結果、ユーザは映像表示部に表示されたキャラクターが前方にあたかも存在するような臨場感を覚えることができる。
また、ユーザが映像表示部に近づくに従って、ユーザが映像表示部のより広範囲の部分が視認可能となる、例えば、映像表示部にキャラクターを表示させた場合に、ユーザが映像表示部に近づくに従って、ユーザは映像表示部に表示されたキャラクターの下側が見えるので、キャラクターがユーザの前方に実在するような臨場感を得ることができる。
前記映像表示部は、長辺と短辺を有し、長辺側を上下方向として配置するとよい。
このようにすれば、例えば、人物を映像表示部に表示させた場合に、人物の頭部等の人物の一部が映像表示部に表示されなくなってしまうことを抑制することができる。
前記遮蔽部の水平方向の長さは、前記映像表示部の水平方向の長さよりも長くするとよい。
このようにすれば、遮蔽部によって映像表示部の下部が遮蔽されない部分が生じず、ユーザが映像表示部の下部の一部を視認することによって、ユーザが実際にはキャラクターが前方に存在しないと興冷めてしまうことをより一層抑制することができる。
前記遮蔽部は、前記映像表示部と平行な面を有し、前記映像表示部の厚さよりも大きな厚みをもつとよい。
このようにすれば、ユーザによって遮蔽部がカウンターや机のように見え、例えば、映像表示部にキャラクターを表示させた場合に、ユーザは映像表示部に表示されたキャラクターがカウンターや机の前方にあたかも存在するような臨場感を覚えることができる。
上述した(1)から(15)に示した発明は、任意に組み合わせることができる。例えば、(1)に示した発明の全てまたは一部の構成に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加える構成とするとよい。特に、(1)に示した発明に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加えた発明とするとよい。また、(1)から(15)に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「~の場合」「~のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。
本発明によれば、表示装置の有する視覚的な効果を高めることができる。
本願の発明の効果はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」と記載した箇所などは奏する効果を明示する記載であり、また「~できる」と記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。
一実施形態に係る表示装置の概要を説明する図である。 一実施形態に係る表示装置の概要を説明する図である。 一実施形態に係るキャラクタを説明する図である。 一実施形態に係る表示装置の外観構成を示す図である。 一実施形態に係る表示装置の外観構成を示す図である。 一実施形態に係る表示装置の外観構成を示す図である。 一実施形態に係る表示装置の正面図である。 一実施形態に係る表示装置の右側面図である。 一実施形態に係る表示装置の左側面図である。 一実施形態に係る表示装置の平面図(上面図)である。 一実施形態に係る表示装置の背面図である。 一実施形態に係る表示装置の底面図である。 一実施形態に係る表示装置から背面蓋部を取り外したときの背面図である。 一実施形態に係る表示装置が使用される様子の一例を説明する図である。 一実施形態に係る表示装置の表示に関する原理を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の虚像が表示される原因を説明する図である。 一実施形態に係る表示装置の映り込みの発生原因を説明する図である。 一実施形態に係る表示装置の虚像の表示および映り込みの抑制の原理を説明する図である。 表示装置の虚像が表示される原因を説明する図である。 一実施形態に係る表示装置の正面図である。 一実施例に係る表示装置における制御ブロック図である。 (A)においに関するコミュニケーションを再現するためのフローチャート、(B)においに関する音声管理テーブルを示す図である。 滞在頻度に関するコミュニケーションを再現するためのフローチャートである。 (A)滞在場所に関するコミュニケーションを再現するためのフローチャート、(B)滞在場所に関する音声管理テーブルを示す図である。 (A)滞在回数に関するコミュニケーションを再現するためのフローチャート、(B)滞在回数に関する音声管理テーブルを示す図である。 (A)滞在時間に関するコミュニケーションを再現するためのフローチャート、(B)滞在時間に関する音声管理テーブルを示す図である。 (A)行動パターンに関するコミュニケーションを再現するためのフローチャート、(B)行動パターンに関する音声管理テーブルを示す図である。 不審者の検知に関する動作を再現するためのフローチャートである。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置の連動部の平面図(上面図)である。 図56のA-A矢視図である。
以下、実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は本開示の実施形態の一例であって、本開示はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号(数字の後にA、Bなどを付しただけの符号)を付し、その繰り返しの説明は省略する場合がある。また、以下の説明で参照する各図において、各部材、各領域等を認識可能な大きさとするために、実際とは縮尺を異ならせている場合がある。
<1.表示装置1の概要>
図1Aおよび図1Bは、本発明の一実施形態に係る表示装置の概要を説明する図である。表示装置1は、観察領域SCを通して観察者が映像を観察できるように映像を表示する。本実施形態で、観察は、見るあるいは目視するといった意味で解釈されてよい。観察者は、表示装置1を使用するユーザのことで、例えば、表示装置1に表示された映像を観察する者である。観察領域SCは、表示装置1の正面側に設けられた領域で、ここでは矩形の領域である。表示装置1は、空中結像により映像を表示する。空中結像は、例えば光の反射を利用して、空気中に映像を結像することをいう。空中結像は、所定の空間に映像が浮かび合っているような感覚を観察者に与えるために採用されることがある。空中結像により表示される映像は、空中映像と呼ばれる。
図1Aに示す場合、表示装置1は、空中映像としてキャラクタ1100を表示する。キャラクタ1100は、女性のキャラクタである。表示装置1は、さらに、キャラクタ1100の下にステージを意味するステージ映像2100を表示する。ステージ映像2100は、ここでは魔法陣を示す。このような表示を見た観察者は、ステージ上にキャラクタ1100が立っているような印象を受けることができる。キャラクタ1100およびステージ映像2100の色は特に問わない。例えばキャラクタ1100の皮膚は肌色である。キャラクタ1100の髪色および上半身の衣装は比較的淡い青色系の色(例えば、水色)、膝に当てられている装飾品はそれよりも濃い青色系の色(例えば、青色)、スカートおよび靴は白色である。ステージ映像2100は比較的濃い青色系の色(例えば、濃い水色)である。
図1B(a)に示す場合、表示装置1は、空中映像としてキャラクタ1200を表示する。キャラクタ1200は、猫のキャラクタである。図1B(b)に示す場合、表示装置1は、キャラクタ1200の下にステージを意味するステージ映像2200を表示する。ステージ映像2200は、ここでは、「Yupiteru」という文字列、およびキャラクタ1200の名称である「Juno」(「ユノ」と称呼する。)を示す文字列が、円形のステージの外周に沿って交互に表記されている。
キャラクタ1200およびステージ映像2200の色は特に問わない。ここで、キャラクタ1200およびステージ映像2200について、図1Cを参照してより具体的に説明する。キャラクタ1200は、キャラクタ本体1210と、首輪1220とに大別される。キャラクタ本体1210は、ここでは名称が「Juno」である猫のキャラクタ自体である。キャラクタ本体1210は、身体の部位に白色で示された部位を含み、例えば、眉間、鼻および口の周辺、腹部、並びに足のうちの正面側の部位がこれに該当する。キャラクタ本体1210の身体の部位のうち、薄いグレーで示された部位は、比較的淡い茶色系の色(例えば、黄土色)であり、例えば、顔部のうちの目の上および横の部位、胴体部のうちの上側の部分、足のうちの正面側以外の部位がこれに該当する。キャラクタ本体1210の身体の部位のうち、さらに濃いグレーで示された部位は、さらに濃い茶色系の色(例えば、茶色)であり、例えば、顔部、頭部、胴体、足の細い線で示された縞模様の部位がこれに該当する。首輪1220は、キャラクタ本体1210の首の位置に表示された首輪を意味する。首輪1220は、赤色系の色(例えば、赤色)である。首輪1220のうち、キャラクタ本体1210の顔の下に位置には、札1221が取り付けられている。札1221は円形であり、所定の標章が表記されている。当該標章は、「V」状の記号の下方に「●」(内側を塗りつぶした円)を配置した標章であって、それぞれを赤色系の色(例えば、赤色)で表記されている標章である。札1221に表記される標章は、表示装置1の出所を示す商標としての機能を発揮するものとしてもよい。ステージ映像2200は全体として茶色系の色で、円および文字列は比較的濃い茶系の色(例えば、茶色)、円の内側の煙を模した画像はそれよりも薄い茶色系の色(例えば、黄土色)である。
図1A、図1Bおよび図1Cにおいて、キャラクタ1100,1200の背景は黒色で示されているが、真っ黒に限られるものではなく、比較的暗い色の背景(例えば、黒色その他の暗色系の色)としてもよい。
図1A、図1Bおよび図1Cに示すキャラクタは一例である。表示装置1は、人型のキャラクタを表示する場合、女性のキャラクタに限られず、男性のキャラクタを表示してもよい。表示装置1は、実在する人物(例えば、家族)もしくは過去に実在していた人物(例えば、歴史上の人物)、架空の人物のキャラクタ(例えば、漫画やアニメ等のフィクションの作品に登場するキャラクタ等)のいずれを表示してもよい。人型でない動物のキャラクタを表示する場合、表示装置1は、猫のキャラクタに限られず、犬やハムスター等の一般家庭で飼育されうる動物のキャラクタ、それ以外の馬や牛等の動物のキャラクタ、並びに架空の動物のキャラクタ(例えば、漫画やアニメその他のフィクションの作品に登場するキャラクタ等)のいずれを表示してもよい。また、表示装置1は、首輪1220を有する他のキャラクタを表示するものであってもよい。
表示装置1は、コミュニケーション機能に基づいて、キャラクタの身体の部位を動かしたり、キャラクタの発話を模した音声を出力したりする。コミュニケーション機能は、観察者とキャラクタとのコミュニケーションを再現する機能、または疑似的なコミュニケーションを再現する機能である。コミュニケーション機能においては、観察者の挙動(例えば、発話や身体の動き)に応答してキャラクタが動く。例えば、キャラクタ1100は、ダンスなど体全体を動かしたり、表情を変化(例えば、喜怒哀楽の感情を表現)させたりする、といった人間が通常行う動作を再現した動作をする。例えば、キャラクタ1200は、動物が通常行う動作(例えば、あくびをする、尻尾を動かす、歩行する等)を再現した動きをする。また、表示装置1は、例えば、キャラクタ1100の動作に合わせて、キャラクタ1100が歌唱しているかのような歌唱音声を出力したり、観察者との対話に係る音声を出力したりする。表示装置1は、例えば、キャラクタ1200の動作に合わせて、猫の鳴き声を意味する音声を出力したり、観察者との対話に係る音声を出力したりする。このような映像や音声の出力は、コミュニケーション機能に限られず、表示装置1が有する種々の機能で行われるようにしてもよい。
コミュニケーション機能におけるユーザとの対話は、例えば、表示装置1に組み込まれた音声認識アプリケーション(音声認識エンジンの機能を有するアプリケーション)と、図示しない外部の音声認識サーバと、図示しない外部の対話サーバとの連携により実現されるとよい。例えば、後述する操作部2214が押下されると、音声認識アプリケーションが起動し、キャラクタとの対話を行うための音声認識が有効化される。音声認識を有効化することは、本実施形態では音声認識機能を作動することで、例えば音声認識エンジンをオンして音声の入力を待ち受ける状態にすることである。そして、ユーザにより発せられた音声(ユーザ音声、とも称する)が、後述の処理基板224の通信制御回路706から音声認識サーバへと送信され、音声認識サーバによってユーザ音声に対する音声認識処理が実行されて音声認識結果が出力される。例えば対話サーバには、入力され得る文字列毎に、表示装置1(例えば、後述する映像表示部)に表示されたキャラクタ(例えば、キャラクタ1100)が発する音声(キャラクタ音声、とも称する)が互いに対応付けて予め登録されている。そして、音声認識サーバによる音声認識結果(例えば、文字列で示された音声認識結果)が対話サーバに入力され、当該音声認識結果に対応するキャラクタ音声が対話サーバから出力される。そして、対話サーバによって出力されたキャラクタ音声が、表示装置1から出力される。このようにして、ユーザによる音声に対する応答処理が実行され、ユーザとキャラクタとの対話が再現される。
表示装置1は、例えば、娯楽用の表示装置として一般のユーザにより使用される。この場合、表示装置1は、例えば、ユーザの自宅等の居所で使用される。これに限られず、表示装置1は、商業用(例えば広告宣伝用)その他の用途で使用されてもよい。例えば、商業用の場合、表示装置1は店舗その他の商業施設等の公共の場所に設置される。表示装置1は、製品あるいはサービスの展示会等の会場において、キャラクタが製品あるいはサービスを紹介または宣伝等する映像を表示してもよい。表示装置1の用途はこれら以外の用途でもよい。
<2.表示装置1の外観構成>
図2、図3および図4は、表示装置1の外観構成を示す斜視図である。図2は、表示装置1を右斜め前方から見た図である。図3は、表示装置1を左斜め前方側のやや上方から見た図である。図4は、表示装置1を右斜め前方のやや下方から見た図である。図5は、表示装置1の正面図である。図6は、表示装置1の右側面図である。図7は、表示装置1の正側面図である。図8は、表示装置1の平面図(上面図)である。図9は、表示装置1の底面図である。図10は、表示装置1の背面図である。
表示装置1は、外観が直方体状である。表示装置1は筐体100を有する。筐体100は、表示装置1の外形をなす箱型の部材である。筐体100は直方体状である。筐体100は、幅方向(左右方向ともいう。)よりも、高さ方向(上下方向ともいう。)に長い。筐体100の幅方向と奥行方向(前後方向ともいう。)との長さはほぼ同じである。表示装置1の幅方向、高さ方向、および奥行方向(前後方向ともいう。)の長さとの比は、およそ2:3:2である。以下の説明において、表示装置1の奥行方向のうち、観察者側の位置する側を「正面側」(第1方向側に相当)、その反対側を「背面側」(第2方向側に相当)という。
筐体100は、角部がR形状である。図5に示すように、表示装置1を正面側から見たとき、筐体100の4つの角部がそれぞれ丸みを帯びている。筐体100の表面は、つや消し加工で質感を出すように加工されているとよい。このようにすれば、意匠性に優れた直方体状の表示装置1が提供される。筐体100は、樹脂材料で形成されるとよいが、金属またはその他の素材で形成されてもよい。筐体100は、遮光された映像表示空間を内部に有する。映像表示空間は、筐体100の内部の空間で、空中映像が表示(形成)される空間である。映像表示空間は、その全体または多くの部分が遮光性の部材で形成されている。よって、筐体100を構成する部材によって、映像表示空間に外光が進入することが妨げられる。筐体100は、例えば、その全体が外光を遮断する素材で形成されていてもよいし、外側表面または映像表示空間に面している表面が光を遮断する素材で覆われていてもよい。筐体100の外側表面の色は問わないが、例えば高級感またはシンプルさを醸し出す白色または黒色等とするとよい。表示装置1は、観察者等の人が単独で持ち運びできる程度の寸法かつ重量するとよい。
筐体100のうちの外側に露出する部分は、右側パネル101と、正面側パネル102と、左側パネル103と、背面側パネル104と、上蓋部105と、下蓋部106とに分けられる。右側パネル101、正面側パネル102、左側パネル103、背面側パネル104、上蓋部105、および下蓋部106は板状の部材である。右側パネル101は、正面側から見て筐体100の右側面側に位置するパネルである。左側パネル103は、正面側から見て筐体100の左側面側に位置するパネルである。右側パネル101および左側パネル103は同一形状かつ同一寸法である。また、右側パネル101と左側パネル103とは、高さ方向に対称で、右側パネル101と左側パネル103を形成するための金型を共通化できる。このため、右側パネル101および左側パネル103は共通の部材を用いることができ、コストや組み立て作業の手間を軽減する効果が期待できる。
正面側パネル102は、表示装置1の正面側に位置する。正面側パネル102は、減光部材200を装着可能な開口部110を有している。観察領域SCは、正面側パネル102に設けられている。観察領域SCは、表示装置1に表示された映像を見る観察者が観察する領域である。観察領域SCは、筐体100に形成された開口部110が存在する領域でもある。減光部材200が、観察領域に設けられている。減光部材200は、開口部110を塞ぐようにして、鉛直方向に立てて設けられている。減光部材200および開口部110は、表示装置1の正面側から見て、筐体100の高さ方向の中心よりも上方に設けられる。減光部材200および開口部110は、正方形または長方形である。
減光部材200は、映像の観察に用いられる矩形(正方形でもよい。)の第1領域210と、第1領域210の周囲を取り囲む第2領域220とを含む。第2領域220は縁部分で画像の観察には用いられない領域であるから、光を透過させない領域でもよい。よって、観察領域SCは第1領域210が存在する領域ともいうことができる。以下の説明で減光部材200という場合、第1領域210のことと観念されてもよい。
減光部材200は、観察領域SCから映像表示空間に進入する外光を減じる光学部材である。減光部材200は、映像表示空間を暗い状態に維持するために設けられている。減光部材200は、観察者自身が観察領域SCに映ってしまう映り込みの発生を抑えたり、映像表示空間の内部の部品を観察者に観察されにくくしたりするために設けられる。減光部材200は、板状(パネル状を含む)の部材であるが、シート状、フィルム状などと呼ばれる部材でもよい。減光部材200は、スモークパネルまたはスモークフィルムなどと呼ばれる部材であってもよい。減光部材200は、例えば光の透過率が24%で、その厚さが2mm程度である。減光部材200は、表示装置1の映像表示空間に表示される映像の観察を妨げない程度の透光性を有する。減光部材200は、黒色系等の暗色系の半透明の部材であるが、青色系その他の色であってもよい。
情報領域STが、正面側パネル102のうち、観察領域SC(減光部材200および開口部110)の下方に設けられている。情報領域STは、正面側パネル102に開けられた開口部に位置する。情報領域STは、センサを用いて所定の情報を収集したり、所定の情報を観察者に提示したりする領域である。情報領域STに設けられる電子部品として、第1センサ2331、第2センサ2332、マイクロホン2333と、発光部2334とがある。第1センサ2331は、観察者が行うジェスチャを検出するジェスチャセンサである。第2センサ2332は、ジェスチャセンサ以外の1または複数のセンサを含む。第2センサ2332のセンサとしては、例えば、ガスセンサ(臭いセンサ)、温度センサ、および照度センサがある。マイクロホン2333は、収音し、収音した音を音声信号に変換する。発光部2334は、発光することにより所定の情報を提示する。発光部2334は、例えば、所定の色で発光する発光体(例えば、発光ダイオード)と、発光体が発した光を導く導光部材とを含む。本実施形態では、発光部2334の導光部材が第1センサ2331、第2センサ2332、およびマイクロホン2333が設けられた領域の周りを囲むようにして配置されている。発光部2334は、例えば青色系の色(例えば水色)で発行するが、緑色系、赤色系その他の色の1つまたは複数の色で発光するように構成されてもよい。発光部2334は、導光部材を有する構成に限られず、例えば発光体を複数有する構成によって所定の領域で発光してもよい。
操作領域OTが、上蓋部105に設けられている。操作領域OTは、観察者が行う操作を受け付ける領域である。操作領域OTは、操作部2211,2212,2213,2214が設けられた領域である。操作部2211,2212,2213,2214は、それぞれ押下操作を受け付けるスイッチである。操作部2211は、表示装置1の電源のオンまたはオフを指示する場合に操作される。操作部2212は、音量を上げることを指示する場合に操作される。操作部2213は、音量を下げることを指示する場合に操作される。操作部2214は、所定の機能の実行を指示する場合に操作される。操作部2214は、例えば特殊キーと呼ばれる操作部であってもよい。操作部2214は、例えば、表示装置1に音声認識の開始を指示する場合に操作されるようにしてもよい。上蓋部105には、操作部2211,2212,2213,2214のそれぞれが設けられる位置に対応して開口部が設けられている。操作部2211,2212,2213,2214は各開口部に位置することによって外部に露出する。なお、ここで説明した操作部の数、操作部に割り当てられた機能、受け付け可能な操作方法は一例である。
人感センサ234が、下蓋部106に設けられている。人感センサ234は下蓋部106の開口部に位置することによって外部に露出する。人感センサ234は、検知対象空間における人(動体)の存在を検出する検出部である。人感センサ234は、本実施形態ではマイクロ波ドップラセンサであり、マイクロ波を放射し、その反射波であるマイクロ波の受信強度に基づいて、検知対象空間における人の存在を検出する。例えば、人感センサ234は、表示装置1の正面側に人が存在するかどうかを検出する。
表示装置1の背面側パネル104には、電源ジャック2311と、後蓋部1041が設けられている。電源ジャック2311は、電源コードが接続されるジャックである。電源ジャック2311は、電源コードを介して外部電源等からの電力の供給を受ける。後蓋部1041は、取り外しが可能な蓋部である。後蓋部1041が取り外されると、図11に示すように、スロット222およびUSB(Universal Serial Bus)コネクタ223が露出する。スロット222は、外部記憶媒体が装着される装着部である。外部記憶媒体は、例えばmicroSD(登録商標)の規格に対応するが、microSDHCその他SDカードに関する規格またはその他の規格に対応してもよい。USBコネクタ223は、USBケーブルまたはUSB規格に対応した外部機器のUSBポートが装着される装着部である。表示装置1では、スロット222およびUSBコネクタ223を介して外部機器との間でデータの入出力を行うことができる。装着部の数はさらに多くてもよい。スロット222およびUSBコネクタ223のうち筐体の外部に露出する部分が、表示装置1の背面側であるから、観察者から観察されにくくすることができる。また、外部機器が装着される装着部の数や対応する規格は特に問わない。
筐体100は、右側パネル101と、正面側パネル102と、左側パネル103と、背面側パネル104と、上蓋部105と、下蓋部106とを結合して構成される。本実施形態では、結合方法として、固定具の一例であるネジを用いたネジ止めが採用される。ただし、正面側パネル102および上蓋部105には、ネジ止めされた箇所が存在しない。
右側パネル101においては、正面側の上下2か所で、ネジ710,720によってネジ止めされている。筐体100の左側パネル103においては、正面側の上下2か所で、ネジ730,740によってネジ止めされている。背面側パネル104においては、上方側の3か所でネジ751,752,753によってネジ止めされ、高さ方向における中心付近の2か所でネジ754,755によってネジ止めされ、下方側の3か所でネジ756,757,758によってネジ止めされている。下蓋部106においては、正面側の2か所で、ネジ761,762によってネジ止めされている。正面側パネル102および上蓋部105は、表示装置1を使用する観察者によって、比較的観察されやすい部分である。一方、それ以外の部位は、表示装置1を使用する観察者によって、比較的観察されにくい部分である。よって、表示装置1によれば、ネジ止め箇所が観察者に観察されてしまうのを抑制し、表示装置1の外観上の美観を保つことができる。このようにすることは、観察者に映像への没入感を与えることにも寄与することができる。
図12は、観察者により表示装置1が使用される様子の一例を説明する図である。図12には、表示装置1とこれを使用する観察者Uとの位置関係を、表示装置1の左側面側から見た様子が示されている。表示装置1は、机3000の上に置かれている。表示装置1の正面側(前方側)には、椅子3100が配置されている。観察者Uは、表示装置1の方向を向いて椅子3100に着席している。この例では、観察者Uの目の位置は、表示装置1の上面よりも高い位置にある。このため、観察者Uは観察領域SCを角度θで見下ろすようにして観察する。角度θは水平方向と観察者Uの視線方向との間の角度である。角度θは、角度θ1以上θ2以下の範囲内である。角度θは、例えば15度である。観察者Uと観察領域SCとの水平方向の距離はおよそ50cmである。
<3.表示装置1の表示に関する原理>
図13は、表示装置1の表示に関する原理を説明する図である。図13には、表示装置1の左側面側から表示装置1の内部を見た場合の模式図が示してある。筐体100の内部の映像表示空間S1には、第1表示部310と、光学部材320と、第2表示部330とが設けられている。第1表示部310と光学部材320との協働により、映像表示空間S1に空中映像を結像させる映像表示部が構成される。
第1表示部310および第2表示部330は、画像を表示する表示部である。第1表示部310および第2表示部330は、光源を有する表示部であり、例えば液晶ディスプレイである。光源は、バックライトである。第1表示部310および第2表示部330は、赤(R)、緑(G)、青(B)の3原色に基づいてカラー(多色)の画像を表示する。第1表示部310および第2表示部330は、本実施形態では二次元の画像として認識される画像を表示する。
第1表示部310は、8インチの液晶ディスプレイである。例えば、この場合、第1表示部310は、光源の一例であるバックライトと、表示素子の一例である液晶素子を二次元配置した表示体とを含む。光源は例えば白色光源である。液晶素子は、画素単位でバックライトからの光を変調する。液晶素子は、例えば、画素単位に設けられる画素電極と複数の画素で共通の共通電極とで液晶分子を挟持した構成である。第1表示部310は、第1画像光L1を発する第1表示面311を有する。第1表示部310は、図1A~図1Cでいえば、キャラクタ1100,1200を表示するための画像光を発する。第1表示部310は、観察領域SC側の一端が観察領域SCよりも上方に位置し、かつ、背面側が低くなるように傾斜して配置されている。この傾きは、第1表示面311の傾きに等しく、水平面に対してほぼ20度である。このように傾きをほぼ20度すれば、観察者に与えることのできる空中映像の立体感を高めることができるとともに、第1画像光L1が減光部材200で反射して映像表示空間に形成される虚像がより観察されにくくすることができるという知見を発明者は得た。この根拠については後述する。ただし、この角度は一例である。表示装置1の幅方向においては、第1表示面311の各位置の高さは同じである。
光学部材320は、第1表示部310からの第1画像光L1に基づいて空中映像を結像させる光学系の一例である。光学部材320は、光の透過性および反射性を有する。光学部材320は、板状である。光学部材320は、ここではハーフミラーである。光学部材320は、アクリルミラーで構成され、光の透過率が約30%である。光学部材320の厚さは、約2mmである。光の透過率は一例にすぎず例えば6%としてもよいし、映像表示空間S1に表示される空中映像を観察者が観察し得る程度の透過率が確保されていればよい。光学部材320は、映像表示空間S1において、開口部110および第1表示面311に対して傾斜して配置されている。光学部材320は、観察領域SC側の先端が、観察領域SCよりも下方に位置し、背面側ほどより高い位置となるように傾斜している。この傾きは、水平面に対して35度である。ただし、この角度は一例である。表示装置1の幅方向においては、光学部材320の各位置の高さは同じである。
第2表示部330は、7インチの液晶ディスプレイである。第2表示部330は、表示した画像の第2画像光L2を発する第2表示面331を有する。第2表示部330は、図1Aおよび図1Bでいえば、ステージ映像2100,2200に相当する映像V2を表示する。第2表示部330は、第2表示面331の法線方向が上方向を向くように配置されている。第2表示面331は、光学部材320の下方側の一端よりも背面側に位置する。第2表示面331よりも正面側には、台座部400が設けられている。台座部400は、筐体100の映像表示空間S1を構成する部材の一部をなす。台座部400の上面は、第2表示面331とほぼ同じ高さに位置するが、第2表示面331の方がやや低くなっていてもよい。
以上の構成のもと、第1表示部310が発した第1画像光L1は、光学部材320の第1面321に所定の角度で入射する。入射した第1画像光L1は、光学部材320によって表示装置1の正面側に当該所定の角度で反射させられる。この反射光L1rによって、筐体100の映像表示空間S1に空中映像V1が認識される。空中映像V1は、第1表示面311の背面側の先端部の下方、例えば第1表示面311と光学部材320との交点の下方の位置に認識される虚像である。
第2表示部330が発した第2画像光L2は、光学部材320の第2面332に入射して、第1面321側に透過する。第2画像光L2は、直接観察者の目に入る。第2表示面331の映像V2は、空中映像V1の下方に位置するように認識される実像である。例えば、第2表示面331の前後方向における中心に空中映像V1が認識されるようになっている。このようにして、空中映像V1が図1A~1Cでいうキャラクタ1100,1200と認識され、映像V2が図1A~1Cでいうステージ映像2100,2200として認識される。表示装置1によれば、光学部材320を用いて結合させた空中映像V1を観察させることで映像の立体感を観察者に与え、さらにその下方に映像V2を観察者に観察させることでその立体感をより高めることができる。また、第2表示部330を用いることで、発光体および導光部材を組み合わせて所定のパターンの模様で発光するような場合に比べて、空中映像とともに観察者に観察させる映像の選択の自由度を高めることができる。
第1表示部310の第1表示面311には、正面側への視野角を狭める視野角制御部材312が設けられるようにすることが望ましい。このようにすれば、観察者が観察領域SCに近づいて見上げるようにしても、第1表示面311に表示される画像が直接観察者に観察されてしまうことを抑制することができる。第2表示面331については、観察者が映像V2を観察しやすくなるように正面側への視野角を狭める視野角制御部材は設けられていない。
表示装置1の基本的な表示の原理は、以上のとおりである。さらに、表示装置1は、その視覚的な効果を高めるための構成として、減光部材200および遮光部材500を有している。その作用および効果については後述する。
<4.表示装置1の内部の構成>
次に、表示装置1の内部の構成を説明する。図14、図15、図16、図17、および図18は、筐体100のうち、右側パネル101と、正面側パネル102と、左側パネル103と、背面側パネル104とを取り外した状態を示す図である。図14に示すように、右側パネル101を取り外したことにより、右側内部パネル107が露出する。図15に示すように、正面側パネル102を取り外したことにより、正面側内部パネル108が露出する。図16に示すように、左側パネル103を取り外したことにより、左側内部パネル109が露出する。図16に示すように、背面側パネル104を取り外したことにより、配線部800および仕切部材900が露出する。
右側内部パネル107および左側内部パネル109は、図13で説明した第1表示部310および光学部材320を左右の両側から挟みこむことによって保持する。
図2、図4、図6で示したネジ710,720は、右側パネル101、正面側内部パネル108、および右側内部パネル107を通過する穴H1,H2を順次通過して、これらを結合する。図3,図7で示したネジ730,740は、左側パネル103、正面側内部パネル108、および左側内部パネル109を通過する穴H3,H4を順次通過して、これらを結合する。図10で示したネジ751,752,753は、背面側パネル104と上蓋部105とを固定する。ネジ754は、背面側パネル104と右側パネル101とを結合する。ネジ755は、背面側パネル104と左側パネル103とを固定する。ネジ765,765,757は、背面側パネル104と下蓋部106を固定する。
図19、図20、図21、図22、図23および図24は、さらに右側内部パネル107と左側内部パネル109とを取り外した状態を示す図である。図19は、表示装置1を右側面側から見た様子を示す図である。図20は、表示装置1を左側面側から見た様子を示す図である。図21は、表示装置1を右側面側の斜め下方から見た様子を示す図である。図22は、表示装置1を右側面側の斜め上方から見た様子を示す図である。図23は、表示装置1を左側面側の斜め下方から見た様子を示す図である。図24は、表示装置1を左側面側の斜め上方から見た様子を示す図である。
筐体100の内部には、第1表示部310と、光学部材320と、第2表示部330と、台座部400と、遮光部材500とが設けられている。第1表示部310と、光学部材320と、第2表示部330と、台座部400とは、図13を用いて説明したとおりの構成である。
遮光部材500は、第1表示部310からの第1画像光L1のうちの減光部材200から反射した反射光の光路上に設けられる。遮光部材500は、光学部材320にこの反射光が入射するのを妨げるように、光学部材320のうちの減光部材200(観察領域SC)側の一端側、換言すると、第1表示部310から遠い側の一端側を覆う。遮光部材500は、例えば可視光を吸収する部材であるが、第1画像光L1の透過を妨げる部材であればよい。遮光部材500は、例えば、黒色その他の暗色系の色とするとよいが、それ以外の色でもよい。このようにする理由については後述するが、第1画像光L1が減光部材200で反射して映像表示空間S1に形成される映像(虚像)が、観察者によって観察されてしまうのを抑制するためである。特に、観察領域SCから映像表示空間S1を覗き込むようにして観察者が映像を観察した場合に観察される恐れのある映像が観察されるのを抑制する。この映像以外にも、天井などの外部の物が観察されるのを抑制する。遮光部材500の上面はほぼ水平であるが、これに限られない。
第1表示部310の上方には、第1プレート601が設けられ、第1プレート601の上方には各種部品を収容する第1収容空間S2(図19および図20参照)が形成されている。また、第2表示部330の下方には、第2プレート602が設けられ、台座部400および第2プレート602の下方に各種部品の第2収容空間S3(図25~図27参照)が形成されている。
図17~図24に示すように、第1収容空間S2は、第1表示部310の上に設けられた第1プレート601によって映像表示空間S1と隔てられた空間である。第1プレート601は、ネジ791,792,793を用いて右側内部パネル107に結合され、ネジ794,795,796を用いて左側内部パネル109に結合される。第1収容空間S2には、操作基板221と、処理基板224と、スピーカ2251,2252と、保持部226とが設けられる。操作基板221は、操作部2211,2212,2213,2214が表面に実装される基板である。操作基板221は、操作部2211,2212,2213,2214の操作に応じた信号を、処理基板224に供給する。処理基板224は、表示装置1の制御を司る処理基板として機能する。処理基板224は、メイン基板と呼ばれるものであってもよい。処理基板224は、操作基板221およびスピーカ2251,2252と、例えばプリント配線基板(例えばFPC)を介して電気的に接続する。処理基板224は、表示装置1の奥行方向において、第1収容空間S2の背面側に位置する。処理基板224は、いわゆるSoC基板であり、プロセッサおよびOS(Operating System)を動作させる。処理基板224は、センサ基板233に実装されたセンサからの信号およびマイクロホン2333からの音声信号をOSで読み取ったり、操作部2211,2212,2213の操作に応じた信号を操作基板221から取得したりする。処理基板224は、第1表示部310および第2表示部330に映像を表示させるための制御を行う。処理基板224には、スロット222およびUSBコネクタ223が実装され、表示装置1の背面側から露出する。
スピーカ2251,2252は、正面側から見て左右両側に設けられ、上蓋部105に開けられた開口部1051,1052を介して外部に音を放出する。スピーカ2251,2252は処理基板224とはあまり離さないことが望ましい。スピーカ2251,2252は互いの音がなるべく干渉しないように距離が空けられていることが望ましい。
保持部226は、処理基板224に重なる位置に設けられ、下方の面に処理基板224を保持する。保持部226のうち処理基板224を保持する側とは反対側の上方の面には、放熱または吸熱のためのヒートシンク2261が設けられている。第1表示部310および第1プレート601は、正面側から背面側に下がるように傾斜している。このため、第1収容空間S2は、正面側から背面側にかけて高さ方向の寸法が次第に大きくなっており、背面側ほど高さ方向の寸法に余裕がある。これを利用して、処理基板224および保持部226のような厚みを有する部材を収容している。このようにすれば、観察領域SCよりも上部の筐体部分が長くなるのを抑制し、表示装置1の軽量化・小型化に寄与するとともに、意匠の面においても望ましい。
図25、図26および図27は、下蓋部106を取り外したときの表示装置1の内部構成を示す図である。台座部400および第2表示部330の下方には、第2プレート602が設けられている。第2プレート602と下蓋部106との間に第2収容空間S3が形成される。第2収容空間S3には、制御基板231と、配線232と、センサ基板233と、人感センサ234とが設けられる。正面側内部パネル108は、ネジ771,772,773,774を用いて第2プレート602に結合される。正面側内部パネル108は、ネジ775,776,777を用いて下蓋部106に結合される。正面側内部パネル108は、ネジ771~777を用いて固定されるが、表示装置1が使用される状況下では、正面側パネル102によって覆われているので、ネジ771~777が正面側に露出しない。
制御基板231は、表示装置1の電源の供給および信号の供給を制御する。制御基板231は、配線部800を介して処理基板224と電気的に接続され、各種信号の授受を行ったり、処理基板224に電力を供給したりする。制御基板231は、配線232を介してセンサ基板233および人感センサ234と電気的に接続される。配線232は、例えばプリント配線基板(例えばFPC)である。
センサ基板233は、第1センサ2331、第2センサ2332、およびマイクロホン2333が実装された基板である。センサ基板233は、正面側内部パネル108の背面側の面のうち、減光部材200(観察領域SC)よりも下方の領域に設けられている。センサ基板233は、その基板面が高さ方向および幅方向に延びるように鉛直方向に立てられている。センサ基板233のセンサは、所定の情報を検出するものであればよい。第1センサ2331は、正面側に光(例えば赤外光)を発し、その反射光を受光することにより観察者のジェスチャを検出する光学方式のセンサである。マイクロホン2333は、収音し、収音した音を示す音信号を出力する。第2センサ2332としてのガスセンサは、ガス臭い、焦げ付き臭い等のにおいを検出する。温度センサは、温度を検出する。照度センサは、照度を検出する。第1センサ2331が情報領域STの幅方向におけるほぼ中央に位置する。センサ基板233は、第1センサ2331、第2センサ2332、およびマイクロホン2333からの信号を、配線232を介して制御基板231に出力する。処理基板224は、配線部800および制御基板231を介して、音声認識可能な場合に発光部2334を発光させる制御を行う。
人感センサ234は、正面側内部パネル108に接触しないように、正面側内部パネル108よりも背面側に30cm程度など所定の間隔を空けて配置される。このようにすることが、人感センサ234の検出感度を確保する上で望ましい。人感センサ234は、奥行方向でいうと真ん中よりやや正面側に設けられる。人感センサ234は検出結果を示す信号を、制御基板231に出力する。
配線部800は、電源線810、信号線820、および信号線830を含む。筐体100の下側から上側に配線部800は引き回されている。配線部800は、背面側パネル104と仕切部材900との間を通る。制御基板231は、電源線810を介して処理基板224に電力を供給する。制御基板231は、信号線820を介して処理基板224との間で信号の授受を行う。処理基板224は、信号線830を介して、第2表示部330を駆動する信号(例えば、駆動用の信号や映像信号)を供給する。電源線810、信号線820および信号線830は、仕切部材900と背面側パネル104との間の空間領域を通過するように設けられる。仕切部材900の正面側には、背景板910が設けられる。背景板910は、例えば黒などの暗色系の色である。仕切部材900は、例えば樹脂材料を用いて板状に形成され、光を透過させない部材である。このようにすれば、映像表示空間S1側から配線部800は観察されない。
処理基板224は、コミュニケーション機能に基づいて、第1表示部310および第2表示部330の表示を制御したり、スピーカ2251,2252からの音声出力を制御したりする動作制御手段として機能する。処理基板224は、例えば、センサ基板233および人感センサ234により測定された情報に応じて、第1表示部310および第2表示部330の表示を制御したり、スピーカ2251,2252からの音声の出力を制御したりする。処理基板224は、例えば、人感センサ234に基づいて、人の存在を検出すると、表示するキャラクタに挨拶をするような動作をさせたり、そのキャラクタの音声を出力したりするとよい。処理基板224は、第1センサ2331で手の振りとして、左右、上下、バイバイ、前後に動かすといったジェスチャが検出されると、第1表示部310の表示を制御したり、スピーカ2251,2252からの音声の出力を制御したりする。例えば、処理基板224は、左右または上下の手の振りに応じて、その方向にキャラクタを回転させる。処理基板224は、バイバイのジェスチャが検出されると、キャラクタにバイバイの動作をさせる。処理基板224は、手を前後に動かすジェスチャを検出すると、キャラクタの表示をデフォルトに戻す(例えば図1A~図1C)。処理基板224は、照度センサにより測定された照度に応じて、第1表示部310および第2表示部330の少なくとも一方の表示を変化させる。処理基板224は、例えば、表示装置1の周辺が暗くなると表示を暗くするとよい。処理基板224は、照度センサに基づいて、キャラクタの目を動かすなどの制御をしてもよい。処理基板224は、温度センサで検出された温度に応じて第1表示部310の表示を制御したり、スピーカ2251,2252からの音声の出力を制御したりする、処理基板224は、表示装置1の周辺が暑いかまたは寒いかに応じてキャラクタの発話内容を変化させる。また、処理基板224は、発光部2334の発光を制御する。処理基板224は、操作部2211,2212,2213,2214の操作に応じて音量を変えたりする。なお、音声エンジンは処理基板224の機能で実現されてもよいし、外部の認識サーバにより実現されてもよい。後者の場合、処理基板は、Wi-Fi等の無線LANまたはネットワーク通信を行う通信モジュールを有し、それを介して音声認識サーバと通信するとよい。
処理基板224は、第1表示部310の光源の発光輝度を、第2表示部330の光源の発光輝度よりも明るくする。このようにすれば、第1表示部310の発光輝度と第2表示部330の発光輝度との差異により、観察者に与えることのできる空中映像の立体感をより高めることができる、という知見を発明者が得たからである。映像表示空間S1が明るいと立体感が損なわれる可能性があるので、第2表示部330の発光輝度を低くしている。
第1表示部310は水平方向に対してほぼ20度で傾斜させてある。これは、観察者が椅子に座ってみたときに覗き込むような姿勢になることがあったり、第2表示部330の表示と相まって表示上の不具合が生じたりするのを抑えるためである。このようにすれば、表示装置1に対して観察者がやや上方から見たときも全体が見える。よって観察者は覗き込むような姿勢が要らない。
このようにすれば、光学部材320に天井が反射して観察者に観察されてしまったり、第2表示面331の画像に重なって空中映像が綺麗に見えにくくなったりすることがない。その作用について説明する。図28に示すように、第1画像光L31,L32が減光部材200に入射したとする。この場合に、第1画像光L31,L32のそれぞれの反射波L31r,L32rが、減光部材200から出射し、さらに光学部材320で反射することにより、観察者によって虚像である映像V3が観察される。例えば、キャラクタの映像を第1表示部310が表示すると、キャラクタの下方側の部分、例えば足付近の映像が観察されてしまうことがある。また、図29に示すように、天井や照明等から光L4が減光部材200に入射してこれを透過し、さらに光学部材320で反射することにより、光学部材320の下端付近において天井の映り込みが発生する。このように、本来の空中映像V1以外の映像が観察されることにより、表示装置1の表示品位が行われる可能性がある。
そこで、減光部材200での反射光の光路上、および天井や照明等から光L4の光路上に遮光部材500を配置することで、映像V3の表示や天井等の映り込みが抑制される。図30に示すように、遮光部材500を設けることで、光学部材320での反射が抑制されるので、映像V3の表示や天井の映り込みが抑止される。遮光部材500は、観察領域SCよりも下方にあり、また、減光部材200も存在するから、観察者によって遮光部材500の存在は認識されにくい。例えば、観察者と観察領域SCとの水平距離を50cm、観察者の視線が入射する角度θを35度となることを想定して、映像V3や映り込みに係る光の光路上に遮光部材500が設けられる。図31に示すように、仮に第1表示部310の傾斜角を10度とすると、映像V3の位置がより背面側に表示されてしまい、映像V3が観察されやすくなる。これを抑制するには遮光部材500をもっと奥側まで伸ばす必要があり、望ましくない。よって、第1表示部310の傾斜角を20度とすることが望ましい。
このような趣旨によると、遮光部材500を用いなくとも、第1画像光L1のうちの減光部材200で反射した反射光の光路上の領域を避けて、光学部材320が配置されてもよい。このようにすれば、第1画像光L1が減光部材で反射して映像表示空間に形成される虚像が、観察者によって観察されてしまうのを抑制することができる。
また、ジェスチャセンサである第1センサ2331の付近で観察者はジェスチャを行う。この場合、観察領域SCよりも上に第1センサ2331があると、ジェスチャをしている手が邪魔になってしまい、観察領域SCを介した映像の観察が妨げられる可能性がある。本実施形態では、観察領域SCの下方に第1センサ2331等のセンサを設けたため、観察領域SCを観察しながらジェスチャするなどしても、観察が妨げられることが抑えられる。
映像表示空間S1を暗くしたのは、空中映像がより立体的に見えるようにするためである。例えば、特定のキャラクタが表示される場合には、周囲が暗いことによってキャラクタの浮遊感を得ることができるのである。また、正面側から見たときに観察領域SCの周りが筐体100(正面側パネル102)によって囲まれている。このようにすれば、映像表示空間に表示される空中映像と、その手前側に位置する筐体とが相まって、観察者に与えることのできる空中映像の立体感をより高めることができる。
映像表示空間S1に面する部位は、光の反射を低減する処理(例えば、マット仕上げ)がなされている。このようにすれば、外光その他の光が映像表示空間S1に進入しても、反射が抑制されるので、暗い状態を維持しやすい。内部空間が明かるくなるのを防止できる。このような処理は、背景板910、台座部400、第1表示部310および第2表示部330のフレームの一部または全部になされているとよい。
また、ネジ等の固定具を用いた結合方法が採用されると、接着等の場合に比べて正面側パネル102および正面側内部パネル108を容易に取り外せるので、映像表示空間に進入した埃をエアーブローや柔らかい布を用いて除去することもできる。その一方で、正面側パネル102はネジ等の固定具で固定されていないので、これが観察者に観察されて、その観察者が興ざめするようなことが抑制される。
<5.処理基板224の詳細構成>
図33は、一実施例に係る表示装置1が有する処理基板224の制御ブロック図である。図33に示されるように、処理基板224は、演算処理等を実行する演算処理装置として機能するCPU701、および、ワークエリアとして使用されるRAM703と制御用のプログラム等を記憶したROM702とを含むメモリ等を有するコントローラである。なお、処理基板224は、例えば、制御部(動作制御手段の一例)などと読み替えられてもよい。処理基板224のROM702内には、各種プログラムが記憶されており、処理基板224は、これらのプログラムを実行することにより各種の機能を実現する。例えば、ROM702内には、ユーザとキャラクタとの対話を再現するための音声認識アプリケーションが記憶されており、処理基板224は、各種センサ234,2331~2332あるいはGPS受信機60等からの入力信号等に基づいて当該音声認識アプリケーションを実行することにより、ユーザとキャラクタとの対話を再現する。また、処理基板224は、表示装置1(詳細には、映像表示部)に表示される画像等を制御する表示制御回路704と、スピーカ2551,2552から出力される音声を制御する音声制御回路705とを有している。また、処理基板224は、他の機器(例えば、図示しない外部の音声認識サーバ(音声認識エンジン、とも称される)、および図示しない外部の対話サーバ(対話エンジンとも称される)等)との通信を制御する通信制御回路706を有している。
<6.キャラクタ1100に関するコミュニケーション機能について>
以下では、表示装置1(例えば、映像表示部)に表示されたキャラクタ1100とユーザとのコミュニケーションを再現するための種々の制御について、図34~図40を参照して順に説明する。
<においに関するコミュニケーション機能について>
例えば、においを検知するにおいセンサを第2センサ2332として表示装置1に設けておき、処理基板224は、においセンサによる検知結果に応じた音声をキャラクタ1100のキャラクタ音声として出力する音声出力動作を実行するとよい。においセンサは、例えば、あるにおいの強度に応じて変化する信号を出力したり、においに含まれる成分(におい成分)に応じて変化する信号を出力したりするものがある。においセンサは、例えば、においの種類に応じて変化する信号を出力する。においセンサは、例えば、脱臭フィルタ等を用いて特定のにおい成分(タール、アンモニア、アルコール、二酸化炭素等)の濃度を検知可能に構成されている。このようにすれば、処理基板224は、表示装置1の映像表示部に表示されたキャラクタとユーザとの間でにおいに関するコミュニケーションを再現することができ、当該キャラクタとユーザとの間でより多様なコミュニケーションを再現することができる。
処理基板224は、例えば、検知されたにおいの種類に応じた音声をキャラクタ1100のキャラクタ音声として出力する音声出力動作を実行するとよい。なお、複数種類のにおい成分を識別可能な単一のセンサが、においセンサとして構成されていてもよく、互いに異なる種類のにおい成分を識別可能な複数のセンサが、においセンサとして構成されていてもよい。
図34(A)は、においに関するコミュニケーションを再現するためのフローチャートであり、図34(B)は、においに関する音声管理テーブル(音声管理表、とも称される)を示す図である。音声管理テーブルは、例えば、表示装置1の処理基板224内、あるいは対話サーバ内に格納されている。図34(B)に示されるように、音声管理テーブルには、においセンサによって検知可能なにおい成分(におい物質、とも称される)の種類ごとに、そのにおい成分を主に含有するにおいの種類と、キャラクタ1100が発する音声(キャラクタ音声と称する)とが予め登録されている。例えば、音声管理テーブルにおいては、タールを主に含有するタバコ臭がタールと対応付けて登録されているとともに、タバコ臭が検知された際のキャラクタ音声として、「タバコの吸い過ぎはよくないよ~」などのユーザの健康に気遣う言葉が登録されている。
そして、まず、ステップS11において、処理基板224(制御部、とも読み替えられてもよい)は、においが検知されたか否かを判断する。例えば、処理基板224は、においセンサによって検知されたにおい成分の濃度が特定のにおいに関する所定の閾値(基準値)を上回ると、そのにおい成分が検知されたと判断する。ステップS12において、処理基板224は、音声管理テーブルにおいて、検知されたにおい成分に対応付けて登録されているにおいの種類を判断する。例えば、所定の閾値を上回る濃度のタールが検知された場合は、タバコ臭が検知されたと判断される。そして、処理基板224は、検知されたにおいの種類に応じたキャラクタ音声をスピーカ2551,2552から出力する。例えば、タバコ臭が検知されたと判断されると、処理基板224は、ユーザの健康に気遣う言葉の音声(ここでは、「タバコの吸い過ぎはよくないよ~」)をキャラクタ音声として出力する音声出力動作を実行する。なお、他の例としては、以下のようなものが挙げられる。例えば、アロマオイルなどの香料や食事などに含まれる特定の主成分の濃度が所定の基準値を上回ると、処理基板224は、香料や食事などのにおいが検知されたと判断し、においの元に関して質問する音声をキャラクタ音声として出力する。また、所定の基準値を上回るアルコールが検知されると、処理基板224は、アルコール臭が検知されたと判断し、「お酒くさ~い」や「また飲んできたの、いい加減にしなさいよ」などの音声をキャラクタ1100のキャラクタ音声として出力する。また、所定の基準値を上回る口臭成分(例えば、硫化水素、メチルメルカプタン、ジメルサルファイド等)が検知されると、処理基板224は、口臭が検知されたと判断し、「ちょっとお口臭うよ、歯磨きしてる?」や「歯槽膿漏気を付けてね」などの音声をキャラクタ1100のキャラクタ音声として出力する。また、ターシャリーブチルメルカプタン、ジメチルサルファイドあるいはテトラヒドロチオフェンなど、ガス燃料に含まれるにおい成分が検知されると、処理基板224は、ガス燃料のにおいが検知されたと判断し、「ガス臭いんだけど!」などの音声をキャラクタ1100のキャラクタ音声として出力する。
このように、処理基板224は、検知されたにおいの種類に応じた音声をキャラクタ1100のキャラクタ音声として出力する制御を実行するとよい。このような制御が行われることにより、映像表示部に表示されたキャラクタとユーザとの間でのコミュニケーションの幅を広げることができ、当該キャラクタへのユーザの愛着を増大させることができる。
表示装置1は、音声管理テーブルに基づいて出力する音声を特定するものに限らない。表示装置1は、例えば、過去の対話の内容(対話の履歴)に基づいてキャラクタの発話内容が変化するシナリオに従って、出力する音声を特定してもよい。このシナリオは、キャラクタの出力する音声を特定するデータがツリー構造で管理された分岐シナリオを規定するものでもよい。
ここでは、においセンサによる検知結果に応じた音声の音声出力動作が例示されているが、これに限定されず、処理基板224は、においセンサによる検知結果に応じた動きをキャラクタが行う映像を映像表示部に表示する表示出力動作を実行してもよい。例えば、音声管理テーブルと同様に、表示管理テーブル(不図示)を予め設けておき、処理基板224は、検知されたにおいの種類に応じた動きをキャラクタ1100が行う映像を映像表示部に表示する表示出力動作を実行するとよい。表示管理テーブルは、例えば、におい成分とにおいの種類とに対応付けてキャラクタ1100を規定するデータを登録したテーブルとするとよい。キャラクタ1100を規定するデータは、表示するキャラクタ1100の映像を示すデータでもよいし、キャラクタ1100の動きの内容を規定するデータでもよい。例えば、何らかのにおい成分が検知されると、処理基板224は、においを嗅ぐ動きをキャラクタ1100が行う映像を映像表示部に表示するとよい。また、処理基板224は、例えばタバコ臭が検知されたと判断すると、煙たがる動きをキャラクタ1100が行う映像を映像表示部に表示するとよい。なお、この際、処理基板224は、煙を模した映像が映像表示部に表示してもよい。さらに、処理基板224は、上記のような音声出力動作と表示出力動作との双方を実行してもよい。例えば、においセンサによって何らかのにおい成分が検知されると、処理基板224は、においを嗅ぐ動きをキャラクタ1100が行う映像を映像表示部に表示しつつ、「何かにおう」などの音声をキャラクタ1100のキャラクタ音声としてスピーカ2551,2552から出力するようにしてもよい。
さらには、処理基板224は、においセンサによって検知されたにおい成分の濃度(検出強度ともいう)に応じてキャラクタ1100の反応が変更するように制御するとよい。例えば、処理基板224が、におい成分の濃度に応じて、段階的に設けられた複数の動きの映像(例えば、「顔をしかめる(嫌そうな表情をする)」、「冷や汗を流す」、「青ざめる」および「気絶する」等)のいずれかを選択的に表示するとよい。
表示装置1は、タバコ臭とタバコ臭以外のにおい(臭さ)とを区別する方法として例えば、煙を検知する煙センサや、カメラ画像(例えば撮影部227の撮影した画像)、サーモカメラの画像など、別のセンサ等との組み合わせで、ユーザがタバコを吸っていることを検知可能してもよい。
処理基板224は、ユーザがタバコを吸っていることを検知した場合に、キャラクタ1100に重ねて(キャラクタ1100の前に)、煙を模した画像(煙がモクモクとしと現われている様子を再現した映像)を表示してもよい。この際、処理基板224は、キャラクタ1100の顔を前に突き出して顔をアップし、さも嫌そうな表情をさせた表情をさせてもよい。処理基板224は、ユーザとキャラクタ1100との親密さの度合いである親密度に応じて、キャラクタ1100が嫌がる程度を変化させた表示をしてもよい。処理基板224は、例えば、親密度が所定値以上である場合は、愛しているから許してあげるというようなキャラクタ1100の表情にし、所定値未満である場合はキャラクタ1100を不快な表情にする、という具合である。処理基板224は、例えば、ユーザによる表示装置1の使用実績(例えば、過去の使用時間や過去の対話内容)に応じて親密度を特定するとよい。親密度の特定についてのアルゴリズムはこれに限らない。
<ユーザの位置情報に基づくコミュニケーション機能について>
また、例えば、表示装置1がGPS(Global Positioning System)受信機60(図33参照)を有しており、ユーザの位置情報に基づいて以下のような制御が実行されるとよい。そして、例えば、処理基板224が、GPS受信機60からの信号に基づいて、ユーザが所持(携帯)している表示装置1の位置情報をユーザ自身の位置情報として取得し、取得した位置情報に基づいて以下のような制御を実行するとよい。
例えば、ユーザの位置情報に基づき特定された場所にユーザが滞在した滞在頻度(訪問頻度、とも称される)に応じた音声がキャラクタ音声として出力されるように制御されるとよい。図35は、滞在頻度に関するコミュニケーションを再現するためのフローチャートである。
例えば、ステップS21において、処理基板224は、GPS受信機60からユーザの位置情報が受信されたか否かを判断する。ユーザの位置情報が受信されると、ステップS22において、処理基板224は、ユーザの位置情報に基づき特定された場所にユーザが滞在した滞在回数(訪問回数、などとも称される)が所定値(例えば、「2」)以上であるか否かを判断する。なお、滞在頻度は、所定期間(例えば、1日あるいは1週間等)において一の場所にユーザが滞在した回数である。例えば、処理基板224は、GPS受信機60から取得された位置情報(例えば、ユーザの現在の位置情報)に基づいて、ネットワーク等を利用してユーザの滞在場所を検索して特定する。そして、処理基板224は、特定された場所にユーザが滞在した滞在回数に基づいてユーザの滞在頻度を算出し、ユーザの滞在頻度が所定値以上であるか否かを判断する。例えば、ユーザの滞在頻度が所定値以上である場合、ステップS23において、処理基板224は、ユーザの滞在頻度に関して予め登録された所定のキャラクタ音声がスピーカ2551,2552から出力されるように制御する。処理基板224は、例えば、ユーザが同一日に同一の場所に2回行った場合、ユーザの滞在頻度が所定値以上であると判断し、「あれ、さっきも行ったじゃん」などのキャラクタ音声を出力する。
また、処理基板224は、取得した位置情報に基づき特定された場所に応じた音声をキャラクタ1100のキャラクタ音声として出力するように制御するとよい。図36(A)は、滞在場所に関するコミュニケーションを再現するためのフローチャートであり、図36(B)は、滞在場所に関するキャラクタ音声の音声管理テーブルを示す図である。
例えば、ステップS31において、処理基板224は、GPS受信機60からユーザの位置情報が受信されたか否かを判断する。ユーザの位置情報が受信されると、ステップS32において、処理基板224は、ユーザの位置情報に基づいて、ネットワーク等を利用してユーザの滞在場所を検索して特定する。そして、ステップS33において、処理基板224は、図36(B)の音声管理テーブルに基づいて、特定された場所に応じたキャラクタ音声をスピーカ2551,2552から出力する。処理基板224は、例えば、ユーザがスーパーマーケットに行った際には「今日の夕食なにつくる?」などのキャラクタ音声、或いは、ユーザが病院に行った際には「大丈夫?体調わるいの?」などの音声を、キャラクタ1100のキャラクタ音声として出力する。また、処理基板224は、例えばユーザが遊園地に行った際には「いっぱい遊んだね」などのキャラクタ音声を出力する。
また、処理基板224は、取得した位置情報に基づき特定した場所にユーザが滞在した滞在回数(訪問回数、などとも称される)に応じた音声をキャラクタ1100のキャラクタ音声として出力するように制御するとよい。図37(A)は、滞在回数に関するコミュニケーションを再現するためのフローチャートであり、図37(B)は、滞在回数に関するキャラクタ音声の音声管理テーブルを示す図である。
図37(A)のステップS41,S42は、図36(A)のステップS31,S32と同様であるため、説明を省略する。ステップS43において、処理基板224は、ステップS42において特定された場所へのユーザの滞在回数を取得する。そして、ステップS44において、処理基板224は、図37(B)の音声管理テーブルに基づいて、ユーザの滞在回数に応じたキャラクタ音声をスピーカ2551,2552から出力する。処理基板224は、例えば、ユーザが或るゲームセンターに初めて行った際には、「ゲーム楽しかったね」などのキャラクタ音声を出力する。そして、処理基板224は、ユーザが当該或るゲームセンターに再び行った際には、「また行きたいと思ってたんだ」などのキャラクタ音声を出力する。さらに、処理基板224は、ユーザが当該或るゲームセンターに所定回数以上(例えば、10回以上)行った際には、「またゲームするの~」などのキャラクタ音声を出力する。
また、処理基板224は、取得された位置情報に基づき特定された場所でのユーザの滞在時間に応じた音声をキャラクタ1100のキャラクタ音声として出力するように制御するとよい。図38(A)は、滞在時間に関するコミュニケーションを再現するためのフローチャートであり、図38(B)は、滞在時間に関するキャラクタ音声の音声管理テーブルを示す図である。
図38(A)のステップS51,S52は、図36(A)のステップS31,S32と同様であるため、説明を省略する。ステップS53において、処理基板224は、ステップS52において特定された場所へのユーザの滞在時間を取得する。そして、ステップS54において、処理基板224は、図38(B)の音声管理テーブルに基づいて、ユーザの滞在時間に応じたキャラクタ音声をスピーカ2551,2552から出力する。例えば、コンビニエンスストアでのユーザの滞在時間が5分以内であるときには、処理基板224は、「早かったね。待ってたからうれしい」などのキャラクタ音声を出力する。また、コンビニエンスストアでのユーザの滞在時間が5分以上且つ10分未満(5~10分)であるときには、処理基板224は、「何買ってきたの?」などのキャラクタ音声を出力する。さらに、コンビニエンスストアでのユーザの滞在時間が10分を超えたときには、処理基板224は、「遅かったね。心配しちゃったよ」などのキャラクタ音声を出力する。
処理基板224は、GPS受信機60等を用いて取得されたユーザの位置情報に基づいて、以上のような制御を行うとよい。このようにすれば、ユーザは、自身の行動に応じた反応をキャラクタが示してくれたという感覚を得ることができ、当該キャラクタへのユーザの愛着が増大する。
なお、表示装置1が、例えばユーザの自宅等に据え置かれており、表示装置1(詳細には、通信制御回路706)が、ユーザのスマートフォン(GPS受信機を備えるスマートフォン)等と通信して、外出中のユーザの位置情報(ユーザが所持しているスマートフォンの位置情報)を取得するようにしてもよい。そして、ユーザが帰宅等した後にキャラクタ1100とコミュニケーションをとる際に、処理基板224は、上記のような動作を実行されるように制御するとよい。なお、この際のキャラクタ音声や動きの内容は適宜変更されるとよい。
<ユーザの行動パターンに関するコミュニケーション機能について>
また、ユーザの行動パターンが所定の行動パターンに合致すると判断されると、当該所定の行動パターンに応じた音声がキャラクタ1100のキャラクタ音声として出力されるように制御されるとよい。図39(A)は、行動パターンに関するコミュニケーションを再現するためのフローチャートであり、図39(B)は、行動パターンに関するキャラクタ音声の音声管理テーブルを示す図である。
例えば、処理基板224において、ユーザが出勤する曜日(例えば、月曜日~金曜日)と出勤時刻(例えば、8時30分)と出勤時に利用する特定の経路とが、「出勤時の行動パターン」としてユーザによって予め登録される。そして、例えば、GPS受信機60からユーザの位置情報が受信される(ステップS61)と、処理基板224は、ユーザの位置情報に基づいて、ユーザの行動パターンが所定の行動パターンに合致するか否かを判断する(ステップS62)。例えば、ユーザが火曜日の8時30分に特定の経路を通過した場合、処理基板224は、ユーザの行動パターンが「出勤時の行動パターン」に合致すると判断する。そして、ステップS63において、処理基板224は、図39(B)の音声管理テーブルに基づいて、「出勤時の行動パターン」に対応付けて登録された音声(例えば、「お仕事がんばってきてね」)をキャラクタ1100のキャラクタ音声としてスピーカ2551,2552から出力する。このようにして、ユーザの行動に応じた反応をキャラクタが示してくれることにより、当該キャラクタへのユーザの愛着を増大させることができる。なお、所定の行動パターン(例えば、出勤時の行動パターン)がユーザによって予め登録されていることは必須ではなく、例えば、処理基板224が学習機能を有しており、ユーザの行動パターンを学習することによって、所定の行動パターンが登録されるようにしてもよい。
<不審者の検知に関するコミュニケーション機能について>
また、検知対象空間において検知された人が不審者であると判断されると、所定の動作が実行されるとよい。そして、当該所定の動作が実行された後において、表示装置1のユーザが検知されると、不審者の検知に関する音声がキャラクタ1100のキャラクタ音声として出力されるとよい。図40は、不審者の検知に関する動作を実現するためのフローチャートである。
例えば、表示装置1において、図32に示すように、表示装置1の正面側に、観察者(ユーザ等)を撮影する撮影部227(例えば、カメラ)が設けられ、当該撮影部227(詳細には、撮影部227が有するセンサ)が、検知対象空間における人の存在を検知する検知手段として用いられるとよい。「検知対象空間」としては、例えば、表示装置1が載置されている空間(例えば、ユーザの自宅)における撮影部227の画角範囲(撮影可能範囲)が挙げられる。撮影部227は、例えばレンズおよび撮像素子(例えばCCDまたはCMOS)を含み、多色の画像を撮影する。撮影部227のレンズは、観察者(特に顔)を撮影可能な位置に設けられる。図32に示す例では、撮影部227のレンズは、筐体100の正面側に配置される正面側パネル102のうち、観察領域SCの上方であって、表示装置1の幅方向における中心付近に設けられている。撮影部227は、例えば、R、G、Bの各色成分の画像信号を処理基板224に出力する。処理基板224は、この画像信号を処理して撮影画像を生成する。
処理基板224は、当該撮影部227を用いて検知対象空間を監視する(ステップS71)。そして、処理基板224は、検知対象空間において人の存在が検知されると、ステップS72において、例えば顔認証等のユーザ認証を行い、ステップS73において、検知された人物が表示装置1の登録ユーザであるか否かを判断する。処理基板224は、例えば、撮影部227によって撮影された人が表示装置1の登録ユーザであると判断すると、その人物は不審者でないと判断する。一方で、撮影部227によって撮影された人が未登録ユーザであると判断されると、ステップS74において、処理基板224は、その人物は不審者であると判断し、所定の動作を実行する。「所定の動作」としては、例えば、撮影部227による録画を開始する動作や、比較的大きな音量で警報を発する動作、予め登録された警備会社に通報する動作などが挙げられる。あるいは、「所定の動作」は、キャラクタ1100が不審者に声掛け(例えば、「誰!?合言葉を言って!」)を行う動作であってもよい。そして、不審者と判断された人から返事がない場合、あるいは合言葉が間違っている場合に、上記の録画開始動作等が実行されてもよい。なお、合言葉が間違っている場合に、処理基板224は、「違うよ!?もう一度言って」などの音声をキャラクタ1100のキャラクタ音声として出力し、再度合言葉が間違っていると判断したときに、上記の録画開始動作等が実行してもよい。これらのようにすれば、例えば不審者を検知対象空間から撤退させることができ、検知対象空間における防犯性を高めることができる。
そして、処理基板224は、所定の動作の実行後において、表示装置1のユーザが検知されると、不審者の検知に関する音声をキャラクタ1100のキャラクタ音声として出力するとよい。「不審者の検知に関する音声」としては、例えば「怖かったよー」などが挙げられる。このようにすれば、映像表示部に表示されたキャラクタへのユーザの愛着を増大させることができる。
また、表示装置1を用いて検知対象空間が監視されている場合、不審者の検知に限らず、次のような動作が行われてもよい。
例えば、企業の受付スペースに表示装置1が配置され、キャラクタ1100が所謂受付嬢として受付業務を行うような表示をするものであってもよい。具体的には、マイクロ波ドップラーセンサ(検知手段の一例)によって検知対象空間(例えば受付スペース)における人の接近が検知されると、処理基板224は、「いらっしゃいませ。どちらの部署に御用でしょうか?」などの音声をキャラクタ1100のキャラクタ音声として出力するとよい。そして、処理基板224は、検知された人(来客者)からの返答に基づいて、来客者の所望の部署に電話を掛けるように制御するとよい。
<表示装置1の起動時間に関するコミュニケーション機能について>
また、処理基板224は、キャラクタ1100のキャラクタ音声での言葉使いが所定の時点(例えば、初回の起動時点)からの表示装置1の起動時間(例えば、累積起動時間)に応じて、コミュニケーションの内容が変化するように制御するとよい。例えば、処理基板224は、次述するように、表示装置1の起動時間が長くなるほど、キャラクタ1100がユーザに対して親しい言葉使いで発話するように制御するとよい。
例えば、上述のような種々のキャラクタ音声について、敬語調、ユーザと友人関係であるような言葉調、およびユーザと恋人関係であるような言葉調の3パターンのキャラクタ音声が予め音声管理テーブルに登録されるとよい。そして、例えば、所定の時点からの表示装置1の起動時間が100時間未満のときには、処理基板224は、音声管理テーブルに登録されている3パターンのキャラクタ音声のうち、敬語調のキャラクタ音声を出力する。また、当該起動時間が100時間以上且つ1000時間未満のときには、処理基板224は、音声管理テーブルに登録されている3パターンのキャラクタ音声のうち、ユーザと友人関係であるような言葉調のキャラクタ音声を出力する。さらに、起動時間が1000時間を超えると、処理基板224は、音声管理テーブルに登録されている3パターンのキャラクタ音声のうち、ユーザと恋人関係であるような言葉調のキャラクタ音声を出力する。
このようにすると、ユーザは、ユーザ自身に対するキャラクタの言葉使いが変化したことによって、当該キャラクタとの関係性(例えば親密度)が変化したことを感じることができる。
なお、処理基板224は、前回の起動からの経過時間によっては、ユーザに対するキャラクタ1100の親密度を低下させるように制御してもよい。例えば、表示装置1の累積起動時間が100時間を超えている場合であっても、前回の起動から1週間が経過しているときには、処理基板224は、ユーザと対等な言葉調ではなく、敬語調のキャラクタ音声を出力するようにしてもよい。このようにすれば、ユーザが、映像表示部に表示されたキャラクタとの親密度を維持するために極力間隔を空けずに当該キャラクタと接するようになり、当該キャラクタへの愛着をさらに増大させることができる。
また、処理基板224は、初回の起動時点では「初めまして」などの挨拶の音声をキャラクタ音声として出力し、初回の起動時点から所定期間(例えば、1カ月など区切りの良い期間)が経過した時点では、記念日を示す内容(例えば、「出会って1カ月だね」)の音声をキャラクタ音声として出力するとよい。このようにすれば、キャラクタ1100への愛着をさらに増大させることができる。
<他の機器との連携によるコミュニケーション機能について>
また、例えば表示装置1がユーザの自宅等に据え置かれている場合、他の機器との連携によって次述のような動作が実行されてもよい。例えば、表示装置1と通信可能な機器(以下、他の機器と称する)が設置されている場所にユーザが訪問すると、当該他の機器が、次述のようにして、ユーザを識別するとともに、当該ユーザに適した情報(例えば、グルメ情報やイベント情報)を自動的に案内するようにしてもよい。例えば、表示装置と他の機器との連携システムを利用する利用ユーザの顔画像と当該利用ユーザが所有する表示装置(例えばIPアドレス等)とが対応付けられて予め外部サーバ等に登録される。当該他の機器の制御部は、例えば当該他の機器に設けられた撮影部が有するセンサによって人が検知されると、撮影画像において検知された人の顔画像と外部サーバに登録された利用ユーザの顔画像とを比較することによって表示装置1のユーザを識別する。そして、当該他の機器の制御部は、外部サーバにおいて当該ユーザに対応付けて登録されている表示装置1(例えば、表示装置1のIPアドレス等)を特定し、表示装置1のユーザが検知されたことを示す情報を当該表示装置1に送信する。表示装置1の処理基板224には、「ユーザに適した情報」(例えば、グルメ情報やイベント情報)が予め登録されており、処理基板224は、当該他の機器からの信号受信に応じて、登録されている「ユーザに適した情報」を当該他の機器に送信する。そして、当該他の機器の制御部は、表示装置1から受信された「ユーザに適した情報」を出力(例えば、音声出力)する。なお、「ユーザに適した情報」の案内に際して、当該他の機器は、その表示画面にキャラクタ1100を表示させるとよい。また、ユーザに案内した情報等が当該他の機器から表示装置1に送信され、表示装置1の処理基板224においてユーザ情報として蓄積されるとよい。そして、例えば表示装置1がユーザの自宅に設置されている場合、ユーザの帰宅が検知されると、処理基板224は、「**に行ってきたでしょ、どうだった?」などの音声をキャラクタ1100のキャラクタ音声として出力するとよい。このようにすれば、映像表示部に表示されたキャラクタへのユーザの愛着を増大させることができる。
<その他のコミュニケーション機能について>
さらに、種々のセンサによる検知結果に基づいて次のような制御が行われてもよい。
例えば、風(例えば、風速)を検知可能な風検知手段(例えば、風センサ)が表示装置1の正面側パネル102に設けられ、当該風センサによる検知結果に基づいて次のような制御が行われてもよい。風は、例えばユーザが人為的に起こしたものとするとよく、例えば表示装置1に向けて手を振る等の身体の部位を動かすことによって発生する風や息(呼気)を吹きかけることによって発生する風とするとよい。例えば、所定値以上の風速の風が風センサによって検知されると、処理基板224は、映像表示部に表示されたキャラクタ(例えば、キャラクタ1100)の毛(例えば、髪の毛)や衣服(例えば、スカート)がなびく映像を表示出力するとよい。また、例えば、火のついたろうそくの映像が映像表示部に表示されている場合において、風センサによって風が検知されると、処理基板224は、ろうそくの火が消える映像に切り替えるとよい。さらには、検知された風が所定の閾値よりも強い(風速が所定の閾値よりも大きい)ときにはキャラクタ1100の衣服がより大きくなびくなど、処理基板224は、検知された風の強度(例えば、風速)に応じて映像を切り替えるとよい。
また、例えば、対象物の有無(存否)および対象物までの距離を検知可能な物体検出手段(例えば、超音波センサ)が表示装置1に設置され、当該超音波センサによる検知結果に基づいて次のような制御が行われてもよい。例えば、処理基板224は、超音波センサによる検知結果に基づいて、立体映像として認識されているキャラクタ1100に観察者の手が触れていると判断されると、当該キャラクタ1100が反応を示す映像を表示出力するとよい。また、処理基板224は、キャラクタ1100において観察者によって触れられた部位に応じて異なる反応を示するように表示制御するとよい。キャラクタ1100において観察者によって触れられる部位は、例えば、頭部、胸部、腹部、臀部または脚部等で例示される身体の部位とするとよい。また、キャラクタ1100において観察者によって触れられる部位は、キャラクタ1100の衣服(例えば洋服、スカート)や装飾物(例えば、アクセサリー)とするとよい。
また、例えば、地震を感知し震度を測定可能な地震検知手段(例えば、感震センサ)が表示装置1に設けられ、処理基板224は、当該感震センサによって地震が検知されると、地震警報を発するとよい。
また、例えば、天気を計測可能な天気センサが表示装置1に設けられ、処理基板224は、当該天気センサによる計測結果に基づいて、天気の変化や天気予報等を通知するとよい。なお、天気センサは、例えば、気圧センサと温度センサと湿度センサとを有し、各センサの検知結果に基づいて天気を計測可能に構成されているとよい。
また、処理基板224は、温度センサによって検知された温度または/および湿度センサによって検知された湿度に応じて、映像表示部に表示されたキャラクタの表情や動き(モーションともいう)が変化する映像を表示するとよい。
また、処理基板224は、マイクロ波ドップラセンサなどの人感センサによる検知結果(例えば、表示装置1と観察者との距離)に応じて、映像表示部に表示されたキャラクタの表情や動きが変化する映像を表示するとよい。
また、処理基板224は、湿度センサを利用して、ユーザによって息が吹きかけられたか否かを判断するとよい。さらには、処理基板224は、温度センサをも利用して、ユーザによって吹きかけられた息の種類を判断するとよい。なお、これらのセンサは、例えば、第2センサ2332として表示装置1に設けられるとよい。
ここで、ユーザによって吹きかけられる息には、例えば、「フー」と吹きかける息、および「ハー」と吹きかける息、の2種類の息がある。なお、一般に、冷たい息を吹きかけるときには、速く「フー」と息を吹くことから、ここでは、「フー」と吹きかける息を「冷たい息」と呼ぶ。また、一般に、暖かい息を吹きかけるときには、ゆっくり「ハー」と息を吹くことから、ここでは、「ハー」と吹きかける息を「暖かい息」と呼ぶ。
この2種類の息に関して、本願の発明者は、実験等により次のような知見を得た。詳細には、まず、湿度に関して、温湿度センサ(例えば、温度センサと湿度センサとが一体化されたセンサ)から所定程度離れた位置において当該温湿度センサに向けて「フー」と息を吹きかけると、その直後に湿度が定常状態から急激に上昇する、との測定結果が得られた。また、その後、息を吹きかけている間は湿度が単調増加し、息の吹きかけを停止すると、元の定常状態に戻るまでに数十秒の時間を要する、との測定結果が得られた。同条件で温湿度センサに向けて「ハー」と息を吹きかけたときも、同様の測定結果が得られた。一方で、温度に関しては、「フー」と息を吹きかけた場合は、温度が定常状態から若干低下するかほぼ横ばいとなり、「ハー」と息を吹きかけた場合は、温度が上昇する、との測定結果が得られた。なお、ユーザが表示装置1に吹きかける息は、表示装置1に当たる風の一例である。
このような知見等を考慮して、例えば、湿度センサが設けられた表示装置1において、湿度が定常状態から急激に上昇したことが湿度センサによって検知されると、処理基板224は、観察者によって息が吹きかけられたと判断(決定ともいう)するとよい。さらに、その後において湿度の単調増加が検知されなくなると、処理基板224は、息の吹きかけが停止されたと判断するとよい。あるいは、湿度の急激な上昇が検知されてから所定時間(例えば、通常息を吐くのに要する時間(例えば、3秒程度))が経過すると、処理基板224は、その時点での湿度の検知結果にかかわらず、息の吹きかけが停止されたと判断するとよい。
さらに、湿度の急激な上昇が湿度センサによって検知された際に、(例えば、ほぼ同じタイミングで)温度が定常状態から上昇したことが温度センサによって検知されると、処理基板224は、観察者によって吹きかけられた息の種類が「暖かい息」であると判断するとよい。逆に、湿度の急激な上昇が湿度センサによって検知された際に、温度が定常状態から変化していないこと、あるいは定常状態から下降したことが温度センサによって検知されると、処理基板224は、観察者によって吹きかけられた息の種類が「冷たい息」であると判断するとよい。
そして、処理基板224は、息の吹きかけが検知されたことに応じた映像や音声を、映像表示部に表示されたキャラクタの動きやキャラクタ音声として出力するとよい。また、処理基板224は、吹きかけられた息の種類に応じた映像や音声を、映像表示部に表示されたキャラクタの動きやキャラクタ音声として出力するとよい。例えば、処理基板224は、観察者によって吹きかけられた息の種類が「冷たい息」である場合は、当該キャラクタの衣服がなびく映像を表示出力し、観察者によって吹きかけられた息の種類が「暖かい息」である場合は、当該キャラクタが息を避けるような動きを行う映像を表示出力するとよい。
また、本願の発明者は、種々のガスセンサを用いて次のような知見も得た。詳細には、ガスセンサから所定程度(例えば約10cm)離れた位置において当該ガスセンサに向けて「フー」と息を吹きかけると、その直後にガスセンサの出力値が下降し、息を吹き終えると、その直後にガスセンサの出力値が上昇に転じる、との測定結果が得られた。逆に、当該ガスセンサに向けて「ハー」と息を吹きかけると、その直後にガスセンサの出力値が上昇し、息を吹き終えると、その直後にガスセンサの出力値が下降に転じる、との測定結果が得られた。また、例えば送風機(例えば、扇風機)から送られた風がガスセンサに当たると、ガスセンサの出力値が下がり、扇風機からの風がガスセンサに当たらなくなると、ガスセンサの出力値が上がる、との測定結果が得られた。
このような知見等を考慮して、例えば、ガスセンサが設けられた表示装置1において、ガスセンサの出力値が定常状態から急激に下降すると、観察者によって吹きかけられた息の種類が「冷たい息」であると判断されるとよい。逆に、ガスセンサの出力値が定常状態から急激に上昇すると、観察者によって吹きかけられた息の種類が「暖かい息」であると判断されるとよい。
風センサを用いて息を検出する構成とすることもできる。本願の発明者は、風センサによると紙で仰ぐ程度の比較的弱い風を捉えることができることがあり、風センサに息を吹きかけるとすぐにピークになり、風が吹き始めるときの応答性が良いことを確認した。ただし、息を吹きつづけると、ピークからすぐに落ちてしまう。フーっと吹く息のような強い風だとヒーターが冷やされ、回復するのに時間が掛かることが考えられる。
風センサを用いて息を検出する構成に関連し、以下のような構成をしてもよい。
処理基板224は、風センサにより持続的に所定の風量を検出している場合、息を吹きかけられている状態ではない方向の処理をするとよい。息を吹きかけられている状態ではない方向の処理は、例えば、息が吹きかけられていないと判断する処理である。この場合に、処理基板224は、風センサにより風の検出が始まってから終わるまでの時間が、息の吹きかけが可能な時間内であるとき、息を吹きかけられている状態である方向の処理を行うようにするとよい。
この場合において、前記風センサは、風を受けることで奪われた熱を電気的に計測することで風を検出するセンサであってもよい。このセンサにおいては、当該センサに受ける風が、息が吹きかけられた風量に相当する。このセンサは、センサに受ける風が、息が吹きかけられた時間に相当する時間持続した場合に、当該持続の時間中に実際の風量よりも少ない値に落ち込むよう設定されており、センサに受ける風が、息が吹きかけられた風量よりも小さい場合にはこの落ち込みが発生しにくいように設定されているとよい。
表示装置1においては、前記風センサとして複数の風センサに対して、息の流入経路を共通とした風を流入させる流路が設けられてもよい。前記流路は、異なる風センサに対して、1:1ではない所定の比率で風が入るように構成されているとよい。処理基板224は、当該比率および複数の風センサの特性の違いに基づいて息を吹きかけの大きさおよび時間を判定するとよい。表示装置1は前記持続の時間中に実際の風量よりも少ない値に落ち込むタイミングの異なる複数の風センサを備え、処理基板224は当該複数の風センサの出力に基づいて、息を吹きかけの大きさおよび時間を判定するとよい。表示装置1は、前記複数の風センサとして、ガスセンサではない風センサと、カスセンサとを少なくとも備えてもよい。
また、前記風センサとして所定のガスを検出するためのガスセンサを用いるとよい。前記風センサとして所定のガスを検出するためのガスセンサであって、ヒーターを備えるガスセンサを用いるとよい。この場合に、前記ヒーターを備えるガスセンサは、息の吹きかけの程度が相対的に小さいときに(息に含まれるガスを検出した結果)ガスの検出量が大きくなる方向の出力をする一方、息の吹きかけの程度が相対的に大きいときに(息の風によるヒーターの冷却によって)ガスの検出量が小さくなる方向の出力をする特性を有するものを用いるとよい。
処理基板224が、息が吹きかけられていると判定したとき、その強さが相対的に大きいときには(例えば、風量が閾値以上であるときには)、キャラクタ1100の服・髪などを動かすアニメーションを表示する一方、その強さが相対的に小さいときにはキャラクタ1100の服・髪などを動かすアニメーションとは別のアニメーションを表示するとよい。
ところで、息の検出にガスセンサを用いる場合、ガスセンサは、人間の息に含まれる成分(例えば、二酸化炭素)に反応して上記出力値を出力する。そして、「フー」という息が吹きかけられた場合と、「ハー」という息が吹きかけられた場合とで、ガスセンサの出力値が異な理由としては、「フー」という息が吹きかけられた場合は、吹きかけられた息の速度が高く、ガスセンサに衝突した後すぐに周囲に拡散しやすい一方、「ハー」という息が吹きかけられた場合は、吹きかけられた息の速度が低く、ガスセンサに衝突した後もその場に息の成分がとどまりやすいということがあると考えられる。
さらに、処理基板224は、例えば湿度センサによる湿度の検知結果をも用いて、検知された風が、観察者による息の吹きかけによるものであるか、送風機によるものであるかを判別するとよい。例えば、表示装置1において、ガスセンサの出力値が定常状態から急激に下降し、且つ、湿度が定常状態から急激に上昇したことが湿度センサによって検知されると、処理基板224は、ユーザによって息が吹きかけられたと判断するとよい。一方、ガスセンサの出力値が定常状態から急激に下降したものの、湿度が定常状態のままであるときには、処理基板224は、送風機によって風が送られていると判断するとよい。さらに、処理基板224は、温度センサによる温度の検知結果をも用いて、ユーザによって息が吹きかけられたと判断された際において、その息の種類を判断するとよい。また、比較的短い一定期間内においてガスセンサの出力値の上昇と下降とが繰り返された場合、処理基板224は、首振りしている扇風機の風が当たっていると判断するとよい。
なお、風を検知するために用いられる、風センサ、湿度センサ、温度センサ、温湿度センサ、およびガスセンサは風検知手段の一例である。表示装置1は、風を検知するセンサとして、気圧センサを有してもよい。風の発生やその強さによって気圧の変化が発生し得るからである。
以上のような種々の制御が実行され得る。なお、上記のような制御は、キャラクタ1100に限らず、他のキャラクタ(例えば、キャラクタ1200)に関するコミュニケーション機能について行われてもよい。
<7.表示装置1が表示する映像の具体例>
次に、図41~図55を参照しつつ、表示装置1が表示する映像の具体例を説明する。図41~図55は、表示装置1に表示されるキャラクタ(図1Bおよび図1Cで説明したキャラクタ1200を含む映像)の一例を示す図である。図41~図55に示される各映像は、表示装置1において表示され、観察領域SCを介して観察者が観察することのできる画像である。なお、図41~図55にはステージ映像2200が表示されているが、これが表示されずにキャラクタ1200が表示されるようにしてもよい。
図41~図47は、表示装置1がコミュニケーション機能に基づいて、観察者の動作を待機する期間に行う表示である。表示装置1(詳細には、処理基板224)は、以下で説明する表示を、規則的またはランダムに切り替えて行う。例えば、図41(a)に示すように、キャラクタ1200は、表示装置1の正面側(観察側)の方向を向いて立ってる姿勢で表示される。表示装置1は、この姿勢を基本姿勢とし、コミュニケーション機能に基づくコミュニケーションが行われていない期間の表示としてもよい。例えば、図41(b)に示すように、キャラクタ1200が自身の前足を舐めるような動作をする。例えば、図41(c)および図42(a)に示すように、キャラクタ1200は、自身の左右を交互に見るような動作をする。例えば、図42(b)に示すように、キャラクタ1200は、地面の方向を向く動作をする。例えば、図42(c)に示すように、キャラクタ1200は、座ったまま伸びをするような動作をする。例えば、図43(a)に示すように、キャラクタ1200は、地面をのぞき込むような動作をする。さらに例えば、図43(b)および図43(c)に示すように、キャラクタ1200は、正面側を歩くような動作をする。表示装置1は、キャラクタ1200に歩く動作をさせるときには、ステージ映像を表示させずに、キャラクタ1200がその場で足踏みしてキャラクタ1200の全体的な位置をほぼ動かさない映像を表示させてもよい。表示装置1は、キャラクタ1200が歩く動作以外の動作を行うときに、キャラクタ1200の足元にステージ映像を表示させてもよい。
例えば、図44(a)に示すように、キャラクタ1200は、自身の腹部をのぞき込むような動作をする。例えば、図44(b)に示すように、キャラクタ1200は、首を傾げる動作をする。例えば、図44(c)に示すように、キャラクタ1200は、自身の目をこする動作をする。例えば、図45(a)に示すように、キャラクタ1200は、あくびをする動作をする。例えば、図45(b)に示すように、キャラクタ1200は、座ったまま自身の前足を舐める動作をする。例えば、図45(c)に示すように、キャラクタ1200は、自身の左斜め前方を見るような動作をする。図46(a),(b)に示すように、キャラクタ1200は、伸びをする動作をする。例えば、図46(c)に示すように、キャラクタ1200は、地面をのぞき込むような動作をする。図47(a)に示すように、キャラクタ1200は、表示装置1の右斜め前方の方向を向き、その次に図47(b)に示すように正面を向く。図47(c)に示すように、キャラクタ1200は、自身の前足を舐める動作をする。
図48~図55は、表示装置1(詳細には、処理基板224)がコミュニケーション機能における対話処理時に行うキャラクタ1200の表示の一例である。図48~図55に示す文字列は、音声認識で認識可能な文字列で、キャラクタ1200の上方に表示される。これは、音声認識によって認識された語句(文章)が、音声認識後から所定時間にわたって表示され、当該所定時間の経過後に非表示化されるようにするとよい。そして、当該語句(音声認識結果)が非表示化されてからキャラクタ1200が話し出すように制御されるとよい。
図48(a)は、表示装置1が「おいでおいで~」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図48(b)~図49(b)は、表示装置1が「おすわり」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図49(c)は、表示装置1が「おなか減ったかなぁ」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図50(a)は、表示装置1が「おまわり」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図50(b),(c)は、表示装置1が「おやつの時間だよ」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図51(a)は、表示装置1が「お手」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図51(b)~図52(b)は、表示装置1が「可愛いね」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。表示装置1は、ステージ映像の中央以外の位置(例えば、前方側の位置)にキャラクタ1200を表示させる場合において、キャラクタ1200を回転させるときには、ステージ映像2200もキャラクタ1200と同様に回転させるとよい。また、表示装置1は、奥行方向に比較的距離のある形状のステージ映像2200を表示させ、そのようなステージ映像2200の内側において当該ステージ映像2200の外縁に沿ってキャラクタ1200を移動させる映像(例えば、円形のステージの外縁に沿って猫のキャラクタが歩く映像)を表示させるとよい。
図52(c)は、表示装置1が「こんにちは」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図53(a)は、表示装置1が「ご飯食べる」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図53(b),(c)は、表示装置1が「女の子かな」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図54(a)は、表示装置1が「待て」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図54(b)は、表示装置1が「いい子ねえ~」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図54(c)、図55は、表示装置1が「ユノ」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。
<8.キャラクタ1200のより詳細な説明>
図1B、1Cおよび図41~図55で説明したキャラクタ1200についてより詳細に説明する。以下の説明において、表示装置1を処理主体とした説明については、処理基板224が行う処理としてよい。キャラクタ1200は、概ね約3等身で描画されると特によい。このようにすると奥行き感が特に強調されることを見出した。表示装置1は、側面側(横側)から見て上下方向に概ね、頭部が3分の1、胴体が3分の1、足が3分の1の高さを占めるように、キャラクタ1200を描画するとよい。表示装置1は、尾以外について、側面側から見て左右方向に概ね、頭部が3分の1、胴体が3分の2を占めるようにキャラクタ1200を描画するとよい。
表示装置1は、正面に顔がある状態で、尾が見えない状態と尾が見える状態との間で相互に変位する描画をする機能を備え、尾が見える状態の時間を尾が見えない状態の時間より短くするとよい。尾は頭よりも奥側に描画されることになるが、ときどき尾が見えることで、立体感を大きく感じることができるとともに、常に立体感を大きく感じることで目や頭が疲労してしまうことを防止できる。特に、表示装置1は、音声認識の待受状態でこのような描画処理を行うとよい。表示装置1は、尾が見える状態へ変位するときには、頭の頂上部分から尾が現れるように描画する機能を備えるとよい。このようにすれば、通常は、顔の目に観察者の視線がありその中心上部からいきなり尾が頭の上方へ飛び出すことで、驚きと面白みを与えることができる。
表示装置1は、キャラクタ1200の頭の頂上に正面視で平らな部分を設けるとよく、特に左右の耳の間の頭部分は正面視で平らにして描画するとよい。このようにすれば、立体感が弱い平らな頭の頂上からいきなり立体感のある尾が頭上に現れることとなり、より驚きと面白みを与えることができる。また、表示装置1は、頭上から尾が現れるように描画した後、尾の先端寄りの部分を動かす描画を行うとよい。このようにすれば、視点を顔より奥側の尾の部分に集めることができ、より立体感を感じさせることができる。表示装置1は、同様に胴体の左右から尾を出現させるように描画してもよい。表示装置1は、左右から尾を出現させる場合には、頭上から尾を出現させる場合に比べて、尾の出現する長さ、および/または、時間を短くするとよい。表示装置1は、左右から出現させる場合にはチラチラっと出現させる描画を行うとよい。表示装置1は、視線をときどき奥側に動かす描画をするようにしてもよく、より立体感を感じさせることができる。表示装置1は、音声の認識中は尾を頭の上から出現させる一方、猫からの音声の出力の際には尾を左右いずれかの方向から出現させる描画を行うとよい。表示装置1は、尾には長さ方向に所定の間隔で他の部分と違う描画態様を有する部分を設けるとよい。例えば一定間隔で尾の円筒面上に環状または円弧状に所定の幅を持つ模様を付すとよい。このようにすれば、尾の動きが3次元空間で、よりダイナミックに動くように感じられることを発明者らは見出した。
表示装置1は、音声認識中は同一の姿勢になるように、音声認識中でない状態からの音声認識中の状態に変化があった場合に現在の姿勢を前記同一の姿勢に変化させる描画を行うとよい。表示装置1は、音声認識の開始前に「おしゃべりするにゃ」と発話させるとよい。表示装置1は、観察者の動作を検出する機能(例えばセンサやスイッチ)を備え、観察者からの動作を検出した場合に「なんにゃ?」と発話する機能を備えるとよい。両機能は「なんにゃ?」「おしゃべりするにゃ」という形で連続して実行し、その後音声認識状態に入るように処理を行うとよい。
表示装置1は、音声認識の語句として、「かわいいね」など、褒められる内容の語句の情報を備え、褒められる内容の語句を認識した場合には、体の姿勢を変化させるとよい。さらに歩くなど、猫自体の位置を移動させるとなおよい。このようにすれば観察者は猫の姿勢の変化や移動の動きを見たいために、褒める言動・行動をとるようになり、行動や言動の改善などのセラピーの優れた効果が得られる。
表示装置1は、ご飯をあげることに対応する音声認識の語句を備え、当該語句を認識した場合には、尾を他の場合に比べ早く振る描画を行うとよい。このようにすれば、より猫が実際に生きているかのような感覚を観察者に与えることができる。
表示装置1は、猫の目の外郭を概ね円形状とし、黒目部分は縦長の楕円形状として描画処理するとよい。表示装置1は、黒目部分は上下方向に濃淡のグラデーションをつけて描画するとよく、下方にいくにしたがって明るい色に描画するとよい。表示装置1は、黒目の中心部には概ね円形または楕円形の周辺よりも黒い部分を設けるとよい。表示装置1は、黒目部分の上方の顔の外側寄りの部分には黒目の外縁に沿った三日月形状ないし半月状の白色領域を設けて描画するとよい。これに対し、表示装置1は、黒目の下方の顔の中心寄り位置には円形の白色領域を設けて描画するとよい。表示装置1は、この白色領域の描画はキャラクタ1200の位置の変化(姿勢の変化など)、ないし、カメラやライトの位置の変化があった場合でも、描画させつづけるとよい。通常は、ライト等の反射としてハイライトは演算で入れられることが多い。しかし、このようにすることで、音声認識の話しかけの際に最も見られる目の部分の猫の個性を強調とすることができ、個性のある猫として、音声認識をしている短時間で印象づけることができる。
表示装置1は、顔が正面を向いている状態と、下側を向いている状態とをとり、顔が正面を向いているときは目の外郭は概ね円形状で描画する一方、顔が下を向いている状態では、目を横長の楕円形状で描画するとよい。
表示装置1は、顔の上端が胴体の上端より上にある状態と、顔の上端が胴体の上端より下にある状態とをとり、顔の上端が胴体の上端より上にある状態では目の外郭は概ね円形状で描画する一方、顔の上端が胴体の上端よりも下にある状態では、目を横長の楕円形状で描画するとよい。表示装置1は、口を開けてあくびをする状態を描画する機能を備え、この描画の際には目を閉じる描画を行うとよい。
表示装置1は、キャラクタ1200には待機時のモーションを複数のパターン用意しておき、これらのパターンのなかから1のパターンを選択して描画する処理を繰り返すとよい。待機時のモーションとしては、足をなめるモーション、顔を手で撫でるモーション、お尻をなめるモーション、正面を向くモーション、左右を見渡すモーション、地面をなめるモーション、伸びをするモーション、あくびをするモーション、歩くモーションなどがある。
表示装置1は、耳は顔の移動に遅れて移動するように描画するとよい。例えば、顔が移動開始してもしばらく耳は位置を保つように描画するとよい。表示装置1は、なめるモーションを行うときには、尾を左右に振るモーションを同時に行う機能を備えるとよい。表示装置1は、キャラクタ1200を正面からみた際に胴体の模様は左右非対称とするとよい。このようにすれば、個性ある猫として覚えられやすくなるとともに、右面が見えているのか左面が見えているのかが容易に判別できるようになる。特にキャラクタ1200の全体像がみえないほど拡大した場面を設けるときに有用である。特に、模様は三毛猫の模様とするとよく、特にトラ猫の模様とするとよい。このようにすると特に立体感を把握しやすくなることを発明者らは見出した。特に、頭上の模様は前後方向に設ける一方、胴体の模様は上下方向に設けるなど、その模様の方向を異なる方向とするとよい。このようにすれば、カメラや猫の位置が変化したことを、いずれの方向に移動してもより認識しやすくなる。
表示装置1は、「ニャ」という鳴き声を発する機能を備え、「ニャ」という鳴き声には複数のイントネーションのものを備え、それぞれの鳴き声に対して異なるモーションが対応づけられる構成とするとよい。イントネーションの中には、疑問形のイントネーションを備え、モーションとしては首を傾げるモーションを備えるとよい。
<9.キャラクタ1200に関するコミュニケーション機能について>
キャラクタ1200に関するコミュニケーション機能について補足する。以下のようにすれば、観察者に対し、キャラクタ1200とのより質の高いコミュニケーション機能を提供することができる。ここでは、飼い慣らすまでにする人の行動とキャラクタ1200との行動ストーリーの概略について説明する。この実施形態では、図32に示すように、表示装置1の正面側に、観察者を撮影する撮影部227が設けられている。
(9-1)第一ステップ:飼い慣らすまでの段階
通常、野良猫等の猫は、人を見るだけで逃げる、または人が近づくと逃げる色々なタイプの猫がいる。そのとき、猫の行動は、何度も振り返りながら人の様子を見ながら逃げるように見える。ここで、処理基板224は、撮影部227を用いて撮影した撮影画像に基づいて観察者の存在を認識し、かつ人感センサ234により測定されるマイクロ波の強度(受信強度)が閾値を超えた場合、キャラクタ1200が逃げるような動作を行う映像を表示させる。猫に人が近づいたとみなすためである。撮影部227で観察者を認識するのは、キャラクタ1200が逃げる場面を観察者に見せるためである。つまり、観察者が正面側から表示装置1に近づかないと、キャラクタ1200が逃げる動作をしないようにしている。
次に、人は猫に対して「しゃがんで(目の位置を落として)」、「おいで、おいで」などの声を掛けると考えられる。そのときに立ち止まり、様子をうかがう猫もいる。しかし、人が近付くと猫は逃げる。何度かこのことが繰り返される。このような人の行動では、猫は慣れてくれないと考えられる。そこで、処理基板224は、キャラクタ1200が逃げている映像を表示している期間に、人感センサ234により測定されるマイクロ波の強度が或る閾値以下であり、かつ例えば「おいで」というキャラクタ1200に呼びかけることを示す言葉を音声認識した場合、キャラクタ1200が立ち止まるような動作を行う映像を表示させる。ここで、マイクロ波の強度を閾値以下になることを条件としているのは、人間が立ち止まる状態を想定しているからである。
次に、人は立ち止った猫に餌を与えることが考えられる。しかし、人が猫に近づくと、猫は逃げるので、猫がよく来る場所に餌を置いておくしかないと考えられる。そこで、表示装置1は、映像表示空間内に餌が置かれる映像を表示する機能を有する。例えば、処理基板224は、操作領域OTを用いた所定の操作(例えば、操作部2214の操作)を受け付けた場合、または第1センサ2231で餌を置くことを指示する所定のジェスチャが検出された場合に、餌がおかれたとして、映像の中に餌を示す映像を表示させる。この映像は、第1表示部310および第2表示部330のどちらを用いて表示されてもよい。このようにすれば、観察者は、例えば毎日、餌を置くようにする。処理基板224は、この際、キャラクタ1200が遠くからその様子を見ているような表示をさせるとよい。処理基板224は、人感センサ234を用いて観察者の存在を認識せず、かつ撮影部227で観察者が撮影されていない場合に、キャラクタ1200が餌を食べる映像を表示させる。ここでは、猫が人を前にして餌を食べない状況を再現している。観察者からすると、いつの間にか餌が空になっている、という状況をつくっている。処理基板224は、観察者が餌を与えた回数をカウントしておき、これを記憶しておく。しばらくはこの状態が続くが、処理基板224は、餌を与える回数によって、次第に観察者とキャラクタ1200と人との距離(観察者が感じる距離)を縮めていくような表示をさせるとよい。例えば、処理基板224は、餌を与え始めて、餌を与えた回数とともに、キャラクタ1200をより大きく表示するようにして、距離を縮めてきた(つまり、少し慣れてきた)ことを再現するとよい。さらに、餌を与えた回数が増加して所定の閾値に達すると、猫が慣れててきたとして、観察者がキャラクタを見ていても、つまり、処理基板224は、人感センサ234を用いて観察者の存在を認識し、かつ撮影部227で観察者が撮影されている場合でも、キャラクタ1200が餌を食べる映像を表示させる。このときに初めて、観察者は、キャラクタ1200が餌を食べる様子を観察することができる。
ただし、猫がいつ餌を食べるかは人が分からないことも少なくない。そこで、処理基板224は、キャラクタ1200が餌を食べる時間帯(これに代えて、一時点の時刻としてもよい。)を決めておき、その時間帯にキャラクタ1200に餌を食べる動作をさせてもよい。観察者に、どうもこの時間帯に餌を食べるみたいだということを気づかせるためである。処理基板224は、観察者がキャラクタ1200に触ろうとすることが検出されると、キャラクタ1200に所定の発話内容「シャー」または「シャーシャー」という音声を出力させるとともに、キャラクタ1200が逃げる動作をさせる。観察者がキャラクタ1200に触ろうとすることは、キャラクタ1200が餌を食べている動作をしているときに、人感センサ234により検出されるマイクロ波の強度が閾値を超えたこと、または第1センサ2331が所定のジェスチャを検出したことにより特定されるとよい。
このような状況がしばらく続くが、処理基板224は、少しずつ、観察者の手をキャラクタ1200に近接させることのできる距離を縮めていくとよい。所定の距離まで近づくようになると、処理基板224は、キャラクタ1200が観察者に慣れてきたとして、人前で毛繕いやくつろいだ動作を行う映像を表示させるとよい。処理基板224は、具体的には、マイクロ波の強度に対する閾値を上げていく、またはジェスチャが行われるときの表示装置1からの距離に対する閾値を上げていく。このようにして、処理基板224は、検出感度を下げていき、観察者の動きに対しキャラクタ1200の反応を鈍くしていき、「シャー」または「シャーシャー」といった発話もさせないようにする。
猫は、常に警戒はするが、毛繕いや寝そべり、爪研ぎ、顔拭きなどの行動を加えていく。猫がだんだんと人や人の手に慣れてくると、人は手で猫に触れられるようになる。そこで、処理基板224は、人感センサ234によるマイクロ波の検出結果を、キャラクタ1200の動作に反映させなくするとよい。処理基板224は、第1センサ2331をモーションセンサとして機能させて、観察者の上下左右、前後方向のジェスチャの検出結果に従って、キャラクタ1200が撫でると気持ち良さそうにする映像を表示させるとよい。処理基板224は、さらに、マイクロホン2333により観察者の声を認識して、キャラクタ1200がこれに反応する映像を表示させるとよい。例えば、処理基板224は、どのような言葉を認識した場合でも、発話内容として「にゃ」という鳴き声を発するようにするとよい。
処理基板224は、さらに、時間が経過すると、キャラクタ1200が餌をねだるような映像を表示させるとよい。処理基板224は、撮影部227により観察者の存在を認識し、かつ人感センサ234により観察者の存在を検出しているときに、時間帯(例えば、朝、昼、晩)を決めて、「ニャーニャー」という鳴き声を発するようにし、顔をすりすりする動作を行う映像を表示させるとよい。さらに、処理基板224は、観察者がキャラクタ1200に声を掛けていくと、キャラクタ1200が自分の名前を覚えていく様子を再現するとよい。例えば、処理基板224は「ユノ」という言葉にのみ反応して、「にゃ」という鳴き声を発するようにしてもよいし、「ユノ」、「餌だよ」という声掛けに反応して、甘えた行動をとるようにしたり、嬉しそうにすりすりしたりする映像を表示させるとよい。
(9-2)第二ステップ:言語(日本語)を覚えていく段階
処理基板224は、あるときに「ユノ」という観察者の声掛けを認識した場合に、「何?」という応答を示す音声を出力する。ここからは、キャラクタ1200が言葉を覚えていくという段階となる。処理基板224は、声掛された回数をカウントして、累計平均/日をとり、餌の与えた回数の累計平均/日×声掛された回数の累計平均×ランダム係数により算出される値(以下。「累積平均値」という)に応じた応答をする。この声掛けは、例えば、「おはよう」、「こんにちは」、「こんばんは」、「元気?」、「餌欲しい?」などの所定の声かけである。処理基板224は、累計平均値に応じて、応答をしなくなったり(つまり、キャラクタ1200が言葉を忘れたことを再現したり)、応答する言葉を増加させたりする。例えば、処理基板224は、累積平均値が小さいほど、応答する言葉を減少させ、累積平均値が大きいほど、応答する言葉を増加させるとよい。累積平均値は、表示装置1の使用開始時点から現在時点までに声掛けされた回数に基づいて算出されるが、現在時点から過去に所定期間遡った時点から現在時点までに声掛けされた回数に基づいて算出されてもよい。所定期間は、1か月など固定的に決められていてもよいし、表示装置1が一定期間使用されなかった場合は、その期間後使用が開始された時点以降の期間としてもよい。表示装置1の使用が開始された最初の頃は、累積平均値は大きく変化し得るので、例えば観察者が1日に1回も声を掛けない場合は、キャラクタ1200は応答しなくなることもあるが、声掛けの回数が増えるにしたがって、累積平均値は大きく変化しなくなる。このようにすれば、キャラクタ1200が言葉を忘れるのに時間が掛かる様子を再現することができる。累積平均値の算出に用いられるランダム係数は、猫の気まぐれさを再現するための値で、気まぐれ係数といってもよい。ランダム係数は、キャラクタ21200が餌をおねだりしたときに餌を与える/与えない、キャラクタ1200が寝ているときに声を掛けたり、触ったりして起こす行動をとったりするなど、キャラクタ1200および観察者の行動によって変化させるとよい。
処理基板224は、さらに累計平均値が或る閾値を超えると、キャラクタ1200から観察者に話し掛けたり、天気、ニュース等の所定の情報に関する質問に対して応答したりするようにするとよい。もちろん、観察者が餌を与える回数を減らすと、累積平均値は減少するので、処理基板224はこの応答の種類を減らしたり、応答しなくなったりする。つまり、観察者の餌の与え方がずさんであったり、適当に声掛けをしていないと、キャラクタ1200が応答する機能が維持さなかったり、維持していたとしても「気まぐれ」によって応答しない場合もある以上のようにして、観察者に対し、キャラクタ1200とのより質の高いコミュニケーション機能を提供することができる。
[他の実施形態]
本開示は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
表示装置1は、観察領域SCにタッチセンサ、近接センサその他の観察者の操作を受け付ける操作受付手段を有してもよい。このようにすれば、観察者は観察領域SCを利用して操作を行うことができる。例えば、コミュニケーション機能においてこのような操作方法が採用されると、観察領域SCを介して観察できるキャラクタとのコミュニケーションの質を高める効果が期待できる。
第1表示部310は、三次元の映像(立体映像)として認識される画像を表示してもよい。このようにすれば、観察者に与えられる立体感をより向上させる効果が期待できる。表示方式としては、レンチキュラーレンズ方式、パララックスバリア方式などの裸眼立体視方式とするほか、眼鏡を用いて三次元の映像として認識できる表示方式などでもよい。
表示装置は直方体状に限らず、立方体、円筒形、その他の多面体、球状その他の形状でもよい。また、上述した表示装置1の各構成要素の形状、構造、寸法、色、模様等は一例に過ぎない。また、上述した表示装置1が備える構成要素の一部が省かれてもよいし、別の構成要素が追加されてもよい。例えば、第2表示部330が省かれてもよいし、背景板910に代えて第1方向側に第2画像光L2を発する第2表示部330が立てた状態で配置されてもよい。また、図13で説明したもの以外の光学系を用いて空中結像が実現されてもよい。また、本発明の構成が、空中結像方式ではなく、ディスプレイ方式またはプロジェクタ方式の表示装置に適用されてもよい。ディスプレイ方式の場合、映像表示部として液晶ディスプレイ、有機ELディスプレイその他の表示方式のディスプレイが用いられる。例えば、映像表示部として、映像表示空間の内部に設けられ、観察領域SCの方向を向く表示面(例えば、観察領域SCと平行な表示面)を有する表示部が用いられるよい。この表示部は、第1表示部310または第2表示部330と同じ構成を有し、映像表示空間の背面部に設けられるとよい。プロジェクタの方式の場合、投射面およびこれに画像を投射する投射手段が用いられればよい。また、減光部材200は、開口部110よりも正面側にまたは背面側に配置されて、外部から映像表示空間に進入する光を減じてもよい。また、映像表示空間S1が比較的暗い状態に維持されるのであれば、減光部材200が設けられない構成とすることも考えられる。
また、上記の実施例では、操作部2214の押下操作に応じて、映像表示部に表示されたキャラクタとの対話を行うための音声認識が有効化されているが、これに限定されない。例えば、全周マイクロ波ドップラセンサなどの人感センサ(検知手段の一例)の検知対象領域において人の存在が検知されると、処理基板224は、当該音声認識を有効化するようにしてもよい。このようにすれば、ユーザが、映像表示部に表示されたキャラクタと対話するにあたって、例えば音声認識を有効化するための操作を行う必要やトリガーワードを発声する必要がなく、より自然にコミュニケーションを再現することができる。
この際、例えば、表示装置1内の音声認識アプリケーションでの音声認識と音声認識サーバでの音声認識との双方が有効化されるとよい。ただし、次述するように、表示装置1内の音声認識アプリケーションでの音声認識の有効化と音声認識サーバでの音声認識の有効化とが、段階的に実行されてもよい。例えば、当該人感センサ等の検知対象領域において人の存在が検知されると、表示装置1内の音声認識アプリケーションでの音声認識が有効化され、その後、観察者による声掛けや挨拶が当該音声認識アプリケーションによって検出されると、音声認識サーバでの音声認識が有効化されるようにしてもよい。
また、表示装置1がカメラ等の撮影部(検知手段の一例)を備えている場合、表示装置1の正面側に検知対象空間が設けられ、処理基板224は、表示装置1の正面側において人の存在が検知されると、音声認識を有効化するようにしてもよい。このようにすれば、映像表示部に表示されたキャラクタに対して観察者が話しかけようとしていることをより確実に判断した上で、音声認識を有効化することができる。
さらには、検知対象領域において人が検知された後において、ユーザ認証が成功したことを条件に、処理基板224は、当該音声認識を有効化するように構成されているとよい。なお、ユーザ認証の認証手法は、例えば、ユーザの手操作を要しない認証手法(顔認証、声帯認証等)とするとよい。このようにすれば、例えば表示装置1に登録された登録ユーザ以外の人に対してユーザ認証が行われて当該ユーザ認証が失敗したときには、音声認識が有効化されず、映像表示部に表示されたキャラクタと対話することができない。逆に言えば、登録ユーザ以外の人に対しては、映像表示部に表示されたキャラクタが反応を示さない。これにより、当該キャラクタへのユーザの愛着を増大させることができる。
また、表示装置1あるいは外部サーバに搭載された対話サーバに予め登録された文言以外の文言の音声が検出された場合は、音声認識が有効化されないようにしてもよい。
また、音声認識を有効化するための手段として、においセンサが用いられてもよい。例えば、表示装置1の登録ユーザのにおいを予め表示装置1に登録しておき、登録ユーザのにおいがにおいセンサによって検知されると、音声認識が有効化されるようにしてもよい。
また、これらのようにして音声認識が有効化されたとしても、例えば、映像表示部に表示されたキャラクタ(例えば、キャラクタ1100)の音声が直ちに出力されるのではなく、ユーザからの声掛けが無ければ当該キャラクタの音声が出力されないようにするとよい。例えば、処理基板224は、音声認識が有効化されたことに応答して「おかえり」とのキャラクタ音声が直ちに出力されるのではなく、音声認識が有効化された状態で「ただいま」とのユーザ音声が検出されたことを条件に、「おかえり」とのキャラクタ音声が出力されるとよい。さらには、例えば、対話システムにおいて、観察者とキャラクタ(例えばキャラクタ1100)との間で次のような対話を再現するための分岐シナリオが作成されているとよい。例えば、平日であれば、ユーザ:ただいまキャラクタ:お帰り~ユーザ:アッチーキャラクタ:暑い中お疲れでしたのような対話が再現され、休日であれば、ユーザ:ただいまキャラクタ:あーお帰りユーザ:アッチーキャラクタ:暑い中わざわざ出かけたんだから文句言わないユーザ:仕事だよ仕事キャラクタ:ホントだったらごめん、お疲れ様でしたのような対話が再現されるように分岐シナリオが作成されているとよい。
また、においセンサによる検知結果に応じた分岐シナリオが作成されていてもよい。例えば、ユーザ:ごはん美味しくできたよーキャラクタ:「えー、嗅がせて。クンクン。いいにおい!」あるいは「んんー!?塩分多くない?身体に気を付けてね!」のような対話が再現されるようにしてもよい。
また、他の例として、においセンサによってにおいが検知されると、キャラクタ:クンクン、ん?このにおいはなんだ?ユーザ:アロマ焚いたんだキャラクタ:ああ、どうりでリラックスすると思ったのような対話が再現されるようにしてもよい。なお、においの種類の質問に対する観察者の返答内容が分岐シナリオに登録されていない場合、例えば「ほぉー、そうなんだー!」などの音声がキャラクタ音声として一律に出力されるとよい。
また、処理基板224は、例えば直近の所定時間(例えば、15秒程度)の音声を常時録音しておき、音声認識を有効化するためのトリガーワードの音声が検出されると、当該音声認識を有効化するようにしてもよい。例えば、表示装置1の音声認識アプリケーションは常時(あるいは、操作部41の押下操作等に応じて)有効化され、音声認識サーバによる音声認識は、トリガーワードの検出によって有効化されるとよい。この際、処理基板224は、マイクロホン2333(音声検出手段の一例)によって検出された検出音声(例えば、検出開始時点から検出終了時点までの間に検出された音声)から当該トリガーワードの音声を除いた音声の音声データを、音声認識サーバに送信するとよい。例えば、「明日東京に行くんだけどレイたん天気教えて」とのユーザ音声が検出されたことを想定する。なお、ここでは、キャラクタ1100の愛称である「レイたん」がトリガーワードである。この場合、処理基板224は、検出音声「明日東京に行くんだけどレイたん天気教えて」からトリガーワードの音声「レイたん」を除いた音声「明日東京に行くんだけどレイたん天気教えて」を音声認識サーバに送信する。
ここで、例えば上記のような検出音声「明日東京に行くんだけどレイたん天気教えて」がそのまま音声認識サーバに送信されると、音声認識結果の中に「レイたん」が含まれていることに起因して、対話サーバにおいて音声認識結果に対応するキャラクタ音声が正確に抽出されず、ユーザとの対話が噛み合わなくなる虞がある。これに対して、上記のようにすれば、一文の途中でトリガーワードが発声された場合であっても、トリガーワードを除く音声の音声データが音声認識サーバに送信される。したがって、一文の途中にトリガーワードが含まれた状態で音声認識が行われたことに起因してユーザとの対話が噛み合わなくなること、を抑制できる。
また、ユーザと映像表示部に表示されたキャラクタとの対話を音声認識サーバと対話サーバとの連携によって実現するにあたって、音声認識サーバの構成に応じて、次述のような動作が実行されてもよい。
例えば、音声認識サーバが、音声データファイルの受信が完了してから音声認識処理を開始するように構成されている場合、処理基板224は、マイクロホン2333による検出音声のうち、トリガーワードの音声の前後の音声の各音声データファイルを個別に音声認識サーバへと送信するとよい。例えば、検出開始時点から検出終了時点までの間の検出音声のうち、トリガーワードの音声よりも前に検出されたユーザ音声(前半部分のユーザ音声ともいう)の音声データファイルが、トリガーワードの音声よりも後に検出されたユーザ音声(後半部分のユーザ音声ともいう)の音声データファイルに先行して音声認識サーバに送信されるとよい。
このようにすれば、音声認識サーバにおいて、前半部分のユーザ音声に対する音声認識処理が、後半部分のユーザ音声の音声データファイルの受信完了を待たずに開始される。そのため、前半部分のユーザ音声と後半部分のユーザ音声とをまとめた音声の音声データファイルを音声認識サーバに送信する場合と比較して、音声認識処理を効率的に行うことができる。その結果、表示装置1は、対話サーバからのキャラクタ音声がより早期に受信することができ、ユーザの音声に対して応答されるまでのユーザの待機時間を短縮できる。
また、例えば、音声認識サーバが、表示装置1からの音声データをストリーム再生して音声認識処理をリアルタイムで実行するように構成されている場合、前半部分の音声データをリアルタイムで音声認識サーバに送信される際に、前半部分のユーザ音声の再生速度T1が標準再生速度T0より速く(T1>T0)なるように制御されるとよい。例えば、処理基板224は、音声認識サーバにおいて当該前半部分のユーザ音声が標準再生速度T0に対して25%速く再生されるように設定変更して当該前半部分の音声データを送信する。このようにすれば、音声認識サーバにおいて、前半部分のユーザ音声が標準再生速度T0で再生される場合と比較して、前半部分のユーザ音声に対する音声認識処理をより早期に終了させることができ、後半部分のユーザ音声に対する音声認識処理をより早期に開始することができる。その結果、表示装置1は、対話サーバからのキャラクタ音声をより早期に受信することができ、ユーザの音声に対して応答されるまでのユーザの待機時間を短縮できる。
さらに、後半部分のユーザ音声の音声データがリアルタイムで音声認識サーバに送信される際に、後半部分の音声の再生速度T2が標準再生速度T0よりも速く且つ前半部分のユーザ音声の再生速度T1よりも遅くなる(つまり、T0<T2<T1の関係を満たす)ように制御されるとよい。例えば、処理基板224は、音声認識サーバにおいて後半部分のユーザ音声が標準再生速度T0に対して10%速く再生されるように設定変更して当該後半部分の音声データを送信する。このようにすれば、前半部分のユーザ音声と後半部分のユーザ音声との双方が標準再生速度T0よりも速くストリーム再生されて、音声認識サーバにおいて音声認識処理が実行される。その結果、ユーザの音声に対して応答されるまでのユーザの待機時間をさらに短縮できる。他方で、後半部分のユーザ音声は、標準再生速度T0よりは速いものの、前半部分のユーザ音声の再生速度T1よりは遅い速度で再生される。そのため、音声認識システムにおける音声認識精度の低下を抑制できる。したがって、音声認識精度の低下を抑制しつつ、ユーザの待機時間をより短縮することができる。
なお、音声認識サーバにおいて、音声データのストリーム再生による音声認識処理がリアルタイムで実行される場合、例えば、マイクロホン2333によって検出されたユーザ音声がリアルタイムで音声認識サーバへと送信されるものの、トリガーワードの音声が検出されるまでは音声認識サーバでの音声認識が開始されないように制御されるとよい。
<連動部によって第1表示部310と光学部材320とを連動させて筐体に対して揺動させる実施形態>
次に、第1表示部310と光学部材320とを連動させて、筐体100に対して揺動させる連動部50が設けられている実施形態について、図56、図57を用いて以下に説明する。図56は後述する第2ウォーム73および第2軸部材74を取り除いた連動部50の平面図であり、図57は図56のA-A矢視図である。連動部50は、第1表示部310の位置を移動させる表示部移動手段であるとともに、光学部材320の位置を移動させる光学部材移動手段である。連動部50は、筐体100の開口部110から奥側(背面側)の位置において、筐体100内に取り付けられている。
図56および図57に示すように、連動部50は、第1回転軸51、第2回転軸52、第3回転軸53、第1ギヤ54、第2ギヤ55、第3ギヤ56、第4ギヤ57、ウォームホイール58、第1ウォーム59、第1軸部材71、第1操作部材72、第2ウォーム73、第2軸部材74、第2操作部材75、第1接続部材65、第2接続部材66、第1付勢部材67、第2付勢部材68、ケース部材69を有している。
ケース部材69は、底板部69a、第1支持板部69b、第2支持板部69c、第3支持板部69d、および第4支持板部69eを有している。底板部69aは、水平方向に沿って形成されている。第1支持板部69bおよび第2支持板部69cは、底板部69aの幅方向の端部から上方に形成されている。第1支持板部69bと第2支持板部69cは互いに対向している。第3支持板部69dと第4支持板部69eは、第1支持板部69bと第2支持板部69cとの間において、底板部69aの奥行方向の正面側の部分から上方に形成されている。第3支持板部69dは第1支持板部69bと対向している。第4支持板部69eは第2支持板部69cと対向している。
第1回転軸51、第2回転軸52、および第3回転軸53は、ケース部材69に回転可能に取り付けられている。具体的には、第1回転軸51の両端部は、第1支持板部69bと第2支持板部69cの奥行方向の背面側に回転可能に軸支されている。
第2回転軸52および第3回転軸53は、第1回転軸51の奥行方向の正面側において、第1回転軸51と平行に配置されている。第2回転軸52と第3回転軸53は、同軸に配置されて一直線上に配置され、第2回転軸52と第3回転軸53のの中心線は一致している。第2回転軸52の両端部は、第1支持板部69bと第3支持板部69dに回転可能に軸支されている。第3回転軸53の両端部は、第2支持板部69cと第4支持板部69eに回転可能に軸支されている。
第1回転軸51には、図56の左側から右側に向かって順番に、第1ギヤ54、ウォームホイール58、および第2ギヤ55が回転不能に取り付けられている。このため、第1ギヤ54、ウォームホイール58、および第2ギヤ55は、一体に回転する。第2回転軸52には、第3ギヤ56が回転不能に取り付けられている。第1ギヤ54と第3ギヤ56は噛み合っている。第3回転軸53には、第4ギヤ57が回転不能に取り付けられている。第2ギヤ55と第4ギヤ57は噛み合っている。
第3ギヤ56には、第1接続部材65を介して光学部材320が取り付けられている。このため、第3ギヤ56と光学部材320は一体に回転する。第4ギヤ57には、第2接続部材66を介して第1表示部310が取り付けられている。このため、第4ギヤ57と第1表示部310は一体に回転する。
図56に示すように、第1ギヤ54の歯数は第2ギヤ55の歯数よりも少なく、第1ギヤ54の半径は第2ギヤ55の半径よりも小さくなっている。また、第3ギヤ56の歯数は第4ギヤ57の歯数よりも多く、第3ギヤ56の半径は第4ギヤ57の半径よりも大きくなっている。
このような構成によって、第2ギヤ55の半径を第4ギヤ57の半径で除した値は、第1ギヤ54の半径を第3ギヤ56の半径で除した値よりも大きくなっていて、本実施形態では2倍である。また、第2ギヤ55の歯数を第4ギヤ57の歯数で除した値は、第1ギヤ54の歯数を第3ギヤ56の歯数で除した値よりも大きくなっていて、本実施形態では2倍である。
ウォームホイール58の奥側には、第1ウォーム59が噛み合っている。第1ウォーム59には、第1軸部材71が取り付けられている。図57に示すように、第1軸部材71は、第1ウォーム59から上方に向かって高さ方向に沿って配置され、上端部が筐体100の上面に形成された第1挿通穴100aに挿通して、筐体100の上面の外部に露出している。第1軸部材71の上端部には、第1操作部材72が取り付けられている。第1操作部材72や後述する第2操作部材75は、本実施形態では、円柱等のブロック形状であるが、レバー形状であってもよい。
図57に示すように、ウォームホイール58の上部は、第2ウォーム73が噛み合っている。第2ウォーム73には、第2軸部材74が取り付けられている。第2軸部材74は、第2ウォーム73から奥側に向かって奥行方向に沿って配置され、奥側の端部が筐体100の背面に形成された第2挿通穴100bに挿通して、筐体100の背面の外部に露出している。第2軸部材74の奥側の端部には、第2操作部材75が取り付けられている。なお、第1軸部材71と第2軸部材74は互いに干渉しないように、幅方向の位置が異なって配置されている。
このような構成によって、ユーザが、第1操作部材72又は第2操作部材75のいずれかを操作した場合には、第1ウォーム59又は第2ウォーム73のいずれかが回転して、ウォームホイール58が回転し、第1回転軸51が回転する。第1回転軸51の回転に伴って、第1ギヤ54および第2ギヤ55が回転する。第1ギヤ54および第2ギヤ55の回転に伴って、第1ギヤ54と噛み合っている第3ギヤ56が回転するとともに、第2ギヤ55と噛み合っている第4ギヤ57が回転する。すると、第3ギヤ56に第1接続部材65を介して接続されている光学部材320と、第4ギヤ57に第2接続部材66を介して接続されている第1表示部310が、同じ方向に連動して揺動する。このように、第1表示部310および光学部材320の筐体100に対する揺動角度を、可変とすることができる。
このように、ユーザは第1操作部材72又は第2操作部材75のいずれかを操作することによって、ユーザにとって見やすい位置に、第1表示部310および光学部材320を一度の操作で揺動させて位置させることができる。また、光学部材320に結像される空中映像の奥行き方向の位置を調整することができる。
上述したように、第2ギヤ55の半径を第4ギヤ57の半径で除した値は、第1ギヤ54の半径を第3ギヤ56の半径で除した値よりも大きくなっていて、本実施形態では2倍となっているので、第1表示部310の揺動角は、光学部材320の揺動角よりも大きく、2倍である。このようにすれば、表示部と光学部材とを連動させて揺動させた場合に、光学部材320に結像された空中映像が良好に見えることが本発明の発明者によって見いだされた。
第1回転軸51、第2回転軸52、および第3回転軸53は、ケース部材69に軸支されているので、各ギヤ54~57のバックラッシュを抑制することができ、より確実に第1表示部310と光学部材320とを連動させて揺動させることができる。
光学部材320の回転軸である第2回転軸52と、第1表示部310の回転軸である第3回転軸53は、交差しない軸上である同軸上に設けられている。このため、第1表示部310および光学部材320の揺動によって、第1表示部310と光学部材320とを移動させたとき空中結像の位置が移動してしまうことが抑制される。
第1ウォーム59や第2ウォーム73によってウォームホイール58を回転させる構造なので、第1ウォーム59や第2ウォーム73の回転を大幅に減速させてウォームホイール58に伝達させることができ、第1表示部310と光学部材320の揺動位置を微調整することができる。さらに、ユーザが第1表示部310と光学部材320の揺動位置を調整した後に、第1操作部材72や第2操作部材75から手を離した場合であっても、第1ウォーム59や第2ウォーム73と噛み合うウォームホイール58の回転が抑制されて、第1表示部310と光学部材320の揺動位置が変化することが抑制される。
第1ウォーム59および第2ウォーム73がそれぞれウォームホイール58の異なる位置において噛み合い、2つの第1ウォーム59および第2ウォーム73のそれぞれに第1操作部材72および第2操作部材75が接続され、第1操作部材72および第2操作部材75が筐体100の異なる位置に露出している。このため、ユーザの筐体100に対する位置によって、ユーザが操作しやすい方の操作部材72、75を操作することによって、第1表示部310および光学部材320を連動させて揺動させることができ、ユーザの操作性が向上する。
第4ギヤ57は、第2接続部材66を介して第1表示部310が接続されているので、第1表示部310の荷重がかかる。第3ギヤ56は、第1接続部材65を介して光学部材320が接続されているので、光学部材320の荷重がかかる。第3ギヤ56と第4ギヤ57に対して、その回転方向にバランスを調整するためのバランス部材として、連動部50は、第1付勢部材67および第2付勢部材68を備えている。以下に、第1付勢部材67および第2付勢部材68について、これらが取り付けられる部材も含めて説明する。
図56や図57に示すように、第4ギヤ57の第3回転軸53よりも背面側の位置には、第2付勢部材係合部57aが形成されている。本実施形態では、第2付勢部材係合部53aは、第4ギヤ57の表面から突出した突起形状である。第2支持板部69cの第4ギヤ57と対向する面には、第2付勢部材取付部69fが形成されている。本実施形態では、第2付勢部材取付部69fは、第2支持板部69cから第4ギヤ57側に突出した突起形状である。
図57に示すように、第2付勢部材68の両端は、第2付勢部材係合部53aと第2付勢部材取付部69fに係合している。第2付勢部材68は、第2付勢部材係合部53aを第2付勢部材取付部69f側に引っ張る方向に、第4ギヤ57を付勢している。つまり、第2付勢部材68は、光学部材320の重力によって第4ギヤ57が揺動する方向と反対側の方向に付勢している。第2付勢部材68や第1付勢部材67は、コイルスプリングである。
図56に示すように、第3ギヤ56の第2回転軸52よりも背面側の位置には、第1付勢部材係合部56aが形成されている。本実施形態では、第1付勢部材係合部56aは、第3ギヤ56の表面から突出した突起形状である。第1支持板部69bの第3ギヤ56と対向する面には、第1付勢部材取付部69gが形成されている。本実施形態では、第1付勢部材取付部69gは、第1支持板部69bから第3ギヤ56側に突出した突起形状である。
第1付勢部材67の両端は、第1付勢部材係合部56aと第1付勢部材取付部69gに係合している。第1付勢部材67は、第1付勢部材係合部56aを第1付勢部材取付部69g側に引っ張る方向に、第3ギヤ56を付勢している。つまり、第1付勢部材67は、第1表示部310の重力によって第3ギヤ56が揺動する方向と反対側の方向に付勢している。
このような第1付勢部材67や第2付勢部材68によって、第1表示部310や光学部材320の自重によって、第3ギヤ56や第4ギヤ57が回転する力を軽減させることができる。この結果、第3ギヤ56と第1ギヤ54との噛合部の消耗や、第4ギヤ57と第2ギヤ55との噛合部の消耗を低減させることができる。さらに、ユーザによる第1操作部61や第2操作部62の操作力を低減させることができる。
なお、第1付勢部材係合部56aや第2付勢部材係合部53aが形成されている位置は、第3ギヤ56や第4ギヤ57の外周部により近い位置が好ましい。このように、第1付勢部材係合部56aや第2付勢部材係合部53aの形成位置を、第3ギヤ56や第4ギヤ57の外周部により近い位置にすると、第1付勢部材67や第2付勢部材68の付勢力による第3ギヤ56や第4ギヤ57に作用する回転モーメントがより大きくなる。このため、より小さい付勢力の第1付勢部材67や第2付勢部材68、つまり、より小さい第1付勢部材67や第2付勢部材68によって、上記した噛合部の消耗を抑制するとともにユーザによる操作力の低減を図ることができる。
連動部50によって第1表示部310と光学部材320とを連動させて筐体に対して揺動させる実施形態では、遮光部材500は、発泡ウレタン等の柔軟な材料である。このため、光学部材320が筐体100に対して揺動したとしても、柔軟な遮光部材500が伸縮することにより、筐体100の内周面に接触し続け、遮光部材500によって光学部材320での反射が抑制され、映像V3の表示や天井の映り込みが抑止される。
以上説明した実施形態では、連動部50は、複数のギヤ54~57によって、第1表示部310および光学部材320を連動させて揺動させる構成であるが、プーリーとベルトによって第1表示部310および光学部材320を連動させて揺動させる構成であってもよい。第1回転軸51、第2回転軸52、および第3回転軸53が、ケース部材69でなく、筐体100に軸支されている実施形態であってもよい。
また、第1表示部310の揺動角を光学部材320の揺動角で除した角度変化量の比=2が望ましいがそれ以外の値でもよい。特に、結像の上下方向が水平面となす角度が所定の角度(例えば90度)を保った状態となるように両者の変化量の関係を設定するとよい。本実施形態では同じ方向へ第1表示部310と光学部材320が揺動する構成としておりこれが望ましいが、異なる方向へ揺動するようにしてもよい。異なる方向へ揺動する場合には、第1表示部310と光学部材320の間隔が開く方向へ揺動するとよい。このようにすれば、光学部材320に結像される画像の水平面に対する角度をユーザが調整できる。
第3ギヤ56には第1接続部材65を介して第1表示部310が取り付けられ、第4ギヤ57には第2接続部材66を介して光学部材320が取り付けられ、光学部材320の揺動角は第1表示部310の揺動角よりも大きく、2倍にした実施形態であってもよい。
以上説明した実施形態では、ユーザの回転操作によって、第1表示部310および光学部材320を移動させているが、ユーザのスライド操作によって、第1表示部310および光学部材320を移動させる実施形態であってもよい。
第1付勢部材67や第2付勢部材68は、コイルスプリングであるであるが、板バネやゴム等の付勢部材であってもよい。また、上記した実施形態では、第1付勢部材67や第2付勢部材68は引っ張る方向に付勢しているが、押圧する方向に付勢して、第2ギヤ55を第1表示部310の重力によって揺動する方向と反対側に付勢し、第4ギヤ57を光学部材320の重力によって揺動する方向と反対側に付勢する実施形態であっても良い。
処理基板224が、「留守宅警戒モード」を実行する実施形態であってもよい。この実施形態では、処理基板224は、人感センサ234が受信したマイクロ波の反射波に基づいて、不審者の入室の有無を警戒する。そして、処理基板224が、不審者の動きを検知し、不審者が入室したと判断した場合には、スピーカ2251,2252にて、「誰ですか?!警察に通報しました!」との警告を発する。処理基板224は、実際に警察に通報してもよいし、通報しなくてもよい。警察に通報しなかったとしても、不審者に対する威嚇になり、不審者は部屋から退散すると考えられる。処理基板224が、ユーザのスマートフォン等の携帯電話に、sms(short message service)等のメッセージを送信してもよい。なお、処理基板224は、マイクロホン2333に入力された「ただいまー!」等の音声がユーザの声であると判断した場合には、「留守宅警戒モード」を解除する。なお、自宅等の庭の木の揺れや隣の家や部屋に住む隣人の動きによって不審者が入室したとする誤検知を抑制するために、表示装置1は誤検知を誘発しない場所、例えば、部屋の真ん中に配置することが好ましい。
以上説明した実施形態では、第1表示部310および光学部材320は、これらの長手方向を前後方向としていたが、これらの長手方向を幅方向とした実施形態であってもよい。或いは、光学部材320を透過液晶とし、連動部50は透過液晶を垂直位置まで揺動させることができ、この透過液晶の長手方向を幅方向とした実施形態であってもよい。
映像表示部が、視差バリア方式やレンチキュラー方式の3D表示パネルである実施形態であってもよい。この実施形態では、光学部材320が装着されている位置に、光学部材320の代わりに3D表示パネルが配置されていて、上記した連動部50によって、3D表示パネルが筐体100に対して揺動可能となっている。この実施形態において、ROM702や、スロット222に装着された外部記憶媒体、USBコネクタ223に装着されたUSBメモリーに、エクササイズやヨガ等の動画コンテンツが記憶され、処理基板224が、映像表示部である3D表示パネルにこれらの動画コンテンツを表示させる実施形態であってもよい。この実施形態では、テレビやビデオの2D画像に比べて、ユーザは全方位から体の動かし方を認識することができる。
処理基板224が、会社等の受付を実行する実施形態であってもよい。この実施形態では、処理基板224は、人感センサ234が受信したマイクロ波の反射波に基づいて、来客者の表示装置1への接近を検知し、人が近づくと、スピーカ2251,2252にて「いらっしゃいませ。どちらの部署に御用でしょうか」との音声を出力させるとともに、映像表示部にて上記した音声を話しているキャラクターを表示させる。そして、処理基板224は、来客者が操作部2212,2213,2214を操作した信号、或いは、マイクロホン2333で取得された来客者が表示装置1に話しかけた音データに基づいて、来訪者が望んだ部署の内線電話番号にIP(Internet Protocol)電話で接続する。
処理基板224が、IP電話の機能を実行する実施形態であってもよい。具体的には、表示装置1は、相手側の表示装置1の撮影部227で撮像された相手の画像やこの画像に基づいて生成した相手を模した画像(例えば、相手を模したアバターや相手にそっくりなアンドロイド(人造人間)の画像)を、映像表示部で表示させるとともに、相手側の表示装置1のマイクロホン2333で取得された相手が話す音声をスピーカ2251,2252にて再生する。この実施形態において、処理基板224はユーザの写真データに基づいて、ユーザの3次元画像を生成して、相手側の表示装置1に送信し、相手側の表示装置1の処理基板224が受信したユーザの3次元画像を映像表示部で表示させてもよい。このユーザの写真データは、撮影部227で撮像されたものであってもよいし、ユーザのスマートフォンやデジタルカメラによって撮像されたものであってもよい。ユーザの3次元画像を生成する方法について以下に説明する。処理基板224は、以下のURLに示す方法で、写真データから3Dサーフェースを生成する。
https://www.youtube.com/watch?v=4whM0VVYlwQ
https://www.youtube.com/watch?v=4whM0VVYlwQ
https://www.nicovideo.jp/watch/sm28810904
そして、処理基板224は、オープンポーズのような姿勢推定モデルの技術を用いて、写真データからユーザのボーン(関節・骨組み)を推定し、このボーンを組み込んだ3Dサーフェースのモデルを、FBX (Filmbox)フォーマットに変換し、Unity等のゲームエンジンで動かす。処理基板224は、3Dサーフェースから姿勢推定モデルの技術を用いてユーザのボーンを推定してもよい。或いは、処理基板224が、外部のWEBサービスによってユーザの写真データから上記手法によって作成されたユーザの3次元画像を映像表示部で表示させる実施形態であってもよい。映像表示部に相手(ユーザの妻、子供、孫等)を模した画像や相手の3次元画像を表示させる実施形態において、処理基板224は、相手側の表示装置1の撮影部227で撮像された相手の画像や相手側の表示装置1のマイクロホン2333で取得された相手が話す音声に基づいて、相手の動作や口の動き或いは感情を認識し、これら認識した情報に基づいて、相手を模した画像や相手の3次元画像の口を動かしたり、身体を動かしたり、表情を変えたりする実施形態であってもよい。処理基板224は、相手が話す音量の大きさに応じて、映像表示部で表示させる相手を模した画像や3次元画像の口の動かしかたや口の大きさを変化させてもよい。また、処理基板224は、相手の話す母音を認識して、この母音の対応した口の形を再現してもよい。
上記した処理基板224がIP電話の機能を実行する実施形態において、処理基板224が相手側の表示装置1からの着信時に、上記した3次元画像を映像表示部で表示させてもよい。
処理基板224は、妻、夫、子供、孫等の家族等の人だけでなく、ペットをリアルに再現した画像を映像表示部で表示させてもよい。このペットの画像は、撮影部227によって撮像されたものであってもよいし、ユーザのスマートフォンやデジタルカメラによって撮像されたものであってもよい。処理基板224は、撮影部227で撮像されたユーザの画像やマイクロホン2333で取得されたユーザが話す音声に基づいて、ユーザが映像表示部に表示されたペットに話しかけたと判断した場合に、このユーザの話しかけに対して、ペットがニコッと笑ったり、ペットが身体を動かしたり、ペットがしっぽを振ったり甘えたりする画像を映像表示部で表示させてもよい。
上記したペットの画像を映像表示部で表示させる実施形態において、表示装置1にはUSBコネクタ223等を介してユーザから亡くなったペットの写真、このペットの名前や鳴き声のデータが入力されており、処理基板224が、ペットの写真から上記した方法で3次元画像を生成して映像表示部で表示させるとともに、スピーカ2251,2252でこのペットの鳴き声を再生する実施形態であってもよい。この実施形態は、処理基板224が、マイクロホン2333で取得されたユーザの亡くなったペットに対する「ポチ お手」等呼びかけを認識し、この呼びかけに応じて、このペットが鳴く、尻尾を振る、喜ぶ等の動作の3次元画像を生成して映像表示部で表示する。或いは、処理基板224は、撮影部227によって撮像されたユーザの画像から、ユーザの動作を認識し、このユーザの動作に応じて、上記ペットが耳を動かしたり、目を動かしたりする等の動作の3次元画像を生成して映像表示部で表示する。
処理基板224は、車等の物の画像を映像表示部で表示させてもよい。車の画像を映像表示部で表示する実施形態では、表示装置1にはUSBコネクタ223等を介して車のディーラーから提供された車のデータ(外装、内装、ホイール等)が入力されている。そして、処理基板224は、マイクロホン2333で取得された購入予定者による「外装を赤色にして」、「1番のホイールにして」、「1番の内装にして」等の音声テータから、購入予定者の指示を認識し、この指示に従った車の3次元画像を生成して映像表示部に表示する。さらに、処理基板224は、撮影部227によって撮像された購入予定者の画像から、購入予定者の動作を認識し、購入予定者の動作に応じて、車の3次元画像の角度を変えて映像表示部に表示する。
処理基板224は、故人の遺影や、仏様(仏像等)、僧侶等の画像を映像表示部に表示させてもよい。この実施形態では、表示装置1にはUSBコネクタ223等を介して故人の遺影や、仏様、僧侶の画像データが入力され、処理基板224は、入力された画像データに基づいて、故人の遺影や仏様の3次元画像を生成して映像表示部に表示する。故人の遺影を表示する実施形態において、処理基板224が、マイクロホン2333で取得された遺族等の故人への呼びかけを認識し、この呼びかけに応じて、故人の遺影が微笑む等の3次元画像を生成して映像表示部に表示する実施形態であってもよい。仏様や僧侶を表示する実施形態において、処理基板224は、スピーカ2251,2252にて、般若心経等のお経や木魚や鈴の音を再生するとともに、仏様や僧侶がお経を読み上げている3次元画像を生成して映像表示部に表示しつつ、日本語ひらがな注釈表示付のお経を字幕として映像表示部に表示する実施形態であってもよい。主要宗派の代表的なお経のデータおよび字幕データは、USBコネクタ223等を介して表示装置1に入力されている。この実施形態において、筐体100内に法具や位牌等が置けるように構成し、3次元画像の背景として法具や位牌が見えるようにしてもよい。
処理基板224が、通信制御回路706が受信したスマートフォン等のカメラと通信機能を搭載した機器で撮像された動画に基づいて3次元動画を生成し、この3次元動画を映像表示部で表示させる実施形態であってもよい。例えば、孫の踊りの3次元動画を祖父が所有する表示装置1の映像表示部で表示することにより、孫が祖父に踊りを披露することができる。
上記した処理基板224が会社等の受付を実行する実施形態において、処理基板224がスマートフォンやデジタルカメラ等で撮った人物の写真データから上記した3次元画像を生成する手法を用いてUnity等のゲームエンジンで動く3Dポリゴンデータを生成して、受付をする人物の3次元画像を映像表示部に表示させる実施形態であってもよい。或いは、処理基板224がスマートフォンやデジタルカメラ等で撮った背景を含めた人物の動画に基づいて上記した3次元画像を生成する手法を用いて、人物や背景の3Dポリゴンデータをそれぞれ生成したうえで、人物の3Dポリゴンデータと背景の3Dポリゴンデータを合成して映像表示部に表示させてもよい。具体的には、処理基板224は、下記のURLに示される手法を用いて、既存の3Dオブジェクトの2D投影画像と写真画像の自動領域抽出領域との類似度から、写真中に予めストックしてる3Dオブジェクトと類似のオブジェクトを抽出し、その3Dオブジェクトに写真画像の類似のオブジェクトのテクスチャを貼った映像を生成する。
https://gigazine.net/news/20140806-3d-object-manipulation
表示装置1が、特定の人物の声でテキストデータを読み上げる実施形態であってもよい。この実施形態では、処理基板224が、ユーザの声の録音された音声データの波形とテキストデータからTTS(Text-to-Speech)技術を用いて自然な合成音声を作成し、この合成音声をスピーカ2251,2252で再生する。処理基板224は、下記URLに示される技術を用いて、僅かな音声データから合成音声を生成する。
https://coestation.jp/
処理基板224がIP電話の機能を実行する実施形態において、処理基板224は、相手側の表示装置1のマイクロホン2333によって取得された相手側のユーザの音声データに基づいて、相手側のユーザの感情を判定する。具体的には、処理基板224は、下記のURLに示される技術を用いて、ユーザの音声データからユーザの感情を判定する。
http://www.logit.co.jp/solution/voice-analysis.php
或いは、処理基板224は、相手側の表示装置1の撮影部227によって撮像された相手側のユーザの表情を含む画像データから相手側のユーザの感情を判定する。具体的には、処理基板224は、下記のURLに示される技術を用いて、ユーザの表情を含む画像データからユーザの感情を判定する
https://www.cac.co.jp/trends/trend06.html
そして、処理基板224は、相手側のユーザの感情の判定結果を映像表示部に表示させる。例えば、相手側のユーザの感情の判定結果が、怒っているという判定結果であれば、相手が怒っているという情報を映像表示部に表示させる。或いは、処理基板224は、相手側のユーザの感情に応じて映像表示部に表示される相手側のユーザを模した画像の表情を変化させる。例えば、相手側のユーザの感情の判定結果が、怒っているという判定結果であれば、怒っている表情の相手側のユーザを模した画像を映像表示部に表示させる。具体的には、処理基板224は、予め感情の種類毎に、動かす顔の要素オブジェクトのアニメーションデータを作っておき、判定した感情に対応したアニメーションデータを映像表示部で再生する。処理基板224は、下記URLに示す技術を用いて、顔の要素の位置抽出を行う。
https://www.atr-p.com/products/af.html
処理基板224は、マイクロホン2333によって取得された音声データから一定間隔のビート(拍子)を検出し、この音声データが音楽であると判断した場合には、この音楽のリズムに合わせてキャラクターが踊っている映像を生成し、この映像を映像表示部に表示させる実施形態であってもよい。具体的には、処理基板224は、下記のURLに示される技術を用いて、リアルタイムBPM(Beats Per Minute)解析を実行し、そのBPMに同期させて左右にキャラクターを動かす。
https://www.cri-mw.co.jp/product/amusement/beatwiz/index.html
表示装置1は焦電センサー等の人感センサーや、ホールセンサー、リードセンサー等のセンサーを備え、処理基板224はこれらのセンサーからの検出信号に基づいて、キャラクターの動作を変化させて映像表示部に表示させる実施形態であってもよい。或いは、表示装置1は赤外線リモコンが出力した赤外光の信号を受光するフォトダイオード等の受光部を備え、処理基板224は、受光部によって受光された信号に応じて、キャラクターの動作を変化させて映像表示部に表示させる実施形態であってもよい。
減光部材200の裏側に反射防止フィルムを貼り付けてもよい。或いは、減光部材200を、筐体100の下蓋部106に対して垂直では無く少し(数°)傾けて配置させてもよい。或いは、減光部材200を曲面にしてもよい。この曲面には、外側に凸な円筒面や、内側に凸な円筒面、球面が含まれる。これらのように構成すれば、特にユーザが下側から減光部材200の奥側を覗き込んだ場合に、減光部材200の裏面に反射した第1表示部310が光学部材320に反射してユーザに見えてしまうことが抑制される。また、減光部材200の表側に反射防止フィルムを貼り付けてもよい。このように構成すれば、ユーザ自身の姿が減光部材200に映り込んでしまい、ユーザが興ざめてしまうことを抑制することができる。
筐体100の正面側パネル102の開口部110の横幅は、第1表示部310の横幅よりも大きくし、好ましくは開口部110を横長にすると良い。このように構成すると、光学部材320に結像された空中映像が奥の方に表示されているとユーザが感じてしまうことが抑制される。また、光学部材320に結像される空中映像の立体感がさらに高まる。
光学部材320の奥側の筐体100内や第2表示部330の周囲にLED等の照明部材を装飾として複数配置してもよい。第2表示部330の代わりに、第2表示部330の周囲に相当する位置に複数の照明部材を配置してもよい。第1表示部310の代わりに白色のスクリーンを配置し、第2表示部330の代わりに第2表示部330の位置にピコプロジェクターを配置し、ピコプロジェクターによって白色のスクリーンに画像を投影し、白色のスクリーンで投影された画像を光学部材320で結像させてもよい。図23に示す背景板910を白色とし、図24に示す台座部400にピコプロジェクターを配置し、ピコプロジェクターによって白色の背景板910に画像を投影してもよい。背景板910が設けられている位置に、3D液晶を配置してもよい。背景板910にLED等の照明部材を複数配置させてもよい。これらのように構成すると、光学部材320に結像された空中映像の3D感がより強調される。照明部材や、ピコプロジェクター、3D液晶を制御する背景用の画像処理部を、第1表示部310を制御する画像処理部とは別に構成することが、第1表示部310を制御する画像処理部の負荷を減らすことになり好ましい。また、背景用の画像処理部は、第1表示部310を制御する画像処理部よりも低スペックなマイクロコンピュータで構成することが、表示装置1のコストを低減することになり好ましい。
第1表示部310を水平に配置し、光学部材320を第1表示部310から離間させて水平に配置してもよい。この実施形態では、ユーザは、筐体100の開口部110の上方から筐体100内を覗き込んで、光学部材320に結像された空中映像を観察する。
筐体100を上下反対に設置できる構造とし、表示装置1は加速度センサーを備え、処理基板224が、加速度センサーによって検出された情報に基づいて、筐体100の上下のどちらが下向きに設置されているかを認識したうえで、第1表示部310に表示される画像の上下の向きや左右の向き等の調整をする実施形態であってもよい。この実施形態では、筐体100の本来の上側が下向きに設置された場合に、ユーザは第1表示部310を直接視認する。
第1表示部310を複数に分割し、この分割された第1表示部310のそれぞれからの画像光を結像させる複数の光学部材320を備えた実施形態であってもよい。
第1表示部310および光学部材320を筐体100内に設ける代わりに、背景板910が設けられている位置に視差バリア液晶を配置し、処理基板224が右目用の画像と左目用の画像を生成して視差バリア液晶に表示させる実施形態であってもよい。この実施形態では、視差バリア液晶にMikuMikuDance等のキャラクターがダンスするCG(Computer Graphics)映像が表示されると、背景は奥側にあるように見えるとともに、タンス中のキャラクターの髪が前に来た時の状態では、この髪が前面に飛び出して見える。
第1表示部310の水平面に対する角度を大きくし過ぎないことが、第1表示部310の反射像が光学部材320に映って見えることが軽減されるとともに、視野角制御部材312によって第1表示面311に表示される画像が直接観察者に観察されてしまうことを抑制する効果も向上する。第1表示部310の水平面に対する角度は、30°以下にするとよく、20°以下が好ましく、10°以下がさらに好ましい。
減光部材200は射出形成で制作してもよいが、射出形成で減光部材200を制作すると、減光部材200の平坦性が悪化して空中映像に歪みが生じるので、板材で減光部材200を構成すると、減光部材200の平坦性が高く、空中映像が鮮明に見えるので好ましい。
減光部材200の光の透過率は低い方が、光学部材320に結像される空中映像が浮いて見える感じが高まるので好ましい。減光部材200の光の透過率は、15%以下とするとよく、10%以下とすると好ましく、8%以下とすることがさらに好ましい。
第1表示部310は、8インチの大きさで、横縦比が4:3、解像度1024×769のIPS(In Plane Switching)液晶であることが好ましい。
第2表示部330の上方位置に、ハーフミラーを配置させてもよい。この実施形態では、ステージの上下の境目が見えにくくなり、光学部材320に結像されるキャラクターが空間に浮いて見える。
第2表示部330が、キャラクターの周囲に回るリングを表示させてもよい。
第1表示部310や第2表示部330を3D液晶装置としてもよい。また、光学部材320の代わりに、光学部材320が配置されている位置に3D液晶装置を配置させてもよい。或いは、背景板910が配置されている位置に3D液晶装置を配置させてもよい。さらに、背景板910の左右側の筐体100の内側面に、3D液晶装置を配置させてもよい。この3D液晶は、光学部材320の奥側のみに配置してもよいし、光学部材320の手前側のみに配置してもよいし、光学部材320の奥側と手前側の両方側、つまり、光学部材320を跨いで配置してもよい。3D液晶を光学部材320を跨いで配置する実施形態では、光学部材320の奥側と手前側で異なる映像を表示させてもよい。背景板910の左右側に、3D液晶装置を配置させてもよい。3D液晶装置としては、裸眼立体視ができる立体表示機能を備えたドットマトリックス表示装置や、裸眼立体視ができる透過型の視差バリア表示パネル、裸眼立体視ができる透過型の表示パネルにレンチキュラーレンズを備えたもの、下記のURLに示されるように、3Dメガネで見る透過型の表示パネルに偏光フィルタを設けたものが含まれる。
https://osusumehulu.com/wp-content/uploads/2015/06/KS001508.jpg
上記したドットマトリックス表示装置の表示面側の表示パネル自体にハーフミラーを設けてもよい。このハーフミラーは、液晶パネルの表面のガラス面に光が透過する程度のアルミニウムを蒸着させたものである。3D液晶装置の表示パネル自体の一部分又は全体に、電気のオン・オフで透過度を制御できる部材を設けてもよい。この実施形態では、電気により透過度を制御できる下記のURLに示されるような調光フィルムを表示パネルの前面に貼る構成とするとよい。
https://www.toppan.co.jp/electronics/new_products/lc_magic
この調光は、筐体100が白色ならば白色になっていくものであり、筐体100が黒色ならば黒色になっていくものなど筐体100の色と不透明時の色をあわせるとよい。
3D液晶装置の表示パネルの一部分又は全体に透過スクリーンを貼りつけてもよい。この実施形態では、電気により透過度を制御できる下記のURLに示されるような調光フィルムを表示パネルの前面に貼る構成とするとよい。
http://www.hachinos.jp
3D液晶装置の前面に、所定方向の視野を制限する視野制限シートを取り付けてもよい。このように構成しても、3D液晶装置によって表示される3D画像の表示が阻害されない。
減光部材200の奥側の筐体100内に、中間光学部材が設けられている実施形態であってもよい。この中間光学部材は、減光部材200に密着させて配置させてもよいし、減光部材200から離間させて配置させてもよい。この中間光学部材は、2回反射を行うものであり、積層したミラーを用いた2層直交リフレクターであるAIプレートや、ナノインプリントのプレス成型で製造した光学素子であるDCRC、再帰反射シートのいずれかを用いるとよい。このように構成することにより、立体空中結像が得られる。
第1表示部310、第2表示部330、および3D液晶装置の全て又はいずれかを下記のURLで示すような丸型又はドーナツ型等の矩形で無い異型形状としてもよい。
https://www.j-display.com/product/reflective.html
https://www.j-display.com/news/2019/20190305.html
遮光部材500や、第2表示部330、台座部400の上に物を置けるようにした実施形態であってもよい。この実施形態では、遮光部材500や、第2表示部330、台座部400に外部からアクセスできるように、減光部材200や背面側パネル104が着脱又は開閉可能となっている。
第2表示部330の上部に、下記のURLで示すような水等の液体を貯める透明な水槽を設けた実施形態であってもよい。
https://www.j-display.com/news/2019/20190305.html
この実施形態では、第2表示部330に表示された映像を、水槽に貯められた液体を介して視認する。或いは、遮光部材500上に水等の液体を貯める透明な水槽を設けた実施形態であってもよい。これらの水槽は、上部が開放していてもよいし、密閉されていてもよい。或いは、遮光部材500に水等の液体を貯める凹部を形成してもよい。
表示装置1に、香り発生装置や、加湿器、ハプティックアクチュエータが設けられていてもよい。処理基板224は、ユーザの感情に応じて、香り発生装置や、加湿器、ハプティックアクチュエータに出力する出力値を変える。例えば、処理基板224は、ユーザが怒っていると判断した場合には、加湿器の出力を上昇させる。或いは、処理基板224が、ユーザが身につけている機器(例えば、スマートフォンや時計)に設けられたハプティックアクチュエータに無線信号を出力して、このハプティックアクチュエータを制御する実施形態であってもよい。この実施形態では、処理基板224は、ユーザの感情に応じて、ユーザが身につけている機器に設けられたハプティックアクチュエータに出力する出力値を変える。
減光部材200の表側又は裏側に、下記のURLに示すような透過型の画像表示装置を設け、ユーザが光学部材320に結像された画像と透過型の画像表示装置に表示された画像を重ねて視認する実施形態であってもよい。
http://www.hachinos.jp/
https://www.youtube.com/watch?v=TfWk8K-ZZ_c
この実施形態では、第1表示部310は、減光部材200の表側の上方部又は下方部から表側に突出形成された凸部に設けられていることが好ましい。透過型の画像表示装置は、ユーザが触れるように、減光部材200の表側に露出して設けられていることが好ましい。この実施形態において、透過型の画像表示装置へのタッチを検出する第1検出手段と、透過型の画像表示装置へのタッチに至っていないが手が横切ったことを検出する第2検出手段とを備え、処理基板224は、第1検出手段および第2検出手段の少なくとも一方の検出結果に基づいて、第1表示部310および透過型の画像表示装置の少なくとも一方の表示内容を変更する(例えば、異なるアニメーションに変更する)実施形態であってもよい。第2検出手段の一例としては、下記のURLに示されるような測域センサが含まれる。
https://www.hokuyo-aut.co.jp/search/index.php?cate01=1
下記のURLに示されるように、画像表示装置の前面中央最下部に第2検出手段が取り付けられ、この第2検出手段によってユーザの手が横切った位置を検出してもよい。
http://www.crayon-pic.co.jp/netflix-screen-game
下記のURLに示されるように、画像表示装置の左右に2台の第2検出手段を設けて、これらの第2検出手段によってユーザの手が横切った位置を検出してもよい。
https://prtimes.jp/main/html/rd/p/000000417.000008210.html
筐体100の前面側に下記のURLに示すようなミストスクリーンを設置してミストスクリーンの背面側から映像をミストスクリーンに投影するとともに、ミストスクリーンの背面側に表示装置(上述した3D液晶装置や透過型の画像表示装置等)を設けてもよい。
https://www.cornestech.co.jp/tech/products/products_leiadisplay_1/
このように構成すれば、暗い場所に表示装置1が配置されていても、ミストスクリーンに鮮明に映像が投影される。
表示装置1は加速度センサーを備え、処理基板224が、加速度センサーによって検出された情報に基づいて、第1表示部310が表示するキャラクターの動きやキャラクターの会話を変化させる実施形態であってもよい。この実施形態では、例えば、表示装置1が持ち上げられたり、傾いたりした場合に、処理基板224は、第1表示部310が表示するキャラクターを倒す。
第1表示部310、光学部材320、および第2表示部330の代わりに、台座部400の後方側に、背景板910と平行に透過型液晶である映像表示部を配置した実施形態であってもよい。この実施形態では、台座部400はユーザが表示装置1の前方から見た場合に、映像表示部の下部を遮蔽するように、映像表示部から間隔を設けて配置されている遮蔽部である。遮蔽部である台座部400は、映像表示部からのユーザの距離が近くなるに従って、ユーザが映像表示部のより広範囲の部分が視認可能となるように、映像表示部に対する上下方向の位置および映像表示部からの離間距離が設定されている。このため、ユーザは、映像表示部の下部が遮蔽部である台座部400によって遮蔽された状態で映像表示部に表示される空中画像を見ることができる。このため、映像表示部に表示された空中画像が映像表示部の下端の形状に切れたように見えることを抑制できる。例えばキャラクターを、例えば下端の辺よりも上の領域から下端の辺に向けて映像表示部に表示したとき、下端の辺でキャラクターが切られたような表示となってしまうことを抑制できる。この結果、ユーザは映像表示部に表示されたキャラクターが前方にあたかも存在するような臨場感を覚えることができる。また、ユーザが映像表示部に近づくに従って、ユーザが映像表示部のより広範囲の部分が視認可能となる、例えば、映像表示部にキャラクターを表示させた場合に、ユーザが映像表示部に近づくに従って、ユーザは映像表示部に表示されたキャラクターの下側が見えるので、キャラクターがユーザの前方に実在するような臨場感を得ることができる。また、映像表示部は、長辺と短辺を有し、長辺側を上下方向として配置するとよい。このようにすれば、例えば、人物を映像表示部に表示させた場合に、人物の頭部等の人物の一部が映像表示部に表示されなくなってしまうことを抑制することができる。遮蔽部の水平方向の長さは、映像表示部の水平方向の長さよりも長くするとよい。このようにすれば、遮蔽部によって映像表示部の下部が遮蔽されない部分が生じず、ユーザが映像表示部の下部の一部を視認することによって、ユーザが実際にはキャラクターが前方に存在しないと興冷めてしまうことをより一層抑制することができる。遮蔽部は、映像表示部と平行な面を有し、映像表示部の厚さよりも大きな厚みをもつとよい。このようにすれば、ユーザによって遮蔽部がカウンターや机のように見え、例えば、映像表示部にキャラクターを表示させた場合に、ユーザは映像表示部に表示されたキャラクターがカウンターや机の前方にあたかも存在するような臨場感を覚えることができる。
減光部材200を半透過スクリーンとし、第1表示部310、光学部材320、および第2表示部330の代わりに半透過スクリーンの背面側であって半透過スクリーンの上部側にプロジェクタを設けるとともに、半透過スクリーンの下端部から正面側に水平面と平行なステージが突出形成されている実施形態であってもよい。この実施形態では、プロジェクタから出力された映像は、半透過スクリーンに投影され、ユーザは、半透過スクリーンに投影された映像を見ることができる。この実施形態では、ステージ上に、半透過スクリーンと平行又は上端が僅かに半透過スクリーン側に近接するように傾いた複数の遮蔽板が奥行方向に間隔をおいて複数設けられている。このように構成することによって、プロジェクタから出力された映像が、遮蔽板で遮られて、ステージ上に映り込むことが抑制される。遮蔽板の上下方向の長さと、遮蔽板同士の間隔は、ユーザの目の取りうる位置と、プロジェクタの光の方向との関係によって決定される。この遮蔽板の上下方向の長さは、半透過スクリーンの上下方向の長さよりも短く、半透過スクリーンの上下方向の長さが15cmとした場合に、遮蔽板の上下方向の長さは1cmである。遮蔽板は、垂直方向よりもその上端が半透過スクリーン側に近接するように傾けて設けることが、プロジェクタから出力された映像のステージ上の映り込みをより抑制することができ、より好ましい。遮蔽板の上下方向の長さは、遮蔽板同士の間隔よりも長いことが好ましい。遮蔽板の上下方向の長さは、同一であってもよいが、異なってもよい。また、遮蔽板同士の間隔は一定間隔であってもよいが、異なる間隔であってもよい。例えば、ユーザの目に近いステージの手前側では、遮蔽板の上下方向の長さを短くし、ステージと遮蔽板とのなす角度を小さくし、遮蔽板同士の間隔を小さくし、ステージの奥側に位置するに従って、遮蔽板の上下方向の長さを長くし、ステージと遮蔽板とのなす角度を大きくし、遮蔽板同士の間隔を大きくすることが好ましい。遮蔽板は、背面側から照射された光が透過しな素材や厚さとするとよい。遮蔽板の手前側の面は、光を反射し難い素材で構成されていることが、遮蔽板の手前側の面にユーザが反射して映ることを抑制する点で好ましい。処理基板224は、プロジェクターから半透過スクリーンに投影させる画像が長方形となるように、スクリーンから出力される画像を台形補正することが好ましいが、台形補正を行わなくてもよい。台形補正を行わなかった場合には、半透過スクリーンに投影される画像の下寄りの横方向は、この画像の上寄りの横方向よりも長い範囲を描画することができる。処理基板224は、キャラクター単位でそのキャラクターの半透過スクリーンにおける描画位置に応じて台形補正を行うことが好ましい。
表示装置1は、上記した他の実施形態の各機能を切り替える物理的なスイッチやタッチパネル等の切替手段を有している。
本発明の範囲は、明細書に明示的に説明された構成や限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求の範囲とする意思を有する。
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素または発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正または分割出願等において権利取得する意思を有する。「~の場合」「~のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。
また、意匠登録出願への変さらにより、全体意匠または部分意匠について権利取得する意思を有する。装置が画像を表示する場合は、その画像の全体または一部を含む意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが、全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと、部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては、装置の一部の部材としてもよいし、その部材の部分としてもよい。全体意匠はもちろんのこと、図面の実線部分のうち任意の部分を破線部分とした部分意匠を、権利化する意思を有する。また、装置の筐体の内部のモジュール・部材・部品等についても、図面に表示されているものは、いずれも独立して取引の対象となるものであって、同様に、意匠登録出願への変更を行って権利化を行う意思を有するものである。
1 :表示装置
100 :筐体
101 :右側パネル
102 :正面側パネル
103 :左側パネル
104 :背面側パネル
105 :上蓋部
106 :下蓋部
107 :右側内部パネル
108 :正面側内部パネル
109 :左側内部パネル
110 :開口部
200 :減光部材
210 :第1領域
220 :第2領域
221 :操作基板
222 :スロット
223 :USBコネクタ
224 :処理基板
226 :保持部
227 :撮影部
231 :制御基板
232 :配線
233 :センサ基板
234 :人感センサ
310 :第1表示部
311 :第1表示面
312 :視野角制御部材
320 :光学部材
321 :第1面
330 :第2表示部
331 :第2表示面
400 :台座部
500 :遮光部材
601 :第1プレート
602 :第2プレート
800 :配線部
810 :電源線
820 :信号線
830 :信号線
900 :仕切部材
910 :背景板
1041 :後蓋部
1051 :開口部
1052 :開口部
1100 :キャラクタ
1200 :キャラクタ
1210 :キャラクタ本体
1220 :首輪
1221 :札
2100 :ステージ映像
2200 :ステージ映像
2211 :操作部
2212 :操作部
2213 :操作部
2214 :操作部
2251 :スピーカ
2252 :スピーカ
2261 :ヒートシンク
2311 :電源ジャック
2331 :第1センサ
2332 :第2センサ
2333 :マイクロホン
2334 :発光部

Claims (15)

  1. 空中映像を表示させる映像表示部と、
    前記映像表示部の前方側に設けられ、前記映像表示部の前方側を遮蔽する遮蔽部と、
    を有する表示装置。
  2. 前記遮蔽部は前記映像表示部を収納し前面側に開口部が形成された筐体を備える
    請求項1に記載の表示装置。
  3. 前記映像表示部は、画像光を発する表示部と、前記画像光に基づいて前記空中映像を結像させる光学部材とを備える
    請求項2に記載の表示装置。
  4. 前記表示部の位置を移動させる表示部移動手段と、
    前記光学部材の位置を移動させる光学部材移動手段と、を備える
    請求項3に記載の表示装置。
  5. 前記表示部移動手段は、前記表示部を前記筐体の前記開口部からの奥側の位置において前記筐体に揺動可能に取り付けて構成され、
    前記光学部材移動手段は、前記光学部材を前記筐体の前記開口部からの奥側の位置に前記筐体に揺動可能に取り付けて構成されている
    請求項4に記載の表示装置。
  6. 前記表示部の揺動と連動して前記光学部材を前記表示部の揺動方向と同じ方向に揺動させる連動部を備える
    請求項5に記載の表示装置。
  7. 前記表示部の回転軸と、前記光学部材の回転軸は、交差しない軸上に設けられている
    請求項6に記載の表示装置。
  8. 前記連動部は、
    ユーザからの操作に応じて、角度を同時に回転させるための第1回転軸と、
    前記第1回転軸の回転に応じて前記表示部の角度を変化させるための第2回転軸と、
    前記第1回転軸の回転に応じて前記光学部材の角度を変化させるための第3回転軸とを備えている
    請求項6又は7に記載の表示装置。
  9. 前記連動部は、
    前記第1回転軸に取り付けられた第1ギヤと、
    前記第1回転軸に取り付けられた第2ギヤと、
    前記第1ギヤと噛み合い前記光学部材が接続された第3ギヤと、
    前記第2ギヤと噛み合い前記表示部が接続された第4ギヤと、を有する
    請求項8に記載の表示装置。
  10. 前記第1ギヤ、前記第2ギヤ、前記第3ギヤ、および前記第4ギヤは、前記表示部の揺動角度が前記光学部材の揺動角度の2倍になるように設定されている
    請求項9に記載の表示装置。
  11. 前記連動部は、
    前記第1回転軸に取り付けられたウォームホイールと、
    前記ウォームホイールと噛み合うウォームと、を有する
    請求項8から10のいずれか1項に記載の表示装置。
  12. 前記連動部は、前記ウォームに接続された操作部材を有する
    請求項11に記載の表示装置。
  13. 前記表示部と前記光学部材とは、双方の荷重がかかる部材があり、当該部材に対してバランスを調整するためのバランス部材を備える
    請求項9から12のいずれか1項に記載の表示装置。
  14. 前記バランス部材は、
    前記表示部の自重によって前記第3ギヤが回転する方向と反対側に前記第3ギヤを付勢する第1付勢部材と、
    前記光学部材の自重によって前記第4ギヤが回転する方向と反対側に前記第4ギヤを付勢する第2付勢部材の少なくとも一方、である
    請求項13に記載の表示装置。
  15. 前記遮蔽部は、前方から前記映像表示部を見た場合に前記映像表示部の下部を遮蔽するように前記映像表示部の前側に間隔を設けて配置されており、
    前記遮蔽部は、前記映像表示部からのユーザの距離が近くなるに従って、ユーザが前記映像表示部のより広範囲の部分が視認可能となるように、前記映像表示部に対する上下方向の位置および前記映像表示部からの離間距離を設定されている
    請求項1から14のいずれか1項に記載の表示装置。
JP2021141973A 2021-08-31 2021-08-31 表示装置等 Pending JP2023035270A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021141973A JP2023035270A (ja) 2021-08-31 2021-08-31 表示装置等

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021141973A JP2023035270A (ja) 2021-08-31 2021-08-31 表示装置等

Publications (1)

Publication Number Publication Date
JP2023035270A true JP2023035270A (ja) 2023-03-13

Family

ID=85504688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021141973A Pending JP2023035270A (ja) 2021-08-31 2021-08-31 表示装置等

Country Status (1)

Country Link
JP (1) JP2023035270A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024190106A1 (ja) * 2023-03-14 2024-09-19 マクセル株式会社 空中浮遊映像表示装置およびキャラクター表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024190106A1 (ja) * 2023-03-14 2024-09-19 マクセル株式会社 空中浮遊映像表示装置およびキャラクター表示装置

Similar Documents

Publication Publication Date Title
WO2018016095A1 (ja) 画像表示装置、話題選択方法、話題選択プログラム、画像表示方法及び画像表示プログラム
JP6165302B1 (ja) 画像表示装置、話題選択方法、話題選択プログラム
JP6367440B2 (ja) 没入型環境用のインタラクティブ型オブジェクト
JP7126709B2 (ja) 折りたたみ式仮想現実装置
JP7420400B2 (ja) ライトフィールドディスプレイシステムベースの遊園地のアトラクション
WO2016068262A1 (ja) コミュニケーションロボット
JP2018014575A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2024032778A (ja) 表示装置等
JP6298130B2 (ja) シミュレーションシステム及びプログラム
JP6682475B2 (ja) 画像表示装置、話題選択方法、話題選択プログラム
JP2019139170A (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2016045814A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
CN109716760A (zh) 立体影像显示装置
JP2023035270A (ja) 表示装置等
JP2018136944A (ja) シミュレーションシステム及びプログラム
JP6667878B1 (ja) 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
JP7448142B2 (ja) 表示装置等
JP2022157245A (ja) システム等
JP2022157238A (ja) システム等
JP2019139169A (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2019106192A (ja) ヘッドマウントデバイスを介して情報を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
JP7329457B2 (ja) 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
Peterson Reconsidering" Liveness": Interactivity and Presence in Hybrid Virtual Reality Theatre
Benedict " A Pulse in the Neon": Televisual Assimilation in the Works of David Foster Wallace
Dooley Writing Bodies: Developing and Scripting an Embodied Feature Film Screenplay

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240709