JP2022129473A

JP2022129473A - 空中映像表示装置

Info

Publication number: JP2022129473A
Application number: JP2021028143A
Authority: JP
Inventors: 有希前田; Yuki Maeda
Original assignee: Parity Innovations Co Ltd
Current assignee: Parity Innovations Co Ltd
Priority date: 2021-02-25
Filing date: 2021-02-25
Publication date: 2022-09-06

Abstract

【課題】空中映像表示装置において、使用者が空中映像の位置に指を当てたときに、空中映像に触れたことで入力操作が行えたかのような感覚を得られ、入力操作を行い易いものとする。【解決手段】空中映像表示装置１は、表示装置２と、一方の面側に配された表示装置２に表示された映像を他方の面側の空中に結像させる光学素子３と、光学素子３により結像される空中映像の近傍の物体の位置を検知する検知装置４と、光学素子３を移動させる駆動装置５と、を備える。駆動装置５は、検知装置４が検知した物体の位置に応じて、光学素子３を移動させる。【選択図】図４

Description

本発明は、一方の面側にある被観察物の実像を他方の面側の空間に結像させる光学素子を用いた空中映像表示装置に関する。

ある空間を仕切る平面体の一方の面側に被投影物を配置し、他方の一面側の空間において面対称となる位置に、被投影物の鏡映像を結像させる光学素子が発案されている。この種のものとして、各々が互いに直交する２つの微小な鏡面（反射面）から成る２面コーナーリフレクタを複数、平面的に集合させた構造を有する光学素子が知られている（例えば、特許文献１参照）。

上記特許文献１は、複数の２面コーナーリフレクタが一平面上に格子状に整列配置されて成る２面コーナーリフレクタアレイを有する光学素子を開示している。この光学素子では、２面コーナーリフレクタを成す各鏡面が、光学素子の素子面に対して垂直に配置されている。そのため、素子面の一方の面側に配置した被観察物から発せられた光は、光学素子を通過する際に２面コーナーリフレクタで２回反射されて屈曲し、被観察物がない他方の一面側の空間に実像として結像する。これにより、被観察物が、光学素子の素子面に対して対称位置に存在するように、その実像が結像される。

特開２０１１－１９１４０４号公報

ところで、銀行のＡＴＭにおける入力操作や、電子錠が付されたドアの開錠には、タッチパネルを用いて、暗証番号等の入力操作を行うものが広く普及している。しかしながら、多数の人がタッチパネルに表示された画像や映像を直接的に指でタッチすると、例えば、タッチパネルを介して新型コロナウィルスをはじめとする感染症等が拡大するリスクがある。そこで、近年では、上記のような光学素子を備えた空中映像表示装置を用いて、空中に表示された映像に使用者が指を当てることで、直接的な接触なしに入力操作を行い得るようにし、感染症拡大リスクを低減することが注目されている。

ところが、上記のような光学素子による空中映像は、実体が存在するものではないので、使用者が空中映像に指を当てたとしても、使用者は空中映像に触れた感覚を得られず、入力操作を適切に行えているかを感覚的に判別し難いという問題がある。

本発明は、上記課題を解決するものであり、使用者が空中映像の位置に指を当てたときに、空中映像に触れたことで入力操作が行えたかのような感覚を得られ、入力操作を行い易い空中映像表示装置を提供することを目的とする。

上記課題を解決するため、本発明は、表示装置と、一方の面側に配された前記表示装置に表示された映像を他方の面側の空中に結像させる光学素子と、前記光学素子により結像される空中映像の近傍の物体の位置を検知する検知装置と、前記光学素子を移動させる駆動装置と、を備え、前記駆動装置は、前記検知装置が検知した物体の位置に応じて、前記光学素子を移動させることを特徴とする。

上記空中映像表示装置において、前記表示装置は、前記検知装置が検知した物体の位置に応じて、表示する映像の配色又は形状を変化させることが好ましい。

上記空中映像表示装置において、前記駆動装置は、前記表示装置に対する前記光学素子の角度を変化させることが好ましい。

上記空中映像表示装置において、前記駆動装置は、前記表示装置に対する前記光学素子の距離を変化させることが好ましい。

本発明の空中映像表示装置によれば、検知装置が検知した物体の位置に応じて駆動装置が光学素子を移動させることで、空中映像が３次元的に移動する。これにより、例えば、使用者の指の奥行き位置に追従して、空中映像が移動するので、使用者は空中映像に指を当てたときに、空中映像に触れたことで入力操作が行えたかのような感覚を得られ、入力操作を行い易くなる。

本発明の第１の実施形態に係る空中映像表示装置の構成例を概念的に示す概略斜視図。（ａ）（ｂ）は、上記空中映像表示装置を構成する光学素子の斜視図。上記光学素子による光の反射パターンを示す模式図。上記空中映像表示装置の動作例を側断面図。（ａ）乃至（ｃ）は、上記空中映像表示装置に用いられる表示装置の表示例を示す図。上記空中映像表示装置の変形例における動作例を側断面図。

本発明の一実施形態に係る空中映像表示装置について、図面を参照して説明する。図１に示すように、本実施形態の空中映像表示装置１は、基本構造として表示装置２、光学素子３、検知装置４及び駆動装置５を備える。また、空中映像表示装置１は、表示装置２、検知装置４及び駆動装置５の動作を制御する制御装置（不図示）や、表示装置２等に電力を供給する電源装置（不図示）を備える。

空中映像表示装置１は、上面に光学素子３が嵌装される開口を有する箱状の筐体６を備える。駆動装置５は、筐体６の開口端部の一辺に取り付けられており、光学素子３は、駆動装置５を介して筐体６に支持されている。検知装置４は、筐体６の上面のうち、光学素子３の前方位置に配設されている。筐体６内には、表示装置２が筐体６の上面に対して所定の角度を保持するように固定されている。また、制御装置や電源装置も筐体６内に適宜に収容される。

表示装置２は、一面に表示面を有するものであり、例えば、表示面として液晶ディスプレイ又は有機ＥＬディスプレイを備えたタブレット端末が好適に用いられる。表示装置１として、タブレット端末を用いれば、筐体６外のデバイスと通信し、表示面に任意の文字や図形等を表示することができ、また、タブレット端末に搭載されたＣＰＵやメモリを、上記の制御装置として用いることもできる。ただし、表示装置２は、空中映像表示装置１の用途に応じて適宜のデバイスを採用することができ、単純な表示を行うだけの発光装置であってもよく、制御装置は別途のデバイスが適用されてもよい。

光学素子３は、一方の面側に配された表示装置２に表示された映像を、他方の面側の空中に結像させる光学部材である。図２（ａ）に示すように、光学素子３は、矩形平板状の基盤３１と、基盤３１の一面側から突出した複数の突状部３２と、を有する。基盤３１及び複数の突状部３２は、透明な材料により一体的に形成されている。複数の突状部３２は、それぞれ四角錐台状に形成され、互いに同じ向きで格子状に配置されている。なお、図例では理解を容易にするために突状部３２を大きく描画しているが、実際の突状部３２の大きさはμｍオーダーであって、基盤３１の厚みに比べるとずっと小さい。

図２（ｂ）に示すように、各々の突状部３２は、基盤３１に対して垂直に立設された垂直面３３、３４と、基盤３１に対して傾斜した傾斜面３５、３６と、基盤３１に対して平行に設けられた上面３７と、を有する。垂直面３３、３４は、互いに直交して隣接し、表示装置２からの光を反射する２面コーナーリフレクタ３８を成している（次項参照）。光学素子３の詳細な構造については、本出願人による以前の出願（例えば、国際公開第２０１８／１３９１４１号）を参照されたい。

図３に示すように、表示装置２の所定点Ｏから光学素子３に向かって発せられた光（一点鎖線で示す）は、光学素子３において２面コーナーリフレクタ３８を成す垂直面３３、３４（それぞれ模式的に直線で表す）により反射された後、光学素子３が拡がる面を基準として点Ｏと面対称位置にある点Ｐを通る。これにより、表示装置２上に表示された表示パターン（実物Ｔ）の実像Ｉが、光学素子３の表層から隔離した空中に結像して、空中に浮遊した空中ハイライト像となる。このとき、光学素子３の表層から実像Ｉまでの浮遊距離は、光学素子３から表示装置２までの距離と等しくなる。

検知装置４は、光学素子３により結像される空中映像の近傍の物体の位置を検知するものであり、ここで言う物体には、人の手や指が想定される。検知装置４としては、例えば、リープモーション社のＬＥＡＰＭＯＴＩＯＮ（登録商標）コントローラが採用される。ＬＥＡＰＭＯＴＩＯＮ（登録商標）コントローラは、３つの赤外線ＬＥＤと２つのカメラを備え、赤外線ＬＥＤが物体に照射した光の反射を２つのカメラで撮影し、画像解析によって３Ｄ空間における物体の位置を割り出す。ＬＥＡＰＭＯＴＩＯＮ（登録商標）コントローラは、赤外線ＬＥＤ及びカメラが一平面に配置され、この一平面と正対する３Ｄ空間における物体の位置を特定することができるので、図１に示したような構成の空中像映像表示装置１の検知装置４として用いるのに好適である。ＬＥＡＰＭＯＴＩＯＮ（登録商標）コントローラの動作アプリケーションは、例えば、表示装置２として使用されるタブレット端末のメモリに組み込まれる。なお、検知装置４は、人の指のような物体の３Ｄ空間での位置を検出できれば、上記に限られず、例えば、Ｎｅｏｎｏｄｅ社のｚＦｏｒｃｅＡＩＲタッチセンサやマイクロソフト社のＫｉｎｅｃｔ（登録商標）やクリエイティブメディア社のＣｒｅａｔｉｖｅＳｅｎｚ３Ｄ等、他の検知デバイスが適宜に採用されてもよく、検知装置４の配置や構成も、図１で示した例に限られない。

駆動装置５は、光学素子３を筐体６に支持すると共に、検知装置４が検知した物体の位置に応じて、表示装置２に対する光学素子３の角度又は距離を変化させる。本実施形態の駆動装置５は、例えば、光学素子３の被支持辺と並行な回動軸５１（後述する図４参照）と、制御信号を受けて、この回動軸５１を所定の角度範囲（例えば、０～２５°）で精密に回動させるモータ及びギア等（不図示）を有する。駆動装置５の動作を制御するためのアプリケーションも、例えば、表示装置２として使用されるタブレット端末のメモリに組み込まれる。

表示装置２として用いるタブレット端末を制御装置として機能させる場合、それに組み込まれるアプリケーションには、表示装置２の表示面に所定の映像を表示するだけでなく、駆動装置５の回動角度や位置に関する情報から、光学素子３により結像される空中映像の３Ｄ空間における位置情報を割り出すと共に、検知装置４で検知された物体（指）の位置情報と対比しながら、駆動装置５の回動角度や位置を変化させるための動作制御信号を駆動装置５に出力する。

上記のように構成された空中映像表示装置１の動作例について、図４を参照して説明する。なお、同図においては、筐体６の図示を省略している。表示装置２が表示した映像を構成する光は、光学素子３の内面に入射し、光学素子３の２面コーナーリフレクタ３８（図３参照）により反射された後、光学素子３と面対称位置で結像し、空中映像Ａとして浮かび上がる。表示装置２は、空中映像Ａの３Ｄ空間における位置情報を記録する。そして、人が指Ｆを検知装置４上に差し入れると、検知装置４は、指先の３Ｄ空間における位置を割り出し、指先の位置情報を表示装置２に出力する。

表示装置２は、空中映像Ａの位置情報と指先の位置情報とを対比し、それらが重なったとき、指先の位置情報の変化に応じて、光学素子３の角度を変化させるように駆動装置５の動作信号を出力する。光学素子３の角度が変化すると（図示した光学素子３’）、空中映像Ａが３次元的に移動する（図示した空中映像Ａ’）。すなわち、使用者の指の奥行き位置に追従して、空中映像Ａが空中映像Ａ’へと移動する。これにより、例えば、空中映像Ａ、Ａ’をボタンの画像とすれば、使用者が空中映像のボタンに指を当てたときに、ボタンが押し込まれた動作が表現される。そのため、空中映像表示装置１によれば、使用者は空中映像Ａに触れたことで入力操作が行えたかのような感覚を得られ、入力操作を行い易くなる。

なお、空中映像Ａの位置情報と指先の位置情報とが重なったとき、指先の位置情報の変化に応じて、例えば、表示装置２が表示するボタンのサイズを小さくするといった、映像処理だけで奥行感を表現することも可能ではある。しかしながら、本実施形態の空中映像表示装置１は、駆動装置５を用いて光学素子３を物理的に動かすことで、空中映像Ａ、Ａ’を実際に三次元的に動かすことができ、映像処理だけでは表現しきれないリアリティを表現することができる。

また、空中映像Ａは、表示装置２に対して、光学素子３の面対称位置に映し出されるので、光学素子３、３’の回動角度がα°であれば、移動後の空中映像Ａ’は、元の空中映像Ａに対して２α°回動することになる。従って、駆動装置５を用いて、光学素子３を物理的に動かせば、光学素子３の回動角度が小さくても、空中映像Ａを大きく回動させることができ、よりダイナミックな空中映像Ａの３次元的な動きを表現することができる。

また、本実施形態の空中映像表示装置１では、表示装置２にタブレット端末を用いれば、任意の映像を表示することができる。そこで、例えば、検知装置４が検知した指先の位置情報の変化に応じて、空中映像Ａ’の位置を変化させるだけでなく、空中映像Ａ’の配色を変化させることもできる。これにより、使用者は、空中映像Ａ、Ａの’３次元的な動きだけでなく、色覚の変化による刺激を受けることで、より空中映像Ａに触れたかのような感覚を強く得られ、入力操作を更に行い易くなる。

更に、本実施形態の空中映像表示装置１では、検知装置４が検知した指先の位置情報の変化に応じて、空中映像Ａ’の配色だけでなく、形状を変化させてもよい。光学素子３を図４に示す３’の角度に回動させたとき、表示装置２と光学素子３との角度が変化する。そのため、例えば、当初角度の空中映像Ａが、図５（ａ）のように表示されていたとしても、回動後の空中映像Ａ’は、図５（ｂ）のように見た目の奥行感が変化し、空中映像Ａ’の形状が歪んで見えることがある。そこで、空中映像Ａ’の形状を、敢えて図５（ｃ）のように変化させることで、使用者からは、回動後の空中映像Ａ’も、図５（ａ）のように見え、回動による空中映像Ａ、Ａ’の形状の歪みを補正することができる。

次に、上記実施形態に係る空中映像表示装置１の変形例とその動作例について、図６を参照して説明する。本変形例の空中映像表示装置１は、駆動装置５が、表示装置２に対する光学素子３の距離を変化させるものである。本変形例によれば、空中映像Ａ、Ａ’を上下に移動させる映像表現が可能となる。また、空中映像Ａは、表示装置２に対して、光学素子３の面対称位置に映し出されるで、光学素子３、３’の移動距離がβであれば、移動後の空中映像Ａ’は、元の空中映像Ａに対して２β移動することになり、光学素子３の上下移動が小さくても、空中映像Ａを大きく上下動させることができる。

本発明は、上記実施形態及び各種変形例に限られず、種々変形が可能である。上記実施形態では、表示装置２に対する光学素子３の角度を変化させる構成を、変形例では、表示装置２に対する光学素子３の距離を変化させる構成を示したが、駆動装置５は、角度と距離の両方を変化させるものであってもよい。これにより、空中映像Ａをよりダイナミックに３次元的に移動させることができる。

また、表示装置２として、２次元的な表示面を有するタブレット端末を用いた構成に基づいて説明したが、表示装置２は、例えば、裸眼３Ｄディスプレイが用いられてもよい。裸眼３Ｄディスプレイとしては、例えば、レンチキュラー方式の３Ｄディスプレイやライトフィールドディスプレイ等が挙げられる。しかし、一般的な裸眼３Ｄディスプレイは、人の左右の目に互いに異なる映像を映し出させることで、人に立体的な映像を錯覚させるものであり、表現できる奥行感には限界がある。そこで、空中映像表示装置１では、駆動装置５による光学素子３の移動を組み合わせることで、裸眼３Ｄディスプレイが表現できる３Ｄ映像を、より広い３Ｄ空間で動かすことができ、より多様な空中映像を表現することができる。

１空中映像表示
２表示装置
３光学素子
４検知装置
５駆動装置
Ａ空中映像

Claims

表示装置と、一方の面側に配された前記表示装置に表示された映像を他方の面側の空中に結像させる光学素子と、前記光学素子により結像される空中映像の近傍の物体の位置を検知する検知装置と、前記光学素子を移動させる駆動装置と、を備え、
前記駆動装置は、前記検知装置が検知した物体の位置に応じて、前記光学素子を移動させることを特徴とする空中映像表示装置。
前記表示装置は、前記検知装置が検知した物体の位置に応じて、表示する映像の配色又は形状を変化させることを特徴とする請求項１に記載の空中映像表示装置。
前記駆動装置は、前記表示装置に対する前記光学素子の角度を変化させることを特徴とする請求項１又は請求項２に記載の空中映像表示装置。
前記駆動装置は、前記表示装置に対する前記光学素子の距離を変化させることを特徴とする請求項１又は請求項２に記載の空中映像表示装置。