JP2022089271A - 空間浮遊映像表示装置 - Google Patents

空間浮遊映像表示装置 Download PDF

Info

Publication number
JP2022089271A
JP2022089271A JP2020201539A JP2020201539A JP2022089271A JP 2022089271 A JP2022089271 A JP 2022089271A JP 2020201539 A JP2020201539 A JP 2020201539A JP 2020201539 A JP2020201539 A JP 2020201539A JP 2022089271 A JP2022089271 A JP 2022089271A
Authority
JP
Japan
Prior art keywords
display device
user
floating image
light
space floating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020201539A
Other languages
English (en)
Inventor
宏明 ▲高▼橋
Hiroaki Takahashi
浩二 平田
Koji Hirata
浩司 藤田
Koji Fujita
寿紀 杉山
Toshinori Sugiyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2020201539A priority Critical patent/JP2022089271A/ja
Publication of JP2022089271A publication Critical patent/JP2022089271A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】空間浮遊映像をユーザインタフェースとして用いる場合に好適な空間映像表示装置を提供すること。【解決手段】空間浮遊映像表示装置は、映像を表示する表示装置1と、表示装置1からの映像光を反射させる再帰性反射部材2と、を備えており、空中に1以上のオブジェクトを含む空間浮遊映像3を形成する。空間浮遊映像表示装置は、ユーザが、オブジェクトをタッチしたことを検出するセンサと、センサの検出結果に関する音声を特定のユーザにのみ聴取可能に出力する超指向性スピーカ1242とを備える。【選択図】図4

Description

本発明は、空間浮遊映像表示装置に関する。より具体的には、空間浮遊映像表示装置により生成された空間浮遊映像を、ユーザインタフェースとして用いる場合に、ユーザにとって使い勝手が良く、誤入力を防止するのに好適な空間浮遊映像表示装置に関する。
空間浮遊情報表示システムとして、外部に向かって空間浮遊映像を表示する映像表示装置や、空間浮遊映像として、入力操作が可能な映像(ユーザインタフェース)を表示する表示法は既に知られている。例えば、特許文献1には、空気中に形成される像に対し操作を行う方法が開示されている。
特開2019-128722号公報
上述した従来技術では、空気中に形成される像に対する操作の誤検知を低減することを目的として、ユーザが予め定めた方向から前記像に接近する場合、当該ユーザの動きを操作として受け付けることで、上記目的を達成することが記載されている。
しかしながら、空間浮遊映像表示装置により表示される映像をユーザインタフェースとして用いる場合、空間浮遊映像として表示されるユーザインタフェースの取り扱いに不慣れなユーザ、特に、視力が必ずしも良好でなく、空間での距離感を得ることに困難を感じる高齢者等にとっては、使い勝手が良く利便性に優れたユーザインタフェースであるとは言えない。
そこで、本発明は、初めてシステムを利用するユーザにとっても使い勝手が良く、かつ、入力操作における誤操作や誤入力を低減するのに好適な空間浮遊映像表示装置を提供することを目的とする。
例えば、空間浮遊映像表示装置により形成される空間浮遊映像が、不特定多数のユーザが使用するシステム、例えば、銀行のATM(現金自動預け払い機)や、駅、役所、病院等の公共施設での発券、受付システム等において、ユーザが操作可能なユーザインタフェースとして用いられる場合、空間浮遊映像により形成されたユーザインタフェースとしての押しボタン等は、接触感染のリスクを最小限とし、不安を感じることなく使用できるという、ユーザにとっての利点を最大限活かすることが可能である。しかも、表示される空間浮遊映像によるユーザインタフェースの視認性および操作性を向上させることが可能である。
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本発明は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、まず、空間浮遊映像の視認性を著しく低下させるゴースト像をなくし、空間浮遊映像の明るさを向上させることで、視認性を改善する構成を備える。
その上で、空間浮遊映像表示装置を、数字ボタンを押下する方式のユーザインタフェースとして用いる場合には、ユーザが数字ボタンを押下した際、当該ユーザにのみ音声が聞き取れるように、換言すると、近くにいる他の人には聞き取られることがないように、音場の焦点を形成できる超指向性スピーカを用いることで、当該ユーザにより押下された数字を読み上げ手段を備える構成とした。具体的には、ユーザが「2、3、4、1」の順で数字ボタンを押下した場合、上記読み上げ手段は「ニ、サン、ヨン、イチ」と、超指向性スピーカを介して、ごく限られた音場の焦点でのみ、音声が聞き取れるように、音声を発生する手段を備える。
さらに、本発明による空間浮遊映像表示装置は、顔認証や虹彩認証などによるユーザ特定手段を備え、当該ユーザの年齢やシステムの使用履歴から、当該ユーザが空間浮遊映像表示装置を扱うことが不慣れなユーザであると判断される場合には、コンシェルジュ(案内人)の映像を空間浮遊映像として表示し、上記コンシェルジュが、当該ユーザに対し、あたかも話しかけるように、操作方法を説明する手段を備えた構成とした。
上記手段により、空中浮遊映像により表示されたユーザインタフェースを操作するユーザは、空中浮遊映像として表示された数字ボタンを、確実に視認することができ、かつ、ユーザが押下した数字ボタンを、超指向性スピーカから出される音声により、他の人には聞き取られることなく確認することができるため、誤入力や誤操作を防止することができる。
また、顔認証や虹彩認証によりユーザを特定することで、ユーザが初めて空間浮遊映像表示装置を利用する場合や、ユーザが高齢者である場合には、コンシェルジュが当該ユーザに対して、順を追って操作方法を説明するので、初めて操作を行うユーザや、操作に不慣れな高齢者ユーザにとっても、確実なキー入力操作をおこなうことができる、という効果を得ることができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本発明の一実施の形態に係る空間浮遊映像表示装置のブロック図の一例を示す図である。 本発明の一実施の形態に係る空間浮遊映像表示装置の主要部構成と再帰性反射部構成の一例を示す図である。 空間浮遊映像表示装置の正規像およびゴースト像を示す図である。 本発明の一実施の形態に係る空間浮遊映像表示装置の主要部構成の他の例を示す図である。 本発明の一実施の形態に係る空間浮遊映像表示装置のゴースト像発生を低減する遮光部材の例を示す図である。 本発明の一実施の形態に係る空間浮遊映像表示装置のゴースト像発生を低減する遮光部材の他の例を示す図である。 空間浮遊映像表示装置で表示されるユーザインタフェースの一例を示す図である。 空間浮遊映像表示装置で表示されるユーザインタフェースの他の一例を示す図である。 空間浮遊映像表示装置で表示されるユーザインタフェースの操作結果を読み上げて、音声として出力する超指向性スピーカの配置例を示す図である。 空間浮遊映像表示装置で表示されるユーザインタフェースの操作結果を読み上げて、音声として出力する超指向性スピーカ、およびユーザを検知・認証するためのカメラの配置例を示す図である。 空間浮遊映像表示装置で表示されるユーザインタフェースとして、ATM操作時のフローチャートの一例を示す図である。 空間浮遊映像表示装置で表示される、コンシェルジュ(案内人)の表示例を示す図である。 表示装置の光源拡散特性を説明するための説明図である。 表示装置の光源拡散特性を説明するための説明図である。 表示装置の具体的な構成の一例を示す図である。 光源装置の具体的な構成の一例を示す断面図である。 光源装置の具体的な構成の一例を示す断面図である。 本発明の一実施の形態に係る空間浮遊映像表示装置の主要部を示す配置図である。 本発明の一実施の形態に係る空間浮遊映像表示装置を構成する映像表示装置の構成を示す断面図である。 光源装置の具体的な構成の一例を示す断面図である。 光源装置の具体的な構成の一例を示す断面図である。 光源装置の具体的な構成の一例を示す断面図である。 表示装置の拡散特性を説明するための説明図である。 表示装置の拡散特性を説明するための説明図である。 本発明の一実施の形態に係る空間浮遊映像表示装置を構成する表示装置の構成を示す断面図である。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、本発明は実施の形態の説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものには、同一の符号を付与し、その繰り返しの説明は省略する場合がある。
以下の実施の形態は、本発明による空間浮遊映像表示装置を用いて、ATMの表示画面として、空間浮遊映像を適用した場合を例としている。
以下の実施の形態によれば、ATMの操作画面を、高解像度かつ高輝度な映像情報を空間浮遊した状態で表示可能となり、ユーザは、ATMの操作画面を、接触感染に対する不安を感じることなく操作でき、しかも、操作結果をユーザユーザにしか聞こえない音声により確認することができる。さらに、特に、空間浮遊映像によるユーザインタフェースの取り扱いに不慣れなユーザに対しては、コンシェルジュ(案内人)が空間浮遊映像として表示されるので、そのコンシェルジュのガイダンスにより、誤操作を低減し、確実にATM画面を操作することが可能となる。
また、空間浮遊映像表示装置において、出射する映像光の発散角を小さく、すなわち鋭角とし、さらに特定の偏波に揃えることで、再帰性反射部材に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、従来の再帰反射方式での課題となっていた主空間浮遊映像の他に発生するゴースト像の発生を大幅に低減することができ、鮮明な空間浮遊映像を得ることができる。また本実施の形態の光源を含む装置により、消費電力を大幅に低減することが可能な、新規で利用性に優れた空間浮遊映像表示装置を提供することができる。
一方、従来の空間浮遊映像表示装置では、高解像度なカラー表示映像源として有機ELパネルや液晶パネルを再帰性反射部材と組合せたものが用いられる。従来技術による空間浮遊映像表示装置では、映像光が広角で拡散する。また、再帰性反射部材が6面体である。このため、正規に反射する反射光の他に、図2(C)に示すように再帰性反射部材2aに斜めから入射する映像光よってゴースト像が発生し、空間浮遊映像の画質を損ねていた。従来技術として示した再帰性反射部材は6面体であるため、図3に示すように正規な空間浮遊映像(正規像)R1の他に第1ゴースト像G1からから第6ゴースト像G6まで複数のゴースト像が発生する。上記ゴースト像の発生は、本来のユーザ以外の人によっても空間浮遊映像と同じゴースト像が監視されてしまうことになり、ATM等に要求される、高度なセキュリティの観点からも、大きな課題となっていた。
また、空間浮遊映像によるユーザインタフェースにおいて、空間浮遊映像とユーザの目線とのずれにより、ユーザが選択したキーとは異なるキーが選択される誤入力が発生するという空間浮遊映像表示装置特有の課題も明らかになっており、こうした誤入力の発生は、特に、本実施の形態における銀行のATMに空間浮遊映像を適用する場合には、金額の入力誤り等、大きな問題を引き起こす可能性があり、また、高齢者のような視力が比較的弱い人がユーザである場合には、誤入力が発生する頻度が高くなる恐れがあり、今後の空間浮遊映像表示装置のさまざまな用途への普及・適用という観点からも、大きな課題となっていた。
<空間浮遊映像表示装置1>
図1は、空間浮遊映像表示装置の内部構成例を示すブロック図である。
空間浮遊映像表示装置1000は、再帰性反射部1101、映像表示部1102、導光体1104、光源1105、電源1106、操作入力部1107、不揮発性メモリ1108、メモリ1109、制御部1110、映像信号入力部1131、音声信号入力部1133、通信部1132、空中操作検出センサ1351、空中操作検出部1350、音声信号出力部1240、超指向性スピーカ1242、映像制御部1160、ストレージ部1170、撮像部1180等を備えている。
空間浮遊映像表示装置1000の各構成要素は、筐体1190に収容されている。なお、図1に示す撮像部1180および空中操作検出センサ1351は、筐体1190の外側に設けられてもよい。
図1の再帰性反射部1101は、図2の再帰性反射部材2に対応している。再帰性反射部1101は、映像表示部1102により変調された光を再帰性反射する。再帰性反射部1101からの反射光のうち、空間浮遊映像表示装置1000の外部に出力された光により空間浮遊映像3が形成される。
図1の映像表示部1102は、図2の液晶表示パネル11に対応している。図1の光源1105は、図2の光源装置13と対応している。そして、図1の映像表示部1102、導光体1104、および光源1105は、図2の表示装置1に対応している。
映像表示部1102は、後述する映像制御部1160による制御により入力される映像信号に基づいて、透過する光を変調して映像を生成する表示部である。映像表示部1102は、図2の液晶表示パネル11に対応している。映像表示部1102として、例えば透過型液晶パネルが用いられる。また、映像表示部1102として、例えば反射する光を変調する方式の反射型液晶パネルやDMD(Digital Micromirror Device:登録商標)パネル等が用いてられてもよい。
光源1105は、映像表示部1102用の光を発生するもので、LED光源、レーザ光源等の固体光源である。電源1106は、外部から入力されるAC電流をDC電流に変換し、光源1105に電力を供給する。また、電源1106は、空間浮遊映像表示装置1000内の各部に、それぞれ必要なDC電流を供給する。
導光体1104は、光源1105で発生した光を導光し、映像表示部1102に照射させる。導光体1104と光源1105とを組み合わせたものを、映像表示部1102のバックライトと称することもできる。導光体1104と光源1105との組み合わせには、さまざまな方式が考えられる。導光体1104と光源1105との組み合わせについての具体的な構成例については、後で詳しく説明する。
空中操作検出センサ1351は、ユーザ230の指による空間浮遊映像3の操作を検出するセンサである。空中操作検出センサ1351は、例えば空間浮遊映像3の表示範囲の全部と重畳する範囲をセンシングする。なお、空中操作検出センサ1351は、空間浮遊映像3の表示範囲の少なくとも一部と重畳する範囲のみをセンシングしてもよい。
空中操作検出センサ1351の具体例としては、赤外線などの非可視光、非可視光レーザ、超音波等を用いた距離センサが挙げられる。また、空中操作検出センサ1351は、複数のセンサを複数組み合わせ、2次元平面の座標を検出できるように構成されたものでもよい。また、空中操作検出センサ1351は、ToF(Time of Flight)方式のLiDAR(Light Detection and Ranging)や、画像センサで構成されてもよい。
空中操作検出センサ1351は、ユーザが指で空間浮遊映像3として表示されるオブジェクトに対するタッチ操作等を検出するためのセンシングができればよい。このようなセンシングは、既存の技術を用いて行うことができる。
空中操作検出部1350は、空中操作検出センサ1351からセンシング信号を取得し、センシング信号に基づいてユーザ230の指による空間浮遊映像3のオブジェクトに対する接触の有無や、ユーザ230の指とオブジェクトとが接触した位置(接触位置)の算出等を行う。空中操作検出部1350は、例えば、FPGA(Field Programmable Gate Array)等の回路で構成される。また、空中操作検出部1350の一部の機能は、例えば制御部1110で実行される空間操作検出用プログラムによりソフトウェアで実現されてもよい。
空中操作検出センサ1351および空中操作検出部1350は、空間浮遊映像表示装置1000に内蔵された構成としてもよいが、空間浮遊映像表示装置1000とは別体で外部に設けられてもよい。空間浮遊映像表示装置1000と別体で設ける場合、空中操作検出センサ1351および空中操作検出部1350は、有線または無線の通信接続路や映像信号伝送路を介して空間浮遊映像表示装置1000に情報や信号を伝達できるように構成される。
また、空中操作検出センサ1351および空中操作検出部1350が別体で設けられてもよい。これにより、空中操作検出機能の無い空間浮遊映像表示装置1000を本体として、空中操作検出機能のみをオプションで追加できるようなシステムを構築することが可能である。また、空中操作検出センサ1351のみを別体とし、空中操作検出部1350が空間浮遊映像表示装置1000に内蔵された構成でもよい。空間浮遊映像表示装置1000の設置位置に対して空中操作検出センサ1351をより自由に配置したい場合等には、空中操作検出センサ1351のみを別体とする構成に利点がある。
撮像部1180は、イメージセンサを有するカメラであり、空間浮遊映像3付近の空間、および/またはユーザ230の顔、腕、指などを撮像する。撮像部1180は、複数設けられてもよい。複数の撮像部1180を用いることで、あるいは深度センサ付きの撮像部を用いることで、ユーザ230による空間浮遊映像3のタッチ操作の検出処理の際、空中操作検出部1350を補助することができる。
例えば、空中操作検出センサ1351が、空間浮遊映像3の表示面を含む平面(侵入検出平面)を対象として、この侵入検出平面内への物体の侵入の有無を検出する物体侵入センサとして構成された場合、侵入検出平面内に侵入していない物体(例えば、ユーザの指)が侵入検出平面からどれだけ離れているのか、あるいは物体が侵入検出平面にどれだけ近いのかといった情報を、空中操作検出センサ1351では検出できない場合がある。
このような場合、複数の撮像部1180の撮像画像に基づく物体の深度算出情報や深度センサによる物体の深度情報等の情報を用いることにより、物体と侵入検出平面との距離を算出することができる。そして、これらの情報や、物体と侵入検出平面との距離等の各種情報は、空間浮遊映像3に対する各種表示制御に用いられる。
また、空中操作検出センサ1351を用いずに、撮像部1180の撮像画像に基づき、空中操作検出部1350がユーザ230による空間浮遊映像3のタッチ操作を検出するようにしてもよい。
また、撮像部1180が空間浮遊映像3を操作するユーザ230の顔を撮像し、制御部1110がユーザ230の識別処理を行うようにしてもよい。また、空間浮遊映像3を操作するユーザ230の周辺や背後に他人が立っており、他人が空間浮遊映像3に対するユーザ230の操作を覗き見ていないか等を判別するため、撮像部1180は、空間浮遊映像3を操作するユーザ230と、ユーザ230の周辺領域とを含めた範囲を撮像するようにしてもよい。
操作入力部1107は、例えば操作ボタンやリモートコントローラの受光部であり、ユーザ230による空中操作(タッチ操作)とは異なる操作についての信号を入力する。空間浮遊映像3をタッチ操作する前述のユーザ230とは別に、操作入力部1107は、例えば管理者が空間浮遊映像表示装置1000を操作するために用いられてもよい。
映像信号入力部1131は、外部の映像出力装置を接続して映像データを入力する。音声信号入力部1133は、外部の音声出力装置を接続して音声データを入力する。一方、音声信号出力部1240は、音声信号入力部1133に入力された音声データに基づく音声信号を出力することが可能である。また、音声信号出力部1240は、予めストレージ部1170に記録されている、数字や文字列等の音声データ、その他の操作音やエラー警告音のデータに基づく音声信号を出力してもよい。
音声信号出力部1240は、通常の可聴帯域の音声を出力するスピーカと接続されてもよいが、銀行のATMなど、特にセキュリティに配慮する必要があるシステムに適用する場合には、ユーザ以外の他の人には聞き取ることができないように、超指向性スピーカ1242に接続してもよい。ここで、超指向性スピーカとは、特定の限られた領域に存在する人のみが可聴帯域の音声を聴取することができるスピーカであり、上記領域の外に存在する人には前記音声を聴取することができない特性を有するスピーカである。
超指向性スピーカ1242は、40kHz程度の超音波信号を発生できる超音波出力素子を平面上に複数個並べることで構成される。このとき、使用する超音波出力素子の数が多いほど、超指向性スピーカによって得られる音声の音量は大きくなる。ここで、超指向性スピーカの原理を簡単に説明する。よく知られるように、超音波は可聴帯域の音声(例えば、人の話し声)と比較して直進性が高い。したがって、上記40kHzの超音波信号をキャリア(搬送波)として、上記キャリアを可聴帯域の信号(音声信号)で変調(例えば、FM変調)することで、特定の限られた領域だけで音声が聞こえるようにすることが可能となる。
例えば、複数の撮像部1180を用いることで、ユーザの顔の位置、や耳の位置を特定し、その結果に応じてユーザの耳の近傍領域においてのみ、音声が聞こえるようにすることができる。具体的には、超指向性スピーカ1242を構成する超音波出力素子に入力する超音波信号の位相(遅延時間)を制御することで、前記特定の限られた領域だけで音声が聞こえるようにすることが可能である。
また、複数の超音波出力素子を平面上ではなく、例えば、凹面状の面に配置することによっても、前記特定の限られた領域だけで音声が聞こえるようにすることが可能となる。上記超指向性スピーカを空間浮遊映像表示装置1に適用した、具体的な実施の形態については後に詳しく述べる。
また、音声信号出力部1240は、音声信号入力部1133に入力された音声データに基づいた音声信号の出力を行うことが可能である。また、音声信号出力部1240は内蔵の操作音やエラー警告音を出力させる音声信号を出力してもよい。
不揮発性メモリ1108は、空間浮遊映像表示装置1000で用いる各種データを格納する。不揮発性メモリ1108に格納されるデータには、例えば、空間浮遊映像3に表示する各種操作用のデータ、表示アイコン、ユーザの操作が操作するためのオブジェクトのデータやレイアウト情報等が含まれる。メモリ1109は、空間浮遊映像3として表示する映像データや装置の制御用データ等を記憶する。
制御部1110は、接続される各部の動作を制御する。また、制御部1110は、メモリ1109に記憶されるプログラムと協働して、空間浮遊映像表示装置1000内の各部から取得した情報に基づく演算処理を行ってもよい。通信部1132は、有線または無線のインタフェースを介して、外部機器や外部のサーバ等と通信を行う。通信部1132を介した通信により、映像データ、画像データ、音声データ等の各種データが送受信される。
ストレージ部1170は、映像データ、画像データ、音声データ等の各種データ&の各種情報を記録する記憶装置である。ストレージ部1170には、例えば、製品出荷時に予め映像データ、画像データ、音声データ等の各種データ等の各種情報が記録されていてもよい。また、ストレージ部1170は、通信部1132を介して外部機器や外部のサーバ等から取得した映像データ、画像データ、音声データ等の各種データ等の各種情報を記録してもよい。
ストレージ部1170に記録された映像データ、画像データ等は、映像表示部1102と再帰性反射部1101とを介して空間浮遊映像3として出力される。空間浮遊映像3として表示される、表示アイコンやユーザが操作するためのオブジェクト等の映像データ、画像データ等も、ストレージ部1170に記録される。
空間浮遊映像3として表示される表示アイコンやオブジェクト等のレイアウト情報や、オブジェクトに関する各種メタデータの情報等もストレージ部1170に記録される。ストレージ部1170に記録された音声データは、例えば音声出力部1140から音声として出力される。
映像制御部1160は、映像表示部1102に入力する映像信号に関する各種制御を行う。映像制御部1160は、例えば、メモリ1109に記憶させる映像信号と、映像信号入力部1131に入力された映像信号(映像データ)等のうち、どの映像信号を映像表示部1102に入力するかといった映像切り替えの制御等を行う。
また、映像制御部1160は、メモリ1109に記憶させる映像信号と、映像信号入力部1131から入力された映像信号とを重畳した重畳映像信号を生成し、重畳映像信号を映像表示部1102に入力することで、合成映像を空間浮遊映像3として形成する制御を行ってもよい。
また、映像制御部1160は、映像信号入力部1131から入力された映像信号やメモリ1109に記憶させる映像信号等に対して画像処理を行う制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形等を行うスケーリング処理、輝度を変更するブライト調整処理、画像のコントラストカーブを変更するコントラスト調整処理、画像を光の成分に分解して成分ごとの重みづけを変更するレティネックス処理等がある。
また、映像制御部1160は、映像表示部1102に入力する映像信号に対して、ユーザ230の空中操作(タッチ操作)を補助するための特殊効果映像処理等を行ってもよい。特殊効果映像処理は、例えば、空中操作検出部1350によるユーザ230のタッチ操作の検出結果や、撮像部1180によるユーザ230の撮像画像に基づいて行われる。
ここまで説明したように空間浮遊映像表示装置1000には、さまざまな機能が搭載されている。ただし、空間浮遊映像表示装置1000は、これらのすべての機能を備える必要はなく、空間浮遊映像3を形成する機能があればどのような構成でもよい。
<空間浮遊映像表示装置の例1>
図2は、本発明の一実施の形態に係る空間浮遊映像表示装置1の主要部構成と再帰性反射部1101の構成例を示す図である。
図2(A)に示すように、ガラス等の透明な部材100の斜め方向には、特定偏波の映像光を挟角に発散させる表示装置1を備える。表示装置1は、液晶表示パネル11(図1の映像表示部1102に対応)と挟角な拡散特性を有する特定偏波の光を生成する光源装置13(図1の光源1105に対応)とを備えている。
表示装置1からの特定偏波の映像光は、透明な部材100(例えば、ガラス)に設けた特定偏波の映像光を選択的に反射する膜を有する偏光分離部材101(図中では偏光分離部材101をシート状に形成して透明な部材100に粘着している)で反射され、再帰性反射部材2(図1の再帰性反射部1101に対応)に入射する。再帰性反射部材2の映像光入射面には、λ/4板2bが設けられている。映像光は、再帰性反射部材2への入射のときと出射のときの2回、λ/4板2bを通過させられることで、特定偏波から他方の偏波へ偏光変換される。ここで、特定偏波の映像光を選択的に反射する偏光分離部材101は偏光変換された他方の偏波の偏光は透過する性質を有するので、偏光変換後の特定偏波の映像光は、偏光分離部材101を透過する。偏光分離部材101を透過した映像光が、透明な部材100の外側に、実像である空間浮遊映像3を形成する。
なお、空間浮遊映像3を形成する光は、再帰性反射部材2から空間浮遊映像3の光学像へ収束する光線の集合であり、これらの光線は、空間浮遊映像3の光学像を通過後も直進する。よって、空間浮遊映像3は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像である。よって、図2の構成では、矢印Aの方向からユーザが視認する場合、空間浮遊映像3は明るい映像として視認される。一方、矢印Bの方向から他の人物が視認する場合、空間浮遊映像3は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には見られたくない秘匿性の高い映像を表示するシステムに採用する場合、非常に好適である。
なお、再帰性反射部材2の性能によっては、反射後の映像光の偏光軸が不揃いになることがある。この場合、偏光軸が不揃いになった一部の映像光は、上述した偏光分離部材101で反射され表示装置1に戻る。この光が、表示装置1を構成する液晶表示パネル11の映像表示面で再反射し、ゴースト像を発生させ空間浮遊映像の画質を低下させる可能性がある。そこで、本実施の形態では表示装置1の映像表示面に吸収型偏光板12を設ける。表示装置1から出射する映像光は吸収型偏光板12を透過させ、偏光分離部材101から戻ってくる反射光は吸収型偏光板12で吸収させることで、上記再反射を抑制できる。これにより、空間浮遊映像のゴースト像による画質低下を防止することができる。上述した偏光分離部材101は、例えば反射型偏光板や特定偏波を反射させる金属多層膜などで形成すればよい。
また、図2(A)の透明な部材100の上、あるいはその周辺位置には、空間浮遊映像を形成するための光路を妨げないように超指向性スピーカ1242が配置される。すでに述べた通り、超指向性スピーカ1242を用いることで、ユーザの耳の近傍のごく限られた領域でのみ、可聴帯域の音声を聞き取ることができ、ユーザの周囲の人には超指向性スピーカ1242から出る音声を聞き取ることができない、という特徴があり、秘匿性の高い音声情報(例えば、暗証番号や金額など)を読み上げる場合に好適である。
次に、図2(B)に代表的な再帰性反射部材2として、今回の検討に用いた日本カ-バイト工業株式会社製の再帰性反射部材の表面形状を示す。規則的に配列された6角柱の内部に入射した光線は、6角柱の壁面と底面で反射され再帰反射光として入射光に対応した方向に出射して図3に示す正規像R1を形成する。一方、図2の(C)に示したように表示装置1からの映像光の内で再帰性反射部材に斜めに入射した映像光によっては正規像R1とは別にゴースト像(図3に示すG1からG6)が形成される。
本発明の表示装置1に表示した映像に基づき実像である空間浮遊映像3を表示する。この空間浮遊映像3の解像度は液晶表示パネル11の解像度の他に、図2(B)で示す再帰性反射部材2の再帰性反射部の直径DとピッチPに大きく依存する。例えば、7インチのWUXGA(1920×1200画素)液晶表示パネルを用いる場合には、1画素(1トリプレット)が約80μmであっても、例えば再帰性反射部の直径Dが240μmでピッチが300μmであれば空間浮遊映像の1画素は300μm相当となる。このため、空間浮遊映像の実効的な解像度は1/3程度に低下する。そこで、空間浮遊映像の解像度を表示装置1の解像度と同等にするためには、再帰性反射部の直径とピッチを液晶表示パネルの1画素に近づけることが望まれる。他方、再帰性反射部材と液晶表示パネルの画素によるモアレの発生を抑えるため、それぞれのピッチ比を1画素の整数倍から外して設計すると良い。また形状は再帰性反射部材のいずれの一辺も液晶表示パネルの1画素のいずれの一辺と重ならないように配置すると良い。
一方、再帰性反射部材を低価格で製造するためには、ロールプレス法を用いて成形すると良い。具体的には再帰部を整列させフィルム上に賦形する方法であり、賦形する形状の逆形状をロール表面に形成し、固定用のベース材の上に紫外線硬化樹脂を塗布しロール間を通過させることで、必要な形状を賦形し紫外線を照射して硬化させ、所望形状の再帰性反射部材2を得る。
本発明の表示装置1は、液晶表示パネル11と後述詳細に説明する挟角な拡散特性を有する特定偏波の光を生成する光源装置13により上述した再帰性反射部材2に対して斜めから映像が入射する可能性が小さく、仮にゴースト像が発生したとしても、ゴースト像の輝度が低いという構造的に優れたシステムとなる。
<空間浮遊映像表示装置の例2>
図4は、本発明の一実施の形態に係る空間浮遊映像表示装置の主要部構成の他の例を示す図である。表示装置1は、映像表示素子としての液晶表示パネル11と、挟角な拡散特性を有する特定偏波の光を生成する光源装置13とを備えて構成される。液晶表示パネル11は、画面サイズが5インチ程度の小型のものから、80インチを超える大型な液晶表示パネルで構成される。例えば反射型偏光板のような偏光分離部材101で液晶表示パネルからの映像光を再帰性反射部材2に向けて反射させる。
再帰性反射部材2の光入射面にはλ/4板2bを設け、映像光を2度通過させることで偏光変換し、特定偏波を他方の偏波に変換することで、偏光分離部材101を透過させ、透明な部材100の外側に実像である空間浮遊映像3を表示する。透明な部材100の外光入射面には吸収型の偏光板を設ける。上述した偏光分離部材101では、再帰反射することで偏光軸が不揃いになるため、一部の映像光は反射し表示装置1に戻る。この光が再度表示装置1を構成する液晶表示パネル11の映像表示面で反射し、ゴースト像を発生させ空間浮遊映像の画質を著しく低下させる。そこで本実施の形態では、表示装置1の映像表示面に吸収型偏光板12を設け、映像光は透過させ、上述した反射光を吸収させることで空間浮遊映像のゴースト像による画質低下を防止する。更に、セット外部の太陽光や照明光による画質低下を軽減するため、透明な部材100の表面に吸収型偏光板12を設けると良い。偏光分離部材101としては、例えば、反射型偏光板や特定偏波を反射させる金属多層膜で構成される。
図4における図2との違いは、偏光分離部材101と液晶表示パネル11の間に、空間浮遊映像を形成する正規映像光以外の斜め映像光を遮光する遮光部材24及び23が併設されていることである。また、図4では、再帰性反射部2と偏光分離部材101の間にも、正規映像光以外の斜め映像光を遮光する遮光部材22が設けられ、ゴースト像を発生させる斜め光を遮光している。この結果、ゴースト像の発生を抑えることができる。
発明者らは、実験により、液晶パネル11と偏光分離部材101の空間に遮光部材24と遮光部材23を併設してすることで遮光の効果を高められることを確認した。この実験では、遮光部材23及び24の内径は、空間浮遊映像を形成する正規映像光束が通過する領域に対して面積で110%とすることで、部品精度を機械公差の範囲で作成し組み立てることができる。更に、ゴースト像発生をさらに軽減するには、前述の遮光部材の正規映像光束が通過する領域に対して104%以下とすれば、ゴースト像の発生を実用上問題のないレベルに抑えることができた。一方、再帰性反射部材2と偏光分離部材101の間に設けた遮光部材22は、遮光部材22と再帰性反射部材2の距離L1が、再帰性反射部材2と偏光分離部材101の距離に対して50%以下となる位置に設置されれば、ゴースト像の発生を更に軽減できる。また、遮光部材22は、遮光部材22と再帰性反射部材2の距離L1が、再帰性反射部材2と偏光分離部材101の距離に対して30%以下となる位置に設置されれば、目視では実用上問題のないレベルまでゴースト像の発生を軽減できた。遮光部材22と遮光部材23及び遮光部材24を併設することで更にゴーストレベルを軽減できた。
図5は、本発明の一実施の形態に係る空間浮遊映像表示装置のゴースト像発生を低減する遮光部材の例を示す図である。図5(A)は、上述した遮光部材の実施の形態の断面形状を示している。図5(B)は、上述した遮光部材の実施の形態の平面形状を示しており、空間浮遊映像を形成する正規映像光束が通過する領域27に対する遮光部材25の有効面積が示されている。図5(B)の例では、遮光部材外枠25aに対して、正規映像光束が通過する領域27が小さく設定されている。
図6は、本発明の一実施の形態に係る空間浮遊映像表示装置のゴースト像発生を低減する遮光部材の他の例を示す図である。図6(A)は、遮光部材の他の実施の形態の断面形状を示している。図6(B)は、遮光部材の他の実施の形態の平面形状を示しており、空間浮遊映像を形成する正規映像光束が通過する領域27に対する遮光部材26の有効面積をほぼ同サイズとした構成が示されている。図6の例では、遮光部材外枠26aの内側に向かって梁26bが設けられている。これにより、ゴースト像を形成する異常光を梁26bの表面で複数回反射させることで異常光をさらに吸収させることが可能となっている。遮光部材外枠26aに対して正規映像光束が通過する領域27を小さくし、梁26bの内接する面と同等の面積としている。
他方、再帰性反射部材2の形状を表示装置1と正対した平面形状から曲率半径200mm以上の凹面又は凸面として、再帰性反射部材2で反射した斜め映像光によりゴースト像が発生しても、反射後に発生したゴースト像をユーザの視界から離してしまうことで、監視できないようにしても良い。この曲率半径を100mm以下にすると、再帰性反射部2の周辺で反射した光の内、正規で反射した光量が低下し、得られる空間浮遊映像の周辺光量が低下するという新たな課題が発生する。このため、ゴースト像を実用上問題のないレベルに軽減するためには、上述した技術手段を選択して適用するか、これらを併用すると良い。
<空間浮遊映像表示装置の映像表示方法>
図7は、空間浮遊映像表示装置で用いる誤入力防止のための表示方法を説明するための説明図である。図7(A)は、空間浮遊映像表示装置の表示の例を示す図である。上述したように表示装置1を構成する映像表示素子11は、液晶表示パネル(実施の形態では液晶パネルとも記載)11と挟角な拡散特性を有する特定偏波の光を生成する光源装置13を備え、画面サイズが5インチ程度の小型のものから、80インチを超える大型な液晶表示パネルで構成することもできる。例えば反射型偏光板のような偏光分離部材101で、液晶表示パネルからの映像光を再帰性反射部2に向けて反射させる。空間浮遊映像3は高い指向性を有する光線により形成されるので、図7(B)で示した監視方向から視認する場合には、空間浮遊映像3は明るい映像として視認されるが、ユーザが空間浮遊映像表示装置に対して正しい位置で操作し、ユーザの目線がMLにある場合には、図7(A)に示すように、ユーザは、空間浮遊映像3を全て認識できる。
一方、発明者らは、挟角な拡散特性を有する光源装置13と映像表示素子11とを組み合わせ、ユーザの目の位置が最適な位置にない場合、例えばユーザが図7(B)に示した目線ULに沿って視認するには空間浮遊映像3の下部の映像は視認しにくいことが判った。このことを反対の視点から考察すれば、ユーザ以外に空間浮遊映像3を覗き込まれる危険性が少なく、セキュリティの確保には有効であった。
他方、発明者は、最適な監視位置で容易に空間浮遊映像にタッチできる方式について検討した。本実施の形態に示す空間浮遊映像表示装置においては、図7(B)に示すように、空間浮遊映像表示装置の筐体1190の一部にユーザの立ち位置の良否を判断するカメラユニット55が設けられる。カメラユニット55により、ユーザの顔の位置と向き、さらに必要に応じて瞳位置が判定され、図7(A)に示す空間浮遊映像のキー映像外側4辺に配置された最適監視位置表示部3a,3b,3c,3dの点灯状態を変化させることで、ユーザ(使用者)を最適位置MLに誘導すれば良いことが判った。例えば、ユーザが最適位置より下方において空間浮遊映像を監視した場合には、最適監視位置表示部3aを不点灯にするなどして4辺の表示部分の点灯状態を切り換えることにより、ユーザの視線を最適位置MLに誘導することが可能である。また、上述したカメラユニット55からの外部(外界)の明るさ情報により、表示映像の輝度を自動調整することで空間浮遊映像表示装置の消費電力軽減や視認性向上を実現することも可能である。
更に、ユーザが空間浮遊映像表示装置を使用する場合に、映像が浮遊する位置を判別しにくいという新たな課題が判明した。これを解決するために、発明者らは、図8(A)及び図8(B)に示すように浮遊映像が表示される位置に、位置認識のための例えば、プラスチック製の透明な構造部材60、を設けることで、ユーザが空間浮遊映像の3次元空間における表示位置が判別し易くなることが判った。なお、上記、透明な構造部材60の代わりに、例えば、金属製などによる、透明ではない額縁状の構造部材(図示せず)を設けるようにしてもよい。透明ではない額縁状の構造部材を設けることで、ユーザは空間浮遊映像の3次元空間における表示位置を、例えば数メートル離れた横方向あるいは斜め上方向からも、より速やかに認識することができ、その後、正面位置から空間浮遊映像を指で操作することができる。
図8では、空間浮遊映像に対して、例えばユーザの指などの対象物とセンサ56の距離や位置との関係をセンシングするように、TOF(Time of Fly)機能を有するセンサ56が、空間浮遊映像の下部に配置されている。センサ56は、対象物の平面方向の座標の他に、対象物の移動方向、移動速度も感知することが可能である。2次元の距離と位置を読み取るため、センサ56は、赤外線発光部と受光部との組み合わせが直線的に複数配置された構成となっており、赤外線発光部からの光を対象物に照射し反射した光を受光部で受光する。発光した時刻と受光した時刻との時間差を光速と乗算することで、対象物との距離が明確になる。また、平面上の座標は複数の赤外線発光部と受光部で、発光時刻と受光時刻との時間差が最も小さい部分での座標から読み取ることができる。
また、上記とは別のセンシング方法として、赤外線レーザ発生部と、赤外カメラによる撮像部とを備える構成を用いる方法でもよい。ここで、赤外線レーザ光発生部から発生するレーザ光の照射領域の形状は、薄膜のシート状であり、空間浮遊映像の表示面との間隙を数mm以下になるよう近接した形状とする。この赤外線レーザ光の照射領域を「レーザシート」と呼ぶ。赤外線レーザ発生部(レーザシート発生部)から発生するレーザ光により形成されるレーザシートがユーザの指などの対象物に反射した光を、撮像部(赤外カメラ)が撮像し、撮像部で生成される撮像画像を解析することで、ユーザの指のレーザシート状の位置を特定することができる。以上により、平面(2次元)での対象物の座標と、前述したセンサを複数組み合わせることで3次元の座標情報を得ることもできる。
発明者らは、空間浮遊映像をより明確に視認できる表示方法についても検討した。その結果、図7に示したように、映像光が出射する窓部となっている透明な部材100の外側にある筐体1190の外枠1190aに、空間浮遊映像の一部が掛かる様にすればよく、浮遊量をより大きく見せるためには浮遊映像の下端が筐体1190の外枠1190aに掛かる様に光学システム全体のレイアウトを設計すればよいことが判った。
<空間浮遊映像表示装置の例3:超指向性スピーカの使用>
次に、発明者らは、空間浮遊映像表示装置で形成される空間浮遊映像として表示されるオブジェクトをユーザインタフェースとして使用する場合に、ユーザが選択したいオブジェクトに対するタッチ操作等の誤入力を防止し、確実に入力操作を行うために、ユーザの入力操作に対応して音声を出力する方法、すなわち音声によるユーザ操作補助、あるいは操作ガイダンスについて検討した。
しかしながら、銀行のATMのように、暗証番号や取引金額の入力情報など秘匿性が高い情報を取り扱うシステムでは、単に、ユーザがタッチ操作等により選択したオブジェクト、例えば、数字ボタンに対応する音声を通常のスピーカから出力することは、セキュリティ上、大きな問題がある。そこで、発明者らは、超指向性スピーカを用いて、当該ユーザのみが聴取できる音声出力方式につき検討した。
図2等で示す通り、ユーザ側(図2の矢印A)から見て、空間浮遊映像3が表示される領域(平面領域)には、実際には何も存在していない。したがって、空間浮遊映像3を形成するための光路上から外れた位置に超指向性スピーカ1242を配置することで、ユーザの耳の近傍のみで音声が聞こえるようにするための構成を検討し、図9(A)および図9(B)の2つの方式を考案するに至った。
図9(A)は、超指向性スピーカ1242を、筐体1190の外枠1190a上に配置する構成を示す図である。この構成では、超指向性スピーカ1242は指向性の強い音場31を形成し、超指向性スピーカ1242から発せられた音声は直接ユーザの耳に到達する。一方、図9(B)は、前記超指向性スピーカ1242を、空間浮遊映像表示装置に対して、ユーザとは反対側の壁部57に配置した構成を示す図である。図9(B)の構成では、超指向性スピーカ1242から発せられた音声は、一旦、透明な部材(例えばガラス)100の面で反射し、その反射した音声がユーザの耳に到達する。
図9(A)、図9(B)、いずれの場合も、超指向性スピーカ1242は、空間浮遊映像3が形成されるための光路上からは外れた位置に配置されるため、空間浮遊映像3を形成するための光路を妨げることがない。また、図9(A)、図9(B)の両者を比較すると、図9(B)の方が、ユーザの位置からは、あたかも空間浮遊映像3から音または音声が発せられているように聞こえる点でより効果的であるといえる。
さらに、超指向性スピーカを構成する複数の超音波出力素子を平面上に規則的に並べて、複数の超音波出力素子に入力する超音波信号の位相差(あるいは、時間差)により、前記超指向性スピーカから出力される音声を聴取可能な三次元位置(音場)を制御する技術が知られている。また、複数の超音波出力素子を平面上ではなく、凹面状の面上に配置し、前記凹面状の面の曲率を変化させることによっても、超指向性スピーカ1242から出力される音声を聴取可能な三次元位置(音場)を制御することが可能である。上記の技術を用いれば、ユーザの極近傍領域だけで、音声を聴取することができるように音場を形成することが可能となる。なお、超指向性スピーカに関連する技術に関しては、例えば、論文「高臨場音場再現:パラメトリックスピーカを用いた最新の研究動向」(IEICE Fundamentals Review Vol.10 No.1 57~64頁)に記載されている。
そこで、図10(A)に示すように、空間浮遊映像表示装置1の筐体1190の、ユーザから見て奥側に、超指向性スピーカ1242を配置する。さらに、ユーザから見て超指向性スピーカ1242の左側にカメラ1180CLを配置し、ユーザから見て超指向性スピーカ1242の右側にカメラ1180CRを配置する。
この構成とすることで、カメラ1180CLとカメラ1180CRの2台のカメラによってステレオ撮影が可能となるため、ユーザの顔位置、および、超指向性スピーカ1242からユーザの顔位置までの距離を、2台のカメラ1180CL、30CRのそれぞれの撮像画像から計算して求めることができる。この計算結果から、超指向性スピーカ1242を構成する複数の超音波出力素子に入力する超音波信号の位相差(あるいは、時間差)を制御することで、ユーザの顔または耳の近傍領域でのみ、音声が聴取可能となるように、音場31を生成することができる。
その結果、ユーザは、自分以外の他の人に聞き取られることなく、超指向性スピーカ1242からの音声を聞き取ることが可能となる。特にATMのような高いセキュリティが要求されるシステムにおいて、空間浮遊映像表示装置による空間浮遊映像3として形成されたユーザインタフェースを用いる場合には、図10(A)の構成はセキュリティの観点から非常に好適である。ここで、超指向性スピーカ1242、カメラ1180CL、30CRは、空間浮遊映像表示装置の筐体1190と離れた位置に設けられてもよいし、あるいは、筐体1190に設置されてもよい。また、超指向性スピーカ1242、カメラ1180CL、30CRは、所定の位置で筐体1190に固定されてもよい。
また、図10(B)に示すように、超指向性スピーカの筐体にカメラを内蔵して、超指向性スピーカとカメラとを一体化した構成としてもよい。図10(B)に示すように、ユーザから見て奥側の左側には、超指向性スピーカ1242Lとカメラ1180CLとが一体化されたスピーカ・カメラユニットUNIT1が配置され、ユーザから見て奥側の右側には、超指向性スピーカ1242Rとカメラ1180CRとが一体化されたスピーカ・カメラユニットUNIT2が配置されている。
この構成によれば、超指向性スピーカとカメラが一体となっており、スペースファクタの点で優れているだけでなく、左側および右側の2台のカメラにより、ステレオ撮影が可能となるため、ユーザの顔位置、および、スピーカからユーザの顔の位置までの距離を、それぞれのカメラの画像から計算して求めることができる。
また、スピーカ・カメラユニットUNIT1、UNIT2は、筐体1190の所定の位置で筐体1190に固定されてもよい。これにより、スピーカ・カメラユニットUNIT1、UNIT2間の距離が常に一定となり、ユーザ、カメラ、および超指向性スピーカとの位置関係をより正確に算出することが可能となる。
また、この構成により、2台の超指向性スピーカ1242L、1242Rにより形成される音場31の位置を精度よく算出することが可能となる。これにより、2台の超指向性スピーカ1242L、1242Rによって形成される音場31の焦点領域、すなわち、ユーザのみが音声を聴取可能な領域を精度よく設定することが可能となる。
その結果、2台の超指向性スピーカ1242L、1242Rによって形成される音場31による音声は、ATMのユーザにのみ聴取可能となり、ユーザの近傍(左右や後ろの位置)に存在するユーザ以外の他人には聴取できないようにすることが可能となる。
さらに、図10(B)の構成によれば、ユーザの左耳に対しては、スピーカ・カメラユニットUNIT1に内蔵された超指向性スピーカ1242Lにより音場が形成され、ユーザの右耳に対しては、スピーカ・カメラユニットUNIT2に内蔵された超指向性スピーカ1242Rによって、最適な音場が形成される。これにより、超指向性スピーカが1台の場合と比較して、ユーザにとって、より聞き取りやすい音声を提供することができる。
なお、図10(A)、図10(B)では、ユーザの顔位置をステレオカメラにより求める方式としたが、カメラではなく、熱センサを用いることで、ユーザの顔位置を特定するようにしてもよい。
<空間浮遊映像表示装置の例4:コンシェルジュによる操作案内>
図11は、ユーザが、空間浮遊映像表示装置1により形成された空間浮遊映像をユーザインタフェースとして適用した、銀行ATMを操作する際のフローチャートを示す図である。以下、図11のフローチャートを用いて、ユーザが、空間浮遊映像表示装置を適用した銀行ATMを使用する流れを説明する。
まず、図11のステップS100において、ATMを使用しようとするユーザは、ATMの正面近づき、ATM近傍の所定の位置に立つ。ステップS101では、図10(A)、図10(B)に示したカメラ1180CLおよびカメラ1180CRの2台のカメラによるステレオ撮影が行われ、ATMを操作しようとするユーザの検知が行われる。ここで、ユーザ検知を行う方法として、ステレオ撮影ではなく、赤外線を用いた人感センサ(図示せず)が用いられてもよい。ステップS101においてユーザを検知した場合(Yes)、ステップS102に移行し、例えば「いらっしゃいませ」のような文字情報を空間浮遊映像3として表示する。
一方、ステップS101において、ユーザを検知できなかった場合(No)、ステップS112へ移行し、メニュー画面が表示されるか、空間浮遊映像3の表示が終了する。
ステップS103では、例えばユーザの顔画像(撮像画像)に基づくユーザ認証が行われる。また、ステップS103では、ユーザ認証を行っていることを示す、例えば「認証しています」などの文字情報を空間浮遊映像3として表示する。ここで、ユーザ認証とは、ATM前方の所定の範囲内に存在しているユーザの顔部分を、前述した2台のカメラで撮影し、得られたステレオ画像(撮像画像)によりユーザのステレオ顔画像、すなわち立体的な顔画像に基づき前記ユーザが、予め登録された、ATM使用可能なユーザであるか否かを判定することをいう。
1台のカメラによる撮影で得られた画像によってもユーザの顔検出およびユーザ認証は可能であるが、2台のカメラによるステレオ画像に基づくユーザ認証によれば、1台のカメラ画像による認証に比較して、より精度の高いユーザ認証が可能となる。2台のカメラを用いれば、例えば顔を正面からのみ撮影した画像を紙に印刷した顔画像を用いた不正認証を、ユーザ認証時に見抜くことが可能となる。すなわち、ステレオ撮影によるユーザの顔認証を用いることで、ユーザ認証の誤りを高い精度で防止することが可能となる。
例えば制御部1110は、撮像画像に対する画像処理を行うプログラムや、顔認証を行うプログラムを不揮発性メモリ1108から読み出す。制御部1110は、例えばカメラ1180CL、30CRで生成されたそれぞれの撮像画像に対する画像処理を行うことで、タッチ操作を行うユーザの顔を検出や、顔の位置の検出等の処理を行う。このとき、制御部1110により、撮像画像からユーザの顔を検出する画像処理部が構成される。また、カメラ1180および制御部1110により、顔検出部が構成される。
そして、制御部1110は、顔認証を行うプログラムを実行して、画像処理で検出したユーザの顔の顔認証を行う。このとき、カメラ1180および制御部1110により、ユーザ認証部が構成される。
また、制御部1110は、画像処理によりユーザの虹彩を検出し、検出した虹彩に対する虹彩認証を行うことで、ユーザ認証を行ってもよい。
ステップS104では、ユーザ認証が成功したか否かが判定される。ユーザ認証が成功した場合(Yes)、ステップS106に移行し、空間浮遊映像表示装置1000は、ATM本体に認証結果を通知する。また、空間浮遊映像表示装置1000は、通信部1132を介して、ユーザ認証されたユーザが口座(アカウント)を所有している銀行のサーバと通信を行い、サーバ内のユーザ・データベースから、ユーザ認証されたユーザの属性情報、例えばユーザの年齢や過去のATMの使用回数などの情報を取得する。
一方、ステップS104において、ユーザ認証が失敗した場合(No)、ステップS105へ移行する。ステップS105では、ユーザ認証方法の再設定が行われる。例えば、ユーザがマスクや帽子を着用していれば、顔認証によるユーザ認証を行うことが困難になる場合がある。このような場合には、例えば前述した虹彩認証によるユーザ認証が選択される。
また、例えば、ユーザがマスクや帽子を着用していなくても、顔認証が成功しない場合もあり得る。このような場合にも、例えば虹彩認証が選択される。また、顔認証および虹彩認証の両方が選択されてもよい。ユーザ認証方法が再設定されると、ステップS103に戻り、再設定されたユーザ認証方法でユーザ認証が行われる。
ステップS107では、ステップS106で得たユーザの属性情報に基づき、ユーザが「初めてのユーザ」または「高齢のユーザ」であるか否かが判定される。ステップS107において、ユーザが「初めてのユーザ」または「高齢のユーザ」であると判定された場合(Yes)、ステップS108に移行する。
ステップS108では、「コンシェルジュによる音声付操作ガイド」が行われる。ここで「コンシェルジュ」とは「案内人」を意味し、図12(A)に示すように、例えばコンシェルジュの上半身が映ったコンシェルジュ映像40が空間浮遊映像3として表示される。
コンシェルジュは、前述した通り、空間浮遊映像3をユーザインタフェースとして用いたATMの操作が初めてのユーザ、あるいは、操作に不慣れな高齢のユーザのために、音声や身振りにより、ユーザに対して操作方法をガイドする。
より具体的には、ステップS108では、まず、図12(A)に示すように、コンシェルジュ映像40が画面上に現れる。なお、コンシェルジュ映像40は、実際の人を予め撮影した動画でもよいし、人の姿を表すアニメーションであってもよい。コンシェルジュ映像40は、例えば、「こんにちは。私が、操作方法についてご案内させていただきます。」、「お客様は、私の説明に従って、ボタン操作をしてください。」などの音声を、超指向性スピーカ1242により、ユーザにしか聞き取れない方法で、ユーザに対して発信する。
引き続き、コンシェルジュ映像40は、図12(B)のように「はじめに、画面中央の丸い「開始ボタン」に指先で触れてみてください。」など、操作の具体的手順を、ユーザに対して指示する。
前述した通り、音声のみならず、図12に示すようなコンシェルジュ映像40によっても、空間浮遊映像によるユーザインタフェースの操作方法が説明されるので、「初めてのユーザ」や「高齢のユーザ」であっても、戸惑うことなく、空間浮遊映像3によるユーザインタフェースを用いて、所定の操作をスムーズに行うことができる。
図11に戻り、ステップS109では、ユーザによる入力操作が完了したか否かが判定される。ステップS109において、ユーザが所定の一連の操作、例えば、口座に対してアクセスするための暗証番号の入力や、自分の口座への入出金、他の口座への振り込み等の入力操作を完了したと判定された場合(Yes)、ステップS112に移行し、メニュー画面が表示されるか、空間浮遊映像3の表示が終了する。
一方、ユーザによる入力操作が完了していないと判定された場合(No)、再度ステップS109の処理が実行される。すなわち、ユーザによる入力操作が完了するまで、ステップS109のループ処理が繰り返し実行される。なお、所定の時間内にユーザによる入力操作が完了しなかった場合には、操作に困っていないか等をユーザに問いかける音声を出力してもよい。
ステップS107において、ユーザが「初めてのユーザ」または「高齢のユーザ」でないと判定された場合(No)、ステップS110に移行する。ステップS110では、コンシェルジュ映像40が表示されない。したがって、ユーザは、コンシェルジュ映像40による操作ガイドなしで、空中浮遊映像3によるユーザインタフェースに対するタッチ操作を行う。
ステップS111では、ユーザによる入力操作が完了したか否かが判定される。ステップS111は、ステップS109と類似しているので、詳細な説明は省略する。ステップS111において、ユーザの入力操作が完了したと判定された場合(Yes)、ステップS112に移行し、メニュー画面が表示されるか、空間浮遊映像3の表示が終了する。
一方、ユーザによる入力操作が完了していないと判定された場合(No)、再度ステップS111の処理が実行される。すなわち、ユーザによる入力操作が完了するまで、ステップS111のループ処理が繰り返し実行される。なお、この場合においても、所定の時間内にユーザによる入力操作が完了しなかった場合には、操作に困っていないか等をユーザに問いかける音声を出力してもよい。
このように、本実施例によれば、空間浮遊映像によるユーザインタフェースを初めて操作するユーザや、高齢者等の操作に不慣れなユーザであっても、超指向性スピーカにより、ユーザのみが音声を聞きとることができ、他の人には聞こえない音声による操作補助に加え、コンシェルジュが空間浮遊映像として表示されることで、ユーザは操作を確実に行うことが可能となる。
<空間浮遊映像表示装置の拡散特性の最適化>
大型の液晶表示パネルを使用する場合には、画面中央に対してユーザが正対した場合に、画面周辺の光がユーザの方向に向かうように液晶表示パネルを内側に向けることで、画面明るさの全面性が向上する。図13は、ユーザのパネルからの監視距離Lと、パネルサイズ(画面比16:10)とをパラメータとしたときのパネル長辺とパネル短辺の収斂角度とを一覧にしたグラフである。画面を縦長として監視する場合には、短辺に合わせて収斂角度を設定すればよく、例えば22”(インチ)パネルを縦長で用い、監視距離が0.8mの場合には、収斂角度を10度とすれば画面4コーナからの映像光を有効にユーザに向けることができる。
同様に、15”(インチ)パネルを縦長で用い、監視距離が0.8mの場合には、収斂角度を7度とすれば画面4コーナからの映像光を有効にユーザに向けることができる。このように、液晶表示パネルのサイズ及び縦長で用いるか横長で用いるかによって画面周辺の映像光を、画面中央を監視するのに最適な位置にいるユーザに向けることで画面明るさの全面性を向上できる。
次に、上述したように、画面中央に対してユーザが正対した場合に、画面周辺の光がユーザの方向に向かうように液晶表示パネルが内側に向けられている。さらに、成人の両目の間隔の平均値65mmとした場合に、左目と右目の視差で生じる空間浮遊映像の画面水平方向の輝度差について、監視距離をパラメータとして求めた。その結果が、図14に示されている。通常使用における最短監視距離を0.8mとした場合、視差による明るさの違いは監視角度の差(5度)と図13に示した長辺側の収斂角度(7度)の合計の12度において、相対輝度が50%以下とならないような特性を有する光源装置が用いられれば良い。
また空間浮遊映像情報装置の短辺方向については、ユーザの視線をずらすことで対応できるため、より条件が厳しい長辺方向の視差による輝度差を考慮すれば画面明るさの全面性が向上する。
<反射型偏光板>
本実施の形態のグリッド構造の反射型偏光板は、偏光軸に対して垂直方向からの光についての特性は低下する。このため、反射型偏光板は、偏光軸に沿った仕様が望ましく、液晶表示パネルからの出射映像光を挟角で出射可能な本実施の形態の光源が理想的な光源となる。また、水平方向の特性も同様に斜めからの光については特性低下がある。以上の特性を考慮して、液晶表示パネルからの出射映像光をより挟角に出射可能な光源を液晶表示パネルのバックライトとして使用する、本実施の形態の構成例について以下で説明する。これにより、高コントラストな空間浮遊映像が提供可能となる。
<表示装置>
次に、本実施の形態の表示装置1について図15を用いて説明する。本実施の形態の表示装置は映像表示素子11(例えば、液晶表示パネル)と共に、その光源を構成する光源装置13を備えており、図15では、光源装置13を液晶表示パネル11と共に展開斜視図として示している。
この液晶表示パネル(映像表示素子11)は、図15に矢印30で示すように、バックライト装置である光源装置13からの光により挟角な拡散特性を有する、すなわち、指向性(直進性)が強く、かつ、偏光面を一方向に揃えたレーザ光に似た特性の照明光束を得て、入力される映像信号に応じて変調をかけた映像光を、再帰性反射部材2により反射し、透明な部材(例えばガラス)100を透過して空間浮遊映像を実像として形成する。また、図15の表示装置1は、液晶表示パネル11と、更に、光源装置13からの出射光束の指向特性を制御する光方向変換パネル54、および、必要に応じて挟角拡散板(図示せず)を備えて構成されている。すなわち、液晶表示パネル11の両面には偏光板が設けられ、特定の偏波の映像光が映像信号により光の強度を変調して出射される(図15の矢印30を参照)。これにより、所望の映像を指向性(直進性)の高い特定偏波の光として、光方向変換パネル54を介して、再帰性反射部材2に向けて投写し、再帰性反射部材2で反射後、ユーザの眼に向けて透過して空間浮遊映像3を形成する。なお、上述した光方向変換パネル54の表面には、保護カバー250(図16、図17を参照)を設けてもよい。
本実施の形態では、光源装置13からの出射光束30の利用効率を向上させ、消費電力を大幅に低減するために、光源装置13と液晶表示パネル11を含んで構成される表示装置1において、光源装置13からの光(図15の矢印30を参照)を、再帰性反射部材2に向けて投写し、再帰性反射部材2で反射後、透明な部材(例えばガラス)の表面に設けた透明シート(図示せず)により、浮遊映像を所望の位置に形成するよう指向性を制御することもできる。具体的には、この透明シートは、フレネルレンズやリニアフレネルレンズ等の光学部品によって高い指向性を付与したまま浮遊映像の結像位置を制御することができる。この構成によれば、表示装置1からの映像光は、レーザ光のようにユーザに対して高い指向性(直進性)で効率良く届くこととなり、その結果、高品位な浮遊映像を高解像度で表示すると共に、光源装置13のLED素子201を含む表示装置1による消費電力を著しく低減することが可能となる。
<表示装置の構成例1>
すでに述べたように、図15は、表示装置1の具体的な構成の一例を示す図である。図16は、図15に示された光源装置13(図1の1105に対応)の具体的な構成の一例を示す断面図である。図16に示すように、図15の光源装置13の上には、液晶表示パネル11と光方向変換パネル54とが配置されている。光源装置13は、図15に示したケース上に、例えば、プラスチックなどにより形成され、その内部にLED(Light Emitting Diode)素子201、導光体203(図1の1104に対応)を収納して構成されている。導光体203の端面は、図16等にも示すように、それぞれのLED素子201からの発散光を略平行光束に変換するために、受光部に対して対面に向かって徐々に断面積が大きくなり、内部を伝搬する際に複数回全反射することで発散角が徐々に小さくなるような作用を有するレンズ形状となっている。その上面には、表示装置1を構成する液晶表示パネル11が取り付けられている。また、光源装置13のケースのひとつの側面(本例では左側の端面)には、半導体光源であるLED素子201や、LED素子201の制御回路を実装したLED基板202が取り付けられている。なお、LED基板202の外側面には、LED素子および制御回路で発生する熱を冷却するための部材であるヒートシンクが取り付けられてもよい。
また、光源装置13のケースの上面に取り付けられる液晶表示パネルのフレーム(図示せず)には、当該フレームに取り付けられた液晶表示パネル11、当該液晶表示パネルに電気的に接続されたFPC(Flexible Printed Circuits:フレキシブル配線基板)(図示せず)などが取り付けられる。すなわち、液晶表示素子である液晶表示パネル11は、固体光源であるLED素子201と共に、電子装置を構成する制御回路(図示せず)からの制御信号に基づいて、透過光の強度を変調することによって表示映像を生成する。このとき生成される映像光は、拡散角度が狭く特定の偏波成分のみとなるため、映像信号により駆動された面発光レーザ映像源に近い、従来にない新しい映像表示装置が得られることとなる。なお、現状では、レーザ装置により、上述した表示装置1で得られる画像と同等のサイズのレーザ光束を得ることは、技術的にも安全上からも不可能である。そこで、本実施の形態では、例えば、LED素子を備えた一般的な光源からの光束から、上述した面発光レーザ映像光に近い光を得る構成となっている。
続いて、光源装置13のケース内に収納されている光学系の構成について、図16と共に、図17を参照しながら詳細に説明する。図16および図17は断面図であるため、光源を構成する複数のLED素子201が1つだけ示されている、この光学系では、導光体203の受光端面203aの形状により入射光が略コリメート光に変換される。このため導光体端面の受光部とLED素子は所定の位置関係を保って取り付けられている。なお、この導光体203は、各々、例えば、アクリル等の透光性の樹脂により形成されている。そして、この導光体端部のLED受光面は、例えば、放物断面を回転して得られる円錐凸形状の外周面を有し、その頂部では、その中央部に凸部(すなわち、凸レンズ面)を形成した凹部を有し、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)を有するものである(図示せず)。なお、LED素子201を取り付ける導光体の受光部外形は、円錐形状の外周面を形成する放物面形状であり、LED素子201から周辺方向に出射する光を導光体の内部で全反射することが可能な角度となるよう、反射面および放物面の角度が設定されている。
他方、LED素子201は、その回路基板であるLED基板202の表面上の所定の位置にそれぞれ配置されている。このLED基板202は、LEDコリメータ(受光端面203a)に対して、その表面上のLED素子201が、それぞれ、前述した凹部の中央部に位置するように配置されて固定される。
かかる構成によれば、導光体203の受光端面203aの形状によって、LED素子201から放射される光は略平行光として取り出すことが可能となり、発生した光の利用効率を向上させることが可能となる。
以上述べたように、光源装置13は、導光体203の端面に設けた受光部である受光端面203aに光源であるLED素子201を複数並べた光源ユニットを取り付けて構成され、LED素子201からの発散光束を導光体端面の受光端面203aのレンズ形状によって略平行光として、矢印で示すように、導光体203内部を導光し(図面に平行な方向)、光束方向変換手段204によって、導光体に対して略平行に配置された液晶表示パネル11に向かって(図面から手前に垂直な方向)出射する。導光体内部または表面の形状によってこの光束方向変換手段の分布(密度)を最適化することで、液晶表示パネル11に入射する光束の均一性を制御することができる。上述した光束方向変換手段204は導光体表面の形状や導光体内部に例えば屈折率の異なる部分を設けることで、導光体内を伝搬した光束を、導光体に対して略平行に配置された液晶表示パネル11に向かって(図面から手前に垂直な方向)出射する。この時、液晶表示パネル11を画面中央に正対し画面対角寸法と同じ位置に視点を置いた状態で画面中央と画面周辺部の輝度を比較した場合の相対輝度比が20%以上あれば実用上問題なく、30%を超えていれば更に優れた特性となる。
なお、図16は上述した導光体203とLED素子201を含む光源装置13において、偏光変換する本実施の形態の光源の構成とその作用を説明するための断面配置図である。図16において、光源装置13は、例えば、プラスチックなどにより形成される表面または内部に光束方向変換手段204を設けた導光体203、光源としてのLED素子201、反射シート205、反射型偏光板206、レンチキュラーレンズなどから構成されている。光源装置13の上面には、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル11が取り付けられている。
また、光源装置13に対応した液晶表示パネル11の光源光入射面(図の下面)には、フィルムまたはシート状の反射型偏光板49が設けられている。反射型偏光板49は、LED素子201から出射した自然光束210のうち片側の偏波(例えばP波)WAV2を選択的に反射させ、導光体203の一方(図の下方)の面に設けた反射シート205で反射して、再度、液晶表示パネル52に向かうようにする。そこで、反射シート205と導光体203の間もしくは導光体203と反射型偏光板49の間に位相差板(λ/4板)を設けて反射シート205で反射させ、2回通過させることで反射光束をP偏光からS偏光に変換し、映像光としての光源光の利用効率を向上させている。液晶表示パネル11で映像信号により光強度を変調された映像光束は(図16の矢印213)、再帰性反射部材2に入射して、図2(A)に示したように、反射後にガラス105を透過して、外部に実像である空間浮遊映像を得ることができる。
図17は、図16と同様に、導光体203とLED素子201を含む光源装置13において、偏光変換する本実施の形態の光源の構成と作用を説明するための断面配置図である。図17の光源装置13も、同様に、例えばプラスチックなどにより形成される表面または内部に光束方向変換手段204を設けた導光体203、光源としてのLED素子201、反射シート205、反射型偏光板206、レンチキュラーレンズなどから構成されている。光源装置13の上面には、映像表示素子として、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル11が取り付けられている。
また、光源装置13に対応した液晶表示パネル11の光源光入射面(図の下面)には、フィルムまたはシート状の反射型偏光板49を設けられている。LED素子201から出射した自然光束210うち片側の偏波(例えばS波)WAV1は、反射型偏光板49で選択的に反射され、導光体203の一方(図の下方)の面に設けられた反射シート205で反射され、再度液晶表示パネル11に向かう。反射シート205と導光体203との間、あるいは導光体203と反射型偏光板49との間に位相差板(λ/4板)が設けられ、LED素子201から出射した自然光束210うち片側の偏波を、反射シート205で反射させ、2回通過させることで、反射光束をS偏光からP偏光に変換する。これにより、映像光として光源光の利用効率を向上させることができる。液晶表示パネル11で映像信号により光強度変調された映像光束は(図17の矢印214)、再帰性反射部材2に入射して、図2(A)に示すように、反射後にガラス105を透過して、外部に実像である空間浮遊映像を生成する。
図16および図17に示す光源装置においては、対応する液晶表示パネル11の光入射面に設けた偏光板の作用の他に、反射型偏光板で片側の偏光成分を反射するため、理論上得られるコントラスト比は、反射型偏光板のクロス透過率の逆数と液晶表示パネルに付帯した2枚の偏光板により得られるクロス透過率の逆数を乗じたものとなる。これにより、高いコントラスト性能が得られる。実際には、表示画像のコントラスト性能が10倍以上向上することを実験により確認した。この結果、自発光型の有機ELに比較しても遜色ない高品位な映像が得られた。
<表示装置の構成例2>
図18には、表示装置1の具体的な構成の他の一例を示す。図18の光源装置13は、図17等の光源装置と同様である。この光源装置13は、例えばプラスチックなどのケース内にLED、コリメータ、合成拡散ブロック、導光体等を収納して構成されている。光源装置13の上面には液晶表示パネル11が取り付けられている。また、光源装置13のケースの1つの側面には、半導体光源であるLED(Light Emitting Diode)素子14a、14bや、LED素子の制御回路を実装したLED基板102(図20、図21を参照)が取り付けられている。LED基板102の外側面には、LED素子および制御回路で発生する熱を冷却するための部材であるヒートシンク103が取り付けられている。
また、ケースの上面に取り付けられた液晶表示パネルフレームには、当該フレームに取り付けられた液晶表示パネル11と、更に、液晶表示パネル11と電気的に接続されたFPC(Flexible Printed Circuits:フレキシブル配線基板)などが取り付けられている。すなわち、液晶表示素子である液晶表示パネル11は、固体光源であるLED素子14a,14bと共に、電子装置を構成する制御回路(ここでは図示せず)からの制御信号に基づいて、透過光の強度を変調することによって表示映像を生成する。
<表示装置の構成例3>
続いて、図19を用いて表示装置1の具体的な構成の他の例を説明する。この表示装置1の光源装置は、LEDからの自然光(P偏波とS偏波が混在)の発散光束をLEDコリメータ15により略平行光束に変換し、略平行光束を反射型導光体304により液晶表示パネル11に向け反射する。反射光は、液晶表示パネル11と反射型導光体304の間に配置された波長板と反射型偏光板49に入射する。反射型偏光板49で特定の偏波(例えばS偏波)が反射され、波長板で位相が変換され反射面に戻り、再び位相差板を通過して、反射型偏光板49を透過する偏波(例えばP偏波)に変換される。
この結果、LEDからの自然光は特定の偏波(例えばP偏波)に揃えられ、特定の偏波は、液晶表示パネル11に入射し、映像信号に合わせて輝度変調され、パネル面に映像を表示する。図19には、上述の例と同様に、光源を構成する複数のLEDが示されている。ただし、図19は縦断面図であるため、1個のLEDのみが図示されている。これらのLEDは、LEDコリメータ15に対して所定の位置にそれぞれ取り付けられている。なお、LEDコリメータ15は、各々、例えばアクリル等の透光性の樹脂またはガラスにより形成されている。そして、LEDコリメータ15は、放物断面を回転して得られる円錐凸形状の外周面を有すると共に、その頂部では、その中央部に凸部(すなわち、凸レンズ面)を形成した凹部を有する。また、その平面部の中央部は、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)を有している。なお、LEDコリメータ18の円錐形状の外周面を形成する放物面は、LEDから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定されている。あるいは、LEDから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内となるように、反射面が形成されている。
以上の構成は、図16、図17等に示した映像表示装置の光源装置と同様の構成である。更に、図19に示したLEDコリメータ15により略平行光に変換された光は、反射型導光体304で反射し、反射型偏光板49の作用により特定の偏波の光を透過させ、反射した他方の偏波の光は再び反射型導光体304を透過して、液晶表示パネル11と接しない導光体の他方の面に設けた反射板271で反射する。この時、反射板271と液晶表示パネル11の間に配置した位相差板(λ/4板)270を2度通過することで偏光変換され、再び反射型導光体304を透過して、反対面に設けた反射型偏光板49を透過して、偏光方向を揃えて液晶表示パネル11に入射させる。この結果、光源の光を全て利用できるので光の利用効率が大幅に向上(例えば2倍)する。
液晶表示パネルからの出射光は、従来のTVセットでは、画面水平方向(図24(a)X軸で表示)および画面垂直方向(図24(b)Y軸で表示)ともに同様の拡散特性を持っていた。これに対して、本実施の形態の液晶表示パネルからの出射光束の拡散特性は、例えば図24の例1に示すように、輝度が正面視(角度0度)の50%になる視野角を13度とすることで、視野角が従来の62度に対しておよそ1/5となる。同様に、垂直方向の視野角は上下不均等として上側の視野角を下側の視野角に対して1/3程度に抑えるように反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶TVに比べ監視方向に向かう映像光量が大幅に向上し、輝度は50倍以上となる。
更に、図24の例2に示す視野角特性とすれば、輝度が正面視(角度0度)の50%になる視野角が5度とすることで従来の62度に対して1/12となる。同様に垂直方向の視野角は、上下均等として視野角を従来に対して1/12程度に抑えるように反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶TVに比べ監視方向に向かう映像光量が大幅に向上し、輝度は100倍以上となる。以上述べたように視野角を挟角とすることで監視方向に向かう光束量を集中できるので光の利用効率が大幅に向上する。この結果、従来のTV用の液晶表示パネルを使用しても、光源装置の光拡散特性を制御することで同様な消費電力で大幅な輝度向上が実現可能で、明るい屋外に向けての情報表示システムに対応した映像表示装置とすることができる。
<光源装置の構成例1>
続いて、ケース内に収納されている光源装置等の光学系の構成について、図20と共に、図21(a)および(b)を参照しながら、詳細に説明する。
図20および図21には、光源を構成するLED素子14a、14bが示されており、これらはLEDコリメータ15に対して所定の位置に取り付けられている。なお、このLEDコリメータ15は、各々、例えばアクリル等の透光性の樹脂により形成されている。そして、このLEDコリメータ15は、図21(b)にも示すように、放物断面を回転して得られる円錐凸形状の外周面156を有すると共に、その頂部では、その中央部に凸部(すなわち、凸レンズ面)157を形成した凹部153を有する。また、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)154を有している。なお、LEDコリメータ15の円錐形状の外周面156を形成する放物面は、LED素子14a、14bから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
また、LED素子14a、14bは、その回路基板である、LED基板102の表面上の所定の位置にそれぞれ配置されている。このLED基板102は、LEDコリメータ15に対して、その表面上のLED素子14aまたは14bが、それぞれ、その凹部153の中央部に位置するように配置されて固定される。
かかる構成によれば、上述したLEDコリメータ15によって、LED素子14aまたは14bから放射される光のうち、特に、その中央部分から上方(図の右方向)に向かって放射される光は、LEDコリメータ15の外形を形成する2つの凸レンズ面157、154により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、LEDコリメータ15の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したLEDコリメータ15によれば、LED素子14aまたは14bにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
なお、LEDコリメータ15の光の出射側には偏光変換素子21が設けられている。この偏光変換素子21は、図21からも明らかなように、断面が平行四辺形である柱状(以下、平行四辺形柱)の透光性部材と、断面が三角形である柱状(以下、三角形柱)の透光性部材とを組み合わせ、LEDコリメータ15からの平行光の光軸に対して直交する面に平行に、複数、アレイ状に配列して構成されている。更に、これらアレイ状に配列された隣接する透光性部材間の界面には、交互に、偏光ビームスプリッタ(以下、「PBS膜」と省略する)211と反射膜212とが設けられており、また、偏光変換素子21へ入射してPBS膜211を透過した光が出射する出射面には、λ/2位相板213が備えられている。
この偏光変換素子21の出射面には、更に、図21(a)にも示す矩形状の合成拡散ブロック16が設けられている。すなわち、LED素子14aまたは14bから出射された光は、LEDコリメータ15の働きにより平行光となって合成拡散ブロック16へ入射し、出射側のテクスチャー161により拡散された後、導光体17に到る。
導光体17は、例えばアクリル等の透光性の樹脂により断面が略三角形(図21(b)参照)の棒状に形成された部材であり、そして、図20からも明らかなように、合成拡散ブロック16の出射面に第1の拡散板18aを介して対向する導光体光入射部(面)171と、斜面を形成する導光体光反射部(面)172と、第2の拡散板18bを介して、液晶表示素子である液晶表示パネル11と対向する導光体光出射部(面)173とを備えている。
この導光体17の導光体光反射部(面)172には、その一部拡大図である図21にも示すように、多数の反射面172aと連接面172bとが交互に鋸歯状に形成されている。そして、反射面172a(図では右上がりの線分)は、図20において一点鎖線で示す水平面に対して角度αn(n:自然数であり、本例では、例えば、1~130である)を形成しており、その一例として、ここでは、角度αnを43度以下(ただし、0度以上)に設定している。
導光体光入射部(面)171は、光源側に傾斜した湾曲の凸形状に形成されている。これによれば、合成拡散ブロック16の出射面からの平行光は、第1の拡散板18aを介して拡散されて入射し、図からも明らかなように、導光体光入射部(面)171により上方に僅かに屈曲(偏向)しながら導光体光反射部(面)172に達し、ここで反射して図の上方の出射面に設けた液晶表示パネル11に到る。
以上に詳述した表示装置1によれば、光利用効率やその均一な照明特性をより向上すると同時に、モジュール化されたS偏光波の光源装置を含め、小型かつ低コストで製造することが可能となる。なお、上記の説明では、偏光変換素子21をLEDコリメータ15の後に取り付けるものとして説明したが、本発明はそれに限定されることなく、液晶表示パネル11に到る光路中に設けることによっても同様の作用・効果が得られる。
なお、導光体光反射部(面)172には、多数の反射面172aと連接面172bとが交互に鋸歯状に形成されており、照明光束は、各々の反射面172a上で全反射されて上方に向かい、更には、導光体光出射部(面)173には挟角拡散板を設けて略平行な拡散光束として指向特性を制御する光方向変換パネル54に入射し、斜め方向から液晶表示パネル11へ入射する。本実施の形態では光方向変換パネル54を導光体光出射部173と液晶表示パネル11の間に設けたが、液晶表示パネル11の出射面に設けても、同様の効果が得られる。
<光源装置の構成例2>
光源装置13等の光学系の構成について、他の例を図22に示す。図21に示した例と同様に、光源を構成する複数(本例では、2個)のLED素子14a、14bが示されており、これらはLEDコリメータ15に対して所定の位置に取り付けられている。なお、このLEDコリメータ15は、各々、例えばアクリル等の透光性の樹脂により形成されている。そして、図21に示した例と同様に、このLEDコリメータ15は、放物断面を回転して得られる円錐凸形状の外周面156を有すると共に、その頂部では、その中央部に凸部(すなわち、凸レンズ面)157を形成した凹部153を有する。また、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)154を有している。なお、LEDコリメータ15の円錐形状の外周面156を形成する放物面は、LED素子14aから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
また、LED素子14a、14bは、その回路基板である、LED基板102の表面上の所定の位置にそれぞれ配置されている。このLED基板102は、LEDコリメータ15に対して、その表面上のLED素子14aまたは14bが、それぞれ、その凹部153の中央部に位置するように配置されて固定される。
かかる構成によれば、上述したLEDコリメータ15によって、LED素子14aまたはLED素子14bから放射される光のうち、特に、その中央部分から上方(図の右方向)に向かって放射される光は、LEDコリメータ15の外形を形成する2つの凸レンズ面157、154により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、LEDコリメータ15の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したLEDコリメータ15によれば、LED素子14aまたは14bにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
なお、LEDコリメータ15の光の出射側には、第1の拡散板18aを介して導光体170が設けられている。導光体170は、例えばアクリル等の透光性の樹脂により断面が略三角形(図22(a)参照)の棒状に形成された部材であり、そして、図22(a)からも明らかなように、合成拡散ブロック16の出射面に第1の拡散板18aを介して対向する導光体170の入射部である導光体光入射部(面)171と、斜面を形成する導光体光反射部(面)172と、反射型偏光板200を介して液晶表示素子である液晶表示パネル11と対向する導光体光出射部(面)173とを備えている。
この反射型偏光板200として、例えばP偏光を反射(S偏光は透過)させる特性を有する物を選択すれば、光源であるLEDから発した自然光のうちP偏光は、反射型偏光板200で反射し、図21(b)に示した導光体光反射部172に設けたλ/4板201aを通過して反射面201bで反射し、再びλ/4板201aを通過することでS偏光に変換される。これにより、液晶表示パネル11に入射する光束は全てS偏光に統一される。
同様に、反射型偏光板200として、例えばS偏光を反射(P偏光は透過)させる特性を有する物を選択すれば、光源であるLEDから発した自然光のうちS偏光は、反射型偏光板200で反射し、図21(b)に示した導光体光反射部172に設けたλ/4板201aを通過して反射面201bで反射し、再びλ/4板201aを通過することでP偏光に変換される。これにより、液晶表示パネル52に入射する光束は全てP偏光に統一される。以上述べた構成でも偏光変換が実現できる。
<光源装置の構成例3>
光源装置等の光学系の構成についての他の例を、図19を用いて説明する。第3の例では、図19に示すようにLED基板102からの自然光(P偏光とS偏光が混在)の発散光束をLEDコリメータ15により略平行光束に変換し、反射型導光体304により液晶表示パネル11に向け反射する。反射光は液晶表示パネル11と反射型導光体304の間に配置された反射型偏光板206に入射する。反射型偏光板206で特定の偏波(例えばS偏波)が反射され反射型導光体304の反射面を繋ぐ面を透過し、反射型導光体304の反対面に面して配置された反射板271で反射され位相差板(λ/4波長板)270を2度透過することで偏光変換され、導光体と反射型偏光板を透過して液晶表示パネル11に入射し映像光に変調される。このとき、特定偏波と偏光変換された偏波面を合わせることで光の利用効率が通常の2倍となり、反射型偏光板の偏光度(消光比)もシステム全体の消光比に乗せられるので、本実施の形態の光源装置を用いることで、情報表示システムのコントラスト比が大幅に向上する。
この結果、LEDからの自然光は特定の偏波(例えばP偏波)に揃えられる。上述の例と同様に光源を構成する複数のLEDが設けられており(ただし、縦断面のため図19では1個のみ図示)、これらはLEDコリメータ15に対して所定の位置に取り付けられている。なお、このLEDコリメータ15は、各々、例えばアクリル等の透光性の樹脂またはガラスにより形成されている。そして、このLEDコリメータ15は、放物断面を回転して得られる円錐凸形状の外周面を有すると共に、その頂部では、その中央部に凸部(すなわち、凸レンズ面)を形成した凹部を有する。また、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)を有している。なお、LEDコリメータ18の円錐形状の外周面を形成する放物面は、LEDコリメータ15から周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
また、LEDは、その回路基板である、LED基板102の表面上の所定の位置にそれぞれ配置されている。このLED基板102は、LEDコリメータ15に対して、その表面上のLEDが、それぞれ、その凹部の中央部に位置するように配置されて固定される。
かかる構成によれば、LEDコリメータ15によって、LEDから放射される光のうち、特に、その中央部分から放射される光は、LEDコリメータ15の外形を形成する2つの凸レンズ面により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、LEDコリメータ15の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したLEDコリメータ18によれば、LEDにより発生した光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
<光源装置の構成例4>
更に、光源装置等の光学系の構成についての他の例を、図25を用いて説明する。LEDコリメータ15の光の出射側には図面の垂直方向と水平方向(図の前後方向で図示せず)の拡散特性を変換する光学シート207を2枚用い、LEDコリメータ15からの光を2枚の光学シート207(拡散シート)の間に入射させる。この光学シート207は、1枚で構成する場合には表面と裏面の微細形状で垂直と水平の拡散特性を制御する。また、拡散シートを複数枚使用して作用を分担しても良い。光学シート207の表面形状と裏面形状により、LEDコリメータ15からの光の画面垂直方向の拡散角を拡散シートの反射面の垂直面の幅に合わせ、水平方向では液晶表示パネル11から出射する光束の面密度が均一になるように、LEDの数量と光学素子500からの発散角を設計パラメータとして最適設計すると良い。つまり、導光体の代わりに複数の拡散シートの表面形状により拡散特性を制御する。本実施の形態では、偏光変換は上述した光源装置の構成例3と同様の方法で行われる。これに対し、LEDコリメータ15と光学シート207の間に偏光変換素子21(図18参照)を設けて、偏光変換を行った後、光学シート207に光源光を入射させても良い。
前述した反射型偏光板206は、S偏光を反射(P偏光は透過)させる特性を有する物を選択すれば、光源であるLEDから発した自然光のうちS偏光を反射し、図25に示した位相差板270を通過して、反射板271で反射し、再び位相差板270を通過することでP偏光に変換され液晶表示パネル11に入射する。この位相差板の厚さは位相差板への光線の入射角度により最適値を選ぶ必要があり、λ/16からλ/4の範囲に最適値が存在する。
以上、種々の実施の形態について詳述した。しかしながら、本発明は、上述した実施の形態のみに限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
1…表示装置、2…再帰性反射部材、3…空間浮遊映像、3a,3b,3c,3d…最適監視位置表示部、60…透明構造部材、1000…空間浮遊映像表示装置、1180…撮像部(カメラ)、1180CR、1180CL…カメラ、1351…空中操作検出センサ、1240…音声信号出力部、1242、1242L、1242R…超指向性スピーカ、1101…再帰性反射部、1190…筐体。

Claims (14)

  1. 映像を表示する表示装置と、
    前記表示装置からの映像光を反射させる再帰性反射部材と、を備え、
    空中に1以上のオブジェクトを含む空間浮遊映像を形成する空間浮遊映像表示装置であって、
    ユーザが、前記オブジェクトをタッチしたことを検出するセンサと、
    前記センサの検出結果に関する音声を特定の前記ユーザにのみ聴取可能に出力する超指向性スピーカと、
    を備える、
    空間浮遊映像表示装置。
  2. 請求項1に記載の空間浮遊映像表示装置において、
    前記空間浮遊映像に含まれる前記オブジェクトは、少なくとも1個の押しボタン形状を有する、
    空間浮遊映像表示装置。
  3. 請求項1に記載の空間浮遊映像表示装置において、
    前記超指向性スピーカは、超音波信号を発する複数の超音波出力素子を備え、
    それぞれの前記超音波出力素子には、超音波信号が入力され、
    前記超指向性スピーカは、それぞれの前記超音波出力素子に入力された前記超音波信号を変調し、前記センサの検出結果に関する前記音声を、特定の領域でのみ聴取させる、
    空間浮遊映像表示装置。
  4. 請求項1に記載の空間浮遊映像表示装置において、
    前記ユーザの顔位置を検出する顔検出部を備え、
    前記顔検出部が検出した前記ユーザの顔位置に基づいて、前記超指向性スピーカから出力される音声が聴取可能な領域を変化させる、
    空間浮遊映像表示装置。
  5. 請求項3に記載の空間浮遊映像表示装置において、
    複数の前記超音波出力素子のそれぞれに対して入力される超音波信号の位相を変化させることにより、前記超指向性スピーカから出力される音声が聴取可能な領域を変化させる、
    空間浮遊映像表示装置。
  6. 請求項3に記載の空間浮遊映像表示装置において、
    複数の前記超音波出力素子が凹面上に配置され、前記凹面の曲率半径を変化させることにより、前記超指向性スピーカから出力される音声が聴取可能な領域を変化させる、
    空間浮遊映像表示装置。
  7. 請求項4に記載の空間浮遊映像表示装置において、
    前記顔検出部は、カメラまたは熱センサを備えている、
    空間浮遊映像表示装置。
  8. 請求項4に記載の空間浮遊映像表示装置において、
    前記顔検出部は、カメラと、制御部と、を備え、
    前記カメラは、前記ユーザの顔を撮影し、前記ユーザの顔画像を撮像画像として生成し、
    前記制御部は、前記撮像画像から前記ユーザの顔を検出する、
    空間浮遊映像表示装置。
  9. 請求項8に記載の空間浮遊映像表示装置において、
    前記制御部は、
    前記撮像画像から検出された前記ユーザの顔に対するユーザ認証を行い、前記ユーザ認証が成功すると、前記ユーザ認証に成功した前記ユーザの属性情報を取得し、
    前記属性情報に基づき、前記ユーザ認証に成功した前記ユーザが前記空間浮遊映像表示装置を初めて使うユーザであるか、または所定の年齢以上であるか否かを判定し、
    前記ユーザ認証に成功した前記ユーザが前記空間浮遊映像表示装置を初めて使うユーザであるか、または所定の年齢以上である場合、前記ユーザに対して前記空間浮遊映像に対する操作方法をガイドするコンシェルジュ映像を前記空間浮遊映像として表示させる、
    空間浮遊映像表示装置。
  10. 請求項9に記載の空間浮遊映像表示装置において、
    前記制御部は、前記ユーザ認証として、顔認証または/および虹彩認証を行う、
    空間浮遊映像表示装置。
  11. 請求項9に記載の空間浮遊映像表示装置において、
    前記コンシェルジュ映像と、前記超指向性スピーカから出力される前記音声とにより、前記ユーザに対して前記空間浮遊映像に対する操作方法をガイドする、
    空間浮遊映像表示装置。
  12. 映像を表示する表示装置と、
    前記表示装置からの映像光を反射させる再帰性反射部材と、を備え、
    空中に空間浮遊映像を形成する空間浮遊映像表示装置であって、
    超指向性スピーカを備え、
    前記超指向性スピーカは、前記空間浮遊映像が表示される領域の下方の面に所定の角度で音声を入射させ前記面で反射させることで、前記音声をユーザにのみ聴取可能に出力する、
    空間浮遊映像表示装置。
  13. 空中に空間浮遊映像を形成する空間浮遊映像表示装置であって、
    表示装置と、
    前記表示装置からの映像光を反射させる再帰性反射部材と、
    ユーザの顔を撮影し、前記ユーザの顔画像を生成するカメラと、
    前記顔画像に基づいてユーザ認証を行う制御部と、
    を備え、
    前記表示装置は、前記制御部におけるユーザ認証結果に応じて、前記ユーザに対して前記空間浮遊映像に対する操作方法をガイドするコンシェルジュ映像を表示する、
    空間浮遊映像表示装置。
  14. 空中に空間浮遊映像を形成する空間浮遊映像表示装置であって
    液晶パネルと、
    前記液晶パネルに特定の偏光方向の光を供給する光源装置と、
    前記液晶パネルからの挟角な発散角を有する映像光束を反射させる再帰性反射部材と、
    前記液晶パネルと前記再帰性反射部材を結んだ空間に配置され、前記液晶パネルからの特定角度を超える発散角を有した映像光が前記再帰性反射部材に入射することを遮る遮光部材と、
    前記空間浮遊映像は、少なくとも1個の押しボタン形状のオブジェクトを表示し、押しボタン形状の前記オブジェクトが、前記空間浮遊映像表示装置のユーザによりタッチされたことを検出するセンサと、
    前記ユーザから見て、前記空間浮遊映像が形成される領域の後方に配置される超指向性スピーカと、
    を備え、
    前記センサが、前記ユーザにより前記オブジェクトがタッチされたことを検出した場合に、前記オブジェクトに予め対応付けられた音声が前記超指向性スピーカから出力される、
    空間浮遊映像表示装置。
JP2020201539A 2020-12-04 2020-12-04 空間浮遊映像表示装置 Pending JP2022089271A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020201539A JP2022089271A (ja) 2020-12-04 2020-12-04 空間浮遊映像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020201539A JP2022089271A (ja) 2020-12-04 2020-12-04 空間浮遊映像表示装置

Publications (1)

Publication Number Publication Date
JP2022089271A true JP2022089271A (ja) 2022-06-16

Family

ID=81989204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020201539A Pending JP2022089271A (ja) 2020-12-04 2020-12-04 空間浮遊映像表示装置

Country Status (1)

Country Link
JP (1) JP2022089271A (ja)

Similar Documents

Publication Publication Date Title
WO2020151126A1 (zh) 屏下光学指纹识别系统、指纹识别显示装置及电子设备
TW505812B (en) Front-illuminating device and reflective-type liquid crystal display using such a device
EP1625745B1 (en) Mirror assembly with integrated display device
WO2020035021A1 (zh) Lcd指纹识别系统、屏下光学指纹识别装置和电子装置
JP2620516B2 (ja) 透過型ディスプレイ装置
US20140118829A1 (en) See through near-eye display
JP6593426B2 (ja) 空中映像表示装置
CN110785771B (zh) 屏下光学指纹识别系统、指纹识别显示装置及电子设备
JP2019525220A (ja) プロンプタ及びプロンプタにおける空中結像素子の使用方法
WO2022138297A1 (ja) 空間浮遊映像表示装置
WO2021017464A1 (zh) 基于光栅的红外触控屏系统
WO2022158209A1 (ja) 空間浮遊映像表示装置
WO2022137940A1 (ja) 空間浮遊映像表示装置
WO2022113745A1 (ja) 空間浮遊映像表示装置
JP2022097901A (ja) 空間浮遊映像表示装置
JP2022089271A (ja) 空間浮遊映像表示装置
WO2023276921A1 (ja) 空中浮遊映像表示装置
WO2023112463A1 (ja) 空間浮遊映像情報表示システム
WO2023243181A1 (ja) 空間浮遊映像情報表示システム
JP2023006618A (ja) 空間浮遊映像表示装置
JP7370433B2 (ja) 空間浮遊映像情報表示システムに用いられる光源装置
JP7367148B2 (ja) 空間浮遊映像表示装置
WO2022270384A1 (ja) 空中浮遊映像表示システム
CN211426957U (zh) 移动终端
WO2023068021A1 (ja) 空中浮遊映像表示システム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20211022