JP2015158882A - 情報表示装置 - Google Patents

Abstract

【課題】表示パネルに接触することなく、画面変更、画面拡大、または文字入力等の操作を行う。【解決手段】実像を表示する表示部１１と、表示部１１へ表示指示信号５６を出力する表示指示部１５と、表示部１１からの表示光５４を収斂させて実像の空中像を結像させる光学パネル１２と、撮像信号を出力する固体撮像素子１８と、撮像信号を用いて、固体撮像素子１８から、空中像に対して操作を行う操作手段５２までの距離情報と、操作手段５２の二次元位置情報との演算を行う距離／位置演算部３１と、二次元位置情報を出力する判断部３２とを備える情報表示装置１０であって、情報表示装置１０は、距離情報が所定範囲の場合、または、距離情報の変化を認識した場合に、二次元位置情報に基づき実像及び空中像の表示変更を行う。【選択図】図１

Description

本開示は、情報表示装置に関する。

近年、タブレットＰＣ及びスマートフォン等の情報表示装置では、キーボード及びマウス等を用いることなく、装置の操作が行えるようになっている。

図１２は、特許文献１に開示された従来技術のコミュニケーション・デバイスである。

図１２に示す、コミュニケーション・デバイス５００は、タッチ・センサ式のＬＣＤスクリーンまたはＬＥＤスクリーンのタッチスクリーン５１０を備えており、ユーザが、タッチスクリーン５１０の上で選択を行い、あるいは、入力を実行することができる。これにより、ユーザは、テキスト・メッセージ、または電子メールなどを生成するために文字、数字、及び記号をタイプ入力することができるようになる。

特表２０１３−５０７６８４号公報

しかしながら、特許文献１に開示された従来技術のコミュニケーション・デバイス（情報表示装置）では、画面変更、画面拡大、または文字入力等の操作を行うためには、タッチスクリーンに接触する（タッチする）必要がある。

一方、使用環境（一例として、衛生、感染、防塵、または防水等を重視する環境）によっては、情報表示装置に触ることができないため、特許文献１に開示されたコミュニケーション・デバイスを使用することができないという課題を有していた。

前記課題に鑑み、表示パネルに接触することなく、画面変更、画面拡大、または文字入力等の操作を行うことができる情報表示装置を提供する。

本開示の一態様に係る情報表示装置は、実像を表示する表示部と、前記表示部へ表示指示信号を出力する表示指示部と、前記表示部からの表示光を収斂させて前記実像の空中像を結像させる光学パネルと、撮像信号を出力する固体撮像素子と、前記撮像信号を用いて、前記固体撮像素子から、前記空中像に対して操作を行う操作手段までの距離情報と、前記操作手段の二次元位置情報との演算を行う演算部と、前記二次元位置情報を出力する判断部とを備える情報表示装置であって、前記情報表示装置は、前記距離情報が所定範囲の場合、または、前記距離情報の変化を認識した場合に、前記二次元位置情報に基づき前記実像及び前記空中像の表示変更を行うことを特徴とする。

また、本開示の一態様に係る情報表示装置において、前記判断部は、記録情報または記憶情報と前記距離情報との照合により、前記所定範囲であることを判断するとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記判断部は、前記所定範囲の場合または前記距離情報の変化を認識した場合に、前記二次元位置情報を出力するとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記判断部は、前記距離情報が所定範囲外の場合、または、前記距離情報の変化を認識しない場合に、前記二次元位置情報を未出力にする、または、表示維持情報を出力するとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記表示指示部は、前記距離情報が所定範囲外の場合、または、前記距離情報の変化を認識しない場合に、前記表示指示信号を未出力にする、または、前記実像の表示維持を指示する前記表示指示信号を出力するとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記情報表示装置は、前記操作手段の検知、前記二次元位置情報の演算、または、前記距離情報の演算を測距処理で行うとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記情報表示装置は、前記距離情報の演算を測距処理で行い、前記操作手段の検知及び前記二次元位置情報の演算を画像処理で行うとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記情報表示装置は、前記前記距離情報の演算、及び、前記操作手段の検知を測距処理で行い、前記二次元位置情報の演算を画像処理で行うとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記操作手段の検知、前記二次元位置情報の演算、及び、前記距離情報の演算を画像処理で行うとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記測距処理は、タイムオブフライト演算処理であるとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記所定範囲は、前記操作手段を動かす操作者が前記空中像に接触した感覚となる範囲であるとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記情報表示装置は、前記光学パネルの表面に反射防止膜を備えるとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記固体撮像素子は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、または、光電変換膜を備えるイメージセンサであるとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記情報表示装置は、前記表示部と前記表示指示部を有するタブレット型パーソナルコンピュータを備えるとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記固体撮像素子、前記演算部、前記判断部及び前記表示指示部の少なくとも一部がワンチップで形成されているとしてもよい。

また、本開示の一態様に係る情報表示装置において、前記情報表示装置は、医療現場で用いられるとしてもよい。

本開示に係る情報表示装置によれば、表示パネルに接触することなく、画面変更、画面拡大、または文字入力等の操作を行うことが実現できる。

実施の形態に係る情報表示装置の断面構造図である。 実施の形態に係る情報表示装置の構造図である。 実施の形態に係る撮像デバイスに備わる固体撮像素子の構造図である。 一般的なタブレット型パーソナルコンピュータを説明する概略図である。 実施の形態に係る情報表示装置に備わる撮像部の構造図である。 実施の形態に係る情報表示装置に備わる撮像部の構造図である。 実施の形態に係る情報表示装置の断面構造図である。 実施の形態に係る情報表示装置に備わる撮像部の構造図である。 実施の形態に係る情報表示装置の断面構造図である。 実施の形態に係る情報表示装置の断面構造図である。 実施の形態に係る情報表示装置の断面構造図である。 従来技術に係るコミュニケーション・デバイスの概観図である。

以下、本開示の実施の形態に係る情報表示装置について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本開示の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本開示を限定するものではない。

（実施の形態）
図１は、実施の形態に係る情報表示装置の構成例を示す断面図である。また、図２は、図１の情報表示装置を位置Ｂから矢印の方向に見た構造図である。

なお、本実施の形態の理解を容易とするため、図１、図２（及び、後述する図７、図９、図１０、図１１）の実像５０、及び空中像５１は三次元形状（平行四辺形の形状）で表現する。また、図面におけるＸ方向とは、空中像５１が地面（下面）に対しほぼ平行となる方向であり、Ｙ方向とは、Ｘ方向と直交する方向であり、空中像５１が地面（下面）と交差する方向（ほぼ垂直の方向）である。更に、図面上のＺ方向とは、操作手段５２と撮像部１４の距離方向である。

図１及び図２における情報表示装置１０は、一例として、液晶または有機ＥＬ等の表示部（表示パネル）１１を備え、操作者に見せるべき対象物（画像）を表示する。なお、本実施の形態では、表示部１１自体が表示する画像を実像５０と呼ぶ。

また、情報表示装置１０は、光学パネル１２を備える。光学パネル１２は、表示部１１からの表示光５４を反射する反射膜１３を備え、反射した表示光５５を収斂させて対象物の空中像５１を生成する。この反射膜１３は、一例として金属等の不透光性の薄板材（縦横：２００ｍｍ程度、厚み：０．５ｍｍ程度）からなる。

言い換えると、表示部１１から発する図面上実線で示した表示光５４は、光学パネル１２内に多数配置されている反射膜１３によって光反射する。この表示光５４は、可視光を含み、一例として三原色ＲＧＢの波長領域（４００ｎｍ〜７００ｎｍ程度）内の光を少なくとも含む。なお、表示光５４は、可視外光の波長領域（４００ｎｍ〜７００ｎｍ程度以外、一例として赤外光ＩＲ）の光を含んでいてもよい。

そして、図面上実線で示した、反射膜１３で反射した表示光５５は収斂し、表示部１１に表示された対象物（一例として、Ａ０点）に対応して結像し、これにより空中像５１（一例として、Ａ０点に対応する光学結像はＡ１点）が形成される。

なお、図１では、本実施の形態の理解を容易とするため、対象物内の１点（Ａ０点）のみを用いて表示光５４及び５５が収斂し結像することを説明したが、実際は、対象物内の複数点の表示光５４及び５５がそれぞれ収斂することにより結像し、空中像５１を形成する。

また、空中像５１を表示する（結像させる）ための手段（光学パネル１２）は、上述したものに限定されるものではなく、その他の方式（一例として、曲面形状のマイクロレンズを備えた光学パネル等）を用いることもできる。

また、本実施の形態に係る情報表示装置１０は、空中像５１に対して操作を行う操作手段（図面では手または指）５２を認識する装置構成として、撮像部１４を備えている。

また、情報表示装置１０は、表示部１１に表示指示信号５６を伝えるための表示指示部１５を備える。表示指示部１５は、撮像部１４からの指示信号により要求された機能に基づいて、表示指示信号５６を表示部１１に送る。これにより、表示部１１は、画面の変更、画面の拡大、入力文字等（入力文字は、数字、及びアルファベット等も含む）の新規表示、入力文字等の変換表示、または入力文字等の表示削除、等を行う。

言い換えると、操作者は、空中像５１を見ながら、空中像５１を触れる（タッチする）ように操作手段５２を動かすことにより、画面の変更、画面の拡大、入力文字等の新規表示、入力文字等の変換表示、または入力文字等の表示削除、等の操作を行う。また、図２では、操作の一例として、空中像５１内の表示であるｔｏｕｃｈ−Ａ５７、及びｔｏｕｃｈ−Ｂ５８のうち、ｔｏｕｃｈ−Ｂ５８を操作手段（図面では手または指）５２で押す操作を示している。なお、この操作の詳細は後述する。

また、本実施の形態に係る情報表示装置１０は、筐体１６と、光学パネル１２の周囲に配置されている外枠１７とを備えている。なお、図１（及び、後述する図７、図９、図１０）で示した情報表示装置１０は、特に、情報表示装置１０を天井から吊り下げるように設置して用いる場合に好ましい形状である。

また、撮像部１４は、固体撮像素子１８と、発光素子（一例としてＬＥＤ素子）などの光源部１９とを備える。光源部１９から照射された図面上２点鎖線で示した照射光５９（一例として、可視外光であり、より好ましくは、赤外線光又は近赤外線光）が操作手段５２で反射した、図面上１点鎖線で示した反射光（アクティブ光）６０が、固体撮像素子１８（後述する撮像領域４０）により受光（露光）される。但し、固体撮像素子１８は、パッシブ光（一例として太陽光、又は照明光）を受光（露光）することもできる。

また、撮像部１４は、信号発生部（図示せず）を備える。信号発生部は、照射光５９の照射を指示する発光信号と、反射光６０の露光を指示する露光信号とを発生する。光源部１９は、信号発生部で発生される発光信号を受信したタイミングに従って、操作手段５２の動きに対する認識（測距処理）のための照射光５９の照射を行う。

これによって、固体撮像素子１８は撮像信号を発生し、該撮像信号を信号演算部３０に出力する。この撮像信号は、一例として、複数回の露光量の総和に対応したＲＡＷデータである。この撮像信号の出力に関する詳細は、図５及び図６を用いて後述する。

信号演算部３０は、測距処理（一例として、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ、タイムオブフライト）演算処理）に基づいて、操作手段５２に関する距離情報または位置情報を演算する。また、信号演算部３０は、操作手段５２を撮像している受光部からの撮像信号から、操作手段５２の二次元位置情報（Ｘ及びＹ方向の位置）を演算する。

言い換えると、信号演算部３０は、測距処理に基づき、操作手段５２を含む被写体から各受光部までの各距離情報によって、操作手段５２の検知、操作手段５２の二次元位置情報（Ｘ及びＹ方向の位置）の演算、または、操作手段５２までの距離の演算を行う。

そして、本実施の形態に係る情報表示装置１０は、固体撮像素子１８（撮像部１４）からの撮像信号に基づく操作信号６１を表示指示部１５に出力する。

但し、操作手段５２の検知、及び操作手段５２の二次元位置情報（Ｘ及びＹ方向の位置）の演算は、測距処理に限定されるものではない。例えば、本実施の形態では固体撮像素子１８がエリア型イメージセンサであるため、エリア型イメージセンサから得られる二次元画像（撮像画像）から（つまり、画像処理によって）、操作手段５２の検知、及び操作手段５２の二次元位置情報（Ｘ及びＹ方向の位置）の演算を行うことも可能である。

また、本実施の形態の情報表示装置１０は、ＴＯＦ以外の演算処理を用いることも可能である。一例として、情報表示装置１０は、照射光を操作手段５２に当てて、反射光のひずみで、測距処理を行うパターン照射演算処理、等を用いることも可能である。

図３は、本実施の形態に係る情報表示装置１０が備える固体撮像素子１８の平面構造図である。

固体撮像素子１８は、シリコン等の半導体基板に回路（一例として、信号出力回路、ノイズ除去回路、ＡＤコンバータなどの信号変換回路、及び信号増幅回路、等）と、撮像領域４０とを備えている。

また、撮像領域４０は、一例として、入射光を受光して電気信号に変換する受光部（フォトダイオード）が半導体基板上に行列状に配置された領域である。つまり、固体撮像素子１８はエリア型イメージセンサであり、撮像領域４０は二次元（Ｘ及びＹ方向）の領域である。これにより、操作手段５２を撮像している受光部の位置により、操作手段５２の二次元の位置情報（Ｘ及びＹ方向の位置）を得ることができる。

また、固体撮像素子１８がＣＣＤイメージセンサの場合は、撮像領域４０には、フォトダイオード（受光部）の他に、受光部で発生された電荷の読出し及び転送を行う転送電極（転送チャネル）等が形成されている。

一方、固体撮像素子１８がＣＭＯＳイメージセンサの場合は、撮像領域４０には、フォトダイオード（受光部）の他に、受光部で光電変換して得られる信号電荷をＦＤ（フローティングディフュージョン）部に転送する転送トランジスタと、ＦＤ部の電位Ｖｆｄを制御するリセットトランジスタと、ＦＤ部の電位Ｖｆｄに応じた信号を列信号線に出力する増幅トランジスタ等が形成されている。

但し、固体撮像素子１８の構成は、上述した構成に限定されるものではない。一例として、ＣＭＯＳイメージセンサの場合は、画素選択を行うための選択トランジスタを更に形成される場合もある。更に、固体撮像素子１８は、上述したものに限定されるものではなく、その他の固体撮像素子１８を用いることも可能である。一例として、半導体基板上に形成されたフォトダイオードに代わり、光を捕捉し光電変換を行うための、有機材料または無機材料で半導体基板の上に形成された光電変換膜を備えるイメージセンサを用いることも可能である。

ここで、本実施の形態の理解を容易とするため、図４を参照としながら説明する。

図４は、一般的なタブレット型パーソナルコンピュータ（タブレットＰＣ）２００であり、タッチ機能付表示パネル２０１と、表示指示部２０２等を備える。

操作者は、タッチ機能付表示パネル２０１に接触して（タッチして）操作入力を行う。

その操作によって生じた操作信号２０３が表示指示部２０２に伝えられ、表示指示部２０２は、操作入力により要求された機能に基づいて、タッチ機能付表示パネル２０１へ表示信号２０４を送る。そして、タッチ機能付表示パネル２０１の画面の変更、画面の拡大、又は文字入力の表示、等が行われる。

言い換えると、表示画面の変更、画面の一部拡大、または文字入力を行うためには、操作者がタッチ機能付表示パネル２０１に接触しなければならない。

なお近年では、タッチ機能付表示パネル２０１は、画面にかざしている指先を検知できる近接感知機能を有し、指先で画面を上下左右になぞってスクロールする操作（いわゆる、フリック操作）、２本の指を開閉させて画像を拡大縮小できる操作（いわゆる、ピンチ操作）などを、タッチ機能付表示パネル２０１に触れなくても操作ができる機能（いわゆる、ホバリング機能）を備えている場合もある。

しかしながら、この機能は、タッチ操作を補間するものであり、また、タッチ機能付表示パネル２０１のごく近接の範囲（一例としては、タッチ機能付表示パネル２０１から１０ｍｍ以内程度）のみで検知できるものである。したがって、タッチ機能付表示パネル２０１に操作者の指先等が、誤って接触するリスクを防げないという問題を有している。

さらに、タッチ機能付表示パネル２０１から大きく離れた位置からでも操作が行えるように設定すれば、操作者は表示画像内の何れの箇所に対して操作しているのかを把握することが難しくなり、操作性が悪化するという別の問題を備えている。

一方、本実施の形態に係る情報表示装置１０は、上述した問題等を解決することができる。その詳細について、図５及び図６を用いて説明する。

図５は、本実施の形態の撮像部１４の詳細構造図である。

撮像部１４は、光源部１９、固体撮像素子１８、距離／位置演算部３１、及び判断部３２を備えている。また、判断部３２は、空中像５１と操作手段５２との距離に関する初期情報（記録情報または記憶情報）を保持している。

まず、固体撮像素子１８は、操作手段５２の二次元位置（Ｘ及びＹ方向の位置）に関する第１の撮像信号７０、及び、操作手段５２から撮像部１４までの距離（Ｚ方向の距離）に関する第２の撮像信号７１を出力する。

距離／位置演算部３１は、第１の撮像信号７０及び第２の撮像信号７１により、空中像５１内における操作手段５２の検知を行う。さらに、距離／位置演算部３１は、第１の撮像信号７０及び第２の撮像信号７１を用いて、空中像５１内の操作手段５２の二次元位置情報（Ｘ及びＹ方向の位置）７２、及び、操作手段５２から撮像部１４までの距離情報（Ｚ方向の距離）７３を演算し、二次元位置情報７２及び距離情報７３を判断部３２に出力する。

判断部３２は、この出力情報のうち、操作手段５２から撮像部１４までの距離情報７３と初期情報との照合を行い、出力条件を満たすか否かを判断する。例えば、この出力条件は、操作手段５２が、空中像５１に対して、あたかも実像５０に対して操作を行ったのと同じ感覚となる距離範囲に含まれることであり、一例としては、空中像５１と操作手段５２とが重なることである。

判断部３２により出力条件を満たすと判断された場合、距離／位置演算部３１は、空中像５１内における操作手段５２の二次元位置情報（Ｘ及びＹ方向の位置）である操作信号６１を表示指示部１５に出力する。つまり、操作信号６１が選択的に表示指示部１５へ出力される。

その後、上述したように、表示指示部１５は、表示指示信号５６を表示部１１に出力する。

これによって、操作者は、表示部１１に接触することなく、更に、空中像５１に対する操作により、画面の変更、画面の拡大、入力文字等の新規表示、入力文字等の変換表示、及び入力文字等の表示削除、等を実現することができる。

なお、図５では、固体撮像素子１８は、第１の撮像信号７０、及び第２の撮像信号７１を同じタイミングで出力するが、固体撮像素子１８がＣＣＤイメージセンサの場合、受光部から出力された第１の撮像信号７０、及び第２の撮像信号７１を転送チャネル内に蓄積させながら出力させることができる。

つまり、ＣＣＤイメージセンサの場合、信号蓄積のための蓄積素子（キャパシタ）等を撮像領域４０内に新たに設置する必要がないため、受光部面積を大きくできる。これにより、光量に対する感度特性を向上できるので、測定感度を向上可能である。但し、図５の撮像部１４には、ＣＭＯＳイメージセンサ、又は光電変換膜を備えたイメージセンサを用いることも可能である。

図６は、本実施の形態の撮像部１４の別の詳細構造図である。

図６では、まず、固体撮像素子１８は、空中像５１内に操作手段５２の検知と操作手段５２から撮像部１４までの距離情報（Ｚ方向の距離）とに関する第３の撮像信号７４を出力する。

距離／位置演算部３１は、第３の撮像信号７４を用いて、空中像５１内に操作手段５２の検知を行う。さらに、距離／位置演算部３１は、第３の撮像信号７４を用いて演算を行い、操作手段５２から撮像部１４までの距離情報（Ｚ方向の距離）７５の演算し、距離情報７５を判断部３２に出力する。

判断部３２は、操作手段５２から撮像部１４までの距離情報７５と初期情報との照合を行い、出力条件を満たすか否かを判断する。例えば、この出力条件は、操作手段５２が、空中像５１に対して、あたかも実像５０に対して接触したのと同じ感覚となる距離範囲に含まれることであり、一例としては、空中像５１と操作手段５２とが重なることである。判断部３２は、出力条件を満たすと判断した場合は、操作手段５２の二次元位置（Ｘ及びＹ方向の位置）に関する第１の撮像信号７０を出力するための指示信号７６を固体撮像素子１８に送る。

固体撮像素子１８は、指示信号７６に基づいて、操作手段５２の二次元位置（Ｘ及びＹ方向の位置）に関する第１の撮像信号７０を出力する。

距離／位置演算部３１は、第１の撮像信号７０を用いて、操作手段５２の空中像５１内の二次元位置情報（Ｘ及びＹ方向の位置）である操作信号６１を表示指示部１５に出力する。つまり、操作信号６１が選択的に表示指示部１５へ出力される。

その後、上述したように表示指示部１５は表示指示信号５６を表示部１１に出力する。

これによって、操作者は、表示部１１に接触することなく、更に、空中像５１に対する操作により、画面の変更、画面の拡大、入力文字等の新規表示、入力文字等の変換表示、及び入力文字等の表示削除、等を実現することができる。

なお、図６では、第３の撮像信号７４と第１の撮像信号７０との出力タイミングをずらすことができるので、ＣＭＯＳイメージセンサ、又は光電変換膜を備えたイメージセンサを用いることが好ましい。

これにより、撮像時間の短縮（つまり、高速化）、及び低消費電力化を実現でき、更に、後述するワンチップ化（一例として、固体撮像素子１８と、信号演算部３０（距離／位置演算部３１及び判断部３２）または、表示指示部１５とのワンチップ化）が容易となる。但し、図６の撮像部１４には、ＣＣＤイメージセンサを用いることも可能である。

以上、図面を用いて説明した本実施の形態に係る情報表示装置１０は、空中像５１と操作手段５２との距離に関する初期情報を記憶（記録）し、操作者が、実像５０と同じように接触をしたような感覚となる操作を行った場合に、空中像５１内の二次元（Ｘ及びＹ方向）の位置情報を出力することを特徴としている。

これによって、操作者は、表示部１１に接触することなく、更に、空中像５１に対して、あたかも実像５０に対して接触したのと同じような操作感覚により、表示部１１の実像５０と空中像５１の画面変更、画面拡大、または入文字入力（あるいは入力文字の表示）を実現することができる。

したがって、情報表示装置１０に触ることができない使用環境でも、情報表示装置１０を用いることができる。この使用環境とは、一例として、衛生、感染、防塵、又は防水等の観点から情報表示装置１０に触ることができない使用環境である。具体的には、この使用環境は、医療現場（手術現場）である。これにより、医療従事者が表示パネル（表示部１１）に直接接触することで表示パネルが汚染され、その汚染物が医療従事者から患者に移ることが原因となる術後感染等のリスクを防ぎつつ、本実施の形態に係る情報表示装置１０から手術中に必要な情報を入手することができる。

なお、本実施の形態に係る情報表示装置１０では、判断部３２（図５及び図６）において、操作手段５２から撮像部１４までの距離情報７５と初期情報（記録情報又は記憶情報）との照合を行い、出力条件（この条件は、操作手段５２が、空中像５１に対して、あたかも実像５０に対して接触したのと同じ感覚となる距離範囲に含まれることであり、一例としては、空中像５１と操作手段５２が重なることである）を満たすと判断した場合は、操作信号６１を表示指示部１５へ出力するとしたが、操作信号６１を選択的に出力する方法は上記に限定されるものではない。

例えば、固体撮像素子１８は連続撮像を行い、撮像部１４は、連続する撮像信号から指または指先がボタンを押し込むような動作と判断した場合（言い換えると、操作手段５２の動きが特定の動きであると判断した場合）に、操作信号６１を出力してもよい。

つまり、固体撮像素子１８は連続撮像を行い、撮像部１４は、測距処理によって操作手段５２から撮像部１４までの距離情報７５の変化（Ｚ方向の距離変化）を得ることで、操作信号６１を選択的に出力してもよい。または、撮像部１４は、指または指先がボタンを押し込むような動作（言い換えると、操作手段５２の動き）を、撮像画像の変化からＺ方向の距離変化を判断することで検出してもよい。一例として、撮像部１４は、連続する撮像画像を撮影し、現在のフレーム（画像）と前のフレーム（画像）とを比較する方法によりＺ方向の距離変化を判断する。つまり、撮像部１４は、画像処理によって操作信号６１を選択的に出力してもよい。

言い換えると、本実施の形態に係る情報表示装置１０では、（ａ）操作手段５２の検知、操作手段５２の二次元位置情報（Ｘ及びＹ方向の位置）の演算及び操作手段５２に関する距離情報（Ｚ方向の距離またはＺ方向の距離変化）の演算を測距処理（一例として、ＴＯＦ演算処理）で行う場合、（ｂ）操作手段５２に関する距離情報（Ｚ方向の距離またはＺ方向の距離変化）の演算を測距処理で行い、操作手段の検知及び操作手段５２の二次元位置情報（Ｘ及びＹ方向の位置）の演算を画像処理で行う場合、（ｃ）操作手段５２に関する距離情報（Ｚ方向の距離またはＺ方向の距離変化）の演算及び操作手段の検知を測距処理で行い、操作手段５２の二次元位置情報（Ｘ及びＹ方向の位置）の演算を画像処理で行う場合、（ｄ）操作手段５２の検知、操作手段５２の二次元位置情報（Ｘ及びＹ方向の位置）の演算及び操作手段５２に関する距離情報（Ｚ方向の距離変化）の演算を画像処理で行う場合、等の様々な方法を用いることができる。

なお、図５及び図６において、判断部３２は、操作信号６１を表示指示部１５へ選択的に出力する、つまり、表示部１１の画像変更を変更しない（画面を維持する）場合は、判断部３２から操作信号６１を出力しない（未出力にする）ことを説明した。しかし、本実施の形態に係る情報表示装置１０では、実像５０（及び空中像５１）の画面変更を変更しない（画面を維持する）場合でも、操作信号６１を出力する方法を用いることもできる。

一例として、判断部３２（図５及び図６）は、操作手段５２から撮像部１４までの距離情報７５と初期情報との照合を行い、出力条件を満たさないと判断した場合、または、指または指先がボタンを押し込むような動作（言い換えると、操作手段５２の動き）を認識しない場合は、実像５０を変更しない（画面を維持する）ことを示す操作信号６１（表示維持情報）を表示指示部１５へ出力してもよい。この場合、表示指示部１５は、この操作信号６１の基ついて、実像５０を変更しない（画面を維持する）ことを示す表示指示信号（表示維持信号）５６を表示部１１へ出力する。

なお、本実施の形態に係る情報表示装置１０では、実像５０を変更しない（画面を維持する）場合は、表示指示部１５は、表示指示信号５６を出力しない（未出力にする）としてもよい。または、本実施の形態に係る情報表示装置１０では、実像５０を変更しない（画面を維持する）場合は、判断部３２及び表示指示部１５は、操作信号６１及び表示指示信号５６を出力しない（未出力にする）としてもよい。

なお、図１及び図２では撮像部１４が光源部１９を備える例を示したが、光源部１９の位置はそれに限定されるものではない。

なお、図５及び図６では、撮像部１４が距離／位置演算部３１及び判断部３２を備える例を示したが、距離／位置演算部３１及び判断部３２の設置箇所は情報表示装置１０内であればよい。一例として、距離／位置演算部３１及び判断部３２の設置箇所は筐体１６内であってもよい。

また、本実施の形態に係る情報表示装置１０では、固体撮像素子１８、距離／位置演算部３１、判断部３２、及び表示指示部１５のうち、一部又は全てが、ワンチップの半導体素子として形成されていてもよい。一例として、距離／位置演算部３１、判断部３２、及び、表示指示部１５をワンチップ集積回路で構成してもよい。

また、図７に示すように、本実施の形態に係る情報表示装置１０は、少なくとも表示部１１（タッチ機能付表示パネル）と様々な演算処理機能を有する表示指示部１５を備えたパーソナルコンピュータ（タブレットＰＣ）４５を搭載することも可能である。なお、この場合は、パーソナルコンピュータ（タブレットＰＣ）４５の入力端子（一例としてＵＳＢ端子）を用いることで、操作信号６１を入力させることができる。

（実施の形態の変形例１）
図８は、実施の形態に係る情報表示装置１０の変形例を示し、特に撮像部１４の詳細を示す。

図８より、撮像部１４は複数の光源部１９を備え、更に、複数の光源部１９は固体撮像素子１８の周辺を取り囲むように配置されている。このような配置により、実施の形態に係る情報表示装置１０は、操作手段５２のあらゆる角度及び方向においても、反射光６０を固体撮像素子１８に受光させることが可能となる。

（実施の形態の変形例２）
図９及び図１０は、実施の形態に係る情報表示装置１０の変形例を示し、特に光学パネル１２の詳細を示す。

図９及び図１０では、情報表示装置１０は、光学パネル１２の表面に配置された反射防止膜４３又は４４を備えている。これにより、表示光５４が光学パネルを透過する際に、その表示光５４の一部が反射することが防ぐことができる。つまり、反射した表示光５４の一部が迷光（ゴースト光）８０となり、この迷光８０が筐体１６内を反射することにより、操作者からゴースト画像が見えることを防ぐことが可能である。

なお、図９及び図１０では、光学パネル１２の片面に反射防止膜４３又は４４を形成する例を示したが、光学パネル１２の両面に反射防止膜４３及び４４が形成されてもよい。

（実施の形態の変形例３）
図１１は、実施の形態に係る情報表示装置１０の変形例を示す図である。

図１１に示す情報表示装置１０では、光学パネル１２が地面（下面）に対し、平行となるような配置（及び、筐体１６の形状）を有する。図１１で示した情報表示装置１０は、一例として机の天板上に設置するような装置形状として特に好ましいものである。

以上、本開示の実施の形態に係る情報表示装置について説明したが、本開示は、この実施の形態に限定されるものではない。

例えば、上記実施の形態に係る情報表示装置に含まれる複数の処理部の一部又は全ては集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記平面図及び断面図等は、本開示に係る構成を模式的に示す図である。つまり、上記各図において、各構成要素の角部及び辺を直線的に記載しているが、角部及び辺が丸みをおびたものも本開示に含まれる。

また、上記で示した各構成要素の材料は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された材料に制限されない。また、構成要素間の接続関係は、本開示を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

以上、一つまたは複数の態様に係る情報表示装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示は、その空中像への行動として操作者が操作を加えることができるので情報表示装置に有用である。

１０ 情報表示装置
１１ 表示部
１２ 光学パネル
１３ 反射膜
１４ 撮像部
１５ 表示指示部
１６ 筐体
１７ 外枠
１８ 固体撮像素子
１９ 光源部
３０ 信号演算部
３１ 距離／位置演算部
３２ 判断部
４０ 撮像領域
４３、４４ 反射防止膜
４５ パーソナルコンピュータ（タブレットＰＣ）
５０ 実像
５１ 空中像
５２ 操作手段
５４ 表示光
５５ 反射した表示光
５６ 表示指示信号
５７ ｔｏｕｃｈ−Ａ
５８ ｔｏｕｃｈ−Ｂ
５９ 照射光
６０ 反射光
６１ 操作信号
７０ 第１の撮像信号
７１ 第２の撮像信号
７２ 二次元位置情報
７３、７５ 距離情報
７４ 第３の撮像信号
７６ 指示信号
８０ 迷光
２００ タブレット型パーソナルコンピュータ（タブレットＰＣ）
２０１ タッチ機能付表示パネル
２０２ 表示指示部
２０３ 操作信号
２０４ 表示信号
５００ コミュニケーション・デバイス
５１０ タッチスクリーン

Claims (16)

1. 実像を表示する表示部と、
   前記表示部へ表示指示信号を出力する表示指示部と、
   前記表示部からの表示光を収斂させて前記実像の空中像を結像させる光学パネルと、
   撮像信号を出力する固体撮像素子と、
   前記撮像信号を用いて、前記固体撮像素子から、前記空中像に対して操作を行う操作手段までの距離情報と、前記操作手段の二次元位置情報との演算を行う演算部と、
   前記二次元位置情報を出力する判断部とを備える情報表示装置であって、
   前記情報表示装置は、前記距離情報が所定範囲の場合、または、前記距離情報の変化を認識した場合に、前記二次元位置情報に基づき前記実像及び前記空中像の表示変更を行う
   情報表示装置。
2. 前記判断部は、記録情報または記憶情報と前記距離情報との照合により、前記所定範囲であることを判断する
   請求項１に記載の情報表示装置。
3. 前記判断部は、前記所定範囲の場合または前記距離情報の変化を認識した場合に、前記二次元位置情報を出力する
   請求項１または２に記載の情報表示装置。
4. 前記判断部は、前記距離情報が所定範囲外の場合、または、前記距離情報の変化を認識しない場合に、前記二次元位置情報を未出力にする、または、表示維持情報を出力する
   請求項１〜３のいずれか１項に情報表示装置。
5. 前記表示指示部は、前記距離情報が所定範囲外の場合、または、前記距離情報の変化を認識しない場合に、前記表示指示信号を未出力にする、または、前記実像の表示維持を指示する前記表示指示信号を出力する
   請求項１〜３のいずれか１項に記載の情報表示装置。
6. 前記情報表示装置は、前記操作手段の検知、前記二次元位置情報の演算、または、前記距離情報の演算を測距処理で行う
   請求項１〜５のいずれか１項に記載の情報表示装置。
7. 前記情報表示装置は、前記距離情報の演算を測距処理で行い、前記操作手段の検知及び前記二次元位置情報の演算を画像処理で行う
   請求項１〜５のいずれか１項に記載の情報表示装置。
8. 前記情報表示装置は、前記前記距離情報の演算、及び、前記操作手段の検知を測距処理で行い、前記二次元位置情報の演算を画像処理で行う
   請求項１〜５のいずれか１項に記載の情報表示装置。
9. 前記情報表示装置は、前記操作手段の検知、前記二次元位置情報の演算、及び、前記距離情報の演算を画像処理で行う
   請求項１〜５のいずれか１項に記載の情報表示装置。
10. 前記測距処理は、タイムオブフライト演算処理である
    請求項６〜９のいずれか１項に記載の情報表示装置。
11. 前記所定範囲は、前記操作手段を動かす操作者が前記空中像に接触した感覚となる範囲である
    請求項１〜１０のいずれか１項に記載の情報表示装置。
12. 前記情報表示装置は、さらに、前記光学パネルの表面に反射防止膜を備える
    請求項１〜１１のいずれか１項に記載の情報表示装置。
13. 前記固体撮像素子は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、または、光電変換膜を備えるイメージセンサである
    請求項１〜１２のいずれか１項に記載の情報表示装置。
14. 前記情報表示装置は、前記表示部と前記表示指示部とを有するタブレット型パーソナルコンピュータを備える
    請求項１〜１３のいずれか１項に記載の情報表示装置。
15. 前記固体撮像素子、前記演算部、前記判断部及び前記表示指示部の少なくとも一部がワンチップで形成されている
    請求項１〜１４のいずれか１項に記載の情報表示装置。
16. 前記情報表示装置は、医療現場で用いられる
    請求項１〜１５のいずれか１項に記載の情報表示装置。

Images