JP2014203323A - 空間入力装置 - Google Patents

空間入力装置 Download PDF

Info

Publication number
JP2014203323A
JP2014203323A JP2013080206A JP2013080206A JP2014203323A JP 2014203323 A JP2014203323 A JP 2014203323A JP 2013080206 A JP2013080206 A JP 2013080206A JP 2013080206 A JP2013080206 A JP 2013080206A JP 2014203323 A JP2014203323 A JP 2014203323A
Authority
JP
Japan
Prior art keywords
light
detected
unit
image
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2013080206A
Other languages
English (en)
Inventor
謙 西岡
Ken Nishioka
謙 西岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to JP2013080206A priority Critical patent/JP2014203323A/ja
Priority to US14/224,457 priority patent/US9292133B2/en
Priority to EP16160498.8A priority patent/EP3062140B1/en
Priority to EP14162175.5A priority patent/EP2790049B1/en
Publication of JP2014203323A publication Critical patent/JP2014203323A/ja
Priority to US15/044,604 priority patent/US9423914B2/en
Priority to US15/225,064 priority patent/US9652085B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G06F3/0423Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

【課題】簡素な構造により、高精度且つ高速に奥行き位置を検出することができる空間入力装置を提供する。
【解決手段】所定の光ビームを空間上に投影される画像に向けて出射して2次元的に走査する光ビーム走査部と、検出範囲の一端が前記画像に平行または一致するよう設定され、且つ操作物の前記画像への進入方向から見て前記検出範囲の一端の奥側に前記検出範囲が設けられる光検出部と、前記光ビーム走査部によって走査されて前記操作物で反射され前記光検出部により検出された前記光ビームの数である走査線数を計数し、計数された前記走査線数に基づいて奥行き位置を検出する奥行き検出部と、を備えた構成とする。
【選択図】図4

Description

本発明は、空間入力装置に関する。
従来、仮想的なユーザインタフェースを実現する空間入力装置が知られている。
例えば特許文献1には、マイクロレンズアレイ部の各マイクロレンズに対応する単位領域ごとに配置された表示素子により画像が表示されると、表示された画像はマイクロレンズアレイ部によって空間上の一平面に結像する入出力装置が開示されている。この入出力装置では、指などの指示のための物体からの光がマイクロレンズアレイ部によって集光された後、表示素子と同一面内に配された撮像素子において受光され、物体の撮像データが取得される。この撮像データに基づき、物体の位置が検知される。
特開2010−55507号公報
しかしながら、上記特許文献1の入出力装置では、物体の3次元的位置を検知することはできるが、マイクロレンズアレイ部や複数の撮像素子が必要となり、構造が複雑化するという問題があった。
そこで、本発明は、簡素な構造により、高精度且つ高速に奥行き位置を検出することができる空間入力装置を提供することを目的とする。
上記目的を達成するために本発明の一態様に係る空間入力装置は、所定の光ビームを空間上に投影される画像に向けて出射して2次元的に走査する光ビーム走査部と、検出範囲の一端が前記画像に平行または一致するよう設定され、且つ操作物の前記画像への進入方向から見て前記検出範囲の一端の奥側に前記検出範囲が設けられる光検出部と、前記光ビーム走査部によって走査されて前記操作物で反射され前記光検出部により検出された前記光ビームの数である走査線数を計数し、計数された前記走査線数に基づいて奥行き位置を検出する奥行き検出部と、を備えた構成としている。
このような構成によれば、1つの光検出部を使用して、画像よりも奥に進入させた操作物の奥行き位置を高精度且つ高速に検出できる。従って、簡素な構造により、高精度且つ高速な奥行き位置検出を行うことができる。
また、上記構成において、前記光ビーム走査部による走査において、最後または最初に前記光ビームが前記操作物で反射されて前記光検出部により検出されるタイミングに基づき、前記検出範囲の一端における前記光ビームの照射位置座標をタッチ座標として検出するタッチ座標検出部を更に備えることとしてもよい。
このような構成によれば、奥行き位置に加えて、操作物によって画像をタッチした位置を1つの光検出部を使用して検出でき、コストの低減となる。
また、上記構成において、前記タッチ座標に応じて、前記走査線数と前記奥行き位置との対応関係が変化することとしてもよい。
このような構成によれば、走査位置に応じて走査線の密度が変化する場合でも、タッチ位置による奥行き検出結果のばらつきを抑えることができ、ユーザへの違和感を抑えることができる。
また、上記いずれかの構成において、前記タッチ座標が検出された後、検出された前記奥行き位置が所定の奥行き位置より奥であるか否かに応じて処理を切替える処理部を更に備えることとしてもよい。
このような構成によれば、操作物を画像より奥に進入させて更に操作物を押し込んだ場合と、操作物を所定の奥行き位置までで停止させた場合とで処理を変えることができる。
また、上記構成において、検出された前記奥行き位置が前記所定の奥行き位置より奥であるとき、前記処理部は、検出された前記タッチ座標に所定の画像を移動させることとしてもよい。
このような構成によれば、操作物を画像より奥に進入させて更に操作物を押し込んだ場合、所定の画像を操作物の位置に追従させるドラッグモードへ移行できる。
また、上記いずれかの構成において、複数の前記タッチ座標を検出後、前記光検出部により検出されなくなると、引き出し動作がされたと判定する判定部を更に備えることとしてもよい。
このような構成によれば、複数の操作物を画像より奥に進入させてから手前へ引抜く動作を引き出し動作として検出できる。
また、上記構成において、前記光検出部の検出範囲よりも前記操作物の前記画像への進入方向から見て手前側に設定される検出範囲を有した第2の光検出部と、前記引き出し動作がされたと判定されたとき、前記第2の光検出部による検出結果に基づいて引き出し量を算出する算出部と、を更に備えることとしてもよい。
このような構成によれば、引き出し動作がされた場合、引き出し量を算出でき、引き出し量に応じた動作を行うことができる。
本発明によると、簡素な構造により、高精度且つ高速に奥行き位置を検出することができる。
本発明の一実施形態に係る画像表示装置の全体概略斜視図である。 本発明の一実施形態に係る画像表示装置の概略側面図である。 赤外線レーザユニットの構成を示すブロック図である。 光検出器の筐体内部の構成を示す斜視図である。 光検出器の検出範囲の設定例を示す側面図である。 垂直同期信号、水平同期信号、及び光検出器の受光レベルの一例を示すタイミングチャートである。 奥行きをタッチ平面に平行に設定していない例を示す側面図である。 奥行きをタッチ平面に平行に設定した例を示す側面図である。 タッチ座標及び奥行きの検出処理の一例を示すフローチャートである。 奥行き変換テーブルの一例を示す図である。 アイコンのドラッグ操作の様子を示す図である。 ドラッグモードへの移行処理を示すフローチャートである。 ドラッグモードにおける処理を示すフローチャートである。 2つの光検出器を設ける実施例を示す側面図である。 引き出し動作の様子を示す図である。 引き出し動作判定処理を示すフローチャートである。
以下に本発明の一実施形態について図面を参照して説明する。本発明の一実施形態に係る画像表示装置の全体概略斜視図を図1Aに示し、概略側面図を図1Bに示す。
図1A及び図1Bに示す画像表示装置10は、2面コーナーリフレクタアレイ基板(反射素子集合基板)1と、液晶表示部2と、赤外線レーザユニット3と、光検出器4と、を備えている。
2面コーナーリフレクタアレイ基板1は、液晶表示部2により表示された画像の光学像Sを空中に結像させて、それを観察者が見ることができるようにするものである。
2面コーナーリフレクタアレイ基板1は、基板に対して、基板の主面を垂直方向に貫通する正方形状の貫通孔が平面視で千鳥状に配置されて形成される構成となっている。貫通孔の平らな内壁面のうち直交する2つに、それぞれ鏡面を2面コーナーリフレクタとして形成している。
基板の一方の主面F2側(図1B)にある空間内に配された点光源から出射された光線は、2面コーナーリフレクタにて2回反射して、屈曲しつつ基板を透過する。点光源から出射されて異なる2面コーナーリフレクタに向かうそれぞれの光線は、2面コーナーリフレクタにて2回反射された後、点光源が配された側の基板の主面F2と反対側の主面F1側の空間において1点の光学像に結像される。
画像の光を面発光する液晶表示部2は点光源の集合であると捉えることができる。従って、基板の一方の主面F2側にある空間(図1Bにおける主面F2の下方の空間)に配された液晶表示部2により面発光された画像光の光線は、2面コーナーリフレクタでの反射により、他方の主面F1側の空間(図1Bにおける主面F1の上方の空間)において液晶表示部2と対称な位置に光学像Sとして結像される。これにより、観察者であるユーザは、空中に画像が表示されている感覚を得ることができる。
画像表示装置10を仮想的な入力インタフェースとして機能させるため、上記のように2面コーナーリフレクタアレイ基板1により結像された光学像Sに対して赤外レーザ光を照射する赤外線レーザユニット3が設けられる。
赤外線レーザユニット3のブロック構成を図2に示す。図2に示すように、赤外線レーザユニット3は、赤外LD(レーザダイオード)3Aと、コリメータレンズ3Bと、ビームスプリッタ3Cと、光検出器3Dと、水平MEMS(Micro Electro Mechanical Systems)ミラー3Eと、垂直MEMSミラー3Fと、レーザ制御回路3Gと、ミラーサーボ部3Hと、アクチュエータ3Iと、を備えている。
レーザ制御回路3Gによって制御されたパワーで赤外LD3Aは赤外レーザ光を出射する。出射された赤外レーザ光は、コリメータレンズ3Bにより平行光とされ、ビームスプリッタ3Cに入光する。ビームスプリッタ3Cに入光した光は、一部が反射されて光検出器3Dにより受光され、一部は透過して水平MEMSミラー3Eへ向かう。光検出器3Dで検出された検出信号に基づき、レーザ制御回路3Gが赤外LD3Aの出力パワーを制御する。
レーザ光を水平方向に走査するよう偏向可能な水平MEMSミラー3Eに入射されて反射されたレーザ光は、レーザ光を垂直方向に走査するよう偏向可能な垂直MEMSミラー3Fに入射されて反射し、赤外線レーザユニット3の筐体外部へ出射される。
赤外線レーザユニット3は、2面コーナーリフレクタアレイ基板1の液晶表示部2が配される主面F2側(図1B)にある空間に配置されるため、赤外線レーザユニット3から出射された赤外レーザ光は、2面コーナーリフレクタアレイ基板1の貫通孔を透過して光学像Sへ出射される。
水平MEMSミラー3E及び垂直MEMSミラー3Fの偏向により、赤外線レーザユニット3から出射されるレーザ光は光学像Sに対して2次元的に走査される。
ミラーサーボ部3Hは、制御部5からの水平同期信号に応じてアクチュエータ3Iを駆動して水平MEMSミラー3Eを偏向させ、制御部5からの垂直同期信号に応じてアクチュエータ3Iを駆動して垂直MEMSミラー3Fを偏向させる。
光検出器4は、赤外線レーザユニット3から出射されて指などの操作物により反射されたレーザ光を検出するためのものであり、2面コーナーリフレクタアレイ基板1の液晶表示部2が配される主面F2側(図1B)の空間に配置される。
光検出器4の筐体内部の構成の概略斜視図を図3に示す。図3に示すように、光検出器4の筐体内部には、反射レーザ光の照射を検出する受光素子4Aと、筐体の窓部から入射した反射レーザ光を集光して受光素子4Aに導く集光レンズ4Bと、受光素子4Aと集光レンズ4Bの間に配置されて受光素子4Aの一部を覆う高さを有した板状のマスキング部材4Cを備えている。
なお、受光素子4Aは、図2に示すように、制御部5に接続されており、受光素子4Aによる検出信号が制御部5に送られる。
マスキング部材4Cは、受光素子4Aの幅方向と同方向に幅を有する。そして、マスキング部材4Cは、その両端部が中央部より集光レンズ4B側へ近づいた湾曲形状をしており、受光素子4Aへの入射角に応じて反射レーザ光を遮蔽して受光素子4Aに照射されるのを規制する。
受光素子4Aの幅方向の端部からの反射レーザ光は中央部に比べて、集光レンズ4Bにより集光されて受光素子4Aに照射されるスポットの径が大きくなる。従って、マスキング部材により遮蔽されるべきところが、スポット径の拡大により全てが遮蔽されずに受光素子4Aで受光されて誤検出の懸念がある。そこで、マスキング部材4Cを湾曲形状とすることで、スポット径の大きい端部の反射レーザ光をスポット径が小さいうちに遮蔽できる。
このようなマスキング部材4Cの寸法の調整により、光検出器4の検出範囲の調整が可能である。光検出器4の検出範囲の設定例を図4に示す。図4の破線が光検出器4の検出範囲の限界(端部)を表す。図4に示すように、光検出器4の検出範囲の一端が光学像Sの近傍で光学像Sに対して平行となるよう設定され、この一端が操作物(図4では指)により光学像Sをタッチされた位置を検出するためのタッチ平面Tとなる。なお、タッチ平面Tは、光学像Sと一致するようにしてもよい。
そして、操作物の光学像Sへの進入方向から見てタッチ平面Tの奥側に光検出器4の検出範囲が設けられる。
垂直同期信号及び水平同期信号の一例を図5に示す。図5の例では、垂直同期信号は階段状の信号としており、水平同期信号は垂直同期信号の1ステップごとに増加・減少する三角波の信号としている。このような同期信号によって水平MEMSミラー3E及び垂直MEMSミラー3Fが偏向されることにより、赤外線レーザユニット3から出射されるレーザ光は水平走査方向(図4)を往復されつつ垂直走査方向(図4)に光学像S上を走査される。
垂直走査方向を上から下に向かって走査する場合、図4の例では、まず指先でレーザ光が反射されて光検出器4により検出され、走査が進むにつれて順次指の底面でレーザ光が反射されて光検出器4により検出され、最後はタッチ平面T近傍における指の底面でレーザ光が反射されて光検出器4により検出される。このとき、図5に示すように、同期信号の時系列に沿って光検出器4の受光レベルの一群が現れる。制御部5(図2)は、この一群のうち最後に検出された受光レベルに対応する垂直及び水平同期信号の値(即ちMEMSミラーの位置)に基づき、タッチ平面Tにおけるレーザ光の照射位置座標を、操作物によって光学像Sがタッチされた位置を示すタッチ座標として検出する。タッチ座標は、垂直座標及び水平座標からなる2次元座標である。
なお、垂直走査方向を下から上へ向かって走査する場合は、受光レベルの一群のうち最初に検出されたタイミングに基づきタッチ座標を検出すればよい。
また、制御部5は、上記一群のうち最後を除いた受光レベルの検出回数、即ち指で反射されたレーザ光の数である走査線数を計数し、計数された走査線数に基づいて奥行き位置を検出する(なお、一群における全ての検出回数を用いてもよい)。例えば、走査線数に対応して奥行きの層レベルを規定したテーブルを予め用意し、このテーブルに基づき奥行きの層レベルを検出すればよい。例えば、走査線数が0〜5本であれば、タッチ平面Tを含む層レベル0、走査線数が6〜10本であれば、層レベル0より奥側の層レベル1、走査線数が11〜15本であれば、層レベル1より奥側の層レベル2などと規定できる。
このように本実施形態によれば、1つの光検出器4を用いて、タッチ座標の検出と、多段階の奥行き検出が可能となるので、部品点数が削減されてコストダウンを実現できる。
ここで、赤外線レーザユニット3によってレーザ光の垂直方向の走査を等速で行う場合、図6に示すように、赤外線レーザユニット3とタッチ平面Tの距離が短くなるタッチ平面Tの下側(垂直走査方向の下側)になる程、走査線は密となる。そのため、一定の走査線数で奥行きを規定すると、図6の一点鎖線に示すように奥行きをタッチ平面Tに平行な位置に設定できない。即ち、操作物を同じ奥行きで進入させているのに、光学像Sの垂直方向の位置によって奥行きの検出結果が変わるので、ユーザが違和感を感じる可能性がある。
そこで、図8に示す処理による奥行き検出を行ってもよい。図8のステップS1で、制御部5がタッチ座標及び走査線数を検出した場合(ステップS1のY)、ステップS2に進む。ステップS2で、制御部5は、検出されたタッチ座標のうちの垂直座標、及び計数された走査線数に基づき、予め制御部5に格納された奥行き変換テーブルから奥行きの層レベルを取得する。
奥行き変換テーブルの一例を図9に示す。図9に示すように、垂直座標ごとに走査線数と層レベルの対応関係が規定されている。図9において、垂直座標の値が大きいほど、図6においてタッチ平面Tの下側に位置することを示す。そして、垂直座標の値が大きくなる程、同じ層レベルでも走査線数が大きくなるように規定している。これにより、図7において一点鎖線で示すように、奥行きをタッチ平面Tに対して平行に設定することができる。従って、同じ奥行きで操作物を進入させた場合に垂直方向位置に依らず、同じ奥行き検出結果となるので、ユーザの違和感を抑制できる。
ステップS2の後、ステップS3で、制御部5は、検出されたタッチ座標、及び取得された奥行きの層レベルを出力する。そして、図8の処理は終了する。
なお、上記では垂直座標のみ参照したが、水平座標のみ、または垂直座標と水平座標の両方を参照するようにしてもよい。
次に、以上説明したタッチ座標検出及び奥行き検出を用いたアプリケーションの一例を図10〜図12を参照して説明する。ここで説明するアプリケーションは、操作物の押し込みによるドラッグモードである。
図11に示すフローチャートが開始され、まずステップS11で、指などの操作物がタッチ平面Tにタッチされ(図10の(A)の状態)、制御部5がタッチ座標を検出すると(ステップS11のY)、ステップS12へ進む。
ステップS12で、制御部5が奥行きの層レベルを検出し、検出された層レベルが所定の層レベル以上であると判定し、操作物の押し込みを検出した場合(ステップS12のY)、ステップS13へ進む(図10の(B)の状態)。ステップS13で、制御部5は、ドラッグモードへ移行する。
一方、ステップS12で、制御部5が、検出された層レベルが所定の層レベルに達しないと判定し、操作物が押し込まれていないことを検出した場合(ステップS12のN)、ステップS14へ進む。ステップS14で、制御部5は、タップ操作がなされたとして処理を行う。例えば、図10の(A)のようにアイコンIを指でタッチした状態で指を停止させた場合、タップ操作としての動作が行われる。
ドラッグモードへ移行すると、図12のフローチャートが開始される。ステップS15で、制御部5がタッチ座標を検出すると(ステップS15のY)、ステップS16へ進む。ステップS16では、ステップS15でタッチ座標と共に検出された層レベルが所定の層レベル以上であると判定した場合(ステップS16のY)、ステップS17へ進む。ステップS17で、制御部5は、ステップS15で検出されたタッチ座標の位置にアイコンを移動させるよう液晶表示部2を表示制御する。移動させるアイコンは、ステップS11(図11)で検出されたタッチ座標を含むアイコンである。ステップS17の後、ステップS15へ戻る。
図10の(B)のように指をアイコンIに押し込んでドラッグモードへ移行した場合、このようなステップS15〜S17の繰り返しにより、指を押し込んだまま移動させるとアイコンIが追従して移動し、図10の(C)のような状態となる。
そして、ステップS15で、制御部5がタッチ座標を検出できない場合(ステップS15のN)、またはステップS15でタッチ座標を検出できたが、ステップS16で所定の層レベルに達していない場合(ステップS16のN)、ステップS18へ進む。ステップS18で、制御部5は、アイコンを固定するよう液晶表示部2を表示制御する。
これにより、図10の(C)のようにアイコンIをドラッグにより移動させた状態で、図10の(D)のように指をアイコンIから引抜くと、ステップS18によりアイコンIが固定される(アイコンのドロップ)。
このように本実施形態によるタッチ座標の検出、及び奥行きの検出によって、アイコンを光学像S上でドラッグできるユーザインタフェースを実現できる。従って、ユーザにとって、より感覚的にアイコンを操作できる。
また次に、アプリケーションの一例として、操作物による引き出し動作を説明する。この実施形態では、図13に示すように、光検出器4の検出範囲(図13の破線)よりも操作物の光学像Sへの進入方向から見て手前側に設定される検出範囲(図13の一点鎖線)を有した光検出器15を別途設ける。光検出器15は、光検出器4と同様に、受光素子15A、集光レンズ15B、及びそれらの間に配されるマスキング部材(不図示)を備えている。また、受光素子15Aからの検出信号は、制御部5(図2)に送られる。
このような構成による引き出し動作処理について、図14及び図15を参照して説明する。図15のフローチャートが開始され、まずステップS21で、制御部5がタッチ座標を2つ検出すると(ステップS21のY)、ステップS22へ進む。例えば図14の(A)のように、2本の指を光学像Sにタッチすると、タッチ座標が2つ検出される。
ステップS22で、制御部5が、検出された2つのタッチ座標間の距離が所定距離以内であると判定すると(ステップS22のY)、ステップS23へ進む。例えば図14の(A)の後、(B)のように2本の指を近付けると、2つのタッチ座標間の距離が所定距離以内となる。
そして、ステップS23で、制御部5は、タッチ座標の検出を継続し、光検出器4によって操作物による反射レーザ光が検出されなくなったと判定すると(ステップS23のY)、ステップS24へ進む。
ステップS24で、制御部5が、2つの操作物の先端で反射された各レーザ光が光検出器15により検出されたタイミングに応じた垂直及び水平同期信号の値に基づき、各レーザ光のタッチ平面T上の位置座標を検出する。検出された各位置座標間の距離が所定距離以内であれば(ステップS24のY)、ステップS25へ進む。ステップS25で、制御部5は、引き出し動作が行われたと判定する。
例えば図14の(B)の後、(C)のように2本の指を近付けたまま手前側に引き出すと、ステップS23、S24の処理の後、ステップS25で引き出し動作が行われたと判定される。
ステップS25では、制御部5は、操作物の先端で反射されたレーザ光が光検出器15により検出されたタイミングに応じた垂直及び水平同期信号の値に基づき、レーザ光のタッチ平面T上の位置座標を検出する。そして、この検出された位置座標と、ステップS23にてタッチ座標の検出を継続したときの最後に検出されたタッチ座標に基づき、操作物の引き出し量を算出する。
制御部5は、例えば引き出し量に応じて、光学像Sにおける画像の拡大・縮小を行うよう液晶表示部2を表示制御する。
このように本実施形態によれば、2つの操作物により引き出す動作によって操作を行えるユーザインタフェースを実現でき、ユーザにとって、より感覚的な操作感を与えることができる。
以上、本発明の実施形態について説明したが、本発明の趣旨の範囲内であれば、実施形態は種々変形が可能である。
例えば、2次元的に走査する光ビームは赤外線に限らず、可視光としてもよい。これによれば、指などの操作物で可視光が反射するとユーザには色が見えるので、光ビームの走査範囲に操作物が確実に位置していることをユーザに知らせることができる。
1 2面コーナーリフレクタアレイ基板
2 液晶表示部
3 赤外線レーザユニット
3A 赤外レーザダイオード
3B コリメータレンズ
3C ビームスプリッタ
3D 光検出器
3E 水平MEMSミラー
3F 垂直MEMSミラー
3G レーザ制御回路
3H ミラーサーボ部
3I アクチュエータ
4 光検出器
4A 受光素子
4B 集光レンズ
4C マスキング部材
5 制御部
10 画像表示装置
15 光検出器
15A 受光素子
15B 集光レンズ
S 光学像
T タッチ平面
I アイコン

Claims (7)

  1. 所定の光ビームを空間上に投影される画像に向けて出射して2次元的に走査する光ビーム走査部と、
    検出範囲の一端が前記画像に平行または一致するよう設定され、且つ操作物の前記画像への進入方向から見て前記検出範囲の一端の奥側に前記検出範囲が設けられる光検出部と、
    前記光ビーム走査部によって走査されて前記操作物で反射され前記光検出部により検出された前記光ビームの数である走査線数を計数し、計数された前記走査線数に基づいて奥行き位置を検出する奥行き検出部と、
    を備えた空間入力装置。
  2. 前記光ビーム走査部による走査において、最後または最初に前記光ビームが前記操作物で反射されて前記光検出部により検出されるタイミングに基づき、前記検出範囲の一端における前記光ビームの照射位置座標をタッチ座標として検出するタッチ座標検出部を更に備えることを特徴とする請求項1に記載の空間入力装置。
  3. 前記タッチ座標に応じて、前記走査線数と前記奥行き位置との対応関係が変化することを特徴とする請求項2に記載の空間入力装置。
  4. 前記タッチ座標が検出された後、検出された前記奥行き位置が所定の奥行き位置より奥であるか否かに応じて処理を切替える処理部を更に備えることを特徴とする請求項2または請求項3に記載の空間入力装置。
  5. 検出された前記奥行き位置が前記所定の奥行き位置より奥であるとき、前記処理部は、検出された前記タッチ座標に所定の画像を移動させることを特徴とする請求項4に記載の空間入力装置。
  6. 複数の前記タッチ座標を検出後、前記光検出部により検出されなくなると、引き出し動作がされたと判定する判定部を更に備えることを特徴とする請求項2〜請求項5のいずれか1項に記載の空間入力装置。
  7. 前記光検出部の検出範囲よりも前記操作物の前記画像への進入方向から見て手前側に設定される検出範囲を有した第2の光検出部と、
    前記引き出し動作がされたと判定されたとき、前記第2の光検出部による検出結果に基づいて引き出し量を算出する算出部と、を更に備えることを特徴とする請求項6に記載の空間入力装置。
JP2013080206A 2013-04-08 2013-04-08 空間入力装置 Ceased JP2014203323A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2013080206A JP2014203323A (ja) 2013-04-08 2013-04-08 空間入力装置
US14/224,457 US9292133B2 (en) 2013-04-08 2014-03-25 Spatial input device
EP16160498.8A EP3062140B1 (en) 2013-04-08 2014-03-28 Spatial input device
EP14162175.5A EP2790049B1 (en) 2013-04-08 2014-03-28 Spatial input device
US15/044,604 US9423914B2 (en) 2013-04-08 2016-02-16 Spatial input device
US15/225,064 US9652085B2 (en) 2013-04-08 2016-08-01 Spatial input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013080206A JP2014203323A (ja) 2013-04-08 2013-04-08 空間入力装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017050234A Division JP6390736B2 (ja) 2017-03-15 2017-03-15 空間入力装置

Publications (1)

Publication Number Publication Date
JP2014203323A true JP2014203323A (ja) 2014-10-27

Family

ID=50486760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013080206A Ceased JP2014203323A (ja) 2013-04-08 2013-04-08 空間入力装置

Country Status (3)

Country Link
US (3) US9292133B2 (ja)
EP (2) EP3062140B1 (ja)
JP (1) JP2014203323A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084003A (ja) * 2015-10-26 2017-05-18 船井電機株式会社 入力装置
WO2023136106A1 (ja) * 2022-01-13 2023-07-20 凸版印刷株式会社 空中表示装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060296A (ja) 2013-09-17 2015-03-30 船井電機株式会社 空間座標特定装置
JP2016021227A (ja) * 2014-06-20 2016-02-04 船井電機株式会社 検出装置及び入力装置
US10372268B2 (en) * 2015-07-21 2019-08-06 Sony Corporation Spatial image display apparatus and spatial image display method
JP2017073128A (ja) * 2015-10-08 2017-04-13 船井電機株式会社 空間入力装置
US20170102829A1 (en) * 2015-10-08 2017-04-13 Funai Electric Co., Ltd. Input device
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1062717A (ja) * 1996-08-20 1998-03-06 Nippon Sheet Glass Co Ltd 画像浮上表示装置
JP2004500657A (ja) * 2000-02-11 2004-01-08 カネスタ インコーポレイテッド 仮想入力装置を用いたデータ入力方法および装置
JP2009123006A (ja) * 2007-11-15 2009-06-04 Funai Electric Co Ltd プロジェクタ
WO2010035326A1 (ja) * 2008-09-26 2010-04-01 パイオニア株式会社 画像表示装置及び画像表示システム
JP2010244484A (ja) * 2009-04-10 2010-10-28 Funai Electric Co Ltd 画像表示装置、画像表示方法および画像表示プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
KR100734894B1 (ko) 2000-09-07 2007-07-03 카네스타, 인코포레이티드 사용자 오브젝트와 가상 입력 장치의 상호작용을 탐색하고 배치하는 준 3차원 방법 및 장치
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
JP2005141102A (ja) 2003-11-07 2005-06-02 Pioneer Electronic Corp 立体的二次元画像表示装置及び方法
US8053614B2 (en) 2005-12-12 2011-11-08 Neste Oil Oyj Base oil
US20100225564A1 (en) 2006-02-21 2010-09-09 Pioneer Corporation Image display device
US8607167B2 (en) * 2007-01-07 2013-12-10 Apple Inc. Portable multifunction device, method, and graphical user interface for providing maps and directions
US8446339B2 (en) * 2007-03-30 2013-05-21 Pioneer Corporation Image display device
CN101641964B (zh) * 2007-03-30 2012-01-18 独立行政法人情报通信研究机构 空中影像互动装置
JP5071308B2 (ja) 2008-08-29 2012-11-14 ソニー株式会社 入出力装置
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US20110187678A1 (en) * 2010-01-29 2011-08-04 Tyco Electronics Corporation Touch system using optical components to image multiple fields of view on an image sensor
WO2011108139A1 (ja) * 2010-03-03 2011-09-09 シャープ株式会社 テレビ会議システム
US8508347B2 (en) * 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
US20120032875A1 (en) 2010-08-05 2012-02-09 Microvision, Inc. Scanned Image Projection System Employing Beam Folding Apparatus
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1062717A (ja) * 1996-08-20 1998-03-06 Nippon Sheet Glass Co Ltd 画像浮上表示装置
JP2004500657A (ja) * 2000-02-11 2004-01-08 カネスタ インコーポレイテッド 仮想入力装置を用いたデータ入力方法および装置
JP2009123006A (ja) * 2007-11-15 2009-06-04 Funai Electric Co Ltd プロジェクタ
WO2010035326A1 (ja) * 2008-09-26 2010-04-01 パイオニア株式会社 画像表示装置及び画像表示システム
JP2010244484A (ja) * 2009-04-10 2010-10-28 Funai Electric Co Ltd 画像表示装置、画像表示方法および画像表示プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084003A (ja) * 2015-10-26 2017-05-18 船井電機株式会社 入力装置
WO2023136106A1 (ja) * 2022-01-13 2023-07-20 凸版印刷株式会社 空中表示装置

Also Published As

Publication number Publication date
US9423914B2 (en) 2016-08-23
US20160162120A1 (en) 2016-06-09
US20160342283A1 (en) 2016-11-24
EP3062140B1 (en) 2018-01-17
EP2790049A1 (en) 2014-10-15
US9292133B2 (en) 2016-03-22
US20140300584A1 (en) 2014-10-09
EP3062140A1 (en) 2016-08-31
EP2790049B1 (en) 2016-03-23
US9652085B2 (en) 2017-05-16

Similar Documents

Publication Publication Date Title
JP2014203323A (ja) 空間入力装置
CN109564495B (zh) 显示装置、存储介质、显示方法及控制装置
EP2458484B1 (en) An improved input device and associated method
US8902435B2 (en) Position detection apparatus and image display apparatus
KR20080044017A (ko) 터치 스크린
JP2013065061A (ja) プロジェクタ
JP6721875B2 (ja) 非接触入力装置
JP6102330B2 (ja) プロジェクタ
JP2014202951A (ja) 画像投影装置、及び操作物検出方法
JP6390736B2 (ja) 空間入力装置
EP2889748A1 (en) Touch-sensitive display device with palm input rejection
JP2008204047A (ja) 表示検出装置および光検出装置
US9007346B2 (en) Handwriting system and sensing method thereof
JP2015038777A (ja) 位置検出システム、表示システム及び情報処理システム
JP2016021229A (ja) 入力装置
TW201327324A (zh) 光學式觸控模組
JP2015060295A (ja) 入力装置
CN102854509A (zh) 光学式位置检测装置、受光单元及带输入功能的显示系统
JP2012150635A (ja) 位置検出システム、表示システム及び情報処理システム
JP2015125765A (ja) 画像表示装置
TW201327325A (zh) 光學式觸控模組
TWI690839B (zh) 資訊電器與操作資訊電器的方法
JP2012173098A (ja) 指示位置検出装置
JP2011122871A (ja) 光学式位置検出装置及び投射型表示装置
JP2016207155A (ja) 座標入力装置及びその制御方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20150323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20170627