JP2017084003A - 入力装置 - Google Patents

入力装置 Download PDF

Info

Publication number
JP2017084003A
JP2017084003A JP2015209919A JP2015209919A JP2017084003A JP 2017084003 A JP2017084003 A JP 2017084003A JP 2015209919 A JP2015209919 A JP 2015209919A JP 2015209919 A JP2015209919 A JP 2015209919A JP 2017084003 A JP2017084003 A JP 2017084003A
Authority
JP
Japan
Prior art keywords
input device
operation screen
image
pointing object
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015209919A
Other languages
English (en)
Other versions
JP6536350B2 (ja
Inventor
謙 西岡
Ken Nishioka
謙 西岡
敏樹 羽鳥
Toshiki Hatori
敏樹 羽鳥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to JP2015209919A priority Critical patent/JP6536350B2/ja
Priority to US15/332,324 priority patent/US10782789B2/en
Priority to EP16195307.0A priority patent/EP3163409B1/en
Priority to CN201610947483.5A priority patent/CN107025003B/zh
Publication of JP2017084003A publication Critical patent/JP2017084003A/ja
Application granted granted Critical
Publication of JP6536350B2 publication Critical patent/JP6536350B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G06F3/0423—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Abstract

【課題】操作性を高めることができる入力装置を提供する。【解決手段】入力装置２は、アイコン５２を含む画像１４を表示する表示パネル４と、空間１８に結像された画像１４の虚像である空間画像１６の少なくとも一部を含む仮想面２０上の第１の操作画面２２上を指示物体４８がスライドする第１の動作、及び、指示物体４８が第１の操作画面２２とは異なる仮想面２０上の第２の操作画面２４を押し込む第２の動作を検出する検出部４９と、第１の動作が検出された際には、アイコン５２を選択する操作である第１の操作を実行し、第２の動作が検出された際には、選択されたアイコン５２を実行する操作である第２の操作を実行する表示制御部５１と、を備える。【選択図】図１

Description

本発明は、ＶＵＩ（Ｖｉｒｔｕａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として用いられる入力装置に関する。
例えば機器等を動作させるためのＶＵＩとして用いられる入力装置が知られている。このような入力装置の一つとして、空間に配置された仮想面上に空間画像（虚像）を結像させるとともに、この空間画像に対する指示物体（例えばユーザの手）の動作を検出する入力装置が存在する（例えば特許文献１参照）。
従来の入力装置では、例えば指示物体が空間画像上をスライドすることにより、空間画像に表示されたカーソルを指示物体の動きに追従して移動させる操作が実行される。指示物体が空間画像に表示されたアイコン上で移動を停止した際には、カーソルがこのアイコンに重畳される。
カーソルがアイコンに重畳された状態から、指示物体がアイコンを奥行き方向（仮想面を通過する方向）に押し込むように動作することにより、このアイコンを選択する操作が実行される。このとき、指示物体の空間座標の奥行き方向における変化量が検出され、検出された変化量に基づいてアイコンを選択する操作が実行される。
国際公開第２００８／１２３５００号
上述した従来の入力装置では、指示物体が空間画像上をスライドしている際に、例えばユーザの手が震えることにより指示物体が奥行き方向に動いてしまうことがある。この場合、ユーザの意図していないアイコンを選択する操作が実行されてしまうため、操作性が必ずしも高いとは言えない。
本発明は、上述した課題を解決しようとするものであり、その目的は、操作性を高めることができる入力装置を提供することである。
上記目的を達成するために、本発明の一態様に係る入力装置は、コンテンツを含む画像を表示する表示部と、空間に結像された前記画像の虚像である空間画像の少なくとも一部を含む仮想面上の第１の操作画面上を指示物体がスライドする第１の動作、及び、前記指示物体が前記第１の操作画面とは異なる前記仮想面上の第２の操作画面を押し込む第２の動作を検出する検出部と、前記第１の動作が検出された際には、前記コンテンツを選択する操作である第１の操作を実行し、前記第２の動作が検出された際には、選択された前記コンテンツを実行する操作である第２の操作を実行する制御部と、を備える。
本態様によれば、仮想面上の第１の操作画面と第２の操作画面とでは、検出される指示物体の動作が異なる。これにより、例えば指示物体が第１の操作画面上をスライドしている際に、指示物体が不意に奥行き方向（仮想面を通過する方向）に動いた場合であっても、ユーザの意図していない操作が実行されてしまうことがない。したがって、入力装置の操作性を高めることができる。
例えば、本発明の一態様に係る入力装置において、前記第２の操作画面は、前記第１の操作画面の全外周に亘って配置されているように構成してもよい。
本態様によれば、第２の操作画面は第１の操作画面の全外周に亘って配置されているので、第２の操作画面の面積を大きく確保することができる。これにより、第２の操作画面における第２の動作を容易に検出することができる。
例えば、本発明の一態様に係る入力装置において、前記第１の操作画面は前記空間画像の全体を含み、前記第２の操作画面は前記空間画像の外側に配置されているように構成してもよい。
本態様によれば、第２の操作画面は空間画像の外側に配置されているので、ユーザは、第２の動作を行う際に、空間画像の外側を狙って指示物体を押し込めばよい。
例えば、本発明の一態様に係る入力装置において、前記空間画像は、前記第１の操作画面に含まれ、前記コンテンツが表示される第１の画像領域と、前記第２の操作画面に含まれ、前記コンテンツが表示されない第２の画像領域と、を有するように構成してもよい。
本態様によれば、空間画像は第１の画像領域及び第２の画像領域を有するので、ユーザは、第２の動作を行う際に、空間画像のうちコンテンツが表示されない第２の画像領域を狙って指示物体を押し込めばよい。
例えば、本発明の一態様に係る入力装置において、前記検出部は、さらに、前記指示物体が前記第１の操作画面から離間する方向に移動する第３の動作を検出し、前記制御部は、前記第３の動作が検出された際には、前記コンテンツの選択を確定する操作である第３の操作を実行するように構成してもよい。
本態様によれば、指示物体が第１の操作画面から離間する方向に移動した際に、コンテンツの選択が確定されるので、その後、ユーザは、指示物体を用いて第１の操作画面及び第２の操作画面のうちいずれで操作するのかを選択することができる。
例えば、本発明の一態様に係る入力装置において、前記検出部は、さらに、前記指示物体が前記第１の操作画面と前記第２の操作画面とに跨った状態で所定方向に移動する第４の動作を検出し、前記制御部は、前記第４の動作が検出された際には、前記空間画像に関連付けられた第４の操作を実行するように構成してもよい。
本態様によれば、第４の動作は、指示物体が第１の操作画面と第２の操作画面とに跨った状態で所定方向に移動する動作である。これに対して、第１の動作は、指示物体が第１の操作画面上をスライドする動作であり、第２の動作は、指示物体が第２の操作画面を押し込む動作である。このように、第１の動作、第２の動作及び第４の動作がそれぞれ検出される領域が互いに異なるので、第４の動作が行われた際に、誤って第１の動作又は第２の動作が検出されてしまうのを抑制することができる。
例えば、本発明の一態様に係る入力装置において、前記制御部は、前記第４の動作が検出された際には、前記第４の操作として前記空間画像に表示された前記コンテンツのページを送るように構成してもよい。
本態様によれば、第４の動作を行うことにより、空間画像に表示されたコンテンツのページを送る操作を容易に実行することができる。
例えば、本発明の一態様に係る入力装置において、前記制御部は、前記指示物体の移動方向に応じて前記コンテンツのページの送り量を異ならせるように構成してもよい。
本態様によれば、指示物体の移動方向に応じてコンテンツのページの送り量が異なるので、コンテンツのページを送る際の利便性を高めることができる。
例えば、本発明の一態様に係る入力装置において、前記指示物体はユーザの手であり、前記検出部は、さらに、前記仮想面上に配置された前記ユーザの手の大きさを検出し、前記制御部は、検出された前記ユーザの手の大きさに基づいて前記第２の操作画面の幅を調整するように構成してもよい。
本態様によれば、ユーザの手の大きさに応じて第２の操作画面の幅を調整することができる。これにより、入力装置の誤操作を抑制することができる。
例えば、本発明の一態様に係る入力装置において、前記制御部は、前記第１の動作が検出された際には、前記第１の操作として前記空間画像上のカーソルを前記指示物体の動きに追従して移動させ、前記第２の動作が検出された際には、前記第２の操作として前記カーソルが重畳された前記空間画像上の前記コンテンツを実行するように構成してもよい。
本態様によれば、比較的簡単な動作で、カーソルの移動及びオブジェクトの選択を行うことができる。
なお、本発明は、このような特徴的な処理部を備える入力装置として実現することができるだけでなく、入力装置に含まれる特徴的な処理部が実行する処理をステップとする入力方法として実現することができる。また、入力装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは入力方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読み取り可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
本発明の一態様に係る入力装置によれば、操作性を高めることができる。
実施の形態１〜４に係る入力装置の構成を示す斜視図である。 実施の形態１〜４に係る入力装置の機能構成を示すブロック図である。 実施の形態１に係る入力装置の動作の流れを示すフローチャートである。 実施の形態１に係る入力装置の動作の流れを示す図である。 実施の形態２に係る入力装置における第３の動作を説明するための図である。 実施の形態２に係る入力装置の動作の流れを示すフローチャートである。 実施の形態２に係る入力装置の動作の流れを示す図である。 実施の形態３に係る入力装置におけるキャリブレーションモードを説明するための図である。 実施の形態３に係る入力装置の動作の流れを示すフローチャートである。 実施の形態４に係る入力装置における空間画像を示す図である。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
［１−１．入力装置の全体構成］
まず、図１及び図２を参照しながら、実施の形態１に係る入力装置２の全体構成について説明する。図１は、実施の形態１に係る入力装置２の構成を示す斜視図である。図２は、実施の形態１に係る入力装置２の機能構成を示すブロック図である。
図１及び図２に示すように、実施の形態１に係る入力装置２は、表示パネル４（表示部の一例）、反射板６、光源ユニット８、受光部１０及びコントローラ１２を備えている。この入力装置２は、例えば機器等を動作させるためのＶＵＩとして用いられる装置である。
図１に示すように、表示パネル４は、画像１４を表示するための矩形状のパネルであり、例えば液晶表示パネル等で構成されている。表示パネル４は、反射板６に対して略垂直な姿勢で配置されている。
図１に示すように、反射板６は、表示パネル４に表示された画像１４を空間画像１６として空中に浮かび上がらせるための光学素子であり、例えば反射素子集合基板（いわゆる２面コーナリフレクタアレイ）、レンズアレイ又は凹面鏡等で構成されている。具体的には、反射板６は、表示パネル４に表示された画像１４を反射することにより、空間１８に配置された仮想面２０上に画像１４の虚像である空間画像１６を結像させる。このように空中に浮かび上がった空間画像１６は、ユーザに対して表示されるようになる。
なお、仮想面２０は、反射板６に対して表示パネル４と反対側の空間１８に仮想的に配置された平面（Ｘ−Ｙ平面）である。また、空間画像１６は、表示パネル４に表示された画像１４の奥行きが反転した画像であり、反射板６に対して表示パネル４と略対称な位置に結像される。
図１に示すように、仮想面２０上には、第１の操作画面２２及び第２の操作画面２４が規定されている。第１の操作画面２２は、空間画像１６を表示し且つユーザによる第１の動作（後述する）を検出するための矩形状の領域であり、空間画像１６の全体を含むように配置されている。図１に示す例では、第１の操作画面２２と第２の操作画面２４との境界は、空間画像１６の輪郭と一致している。第２の操作画面２４は、ユーザによる第２の動作（後述する）を検出するための矩形状の枠状の領域であり、第１の操作画面２２の全外周に亘って（すなわち、空間画像１６の外側に）配置されている。なお、第２の操作画面２４の幅Ｄ（すなわち、第２の操作画面２４の内周と外周との間の大きさ）は、ユーザの手の指一本分の太さよりも大きく、且つ、ユーザの手全体の大きさよりも小さく設定されている。
図１に示すように、光源ユニット８は、仮想面２０上の第１の操作画面２２及び第２の操作画面２４の全体に対して検出光２６（例えば赤外線レーザ光）をラスタ走査するためのユニットである。図２に示すように、光源ユニット８は、赤外線レーザ素子２８、コリメートレンズ３０、ビームスプリッタ３２、受光素子３４、レーザドライバ３６、走査ミラー３８、アクチュエータ４０及び走査ドライバ４２を有している。
赤外線レーザ素子２８は、検出光２６としての赤外線レーザ光を出射する。コリメートレンズ３０は、赤外線レーザ素子２８からの検出光２６を発散光から平行光に変換する。ビームスプリッタ３２は、コリメートレンズ３０からの検出光２６の一部を透過させ、且つ、コリメートレンズ３０からの検出光２６の他の一部を反射させる。
受光素子３４は、ビームスプリッタ３２で反射した検出光２６を受光し、受光した検出光２６の強度を示す受光信号を生成する。レーザドライバ３６は、コントローラ１２の制御下で、赤外線レーザ素子２８を駆動する。具体的には、レーザドライバ３６は、受光素子３４で生成された受光信号に基づいて、赤外線レーザ素子２８からの検出光２６の強度が所定の強度となるように赤外線レーザ素子２８を駆動する。
走査ミラー３８は、例えばＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）ミラーであり、ビームスプリッタ３２を透過した検出光２６を反射する。アクチュエータ４０は、走査ミラー３８をＸ軸方向及びＹ軸方向（図１参照）に揺動させる。走査ドライバ４２は、コントローラ１２の制御下で、アクチュエータ４０を駆動する。具体的には、走査ドライバ４２は、走査ミラー３８の揺動周波数及び揺動振幅がそれぞれ所定の揺動周波数及び所定の揺動振幅となるようにアクチュエータ４０を駆動する。図１に示すように、走査ミラー３８が揺動することにより、走査ミラー３８で反射した検出光２６は、第１の操作画面２２及び第２の操作画面２４の全体に対してラスタ走査するようになる。なお、このラスタ走査は、例えば検出光２６が仮想面２０に対してＸ軸方向に走査する主走査と、検出光２６が仮想面２０に対してＹ軸方向に走査する副走査とで構成される。
受光部１０は、集光レンズ４４及び光電変換素子４６を有している。集光レンズ４４は、ラスタ走査された検出光２６が指示物体４８（図１参照）で反射した反射光５０を光電変換素子４６に集光する。光電変換素子４６は、集光レンズ４４からの反射光５０を光信号から電気信号に変換する。光電変換素子４６からの電気信号は、コントローラ１２に出力される。なお、実施の形態１では、指示物体４８は、ユーザの手（人差し指）であるが、これに限定されず、例えばユーザが手で持ちながら動かすペン等であってもよい。
コントローラ１２は、表示パネル４、レーザドライバ３６及び走査ドライバ４２等を制御するためのものであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等から構成されたコンピュータシステムである。コントローラ１２の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記憶されたプログラムを実行することにより実現される。なお、コントローラ１２の一部又は全部の機能は、専用のハードウェア回路により実現されてもよい。
コントローラ１２は、検出部４９及び表示制御部５１（制御部の一例）を有している。検出部４９は、赤外線レーザ素子２８から検出光２６が出射したタイミング及び受光部１０で反射光５０を受光したタイミングに基づいて、第１の操作画面２２における指示物体４８の位置情報（例えばＸ−Ｙ平面座標値）を算出し、この算出した位置情報に基づいてユーザによる第１の動作を検出する。第１の動作は、指示物体４８が仮想面２０上の第１の操作画面２２に接触又は挿入した状態で第１の操作画面２２上をスライドする動作である。
さらに、検出部４９は、赤外線レーザ素子２８から検出光２６が出射したタイミング及び受光部１０で反射光５０を受光したタイミングに基づいて、第２の操作画面２４における指示物体４８の位置情報（例えばＸ−Ｙ平面座標値）を算出し、この算出した位置情報に基づいてユーザによる第２の動作を検出する。第２の動作は、指示物体４８が仮想面２０上の第２の操作画面２４を奥行き方向（すなわち、仮想面２０を通過する方向）に押し込む動作である。なお、本明細書において、「押し込む」には、指示物体４８が第２の操作画面２４を奥行き方向に通過するだけでなく、指示物体４８が第２の操作画面２４に接触することも含まられる。
さらに、検出部４９は、赤外線レーザ素子２８から検出光２６が出射したタイミング及び受光部１０で反射光５０を受光したタイミングに基づいて、第２の操作画面２４における指示物体４８の位置情報（例えばＸ−Ｙ平面座標値）を算出し、この算出した位置情報に基づいてユーザによる第３の動作を検出する。第３の動作は、指示物体４８が仮想面２０上の第１の操作画面２２から離間する方向（すなわち、Ｚ軸のマイナス方向）に移動する動作である。
表示制御部５１は、検出部４９による検出結果に基づいて、表示パネル４に表示される画像１４の表示内容（すなわち、空間画像１６の表示内容）を制御する。具体的には、検出部４９が第１の動作を検出した際には、表示制御部５１は、空間画像１６に関連付けられた第１の操作を実行する。後述する図４の（ｂ）に示すように、第１の操作は、空間画像１６上のカーソル５４を指示物体４８の動きに追従して移動させることにより、空間画像１６上のアイコン５２（コンテンツの一例）を選択する操作である。
また、検出部４９が第２の動作を検出した際には、表示制御部５１は、空間画像１６に関連付けられた第２の操作を実行する。後述する図４の（ｄ）に示すように、第２の操作は、カーソル５４が重畳された（すなわち、選択された）空間画像１６上のアイコン５２を実行する操作である。なお、コンテンツとは、例えばアイコン５２等の空間画像１６上の操作対象である。
また、検出部４９が第３の動作を検出した際には、表示制御部５１は、空間画像１６に関連付けられた第３の操作を実行する。第３の操作は、カーソル５４が重畳された空間画像１６上のアイコン５２の選択を確定する操作である。
［１−２．入力装置の動作］
次に、図３及び図４を参照しながら、実施の形態１に係る入力装置２の動作について説明する。図３は、実施の形態１に係る入力装置２の動作の流れを示すフローチャートである。図４は、実施の形態１に係る入力装置２の動作の流れを示す図である。
図４に示すように、空間画像１６には、例えばアプリケーションを起動するためのアイコン５２及びカーソル５４等を含む画面（例えば機器の操作画面等）が表示されている。この状態から、図４の（ａ）に示すように、ユーザが指示物体４８を仮想面２０上の第１の操作画面２２に対して奥行き方向に挿入することにより、検出部４９が指示物体４８の第１の操作画面２２における位置を検出する。これにより、表示制御部５１は、カーソル５４を第１の操作画面２２上の指示物体４８の位置まで移動させる。
その後、図４の（ｂ）に示すように、ユーザが指示物体４８を第１の操作画面２２に挿入した状態で第１の操作画面２２上を上下左右にスライドさせることにより、検出部４９は第１の操作画面２２で第１の動作を検出する。これにより、表示制御部５１は、第１の操作として、カーソル５４を指示物体４８の動きに追従して上下左右に移動させる。
その後、図４の（ｃ）に示すように、ユーザが指示物体４８の移動をアイコン５２上で停止させることにより、カーソル５４がアイコン５２に重畳され、アイコン５２が選択される。このとき、検出部４９は、第１の操作画面２２で第１の動作を検出する（Ｓ１でＹＥＳ）。これにより、表示制御部５１は、第１の操作として、アイコン５２を選択する（Ｓ２）。
この状態で、ユーザが指示物体４８を第１の操作画面２２から引き抜くことにより、カーソル５４がアイコン５２に重畳された状態に保持される。このとき、検出部４９は、第１の操作画面２２で第３の操作を検出する（Ｓ３でＹＥＳ）。これにより、表示制御部５１は、アイコン５２の選択を確定する（Ｓ４）。
その後、図４の（ｄ）に示すように、ユーザが指示物体４８を仮想面２０上の第２の操作画面２４に対して奥行き方向に押し込むことにより、検出部４９は第２の操作画面２４で第２の動作を検出する（Ｓ５でＹＥＳ）。これにより、表示制御部５１は、カーソル５４の位置を保持した状態で、第２の操作として、カーソル５４が重畳された（すなわち、選択された）アイコン５２を実行する（Ｓ６）。このようにアイコン５２が実行されることにより、アイコン５２に対応するアプリケーションが起動する。
［１−３．効果］
次に、実施の形態１に係る入力装置２により得られる効果について説明する。上述したように、第１の操作画面２２と第２の操作画面２４とで、検出される指示物体４８の動作が異なる。これにより、例えば指示物体４８が第１の操作画面２２上をスライドしている際に、指示物体４８が不意に奥行き方向に動いた場合であっても、ユーザの意図していないアイコンが実行されてしまうことがない。したがって、入力装置２の操作性を高めることができる。
（実施の形態２）
［２−１．入力装置の構成］
次に、図１、図２及び図５を参照しながら、実施の形態２に係る入力装置２Ａの構成について説明する。図５は、実施の形態２に係る入力装置２Ａにおける第３の動作を説明するための図である。なお、以下に示す各実施の形態において、上記実施の形態１と同一の構成要素には同一の符号を付し、その説明を省略する。
図１及び図２に示すように、実施の形態２に係る入力装置２Ａでは、コントローラ１２Ａの検出部４９Ａは、上記実施の形態１で説明した第１の動作及び第２の動作に加えて、第３の動作を検出する。すなわち、検出部４９Ａは、第１の操作画面２２及び第２の操作画面２４における指示物体４８（例えばユーザの手全体）の位置情報を算出し、この算出した位置情報に基づいてユーザによる第４の動作を検出する。図５に示すように、第４の動作は、指示物体４８が仮想面２０上の第１の操作画面２２と第２の操作画面２４とに跨った状態で、上下方向（Ｙ軸のプラス方向又はマイナス方向）、垂直方向（Ｚ軸のプラス方向又はマイナス方向）又は水平方向（Ｘ軸のプラス方向又はマイナス方向）に移動する動作である。
コントローラ１２Ａの表示制御部５１Ａは、上記実施の形態１で説明した第１の操作、第２の操作及び第３の操作に加えて、検出部４９Ａが第４の動作を検出した際には、空間画像１６に関連付けられた第４の操作を実行する。第４の操作は、空間画像１６に表示されたコンテンツのアプリケーションを表すページを送る操作である。
さらに、表示制御部５１Ａは、第４の動作における指示物体４８の移動方向に応じてコンテンツのページの送り量を異ならせる。具体的には、表示制御部５１Ａは、第４の動作における指示物体４８の移動方向が垂直方向である場合には、コンテンツのページを比較的大きい送り量（例えば３ページずつ）で送る、いわゆるページの粗送りを実行する。また、表示制御部５１Ａは、第４の動作における指示物体４８の移動方向が上下方向である場合には、コンテンツのページを比較的小さい送り量（例えば１ページずつ）で送る、いわゆるページの微送りを実行する。なお、表示制御部５１Ａは、第４の動作における指示物体４８の移動方向が水平方向である（すなわち、指示物体４８が水平方向に移動することにより第１の操作画面２２及び第２の操作画面２４から離れる）場合には、ページの粗送り及び微送りのいずれも実行することなく、現在表示されているコンテンツのページを保持する。
［２−２．入力装置の動作］
次に、図６及び図７を参照しながら、実施の形態２に係る入力装置２Ａの動作について説明する。図６は、実施の形態２に係る入力装置２Ａの動作の流れを示すフローチャートである。図７は、実施の形態２に係る入力装置２Ａの動作の流れを示す図である。
図７に示すように、空間画像１６には、例えば５つのページＡ〜Ｅを順次送ることができるコンテンツが表示されている。図７の（ａ）に示すように、空間画像１６にページＡが表示された状態で、ユーザが指示物体４８を仮想面２０上の第１の操作画面２２と第２の操作画面２４とに跨るように配置する。この状態から、ユーザが指示物体４８を所定方向に移動させることにより、検出部４９Ａは第１の操作画面２２及び第２の操作画面２４で第４の動作を検出する（Ｓ１１）。
ここで、第４の動作における指示物体４８の移動方向が垂直方向である場合には（Ｓ１２で垂直方向）、表示制御部５１Ａは、ページの粗送りを実行する（Ｓ１３）。これにより、例えば図７の（ｂ）及び（ｃ）に示すように、空間画像１６に表示されるページがページＡからページＤに３ページ分送られる。なお、このとき、ユーザは、指示物体４８をＺ軸のマイナス方向からプラス方向（又はＺ軸のプラス方向からマイナス方向）に仮想面２０を通過させるように移動させてもよい。
また、第４の動作における指示物体４８の移動方向が上下方向である場合には（Ｓ１２で上下方向）、表示制御部５１Ａは、ページの微送りを実行する（Ｓ１４）。これにより、例えば図７の（ｃ）及び（ｄ）に示すように、空間画像１６に表示されるページがページＤからページＥに１ページ分送られる。
さらに、第４の動作における指示物体４８の移動方向が水平方向である場合には（Ｓ１２で水平方向）、表示制御部５１Ａは、ページの粗送り及び微送りのいずれも実行しない（Ｓ１５）。これにより、例えば図７の（ｄ）及び（ｅ）に示すように、空間画像１６に表示されるページがページＥに保持され、ページＥに対応するアプリケーションが起動される。なお、第４の動作が検出された後に、指示物体４８が第１の操作画面２２を押し込むことにより、ページＥに対応するアプリケーションが起動されるようにしてもよい。
［２−３．効果］
次に、実施の形態２に係る入力装置２Ａにより得られる効果について説明する。上述したように、ユーザは、空間画像１６に表示されるページが所望のページになるまで、指示物体４８を垂直方向又は上下方向に移動させることにより、ページの粗送り又は微送りを行うことができる。その後、ユーザは、空間画像１６に表示されるページが所望のページになった時点で、指示物体４８を水平方向に移動させることにより、空間画像１６に表示されるページを所望のページに保持させることができる。これにより、入力装置２Ａの操作性をより一層高めることができる。
［２−４．変形例］
実施の形態２では、表示制御部５１Ａは、第４の動作における指示物体４８の移動方向に応じてコンテンツのページの送り量を異ならせたが、これとともに、ページを送る順を異ならせてもよい。例えば、表示制御部５１Ａは、第４の動作における指示物体４８の移動方向がＹ軸のプラス方向である場合には、コンテンツのページをページＡ→ページＢ→ページＣ→ページＤ→ページＥの順に送る。一方、表示制御部５１Ａは、第３の動作における指示物体４８の移動方向がＹ軸のマイナス方向である場合には、コンテンツのページを上記の順とは逆の順、すなわちページＥ→ページＤ→ページＣ→ページＢ→ページＡの順に送る。
なお、表示制御部５１Ａは、検出部４９Ａが第４の動作を検出した際に、第４の操作として、空間画像１６に表示されたコンテンツのページを送る操作を実行したが、これに限定されない。例えば、表示制御部５１Ａは、検出部４９Ａが第４の動作を検出した際に、第４の操作として、空間画像１６に表示されたコンテンツのページをズームする操作を実行してもよい。
（実施の形態３）
［３−１．入力装置の構成］
次に、図１、図２及び図８を参照しながら、実施の形態３に係る入力装置２Ｂの構成について説明する。図８は、実施の形態３に係る入力装置２Ｂにおけるキャリブレーションモードを説明するための図である。
図１及び図２に示すように、実施の形態３に係る入力装置２Ｂでは、上記実施の形態１及び２で説明した機能に加えて、第２の操作画面２４の幅Ｄを調整するためのキャリブレーションモードが実行される。図８に示すように、このキャリブレーションモードでは、コントローラ１２Ｂの表示制御部５１Ｂは、空間画像１６にキャリブレーション用画像５６を表示させる。なお、キャリブレーション用画像５６は、例えば開いた状態の手の形状を有する画像である。
ユーザが手５８を開いた状態でキャリブレーション用画像５６上に配置することにより、コントローラ１２Ｂの検出部４９Ｂは、この手５８の大きさを検出する。これにより、表示制御部５１Ｂは、検出された手５８の大きさに基づいて、第２の操作画面２４の幅Ｄを調整する。具体的には、表示制御部５１Ｂは、第２の操作画面２４の幅Ｄが手５８の指一本分の太さＷ１よりも大きく、且つ、手５８全体の大きさＷ２よりも小さくなるように（Ｗ１＜Ｄ＜Ｗ２）調整する。
なお、第２の操作画面２４の幅Ｄが手５８の指一本分の太さＷ１よりも小さい場合には、上記実施の形態１で説明したようにユーザが手５８の指で第２の操作画面２４を押し込もうとした際に、手５８の指が第１の操作画面２２と第２の操作画面２４とに跨るように配置されてしまうおそれがある。この場合、検出部４９は、第２の動作を検出することができず、第３の動作を誤検出してしまうようになる。
また、第２の操作画面２４の幅Ｄが手５８全体の大きさＷ２よりも大きい場合には、実施の形態３で説明したようにユーザが手５８を第１の操作画面２２と第２の操作画面２４とに跨るように配置することが難しくなる。
［３−２．入力装置の動作］
次に、図９を参照しながら、実施の形態３に係る入力装置２Ｂの動作について説明する。図９は、実施の形態３に係る入力装置２Ｂの動作の流れを示すフローチャートである。
キャリブレーションモードが開始することにより（Ｓ２１）、キャリブレーション用画像５６が空間画像１６に表示される（Ｓ２２）。その後、ユーザが手５８を開いた状態でキャリブレーション用画像５６上に配置することにより（Ｓ２３）、検出部４９Ｂは、この手５８の大きさを検出する（Ｓ２４）。
このとき、検出された手５８の大きさが所定の範囲内である場合には（Ｓ２５でＹＥＳ）、表示制御部５１Ｂは、検出された手５８の大きさに基づいて、第２の操作画面２４の幅Ｄを調整する（Ｓ２６）。その後、キャリブレーションモードが終了する（Ｓ２７）。
一方、検出された手５８の大きさが所定の範囲内にない場合には（Ｓ２５でＮＯ）、表示制御部５１Ｂは、再試行をユーザに促すためのメッセージ（例えば、「もう一度手をかざしてください」等のメッセージ）を空間画像１６に表示させる（Ｓ２８）。これにより、ユーザは、キャリブレーション用画像５６上に再度配置するようになる（Ｓ２３）。なお、検出された手５８の大きさが所定の範囲内にない場合とは、例えばユーザが手５８を握った状態でキャリブレーション用画像５６上に配置した場合や、手５８以外の物体がキャリブレーション用画像５６上に配置した場合等である。
［３−３．効果］
次に、実施の形態３に係る入力装置２Ｂにより得られる効果について説明する。ユーザによって手５８の大きさが異なるため、上述したキャリブレーションモードを実行することにより、ユーザの手５８の大きさに応じて第２の操作画面２４の幅Ｄを調整することができる。これにより、入力装置２Ｂの誤操作を抑制することができる。
（実施の形態４）
次に、図１、図２及び図１０を参照しながら、実施の形態４に係る入力装置２Ｃの構成について説明する。図１０は、実施の形態４に係る入力装置２Ｃにおける空間画像１６Ｃを示す図である。
図１０に示すように、実施の形態４に係る入力装置２Ｃ（図１及び図２参照）では、空間画像１６Ｃは、第１の操作画面２２Ｃに含まれる第１の画像領域６０ａと、第２の操作画面２４Ｃに含まれる第２の画像領域６０ｂとを有している。第１の画像領域６０ａは、例えばアイコン５２及びカーソル５４等を含むコンテンツ（例えば機器の操作画面等）が表示される画像領域である。一方、第２の画像領域６０ｂは、コンテンツが表示されない領域であり、例えば黒色の背景のみが表示される画像領域である。
なお、図１０に示す例では、第２の操作画面２４Ｃの輪郭は空間画像１６Ｃの輪郭と一致し、且つ、第１の操作画面２２Ｃと第２の操作画面２４Ｃとの境界は、第１の画像領域６０ａと第２の画像領域６０ｂとの境界と一致している。
このような構成であっても、上記実施の形態１と同様の効果を得ることができる。
（変形例）
以上、本発明の実施の形態１〜４に係る入力装置について説明したが、本発明は、これらの実施の形態１〜４に限定されるものではない。例えば、上記実施の形態１〜４をそれぞれ組み合わせてもよい。
上記各実施の形態では、赤外線レーザ素子２８から検出光２６が出射したタイミング及び受光部１０で反射光５０を受光したタイミングに基づいて第１の動作等を検出したが、これに限定されず、例えばカメラによる指示物体４８の撮影結果に基づいて第１の動作等を検出してもよい。
上記各実施の形態では、第２の操作画面２４を第１の操作画面２２の全外周に亘って配置したが、これに限定されず、第１の操作画面２２の全外周の一部（例えば第１の操作画面２２の上側のみ）に配置してもよい。
また、上記の入力装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、入力装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
さらに、上記の入力装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、例えば、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムを含む。この場合、ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
さらにまた、上記の入力装置を構成する構成要素の一部または全部は、入力装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
また、本発明は、上記に示す方法であるとしても良い。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、上記コンピュータプログラムからなるデジタル信号であるとしても良い。
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
本発明は、例えば機器等を動作させるためのＶＵＩとして用いられる入力装置として適用することができる。
２，２Ａ，２Ｂ，２Ｃ 入力装置
４ 表示パネル
６ 反射板
８ 光源ユニット
１０ 受光部
１２，１２Ａ，１２Ｂ コントローラ
１４ 画像
１６，１６Ｃ 空間画像
１８ 空間
２０ 仮想面
２２，２２Ｃ 第１の操作画面
２４，２４Ｃ 第２の操作画面
２６ 検出光
２８ 赤外線レーザ素子
３０ コリメートレンズ
３２ ビームスプリッタ
３４ 受光素子
３６ レーザドライバ
３８ 走査ミラー
４０ アクチュエータ
４２ 走査ドライバ
４４ 集光レンズ
４６ 光電変換素子
４８ 指示物体
４９，４９Ａ，４９Ｂ 検出部
５０ 反射光
５１，５１Ａ，５１Ｂ 表示制御部
５２ アイコン
５４ カーソル
５６ キャリブレーション用画像
５８ 手
６０ａ 第１の画像領域
６０ｂ 第２の画像領域

Claims (10)

  1. コンテンツを含む画像を表示する表示部と、
    空間に結像された前記画像の虚像である空間画像の少なくとも一部を含む仮想面上の第１の操作画面上を指示物体がスライドする第１の動作、及び、前記指示物体が前記第１の操作画面とは異なる前記仮想面上の第２の操作画面を押し込む第２の動作を検出する検出部と、
    前記第１の動作が検出された際には、前記コンテンツを選択する操作である第１の操作を実行し、前記第２の動作が検出された際には、選択された前記コンテンツを実行する操作である第２の操作を実行する制御部と、を備える
    入力装置。
  2. 前記第２の操作画面は、前記第１の操作画面の全外周に亘って配置されている
    請求項１に記載の入力装置。
  3. 前記第１の操作画面は前記空間画像の全体を含み、
    前記第２の操作画面は前記空間画像の外側に配置されている
    請求項１又は２に記載の入力装置。
  4. 前記空間画像は、
    前記第１の操作画面に含まれ、前記コンテンツが表示される第１の画像領域と、
    前記第２の操作画面に含まれ、前記コンテンツが表示されない第２の画像領域と、を有する
    請求項１又は２に記載の入力装置。
  5. 前記検出部は、さらに、前記指示物体が前記第１の操作画面から離間する方向に移動する第３の動作を検出し、
    前記制御部は、前記第３の動作が検出された際には、前記コンテンツの選択を確定する操作である第３の操作を実行する
    請求項１〜４のいずれか１項に記載の入力装置。
  6. 前記検出部は、さらに、前記指示物体が前記第１の操作画面と前記第２の操作画面とに跨った状態で所定方向に移動する第４の動作を検出し、
    前記制御部は、前記第４の動作が検出された際には、前記空間画像に関連付けられた第４の操作を実行する
    請求項１〜５のいずれか１項に記載の入力装置。
  7. 前記制御部は、前記第４の動作が検出された際には、前記第４の操作として前記空間画像に表示された前記コンテンツのページを送る
    請求項６に記載の入力装置。
  8. 前記制御部は、前記指示物体の移動方向に応じて前記コンテンツのページの送り量を異ならせる
    請求項７に記載の入力装置。
  9. 前記指示物体はユーザの手であり、
    前記検出部は、さらに、前記仮想面上に配置された前記ユーザの手の大きさを検出し、
    前記制御部は、検出された前記ユーザの手の大きさに基づいて前記第２の操作画面の幅を調整する
    請求項１〜８のいずれか１項に記載の入力装置。
  10. 前記制御部は、
    前記第１の動作が検出された際には、前記第１の操作として前記空間画像上のカーソルを前記指示物体の動きに追従して移動させ、
    前記第２の動作が検出された際には、前記第２の操作として前記カーソルが重畳された前記空間画像上の前記コンテンツを実行する
    請求項１〜９のいずれか１項に記載の入力装置。
JP2015209919A 2015-10-26 2015-10-26 入力装置 Active JP6536350B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015209919A JP6536350B2 (ja) 2015-10-26 2015-10-26 入力装置
US15/332,324 US10782789B2 (en) 2015-10-26 2016-10-24 Input device
EP16195307.0A EP3163409B1 (en) 2015-10-26 2016-10-24 Input device
CN201610947483.5A CN107025003B (zh) 2015-10-26 2016-10-26 输入装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015209919A JP6536350B2 (ja) 2015-10-26 2015-10-26 入力装置

Publications (2)

Publication Number Publication Date
JP2017084003A true JP2017084003A (ja) 2017-05-18
JP6536350B2 JP6536350B2 (ja) 2019-07-03

Family

ID=57189942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015209919A Active JP6536350B2 (ja) 2015-10-26 2015-10-26 入力装置

Country Status (4)

Country Link
US (1) US10782789B2 (ja)
EP (1) EP3163409B1 (ja)
JP (1) JP6536350B2 (ja)
CN (1) CN107025003B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019105744A (ja) * 2017-12-13 2019-06-27 船井電機株式会社 空中像表示装置
JP2019207574A (ja) * 2018-05-29 2019-12-05 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP2022146114A (ja) * 2021-03-22 2022-10-05 カシオ計算機株式会社 投影装置及び投影方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109591033A (zh) * 2018-09-28 2019-04-09 广州智伴人工智能科技有限公司 一种非接触式人机交互系统
JP2022063376A (ja) * 2020-10-12 2022-04-22 凸版印刷株式会社 空中表示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101874A (ja) * 1995-10-06 1997-04-15 Fujitsu Ltd 表示制御方法
JP2011170866A (ja) * 1998-10-13 2011-09-01 Sony Electronics Inc 動作検知インターフェース
JP2012514811A (ja) * 2009-01-07 2012-06-28 マイクロソフト コーポレーション 仮想ページめくり
WO2013099412A1 (ja) * 2011-12-28 2013-07-04 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 表示装置、表示方法、プログラム
JP2013191112A (ja) * 2012-03-15 2013-09-26 Sony Corp 表示制御装置、その制御方法およびプログラム
JP2013257762A (ja) * 2012-06-13 2013-12-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2014203323A (ja) * 2013-04-08 2014-10-27 船井電機株式会社 空間入力装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
JP2004185258A (ja) * 2002-12-03 2004-07-02 Hitachi Ltd 情報処理装置
KR20070113018A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 터치스크린 장치 및 그 실행방법
JP5178127B2 (ja) 2006-10-17 2013-04-10 株式会社半導体エネルギー研究所 半導体装置
US8985774B2 (en) 2007-03-30 2015-03-24 National Institute Of Information And Communication Technology Floating image interaction device and its program
EP2188737A4 (en) * 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc PROCESSING BREAKFAST USER INTERACTIONS
US20090282332A1 (en) * 2008-05-12 2009-11-12 Nokia Corporation Apparatus, method and computer program product for selecting multiple items using multi-touch
US8381118B2 (en) * 2009-10-05 2013-02-19 Sony Ericsson Mobile Communications Ab Methods and devices that resize touch selection zones while selected on a touch sensitive display
WO2013029257A1 (en) * 2011-08-31 2013-03-07 Ooros Automotive Co., Ltd. Vehicle's interactive system
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9274608B2 (en) * 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
EP2767896B1 (en) * 2013-02-14 2019-01-16 LG Electronics Inc. Mobile terminal and method of controlling the mobile terminal
CN103488296B (zh) * 2013-09-25 2016-11-23 华为软件技术有限公司 体感交互手势控制方法及装置
CN103500057A (zh) * 2013-10-08 2014-01-08 百度在线网络技术（北京）有限公司 移动终端及其操控方法和装置
CN104216517A (zh) * 2014-08-25 2014-12-17 联想(北京)有限公司 一种信息处理方法及电子设备
JP5933093B1 (ja) * 2015-11-04 2016-06-08 株式会社Ｃｙｇａｍｅｓ プログラム及び携帯端末

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101874A (ja) * 1995-10-06 1997-04-15 Fujitsu Ltd 表示制御方法
JP2011170866A (ja) * 1998-10-13 2011-09-01 Sony Electronics Inc 動作検知インターフェース
JP2012514811A (ja) * 2009-01-07 2012-06-28 マイクロソフト コーポレーション 仮想ページめくり
WO2013099412A1 (ja) * 2011-12-28 2013-07-04 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 表示装置、表示方法、プログラム
JP2013191112A (ja) * 2012-03-15 2013-09-26 Sony Corp 表示制御装置、その制御方法およびプログラム
JP2013257762A (ja) * 2012-06-13 2013-12-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2014203323A (ja) * 2013-04-08 2014-10-27 船井電機株式会社 空間入力装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019105744A (ja) * 2017-12-13 2019-06-27 船井電機株式会社 空中像表示装置
JP7087368B2 (ja) 2017-12-13 2022-06-21 船井電機株式会社 空中像表示装置
JP2019207574A (ja) * 2018-05-29 2019-12-05 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
CN110543232A (zh) * 2018-05-29 2019-12-06 富士施乐株式会社 信息处理装置、信息处理系统和非暂时性计算机可读介质
JP2022146114A (ja) * 2021-03-22 2022-10-05 カシオ計算機株式会社 投影装置及び投影方法
JP7279728B2 (ja) 2021-03-22 2023-05-23 カシオ計算機株式会社 投影装置及び投影方法

Also Published As

Publication number Publication date
JP6536350B2 (ja) 2019-07-03
CN107025003A (zh) 2017-08-08
EP3163409B1 (en) 2023-09-20
US10782789B2 (en) 2020-09-22
EP3163409A1 (en) 2017-05-03
US20170115741A1 (en) 2017-04-27
CN107025003B (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
JP6536350B2 (ja) 入力装置
JP6822473B2 (ja) 表示装置
US8690337B2 (en) Device and method for displaying an image on a VUI screen and also a main projection screen
CN106716318B (zh) 投影显示单元和功能控制方法
JP6689559B2 (ja) 画像投影装置、システム、画像投影方法およびプログラム
JP2013065061A (ja) プロジェクタ
JP2010244484A (ja) 画像表示装置、画像表示方法および画像表示プログラム
TWI545463B (zh) 投影系統及管理投影系統之方法
JP2007537510A (ja) 光学入力及び／又は制御装置
US20150054792A1 (en) Projector
TW201617820A (zh) 物件指示符顯示技術
JP6314688B2 (ja) 入力装置
JP2014202951A (ja) 画像投影装置、及び操作物検出方法
JP2020170297A (ja) 入力装置
WO2015029222A1 (ja) 情報処理装置，表示制御プログラム及び表示制御方法
JP6411067B2 (ja) 情報処理装置及び入力方法
JP6098386B2 (ja) プロジェクタ
JP2015060295A (ja) 入力装置
JP6315127B2 (ja) 入力装置、空中像インタラクションシステム、及び入力方法
JP2010157976A (ja) 原稿読み取り装置
JP4637927B2 (ja) 入力装置のスキャン制御方法、その装置及び記録媒体
JP2015088050A (ja) プロジェクタ装置
JP2010060845A (ja) 表示システム、操作装置、画像表示装置、レイアウト設定プログラム及び記録媒体
JP7473832B1 (ja) 電子機器及びプログラム
US20160146592A1 (en) Spatial motion sensing device and spatial motion sensing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190520

R150 Certificate of patent or registration of utility model

Ref document number: 6536350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150