JP2013242850A - Display input device - Google Patents
Display input device Download PDFInfo
- Publication number
- JP2013242850A JP2013242850A JP2013040292A JP2013040292A JP2013242850A JP 2013242850 A JP2013242850 A JP 2013242850A JP 2013040292 A JP2013040292 A JP 2013040292A JP 2013040292 A JP2013040292 A JP 2013040292A JP 2013242850 A JP2013242850 A JP 2013242850A
- Authority
- JP
- Japan
- Prior art keywords
- display
- input device
- optical element
- housing
- display input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、写真等の二次元映像を空間に浮かび上がった空間像として表示するとともに、この空間像の周囲に進入する手や指等の入力体の動きを、座標や軌跡等の位置情報として取得する表示入力装置に関するものである。 The present invention displays a two-dimensional image such as a photograph as an aerial image that emerges in space, and the movement of an input body such as a hand or a finger that enters the periphery of the aerial image as position information such as coordinates or a locus. The present invention relates to a display input device to be acquired.
空間に画像や映像等を表示(投影)する方式としては、二眼方式,多眼方式,空間像方式,体積表示方式,ホログラム方式等が知られており、近年では、上記空間に表示された二次元映像または三次元映像(空間像)を、手や指等(以下「手指」という)を用いて直感的に相互作用的操作(インタラクション)可能な表示入力装置が提案されている。 As a method for displaying (projecting) an image or video in a space, a binocular method, a multi-view method, a space image method, a volume display method, a hologram method, and the like are known. There has been proposed a display input device capable of intuitively interacting (interacting) a two-dimensional image or a three-dimensional image (aerial image) with a hand or a finger (hereinafter referred to as “finger”).
このような表示入力装置における手指の認識入力手段(ユーザインタフェース)として、多数のLEDやランプ等により、検知領域(平面)に縦横の光の格子を形成し、入力体(手指等)による光の格子の遮蔽(遮光)を受光素子等で検知して、その入力体の位置や座標等を検出するシステムが提案されている(特許文献1,2を参照)。
As a finger recognition input means (user interface) in such a display input device, a vertical and horizontal light grid is formed in the detection region (plane) by a large number of LEDs, lamps, etc. There has been proposed a system that detects shielding (shielding) of a grating with a light receiving element or the like and detects the position, coordinates, and the like of the input body (see
しかしながら、上記のように、検知平面に形成した光の格子(不可視)の遮蔽を検知して入力体の位置や座標等を検出する表示入力装置は、空間像が、上記LEDや受光素子の設置に利用される枠(中空のフレーム)の中に表示されるため、この枠が操作者の視野内に入ってしまい、立体感や臨場感等が得られにくいという問題がある。また、上記枠が、入力操作の際の障害物(邪魔な物)として意識される場合があり、その場合、操作者による入力操作(手や指等の動き)が制約を受けたり、滑らかでなくなってしまうおそれがある。 However, as described above, the display input device that detects the shielding of the light grating (invisible) formed on the detection plane and detects the position and coordinates of the input body, the aerial image is the installation of the LED and the light receiving element. Since the frame is displayed in a frame (hollow frame) used in the field, this frame enters the operator's field of view, and there is a problem that it is difficult to obtain a three-dimensional effect or a sense of reality. In addition, the frame may be recognized as an obstacle (disturbance) during an input operation. In this case, the input operation (movement of a hand, a finger, etc.) by the operator is restricted or smooth. There is a risk of disappearing.
本発明は、このような事情に鑑みなされたもので、空間に投影される空間像の周囲に、操作の障害となるような構造物がなく、操作者の手指等の入力体を用いた空間像周りの入力操作を、装置を意識することなく自然な形で行うことができる表示入力装置の提供をその目的とする。 The present invention has been made in view of such circumstances, and there is no structure that obstructs the operation around the aerial image projected on the space, and a space using an input body such as an operator's finger. An object of the present invention is to provide a display input device capable of performing an input operation around an image in a natural manner without being aware of the device.
上記の目的を達成するため、本発明の表示入力装置は、フラットパネルディスプレイの表示面に表示された映像を、結像機能を有する光学素子を用いて、この結像光学素子から離れた空間位置に浮かび上がった状態で結像させるとともに、結像した空間像の周囲に位置する入力操作用の入力体の位置情報を、光学的手段により取得する表示入力装置であって、上記ディスプレイを載置するためのディスプレイ載置面を有する載置台と、パネル状の結像光学素子と、光源および光学的検出手段と、上記ディスプレイを収容する筐体とを備え、上記結像光学素子が、上記筐体の上面の所定位置に配設され、この結像光学素子の周りに、上記光源が筐体上方に位置する入力体を照らすように配置され、上記結像光学素子の下側に、上記ディスプレイを結像光学素子に対して所定角度傾斜した状態で保持する載置台が配置され、上記光学的検出手段が、上記空間像の周囲に位置する入力体を検出しうる状態で配設されているという構成をとる。 In order to achieve the above object, the display input device of the present invention uses an optical element having an imaging function to display an image displayed on a display surface of a flat panel display at a spatial position away from the imaging optical element. A display input device that forms an image in a state of floating on the surface and obtains position information of an input body for input operation located around the formed aerial image by optical means, the display being placed A mounting table having a display mounting surface, a panel-shaped imaging optical element, a light source and an optical detection means, and a housing for housing the display. The imaging optical element includes the housing. The light source is disposed at a predetermined position on the upper surface of the body, and the light source is disposed around the imaging optical element so as to illuminate the input body positioned above the housing. The display is disposed below the imaging optical element. A mounting table that is held at a predetermined angle with respect to the imaging optical element is disposed, and the optical detection means is disposed in a state in which an input body located around the aerial image can be detected. Take the configuration.
すなわち、本発明者は、前記課題を解決するため研究を重ね、その結果、パネル状の結像光学素子を用いて、フラットパネルディスプレイを収容するケース,ハウジング等の筐体の上方に、写真等の二次元画像を浮かび上がった(立ち上がった)状態で結像させるとともに、その結像光学素子の周囲の適切な位置に、手指等の入力体を照らす光源と、この入力体による反射(反射光)を検出する光学的検出手段とを配置することにより、従来例のように、入力体の位置を検出する手段(枠やシステム等)を意識することなく、自然な入力操作を行うことができることを見出した。 That is, the present inventor has conducted research to solve the above problems, and as a result, using a panel-shaped imaging optical element, a case where a flat panel display is accommodated, a housing such as a housing, a photograph, etc. A two-dimensional image is formed in a raised (rise) state, and a light source that illuminates an input body such as a finger at an appropriate position around the imaging optical element, and a reflection (reflected light) by the input body ) Is detected, and natural input operations can be performed without being aware of the means (frame, system, etc.) for detecting the position of the input body as in the conventional example. I found.
本発明の表示入力装置は、フラットパネルディスプレイを載置するためのディスプレイ載置面を有する載置台と、パネル状の結像光学素子と、光源および光学的検出手段と、上記ディスプレイを収容する筐体とを備え、上記結像光学素子が、上記筐体の上面の所定位置に配設され、この結像光学素子の周りに、上記光源が筐体上方に位置する入力体を照らすように配置され、上記結像光学素子の下側に、上記ディスプレイを結像光学素子に対して所定角度傾斜した状態で保持する載置台が配置され、上記空間像の周囲に位置する入力体を検出可能な位置に、上記結像光学素子が配設されている。そのため、本発明の表示入力装置は、操作者が、入力体の位置や座標等を検出する手段(装置やシステム)を意識することなく、手指を用いた上記空間像周りの入力操作を、自然な形で行うことができるようになる。これにより、上記表示入力装置は、インタラクションが容易で、ユーザフレンドリーな表示入力装置とすることができる。 A display input device of the present invention includes a mounting table having a display mounting surface for mounting a flat panel display, a panel-shaped imaging optical element, a light source and optical detection means, and a housing for housing the display. And the imaging optical element is disposed at a predetermined position on the upper surface of the casing, and the light source illuminates the input body positioned above the casing around the imaging optical element. A mounting table is disposed below the imaging optical element to hold the display in a state inclined at a predetermined angle with respect to the imaging optical element, and an input body positioned around the aerial image can be detected. The imaging optical element is disposed at a position. Therefore, the display input device of the present invention allows the operator to perform an input operation around the aerial image using fingers without being aware of the means (device or system) for detecting the position, coordinates, etc. of the input body. Can be done in any way. Thereby, the display input device can be a user-friendly display input device that is easy to interact with.
なお、上記表示入力装置を収容する筐体としては、周囲の光を遮光する箱状で、かつ、上記載置台等をその内部に収容しうるケース状のものか、あるいは、側面が開口する開放形で、かつ、上記ディスプレイ載置面が、その壁面(一側面)を利用して形成されているハウジング状のもの等を、選択して採用することができる。上記箱状のケースを用いた場合、上記映像を鮮明に投影できるというメリットがある。また、上記開放形のハウジング状のものを用いた場合、上記ディスプレイを簡単に出し入れできるという利点がある。 Note that the housing for accommodating the display input device is a box shape that shields ambient light, and a case shape that can accommodate the above-mentioned mounting table or the like therein, or an open side opening. It is possible to select and adopt a housing-like one having a shape and having the display mounting surface formed using the wall surface (one side surface). When the box-shaped case is used, there is an advantage that the image can be projected clearly. In addition, when the above open housing is used, there is an advantage that the display can be easily taken in and out.
また、本発明の表示入力装置のなかでも、上記パネル状の結像光学素子の下面に対する上記載置台およびフラットパネルディスプレイの表示面の傾斜角が、30°以上90°未満に設定されているものは、上記表示される立体的二次元映像を、より浮遊感の強い立体的な画像として表示することができる。 Among the display input devices of the present invention, the inclination angle of the display surface of the mounting table and the flat panel display with respect to the lower surface of the panel-shaped imaging optical element is set to 30 ° or more and less than 90 °. Can display the displayed stereoscopic two-dimensional video as a stereoscopic image with a stronger floating feeling.
また、本発明の表示入力装置のなかでも、特に、上記パネル状の結像光学素子が、コーナーリフレクタ型の単位光学素子からなるマイクロミラーアレイであるものは、上記表示される立体的二次元映像を、より輝度の高い鮮明な画像として表示することができる。 Among the display input devices of the present invention, in particular, the panel-shaped imaging optical element is a micromirror array including a corner reflector type unit optical element. Can be displayed as a clear image with higher brightness.
そして、本発明の表示入力装置のなかでも、上記フラットパネルディスプレイが、携帯電話または携帯情報端末の表示部であり、この携帯電話または携帯情報端末が、上記載置台またはディスプレイ載置面に着脱可能に配設されるようになっているものは、特別な準備の必要なく、この表示入力装置をより簡単かつ手軽に利用することができる。 Among the display input devices of the present invention, the flat panel display is a display unit of a mobile phone or a mobile information terminal, and the mobile phone or the mobile information terminal can be attached to and detached from the mounting table or the display mounting surface. The display input device can be used more easily and easily without special preparation.
つぎに、本発明の実施の形態を、図面にもとづいて詳しく説明する。ただし、本発明は、この実施の形態に限定されるものではない。 Next, embodiments of the present invention will be described in detail with reference to the drawings. However, the present invention is not limited to this embodiment.
図1は、本発明の第1実施形態における表示入力装置の構成を示す模式的断面図である。また、図3は、第1実施形態における表示入力装置の使用方法を説明する図であり、図4は、上記表示入力装置を図3の矢印F方向から見た一部断面図である。なお、本例においては、フラットパネルディスプレイ(符号D)には、携帯電話(スマートフォン等)の液晶表示画面(LCD)を利用している。また、図中の符号3は、ケース10の上面開口を蓋する透明な板状部材(透明板)を示すとともに、画面に表示される「画像」(図1中の太線矢印I等)および投影される「空間像」(図1中の太線矢印I’等)は、その厚みを強調して図示している。
FIG. 1 is a schematic cross-sectional view showing the configuration of the display input device in the first embodiment of the present invention. FIG. 3 is a view for explaining how to use the display input device in the first embodiment, and FIG. 4 is a partial cross-sectional view of the display input device as viewed from the direction of arrow F in FIG. In this example, a liquid crystal display screen (LCD) of a mobile phone (smart phone or the like) is used for the flat panel display (reference D).
本実施形態の表示入力装置は、図1のように、上面が開口する有底箱状のケース10の中に、フラットパネルディスプレイDを載置するための載置台2と、パネル状の結像光学素子(本例ではマイクロミラーアレイ1、以下「アレイ1」ともいう)と、光源(LED−符号4,4’)および光学的検出手段(カメラ5)とが配設されている。ケース10の上部(開口側)には、このケース10の上面開口を蓋する透明板3の下面の所定位置に、上記マイクロミラーアレイ1が貼り付け固定されており、このマイクロミラーアレイ1の周囲に、各LED4が取り付けられている。また、ケース10の下部(底部側)には、上記マイクロミラーアレイ1の下面1bに対峙する直下(真下)の位置に、このマイクロミラーアレイ1に対して角度αで傾斜する載置台2が配置され、上記マイクロミラーアレイ1の直下(載置台2の領域)を除く、このマイクロミラーアレイ1から側方(図では右方)に距離を空けた下方(底部側)の位置に、上記カメラ5が、上記マイクロミラーアレイ1の上方の空間像I’の周囲に位置する入力体(手指H等)を検出可能な状態で配設されている。これが、本発明の表示入力装置の特徴である。
As shown in FIG. 1, the display input device according to the present embodiment includes a mounting table 2 for mounting a flat panel display D in a bottomed box-shaped
上記表示入力装置について、詳しく説明すると、上記ケース10の上面開口部に配設されてこのケース10を蓋する透明板3は、ケース開口方向(上下方向)の光の透過(空間像I’の結像、LED4,4’による投光、カメラ5による撮像等)と、上記マイクロミラーアレイ1およびLED4,4’等の取り付け(位置決め固定)のために設けられているもので、ガラス板やアクリル樹脂板等、可視光領域の光透過率が80%以上の硬質な板状部材から形成されている。
The display input device will be described in detail. The
上記透明板に取り付けられるパネル状の結像光学素子(マイクロミラーアレイ1)は、その一方の面側に存在する画像Iや映像等を、他方の面側に実像(空間像I’)として結像させる結像機能を備えるもので、本発明の表示入力装置には、フレネルレンズ等を含む各種レンズや、アフォーカル光学系のマイクロミラー,コーナーリフレクタ等の屈折型結像素子、マイクロレンズアレイ等の正立等倍型結像素子を用いることができる。なかでも、本実施形態においては、図1のように、素子面Pに対して面対称の位置に像を結ぶ、マイクロミラーアレイ(凸型コーナーリフレクタアレイ、詳細構造は図2を参照)が好適に使用される。このマイクロミラーアレイ1は、上記ケース10の上面開口部に取り付けられた透明板3(蓋部材)の下面(内面)側に、取り付けられている。なお、上記透明板3にアレイ1と同形状の開口(穴)を設け、この開口に嵌め込んで固定するようにしてもよい。
The panel-shaped imaging optical element (micromirror array 1) attached to the transparent plate binds an image I, video, etc. existing on one surface side as a real image (aerial image I ′) on the other surface side. The display input device according to the present invention includes various lenses including a Fresnel lens, a refraction type imaging element such as an afocal optical system micromirror and a corner reflector, a microlens array, and the like. An erecting equal-magnification imaging element can be used. In particular, in the present embodiment, as shown in FIG. 1, a micromirror array (convex corner reflector array, see FIG. 2 for the detailed structure) that forms an image at a plane-symmetrical position with respect to the element plane P is preferable. Used for. The
上記マイクロミラーアレイ1(コーナーリフレクタアレイ)について、より詳しく説明すると、このアレイ1は、図2(a)に示すように、基板(基盤)11上に、微小な単位光学素子12(コーナーリフレクタ)が、操作者の視点(矢印E方向)から見て、斜め碁盤目状に並ぶように配列されている。それぞれの単位光学素子12は、各コーナー12cを構成する2つの光反射面(第1の側面12a,第2の側面12b)が、操作者の正面〔図2(a)中では紙面下側となる奥側〕を向くようになっており、全体として、図2(b)のように、そのアレイの外縁(外辺)を上記ケース10の正面(操作者手前のE側)に対して45°回転させた状態で配設されている。
The micromirror array 1 (corner reflector array) will be described in more detail. As shown in FIG. 2A, the
上記マイクロミラーアレイ1の周囲に取り付けられる光源(主光源としての3個のLED4、図3参照)は、ケース10の上方に光を照射して、そこに進入する入力体(手指H等)の撮像(反射光の検出)を容易にするためのものであり、空間像I’を結像する光(可視光)との干渉を避けるとともに、操作者に知覚されてその操作の邪魔となることがないように、可視光以外の領域の波長の光(赤外光,紫外光等)を発光するものが使用される。この光源としては、例えば、赤外LEDや半導体レーザ(VCSEL)等、波長700〜1000nm程度の赤外光を発する発光体またはランプ等が好ましく、本実施形態においては、上記LED4として、赤外LEDを使用している。
A light source (three
なお、上記各LED4は、連続であるいは間欠で発光させればよく、間欠で発光させる場合は、各LED4を順次タイミングをずらせて発光させてもよい。また、カメラ5による撮像(検出)範囲が広い場合は、図1,図3のように、補助光源として、同種の光源(本例では2個のLED4’)を別途配設してもよい。これら補助光源は、ケース10の外部に配置しても差し支えない。
The
つぎに、フラットパネルディスプレイDを載置するための載置台2は、板状部材2aと、この板状部材2aを支持する基台2b,2bとからなり、ケース10内部の、上記マイクロミラーアレイ1の下面1bに対峙する位置(アレイ1の鉛直下方)に配設されている。上記板状部材2aは、ケース10の底面およびアレイ1の素子面P(またはアレイ1の下面1b)に対して所定角度α傾いた状態(図1参照)で、上記基台2b,2bに支持・固定されており、その上面が、フラットパネルディスプレイDの載置面となっている。そして、上記載置台2の載置面(板状部材2aの上)に、フラットパネルディスプレイDを備えるスマートフォン等を載置することにより、上記フラットパネルディスプレイDの表示面Daが、マイクロミラーアレイ1の素子面Pに対してα°傾いた状態で保持されるようになっている。なお、ケース10内における上記載置台2の、マイクロミラーアレイ1の素子面P(下面1b)に対する傾斜角αは、アレイ1による結像作用が最適となるように調整されるのであり、通常30°以上90°未満、好ましくは40°以上80°以下に設定されている。
Next, the mounting table 2 for mounting the flat panel display D includes a plate-
また、上記画像Iの表示に用いられフラットパネルディスプレイD(以下、単に「ディスプレイD」ともいう)としては、バックライトを備える液晶表示パネル(LCD)の他、プラズマディスプレイパネル,有機EL表示パネル等、全可視光波長にわたってなるべく偏りのない「白色」と、非表示時の「黒色」とを、コントラスト良く再現できるディスプレイパネルを使用することが望ましい。なお、ディスプレイDは、携帯電話または携帯情報端末等の表示部であってもよく、具体的には、スマートフォン,タブレット型PC,デジタルフォトフレームや、携帯型ゲーム機,携帯型ブックリーダー,PDA,電子辞書等のうち、その表示部が常時露出する(カバーされていない)タイプのなかで、上記載置台2上に載置できるサイズのものを使用することができる。 The flat panel display D (hereinafter also simply referred to as “display D”) used for displaying the image I includes a liquid crystal display panel (LCD) having a backlight, a plasma display panel, an organic EL display panel, and the like. It is desirable to use a display panel that can reproduce “white” with as little bias as possible over all visible light wavelengths and “black” when not displayed with good contrast. The display D may be a display unit such as a mobile phone or a portable information terminal. Specifically, the display D may be a smartphone, a tablet PC, a digital photo frame, a portable game machine, a portable book reader, a PDA, Among the electronic dictionaries and the like, a type that can be placed on the mounting table 2 can be used among the types whose display unit is always exposed (not covered).
つぎに、手指H(入力体)を検出するカメラ5(光学的検出手段)は、上記マイクロミラーアレイ1から側方(図1では右方)に距離を空けた下方(ケース底部側)の位置(すなわち、撮像時に、上記手指Hがアレイ1の影に隠れない位置)に配置されており、これにより、上記マイクロミラーアレイ1の上方に結像する空間像I’の周囲に位置する手指Hが、撮像(検出)可能になっている(図1のカメラ5の視野角−二点鎖線を参照)。上記カメラ5のカメラ本体5aとしては、CMOSあるいはCCD等のイメージセンサを備えるものが使用される。
Next, the camera 5 (optical detection means) for detecting the finger H (input body) is positioned below (case bottom side) at a distance from the
なお、上記表示入力装置に用いる光学的検出手段として、PSD(Position Sensitive Detector)を用いることもできる。このPSDは、入力体までの距離を位置信号として出力するもので、予め、距離と位置信号(電圧)との相関(リファレンス)を取得しておくことにより、入力体までの距離を高精度に計測することが可能である。上記PSDとして、2次元PSDを使用する場合は、上記カメラ5に代えて、この2次元PSDをカメラ5の位置に配置すればよい。また、1次元PSDを使用する場合は、2個以上の1次元PSDを、上記手指H(入力体)の座標を三角測量により計測可能な複数の位置に分散して配置すればよい。これらPSD(またはユニット化されたPSDモジュール)を使用することにより、手指Hの位置検出精度を向上させることができる。
In addition, PSD (Position Sensitive Detector) can also be used as an optical detection means used for the display input device. This PSD outputs the distance to the input body as a position signal. By acquiring the correlation (reference) between the distance and the position signal (voltage) in advance, the distance to the input body can be accurately determined. It is possible to measure. When a two-dimensional PSD is used as the PSD, the two-dimensional PSD may be disposed at the position of the
また、上記カメラ5またはPSD等の光学的検出手段は、入力体(手指H等)の全体を視野角内に撮らえるために、上記透明板3から充分に(例えば、10cm以上)距離を空けた下方に配置することが望ましい。なお、上記カメラ本体5aを上方に向けて支持するカメラ基台5bは、上記カメラ5の視野角を変更(調整)できるように、昇降式の架台としてもよい。さらに、例えば、第2実施形態(図6)のように、スペースに余裕のある他のケース10’を用いた場合は、上記光学的検出手段(カメラ5等)を、上記結像光学素子(マイクロミラーアレイ1)から側方(左方)に距離を空けた位置(ただし、同様に、検出時に上記手指Hが結像光学素子の影に隠れない位置)に配置することもできる。上記光学的検出手段は、ケース10下方のそれぞれ離れた位置に、複数台設置してもよい。
Further, the optical detection means such as the
また、上記光学的検出手段が、結像光学素子を透過して手指H等を検出可能なタイプの場合は、このカメラ5等を、上記マイクロミラーアレイ1の素子面Pに対して正対する位置〔これらの例では、マイクロミラーアレイ1の平面中心の真下(鉛直下方)の位置〕に配置してもよい。ただし、この配置では、手指H等を検出できない位置(死角)が生じたり、取得像の歪みを補正する演算が必要になる場合がある。
Further, when the optical detection means is of a type that can detect the finger H and the like through the imaging optical element, a position where the
そして、上記各部材を収容するケース10は、図1のように、その上面の開口部に前記透明板3が配置されているとともに、ケース10の内面は、光による乱反射を防止するために、黒色(色度0,彩度0,明度0)もしくはこれに近い暗色とされている。なお、このケース10の一側面には、後記の図3,図4に示すように、上記フラットパネルディスプレイD(図ではスマートフォン)をこのケース10の内部(載置台2の上)に挿入するためのスリット状の挿入口10aが設けられている。
And as for the
なお、上記ケース10の一部に、スピーカー等の発音手段を配設してもよい。この発音手段により、上記フラットパネルディスプレイDに表示される画像Iに合わせた音楽(BGM)や音声等を出力することが可能になる。勿論、上記スマートフォン(フラットパネルディスプレイD)に内蔵のスピーカー等を利用してもよい。
Note that sound generation means such as a speaker may be provided in a part of the
つぎに、上記フラットパネルディスプレイD(スマートフォン)を用いて、上記ケース10の上方に、画像Iの実像(空間像I’)を投影・表示する方法について説明する。
Next, a method of projecting and displaying a real image (spatial image I ′) of the image I on the
上記表示入力装置において、上記画像Iを表示(投影)する場合、まず、ディスプレイDを備えるスマートフォンを準備し、このディスプレイDに所定の加工(背景色変更やコントラスト向上等の画像処理)を施した画像I(図3では、例として「犬の写真」)を表示させ、このスマートフォンを、上記画像Iの上下(天地)が逆さまなるようにして、上記挿入口10aのあるケース10の側面近傍まで移動させる(図3の矢印A参照)。
In the display input device, when displaying (projecting) the image I, first, a smartphone including the display D is prepared, and predetermined processing (image processing such as background color change and contrast improvement) is performed on the display D. The image I (in FIG. 3, “dog picture” as an example) is displayed, and this smartphone is placed upside down (top and bottom) of the image I up to the vicinity of the side surface of the
つぎに、上記画像Iが逆さまの状態のまま、上記スマートフォンを、上記挿入口10aからケース10の内部へ押し込む(図3,図4の矢印B)と、このスマートフォンが載置面上を横にスライドして、載置台2上の所定位置にセットされる〔図3,図4のC位置〕。これにより、上記フラットパネルディスプレイDの画面に表示された平面的な二次元画像I(写真等)が、奥行き感を持った空間画像I’(立体的二次元画像)として、パネル状のマイクロミラーアレイ1の上方に表示(投影)される(図3参照)。
Next, when the image I is turned upside down, the smartphone is pushed into the
なお、上記スマートフォン(フラットパネルディスプレイD)を、その表示画像が自動的に次々変わる状態(いわゆる「スライドショー」モード)にしておけば、上記ケース10内においても、このフラットパネルディスプレイD(スマートフォン)を操作することなく、任意の好みの画像を順次表示(投影)することができる。また、上記載置台2が、上記携帯電話や携帯情報端末等の充電(充電スタンドまたはクレードル)機能を備えるように構成すれば、上記画像Iの表示中でも各機器の充電を済ますことが可能で、その充電のための時間を有効に活用することができる。
If the smartphone (flat panel display D) is in a state in which the display images automatically change one after another (so-called “slide show” mode), the flat panel display D (smart phone) can be used in the
さらに、上記スマートフォン(フラットパネルディスプレイD)は、上記光源(LED4,4’)の発光と光学的検出手段(カメラ5)による検出(撮像)を制御する制御手段としての機能と、上記光学的検出手段で撮影された手指Hの画像を抽出・解析してその座標を特定する演算手段としての機能とを、兼ね備えており、上記LED4,4’およびカメラ5と、有線(図示省略)または無線通信等により、交信可能に相互接続されている。
Further, the smartphone (flat panel display D) has a function as a control unit that controls light emission of the light source (LED4, 4 ′) and detection (imaging) by the optical detection unit (camera 5), and the optical detection. And a function as a calculation means for extracting and analyzing the image of the finger H photographed by the means and specifying the coordinates thereof, and the
つぎに、上記光学的検出手段(カメラ5)を用いた、表示入力装置の空間像I’の周辺(検知領域内)に差し入れられた入力体(この例では「手指H」)の検出と、この手指Hの位置情報(座標)を取得する方法について、その過程(ステップ)ごとに順を追って説明する。なお、これらを説明する図5において、符号Qは、マイクロミラーアレイ1の素子面(P)に略平行な「仮想水平面」(ケース10上の透明板3に相当)であり、符号Q’,Q”は、上記仮想水平面Qに平行な「仮想撮影平面」である。
Next, using the optical detection means (camera 5), detection of an input body (in this example, “finger H”) inserted in the periphery (in the detection region) of the aerial image I ′ of the display input device; A method of acquiring the position information (coordinates) of the finger H will be described step by step for each process (step). In FIG. 5 for explaining these, the symbol Q is a “virtual horizontal plane” (corresponding to the
上記手指Hの位置(座標)の特定は、まず、図5(a)に示すように、手指Hの下側(アレイ1の周り)に配置された各光源(LED4,4’)から、この手指Hに向けて光を投射する。なお、この投光は間欠発光でもよい〔投光ステップ〕。 First, the position (coordinates) of the finger H is specified from each light source (LED4, 4 ') arranged below the finger H (around the array 1) as shown in FIG. Light is projected toward the finger H. This light projection may be intermittent light emission [light projection step].
ついで、光を投射した状態で、上記ケース10の底部に配設されたカメラ5によりこの手指Hを撮影し、その手指Hによる上記光の反射(反射光あるいは反射像)を、図5(b)のように、互いに直交するXY方向の座標軸を有する二次元画像H’(仮想撮影平面Q’上の画像)として取得する〔撮像ステップ〕。
Next, in the state of projecting light, this finger H is photographed by the
つぎに、得られた上記二次元画像H’を、しきい値にもとづいて二値化した後、図5(c)に示すように、その二値化画像H”のなかから、上記手指Hの外形形状(図中の網点部分)を認識した後、例えば、拳から突出する指等を識別して、その先端位置に相当する座標(指先座標T)を、演算により抽出する。そして、この指先座標Tを、制御手段(この例ではスマートフォン)等の記憶手段に記憶するか、あるいは、この表示入力装置が「入力デバイス」として機能している場合は、その指先座標Tのデータ(信号)を外部の機器に対して出力する〔座標特定ステップ〕。 Next, after the obtained two-dimensional image H ′ is binarized based on a threshold value, as shown in FIG. 5C, the finger H H is extracted from the binarized image H ″. Then, for example, a finger or the like protruding from the fist is identified, and coordinates corresponding to the tip position (fingertip coordinates T) are extracted by calculation. This fingertip coordinate T is stored in a storage means such as a control means (smartphone in this example), or when the display input device functions as an “input device”, data (signals) of the fingertip coordinate T ) Is output to an external device [coordinate specifying step].
なお、上記手指Hの座標を取得する過程を、ある時間間隔で繰り返すことにより、上記手指Hの動き(軌跡)を検出することもできる。また、上記繰り返しの経過前後の指先座標Tの差(変化量)を用いて、上記指先座標Tの移動距離と方向を算出し、その結果にもとづいて、フラットパネルディスプレイDの画像I、すなわち空間像I’を、上記手指Hの動きに応じてインタラクティブに変化させる(更新する)ことも可能である。これにより、上記表示入力装置を、マウスやタブレット等のポインティングデバイスのように動作させることができる。 Note that the movement (trajectory) of the finger H can also be detected by repeating the process of obtaining the coordinates of the finger H at certain time intervals. Further, the movement distance and direction of the fingertip coordinates T are calculated using the difference (change amount) of the fingertip coordinates T before and after the repetition, and based on the result, the image I of the flat panel display D, that is, the space is calculated. It is also possible to interactively change (update) the image I ′ according to the movement of the finger H. Thereby, the display input device can be operated like a pointing device such as a mouse or a tablet.
さらに、上記カメラ5に代えて、光学的検出手段にPSDを用いる場合は、上記のような画像処理を経ることなく、その位置信号(距離)から演算(三角測量)により、直接的にかつ高精度で、上記手先Hの座標(指先座標T)を得ることができる。
Further, when PSD is used as the optical detection means in place of the
また、上記実施形態では、スマートフォン等の携帯電話が、表示機能(ディスプレイD)と、光源の発光および光学的検出手段による検出を制御する制御手段と、光学的検出手段で撮影された手指Hの画像を抽出・解析してその座標を特定する演算手段とを兼用する例を示したが、上記携帯電話等の他に、コンピュータ等からなる制御部(コントローラ)を別途設け、上記表示機能以外の機能(制御手段および演算手段等)をこの制御部で分担するように構成してもよい。 Moreover, in the said embodiment, mobile phones, such as a smart phone, display function (display D), the control means which controls the light emission of a light source, and the detection by an optical detection means, and the finger H image | photographed with the optical detection means Although the example which combines the calculation means which extracts and analyzes an image and specifies the coordinate was shown, in addition to the said mobile phone etc., the control part (controller) which consists of computers etc. was provided separately, and other than the said display function The functions (control means, calculation means, etc.) may be shared by this control unit.
上記のように、本発明の表示入力装置によれば、シンプルかつ低コストな構成で、手指Hの位置や座標を特定することができる。しかも、この表示入力装置は、空間に投影される空間像I’の周囲に、入力操作の障害となるような構造物がないため、手指Hを用いた操作入力を、装置を意識することなく自然な形で行うことができる。 As described above, according to the display input device of the present invention, the position and coordinates of the finger H can be specified with a simple and low-cost configuration. In addition, since this display input device has no structure around the aerial image I ′ projected onto the space that would interfere with the input operation, operation input using the finger H can be performed without being aware of the device. It can be done in a natural way.
つぎに、本発明の表示入力装置をより組み立てやすく構成した、第3〜第5実施形態について説明する。 Next, third to fifth embodiments in which the display input device of the present invention is configured to be easier to assemble will be described.
図7は、本発明の第3実施形態における表示入力装置の構成を示す分解斜視図である。また、図8は、上記実施形態の表示入力装置に用いられるマイクロミラーアレイ(30)の詳細構成を示す模式図であり、図9は、そのマイクロミラーアレイ(30)の装置への取り付け方法を説明する断面図である。なお、以下の各実施形態においても、フラットパネルディスプレイ(符号D)には、携帯電話(スマートフォン等)の液晶表示画面(LCD)を利用している。また、前記第1,第2実施形態と同様の機能を有する構成部材には同じ符号を付して、その詳細な説明を省略する。 FIG. 7 is an exploded perspective view showing the configuration of the display input device according to the third embodiment of the present invention. FIG. 8 is a schematic diagram showing a detailed configuration of the micromirror array (30) used in the display input device of the above embodiment, and FIG. 9 shows a method of attaching the micromirror array (30) to the device. It is sectional drawing demonstrated. In each of the following embodiments, a liquid crystal display screen (LCD) of a mobile phone (smart phone or the like) is used for the flat panel display (reference numeral D). Moreover, the same code | symbol is attached | subjected to the structural member which has the function similar to the said 1st, 2nd embodiment, and the detailed description is abbreviate | omitted.
上記第3実施形態の表示入力装置の特徴は、結像光学素子として、製作が容易でコストダウンが可能な、二枚(組)の基板13からなるマイクロミラーアレイ30を採用するとともに、このマイクロミラーアレイ30を、ケース20の上面に簡単に組み込み(セット)することのできる天板部材6を使用している点である。
The display input device according to the third embodiment is characterized in that a
このマイクロミラーアレイ30は、図8に示すように、透明な平板状の基板13,13の上側の各表面13aに、回転刃を用いたダイシング加工等により、互いに平行な直線状の溝13gが、所定の間隔で複数本形成されている。そして、上記マイクロミラーアレイ30は、これら同じ形状の2枚の光学素子(基板13,13)を用いて、各基板13上に設けられた各溝13gの連続方向が平面視互いに直交するように、上側の一方の基板13を下側の他方の基板13対して回転させた状態で、下側の基板13における溝13gが形成された表面13aに、上側の基板13における溝13gが形成されていない裏面13b(板状部13c)を当接させ、これら基板13どうしを上下に重ね合わせることにより、一組として構成されている。
As shown in FIG. 8, the
上記マイクロミラーアレイ30の構成(後記のマイクロミラーアレイ31,32,40も同じ原理)について、詳しく説明すると、各光学素子を構成する基板13(溝13g形成前の基板)は、上記直線状の溝13gを彫り込み加工するための基体であり、例えばガラスやアクリル樹脂等、可視光の透過率が80%以上の材料から形成されている。この基板13は、通常、一定の厚みを有する硬質な板状(厚さ0.5〜10.0mm程度)で、その上面(表面13a)に、ダイシング加工等により、上記直線状の各溝13gが彫り込み(堀り込み)形成される。なお、上記各溝13gの彫り込みが到達していない平板状部位(板状部13c)が、各溝13gの間に彫り残して形成される凸条部位の支持基台となっている。
The configuration of the micromirror array 30 (the same principle applies to the
上記基板13上の溝13gは、ダイシング加工機の回転刃(ダイシングブレード)等により形成されるもので、基板13の加工対象面(表面)に、一方向に所定の間隔(ピッチ)で、かつ、互いに平行になるように形成されている。なお、これらの溝13gを構成する側面(壁面)は、上記回転刃を用いたダイシング加工等により形成されるため、光反射性の垂直面(鏡面)に形成されている。また、各溝13gは、上記ブレード等の厚さ(端面方向の全厚)にもよるが、通常、0.015mm(15μm)〜0.3mm(300μm)程度の厚さのブレードを使用した場合、約20〜350μmの幅で、深さ約50〜500μm程度の溝13gが形成され、これらの溝13gが形成されていない残りの領域(凸条部位)は、幅が約50〜300μmで、高さ約50〜500μm(溝の深さと同一)の平行なリブ状となっている。
The
そして、上記直線状の各溝13gが形成された2枚の基板13,13は、図8のように、上側の一方の基板13を下側の他方の基板13に対して水平に90°回転させた状態(すなわち、下側の基板1と上側の基板1’の位相が90°異なる状態)で、下側の基板13の表面13a(上側面)に、上側の基板13の裏面13b(板状部13cの下側面)を当接させて重ね合わせることにより、一組(一体)のマイクロミラーアレイ30とされる。この際、上記のように下側の基板13と上側の基板13の位相が90°異なることから、同じ形状に形成された基板13の各溝13gどうしは、その溝13gの連続方向が平面視互いに直交する配置(立体的には「ねじれの位置」)になっている。
Then, the two
この状態において、上記マイクロミラーアレイ30を基板表裏方向(上下方向)から見た場合、上側の基板13の各溝13gと下側の基板13の各溝13gとが、平面視互いに直交する格子状になっており、これらの交差箇所それぞれに、上側の基板13の各溝13gの光反射性の垂直面(鏡面)と、下側の基板13の各溝13gの光反射性の垂直面(鏡面)とからなるコーナーリフレクタが形成されるようになっている。
In this state, when the
そして、上記マイクロミラーアレイ30(各基板13)を表示入力装置の上面にセットする際は、図7および図9のように、天板部材6の上面に形成された、内縁に固定用段部6eが設けられた所定形状(基板13の外形とほぼ同一形状)の開口6aに、まず一枚目の基板13を嵌め入れ、その上に、残りの二枚目の基板13を、水平に90°回転させた状態で嵌め入れて重ねることにより、だれでも簡単に、マイクロミラーアレイ30を取り付けることができる。
When the micromirror array 30 (each substrate 13) is set on the upper surface of the display input device, as shown in FIGS. 7 and 9, a fixing step is formed on the inner edge of the
なお、上記マイクロミラーアレイ30を構成する各基板13は、二枚とも、各溝13gが形成された表面13a(上面)を下側(開口6a側)に向けて嵌め入れてもよい(後記図11,12の「裏向き」基板13’を参照)。この場合も、一枚目の基板(13’)の上に、二枚目の基板(13’)を、水平に90°回転させた状態で嵌め入れて重ねることにより、同様の効果を奏することができる。
Each of the
また、上記天板部材6に設けられている開口6bはカメラ5用、各開口6cはLED(符号4)用であり、マイクロミラーアレイ30と同様に、位置決めや取り付けが容易なようになっている。そして、天板部材6に各マイクロミラーアレイ30,カメラ5,LED(4)等が取り付けられた後、各部品の保護用として、上記天板部材6の上に、ケース20の上面を蓋する透明な板状部材(透明板)3が被せられる(図9参照)。
Further, the
つぎに、図10に示す第4実施形態の表示入力装置、および、図13に示す第5実施形態の表示入力装置も、上記第3実施形態の表示入力装置とほぼ同様の構成である。異なっているのは、表示入力装置に用いられるマイクロミラーアレイの構成であり、第4実施形態の表示入力装置(図10)では、二枚組のマイクロミラーアレイ31(図11)またはマイクロミラーアレイ32(図12)が使用されている。また、第5実施形態の表示入力装置(図13)では、一枚構成のマイクロミラーアレイ40(図14)が使用されている。 Next, the display input device of the fourth embodiment shown in FIG. 10 and the display input device of the fifth embodiment shown in FIG. 13 have substantially the same configuration as the display input device of the third embodiment. The difference is the configuration of the micromirror array used in the display input device. In the display input device (FIG. 10) according to the fourth embodiment, the two-mirror micromirror array 31 (FIG. 11) or the micromirror array is used. 32 (FIG. 12) is used. In the display input device (FIG. 13) of the fifth embodiment, a single-mirror micromirror array 40 (FIG. 14) is used.
図11,図12に示すマイクロミラーアレイ31,32も、一方の面側(裏面側または表面側)に配置された被投影物の鏡映像を、アレイの素子面(P)に対して面対称となる他方の面側(表面側または裏面側)の空間位置に結像させる「結像光学素子」として構成されている。また、これらのマイクロミラーアレイ31,32を構成する各光学素子(「表向き」基板13,「裏向き」基板13’)も、上記第3実施形態と同様、透明な平板状の基板13,13’の表面13a,13’aに、回転刃を用いたダイシング加工等により、互いに平行な直線状の溝13gまたは溝13’gが、所定の間隔で複数本形成されている。なお、基板13と基板13’とは、配置する向きの違いだけであり、その構造に差はない。
In the
第4実施形態の表示入力装置に用いられているマイクロミラーアレイ31が、前記マイクロミラーアレイ(30)と異なる点は、図11のように、上側の一方の基板13’が、表裏(天地)を反転させ、溝13’gが形成された表面13’aを下に向けて用いられている点である。すなわち、上記マイクロミラーアレイ31は、同じ形状の二枚の光学素子(基板13,13’)を用いて、上側の一方の基板13’を表裏反転させ、この基板13’を下側の他方の基板13に対して90°回転させた状態で、上側の基板13’における溝13’gが形成された表面13’aを、下側の基板13における溝13gが形成された表面13aに当接させている。このように、各基板13,13’上に設けられた各溝13gと溝13’gの連続方向が平面視互いに直交するように、これら基板13,13’どうしを上下に重ね合わせることにより、一組のアレイ31として構成されている。
The
また、同様に、第4実施形態の表示入力装置に用いられる他の構成のマイクロミラーアレイ32(図12)は、上記マイクロミラーアレイ31(図11)を構成する各光学素子(基板13,13’)を、位置を入れ換えて(逆に)積み重ねたものであり、下側の一方の基板13’を表裏反転させ、この基板13’を上側の他方の基板13に対して90°回転させた状態で、上側の基板13の裏面13b(板状部13cの下側面)と下側の基板13’の裏面13’b(板状部13’cの上側面)とを当接させて積み重ねたものである。これにより、各基板13,13’上に設けられた各溝13gと溝13’gの連続方向が平面視互いに直交する、一組のアレイ32が構成されている。
Similarly, another configuration of the micromirror array 32 (FIG. 12) used in the display input device according to the fourth embodiment includes optical elements (
つぎに、図13に示す第5実施形態の表示入力装置も、その基本的な構成は、前記第3,第4実施形態の表示入力装置と同じであり、使用されているマイクロミラーアレイ40の構造(図14参照)のみが、異なっている。そのマイクロミラーアレイ40は、前記第3,第4実施形態のマイクロミラーアレイ30〜32が、直線状の溝(13g)が一面に施された二枚の基板13(13’)を用いて構成されていたのに対し、この第5実施形態で用いるマイクロミラーアレイ40は、一枚の基板14で構成されている。
Next, the basic configuration of the display input device of the fifth embodiment shown in FIG. 13 is the same as that of the display input device of the third and fourth embodiments. Only the structure (see FIG. 14) is different. In the
すなわち、上記マイクロミラーアレイ40(結像光学素子)は、図14に示すように、透明な平板状の基板14の上側の表面14aおよび下側の裏面14bに、それぞれ、回転刃を用いたダイシング加工等により、互いに平行な直線状の溝14gおよび溝14g’が、所定の間隔で複数本形成されており、これら表面14a側の各溝14gと裏面14b側の各溝14g’とは、その形成方向(連続方向)が平面視互いに直交するように形成されている。
That is, as shown in FIG. 14, the micromirror array 40 (imaging optical element) is diced using a rotary blade on the
上記マイクロミラーアレイ40を構成する基板14(溝14g,14g’形成前の基板)は、前記基板13と同様、直線状の溝(14g)を彫り込み加工するための基体であり、例えばガラスやアクリル樹脂等、可視光の透過率が80%以上の材料から形成されている。この基板14は、通常、一定の厚みを有する硬質な板状(厚さ0.5〜10.0mm程度)で、その上面(表面14a)に、ダイシング加工等により、上記直線状の各溝14g,14g’が、それぞれ彫り込み形成されている。なお、上記各溝14g,14g’の彫り込みが到達していない平板状部位(板状部14c)が、各溝14g,14g’の間に彫り残して形成される凸条部位の支持部位となっている。
The substrate 14 (substrate before formation of the
なお、基板14の溝14g,14g’は、基板14の加工対象面(表面14a,裏面14b)に、それぞれ、一方向に所定の間隔(ピッチ)で、かつ、互いに平行になるように形成されている。このような両面加工は、一方の面(例えば表面14a)に溝14gを形成した後、ダイシング加工機等から一旦上記基板14を取り外し、その基板14を表裏(上下)反転させた状態で取り付けることにより、基板14の他方の面(裏面14b)側にも、上記一方の面(表面14a)と同様の互いに平行な複数本の直線状溝14g’を、上記一方の面(表面14a)側と90°位相を変えて(表面14a側の溝14gと平面視直交する方向に)形成することができる。
The
以上の第3〜第5実施形態の表示入力装置によっても、ディスプレイDに表示された写真等の二次元映像を、マイクロミラーアレイ(30〜32,40)の上方に浮かび上がった(立ち上がった)状態で、立体感豊かに表示することができる。また、これらの表示入力装置は、シンプルかつ低コストな構成で、手指H等の位置や座標を特定することが可能で、しかも、空間に投影される空間像I’の周囲に、入力操作の障害となるような構造物がないことから、上記手指H等を用いた操作入力を、装置を意識することなく自然な形で行うことができる。 Also by the display input devices of the third to fifth embodiments described above, the two-dimensional image such as a photograph displayed on the display D emerges (rises) above the micromirror array (30 to 32, 40). In a state, it is possible to display a rich stereoscopic effect. Further, these display input devices can specify the position and coordinates of the finger H or the like with a simple and low-cost configuration, and the input operation can be performed around the aerial image I ′ projected onto the space. Since there is no structure that can be an obstacle, operation input using the fingers H and the like can be performed in a natural manner without being conscious of the device.
つぎに、上記表示入力装置の各部品を収容する筐体として、前記箱状(密閉形)のケース10,10’,20に代えて、側面のない開放形のハウジング(15〜19)を用いた例について説明する。ただし、本発明の表示入力装置に用いられるケースやハウジングの形状等は、これらの実施形態に限定されるものではない。
Next, instead of the box-shaped (sealed)
図15〜図19はそれぞれ、本発明の第6〜第10実施形態における表示入力装置の外観斜視図である。なお、マイクロミラーアレイの上方に投影される空間像I’(この例では犬の写真)は、図15以外、図示を省略している。また、構成が複雑になるのを避けるため、ディスプレイD以外の光学的検出手段(カメラ 符号5)や光源(LED 符号4)等の図示は省略している。 15 to 19 are external perspective views of display input devices according to sixth to tenth embodiments of the present invention, respectively. Note that the aerial image I ′ (in this example, a picture of a dog) projected above the micromirror array is not shown except for FIG. 15. Further, in order to avoid the configuration from becoming complicated, the optical detection means (camera reference 5) other than the display D, the light source (LED reference 4), and the like are not shown.
さらに、以下の各実施形態で用いられるマイクロミラーアレイ30(1,31,32,40等でもよい)は、前記第3〜第5実施形態と同様、各ハウジングの天板部材(天板部)に設けられた開口(内縁段部付き)に嵌め入れて固定されており、その上側に、保護用の透明な板状部材(透明板3)が配設されている点も同様である。 Furthermore, the micromirror array 30 (1, 31, 32, 40, etc.) used in each of the following embodiments is similar to the third to fifth embodiments in the top plate member (top plate portion) of each housing. This is also the same in that a transparent plate-like member (transparent plate 3) for protection is disposed on the upper side of the opening (with an inner edge step portion).
まず、第6実施形態の表示入力装置には、図15に示すように、天板部15a,底板部15b,側板部(垂直方向)15cと、傾斜状の側部(傾斜板部15d)とからなる、ディスプレイ横方向(ディスプレイ挿入方向)の側面(側部)がないハウジング15が使用されている。このハウジング15の上面(天板部15a)に設けられた開口には、上記マイクロミラーアレイ30が嵌め入れられており、その下側に位置する傾斜板部15dの上面(内側面)が、フラットパネルディスプレイ(ディスプレイD)を載置するディスプレイ載置面(第1実施形態における載置台2の上面と同等)に形成されている。
First, as shown in FIG. 15, the display input device of the sixth embodiment includes a
上記傾斜板部15dは、前記実施形態の載置台2のディスプレイ載置面(2a)と同様、ハウジング15の底板部15bおよびマイクロミラーアレイ30の素子面(またはその下面)に対して、所定角度αで傾斜するように形成されており、その上面(ディスプレイ載置面)には、ディスプレイDを仮固定するための吸着テープ等(図示省略)が、貼り付けられている。
The
また、図16に示す第7実施形態の表示入力装置は、同様の天板部16a,側板部(垂直方向)16cと、傾斜状の側部(傾斜板部16d)とからなり、底板部とディスプレイ横方向の側面がないハウジング16が用いられている。なお、このハウジング16の上面(天板部16a)に設けられた開口にも、マイクロミラーアレイ30が配設されており、その下側に位置する傾斜板部16dの上面(内側面)が、ディスプレイDを載置する載置台(ディスプレイ載置面)に形成されている。なお、上記傾斜板部16dは、装置下面およびマイクロミラーアレイ30の素子面(下面)に対して、所定角度αで傾斜するように形成されており、その上面(ディスプレイ載置面)には、ディスプレイDを仮固定するための吸着テープ等(図示省略)が、貼り付けられている点も同様である。
The display input device of the seventh embodiment shown in FIG. 16 includes a similar
つぎに、第8実施形態の表示入力装置は、図17に示すように、天板部17a,底板部17bと、傾斜状の側部(傾斜板部17d)とからなり、垂直な側面(側板部)とディスプレイ横方向の側面がないハウジング17が用いられている。なお、このハウジング17の上面(天板部17a)に設けられた開口にも、マイクロミラーアレイ30が配設されており、その下側に位置する傾斜板部17dの上面(内側面)が、ディスプレイDを載置する載置台(ディスプレイ載置面)に形成されている。また、ディスプレイDを仮固定するための吸着テープ等(図示省略)も同様である。
Next, as shown in FIG. 17, the display input device of the eighth embodiment includes a
また、図18に示す第9実施形態の表示入力装置は、略水平状の天板部18aと底板部18bとの間に、これらを支持する傾斜板部18dが設けられたハウジング18が使用されている。このハウジング18の上面(天板部18a)に設けられた開口にも、マイクロミラーアレイ30(1,31,32,40等でもよい)が配設されている。上記と同様、マイクロミラーアレイ30の下側に位置する傾斜板部18dは、底板部18bおよびマイクロミラーアレイ30の素子面(下面)に対して、所定角度αで傾斜するように形成されており、その上面(ディスプレイ載置面)には、ディスプレイDを仮固定するための吸着テープ等(図示省略)が、貼り付けられている。
In addition, the display input device of the ninth embodiment shown in FIG. 18 uses a
つぎに、第10実施形態の表示入力装置は、図19に示すように、天板部19a,底板部19bと、側板部(垂直方向)19cとからなる、ディスプレイ横方向の側面(側部)がないハウジング19が使用されている。このハウジング19には、ディスプレイ載置面を構成する長い傾斜側面(上記18d等)が設けられていない。代わりに、このハウジング19の底板部19bには、所定角度αで傾斜する、一対の短い傾斜板19d,19dが設けられており、これら傾斜板19d,19dの間に形成される溝19eに、ディスプレイDの一端を嵌め入れることができるようになっている。
Next, as shown in FIG. 19, the display input device according to the tenth embodiment includes a
以上の構成によっても、この表示入力装置は、上記ディスプレイDを、底板部19b上の溝19eに嵌め入れるという簡単な操作だけで、平面的な二次元画像を、奥行き感を持った擬似的な立体像(立体的二次元画像)として、マイクロミラーアレイ30の上方に表示(投影)することができる。
Even with the above configuration, the display input device can generate a two-dimensional image in a pseudo manner with a sense of depth by simply inserting the display D into the
しかも、上記各表示入力装置は、そのハウジング(15〜19)の側面が大きく開口しているため、上記ディスプレイD(スマートフォン等)の挿入や取り出し等を、容易かつ簡単に行うことができるうえ、構成部材が少ないという点で、コスト的にも有利である。 In addition, since each of the display input devices has a large opening on the side surface of the housing (15 to 19), the display D (smartphone or the like) can be easily and easily inserted and removed. This is advantageous in terms of cost in that the number of constituent members is small.
つぎに、上記ケースまたはハウジング(符号15〜19)等の上面に配置される天板部材(天板部)と、保護用の透明板状部材(透明板3)とが、斜め状に配設されている表示入力装置(第11実施形態)について説明する。
Next, the top plate member (top plate portion) disposed on the upper surface of the case or housing (
図20は、第11実施形態の表示入力装置の構成を原理的に説明する要部断面図であり、図21は、上記表示入力装置の使用状態を示す外観斜視図である。この実施形態においても、天板部21a,底板部21b,側板部(垂直方向)21cと、傾斜状の側部(傾斜板部21d)とからなる、ディスプレイ横方向(ディスプレイ挿入方向)の側面(側部)がないハウジング21を使用している。また、このハウジング21の上面(天板部21a)に設けられた開口には、マイクロミラーアレイ30が嵌め入れられており、その下側に位置する傾斜板部21dの上面(内側面)が、フラットパネルディスプレイ(ディスプレイD)を載置するディスプレイ載置面に形成されている。なお、構成が煩雑になるのを避けるために、ディスプレイDと光学的検出手段(前記二次元PSD 符号5’)以外の光源(LED 符号4)や配線等の図示は省略している。
FIG. 20 is a principal cross-sectional view for explaining in principle the configuration of the display input device of the eleventh embodiment, and FIG. 21 is an external perspective view showing the usage state of the display input device. Also in this embodiment, the side surface (display insertion direction) in the lateral direction of the display (display insertion direction) is composed of a
上記第11実施形態の表示入力装置の構造的特徴は、上記筐体(ハウジング21)の上面(天板部21aおよび透明板3)が、鑑賞者(手指H側)にとって手前側の装置前側(図示右側)から、奥側の装置後側(図示左側)に向かって所定角度βで傾斜する「上り傾斜面」に形成されている点である。また、この実施形態における光学的検出手段(PSD 符号5’)は、図20のように、マイクロミラーアレイ30の素子面P中心に正対する位置に、この素子面Pに向かって、上記空間像I’の周囲に位置する入力体(手指H)を検出しうる状態で配設されている。
The structural features of the display input device of the eleventh embodiment are that the upper surface (the
上記ハウジング21の各傾斜面について、詳しく説明すると、上記ディスプレイDを載置するための傾斜板部21dは、前記各実施形態のハウジング(15〜19)と同様、ハウジング21の底板部21bおよびマイクロミラーアレイ30の素子面P(またはその下面)に対して所定角度αで傾斜する傾斜面に形成されており、その上面(ディスプレイ載置面)には、ディスプレイDを仮固定するための吸着テープ等(図示省略)が、貼り付けられている。
The inclined surfaces of the
また、ハウジング21の天板部21aは、その略中央に設けられた開口(内縁段部付き:図20参照)にアレイ30を嵌め入れて固定できるようになっており、この天板部21aを覆う透明板3とともに、上記空間像I’の傾斜と同じ傾斜方向、すなわち、鑑賞者(手指H側)から見て、装置の水平面(鑑賞者の感覚的水平面)に対して手前側(前側)から奥側(後側)に向かって、所定角度βで上り傾斜する傾斜面になっている。
The
なお、通常、上記ハウジング21の上面(天板部21aおよび透明板3)の水平に対する傾斜角βは、1°以上60°以下(この例では15°)に設定されており、上記ディスプレイDの表示面Daのマイクロミラーアレイ30に対する傾斜角α(30°以上90°未満)の角度以下になっている。また、これら傾斜角βと傾斜角αとの間には、
0 < β ≦ α (ただし、1°≦β≦60°,30°≦α<90°)
の関係が成り立つようになっている。
In general, the inclination angle β of the upper surface (the
0 <β ≦ α (where 1 ° ≦ β ≦ 60 °, 30 ° ≦ α <90 °)
The relationship is established.
上記構成により、この表示入力装置は、上記筐体上面の傾き方向によって、空間像I’の鑑賞および入力操作に適した「装置正面」(手前側)を、誰もが簡単に見つけ出すことができるようになっている。したがって、上記空間像I’に最も立体感等を感じる、鑑賞および入力操作に最適な方向・位置を、意識せず簡単に見つけ出すことが可能である。しかも、その鑑賞方向と位置は、上記表示入力装置において、空間像I’の浮遊感や臨場感等を、最も強く感じることができる位置になっている。 With the above configuration, this display input device allows anyone to easily find the “apparatus front” (front side) suitable for viewing and inputting the aerial image I ′ according to the inclination direction of the upper surface of the housing. It is like that. Therefore, it is possible to easily find out the direction and position most suitable for viewing and input operations that feel the three-dimensional effect etc. most in the spatial image I ′ without being conscious. In addition, the viewing direction and position are positions where the floating feeling and the realistic sensation of the aerial image I ′ can be most strongly felt in the display / input device.
さらに、上記表示入力装置の構成によれば、斜め状に立ち上がる空間像I’と、その背面に位置する筐体上面(天板部21aおよび透明板3)との間に、空間像I’の奥行き,浮遊感や臨場感等をより強調する両眼視差が生じる。そのため、空間像I’(映像や画像等)のコントラストや鮮明さが強くなるとともに、この空間像I’をより遠くから視認することが可能になる。勿論、上記筐体の上面を鑑賞者に向かって上り傾斜面とする構成は、前記第1〜第10の実施形態に適用してもよい。
Further, according to the configuration of the display input device, the aerial image I ′ is formed between the aerial image I ′ that rises diagonally and the upper surface of the casing (the
本発明の表示入力装置は、入力システムを意識することなく、空間像を直感的に操作することができるため、操作者の手指を用いて空間像と直接インタラクションするユーザインタフェースデバイスに適する。 The display input device of the present invention can be intuitively operated on an aerial image without being conscious of the input system, and thus is suitable for a user interface device that directly interacts with an aerial image using an operator's fingers.
1 マイクロミラーアレイ
2 載置台
4 LED
5 カメラ
10 ケース
I 画像
I’ 空間像
D フラットパネルディスプレイ
H 手指
1
5
Claims (6)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013040292A JP2013242850A (en) | 2012-04-27 | 2013-03-01 | Display input device |
PCT/JP2013/059168 WO2013161498A1 (en) | 2012-04-27 | 2013-03-28 | Display input device |
TW102111138A TW201400872A (en) | 2012-04-27 | 2013-03-28 | Display input device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012102748 | 2012-04-27 | ||
JP2012102748 | 2012-04-27 | ||
JP2013040292A JP2013242850A (en) | 2012-04-27 | 2013-03-01 | Display input device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013242850A true JP2013242850A (en) | 2013-12-05 |
Family
ID=49482832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013040292A Pending JP2013242850A (en) | 2012-04-27 | 2013-03-01 | Display input device |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2013242850A (en) |
TW (1) | TW201400872A (en) |
WO (1) | WO2013161498A1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017142577A (en) * | 2016-02-08 | 2017-08-17 | 株式会社アスカネット | Non-contact display input device and method |
JP2019040463A (en) * | 2017-08-25 | 2019-03-14 | 株式会社熊平製作所 | Biometric authentication device |
JP2019149065A (en) * | 2018-02-28 | 2019-09-05 | コイト電工株式会社 | Non-contact input device |
JP2020024281A (en) * | 2018-08-07 | 2020-02-13 | コイト電工株式会社 | Space projection device and non-contact input device including the same |
JP2020024545A (en) * | 2018-08-07 | 2020-02-13 | コイト電工株式会社 | Non-contact input device |
CN112723064A (en) * | 2020-12-31 | 2021-04-30 | 广东伟邦科技股份有限公司 | Aerial imaging device for elevator and operation method of aerial imaging device |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI481905B (en) * | 2014-03-11 | 2015-04-21 | Wistron Corp | Size-adjustable stereo imaging device |
US9841844B2 (en) | 2014-06-20 | 2017-12-12 | Funai Electric Co., Ltd. | Image display device |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334299A (en) * | 1994-04-13 | 1995-12-22 | Toshiba Corp | Information input device |
JPH11134089A (en) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | Hand pointing device |
JP2005292976A (en) * | 2004-03-31 | 2005-10-20 | Alpine Electronics Inc | Virtual interface controller |
JP2006099749A (en) * | 2004-08-31 | 2006-04-13 | Matsushita Electric Works Ltd | Gesture switch |
JP2006209359A (en) * | 2005-01-26 | 2006-08-10 | Takenaka Komuten Co Ltd | Apparatus, method and program for recognizing indicating action |
WO2007013215A1 (en) * | 2005-07-25 | 2007-02-01 | Pioneer Corporation | Image display device |
WO2008041312A1 (en) * | 2006-10-02 | 2008-04-10 | Pioneer Corporation | Image display device |
JP2008158114A (en) * | 2006-12-21 | 2008-07-10 | National Institute Of Information & Communication Technology | Optical system |
WO2008123500A1 (en) * | 2007-03-30 | 2008-10-16 | National Institute Of Information And Communications Technology | Mid-air video interaction device and its program |
WO2009131128A1 (en) * | 2008-04-22 | 2009-10-29 | Fujishima Tomohiko | Optical imaging device and optical imaging method using the same |
JP2011154389A (en) * | 2003-07-03 | 2011-08-11 | Holotouch Inc | Holographic human machine interface |
WO2011108139A1 (en) * | 2010-03-03 | 2011-09-09 | シャープ株式会社 | Teleconference system |
JP2013205885A (en) * | 2012-03-27 | 2013-10-07 | Seiko Epson Corp | Display device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008089984A (en) * | 2006-10-02 | 2008-04-17 | Pioneer Electronic Corp | Image display device |
JPWO2010007787A1 (en) * | 2008-07-15 | 2012-01-05 | 吉田 健治 | Autostereoscopic image display system, autostereoscopic image display device, game machine, parallax barrier sheet |
WO2010035326A1 (en) * | 2008-09-26 | 2010-04-01 | パイオニア株式会社 | Image display device and image display system |
-
2013
- 2013-03-01 JP JP2013040292A patent/JP2013242850A/en active Pending
- 2013-03-28 WO PCT/JP2013/059168 patent/WO2013161498A1/en active Application Filing
- 2013-03-28 TW TW102111138A patent/TW201400872A/en unknown
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334299A (en) * | 1994-04-13 | 1995-12-22 | Toshiba Corp | Information input device |
JPH11134089A (en) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | Hand pointing device |
JP2011154389A (en) * | 2003-07-03 | 2011-08-11 | Holotouch Inc | Holographic human machine interface |
JP2005292976A (en) * | 2004-03-31 | 2005-10-20 | Alpine Electronics Inc | Virtual interface controller |
JP2006099749A (en) * | 2004-08-31 | 2006-04-13 | Matsushita Electric Works Ltd | Gesture switch |
JP2006209359A (en) * | 2005-01-26 | 2006-08-10 | Takenaka Komuten Co Ltd | Apparatus, method and program for recognizing indicating action |
WO2007013215A1 (en) * | 2005-07-25 | 2007-02-01 | Pioneer Corporation | Image display device |
WO2008041312A1 (en) * | 2006-10-02 | 2008-04-10 | Pioneer Corporation | Image display device |
JP2008158114A (en) * | 2006-12-21 | 2008-07-10 | National Institute Of Information & Communication Technology | Optical system |
WO2008123500A1 (en) * | 2007-03-30 | 2008-10-16 | National Institute Of Information And Communications Technology | Mid-air video interaction device and its program |
WO2009131128A1 (en) * | 2008-04-22 | 2009-10-29 | Fujishima Tomohiko | Optical imaging device and optical imaging method using the same |
WO2011108139A1 (en) * | 2010-03-03 | 2011-09-09 | シャープ株式会社 | Teleconference system |
JP2013205885A (en) * | 2012-03-27 | 2013-10-07 | Seiko Epson Corp | Display device |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017142577A (en) * | 2016-02-08 | 2017-08-17 | 株式会社アスカネット | Non-contact display input device and method |
JP2019040463A (en) * | 2017-08-25 | 2019-03-14 | 株式会社熊平製作所 | Biometric authentication device |
JP2019149065A (en) * | 2018-02-28 | 2019-09-05 | コイト電工株式会社 | Non-contact input device |
WO2019168006A1 (en) * | 2018-02-28 | 2019-09-06 | コイト電工株式会社 | Non-contact input device |
JP2020024281A (en) * | 2018-08-07 | 2020-02-13 | コイト電工株式会社 | Space projection device and non-contact input device including the same |
JP2020024545A (en) * | 2018-08-07 | 2020-02-13 | コイト電工株式会社 | Non-contact input device |
CN112723064A (en) * | 2020-12-31 | 2021-04-30 | 广东伟邦科技股份有限公司 | Aerial imaging device for elevator and operation method of aerial imaging device |
CN112723064B (en) * | 2020-12-31 | 2023-03-14 | 广东伟邦科技股份有限公司 | Operation method of aerial imaging equipment |
Also Published As
Publication number | Publication date |
---|---|
TW201400872A (en) | 2014-01-01 |
WO2013161498A1 (en) | 2013-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013161498A1 (en) | Display input device | |
JP6246292B2 (en) | OLED display device with light detection function | |
JP6143161B2 (en) | Display device | |
WO2010007787A1 (en) | Naked eye three-dimensional video image display system, naked eye three-dimensional video image display device, amusement game machine and parallax barrier sheet | |
KR102059359B1 (en) | Method of operating and manufacturing display device, and display device | |
JP5992302B2 (en) | Display device | |
WO2014013898A1 (en) | Display input device | |
WO2013035553A1 (en) | User interface display device | |
TW201346471A (en) | Display device | |
US20220086266A1 (en) | Control Method of Electronic Device and Electronic Device | |
US11508131B1 (en) | Generating composite stereoscopic images | |
TW201636685A (en) | Presentation apparatus and video presentation method | |
US20230205271A1 (en) | Housing Structures and Input-Output Devices For Electronic Devices | |
JP2014032600A (en) | Display input device | |
CN209044429U (en) | A kind of equipment | |
KR101929003B1 (en) | Oled display apparatus having optical sensing funtion | |
CN109407758A (en) | A kind of equipment | |
JP2014130309A (en) | Display device | |
CN209330167U (en) | A kind of equipment | |
KR101464426B1 (en) | Method to remove overlapping appearance of three dimensional imagine | |
JP2022097901A (en) | Space floating video display device | |
KR20210027263A (en) | Stereoscopic display device | |
JP6233941B1 (en) | Non-contact type three-dimensional touch panel, non-contact type three-dimensional touch panel system, non-contact type three-dimensional touch panel control method, program, and recording medium | |
US20240184133A1 (en) | Air floating video display apparatus | |
JP2024080390A (en) | Space-floating image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160823 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161014 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161014 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161108 |