JP2019133284A

JP2019133284A - Non-contact input device

Info

Publication number: JP2019133284A
Application number: JP2018013172A
Authority: JP
Inventors: 永悟佐野; Eigo Sano
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2018-01-30
Filing date: 2018-01-30
Publication date: 2019-08-08

Abstract

To precisely detect the position of an indication object.SOLUTION: The present invention includes: an optical element 2 for forming light from a plane object 11 into an image in the air and forming an airborne image 12; a beam splitter 4 for transmitting a part of the light from the object and reflecting another part of the light; a camera 5 arranged so that the optical axis 5a through the beam splitter is perpendicular to the plane airborne image; and an indicated-position detector 94 for detecting an indicated position by an indication object F from an image of the object F taken by the camera, the object F performing an indication input to the plane airborne image.SELECTED DRAWING: Figure 1

Description

本発明は、空中映像表示を利用した非接触式入力装置に関する。 The present invention relates to a non-contact input device using aerial video display.

近年、特殊な光学プレートを使用して被対象物の実像を空中に結像させ、その実像を観察者が観察できるようにした空中映像表示装置が提案されている。
例えば、特許文献１には、平面視で互いに直交する複数の反射面（コーナーミラーアレイ）を有する光学プレートを使い、被対象物と光学プレートを挟んで面対称の位置に空中像を結像する技術が開示されている。
このような空中映像を大画面で実現すると、アイキャッチ性が高く、デジタルサイネージの分野での利用が検討されている。デジタルサイネージ装置は、情報を表示するだけでなく、観察者からの入力操作を受け付ける機能を有するものもあり、空中映像表示を利用するデジタルサイネージ装置にも同様の機能が望まれている。 In recent years, an aerial image display device has been proposed in which a real image of an object is formed in the air using a special optical plate so that an observer can observe the real image.
For example, Patent Document 1 uses an optical plate having a plurality of reflecting surfaces (corner mirror arrays) orthogonal to each other in plan view, and forms an aerial image at a plane-symmetric position with the object and the optical plate in between. Technology is disclosed.
If such an aerial image is realized on a large screen, the eye catching property is high, and use in the field of digital signage is being studied. Some digital signage devices not only display information but also have a function of accepting an input operation from an observer, and a similar function is desired for a digital signage device that uses aerial video display.

このため、特許文献２に示すように、被対象物の実像に沿った平面状の赤外線光を照射し、これらを空中映像として空中に結像させ、平面状の赤外線光の空中像を指が遮ることで生じる散乱反射光をカメラで撮影することで入力位置を検出する非接触式入力装置が提案されている。
また、特許文献３には、平面状の赤外線光を被対象物の空中像に沿って照射する光源を設け、特許文献２と同様に、平面状の赤外線光による指からの散乱反射光を検出する非接触式入力装置が提案されている。 For this reason, as shown in Patent Document 2, planar infrared light along the real image of the object is irradiated, and these are imaged in the air as aerial images. There has been proposed a non-contact type input device that detects an input position by photographing scattered reflected light generated by blocking with a camera.
Further, Patent Document 3 is provided with a light source that irradiates planar infrared light along an aerial image of an object, and similarly to Patent Document 2, it detects scattered reflected light from a finger by planar infrared light. A non-contact input device has been proposed.

特許第４８６５０８８号公報Japanese Patent No. 4865088 特許第５５０９３９１号公報Japanese Patent No. 5509391 特許第５９８７３９５号公報Japanese Patent No. 5987395

しかしながら、この特許文献２の非接触式入力装置は、図１６に示すように、赤外線光の散乱反射光を撮像するカメラ１０１を、光学プレート１０２を避けて配置しなければならず、被対象物の空中像１０３及び光源１０４から照射される平面状の赤外線光の法線に対してカメラ１０１の光軸は傾斜角度θの傾きが生じてしまい、正対して撮影することができなかった。
このため、図１７に示すように、正対した位置から見て長方形状となる空中像があるべきエリア１０５を撮影すると台形歪みが生じ、指先Ｆによる入力位置座標を正確に検出できなくなるおそれがあった。特に、空中像のサイズが大型化するとその歪みの割合が増大してより顕著になるおそれがあった。
また、特許文献３の非接触式入力装置も、光学プレートを避けてカメラを配置しなければならないので、特許文献２と同じ問題が生じていた。 However, in the non-contact input device of Patent Document 2, as shown in FIG. 16, a camera 101 that captures scattered reflected light of infrared light must be disposed away from the optical plate 102, The optical axis of the camera 101 is inclined at an inclination angle θ with respect to the normal line of the planar infrared light irradiated from the aerial image 103 and the light source 104, so that it was not possible to photograph the camera directly facing.
For this reason, as shown in FIG. 17, if an area 105 that should have a rectangular aerial image when viewed from a directly facing position is captured, trapezoidal distortion may occur, and input position coordinates by the fingertip F may not be accurately detected. there were. In particular, when the size of the aerial image is increased, the distortion rate may increase and become more prominent.
Also, the non-contact input device of Patent Document 3 has the same problem as Patent Document 2 because the camera must be arranged avoiding the optical plate.

これら特許文献２及び３の非接触式入力装置に生じる台形歪みは、空中像から離れた位置にカメラを配置することで低減することが可能だが、そのためには非接触式入力装置が大型化してしまう。
また、図１６に示すカメラ１０１の配置では、観察者が空中像の後方にあるカメラ１０１を視認することができ、外観上望ましくない。また、観察者に入力操作が監視されている印象を与えないように、カメラ１０１を観察者から容易に認識できない位置に配置したいという要請にも応えることができなかった。 The trapezoidal distortion generated in the non-contact type input devices of Patent Documents 2 and 3 can be reduced by arranging the camera at a position away from the aerial image, but for that purpose, the non-contact type input device is enlarged. End up.
In addition, the arrangement of the camera 101 shown in FIG. 16 allows the observer to visually recognize the camera 101 behind the aerial image, which is not desirable in appearance. Further, it has not been possible to respond to the request to place the camera 101 at a position that cannot be easily recognized by the observer so as not to give the observer the impression that the input operation is being monitored.

本発明は、より正確に入力位置座標を検出可能とする非接触式入力装置を提供することをその目的とする。 An object of the present invention is to provide a non-contact type input device that can detect input position coordinates more accurately.

請求項１記載の発明は、非接触式入力装置において、
平面的な被対象物からの光を空中に結像させて空中像を形成する光学素子と、
前記被対象物からの光の一部を透過し、他の一部を反射させるビームスプリッターと、
前記ビームスプリッターを介する光軸が平面的な前記空中像に対して垂直となるように配置されたカメラと、
前記カメラによる、前記平面的な空中像に対して指示入力を行う指示物体の撮影画像から、当該指示物体による指示位置を検出する指示位置検出部とを備えることを特徴とする。 The invention according to claim 1 is a non-contact type input device,
An optical element that forms an aerial image by imaging light from a planar object in the air;
A beam splitter that transmits part of the light from the object and reflects the other part;
A camera arranged such that an optical axis passing through the beam splitter is perpendicular to the planar aerial image;
And a pointing position detection unit that detects a pointing position by the pointing object from a photographed image of the pointing object that performs a pointing input on the planar aerial image by the camera.

請求項２記載の発明は、請求項１記載の非接触式入力装置において、
前記空中像に並んで当該空中像に沿った平面状の検出光を発光する発光部を有することを特徴とする。 The invention described in claim 2 is the non-contact input device according to claim 1,
It has a light emission part which emits the planar detection light along with the aerial image along with the aerial image.

請求項３記載の発明は、請求項２記載の非接触式入力装置において、
前記発光部による前記平面状の検出光は不可視光であることを特徴とする。 The invention described in claim 3 is the non-contact input device according to claim 2,
The planar detection light from the light emitting unit is invisible light.

請求項４記載の発明は、請求項３に記載の非接触式入力装置において、
前記カメラは可視光をカットするフィルター部材を介して撮影を行うことを特徴とする。 The invention described in claim 4 is the non-contact type input device according to claim 3,
The camera performs imaging through a filter member that cuts visible light.

請求項５記載の発明は、請求項３又は４に記載の非接触式入力装置において、
前記ビームスプリッターは、表面で可視光を透過し、不可視光を反射する半透過層を有することを特徴とする。 The invention according to claim 5 is the non-contact type input device according to claim 3 or 4,
The beam splitter has a semi-transmissive layer that transmits visible light and reflects invisible light on a surface thereof.

請求項６記載の発明は、請求項１に記載の非接触式入力装置において、
前記カメラはステレオカメラであることを特徴とする。 The invention described in claim 6 is the non-contact input device according to claim 1,
The camera is a stereo camera.

請求項７記載の発明は、請求項１から６のいずれか一項に記載の非接触式入力装置において、
前記光学素子は、プレート平面に対して垂直方向から見て互いに直交する複数の反射面を有する光学プレートであることを特徴とする。 The invention according to claim 7 is the non-contact input device according to any one of claims 1 to 6,
The optical element is an optical plate having a plurality of reflecting surfaces orthogonal to each other when viewed from a direction perpendicular to the plate plane.

請求項８記載の発明は、請求項１から６のいずれか一項に記載の非接触式入力装置において、
前記光学素子は、入射光の入射方向に沿って反射を行う再帰反射面を有する再帰反射体であることを特徴とする。 The invention according to claim 8 is the non-contact input device according to any one of claims 1 to 6,
The optical element is a retroreflector having a retroreflective surface that reflects along the incident direction of incident light.

上記の構成によれば、より正確に指示物体による入力位置座標を検出することが可能となる。 According to said structure, it becomes possible to detect the input position coordinate by a pointing object more correctly.

第一の実施の形態である非接触式入力装置の全体の構成を模式的に示す説明図である。It is explanatory drawing which shows typically the whole structure of the non-contact-type input device which is 1st embodiment. 光学プレートの概略構成を示す斜視図である。It is a perspective view which shows schematic structure of an optical plate. 上記光学プレートを構成する単一の板状部材の斜視図である。It is a perspective view of the single plate-shaped member which comprises the said optical plate. 上記光学プレートを構成する単一の他の板状部材の斜視図である。It is a perspective view of the single other plate-shaped member which comprises the said optical plate. ２次元での実像の結像原理を示す説明図である。It is explanatory drawing which shows the imaging principle of the real image in two dimensions. ３次元空間での光線の反射を模式的に示す説明図である。It is explanatory drawing which shows typically reflection of the light ray in three-dimensional space. ３次元空間において、１点から発せられた複数の光線が別々の反射面を介して１点に集光する様子を模式的に示す説明図である。It is explanatory drawing which shows typically a mode that the several light ray emitted from 1 point condenses to 1 point via a separate reflective surface in 3D space. 図１の非接触式入力装置の制御系を示すブロック図である。It is a block diagram which shows the control system of the non-contact-type input device of FIG. 撮影面に対してカメラの光軸を垂直に向けて撮影を行う場合と撮影面の法線に対してカメラの光軸が傾斜角度で傾斜した場合における各部の寸法を示す説明図である。It is explanatory drawing which shows the dimension of each part in the case where it shoots with the optical axis of a camera perpendicular | vertical to an imaging surface, and the optical axis of a camera inclines with an inclination angle with respect to the normal line of an imaging surface. 図１の非接触式入力装置に全反射ミラー５２を加えた例を示す説明図である。It is explanatory drawing which shows the example which added the total reflection mirror 52 to the non-contact-type input device of FIG. 第二の実施の形態である非接触式入力装置の全体の構成を模式的に示す説明図である。It is explanatory drawing which shows typically the whole structure of the non-contact-type input device which is 2nd embodiment. 再帰反射体による一点から発せられた光が空中の一点に結像する原理を示した説明図である。It is explanatory drawing which showed the principle in which the light emitted from one point by a retroreflector forms an image in one point in the air. 非接触式入力装置の内部におけるカメラと再帰反射体の配置の他の例を示す説明図である。It is explanatory drawing which shows the other example of arrangement | positioning of the camera and a retroreflector in the inside of a non-contact-type input device. ステレオカメラを搭載した非接触式入力装置の例を示す説明図である。It is explanatory drawing which shows the example of the non-contact-type input device carrying a stereo camera. 図１の非接触式入力装置を寿司屋の注文を行うための注文入力装置に適用した場合の説明図である。It is explanatory drawing at the time of applying the non-contact-type input device of FIG. 1 to the order input device for ordering a sushi restaurant. 従来の非接触式入力装置の構成を模式的に示す説明図である。It is explanatory drawing which shows typically the structure of the conventional non-contact-type input device. 従来の非接触式入力装置において撮影時に台形歪みの影響を受けることを示した説明図である。It is explanatory drawing which showed having received the influence of trapezoid distortion at the time of imaging | photography in the conventional non-contact-type input device.

［第一の実施形態］
本発明の第一の実施形態である非接触式入力装置１０について図１〜図９に基づいて説明する。
図１は非接触式入力装置１０の全体の構成を模式的に示す説明図である。非接触式入力装置１０は、平面的な被対象物としての表示画像１１を表示する画像表示装置１と、表示画像１１からの光を空中に結像させて実像としての空中像１２を形成する光学素子としての光学プレート２と、表示画像１１からの光の一部を透過し、他の一部を反射させるビームスプリッター４と、ビームスプリッター４を介する光軸５ａが平面的な空中像１２に対して垂直に交わるように配置されたカメラ５と、平面状の空中像１２に対して指示入力を行う指示物体としての観察者の指先Ｆ（図１６及び図１７参照）に検出光を投光する発光部７と、これらの構成を格納支持する筐体８と、カメラ５による、観察者の指先Ｆの撮影画像から、当該指先Ｆによる指示位置を検出する制御装置９とを主に備えている。 [First embodiment]
A non-contact input device 10 according to a first embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is an explanatory diagram schematically showing the overall configuration of the non-contact input device 10. The non-contact type input device 10 forms an aerial image 12 as a real image by forming an image display device 1 that displays a display image 11 as a planar object and light from the display image 11 in the air. An optical plate 2 as an optical element, a beam splitter 4 that transmits part of the light from the display image 11 and reflects the other part, and an optical axis 5a that passes through the beam splitter 4 form a planar aerial image 12. The detection light is projected onto the camera 5 arranged so as to intersect perpendicularly to the viewer and the observer's fingertip F (see FIGS. 16 and 17) as an instruction object for inputting an instruction to the planar aerial image 12. And a control unit 9 that detects a position indicated by the fingertip F from a photographed image of the fingertip F of the observer by the camera 5. Yes.

この非接触式入力装置１０は、画像表示装置１の表示画像１１からの光を平面的な光学プレート２に対して光の入射側とは反対側の空中に導き、光学プレート２について面対称となる空中の位置に表示画像１１の実像である空中像１２を結像させる。
さらに、この空中像１２に対して観察者が指先Ｆで指示入力操作を行うと、制御装置９が指示位置を検出する。
より具体的な一例としては、非接触式入力装置１０は、表示画像１１として観察者が指示入力を行う入力画面を表示し、観察者は入力画面の空中像１２に対して指先Ｆで指示入力を行うと、空中像１２に対する指示位置を検出する。
即ち、この非接触式入力装置１０は、上記の機能により双方向性のデジタルサイネージ装置に適用することができる。
なお、表示画像１１の表示する内容と検出された指示位置から観察者の意図する指示内容を認識する処理や、認識された指示内容に応じた何らかのレスポンスについては、この非接触式入力装置１０が行っても良いし、非接触式入力装置１０に接続された外部装置が行っても良い。 The non-contact type input device 10 guides light from the display image 11 of the image display device 1 into the air opposite to the light incident side with respect to the planar optical plate 2, and is plane-symmetric with respect to the optical plate 2. An aerial image 12 that is a real image of the display image 11 is formed at an aerial position.
Further, when the observer performs an instruction input operation with the fingertip F on the aerial image 12, the control device 9 detects the indicated position.
As a more specific example, the non-contact type input device 10 displays an input screen on which an observer inputs instructions as a display image 11, and the observer inputs an instruction with the fingertip F on the aerial image 12 on the input screen. Is performed, the designated position with respect to the aerial image 12 is detected.
That is, the non-contact type input device 10 can be applied to a bidirectional digital signage device by the above function.
Note that the non-contact input device 10 performs processing for recognizing the instruction content intended by the observer from the display content of the display image 11 and the detected instruction position, and any response corresponding to the recognized instruction content. It may be performed by an external device connected to the non-contact input device 10.

［光学プレート］
次に、上述した光学プレート２の詳細について説明する。図２は光学プレート２の概略構成を示す斜視図である。
なお、光学プレート２のプレート平面に平行な一方の方向をＹ方向、当該プレート平面に平行であってＹ方向に直交する方向をＸ方向、当該プレート平面に垂直な方向をＺ方向とする。なお、図１においてはＹ方向及びＺ方向は紙面に平行であり、Ｘ方向は紙面に垂直となっている。
光学プレート２は、２枚の光学パネル２０，３０がＺ方向に積層された二層構造を採っている。
そして、光学パネル２０は、Ｙ方向に沿って長尺である複数の板状部材２１をＸ方向に積層して並べることによって形成されている。また、光学パネル３０は、Ｘ方向に沿って長尺である複数の板状部材３１をＹ方向に積層して並べることによって形成されている。 [Optical plate]
Next, details of the above-described optical plate 2 will be described. FIG. 2 is a perspective view showing a schematic configuration of the optical plate 2.
One direction parallel to the plate plane of the optical plate 2 is a Y direction, a direction parallel to the plate plane and perpendicular to the Y direction is an X direction, and a direction perpendicular to the plate plane is a Z direction. In FIG. 1, the Y direction and the Z direction are parallel to the paper surface, and the X direction is perpendicular to the paper surface.
The optical plate 2 has a two-layer structure in which two optical panels 20 and 30 are stacked in the Z direction.
The optical panel 20 is formed by laminating a plurality of long plate-like members 21 along the Y direction in the X direction. The optical panel 30 is formed by laminating and arranging a plurality of plate-like members 31 that are long along the X direction in the Y direction.

図３は単一の板状部材２１の斜視図である。板状部材２１は、透明なガラスや樹脂からなる直方体状の透明基板２１１を有している。透明基板２１１は、Ｙ方向に長尺であって、Ｙ−Ｚ平面に沿った対向する二平面のうちの一方の面に、例えばアルミニウムのような金属の蒸着によって反射面２１２が形成されている。なお、反射面２１２は、透明基板２１１のＹ−Ｚ平面に沿った対向する二平面の両面に形成されていてもよい。 FIG. 3 is a perspective view of a single plate member 21. The plate-like member 21 has a rectangular parallelepiped transparent substrate 211 made of transparent glass or resin. The transparent substrate 211 is long in the Y direction, and a reflective surface 212 is formed on one surface of two opposing planes along the YZ plane by vapor deposition of a metal such as aluminum. . In addition, the reflective surface 212 may be formed on both surfaces of two opposing planes along the YZ plane of the transparent substrate 211.

図４は単一の板状部材３１の斜視図である。板状部材３１は、透明なガラスや樹脂からなる直方体状の透明基板３１１を有している。透明基板３１１は、Ｘ方向に長尺であって、Ｘ−Ｚ平面に沿った対向する二平面のうちの一方の面に、例えばアルミニウムのような金属の蒸着によって反射面３１２が形成されている。なお、反射面３１２も、透明基板３１１のＸ−Ｚ平面に沿った対向する二平面の両面に形成されていてもよい。 FIG. 4 is a perspective view of a single plate member 31. The plate member 31 has a rectangular parallelepiped transparent substrate 311 made of transparent glass or resin. The transparent substrate 311 is long in the X direction, and a reflective surface 312 is formed on one surface of two opposing planes along the XZ plane by vapor deposition of a metal such as aluminum. . Note that the reflecting surfaces 312 may also be formed on both surfaces of two opposing planes along the XZ plane of the transparent substrate 311.

Ｙ方向に延びる複数の板状部材２１をＸ方向に積層して並べることにより、Ｙ−Ｚ平面に沿った複数の反射面２１２が、板状部材２１のＸ方向の幅に応じた間隔でＸ方向に並んで配置される。同様に、Ｘ方向に延びる複数の板状部材３１をＹ方向に積層して並べることにより、Ｘ−Ｚ平面に沿った複数の反射面３１２が、板状部材３１のＹ方向の幅に応じた間隔でＹ方向に並んで配置される。そして、このような複数の板状部材２１，３１の配置により、各板状部材２１の反射面２１２と各板状部材３１の反射面３１２とは、Ｚ軸方向から見て互いに直交する位置関係となる。
つまり、この光学プレート２は、いわゆるコーナーミラーアレイといわれる光学素子の構造を有している。 By laminating and arranging a plurality of plate-like members 21 extending in the Y direction in the X direction, a plurality of reflective surfaces 212 along the YZ plane are arranged at intervals corresponding to the width of the plate-like member 21 in the X direction. Arranged side by side. Similarly, by arranging a plurality of plate-like members 31 extending in the X direction in a stacked manner in the Y direction, the plurality of reflecting surfaces 312 along the XZ plane correspond to the width of the plate-like member 31 in the Y direction. Arranged in the Y direction at intervals. And by such arrangement | positioning of several plate-shaped members 21 and 31, the reflective surface 212 of each plate-shaped member 21 and the reflective surface 312 of each plate-shaped member 31 are mutually orthogonally-positioned seeing from a Z-axis direction. It becomes.
That is, the optical plate 2 has an optical element structure called a corner mirror array.

次に、光学プレート２による結像原理について説明する。図５は、２次元（Ｘ−Ｚ平面内）での実像の結像原理を示している。点光源Ｐから発せられた複数の光線は、Ｚ軸に平行な反射面２１２でそれぞれ反射され、Ｘ軸に対して点光源Ｐとは反対側の位置Ｐ₀（点光源ＰとＸ軸に対して対称な位置）に集光する。これにより、位置Ｐ₀にて、点光源Ｐの実像が結像される。
なお、Ｙ−Ｚ平面内での実像の結像に関しても同様であり、点光源Ｐから発せられた複数の光線は、Ｚ軸に平行な反射面３１２でそれぞれ反射され、Ｙ軸に対して点光源Ｐとは反対側の位置Ｐ₀（点光源ＰとＸ軸に対して対称な位置）に集光する。これにより、位置Ｐ₀にて、点光源Ｐの実像が結像される。 Next, the principle of image formation by the optical plate 2 will be described. FIG. 5 shows the imaging principle of a real image in two dimensions (in the XZ plane). A plurality of light rays emitted from the point light source P are respectively reflected by the reflecting surface 212 parallel to the Z axis, and the position P ₀ opposite to the point light source P with respect to the X axis (with respect to the point light source P and the X axis). The light is symmetric). Thereby, a real image of the point light source P is formed at the position P ₀ .
The same applies to the formation of a real image in the YZ plane, and a plurality of light beams emitted from the point light source P are respectively reflected by the reflecting surface 312 parallel to the Z axis, and are pointed with respect to the Y axis. The light is condensed at a position P ₀ opposite to the light source P (a position symmetrical to the point light source P and the X axis). Thereby, a real image of the point light source P is formed at the position P ₀ .

図６は、３次元空間（ＸＹＺ座標系）での光線の反射を模式的に示している。３次元空間では、点光源Ｏから発せられた光線Ａを、Ｘ−Ｚ平面内の光線Ａ１と、Ｙ−Ｚ平面内の光線Ａ２とに分解し、図５に倣って、それぞれの光線Ａ１，Ａ２のＸ−Ｚ平面内またはＹ−Ｚ平面内での反射を考えることで、光線ＡのＺ軸との交点を求めることができる。つまり、Ｘ−Ｚ平面内の光線Ａ１は、Ｙ−Ｚ面に平行な反射面２１２で反射された後、Ｚ軸に向かい、Ｙ−Ｚ平面内の光線Ａ２は、Ｘ−Ｚ面に平行な反射面３１２で反射された後、Ｚ軸に向かう。これらの光線Ａ１，Ａ２は、Ｚ軸上の１点、つまり、点Ｏ₀で交わる。したがって、光線Ａは、反射面２１２および反射面３１２にて計２回反射した後、Ｚ軸上の点Ｏ₀に向かうことになる。 FIG. 6 schematically shows the reflection of light rays in a three-dimensional space (XYZ coordinate system). In the three-dimensional space, the light beam A emitted from the point light source O is decomposed into a light beam A1 in the XZ plane and a light beam A2 in the YZ plane. By considering the reflection of A2 in the XZ plane or the YZ plane, the intersection of the ray A with the Z axis can be obtained. That is, the light ray A1 in the XZ plane is reflected by the reflecting surface 212 parallel to the YZ plane and then goes to the Z axis, and the light ray A2 in the YZ plane is parallel to the XZ plane. After being reflected by the reflecting surface 312, it goes to the Z-axis. These light rays A1 and A2 intersect at one point on the Z axis, that is, at the point O ₀ . Therefore, the light beam A is reflected by the reflecting surface 212 and the reflecting surface 312 a total of two times, and then travels toward the point O ₀ on the Z axis.

図７は、３次元空間において、点光源Ｏから発せられた複数の光線が、別々の反射面を介して１点に集光する様子を模式的に示している。点光源Ｏから発せられた複数の光線は、図６と同様にして、Ｙ−Ｚ平面に平行な反射面２１２およびＸ−Ｚ平面に平行な反射面３１２で反射され、Ｚ軸上の同じ点Ｏ₀に集光する。これにより、点Ｏ₀にて、点光源Ｏの実像が結像される。 FIG. 7 schematically shows a state in which a plurality of light beams emitted from the point light source O are condensed at one point via separate reflecting surfaces in a three-dimensional space. A plurality of light rays emitted from the point light source O are reflected by the reflecting surface 212 parallel to the YZ plane and the reflecting surface 312 parallel to the XZ plane in the same manner as in FIG. Concentrate on O ₀ . Thereby, a real image of the point light source O is formed at the point O ₀ .

なお、以上では、光学パネル２０，３０を積層した２層構造の光学プレート２における結像原理を示したが、Ｖ字型（Ｌ字型）に並べた２枚の反射面をアレイ状に配置してＸ−Ｚ平面に平行な複数の反射面とＹ−Ｚ平面に平行な複数の反射面とが実際に直交している１層構造の光学プレート２においても、結像原理は同じである。 In the above description, the imaging principle of the optical plate 2 having the two-layer structure in which the optical panels 20 and 30 are stacked is shown. The imaging principle is the same in the optical plate 2 having a single layer structure in which a plurality of reflecting surfaces parallel to the XZ plane and a plurality of reflecting surfaces parallel to the YZ plane are actually orthogonal to each other. .

［画像表示装置］
画像表示装置１は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（ElectroLuminescent）ディスプレイ、ＣＲＴ（Cathode Ray Tube）等の平面的な表示画像１１を表示する表示装置からなる。
なお、画像表示装置１は上記構成に限らず、プロジェクターのように、表示画像１１を投影するものを使用することも可能である。 [Image display device]
The image display device 1 includes a display device that displays a flat display image 11 such as an LCD (Liquid Crystal Display), an EL (ElectroLuminescent) display, or a CRT (Cathode Ray Tube).
Note that the image display device 1 is not limited to the above configuration, and it is also possible to use an apparatus that projects the display image 11 such as a projector.

上記画像表示装置１は、表示画像１１を表示する表示部が平面状であり、当該表示部はＸ−Ｙ平面に平行に配置された光学プレート２の片面（入射面２２とする）に対向し、Ｘ−Ｙ平面に対してＸ軸を中心として角度θ１だけ傾斜して配置されている。この角度θ１は、図１の紙面上で反時計方向に45°傾斜した方向である。
なお、傾斜角度θ１は45°が空中像１２の画質向上のために最も望ましい角度であるが、空中像１２の画質が許容される範囲内であれば45°を中心とするある程度の角度範囲で増減可能である。
なお、光学プレート２の入射面２２は、表示画像１１を当該表示画像１１の法線に沿って入射面２２に向かって投影した場合に、少なくとも、表示画像１１の全体を投影させることができる大きさに設定することが望ましい。但し、表示画像１１の中央部のみが実質的に必要となる画像表示エリアであるような場合には、少なくとも、このような実質的に必要となる画像表示エリアのみが投影できる大きさに設定しても良い。 In the image display device 1, the display unit that displays the display image 11 has a planar shape, and the display unit faces one side (referred to as the incident surface 22) of the optical plate 2 arranged in parallel to the XY plane. Are inclined with respect to the XY plane by an angle θ1 about the X axis. This angle θ1 is a direction inclined 45 ° counterclockwise on the paper surface of FIG.
The inclination angle θ1 is 45 °, which is the most desirable angle for improving the image quality of the aerial image 12. However, if the image quality of the aerial image 12 is within the allowable range, the inclination angle θ1 has a certain angle range centered on 45 °. It can be increased or decreased.
The incident surface 22 of the optical plate 2 is large enough to project at least the entire display image 11 when the display image 11 is projected toward the incident surface 22 along the normal line of the display image 11. It is desirable to set this. However, when only the central portion of the display image 11 is an image display area that is substantially necessary, the size is set so that at least only such an image display area that is substantially necessary can be projected. May be.

上記画像表示装置１は表示画像１１の表示を行うと、光学プレート２によって、当該光学プレート２について面対称となる位置に空中像１２が結像する。即ち、この空中像１２は、Ｘ−Ｙ平面に対してＸ軸を中心として図１の紙面上で時計方向に角度θ２（＝45°）だけ傾斜している。 When the display device 11 displays the display image 11, the aerial image 12 is formed on the optical plate 2 at a position that is plane-symmetric with respect to the optical plate 2. That is, the aerial image 12 is inclined by an angle θ2 (= 45 °) clockwise with respect to the XY plane on the paper surface of FIG.

［発光部］
発光部７は、不可視光である赤外線光を出射する光源としての複数のLED（発光ダイオード）と、光源から出射された赤外線光を収束するシリンドリカルレンズとを備えている。
各LEDはＸ軸方向に沿って一列に並べられ、これらのLEDの光軸がいずれも平行となるように配置されている。
そして、各LEDの出射方向前方にＸ方向に長尺なシリンドリカルレンズが固定装備されている。
シリンドリカルレンズは、各LEDから出射された赤外線光を、その光軸に垂直且つ各LEDの並び方向に垂直な方向について集光を行う。
従って、各LEDを発光させると、図１に示すように、シリンドリカルレンズの集光により、全てのLEDの光軸を含んだ平面状の赤外線光７１が形成される。なお、各LEDから拡散しない光線状の赤外線光を発光させて、これらを平行且つ平面状に並べてもよい。 [Light emitting part]
The light emitting unit 7 includes a plurality of LEDs (light emitting diodes) as light sources that emit infrared light that is invisible light, and a cylindrical lens that converges infrared light emitted from the light source.
The LEDs are arranged in a line along the X-axis direction, and are arranged so that the optical axes of these LEDs are parallel to each other.
A cylindrical lens that is long in the X direction is fixedly provided in front of the emission direction of each LED.
The cylindrical lens condenses the infrared light emitted from each LED in a direction perpendicular to the optical axis and perpendicular to the alignment direction of the LEDs.
Therefore, when each LED emits light, as shown in FIG. 1, planar infrared light 71 including the optical axes of all the LEDs is formed by condensing the cylindrical lens. It is also possible to emit light-like infrared light that does not diffuse from each LED and arrange them in parallel and in a plane.

発光部７は、筐体８における空中像１２の結像位置の近傍において、平面状の空中像１２と平面状の赤外線光７１とが互いに平行となり、且つ、接近又は重なるように配置されている。
この非接触式入力装置１０では、光学プレート２によって形成される平面状の空中像１２が観察者からの指示を入力するための入力画面となり、例えば、当該空中像１２内に表示されるアイコンやボタンに対して観察者が指先Ｆでこれらを選択指示して所定の指示入力作業が行われる。
このとき、平面状の空中像１２に接近又は重ねて平面状の赤外線光７１を検出光として照射することにより、上記指示入力作業中の観察者の指先Ｆが平面状の赤外線光７１に侵入することで赤外線光の散乱光が発生する。
従って、この赤外線光の散乱光の発生位置を特定することで、観察者の指先Ｆの位置を検出することができるようになる。 In the vicinity of the imaging position of the aerial image 12 in the housing 8, the light emitting unit 7 is arranged so that the planar aerial image 12 and the planar infrared light 71 are parallel to each other and approach or overlap. .
In the non-contact type input device 10, the planar aerial image 12 formed by the optical plate 2 becomes an input screen for inputting an instruction from the observer. For example, an icon displayed in the aerial image 12, The observer selects and instructs the buttons with the fingertip F, and a predetermined instruction input operation is performed.
At this time, by irradiating the planar aerial image 12 as detection light with approaching or overlapping the planar aerial image 12, the fingertip F of the observer during the instruction input operation enters the planar infrared light 71. As a result, scattered light of infrared light is generated.
Therefore, the position of the fingertip F of the observer can be detected by specifying the generation position of the scattered light of the infrared light.

［ビームスプリッター］
ビームスプリッター４は、図１に示すように、Ｘ−Ｙ面に平行な平板状であって、光学プレート２の入射面２２とは逆側の面（出射面２３とする）側に配置されている。
このビームスプリッター４は、光の透過率と反射率がいずれも50％となるいわゆるハーフミラーが使用されるが、これに限定されず、透過率が反射率よりも大きいものや透過率が反射率よりも小さいものも使用可能である。 [Beam splitter]
As shown in FIG. 1, the beam splitter 4 has a flat plate shape parallel to the XY plane, and is disposed on the surface opposite to the incident surface 22 of the optical plate 2 (referred to as an output surface 23). Yes.
The beam splitter 4 uses a so-called half mirror in which both the light transmittance and the reflectance are 50%. However, the beam splitter 4 is not limited to this, and the beam splitter 4 has a transmittance greater than the reflectance or the transmittance is the reflectance. Smaller ones can also be used.

このビームスプリッター４を設けることにより、空中像１２を結像する際に光学プレート２からの光を透過させることができ、また、空中像１２側からの光をカメラ５側に反射することができる。
なお、図１では、ビームスプリッター４が光学プレート２に密接するように配置した例を示しているが、カメラ５の光軸５ａを空中像１２に対して垂直に向けることができれば、ビームスプリッター４を光学プレート２から離間させても良いし、Ｘ−Ｙ平面に対して傾斜した向きで配置しても良い。 By providing this beam splitter 4, the light from the optical plate 2 can be transmitted when the aerial image 12 is formed, and the light from the aerial image 12 side can be reflected to the camera 5 side. .
Although FIG. 1 shows an example in which the beam splitter 4 is arranged so as to be in close contact with the optical plate 2, if the optical axis 5 a of the camera 5 can be directed perpendicular to the aerial image 12, the beam splitter 4. May be separated from the optical plate 2 or may be arranged in an inclined direction with respect to the XY plane.

なお、ビームスプリッター４は、表示画像１１の全体を透過させることができる大きさに設定することが望ましい。但し、表示画像１１の外縁部を除いた部分のみが実質的に必要となる画像表示エリアであるような場合には、少なくとも、このような実質的に必要となる画像表示エリアのみが透過できる大きさに設定しても良い。 The beam splitter 4 is desirably set to a size that allows the entire display image 11 to pass through. However, in the case where only the portion excluding the outer edge portion of the display image 11 is an image display area that is substantially necessary, at least the size of such an image display area that is substantially necessary can be transmitted. You may set it.

また、このビームスプリッター４は、空中像１２側の面全体に、可視光を透過し、不可視光としての赤外線光を反射する半透過層４１が形成されている。
この半透過層４１は、赤外線光を反射する特性を有するポリエステルフィルムを何重にも積層してなるフィルム材からなり、当該半透過層４１がビームスプリッター４の空中像１２側の面全体に貼着されている。
当該フィルム材としては、例えば、３Ｍ社製「スコッチティント（登録商標）オートフィルムクリスタリン」が好適である。 Further, the beam splitter 4 is formed with a semi-transmissive layer 41 that transmits visible light and reflects infrared light as invisible light over the entire surface on the aerial image 12 side.
The semi-transmissive layer 41 is made of a film material in which a plurality of polyester films having a property of reflecting infrared light are laminated, and the semi-transmissive layer 41 is applied to the entire surface of the beam splitter 4 on the aerial image 12 side. It is worn.
As the film material, for example, “Scotch Tint (registered trademark) auto film crystallin” manufactured by 3M is suitable.

［カメラ］
カメラ５は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子と光学系とを備えている。
このカメラ５の光学系は、図１に示すように、その光軸５ａがビームスプリッター４における空中像１２側の面の半透過層４１に反射して、空中像１２に対して垂直に入射するように配置されている。即ち、カメラ５の光学系の光軸５ａは、ビームスプリッター４の法線に対してＸ軸回りに図１の紙面上で反時計方向に角度θ３（＝45°）だけ傾斜した向きに向けられている。 [camera]
The camera 5 includes an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) and an optical system.
In the optical system of the camera 5, as shown in FIG. 1, the optical axis 5 a is reflected by the semi-transmissive layer 41 on the surface of the beam splitter 4 on the side of the aerial image 12 and enters perpendicularly to the aerial image 12. Are arranged as follows. That is, the optical axis 5a of the optical system of the camera 5 is directed in a direction inclined by an angle θ3 (= 45 °) counterclockwise around the X axis with respect to the normal line of the beam splitter 4 on the paper surface of FIG. ing.

なお、カメラ５の光学系の光軸５ａがビームスプリッター４を介して空中像１２に対して垂直に入射する場合の「垂直」とは、厳格に垂直であることが望ましいが、実質的に垂直とみなせる範囲（ほぼ垂直な範囲）を含むものとする。即ち、光軸５ａが垂直に対して傾斜すると、後述する分解能の低下率を概算する数式(5)に示すように、その傾斜角度に応じて撮像画像の分解能は低下を生じるが、その低下率が十分に少ない範囲での傾斜は実質的に「垂直」とみなすことができる。
例えば、垂直に対して±10°以内の角度範囲は、概算的な分解能の低下率は96％程度に抑えられ、「垂直」の範囲に含まれる。 Note that “vertical” when the optical axis 5a of the optical system of the camera 5 is perpendicularly incident on the aerial image 12 via the beam splitter 4 is preferably strictly vertical, but substantially vertical. Range (substantially vertical range). That is, when the optical axis 5a is tilted with respect to the vertical, the resolution of the picked-up image is lowered according to the tilt angle, as shown in Equation (5) that approximates the rate of decrease in resolution described later. An inclination within a sufficiently small range can be regarded as substantially “vertical”.
For example, an angular range within ± 10 ° with respect to the vertical is included in the “vertical” range because the approximate resolution reduction rate is suppressed to about 96%.

カメラ５には可視光をカットするフィルター部材５１が装備され、当該フィルター部材５１を介して撮影を行う。
前述したように、カメラ５は、ビームスプリッター４の反射により、平板状の赤外線光７１への指先Ｆの侵入によって発生する散乱光の撮影を行う。このとき、平板状の赤外線光７１の周囲や背景が撮影範囲に含まれるが、フィルター部材５１が可視光をカットするので、周囲の物体や背景は撮影されず、専ら、指先Ｆに生じる散乱光を撮影することができる。 The camera 5 is equipped with a filter member 51 that cuts visible light, and photographing is performed through the filter member 51.
As described above, the camera 5 captures the scattered light generated by the penetration of the fingertip F into the flat infrared light 71 by the reflection of the beam splitter 4. At this time, the surroundings and background of the flat infrared light 71 are included in the imaging range, but since the filter member 51 cuts visible light, the surrounding objects and background are not photographed, and the scattered light generated exclusively at the fingertip F is exclusively captured. Can be taken.

［制御装置］
図８は非接触式入力装置１０の制御系を示すブロック図である。
制御装置９は、画像表示装置１、発光部７、カメラ５に接続され、これらを統括的に制御する。なお、制御装置９には、画像表示装置１、発光部７、カメラ５を駆動させる駆動回路やインターフェイス、カメラ５の撮影画像データを処理する画像処理装置が併設されているが、これらの図示は省略する。
制御装置９は、画像表示装置１において表示画像１１として表示する複数種類の表示画像データを備えるデータメモリ９１と、これらの表示画像データに従って画像表示装置１において表示画像１１を表示させる表示制御部９２とを備えている。
また、制御装置９は、表示画像１１の表示と発光部７による平面状の赤外線光７１の照射を行っている状態で、周期的にカメラ５による撮影を実行させる撮影制御部９３を備えている。
さらに、制御装置９は、周期的な撮影により撮影画像データを取得すると、散乱光が発生してない状態で撮影された基準画像データとの差分画像データを生成し、これによって散乱光の発生位置、即ち、観察者の指先Ｆの位置を検出する指示位置検出部９４を備えている。
また、制御装置９は、検出された指先Ｆの位置と表示画像１１として表示されている表示画像データとを照合して、表示画像１１（空中像１２）内のいずれの位置に指示入力が行われているかを判定すると共に、表示画像１１として表示されている表画像データの表示内容と判定された指示入力位置から観察者が入力した指示内容を特定する指示内容特定部９５を備えている。
指示内容特定部９５において特定された指示内容は、非接触式入力装置１０の図示しない外部装置に出力し、当該外部装置の処理又は制御に利用することができる。
また、指示内容特定部９５において特定された指示内容は、表示制御部９２に入力され、表示制御部９２では、指示内容に応じた新たな表示に切り替える表示制御を行う構成としても良い。 [Control device]
FIG. 8 is a block diagram showing a control system of the non-contact input device 10.
The control device 9 is connected to the image display device 1, the light emitting unit 7, and the camera 5 and comprehensively controls them. The control device 9 is provided with an image display device 1, a light emitting unit 7, a drive circuit and interface for driving the camera 5, and an image processing device for processing captured image data of the camera 5. Omitted.
The control device 9 includes a data memory 91 including a plurality of types of display image data to be displayed as the display image 11 on the image display device 1, and a display control unit 92 that displays the display image 11 on the image display device 1 according to these display image data. And.
In addition, the control device 9 includes a photographing control unit 93 that periodically performs photographing with the camera 5 in a state where the display image 11 is displayed and the planar infrared light 71 is emitted by the light emitting unit 7. .
Further, when the captured image data is acquired by periodic imaging, the control device 9 generates difference image data from the reference image data captured in a state where scattered light is not generated, and thereby the generation position of the scattered light That is, an instruction position detection unit 94 that detects the position of the fingertip F of the observer is provided.
Further, the control device 9 collates the detected position of the fingertip F with the display image data displayed as the display image 11, and inputs an instruction to any position in the display image 11 (aerial image 12). And an instruction content specifying unit 95 for specifying the instruction content input by the observer from the instruction input position determined as the display content of the table image data displayed as the display image 11.
The instruction content specified by the instruction content specifying unit 95 can be output to an external device (not shown) of the non-contact input device 10 and used for processing or control of the external device.
The instruction content specified by the instruction content specifying unit 95 may be input to the display control unit 92, and the display control unit 92 may be configured to perform display control to switch to a new display according to the instruction content.

［非接触式入力装置の各構成による作用］
上記構成からなる非接触式入力装置１０は、画像表示装置１において所定の表示画像データに基づいて表示画像１１が表示されると、画像表示装置１からの光が光学プレート２の入射面２２に入射し、出射面２３側からビームスプリッター４を透過して出射される。
その結果、光学プレート２について面対称となる位置に空中像１２が結像する。この空中像１２は、表示画像１１と同様に、所定の表示画像データに基づいた画像となる。
画像表示装置１による表示画像１１の表示と共に、発光部７では各LEDが発光し、空中像１２に沿って平面状の赤外線光７１が形成される。
観察者は、空中像１２をその正面から観察し、空中像１２に対して指先Ｆにより指示入力操作を実行する。これにより、指先Ｆが平面状の赤外線光７１に侵入して赤外線の散乱光が発生する。
カメラ５は、ビームスプリッター４を介する光軸５ａが空中像１２に対して垂直となるように向けられているので、指先Ｆに生じた赤外線の散乱光は、空中像１２に対して垂直方向から撮影される。
このとき、ビームスプリッター４には半透過層４１が形成されているので、指先Ｆに生じた赤外線の散乱光は、その殆どがビームスプリッター４を透過することなくカメラ５側に反射される。
また、観察者の指先Ｆの周囲の可視光の大部分は、ビームスプリッター４の半透過層４１を透過し、反射した一部の可視光もカメラ５のフィルター部材５１でカットされ、その殆どは撮影されない。
このように、非接触式入力装置１０は、指先Ｆの周囲の可視光を十分に排除した状態で、空中像１２に対する垂直方向から指先Ｆに生じた赤外線の散乱光を撮影し、これに基づいて観察者の指先Ｆの指示位置を精度良く検出して、その指示内容を特定することができる。 [Operation by each configuration of non-contact input device]
When the display image 11 is displayed on the image display device 1 based on predetermined display image data, the non-contact type input device 10 having the above-described configuration causes light from the image display device 1 to enter the incident surface 22 of the optical plate 2. Incident light is transmitted through the beam splitter 4 from the emission surface 23 side and emitted.
As a result, the aerial image 12 is formed at a position that is plane-symmetric with respect to the optical plate 2. Similar to the display image 11, the aerial image 12 is an image based on predetermined display image data.
Along with the display of the display image 11 by the image display device 1, each LED emits light in the light emitting unit 7, and planar infrared light 71 is formed along the aerial image 12.
The observer observes the aerial image 12 from the front and performs an instruction input operation with the fingertip F on the aerial image 12. As a result, the fingertip F enters the planar infrared light 71 and infrared scattered light is generated.
Since the camera 5 is directed so that the optical axis 5 a via the beam splitter 4 is perpendicular to the aerial image 12, the infrared scattered light generated at the fingertip F is perpendicular to the aerial image 12. Taken.
At this time, since the translucent layer 41 is formed on the beam splitter 4, most of the infrared scattered light generated at the fingertip F is reflected to the camera 5 side without passing through the beam splitter 4.
Further, most of the visible light around the observer's fingertip F is transmitted through the semi-transmissive layer 41 of the beam splitter 4, and part of the reflected visible light is also cut by the filter member 51 of the camera 5, most of which is Not taken.
As described above, the non-contact type input device 10 captures the infrared scattered light generated at the fingertip F from the vertical direction with respect to the aerial image 12 in a state where the visible light around the fingertip F is sufficiently excluded, and based on this. Thus, it is possible to accurately detect the indicated position of the fingertip F of the observer and specify the content of the instruction.

［第一の実施形態の技術的効果］
上記非接触式入力装置１０では、表示画像１１からの光の一部を透過し、他の一部を反射させるビームスプリッター４を介して、カメラ５が空中像１２側の観察者の指先Ｆの赤外線散乱光を撮影している。
このため、観察者の指先Ｆの赤外線散乱光を空中像１２に対する垂直方向から撮影することができ、台形歪みを低減して、指示位置検出部９４が、より正確に指先Ｆが指し示す入力位置座標を検出することが可能となる。
また、台形歪みを低減するので、空中像１２を大型化した場合でも、入力位置座標をより正確に検出することが可能となる。
さらに、台形歪み低減のためにカメラ５を空中像１２から離して配置する必要がなくなり、装置の小型化を図ることが可能となる。
また、観察者から見て、カメラ５を空中像１２、ビームスプリッター４を介した配置としているので、カメラ５を観察者から認識されにくい配置とすることができる。 [Technical effects of the first embodiment]
In the non-contact type input device 10, the camera 5 is connected to the fingertip F of the observer on the side of the aerial image 12 through the beam splitter 4 that transmits a part of the light from the display image 11 and reflects the other part. Shooting infrared scattered light.
For this reason, the infrared scattered light of the observer's fingertip F can be photographed from the direction perpendicular to the aerial image 12, and the trapezoidal distortion is reduced, and the pointing position detection unit 94 more accurately inputs the input position coordinates indicated by the fingertip F. Can be detected.
Further, since the trapezoidal distortion is reduced, the input position coordinates can be detected more accurately even when the aerial image 12 is enlarged.
Furthermore, it is not necessary to dispose the camera 5 away from the aerial image 12 to reduce trapezoidal distortion, and the apparatus can be downsized.
Further, since the camera 5 is arranged via the aerial image 12 and the beam splitter 4 as viewed from the observer, the camera 5 can be arranged so as not to be recognized by the observer.

また、非接触式入力装置１０は、空中像１２に沿った平面状の赤外線光７１を発光する発光部７を有するので、平面状の赤外線光７１に侵入した観察者の指先Ｆに生じる散乱光に基づいて、当該指先Ｆの位置を容易且つより正確に検出することができる。
特に、発光部７からの平面状の検出光を赤外線光としているので、指先Ｆの周囲の可視光線との識別を行うことができ、指先Ｆの位置をより正確に検出することができる。 Further, since the non-contact type input device 10 includes the light emitting unit 7 that emits the planar infrared light 71 along the aerial image 12, the scattered light generated at the fingertip F of the observer who has entered the planar infrared light 71. Based on the above, the position of the fingertip F can be detected easily and more accurately.
In particular, since the planar detection light from the light emitting unit 7 is infrared light, it can be distinguished from visible light around the fingertip F, and the position of the fingertip F can be detected more accurately.

また、カメラ５が、可視光をカットするフィルター部材５１を介して観察者の指先Ｆに生じる散乱光を撮影するので、指先Ｆの周囲の可視光の影響を低減して当該指先Ｆの位置を検出することができ、検出精度をさらに向上させることが可能となる。 Further, since the camera 5 captures the scattered light generated at the fingertip F of the observer through the filter member 51 that cuts visible light, the influence of visible light around the fingertip F is reduced and the position of the fingertip F is determined. Thus, the detection accuracy can be further improved.

また、ビームスプリッター４が、表面で可視光を透過し、不可視光である赤外線光を反射する半透過層４１を有するので、指先Ｆの周囲の可視光の影響をさらに低減することができ、指先Ｆの位置検出精度をさらに向上させることが可能となる。 In addition, since the beam splitter 4 includes the semi-transmissive layer 41 that transmits visible light on the surface and reflects infrared light that is invisible, the influence of visible light around the fingertip F can be further reduced. The position detection accuracy of F can be further improved.

また、非接触式入力装置１０では、平面的な被対象物からの光を空中に結像させて空中像を形成する光学素子として、プレート平面に対して垂直方向から見て互いに直交する複数の反射面２１２，３１２を有する光学プレート２を使用している。
これにより、より精細に空中像１２を結像させることが可能となる。 Further, in the non-contact type input device 10, as an optical element that forms an aerial image by forming light from a planar object in the air, a plurality of orthogonal elements as viewed from the direction perpendicular to the plate plane are used. An optical plate 2 having reflection surfaces 212 and 312 is used.
Thereby, it becomes possible to form the aerial image 12 more finely.

ここで、カメラ５が撮影する方向が空中像１２に対する法線方向に対して傾斜を生じた場合の分解能への影響について説明する。
図９は撮影面に対してカメラ５の光軸５ａを垂直に向けて撮影を行う場合（正対状態とする）と撮影面の法線に対してカメラ５の光軸５ａが傾斜角度θで傾斜した場合（傾斜状態とする）における各部の寸法を示す説明図である。 Here, the influence on the resolution when the direction in which the camera 5 captures the image is inclined with respect to the direction normal to the aerial image 12 will be described.
FIG. 9 shows a case where the optical axis 5a of the camera 5 is oriented perpendicularly to the imaging plane (when facing) and the optical axis 5a of the camera 5 is inclined at an angle θ with respect to the normal of the imaging plane. It is explanatory drawing which shows the dimension of each part in the case of inclining (it shall be in an inclined state).

図９の符号は以下の通りである。
ω：カメラ５の半画角
Ｔ：カメラ５から撮影面Ｅまでの距離
Ｄａ：正対状態のカメラ５の撮影範囲の撮影面Ｅに沿った方向の幅
Ｄｂ：傾斜状態のカメラ５の撮影範囲の撮影面Ｅに沿った方向の幅
ａ：正対状態のカメラ５の撮影範囲の一端部から傾斜状態の撮影範囲の一端部までの撮影面Ｅに沿った方向の幅
ｂ：正対状態のカメラ５の撮影範囲の他端部から傾斜状態の撮影範囲の他端部までの撮影面Ｅに沿った方向の幅 The symbols in FIG. 9 are as follows.
ω: Half angle of view of camera 5 T: Distance from camera 5 to imaging plane E Da: Width of imaging range of camera 5 in the face-to-face state along imaging plane E Db: Imaging range of camera 5 in tilted state Width a in the direction along the shooting plane E: Width in the direction along the shooting plane E from one end of the shooting range of the camera 5 in the facing state to one end of the shooting range in the inclined state b: In the facing state Width in the direction along the photographing surface E from the other end of the photographing range of the camera 5 to the other end of the photographing range in the inclined state

上記各寸法について次式(1)〜(4)が成立する。
ａ＝Ｔtanω−Ｔtan(ω−θ)＝Ｔ{tanω−tan(ω−θ)} …(1)
ｂ＝Ｔtan(ω＋θ)−Ｔtanω＝Ｔ{tan(ω＋θ)−tanω} …(2)
Ｄｂ＝Ｄａ−ａ＋ｂ＝Ｄａ−２Ｔtanω＋Ｔtan(ω−θ)＋Ｔtan(ω＋θ) …(3)
Ｄａ＝２Ｔtanω …(4) The following equations (1) to (4) are established for the above dimensions.
a = Ttanω−Ttan (ω−θ) = T {tanω−tan (ω−θ)} (1)
b = Ttan (ω + θ) −Ttanω = T {tan (ω + θ) −tanω} (2)
Db = Da−a + b = Da−2Ttan ω + Ttan (ω−θ) + Ttan (ω + θ) (3)
Da = 2Ttanω (4)

正対状態から傾斜状態にカメラ５を傾斜させた場合の分解能の低下率Ｒは次式(5)により求まる。なお、これらの計算は、カメラ５の光学系のレンズの歪曲収差を考慮しておらず、概算的なものである。
Ｒ＝Ｄａ／Ｄｂ
＝２Ｔtanω／{Ｔtan(ω−θ)＋Ｔtan(ω＋θ)}
＝２tanω／{tan(ω−θ)＋tan(ω＋θ)} …(5) The reduction rate R of resolution when the camera 5 is tilted from the directly-facing state to the tilted state is obtained by the following equation (5). Note that these calculations are approximate without considering the distortion of the lens of the optical system of the camera 5.
R = Da / Db
= 2Ttanω / {Ttan (ω−θ) + Ttan (ω + θ)}
= 2tanω / {tan (ω−θ) + tan (ω + θ)} (5)

上式(5)によれば、例えば、カメラ５の光軸５ａが空中像１２の法線に対して30°傾斜した方向から撮影した場合には、分解能の低下率Ｒ＝66.7％となる。
従って、非接触式入力装置１０のようにビームスプリッター４を介してカメラ５の光軸５ａが空中像１２に対して垂直となる方向から撮影した場合には、台形歪みの影響だけでなく、傾斜による分解能の低下を効果的に抑制し、観察者の指先Ｆをより精度良く検出することが可能となる。 According to the above equation (5), for example, when the optical axis 5a of the camera 5 is photographed from a direction inclined by 30 ° with respect to the normal line of the aerial image 12, the resolution reduction rate R = 66.7%.
Therefore, when the optical axis 5a of the camera 5 is photographed from the direction perpendicular to the aerial image 12 via the beam splitter 4 as in the non-contact input device 10, not only the influence of trapezoidal distortion but also the tilt It is possible to effectively suppress a decrease in resolution due to the above and to detect the fingertip F of the observer with higher accuracy.

［全反射ミラーの追加］
図１０は非接触式入力装置１０に全反射ミラー５２を加えた例を示している（一部の構成については図示を省略している）。なお、この例では、全反射ミラー５２を新たに加えたこと及びカメラ５の配置以外については前述した非接触式入力装置１０と同一なので、他の構成については同符号を付して重複する説明は省略する。 [Addition of total reflection mirror]
FIG. 10 shows an example in which a total reflection mirror 52 is added to the non-contact input device 10 (illustration is omitted for some configurations). In this example, since the total reflection mirror 52 is newly added and the arrangement other than the arrangement of the camera 5 is the same as the non-contact type input device 10 described above, the other components are denoted by the same reference numerals and overlapped. Is omitted.

非接触式入力装置１０では、表示画像１１から光学プレート２を経て空中像１２に到るまでの光の経路を避けてカメラ５を配置する必要があるので、図１の構成ではカメラ５を、光学プレート２から離間させて配置していた。
そこで、ビームスプリッター４に反射面が対向する配置で全反射ミラー５２を設け、当該全反射ミラー５２によりカメラ５の光軸５ａをビームスプリッター４側に反射させ、さらに、ビームスプリッター４に反射した光軸５ａが空中像１２に対して垂直となるようにカメラ５を配置する。 In the non-contact type input device 10, it is necessary to arrange the camera 5 while avoiding the light path from the display image 11 through the optical plate 2 to the aerial image 12. The optical plate 2 was placed apart from the optical plate 2.
Therefore, a total reflection mirror 52 is provided in such a manner that the reflection surface faces the beam splitter 4, the optical axis 5 a of the camera 5 is reflected toward the beam splitter 4 by the total reflection mirror 52, and the light reflected on the beam splitter 4 is further reflected. The camera 5 is arranged so that the axis 5a is perpendicular to the aerial image 12.

これにより、カメラ５をビームスプリッター４に対してより近い位置、さらには、ビームスプリッター４よりも画像表示装置１側に配置することができ、非接触式入力装置１０の小型化を図ることが可能となる。
また、ビームスプリッター４の上方にカメラ５の配置スペースが確保できないような場合にも有効である。 As a result, the camera 5 can be disposed closer to the beam splitter 4 and further closer to the image display device 1 than the beam splitter 4, and the non-contact input device 10 can be downsized. It becomes.
This is also effective when the space for arranging the camera 5 cannot be secured above the beam splitter 4.

なお、全反射ミラー５２は、反射面がＸ−Ｙ平面に平行となるように配置しても良いが、カメラ５の光軸５ａが空中像１２に対して垂直となるのであれば、全反射ミラー５２の反射面をＸ−Ｙ平面に対して傾斜させて配置しても良い。 The total reflection mirror 52 may be arranged such that the reflection surface is parallel to the XY plane. However, if the optical axis 5a of the camera 5 is perpendicular to the aerial image 12, total reflection is performed. The reflecting surface of the mirror 52 may be arranged to be inclined with respect to the XY plane.

［第二の実施形態］
本発明の第二の実施の形態である非接触式入力装置１０Ａについて図１１及び図１２に基づいて説明する。図１１は非接触式入力装置１０Ａの主要な構成を模式的に示す説明図である。
この非接触式入力装置１０Ａは、平面的な被対象物（表示画像１１）からの光を空中に結像させて空中像１２を形成する光学素子として再帰反射体２Ａを使用したことを特徴としている。
そして、この非接触式入力装置１０Ａの構成は、光学プレート２を再帰反射体２Ａに替えた点を除いて前述した非接触式入力装置１０と同一なので、同一となる構成については同符号を付して重複する説明は省略する。また、図１１では筐体８及び制御装置９の図示は省略している。 [Second Embodiment]
A non-contact input device 10A according to a second embodiment of the present invention will be described with reference to FIGS. FIG. 11 is an explanatory diagram schematically showing the main configuration of the non-contact input device 10A.
This non-contact type input device 10A is characterized in that the retroreflector 2A is used as an optical element that forms an aerial image 12 by focusing light from a planar object (display image 11) in the air. Yes.
The configuration of the non-contact input device 10A is the same as that of the non-contact input device 10 described above except that the optical plate 2 is replaced with a retroreflector 2A. Thus, duplicate description is omitted. In FIG. 11, the casing 8 and the control device 9 are not shown.

再帰反射体２Ａは、再帰反射面２１Ａをビームスプリッター４側に対向させた状態で、当該ビームスプリッター４の表示画像１１側に配置されている。
再帰反射体２Ａの再帰反射面２１Ａは、再帰反射性を備えており、再帰反射面２１Ａに入射した光を内部反射により入射方向と平行且つ逆方向に出射する特性を有している。
その反射面には、微小球体からなるガラスビーズやマイクロプリズムが全体に敷き詰められており、ガラスビーズ又はマイクロプリズムへの入射光を内部での屈折と反射によって平行且つ逆方向に出射させることができる。なお、再帰反射体については周知の構造であるため、詳細な説明は省略する。 The retroreflector 2A is arranged on the display image 11 side of the beam splitter 4 with the retroreflective surface 21A facing the beam splitter 4 side.
The retroreflective surface 21A of the retroreflector 2A has retroreflectivity, and has a characteristic of emitting light incident on the retroreflective surface 21A in a direction opposite to and parallel to the incident direction by internal reflection.
On the reflection surface, glass beads and microprisms made of microspheres are spread all over, and light incident on the glass beads or microprisms can be emitted in parallel and in opposite directions by internal refraction and reflection. . Since the retroreflector has a well-known structure, detailed description thereof is omitted.

再帰反射体２Ａは、表示画像１１からの光がビームスプリッター４で反射して再帰反射面２１Ａに入射するように配置されている。
この再帰反射体２Ａは、図１２に示すように、上記配置により、表示画像１１の点ｄからビームスプリッター４に向かって各方向に発せられた光は、いずれも、再帰反射体２Ａの再帰反射面２１Ａにより、入射方向と平行に逆方向に反射する。これにより、表示画像１１の点ｄから発せられた光は、ビームスプリッター４を透過して、当該ビームスプリッター４について面対称となる点ｄ₀に結像する。
表示画像１１のいずれに位置する点ｄも全て同様に結像するので、表示画像１１はビームスプリッター４について面対称となる位置に結像して空中像１２が形成される。 The retroreflector 2A is arranged such that light from the display image 11 is reflected by the beam splitter 4 and enters the retroreflective surface 21A.
As shown in FIG. 12, the retroreflector 2A is configured so that any light emitted from the point d of the display image 11 toward the beam splitter 4 in each direction is retroreflected by the retroreflector 2A. The surface 21A reflects in the opposite direction parallel to the incident direction. As a result, the light emitted from the point d of the display image 11 passes through the beam splitter 4 and forms an image at a point d ₀ that is plane-symmetric with respect to the beam splitter 4.
Since all the points d located in any of the display images 11 are similarly imaged, the display image 11 is imaged at a position that is plane-symmetric with respect to the beam splitter 4 to form an aerial image 12.

なお、再帰反射体２Ａの再帰反射面２１Ａは、図１１に示すように、ビームスプリッター４及び表示画像１１側を向くように傾斜させることが望ましいが、表示画像１１に対して垂直にビームスプリッター４に向かった光の当該ビームスプリッター４による反射光が全体的に再帰反射体２Ａの再帰反射面２１Ａに入射させることが可能であれば、その傾斜角度は変更可能である。 The retroreflecting surface 21A of the retroreflector 2A is preferably inclined so as to face the beam splitter 4 and the display image 11 as shown in FIG. 11, but the beam splitter 4 is perpendicular to the display image 11. If the light reflected by the beam splitter 4 is directed to the retroreflecting surface 21A of the retroreflector 2A as a whole, the tilt angle can be changed.

この非接触式入力装置１０Ａは、前述した非接触式入力装置１０と同様に、カメラ５はビームスプリッター４を介する光軸５ａが空中像１２に対して垂直となるように配置されているので、台形歪みを低減し、また、撮影時の分解能の低下を抑制して、入力位置座標をより正確に検出することが可能となる。
さらに、非接触式入力装置１０Ａは、光学素子として再帰反射体２Ａを備えているので、光学プレート２に比べて比較的製造が容易であり、製造コストの低減を図ることができる。
また、再帰反射体２Ａは、その再帰反射面２１Ａの傾斜角度をより広範囲に設定することができるので、装置の内部構成の配置について設計の自由度が高く、また、装置の小型化を容易に実現することができる。 In this non-contact type input device 10A, the camera 5 is arranged so that the optical axis 5a through the beam splitter 4 is perpendicular to the aerial image 12, similarly to the non-contact type input device 10 described above. It becomes possible to detect the input position coordinates more accurately by reducing the trapezoidal distortion and suppressing the decrease in resolution during photographing.
Furthermore, since the non-contact input device 10A includes the retroreflector 2A as an optical element, the non-contact input device 10A is relatively easy to manufacture compared to the optical plate 2 and can reduce the manufacturing cost.
Further, since the retroreflector 2A can set the inclination angle of the retroreflective surface 21A in a wider range, the degree of freedom in designing the arrangement of the internal configuration of the apparatus is high, and the apparatus can be easily downsized. Can be realized.

［カメラと再帰反射体の配置の他の例］
図１３は装置内部におけるカメラ５と再帰反射体２Ａの配置の他の例を示す説明図である。
この例では、ビームスプリッター４に対する画像表示装置１の配置は図１１の非接触式入力装置１０Ａの配置と同じだが、カメラ５の配置が、図１１の非接触式入力装置１０Ａの配置に対して、ビームスプリッター４について面対称となる位置に変更され、再帰反射体２Ａの配置が、図１１の非接触式入力装置１０Ａの配置に対して、ビームスプリッター４について面対称となる位置に変更されている。
また、この図１３の例の場合、ビームスプリッター４に半透過層４１は、形成されない。 [Other examples of arrangement of camera and retroreflector]
FIG. 13 is an explanatory view showing another example of the arrangement of the camera 5 and the retroreflector 2A inside the apparatus.
In this example, the arrangement of the image display device 1 with respect to the beam splitter 4 is the same as the arrangement of the non-contact input device 10A in FIG. 11, but the arrangement of the camera 5 is different from the arrangement of the non-contact input device 10A in FIG. The beam splitter 4 is changed to a position that is plane symmetric, and the arrangement of the retroreflectors 2A is changed to a position that is plane symmetric with respect to the beam splitter 4 with respect to the arrangement of the non-contact input device 10A of FIG. Yes.
In the case of the example of FIG. 13, the semi-transmissive layer 41 is not formed on the beam splitter 4.

カメラ５と再帰反射体２Ａを図１３に示す配置とした場合には、画像表示装置１において表示画像１１が表示されると、画像表示装置１からの光がビームスプリッター４を透過して再帰反射体２Ａの再帰反射面２１Ａに再帰反射され、その反射光はビームスプリッター４で反射されて、当該ビームスプリッター４について表示画像１１と面対称となる位置で空中像１２として結像する。
一方、カメラ５は、光軸がビームスプリッター４を透過して、空中像１２に対して垂直となるように配置されているので、発光部７の平面状の赤外線光７１によって生じる観察者の指先Ｆの散乱光を正面から撮影することができる。
従って、この図１３に示す配置の場合も、図１１の非接触式入力装置１０Ａと同様に、台形歪みを低減し、また、撮影時の分解能の低下を抑制して、入力位置座標をより正確に検出することが可能となる。 When the camera 5 and the retroreflector 2A are arranged as shown in FIG. 13, when the display image 11 is displayed on the image display device 1, the light from the image display device 1 passes through the beam splitter 4 and is retroreflected. The retroreflected surface 21 </ b> A of the body 2 </ b> A is retroreflected, and the reflected light is reflected by the beam splitter 4 to form an aerial image 12 at a position that is plane-symmetric with the display image 11 with respect to the beam splitter 4.
On the other hand, since the camera 5 is arranged so that the optical axis passes through the beam splitter 4 and is perpendicular to the aerial image 12, the fingertip of the observer generated by the planar infrared light 71 of the light emitting unit 7 is disposed. F scattered light can be photographed from the front.
Accordingly, in the case of the arrangement shown in FIG. 13, similarly to the non-contact input device 10A of FIG. 11, the trapezoidal distortion is reduced, and the reduction in resolution at the time of photographing is suppressed, so that the input position coordinates are more accurate. Can be detected.

［ステレオカメラの使用例］
また、前述した図１，図１０，図１１，図１３に示す非接触式入力装置は、いずれも単一のカメラ５により観察者の指先Ｆの撮影を行う構成を例示したが、図１４に示すように、カメラ５に替えてステレオカメラ５Ｂを使用しても良い。
この図１４では、図１の非接触式入力装置１０のカメラ５をステレオカメラ５Ｂに変更した場合を例示する。 [Examples of using stereo cameras]
Further, the non-contact type input devices shown in FIGS. 1, 10, 11, and 13 described above all exemplify a configuration in which the fingertip F of the observer is photographed by the single camera 5, but FIG. As shown, a stereo camera 5B may be used instead of the camera 5.
FIG. 14 illustrates a case where the camera 5 of the non-contact input device 10 of FIG. 1 is changed to a stereo camera 5B.

ステレオカメラ５Ｂは二つのカメラ５５Ｂ，５６Ｂからなり、これらはいずれもビームスプリッター４を介する光軸が空中像１２に対して垂直となるように配置され、ビームスプリッター４より手前側において、少なくとも各々の光軸に垂直となるいずれかの方向について離間して配置されている。ここでは、カメラ５５Ｂ，５６Ｂが互いにＸ方向に離間して配置されている場合を例示する。 The stereo camera 5B is composed of two cameras 55B and 56B, both of which are arranged such that the optical axis through the beam splitter 4 is perpendicular to the aerial image 12, and at least each of the front side of the beam splitter 4 They are spaced apart in any direction perpendicular to the optical axis. Here, the case where the cameras 55B and 56B are spaced apart from each other in the X direction is illustrated.

ステレオカメラ５Ｂを使用する場合には、非接触式入力装置に発光部７を設ける必要はない。また、発光部７を設けないので、各カメラ５５Ｂ，５６Ｂにはいずれも可視光をカットするフィルター部材は装備する必要はなく、また、ビームスプリッター４にも、可視光を透過し、不可視光を反射する半透過層４１は形成する必要はない。 When the stereo camera 5B is used, it is not necessary to provide the light emitting unit 7 in the non-contact input device. In addition, since the light emitting unit 7 is not provided, it is not necessary to equip each camera 55B and 56B with a filter member that cuts visible light, and the beam splitter 4 also transmits visible light and transmits invisible light. The reflective semi-transmissive layer 41 does not need to be formed.

ステレオカメラ５Ｂを設ける構成の場合、非接触式入力装置の制御装置は、二つのカメラ５５Ｂ，５６Ｂにより観察者の指先Ｆを個別に撮影し、それぞれのカメラ５５Ｂ，５６Ｂの撮影画像に対して画像処理を行って指先Ｆのパターン抽出を行う。
そして、それぞれのカメラ５５Ｂ，５６Ｂの撮影範囲内の二次元座標における指先Ｆの位置座標を求める。二つのカメラ５５Ｂ，５６Ｂはステレオカメラ５Ｂを構成しているので、カメラ５５Ｂとカメラ５６Ｂのそれぞれの指先Ｆの位置座標から各カメラ５５Ｂ，５６Ｂから指先Ｆまでの光軸上の距離を特定することができる。
従って、各カメラ５５Ｂ，５６Ｂから指先Ｆまでの光軸上の距離が、予め記憶している各カメラ５５Ｂ，５６Ｂから空中像１２までの光軸上の距離と一致する場合には、指先Ｆが空中像１２のいずれかの位置に対して指示入力を行っているものと判断することができる。
そして、制御装置は、指先Ｆが指示入力を行っていると判断した場合には、その時のカメラ５５Ｂ又は５６Ｂの指先Ｆの位置座標と予め記憶している空中像１２の位置座標とを照合して、指先Ｆが空中像１２に対して指示入力を行っている指示位置を検出することができる。つまり、制御装置は指示位置検出部として機能する。 In the case of the configuration in which the stereo camera 5B is provided, the control device of the non-contact input device individually captures the fingertip F of the observer with the two cameras 55B and 56B, and images the captured images of the respective cameras 55B and 56B. The pattern extraction of the fingertip F is performed by performing processing.
Then, the position coordinates of the fingertip F in the two-dimensional coordinates within the imaging ranges of the respective cameras 55B and 56B are obtained. Since the two cameras 55B and 56B constitute the stereo camera 5B, the distance on the optical axis from each camera 55B and 56B to the fingertip F is specified from the position coordinates of the fingertip F of each of the cameras 55B and 56B. Can do.
Therefore, when the distance on the optical axis from each camera 55B, 56B to the fingertip F matches the distance on the optical axis from each camera 55B, 56B stored in advance to the aerial image 12, the fingertip F is It can be determined that an instruction is input to any position of the aerial image 12.
When the control device determines that the fingertip F is inputting an instruction, the control device collates the position coordinates of the fingertip F of the camera 55B or 56B at that time with the position coordinates of the aerial image 12 stored in advance. Thus, it is possible to detect the indication position where the fingertip F is inputting the indication to the aerial image 12. That is, the control device functions as a designated position detection unit.

ここでは、図１の非接触式入力装置１０にステレオカメラ５Ｂを適用した場合を例に説明したが、図１０，図１１，図１３に示す非接触式入力装置にステレオカメラ５Ｂを適用した場合も、発光部７を設けることなく、指先Ｆによる指示位置を検出することができる。
そして、図１，図１０，図１１，図１３に示す非接触式入力装置にステレオカメラ５Ｂを適用した場合には、発光部７を不要とし、フィルター部材５１や半透過層４１も不要となるので、非接触式入力装置の構成を簡略化し、これに伴う装置の小型化を実現することができる。
さらに、図１，図１０，図１１，図１３に示す非接触式入力装置のいずれにステレオカメラ５Ｂを適用した場合でも、各カメラ５５Ｂ，５６Ｂは、空中像１２に対して垂直となる方向に光軸が向けられるので、台形歪みを低減し、また、撮影時の分解能の低下を抑制して、入力位置座標をより正確に検出することが可能となる。 Here, the case where the stereo camera 5B is applied to the non-contact type input device 10 of FIG. 1 has been described as an example, but the case where the stereo camera 5B is applied to the non-contact type input device shown in FIG. 10, FIG. 11, and FIG. In addition, the indication position by the fingertip F can be detected without providing the light emitting unit 7.
When the stereo camera 5B is applied to the non-contact input device shown in FIGS. 1, 10, 11, and 13, the light emitting unit 7 is not required, and the filter member 51 and the semi-transmissive layer 41 are not required. Therefore, the configuration of the non-contact input device can be simplified, and the size reduction of the device associated therewith can be realized.
Furthermore, even when the stereo camera 5B is applied to any of the non-contact input devices shown in FIGS. 1, 10, 11, and 13, the cameras 55B and 56B are in a direction perpendicular to the aerial image 12. Since the optical axis is directed, it is possible to reduce the trapezoidal distortion and to suppress the decrease in resolution at the time of photographing and to detect the input position coordinates more accurately.

［非接触式入力装置の適用例］
図１，図１０，図１１，図１３に示す非接触式入力装置についてはデジタルサイネージ装置への適用について言及したがこれに限定されない。これらの非接触式入力装置はいずれも、空中像１２に対して指先Ｆで指示入力操作を行うことができるので、例えば、指先Ｆをいずれにも接触させたくないような環境での指示入力操作に用いることができる。 [Application example of non-contact input device]
Although the contactless input device shown in FIGS. 1, 10, 11, and 13 is described as being applied to a digital signage device, it is not limited to this. Any of these non-contact type input devices can perform an instruction input operation with the fingertip F on the aerial image 12, for example, an instruction input operation in an environment where it is not desired to touch the fingertip F with any of them. Can be used.

例えば、図１５は、前述した図１の非接触式入力装置１０の構成を寿司屋の注文を行うための注文入力装置に適用した場合の説明図である。
この例では、非接触式入力装置１０の筐体８が、食事を行うカウンターから構成されている。非接触式入力装置１０の主要な構成は、寿司ネタを格納する保冷庫８１の下側に配置され、空中像１２は、食事を行うテーブル８２側から見てその正面に結像される。
表示画像１１及び空中像１２としてメニューが表示され、空中像１２のメニューに対して客（観察者）は指先Ｆでメニューを選択して注文を行う。
特に、寿司屋では箸を使用せずに直接手づかみで食事が行われる場合もあるので、指先Ｆを非接触で注文することができるようにすることが衛生面からも好適である。
また、いずれの食事を行う場合でも、指先Ｆは清潔に維持すべきであることから、寿司に限らず、あらゆる食堂やレストラン等での注文入力装置に非接触式入力装置を適用しても良いことは言うまでもない。 For example, FIG. 15 is an explanatory diagram when the configuration of the non-contact input device 10 of FIG. 1 described above is applied to an order input device for ordering a sushi restaurant.
In this example, the housing 8 of the non-contact type input device 10 is composed of a counter for eating. The main configuration of the non-contact type input device 10 is arranged below the cool box 81 for storing sushi material, and the aerial image 12 is imaged in front of the table 82 viewed from the side of the meal.
A menu is displayed as the display image 11 and the aerial image 12, and a customer (observer) selects the menu with the fingertip F and places an order on the menu of the aerial image 12.
In particular, in some sushi restaurants, there are cases where meals are made directly by hand without using chopsticks, so it is preferable from the hygiene aspect to order the fingertips F without contact.
In addition, in any meal, the fingertip F should be kept clean, so that the contactless input device may be applied not only to sushi but also to order input devices in all restaurants, restaurants, and the like. Needless to say.

また、食事の場に限らず、その他の衛生上の必要性が高い用途としては、医療現場が挙げられる。例えば、非接触式入力装置を、医療機器の操作の入力装置、医療情報の入出力装置、その他の操作入力を要するあらゆる装置として適用することが可能である。
また、逆に、指先Ｆが不衛生となりやすい環境、例えば、屋外作業、清掃作業、廃棄物処理等の作業現場において、機械の操作、端末の入力作業、その他の操作入力を要するあらゆる装置として、非接触式入力装置を適用することも可能である。この場合は、操作入力により対象となる装置の汚染を抑制することができる。 Moreover, not only the place of a meal but the medical field is mentioned as another use with high hygiene necessity. For example, the non-contact type input device can be applied as an input device for operation of a medical device, an input / output device for medical information, or any other device that requires an operation input.
Conversely, in an environment where the fingertip F is likely to be unsanitary, for example, in the work site such as outdoor work, cleaning work, waste disposal, etc., as any device that requires machine operation, terminal input work, and other operation input, It is also possible to apply a non-contact input device. In this case, contamination of the target device can be suppressed by an operation input.

［その他］
その他、上述した各種の実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、発光部７を有する非接触式入力装置では、カメラ５にフィルター部材５１を設け、ビームスプリッター４には半透過層４１が形成されているが、これらはいずれか一方のみを設ける構成としても良い。 [Others]
In addition, the details shown in the various embodiments described above can be changed as appropriate without departing from the spirit of the invention.
For example, in the non-contact type input device having the light emitting unit 7, the camera 5 is provided with the filter member 51, and the beam splitter 4 is formed with the semi-transmissive layer 41. However, only one of these may be provided. good.

また、発光部７では平面状の赤外線光７１を空中像１２に沿わせて投光しているがこれに限られない。
例えば、画像表示装置１の表示画像１１を表示する表示部に光透過性の乱反射シートを貼り、発光部が乱反射シートに赤外線光を照射する構成としても良い。
その場合、画像表示装置１の表示画像１１を表示する表示部がその表面に沿って赤外線の乱反射を生じ、光学プレート２等の光学素子の働きによって空中像１２の表面にも赤外線の乱反射が平面状に結像する。従って、観察者が空中像１２に対して指示入力作業を行うと、指先Ｆに赤外線の散乱光が発生し、発光部７による平面状の赤外線光７１と同様に，指先Ｆの位置を検出することができる。 The light emitting unit 7 projects the planar infrared light 71 along the aerial image 12, but is not limited thereto.
For example, a light-transmitting irregular reflection sheet may be attached to the display unit that displays the display image 11 of the image display device 1, and the light emitting unit may irradiate the irregular reflection sheet with infrared light.
In that case, the display unit that displays the display image 11 of the image display device 1 causes irregular reflection of infrared rays along the surface thereof, and the irregular reflection of infrared rays is also flat on the surface of the aerial image 12 by the action of the optical element such as the optical plate 2. Form an image. Therefore, when the observer performs an instruction input operation on the aerial image 12, infrared scattered light is generated at the fingertip F, and the position of the fingertip F is detected in the same manner as the planar infrared light 71 by the light emitting unit 7. be able to.

また、上記各実施形態では、指示入力を行う指示物体として観察者の指先Ｆを例示したが、これに限定されない。例えば、支持棒やライト、その他、位置を指し示す器具を指示物体としてもよい。また、ライトの発光部分を赤外線等の不可視光を発光させる構成とした場合には発光部７を不要とすることができる。 Further, in each of the above embodiments, the observer's fingertip F is exemplified as the pointing object for performing the pointing input, but the present invention is not limited to this. For example, a support bar, a light, or other instruments indicating the position may be used as the pointing object. Further, when the light emitting portion is configured to emit invisible light such as infrared rays, the light emitting portion 7 can be omitted.

１画像表示装置
１１表示画像（被対象物）
１２空中像
２光学プレート（光学素子）
２Ａ再帰反射体（光学素子）
２０，３０光学パネル
２１，３１板状部材
２１Ａ再帰反射面
２１１，３１１透明基板
２１２，３１２反射面
４ビームスプリッター
４１半透過層
５カメラ
５Ｂステレオカメラ
５ａ光軸
５１フィルター部材
５２全反射ミラー
５５Ｂ，５６Ｂカメラ
７発光部
７１赤外線光（平面状の検出光）
８筐体
９制御装置
９１データメモリ
９２表示制御部
９３撮影制御部
９４指示位置検出部
９５指示内容特定部
１０，１０Ａ非接触式入力装置
Ｆ指先（指示物体） 1 Image display device 11 Display image (object)
12 Aerial image 2 Optical plate (optical element)
2A retroreflector (optical element)
20, 30 Optical panel 21, 31 Plate member 21A Retroreflective surfaces 211, 311 Transparent substrates 212, 312 Reflective surface 4 Beam splitter 41 Semi-transmissive layer 5 Camera 5B Stereo camera 5a Optical axis 51 Filter member 52 Total reflection mirrors 55B, 56B Camera 7 Light emitting unit 71 Infrared light (planar detection light)
DESCRIPTION OF SYMBOLS 8 Case 9 Control apparatus 91 Data memory 92 Display control part 93 Image | photographing control part 94 Instruction position detection part 95 Instruction content specific | specification part 10 and 10A Non-contact-type input device F

Claims

An optical element that forms an aerial image by imaging light from a planar object in the air;
A beam splitter that transmits part of the light from the object and reflects the other part;
A camera arranged such that an optical axis passing through the beam splitter is perpendicular to the planar aerial image;
A non-contact type input device, comprising: a pointing position detection unit that detects a pointing position by the pointing object from a photographed image of the pointing object that performs a pointing input to the planar aerial image by the camera. .

The non-contact input device according to claim 1, further comprising a light emitting unit that emits planar detection light along the aerial image along with the aerial image.

The non-contact input device according to claim 2, wherein the planar detection light by the light emitting unit is invisible light.

The non-contact input device according to claim 3, wherein the camera performs photographing through a filter member that cuts visible light.

The non-contact type input device according to claim 3, wherein the beam splitter has a semi-transmissive layer that transmits visible light and reflects invisible light on a surface thereof.

The non-contact input device according to claim 1, wherein the camera is a stereo camera.

7. The non-contact input according to claim 1, wherein the optical element is an optical plate having a plurality of reflecting surfaces orthogonal to each other when viewed from a direction perpendicular to the plate plane. apparatus.

The non-contact type input device according to claim 1, wherein the optical element is a retroreflector having a retroreflective surface that reflects along an incident direction of incident light.