JP2014120009A - Position determination device and input device - Google Patents

Position determination device and input device Download PDF

Info

Publication number
JP2014120009A
JP2014120009A JP2012275212A JP2012275212A JP2014120009A JP 2014120009 A JP2014120009 A JP 2014120009A JP 2012275212 A JP2012275212 A JP 2012275212A JP 2012275212 A JP2012275212 A JP 2012275212A JP 2014120009 A JP2014120009 A JP 2014120009A
Authority
JP
Japan
Prior art keywords
height
light
image
luminance
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012275212A
Other languages
Japanese (ja)
Inventor
Manabu Arai
学 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to JP2012275212A priority Critical patent/JP2014120009A/en
Publication of JP2014120009A publication Critical patent/JP2014120009A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To determine a position including a height of an object with respect to an image.SOLUTION: A position determination device includes: a brightness change part 30 for changing the brightness of light radiated on a projection surface 100 and projecting an image 101; a light receiving part 10 for receiving light, which is radiated on the projection surface, reflected on an object L; and a height determination part 31 for determining a height of the object L with respect to the projection surface 100 on the basis of a detection signal output from the light receiving part 10 according to the brightness, thereby determining the height of the object L. Further, the position determination device preferably includes a position correction part 32 for correcting a position of the object in a plane parallel to the projection surface when the height is detected on the basis of an angle between a beam and the projection surface at the time of the detection and the detected height.

Description

本発明は、投影表示される画像に対する物体の位置を、当該物体からの反射光により判定する位置判定装置及び入力装置に関する。   The present invention relates to a position determination device and an input device that determine the position of an object with respect to an image to be projected and displayed by reflected light from the object.

電子機器の入力インターフェースとして、投影された画像を利用者が何らかの物体(例えば、利用者の指や利用者が操作する棒などの器具)でタッチすることによって入力操作を行なうことができる入力装置が知られている。   As an input interface of an electronic device, there is an input device capable of performing an input operation by allowing a user to touch a projected image with some object (for example, an instrument such as a user's finger or a stick operated by the user). Are known.

特許文献1には、光源としての赤外線レーザからのビームはプロジェクタモジュールのプロジェクタ走査手段であるMEMSミラーの一部で走査され、反射ミラーで設置面に平行として、投影画像の所定箇所を指がタッチすると、指で反射された非可視光の赤外線はビームスプリッタによってフォトダイオードに入射し、測距手段によりTOF法で指の距離が測定される電子機器が記載されている。   In Patent Document 1, a beam from an infrared laser as a light source is scanned by a part of a MEMS mirror, which is a projector scanning unit of a projector module, and is parallel to the installation surface by a reflecting mirror, and a finger touches a predetermined portion of a projected image. Then, there is described an electronic device in which infrared light of invisible light reflected by a finger is incident on a photodiode by a beam splitter, and the distance of the finger is measured by a TOF method by a distance measuring unit.

特開2009−258569号公報JP 2009-2558569 A

投影面に投影された画像に対する物体の位置を判定する装置は、例えば、バーチャルユーザインタフェース(VUI)等と称せられるような入力装置に利用することができ、判定した物体の位置に応じたコマンドを電子機器に入力することができる。
このような物体の位置は、画像の2次元平面における位置に加えて、高さ位置(当該2次元平面の直角な方向の位置)も判定するようにすれば、物体の3次元位置により多彩なコマンド入力が可能となる。
An apparatus for determining the position of an object with respect to an image projected on a projection plane can be used for an input device called a virtual user interface (VUI), for example, and a command corresponding to the determined position of the object is used. Can be input to electronic equipment.
The position of such an object can be varied depending on the three-dimensional position of the object if the height position (position in the direction perpendicular to the two-dimensional plane) is determined in addition to the position of the image in the two-dimensional plane. Command input is possible.

このような3次元位置の判定をするために、物体からの反射光を受光する受光部を高さ方向に複数設け、いずれの受光部で反射光を受光したかにより、物体の高さ位置を判定する方法が考えられる。
しかしながら、このような方法では、判定する高さレベルを増やすにはそれに応じた多数の受光部を設ける必要があった。
また、物体が高さ方向に移動した場合、投影面と平行な面における物体の位置が変化してしまい、当該物体の直下の位置を高精度に判定することが困難であった。
In order to determine such a three-dimensional position, a plurality of light receiving units that receive reflected light from the object are provided in the height direction, and the height position of the object is determined depending on which light receiving unit receives the reflected light. A method of judging can be considered.
However, in such a method, in order to increase the height level to be determined, it is necessary to provide a large number of light receiving units corresponding to the height level.
Further, when the object moves in the height direction, the position of the object on a plane parallel to the projection plane changes, and it is difficult to determine the position immediately below the object with high accuracy.

本発明は、上記従来の事情に鑑みなされたものであり、画像に対する物体の高さを含めた位置を判定することを目的とする。   The present invention has been made in view of the above-described conventional circumstances, and an object thereof is to determine a position including the height of an object with respect to an image.

本発明に係る位置判定装置は、画像が投影される投影面に対する物体の位置を判定する位置判定装置であって、投影面に照射される光の輝度を変更する輝度変更部と、前記投影面に照射される光の前記物体による反射光を受光する受光部と、前記受光部から前記輝度に応じて出力される検出信号に基づいて、前記物体の投影面に対する高さを判定する高さ判定部と、を有する。
これにより、物体の高さを判定することができる。
A position determination apparatus according to the present invention is a position determination apparatus that determines the position of an object with respect to a projection plane on which an image is projected, the luminance changing unit that changes the luminance of light irradiated on the projection plane, and the projection plane A light receiving unit that receives light reflected by the object and a height determination that determines a height of the object with respect to the projection plane based on a detection signal output according to the luminance from the light receiving unit Part.
Thereby, the height of the object can be determined.

ここで、上記画像は、種々な光線による水平走査及び垂直走査で投影表示することができるが、鮮明な画像を投影表示することができる、反射光による高精度な高さ判定を行なうことができる等の利点があることから、レーザ光線により走査投影するのが好ましい。
レーザ光線により画像を投影表示する場合、画像を走査投影するレーザ光線とは別に、例えば赤外線レーザ光のように不可視なレーザ光を位置検出用に重畳して用い、当該位置検出用レーザ光の物体による反射光により、物体の高さを判定することも可能である。
Here, the image can be projected and displayed by horizontal scanning and vertical scanning with various light rays, but a sharp image can be projected and displayed, and the height can be determined with high accuracy by reflected light. Therefore, it is preferable to perform scanning projection with a laser beam.
When an image is projected and displayed with a laser beam, an invisible laser beam such as an infrared laser beam is superimposed for position detection, for example, separately from the laser beam for scanning and projecting an image, and the object of the position detection laser beam is used. It is also possible to determine the height of the object based on the reflected light.

レーザ光線により画像を投影表示する場合、レーザ光を走査する走査部として、小型化、低消費電力化、処理の高速化などで有利なMEMS(Micro Electro Mechanical System)型の走査ミラーを用いるのが好ましい。
物体としては、例えば、利用者の指、利用者が用いる指示棒やペン等の器具が挙げられるが、画像に対して何らかの指示を行なうために用いられる全ての物が包含される。
When an image is projected and displayed by a laser beam, a MEMS (Micro Electro Mechanical System) type scanning mirror that is advantageous in terms of downsizing, low power consumption, and high-speed processing is used as a scanning unit that scans the laser beam. preferable.
Examples of the object include a user's finger and an instrument such as a pointing stick and a pen used by the user, but all objects used for giving some instruction to the image are included.

また、本発明に係る位置判定装置は、上記構成に加えて、前記高さを検出した時の物体の投影面と平行な面における位置(例えば、後述する実施形態に示すY座標)を、当該検出時の光線と投影面とがなす角度、及び、検出された高さに基づいて補正する位置補正部を有するようにしてもよい。
これにより、投影面と平行な面における物体の位置を高精度に判定することができる。
Further, in addition to the above-described configuration, the position determination device according to the present invention uses a position (for example, a Y coordinate shown in an embodiment described later) on a plane parallel to the projection plane of the object when the height is detected. You may make it have the position correction | amendment part correct | amended based on the angle which the light ray at the time of a detection and a projection surface make, and the detected height.
Thereby, the position of the object in a plane parallel to the projection plane can be determined with high accuracy.

ここで、上記の高さ判定において、受光部は、例えば、受光した反射光量に応じた検出信号を出力する方式のもの、あるいは、所定の閾値を上回る反射光量を受光したときに検出信号を出力する方式のものを用いることができる。
後者の方式の受光部を用いた場合には、例えば、前記輝度変更部は、前記輝度を低いレベルから高いレベルへ変更するのが好ましい。これにより、例えば、輝度レベルが低いときに検出信号が得られる場合は、反射光量が大きくなる低い位置に物体があることが判定され、輝度レベルを高くして検出信号が得られる場合は、反射光量が小さくなる高い位置に物体があることが判定される。
Here, in the above height determination, the light receiving unit outputs, for example, a detection signal corresponding to the received reflected light amount, or outputs a detection signal when a reflected light amount exceeding a predetermined threshold is received. Can be used.
When the latter type of light receiving unit is used, for example, the luminance changing unit preferably changes the luminance from a low level to a high level. Thus, for example, when a detection signal is obtained when the luminance level is low, it is determined that there is an object at a low position where the amount of reflected light is large, and when a detection signal is obtained with a high luminance level, reflection is performed. It is determined that the object is at a high position where the amount of light is small.

また、本発明に係る位置判定装置は、上記構成に加えて、前記輝度変更部は、前記投影する画像のフレーム毎に光の輝度を変更するのが好ましい。
例えば、静止した物体や動きの比較的遅い物体については、光の輝度の変更は数フレーム毎と言ったようにそれほど迅速に行なわなくても、物体の高さや位置を正確に判定できるが、光の輝度の変更を画像の1走査毎(すなわち、1フレーム毎)に行なうようにすれば、動きの比較的速い物体について高さや位置を正確に判定できる。
また、本発明に係る位置判定装置は、上記構成に加えて、前記輝度変更部は、前記投影される画像中の物体の位置検出する領域の光の輝度を変更するのが好ましい。
例えば、投影される画像に物体による操作入力を受け付けるキーボード画像が含まれる場合には、キーボード画像の領域だけの輝度を変更し、他の画像部分は一定の輝度で投影表示する。
Moreover, in the position determination device according to the present invention, in addition to the above configuration, it is preferable that the luminance changing unit changes the luminance of light for each frame of the projected image.
For example, for a stationary object or a relatively slow moving object, it is possible to accurately determine the height and position of an object without changing the brightness of the light every few frames. If the luminance is changed every scan of the image (that is, every frame), the height and position of the relatively fast moving object can be accurately determined.
In the position determination device according to the present invention, in addition to the above configuration, it is preferable that the luminance changing unit changes the luminance of light in a region where the position of an object in the projected image is detected.
For example, when the projected image includes a keyboard image that accepts an operation input by an object, the luminance of only the keyboard image region is changed, and the other image portions are projected and displayed at a constant luminance.

本発明に係る位置判定装置は、例えば、VUI等といった入力装置に設けることができる。
本発明に係る入力装置は、物体からの反射光により、水平走査及び垂直走査により投影面に投影される画像に対する物体の位置を、当該物体からの反射光により判定して、当該物体の位置に応じた入力を受け付ける入力装置であって、投影面に照射される光の輝度を変更する輝度変更部と、前記投影面に照射される光の前記物体による反射光を受光する受光部と、前記受光部から前記輝度に応じて出力される検出信号に基づいて、前記物体の投影面に対する高さを判定する高さ判定部と、を有する。
これにより、物体の高さに応じた入力を受け付けることができる。
The position determination device according to the present invention can be provided in an input device such as a VUI, for example.
The input device according to the present invention determines the position of the object relative to the image projected on the projection plane by the horizontal scanning and the vertical scanning by the reflected light from the object, and determines the position of the object by the reflected light from the object. An input device that accepts a corresponding input, a luminance changing unit that changes the luminance of light irradiated on the projection surface, a light receiving unit that receives reflected light from the object of the light irradiated on the projection surface, and A height determination unit that determines the height of the object with respect to the projection plane based on a detection signal output according to the luminance from the light receiving unit.
Thereby, the input according to the height of the object can be received.

また、本発明に係る入力装置は、上記構成に加えて、前記高さを検出した時の物体の前記垂直走査方向の位置を、当該検出時の光線と投影面とがなす角度、及び、検出された高さに基づいて補正する位置補正部を有するようにしてもよい。
これにより、物体の垂直走査方向の位置を高精度に判定して、これに応じた入力を受け付けることができる。
In addition to the above-described configuration, the input device according to the present invention detects the position of the object in the vertical scanning direction when the height is detected, the angle formed by the light beam and the projection plane at the time of detection, and detection You may make it have a position correction | amendment part correct | amended based on made height.
Thereby, the position of the object in the vertical scanning direction can be determined with high accuracy, and an input corresponding to this can be accepted.

なお、本発明は、例えば、レーザプロジェクタ等といった画像表示装置にその入力部として設けることができる。
すなわち、水平走査及び垂直走査により表示用画像と操作用画像と投影し、当該操作用画像に対する物体の位置を、当該物体からの反射光により判定して、当該物体の位置に応じた入力を受け付ける画像表示装置として、投影面に照射される光の輝度を変更する輝度変更部と、前記投影面に照射される光の前記物体による反射光を受光する受光部と、前記受光部から前記輝度に応じて出力される検出信号に基づいて、前記物体の投影面に対する高さを判定する高さ判定部と、を有するようにしてもよい。
The present invention can be provided as an input unit in an image display device such as a laser projector.
That is, the display image and the operation image are projected by horizontal scanning and vertical scanning, the position of the object with respect to the operation image is determined by reflected light from the object, and an input corresponding to the position of the object is accepted. As an image display device, a luminance changing unit that changes the luminance of light irradiated on the projection surface, a light receiving unit that receives reflected light from the object of the light irradiated on the projection surface, and the luminance from the light receiving unit to the luminance And a height determination unit that determines the height of the object relative to the projection plane based on the detection signal output accordingly.

また、上記の画像表示装置は、上記の構成に加えて、前記高さを検出した時の物体の前記垂直走査方向の位置を、当該検出時の光線と投影面とがなす角度、及び、検出された高さに基づいて補正する位置補正部を有するようにしてもよい。
なお、このような画像表示装置では、操作用画像(物体により入力を行なう画像)と、表示用画像(閲覧用の画像)とを、同じ画像とする態様も、異なる画像とする態様もいずれも採用することができる。
Further, in addition to the above configuration, the image display device described above detects the position of the object in the vertical scanning direction when the height is detected, an angle formed by the light beam at the time of detection and the projection plane, and detection You may make it have a position correction | amendment part correct | amended based on made height.
In such an image display device, the operation image (image input by an object) and the display image (viewing image) are both the same image or different images. Can be adopted.

本発明によると、画像に対する物体の高さを含めた位置を判定することができ、これによって、入力装置においては物体の位置に応じた多彩な入力を行なうことができる。   According to the present invention, it is possible to determine a position including the height of an object with respect to an image, and thereby various inputs corresponding to the position of the object can be performed in the input device.

本発明の一実施形態に係るレーザプロジェクタの外観構成を示す図である。It is a figure which shows the external appearance structure of the laser projector which concerns on one Embodiment of this invention. 本発明の一実施形態に係る入力装置の操作を説明する図である。It is a figure explaining operation of the input device concerning one embodiment of the present invention. 本発明の一実施形態に係るレーザプロジェクタの内部構成を示す図である。It is a figure which shows the internal structure of the laser projector which concerns on one Embodiment of this invention. 本発明の一実施形態に係る物体の高さと反射光との関係を説明する図である。It is a figure explaining the relationship between the height of the object which concerns on one Embodiment of this invention, and reflected light. 本発明の一実施形態に係る輝度変更の一例を示す図である。It is a figure which shows an example of the brightness change which concerns on one Embodiment of this invention. 本発明の一実施形態に係る物体の高さ範囲を説明する図である。It is a figure explaining the height range of the object concerning one embodiment of the present invention. 本発明の一実施形態に係る輝度レベルと高さとの関係テーブルを示す図である。It is a figure which shows the relationship table of the luminance level which concerns on one Embodiment of this invention, and height. 本発明の一実施形態に係る光線が投影面となす角度を示す図である。It is a figure which shows the angle which the light ray which concerns on one Embodiment of this invention makes with a projection surface. 本発明の一実施形態に係る光線が投影面となす角度とY座標との関係の一例を示す図である。It is a figure which shows an example of the relationship between the angle which the light ray which concerns on one Embodiment of this invention makes with a projection surface, and Y coordinate. 本発明の一実施形態に係る検出高さと角度と補正距離との関係の一例を示す図である。It is a figure which shows an example of the relationship between the detection height which concerns on one Embodiment of this invention, an angle, and correction distance. 本発明の一実施形態に係る補正距離と補正値との関係の一例を示す図である。It is a figure which shows an example of the relationship between the correction distance and correction value which concern on one Embodiment of this invention. 本発明の一実施形態に係る輝度変更領域の一例を示す図である。It is a figure which shows an example of the brightness | luminance change area | region which concerns on one Embodiment of this invention. 本発明の一実施形態に係る高さを含む位置判定処理を説明する図である。It is a figure explaining the position determination process including the height which concerns on one Embodiment of this invention.

図1には、本発明の一実施形態に係るレーザプロジェクタ1を示してあり、このレーザプロジェクタ1は、本発明の一実施形態に係る位置判定装置及び入力装置を内蔵して備えている。
本実施形態のレーザプロジェクタ1は、例えばテーブル100の上に設置されて、レーザ光の走査により、スクリーンなどの投影面200に表示用画像201を投影表示し、また、当該テーブルの上面などの投影面100に操作用画像101を投影表示する。なお、図2に示すように、表示用画像201を投影する側と反対側の上部に設けたプロジェクタ筐体の窓1aから、レーザ光を斜め下方へ走査照射して操作用画像101を投影する。
FIG. 1 shows a laser projector 1 according to an embodiment of the present invention. The laser projector 1 includes a position determination device and an input device according to an embodiment of the present invention.
The laser projector 1 of this embodiment is installed on a table 100, for example, and projects and displays a display image 201 on a projection surface 200 such as a screen by scanning with laser light, and also projects the upper surface of the table or the like. The operation image 101 is projected and displayed on the surface 100. As shown in FIG. 2, the operation image 101 is projected by scanning and irradiating laser light obliquely downward from the window 1 a of the projector housing provided on the upper side opposite to the side on which the display image 201 is projected. .

図1に示すレーザプロジェクタ1は、表示用画像201と操作用画像101は同じ画像を投影表示しており、利用者が物体(図示の例では、棒状の器具)Fを投影面100(走査用画像101)に対して移動させることで操作用画像101に入力したコマンドが表示用画像201及び操作用画像101に反映される。
なお、表示用画像201と操作用画像101とを異なる画像で投影表示してもよく、例えば、後述するように操作用画像101は物体Lにより利用者からの操作入力を受け付けるアルファベット等の複数の文字キーを含むキーボード画像が表示され、表示用画像201は利用者によりキー操作入力されたアルファベットなどの文字からなる文章が表示されるようにしてもよい。
In the laser projector 1 shown in FIG. 1, the display image 201 and the operation image 101 are projected and displayed in the same manner, and the user projects an object (in the illustrated example, a rod-shaped instrument) F onto a projection surface 100 (for scanning). By moving the image 101), the command input to the operation image 101 is reflected in the display image 201 and the operation image 101.
The display image 201 and the operation image 101 may be projected and displayed as different images. For example, as will be described later, the operation image 101 has a plurality of objects such as an alphabet that receives an operation input from the user by the object L. A keyboard image including character keys may be displayed, and the display image 201 may display a text composed of characters such as alphabet characters input by the user.

本実施形態のレーザプロジェクタ1は、操作用画像101を投影する投影表示形の入力装置を備えており、投影面100上の操作用画像101に対して任意の位置に置かれた物体Lからの反射光を受光部10で受光することで、操作用画像101に対する物体Lの高さを含む位置座標を判定し、当該判定した位置に応じたコマンド入力を受け付ける。
なお、本実施形態では、操作用画像101を投影するレーザ光を物体Lが反射することで物体Lの高さを含む位置を判定するが、操作用画像101を投影するレーザ光とは別に、位置判定用のレーザ光(例えば、赤外線等の不可視なレーザ光)を、操作用画像を投影するレーザ光に重畳して走査し、物体Lの位置判定用レーザ光の反射により物体Lの高さを含む位置を判定するようにしてもよい。
The laser projector 1 according to the present embodiment includes a projection display type input device that projects an operation image 101, and is provided from an object L placed at an arbitrary position with respect to the operation image 101 on the projection surface 100. By receiving the reflected light at the light receiving unit 10, the position coordinates including the height of the object L with respect to the operation image 101 are determined, and a command input corresponding to the determined position is received.
In the present embodiment, the position including the height of the object L is determined by reflecting the laser light that projects the operation image 101 by the object L, but separately from the laser light that projects the operation image 101, A laser beam for position determination (for example, invisible laser light such as infrared rays) is superimposed on the laser beam for projecting the operation image, and the height of the object L is reflected by reflection of the laser beam for position determination of the object L. You may make it determine the position containing.

図2には、操作用画像101に対する物体Lの位置判定の概要を示してある。
操作用画像101は窓1aから照射されるレーザ光の水平走査及び垂直走査により投影面100上に表示されており、反射されたレーザ光を受光する受光部10がプロジェクタ1の下部に操作用画像101側に面して設けられている。受光部10の検出範囲内で、物体Lを投影面100に対して移動操作して、操作用画像101を走査投影しているレーザ光が物体Lにより反射されると、この反射光が受光部10で受光される。
FIG. 2 shows an outline of the position determination of the object L with respect to the operation image 101.
The operation image 101 is displayed on the projection surface 100 by horizontal scanning and vertical scanning of the laser light emitted from the window 1a, and a light receiving unit 10 that receives the reflected laser light is displayed below the projector 1 on the operation image. It is provided facing the 101 side. When the object L is moved with respect to the projection plane 100 within the detection range of the light receiving unit 10 and the laser light that scans and projects the operation image 101 is reflected by the object L, the reflected light is received by the light receiving unit. 10 is received.

本実施形態では、受光部10はフォトダイオード(PD)で構成されており、後述するように、受光部10は投影面100から所定の高さnまでの検出範囲を有している。窓10aからのレーザ光が水平走査及び垂直走査(図中のY軸方向)されることで投影面100上に操作用画像101が投影され、操作用画像からの反射光を受光する受光部10の検出範囲は、投影面100から垂直方向(図中のZ軸方向)に高さnで、投影面100と平行な面では操作用画像101の全範囲をカバーする大きさである。検出範囲の高さnは、例えば10mm程度に設定され、本実施形態では、後述するように12mmに設定されている。である。
なお、図2には、投影面100に垂直な方向をZ軸、操作用画像101の垂直走査方向をY軸として示してあり、後述する図1、図6,図8におけるZ軸及びY軸も同様である。
In the present embodiment, the light receiving unit 10 includes a photodiode (PD), and the light receiving unit 10 has a detection range from the projection surface 100 to a predetermined height n, as will be described later. The laser beam from the window 10a is scanned horizontally and vertically (in the Y-axis direction in the figure), so that the operation image 101 is projected on the projection surface 100 and receives the reflected light from the operation image. The detection range is a height n in the vertical direction (Z-axis direction in the figure) from the projection plane 100, and is a size that covers the entire range of the operation image 101 on a plane parallel to the projection plane 100. The height n of the detection range is set to about 10 mm, for example, and is set to 12 mm in this embodiment as will be described later. It is.
2 shows the direction perpendicular to the projection plane 100 as the Z axis and the vertical scanning direction of the operation image 101 as the Y axis. The Z axis and the Y axis in FIGS. 1, 6, and 8 to be described later. Is the same.

ここで、操作用画像101に対する物体Lの位置を判定する基本的な原理は、概ね下記のとおりである。
操作用画像101はレーザ光の画素スポットを水平走査及び垂直走査することで投影されるが、画素スポットの走査位置タイミングと、操作用画像101からの反射光の受光タイミングとにより、操作用画像101のいずれの位置で反射光が発生したかを特定することができ、これによって、レーザ光を反射した物体Lの位置を判定することができる。
Here, the basic principle for determining the position of the object L with respect to the operation image 101 is generally as follows.
The operation image 101 is projected by performing horizontal scanning and vertical scanning of the pixel spot of the laser beam. The operation image 101 is determined based on the scanning position timing of the pixel spot and the reception timing of the reflected light from the operation image 101. It is possible to specify at which position the reflected light is generated, and thereby the position of the object L that reflected the laser light can be determined.

図3には、本実施形態に係るレーザプロジェクタ1の主要な機能構成を示してある。
レーザプロジェクタ1は、レーザ光の光学系として、緑色レーザ光源11、2色レーザ光源12、光合成器13、コリメートレンズ14、MEMSミラー15、ビームスプリッタ16、ビームスプリッタ17、レンズ18、光検出器19、レーザパワー検出器20を有している。
FIG. 3 shows a main functional configuration of the laser projector 1 according to the present embodiment.
The laser projector 1 includes a green laser light source 11, a two-color laser light source 12, a light combiner 13, a collimator lens 14, a MEMS mirror 15, a beam splitter 16, a beam splitter 17, a lens 18, and a light detector 19 as laser light optical systems. The laser power detector 20 is included.

緑色レーザ光源11は緑色レーザ光を出射し、2色レーザ12は赤色レーザと青色レーザとを出射する。
なお、2色レーザ光源12を用いることにより、互いに独立な赤色レーザと青色レーザとを用いる場合に比べ、部品点数の削減や光学系の小型化が可能となるが、2色レーザの代わりに、互いに独立な赤色レーザと青色レーザとを用いてもよい。
The green laser light source 11 emits green laser light, and the two-color laser 12 emits a red laser and a blue laser.
By using the two-color laser light source 12, it is possible to reduce the number of components and the size of the optical system as compared with the case where a red laser and a blue laser independent from each other are used. Independent red and blue lasers may be used.

光合成器13は、緑色レーザ光の光路と2色レーザ光の光路とを重ね合わせて、コリメートレンズ14に出力する。また、光合成器13は、レーザ光の一部をレーザパワー検出器20に出力する。
コリメートレンズ14は、レーザ光を集光して平行光にする。
The light combiner 13 superimposes the optical path of the green laser light and the optical path of the two-color laser light, and outputs them to the collimating lens 14. The light combiner 13 outputs a part of the laser light to the laser power detector 20.
The collimating lens 14 condenses the laser light into parallel light.

MEMSミラー15は、駆動信号により水平及び垂直方向へ揺動することで、入射されたレーザ光を水平走査及び垂直走査して反射し、表示対象の画像を投影面に投影する。MEMSミラー15は、レーザ光を画像のフレーム単位で走査し、1フレームの間に画像の画素数に応じた回数、走査位置を変更し、この走査位置の一連の変更をフレーム毎に繰り返す。
本実施形態では、共振型MEMSミラー15を用いるが、他のタイプの共振型走査ミラーやDMD(Digital Micromirror Device)、又は、2軸ガルバノミラーなどを用いてもよく、また、水平走査と垂直走査と行なう2つのスキャンミラーを組み合わせて用いてもよい。
The MEMS mirror 15 oscillates in the horizontal and vertical directions according to the drive signal, reflects the incident laser beam by horizontal scanning and vertical scanning, and projects an image to be displayed on the projection surface. The MEMS mirror 15 scans the laser beam in units of an image frame, changes the scanning position by the number of times corresponding to the number of pixels of the image during one frame, and repeats a series of changes of the scanning position for each frame.
In this embodiment, the resonant MEMS mirror 15 is used, but other types of resonant scanning mirror, DMD (Digital Micromirror Device), or a biaxial galvanometer mirror may be used, and horizontal scanning and vertical scanning are also possible. Two scan mirrors may be used in combination.

ビームスプリッタ16は、MEMSミラー15により走査されたレーザ光を分割し、一方のレーザ光をビームスプリッタ17に入射し、他方のレーザ光を光検出器19に入射する。
ビームスプリッタ17は、ビームスプリッタ16からのレーザ光を、投影面100(操作用画像101)に向かうレーザ光と、投影面200(表示用画像201)に向かうレーザ光とに分割する。
The beam splitter 16 splits the laser beam scanned by the MEMS mirror 15, makes one laser beam incident on the beam splitter 17, and makes the other laser beam incident on the photodetector 19.
The beam splitter 17 splits the laser beam from the beam splitter 16 into a laser beam traveling toward the projection plane 100 (operation image 101) and a laser beam traveling toward the projection plane 200 (display image 201).

本実施形態では、表示用画像201を投影する表示用画像表示部と、操作用画像101を投影する操作用画像表示部とは、上記のようにビームスプリッタ17に至る経路で共用されている。
なお、表示用画像表示部と操作用画像表示部とを、それぞれレーザ光源や走査ミラーを備えた別経路の構成としてもよい。
In the present embodiment, the display image display unit that projects the display image 201 and the operation image display unit that projects the operation image 101 are shared by the path to the beam splitter 17 as described above.
The display image display unit and the operation image display unit may be configured as separate paths each including a laser light source and a scanning mirror.

光検出器19は入射した光を検出し、光検出器19の検出結果は、MEMSミラー15の揺動角を検出するために用いられる。また、これらの検出結果は、画像投影のためのレーザ光の出射タイミングの確認にも用いられる。
レーザパワー検出器20は、光合成器13からの光の強度を測定し、レーザパワー検出器20の検出結果は、緑色レーザ11および2色レーザ12が出力するレーザ光の強度の制御に用いられる。
The photodetector 19 detects the incident light, and the detection result of the photodetector 19 is used to detect the swing angle of the MEMS mirror 15. These detection results are also used for confirming the emission timing of laser light for image projection.
The laser power detector 20 measures the intensity of light from the light combiner 13, and the detection result of the laser power detector 20 is used to control the intensity of laser light output from the green laser 11 and the two-color laser 12.

レーザプロジェクタ1は、画像投影に係る制御系として、レーザ制御部21、投影位置算出部22、中央処理部(CPU)23、ミラー制御部24、ミラードライバ25を有している。   The laser projector 1 includes a laser control unit 21, a projection position calculation unit 22, a central processing unit (CPU) 23, a mirror control unit 24, and a mirror driver 25 as a control system related to image projection.

レーザ制御部21は、レーザパワー検出器20の検出結果に基づいて、緑色レーザ11および2色レーザ12を制御する。具体的には、レーザ制御部21は、緑色レーザ11および2色レーザ12が、所定のタイミングで指定された強度のレーザ光を出力するように、緑色レーザ11および2色レーザ12の駆動電流などを制御する。   The laser control unit 21 controls the green laser 11 and the two-color laser 12 based on the detection result of the laser power detector 20. Specifically, the laser control unit 21 drives the driving currents of the green laser 11 and the two-color laser 12 such that the green laser 11 and the two-color laser 12 output laser light having a specified intensity at a predetermined timing. To control.

投影位置算出部22は、光検出器19の検出結果に基づいて、画像の投影位置(MEMSミラー15により走査された光の進行方向)を検出する。具体的には、投影位置算出部22は、レーザ光の出力タイミングの指定値と、光検出器19によるレーザ光の検出タイミングに基づいて、画像の投影位置を検出する。検出された投影位置は、走査異常の検出に用いられる。   The projection position calculation unit 22 detects the projection position of the image (the traveling direction of the light scanned by the MEMS mirror 15) based on the detection result of the photodetector 19. Specifically, the projection position calculation unit 22 detects the projection position of the image based on the designated value of the output timing of the laser beam and the detection timing of the laser beam by the photodetector 19. The detected projection position is used for detection of scanning abnormality.

CPU23は、画像の投影及び物体Lによる入力位置(座標)の判定に係る統括的な制御を行う。例えば、CPU23は、投影画像に応じた画像信号をレーザ制御部21に送り、また、投影位置算出部22の検出結果(投影位置)をミラー制御部24に与える。   The CPU 23 performs overall control related to image projection and determination of an input position (coordinate) by the object L. For example, the CPU 23 sends an image signal corresponding to the projection image to the laser control unit 21, and gives the detection result (projection position) of the projection position calculation unit 22 to the mirror control unit 24.

ミラー制御部24は、ミラードライバ25の駆動信号を作成し、この駆動信号はMEMSミラー15の駆動周波数や駆動波形を指定する。詳しくは、ミラー制御部24は、垂直走査方向と水平走査方向についての駆動信号を作成する。
ミラー制御部24は、CPU23から投影位置に応じた信号を受け取り、受け取った信号に基づいて、ミラードライバ25の駆動信号を作成する。
The mirror control unit 24 creates a drive signal for the mirror driver 25, and this drive signal specifies the drive frequency and drive waveform of the MEMS mirror 15. Specifically, the mirror controller 24 creates drive signals for the vertical scanning direction and the horizontal scanning direction.
The mirror control unit 24 receives a signal corresponding to the projection position from the CPU 23 and creates a drive signal for the mirror driver 25 based on the received signal.

ミラードライバ25は、ミラー制御部24からの駆動信号に応じて、MEMSミラー15に走査動作を行なわせる。具体的には、ミラードライバ25は、MEMSミラー15に対して、駆動信号に応じた波形の電流を生成し、生成した電流をMEMSミラー15に与える。
より詳しくは、ミラードライバ25は、ミラー制御部24からの駆動周波数の制御指示あるいは波形パターンの生成または切替指示に基づいて、水平方向駆動のためのパルス矩形波や、垂直方向駆動のためのDC波形を生成する。
The mirror driver 25 causes the MEMS mirror 15 to perform a scanning operation in response to a drive signal from the mirror control unit 24. Specifically, the mirror driver 25 generates a current having a waveform corresponding to the drive signal with respect to the MEMS mirror 15 and supplies the generated current to the MEMS mirror 15.
More specifically, the mirror driver 25 generates a pulse rectangular wave for horizontal driving or a DC for vertical driving based on a drive frequency control instruction or a waveform pattern generation or switching instruction from the mirror control unit 24. Generate a waveform.

上記のように、CPU23は、投影される画像101,201を構成する各画素について、レーザ光の出力タイミングと、MMEMSミラー15の走査位置とを管理しており、操作用画像101中のある点からレーザ光が反射された場合、この反射光を受光したタイミングにより、操作用画像101中のレーザ光を反射した位置が特定される。
したがって、操作用画像101中のある位置に物体Lが置かれて、操作用画像101を表示するレーザ光が物体Lから反射されると、この反射光の検出タイミングと画素の走査位置とから、物体Lの位置座標が特定される。
As described above, the CPU 23 manages the output timing of the laser beam and the scanning position of the MMEMS mirror 15 for each pixel constituting the projected images 101 and 201, and certain points in the operation image 101. When the laser beam is reflected from, the position where the laser beam is reflected in the operation image 101 is specified by the timing of receiving the reflected beam.
Therefore, when the object L is placed at a certain position in the operation image 101 and the laser beam for displaying the operation image 101 is reflected from the object L, the detection timing of the reflected light and the scanning position of the pixel are The position coordinates of the object L are specified.

レーザプロジェクタ1は、物体Lによる操作用画像101に対する指示位置を判定する入力装置部として、受光部10、アンプ27、A/D変換部28、位置判定部29、輝度変更部30を有している。   The laser projector 1 includes a light receiving unit 10, an amplifier 27, an A / D conversion unit 28, a position determination unit 29, and a luminance change unit 30 as input device units that determine the position indicated by the object L with respect to the operation image 101. Yes.

本実施形態では、受光部10は、閾値が設定されており、この閾値を上回る光量のレーザ光を受光したときに検出信号を出力する。後述するように、この閾値は、物体Lの投影面100(操作用画像101)からの高さを判定する基準となるものである。
輝度変更部30は、CPU23を介してレーザ制御部21を制御し、緑色レーザ11および2色レーザ12から出力するレーザ光の輝度を後述するように変更する。すなわち、輝度変更部30は操作用画像101を表示する投影面100に照射されるレーザ光の輝度を変更する。したがって、受光部10が受光する物体Lからの反射レーザ光の光量は、輝度変更部30により変更された輝度に応じて変化する。
In the present embodiment, the light receiving unit 10 is set with a threshold value, and outputs a detection signal when receiving a laser beam having a light amount exceeding the threshold value. As will be described later, this threshold value serves as a reference for determining the height of the object L from the projection plane 100 (operation image 101).
The luminance changing unit 30 controls the laser control unit 21 via the CPU 23 to change the luminance of the laser light output from the green laser 11 and the two-color laser 12 as described later. In other words, the luminance changing unit 30 changes the luminance of the laser light applied to the projection plane 100 on which the operation image 101 is displayed. Therefore, the amount of reflected laser light from the object L received by the light receiving unit 10 varies according to the luminance changed by the luminance changing unit 30.

受光部10から出力された検出信号は、アンプ27によって増幅され、A/D変換部28に入力されて、デジタル信号として出力される。
A/D変換部28から出力された検出信号はCPU23に入力され、位置判定部29が、当該検出信号に基づいて、上記のように物体Lの高さを含めた位置を判定する。
The detection signal output from the light receiving unit 10 is amplified by the amplifier 27, input to the A / D conversion unit 28, and output as a digital signal.
The detection signal output from the A / D conversion unit 28 is input to the CPU 23, and the position determination unit 29 determines the position including the height of the object L as described above based on the detection signal.

位置判定部29は高さ判定部31と位置補正部32とを有している。
高さ判定部31は、後述するように、受光部10から出力される検出信号に応じて、物体Lの投影面100に対する高さを判定する。
位置補正部32は、後述するように、物体Lの高さを検出した時の物体Lの投影面100と平行な面における位置(本例では、Y軸方向の位置)を、この検出時のレーザ光線と投影面100とがなす角度、及び、検出された高さに基づいて補正する。すなわち、窓1aから斜め下方に照射されるレーザ光の反射によって検出される物体LのY軸方向の位置を補正して、物体Lの直下のY軸方向の位置を求める。
The position determination unit 29 includes a height determination unit 31 and a position correction unit 32.
As will be described later, the height determination unit 31 determines the height of the object L with respect to the projection plane 100 according to the detection signal output from the light receiving unit 10.
As will be described later, the position correction unit 32 determines the position (in this example, the position in the Y-axis direction) of the object L on the plane parallel to the projection plane 100 when the height of the object L is detected. Correction is performed based on the angle formed by the laser beam and the projection surface 100 and the detected height. That is, the position in the Y-axis direction of the object L detected by the reflection of the laser light irradiated obliquely downward from the window 1a is corrected, and the position in the Y-axis direction immediately below the object L is obtained.

〔高さ判定の説明〕
図4には、受光部10の検出範囲を投影面100と平行に見て示してある。なお、同図に向かって左側に受光部10が位置する。
操作用画像101を投影しているレーザ光は、検出範囲内に位置する物体Lによって反射されて受光部10で受光される。この場合、図4(a)に示すように物体Lが投影面100に対して高い位置にあるときと、同図(b)に示すように物体Lが投影面100に対して低い位置にあるときとを比べると、前者に比べて後者の方が物体Lで反射されるレーザ光の光量は大きくなる。
[Explanation of height judgment]
In FIG. 4, the detection range of the light receiving unit 10 is shown in parallel with the projection plane 100. Note that the light receiving unit 10 is located on the left side in the figure.
The laser light projecting the operation image 101 is reflected by the object L located within the detection range and received by the light receiving unit 10. In this case, as shown in FIG. 4A, the object L is at a high position with respect to the projection plane 100, and as shown in FIG. 4B, the object L is at a low position with respect to the projection plane 100. Compared with time, the amount of laser light reflected by the object L in the latter is larger than that in the former.

すなわち、物体Lの投影面100に対する位置が高くなるに応じて、物体Lからの反射光量が減少する。
したがって、照射されるレーザ光の輝度が同じ場合には、物体Lが投影面100に対して高い位置にあるときは、受光部10が受光する反射レーザ光の光量は比較的小さくなり、また、物体Lが投影面100に対して低い位置にあるときは、受光部10が受光する反射レーザ光の光量は比較的大きくなる。
That is, the amount of reflected light from the object L decreases as the position of the object L with respect to the projection plane 100 increases.
Therefore, when the brightness of the irradiated laser light is the same, when the object L is at a high position with respect to the projection plane 100, the amount of reflected laser light received by the light receiving unit 10 is relatively small, When the object L is at a low position with respect to the projection plane 100, the amount of reflected laser light received by the light receiving unit 10 is relatively large.

図5には、輝度変更部30が行なう輝度変更方法の一例を示してある。
この例では、輝度変更部30は、輝度レベル1〜4として透過率が100%〜70%のレイヤーを有しており、CPU23による制御下で投影される画像にいずれかのレイヤーを重ねることで、画像を表示するために投影面に照射されるレーザ光の輝度を変更する。
したがって、輝度レベル1のときには、最も大きい輝度のレーザ光により操作用画像101が投影面100に投影され、輝度レベル4のときには、最も小さい輝度のレーザ光により操作用画像101が投影面100に投影される。
FIG. 5 shows an example of the luminance changing method performed by the luminance changing unit 30.
In this example, the luminance changing unit 30 has layers with luminance levels 1 to 4 and transmittances of 100% to 70%, and any layer is superimposed on an image projected under the control of the CPU 23. Then, the brightness of the laser beam irradiated on the projection surface to display an image is changed.
Therefore, when the luminance level is 1, the operation image 101 is projected onto the projection surface 100 by the laser beam having the highest luminance, and when the luminance level is 4, the operation image 101 is projected onto the projection surface 100 by the laser beam having the lowest luminance. Is done.

このように操作用画像101を投影するレーザ光の輝度が変化すると、これに応じて、物体Lから反射されたレーザ光を受光する受光部10の受光量も変化する。
したがって、図4に示したようにレーザ光を反射する物体Lが一定の高さにある場合でも、照射されるレーザ光の輝度が大きくなるに応じて、受光部10の受光量は大きくなる。
When the brightness of the laser light that projects the operation image 101 changes in this way, the amount of light received by the light receiving unit 10 that receives the laser light reflected from the object L also changes accordingly.
Therefore, even when the object L that reflects the laser beam is at a certain height as shown in FIG. 4, the amount of light received by the light receiving unit 10 increases as the luminance of the irradiated laser beam increases.

本実施形態では、図6に示すように、高さn(12mm)の検出範囲をA〜Dの4つの高さ領域に分けて処理しており、高さ領域Dは投影面100から1mmの高さ、高さ領域Cは投影面100から1〜4mmの高さ、高さ領域Bは投影面100から4〜8mmの高さ、高さ領域Aは投影面100から8〜12mmの高さとしている。
なお、図6(図8についても同様)に示すように、窓1aから斜め下方にレーザ光が照射される。
また、これら高さ領域の数や、各高さ領域の高さ幅は、レーザ光の輝度レベルの設定や、受光部10の閾値の設定等に応じて、種々設定することができる。
In the present embodiment, as shown in FIG. 6, the detection range of height n (12 mm) is divided into four height areas A to D, and the height area D is 1 mm from the projection plane 100. The height and height region C are 1 to 4 mm from the projection surface 100, the height region B is 4 to 8 mm from the projection surface 100, and the height region A is 8 to 12 mm from the projection surface 100. It is said.
As shown in FIG. 6 (the same applies to FIG. 8), laser light is irradiated obliquely downward from the window 1a.
In addition, the number of these height regions and the height width of each height region can be variously set according to the setting of the brightness level of the laser light, the setting of the threshold value of the light receiving unit 10, and the like.

上記のように、受光部10が検出信号を出力する受光量は、投影面100に照射されるレーザ光の物体Lによる反射量と、当該レーザ光の輝度レベルとに関係する。
本実施形態では、輝度変更部30は投影面100に照射されるレーザ光の輝度を低いレベルから高いレベル(輝度レベル4から輝度レベル1)へと変更し、その時の輝度レベルのレーザ光の反射を受光することによって受光部10が検出信号を出力したときの物体Lの高さを対応付けている。
As described above, the amount of light received by the light receiving unit 10 to output a detection signal is related to the amount of reflection of the laser light irradiated on the projection plane 100 by the object L and the luminance level of the laser light.
In the present embodiment, the luminance changing unit 30 changes the luminance of the laser light applied to the projection plane 100 from a low level to a high level (brightness level 4 to luminance level 1), and reflects the laser light at the luminance level at that time. Is associated with the height of the object L when the light receiving unit 10 outputs a detection signal.

すなわち、受光部10の閾値を、輝度レベル1のレーザ光が照射されたときに高さ範囲Aにある物体Lからの反射光の受光で検出信号を出力し、輝度レベル2のレーザ光が照射されたときに高さ範囲Bにある物体Lからの反射光の受光で検出信号を出力し、輝度レベル3のレーザ光が照射されたときに高さ範囲Cにある物体Lからの反射光の受光で検出信号を出力し、輝度レベル4のレーザ光が照射されたときに高さ範囲Dにある物体Lからの反射光の受光で検出信号を出力するように設定されている。   That is, the detection signal is output by receiving the reflected light from the object L in the height range A when the laser beam with the luminance level 1 is irradiated with the threshold value of the light receiving unit 10, and the laser beam with the luminance level 2 is irradiated. When the reflected light from the object L in the height range B is received, a detection signal is output, and the reflected light from the object L in the height range C when irradiated with the laser light of luminance level 3 is output. The detection signal is output upon reception of light, and the detection signal is output upon reception of reflected light from the object L in the height range D when a laser beam having a luminance level of 4 is irradiated.

これにより、高さ判定部31は、受光部10からの検出信号の入力と、当該入力時におけるレーザ光の輝度とに基づいて、物体Lがいずれの高さ領域にあるかを判定する。
高さ判定部31は、図7に示すような関係テーブルを有しており、輝度レベル1で検出信号が得られたときは物体Lの高さ(検出高)を12mmと判定し、輝度レベル2で検出信号が得られたときは物体Lの高さ(検出高)を8mmと判定し、輝度レベル3で検出信号が得られたときは物体Lの高さ(検出高)を4mmと判定し、輝度レベル4で検出信号が得られたときは物体Lの高さ(検出高)を1mmと判定する。
したがって、レーザ光の輝度レベルを変更することによって、物体Lの投影面100からの高さが判定される。
Thereby, the height determination unit 31 determines which height region the object L is in based on the input of the detection signal from the light receiving unit 10 and the luminance of the laser light at the time of the input.
The height determination unit 31 has a relationship table as shown in FIG. 7, and when the detection signal is obtained at the luminance level 1, the height (detection height) of the object L is determined to be 12 mm, and the luminance level is determined. When the detection signal is obtained at 2, the height (detection height) of the object L is determined as 8 mm, and when the detection signal is obtained at the luminance level 3, the height (detection height) of the object L is determined as 4 mm. When the detection signal is obtained at the luminance level 4, the height (detection height) of the object L is determined to be 1 mm.
Therefore, the height of the object L from the projection plane 100 is determined by changing the luminance level of the laser light.

〔Y軸方向の位置補正の説明〕
あるY軸方向の位置(Y座標位置)に物体Lはある場合であっても、この物体Lの高さ位置が変化した場合には、斜め下方に照射されるレーザ光による画素スポットの走査位置タイミングと、物体Lから反射されたレーザ光の受光タイミングとから検出されるY座標位置は変化する。すなわち、検出されるY座標位置が変動し、物体Lの直下のY座標位置を判定することができない。
[Description of position correction in the Y-axis direction]
Even when the object L is at a certain position in the Y-axis direction (Y coordinate position), if the height position of the object L changes, the scanning position of the pixel spot by the laser beam irradiated obliquely downward The Y coordinate position detected from the timing and the light reception timing of the laser beam reflected from the object L changes. That is, the detected Y coordinate position varies, and the Y coordinate position directly below the object L cannot be determined.

これに対して、位置補正部32が、下記のように、高さ判定部31で得られた物体Lの高さを用いて補正処理を行ない、物体Lの直下のY座標位置を判定する。
まず、検出した物体LのY座標の値から、図8に示すように、その時のレーザ光が投影面100となす角度θを求める。
図8に示す例では、装置の設計により、Y1は操作用画像101の下端に対応する最小のY座標の値(0)、Y4は操作用画像101の上端に対応する最大のY座標の値(690)であり、また、θ1はY1を検出するレーザ光が投影面100となす角度(60°)、θ4はY4を検出するレーザ光が投影面100となす角度(35°)である。
In contrast, the position correction unit 32 performs correction processing using the height of the object L obtained by the height determination unit 31 as described below, and determines the Y coordinate position immediately below the object L.
First, as shown in FIG. 8, an angle θ formed by the laser beam at that time with the projection plane 100 is obtained from the detected Y coordinate value of the object L.
In the example shown in FIG. 8, Y1 is the minimum Y coordinate value (0) corresponding to the lower end of the operation image 101, and Y4 is the maximum Y coordinate value corresponding to the upper end of the operation image 101, depending on the design of the apparatus. (690), θ1 is an angle (60 °) between the laser beam for detecting Y1 and the projection plane 100, and θ4 is an angle (35 °) between the laser beam for detecting Y4 and the projection plane 100.

位置補正部32は、検出されたY座標の値から、Yを検出するレーザ光が投影面100となす角度θyを、下記の計算式によって演算処理して求める。
θy=60−(Y*((θ1−θ4)/(Y4−Y1)))
なお、図8に示す他のY2やY3の座標の値が検出されると、同様にして、それらの角度θ3、θ4が求められ、図8に示す例では図9に示すとおりである。
The position correction unit 32 obtains an angle θy formed by the laser beam for detecting Y and the projection plane 100 from the detected Y coordinate value by an arithmetic processing using the following calculation formula.
θy = 60− (Y * ((θ1-θ4) / (Y4-Y1)))
When other Y2 and Y3 coordinate values shown in FIG. 8 are detected, their angles θ3 and θ4 are obtained in the same manner, and the example shown in FIG. 8 is as shown in FIG.

次に、位置補正部32は、高さ判定部31が判定した物体Lの高さ(検出高)と、検出されたY座標の値について上記で求めた角度θとに基づいて、補正距離(mm)を、下記の計算式によって演算処理して求める。
「補正距離」=「検出高」/Sinθ*Sin(180−90−θ)
Next, the position correction unit 32 determines a correction distance (based on the height (detection height) of the object L determined by the height determination unit 31 and the angle θ obtained above for the detected Y coordinate value. mm) is calculated by the following calculation formula.
“Correction distance” = “detection height” / Sinθ * Sin (180−90−θ)

図10には、一例として、Y2(188)を検出したときに、検出高に応じて求められる補正距離を示してある。
すなわち、Y2が検出されたときの角度θは、上記のように53°として求められ、上記の計算式により、補正距離は、検出高が12mmのときは9mm、検出高が8mmのときは6mm、検出高が4mmのときは3mm、検出高が1mmのときは1mmと求められる。
FIG. 10 shows, as an example, a correction distance obtained according to the detection height when Y2 (188) is detected.
That is, the angle θ when Y2 is detected is obtained as 53 ° as described above, and the correction distance is 9 mm when the detected height is 12 mm, and 6 mm when the detected height is 8 mm. When the detected height is 4 mm, 3 mm is obtained, and when the detected height is 1 mm, 1 mm is obtained.

次に、位置補正部32は、補正距離(mm)を、下記のように演算処理してY座標の値の補正値に換算し、この補正値を上記検出されたY座標の値から差し引く演算処理を行なって、物体の高さにかかわらず一定な物体直下のY座標の値を求める。
本例では、装置の設計からY1とY4との距離が165mmであるとすると、下記の計算式によって、図11に示すように、上記の補正距離毎の補正値が求められる。
「補正値」=(「補正距離」*690)/165
そして、検出したY座標の値を、当該検出時の検出高に応じた補正値で補正する。
Next, the position correction unit 32 calculates the correction distance (mm) as follows, converts the correction distance into a correction value of the Y coordinate value, and subtracts the correction value from the detected Y coordinate value. Processing is performed to obtain a constant Y coordinate value directly under the object regardless of the height of the object.
In this example, when the distance between Y1 and Y4 is 165 mm from the design of the apparatus, the correction value for each correction distance is obtained by the following calculation formula as shown in FIG.
“Correction value” = (“Correction distance” * 690) / 165
Then, the detected Y coordinate value is corrected with a correction value corresponding to the detected height at the time of detection.

〔処理動作の全体的な説明〕
上記の輝度変更部30、高さ判定部31及び位置補正部32による処理は、本実施形態では、図13に示す手順でなされる。
レーザプロジェクタ1の起動に伴って操作用画像101に対する物体の高さを含めた位置を判定する処理が開始されると、まず、輝度変更部30がレーザ光の輝度レベルを一定以上として、物体Lによって反射されるレーザ光を受光することで検出信号を出力する状態として、位置判定部29が、操作用画像101の走査タイミングと検出信号の出力タイミングとより、物体LのY座標の値を検出して保持する(ステップS1)。
[Overall description of processing operations]
In the present embodiment, the processes by the brightness changing unit 30, the height determining unit 31, and the position correcting unit 32 are performed according to the procedure shown in FIG.
When the processing for determining the position including the height of the object with respect to the operation image 101 is started with the activation of the laser projector 1, first, the luminance changing unit 30 sets the luminance level of the laser light to a certain level or higher, and the object L The position determination unit 29 detects the value of the Y coordinate of the object L from the scanning timing of the operation image 101 and the output timing of the detection signal as a state in which the detection signal is output by receiving the laser beam reflected by (Step S1).

そして、輝度変更部30が、レーザ光の輝度レベルを最小(輝度レベル4)に変更して設定し(ステップS2)、位置判定部29が、上記と同様にして、物体LのY座標の値を検出する(ステップS3)。
この結果、Y座標の値が検出できないときには、輝度変更部30が、輝度レベルが最大でないことを確認して(ステップS4)、輝度レベルを1段階上げる(ステップS5)。
Then, the brightness changing unit 30 changes and sets the laser light brightness level to the minimum (brightness level 4) (step S2), and the position determination unit 29 performs the Y coordinate value of the object L in the same manner as described above. Is detected (step S3).
As a result, when the value of the Y coordinate cannot be detected, the luminance changing unit 30 confirms that the luminance level is not the maximum (step S4), and increases the luminance level by one level (step S5).

すなわち、まず、レーザ光の輝度レベルを最低レベル(輝度レベル4)に変更し、Y座標が検出されるまで、あるいは、輝度レベルが最高レベル(輝度レベル1)に達するまで、上記の処理を繰り返す。
なお、輝度レベルを最高レベルとしてもY座標を検出できない場合は、処理を終了する。
That is, first, the luminance level of the laser beam is changed to the lowest level (luminance level 4), and the above processing is repeated until the Y coordinate is detected or until the luminance level reaches the highest level (luminance level 1). .
If the Y coordinate cannot be detected even when the luminance level is the highest level, the process is terminated.

他方、Y座標の値を検出したときは(ステップS3)、このときの輝度レベルに基づいて、高さ判定部31が、上記のように物体Lの高さを判定して、判定した高さ情報を保持する(ステップS6)。
そして、位置補正部32が、高さ判定部31が保持した物体Lの高さ情報に基づいて、上記のように、角度θを算出し(ステップS7)、補正距離を算出し(ステップS8)、補正距離を補正値に換算し(ステップS9)、この補正値によって上記検出されたY座標の値を補正する(ステップS10)。
On the other hand, when the value of the Y coordinate is detected (step S3), the height determination unit 31 determines the height of the object L as described above based on the luminance level at this time, and the determined height. Information is held (step S6).
Then, the position correction unit 32 calculates the angle θ as described above based on the height information of the object L held by the height determination unit 31 (step S7), and calculates the correction distance (step S8). The correction distance is converted into a correction value (step S9), and the value of the detected Y coordinate is corrected by this correction value (step S10).

上記の一連の処理によって、物体Lの高さと補正されたY座標の値が求められ、物体の3次元的な座標が精度よく求められる。   Through the series of processes described above, the height of the object L and the corrected Y coordinate value are obtained, and the three-dimensional coordinates of the object are obtained with high accuracy.

〔変形例〕
輝度変更部30により、レーザ光の輝度を変更するタイミングは必要に応じて任意に設定するようにすればよいが、一例として、投影する操作用画像101のフレーム毎に変更するようにしてもよい。これによって、動きの比較的速い物体の高さや位置をより正確に判定することができる。
輝度変更部30によりレーザ光の輝度を変更する領域は、操作用画像101の物体Lの高さ及び位置を検出する必要がある領域だけとしてもよい。例えば、図12に示すように、物体Lによる操作入力を受け付けるキーボード画像40と、操作入力された文字等を表示するディスプレイ画像41とを含む画像を投影する場合、キーボード画像40だけを輝度レベルを変更するようにしてもよい。これによって、ディスプレイ画像等の他の画像部分は視認性が良好な一定の輝度によって表示することができる。
[Modification]
The timing of changing the luminance of the laser beam by the luminance changing unit 30 may be arbitrarily set as necessary, but as an example, it may be changed for each frame of the operation image 101 to be projected. . As a result, the height and position of a relatively fast moving object can be determined more accurately.
The region where the luminance of the laser beam is changed by the luminance changing unit 30 may be only the region where it is necessary to detect the height and position of the object L in the operation image 101. For example, as shown in FIG. 12, when projecting an image including a keyboard image 40 that accepts an operation input by the object L and a display image 41 that displays characters and the like that are input by the operation, only the keyboard image 40 has a luminance level. It may be changed. As a result, other image portions such as a display image can be displayed with a certain luminance with good visibility.

また、輝度変更部30は、透過率を違えたレイヤーを画像に重ねる方法の他、種々な方法によって画像を投影するレーザ光の輝度を変更することができる。例えば、輝度変更部30がCPU23を介してレーザ制御部21を直接的に制御して、レーザ光源11,12から出力するレーザ光の輝度を変更するようにしてもよい。   In addition, the luminance changing unit 30 can change the luminance of the laser light that projects the image by various methods in addition to the method of superimposing the layers having different transmittances on the image. For example, the luminance changing unit 30 may directly control the laser control unit 21 via the CPU 23 to change the luminance of the laser light output from the laser light sources 11 and 12.

また、受光部10は受光した反射光量に応じた値の検出信号を出力し、位置判定部29が検出信号の値に基づいて物体Lの高さを判定するようにしてもよい。上記のように受光部10に閾値が設定されている場合は、輝度を低いレベルから高いレベルへ変更するのが好ましいが、反射光量に応じた値の検出信号を出力する受光部を用いる場合には、輝度レベルの変更態様は任意であってよい。   Alternatively, the light receiving unit 10 may output a detection signal having a value corresponding to the amount of reflected light received, and the position determination unit 29 may determine the height of the object L based on the value of the detection signal. When the threshold value is set in the light receiving unit 10 as described above, it is preferable to change the luminance from a low level to a high level, but when using a light receiving unit that outputs a detection signal having a value corresponding to the amount of reflected light. The change mode of the luminance level may be arbitrary.

本発明は、例えば、レーザプロジェクタ等の画像表示装置の入力装置として利用することが可能であり、他にも、パーソナルコンピュータ、携帯電話機、携帯情報端末等といったあらゆる電子機器において、投影された操作用画像で利用者からの入力を受け付ける入力装置に利用することが可能である。   The present invention can be used as an input device of an image display device such as a laser projector, for example, and can be used for a projected operation in any electronic device such as a personal computer, a mobile phone, and a portable information terminal. It can be used for an input device that accepts an input from a user by an image.

1:レーザプロジェクタ、10:受光部、
29:位置判定部、 30:輝度変更部、
31:高さ判定部、 32:位置補正部、
100:投影面、 101:操作用画像、
L:物体、
1: laser projector, 10: light receiving unit,
29: Position determination unit, 30: Brightness change unit,
31: Height determination unit, 32: Position correction unit,
100: Projection plane 101: Image for operation
L: object,

Claims (7)

画像が投影される投影面に対する物体の位置を判定する位置判定装置であって、
投影面に照射される光の輝度を変更する輝度変更部と、
前記投影面に照射される光の前記物体による反射光を受光する受光部と、
前記受光部から前記輝度に応じて出力される検出信号に基づいて、前記物体の投影面に対する高さを判定する高さ判定部と、
を有することを特徴とする位置判定装置。
A position determination device that determines the position of an object with respect to a projection plane on which an image is projected,
A luminance changing unit for changing the luminance of light irradiated on the projection surface;
A light receiving unit that receives light reflected by the object of light irradiated on the projection surface;
A height determination unit that determines the height of the object relative to the projection plane based on a detection signal output according to the luminance from the light receiving unit;
A position determination apparatus comprising:
請求項1に記載の位置判定装置において、
前記高さを検出した時の物体の投影面と平行な面における位置を、当該検出時の光線と投影面とがなす角度、及び、検出された高さに基づいて補正する位置補正部を有することを特徴とする位置判定装置。
The position determination device according to claim 1,
A position correcting unit that corrects the position of the object in a plane parallel to the projection plane when the height is detected based on the angle formed by the light beam and the projection plane at the time of detection and the detected height; A position determination device characterized by that.
請求項1又は2に記載の位置判定装置において、
前記輝度変更部は、前記輝度を低いレベルから高いレベルへ変更することを特徴とする位置判定装置。
In the position determination apparatus according to claim 1 or 2,
The brightness changing unit changes the brightness from a low level to a high level.
請求項1乃至3のいずれか1項に記載の位置判定装置において、
前記輝度変更部は、前記投影する画像のフレーム毎に光の輝度を変更することを特徴とする位置判定装置。
The position determination device according to any one of claims 1 to 3,
The position determination apparatus, wherein the brightness changing unit changes the brightness of light for each frame of the projected image.
請求項1乃至4のいずれか1項に記載の位置判定装置において、
前記輝度変更部は、前記投影される画像中の物体の位置検出する領域の光の輝度を変更することを特徴とする位置判定装置。
The position determination apparatus according to any one of claims 1 to 4,
The brightness changing unit changes the brightness of light in a region where the position of an object in the projected image is detected.
物体からの反射光により、水平走査及び垂直走査により投影面に投影される画像に対する物体の位置を、当該物体からの反射光により判定して、当該物体の位置に応じた入力を受け付ける入力装置であって、
投影面に照射される光の輝度を変更する輝度変更部と、
前記投影面に照射される光の前記物体による反射光を受光する受光部と、
前記受光部から前記輝度に応じて出力される検出信号に基づいて、前記物体の投影面に対する高さを判定する高さ判定部と、
を有することを特徴とする入力装置。
An input device that receives the input according to the position of the object by determining the position of the object with respect to the image projected on the projection plane by the horizontal scanning and the vertical scanning by the reflected light from the object by the reflected light from the object. There,
A luminance changing unit for changing the luminance of light irradiated on the projection surface;
A light receiving unit that receives light reflected by the object of light irradiated on the projection surface;
A height determination unit that determines the height of the object relative to the projection plane based on a detection signal output according to the luminance from the light receiving unit;
An input device comprising:
請求項6に記載の入力装置において、
前記高さを検出した時の物体の前記垂直走査方向の位置を、当該検出時の光線と投影面とがなす角度、及び、検出された高さに基づいて補正する位置補正部を有することを特徴とする入力装置。
The input device according to claim 6,
A position correcting unit that corrects the position of the object in the vertical scanning direction when the height is detected based on the angle formed between the light beam and the projection surface at the time of detection and the detected height; Characteristic input device.
JP2012275212A 2012-12-18 2012-12-18 Position determination device and input device Pending JP2014120009A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012275212A JP2014120009A (en) 2012-12-18 2012-12-18 Position determination device and input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012275212A JP2014120009A (en) 2012-12-18 2012-12-18 Position determination device and input device

Publications (1)

Publication Number Publication Date
JP2014120009A true JP2014120009A (en) 2014-06-30

Family

ID=51174785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012275212A Pending JP2014120009A (en) 2012-12-18 2012-12-18 Position determination device and input device

Country Status (1)

Country Link
JP (1) JP2014120009A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019186974A1 (en) * 2018-03-29 2019-10-03 日本電気株式会社 Image identification register device, image identification register system, product information display method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019186974A1 (en) * 2018-03-29 2019-10-03 日本電気株式会社 Image identification register device, image identification register system, product information display method, and program
JPWO2019186974A1 (en) * 2018-03-29 2021-03-11 日本電気株式会社 Image identification cash register device, image identification cash register system, product information display method, and program

Similar Documents

Publication Publication Date Title
US20090262098A1 (en) Electronics device having projector module
JP5276943B2 (en) Display device
WO2012014690A1 (en) Projector
JP5971053B2 (en) Position detection device and image display device
JP2010244484A (en) Image display device, image display method and image display program
JP2013065061A (en) Projector
US9317137B2 (en) Optical touch detection module, projection system with optical touch detection module, and method of optical touch detection module
US20140253884A1 (en) Projector and Electronic Apparatus Having Projector Function
US8714749B2 (en) Projection display device with position detection function
US20150185321A1 (en) Image Display Device
US9898092B2 (en) Input apparatus
JP6051551B2 (en) Ranging device and input device
US20130257702A1 (en) Image projecting apparatus, image projecting method, and computer program product
JP2014123170A (en) Position determination device and position determination method
JP2014120009A (en) Position determination device and input device
US9606637B2 (en) Projector and electronic device having projector function
US20140300583A1 (en) Input device and input method
JPWO2016042637A1 (en) Light source device, electronic blackboard system, and control method of light source device
JP2014127056A (en) Input device and image display device
EP2759916A2 (en) Projector
KR101948674B1 (en) Portable scanner and scanning method
JP2014119937A (en) Input device and image display device
JP2014120010A (en) Input device and image display device
JP5471275B2 (en) Projection display with position detection function
JP2014164377A (en) Projector and electronic apparatus having projector function

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140723