JP2008027328A - Data input device - Google Patents

Data input device Download PDF

Info

Publication number
JP2008027328A
JP2008027328A JP2006201543A JP2006201543A JP2008027328A JP 2008027328 A JP2008027328 A JP 2008027328A JP 2006201543 A JP2006201543 A JP 2006201543A JP 2006201543 A JP2006201543 A JP 2006201543A JP 2008027328 A JP2008027328 A JP 2008027328A
Authority
JP
Japan
Prior art keywords
hand shape
image
display screen
hand
data input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006201543A
Other languages
Japanese (ja)
Other versions
JP4757132B2 (en
Inventor
Noritaka Hashimoto
紀貴 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2006201543A priority Critical patent/JP4757132B2/en
Publication of JP2008027328A publication Critical patent/JP2008027328A/en
Application granted granted Critical
Publication of JP4757132B2 publication Critical patent/JP4757132B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a "data input device" for displaying a hand shape seen from the above on a display screen even in arranging a camera in front of an operation face. <P>SOLUTION: The hand shape is stored, a user's hand shape in the operation face 11 is photographed by the camera 13, positions A' and B' on the display screen of at least two particular parts A and B of the hand shape are calculated, and a hand shape image is generated so as to make the two particular parts of the stored hand shape come to the calculated positions. Consequently, the hand shape seen from the above can be displayed at a correct place even when the camera is disposed in front of the operation face. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明はデータ入力装置に係わり、特に、操作面におけるユーザの手形状画像を取り込んでディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置に関する。   The present invention relates to a data input device, and more particularly, a data input device that captures a hand shape image of a user on an operation surface and displays the image on a display screen, and inputs data by selecting an image displayed on the display screen with a finger. About.

データ入力方法として、タッチパネルを使用する方法がある。このタッチパネル入力方法は透明タッチパネルをディスプレイ画面上に積層し、所定の画像部分(メニュー項目やキーなど)をペンあるいはユーザの指等で選択することにより、該選択したメニューやキーに応じたデータ、コマンドを装置に入力するものである。
しかし、タッチパネル入力方法では、タッチパネルに直接触れることによりデータ、コマンドを入力するものであるため、手をディスプレイ画面まで動かして操作する必要があり、車載機器などではデータ入力操作がしにくい問題がある。また、タッチパネルにタッチするものであるため汚れがついて画面の視認性を低下する。
そこで、図１０に示すように操作面(操作子)１を操作しやすい場所に設け、該操作面上でユーザ３が手４を移動させ、制御部５が手形状画像４′をディスプレイ画面２に表示し、ディスプレイ画面に表示されている画像（メニュー項目やキーなど)６a，６b，６c，….を指で選択してデータを入力するデータ入力方法が提案されている(特許文献１)。
特開２００６−７２８５４号 As a data input method, there is a method using a touch panel. In this touch panel input method, a transparent touch panel is stacked on a display screen, and a predetermined image portion (menu item, key, etc.) is selected with a pen or a user's finger, etc., so that data corresponding to the selected menu or key, A command is input to the device.
However, in the touch panel input method, data and commands are input by directly touching the touch panel. Therefore, it is necessary to move the hand to the display screen, and it is difficult to perform data input operations on in-vehicle devices. . Moreover, since it touches a touch panel, it will become dirty and the visibility of a screen will fall.
Therefore, as shown in FIG. 10, the operation surface (operation element) 1 is provided at a place where it is easy to operate, the user 3 moves the hand 4 on the operation surface, and the control unit 5 displays the hand shape image 4 ′ on the display screen 2. A data input method is proposed in which images (menu items, keys, etc.) 6a, 6b, 6c,... Displayed on the display screen are selected with a finger and data is input (Patent Document 1). .
JP 2006-72854 A

ところで、上記従来技術では操作面１を例えばタブレットで構成し、手が接触した位置情報を用いて手形状画像を発生する。しかし、手全体がタブレットに接触するものでないため手形状画像が実際の手形状と異なる問題がある。そこで、図１１（A）に示すように操作面４の真上にカメラ７を取り付け、該カメラで撮影した手形状をディスプレイ画面に表示することが行なわれている。なお、図１１(B)において８はカメラ撮影領域である。操作面４の真上にカメラ７を取り付けることができれば何らの問題も生じない。しかし、狭い車室空間に設けられる車載機器等では操作面４の真上にカメラ７を取り付けることができず、図１２(A)に示すように操作面４の前方に配置せざるを得ない場合がある。かかる場合、手形状画像は図１２(B)に示すように平面図（真上から見た図）とならず歪んだ形状となる問題がある。   By the way, in the said prior art, the operation surface 1 is comprised with a tablet, for example, and a hand shape image is generated using the positional information on which the hand contacted. However, since the whole hand is not in contact with the tablet, there is a problem that the hand shape image is different from the actual hand shape. Therefore, as shown in FIG. 11A, a camera 7 is attached directly above the operation surface 4 and a hand shape photographed by the camera is displayed on a display screen. In FIG. 11B, reference numeral 8 denotes a camera photographing area. If the camera 7 can be mounted directly above the operation surface 4, no problem will occur. However, in a vehicle-mounted device or the like provided in a narrow vehicle compartment space, the camera 7 cannot be attached directly above the operation surface 4 and must be disposed in front of the operation surface 4 as shown in FIG. There is a case. In such a case, there is a problem that the hand shape image becomes a distorted shape instead of a plan view (viewed from directly above) as shown in FIG.

また、ディスプレイ画面に三次元画像(3D画像)を表示し、該3D画像に手を重ねて表示して指で所定の画像部分を指示してデータ入力する装置がある。特に、ナビゲーション装置用の3D画像表示では、目的地点（建物）を指で指示して行き先を設定したり、指先でなぞって経路を設定したりする。かかる場合、従来は３D画像の奥行きや視点に関係なく、図１３に示すように手の大きさを同一サイズで表示する。しかし、かかる表示方法では、3D画像に遠近感はあるが、手の画像に遠近感が無く操作者に違和感を生じさせ、操作上好ましくなかった。
以上から本発明の目的は、カメラを操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示できるデータ入力装置を提供することである。
本発明の別の目的は、手の位置に応じて該手形状のスケールを制御することにより手形状に遠近感を持たせて表示することにより違和感のない手形状表示ができるデータ入力装置を提供することである。 In addition, there is a device that displays a three-dimensional image (3D image) on a display screen, displays the 3D image with the hand superimposed, and inputs data by designating a predetermined image portion with a finger. In particular, in 3D image display for a navigation device, a destination point (building) is designated with a finger to set a destination, or a trace is set with a fingertip. In such a case, the size of the hand is conventionally displayed in the same size as shown in FIG. 13 regardless of the depth and viewpoint of the 3D image. However, with such a display method, the 3D image has a sense of perspective, but the hand image does not have a sense of perspective, causing the operator to feel uncomfortable, which is not preferable in terms of operation.
Accordingly, an object of the present invention is to provide a data input device capable of displaying a hand shape viewed from directly above at a correct position even when a camera is arranged in front of an operation surface.
Another object of the present invention is to provide a data input device capable of displaying a hand shape without a sense of incongruity by displaying the hand shape with a sense of perspective by controlling the scale of the hand shape according to the position of the hand. It is to be.

本発明の第１の態様は、操作面におけるユーザの手形状画像をディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置であり、手形状を保存する手形状保存部、操作面におけるユーザの手形状を撮影するカメラ、カメラで撮影した手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記手形状保存部に保存されている手形状の2つの特定部分が該計算位置に来るように手形状画像を発生する手形状画像発生部、データ入力用の操作画像を発生す操作画像発生部、ディスプレイ画面において該操作画像上に前記手形状画像を重ねて表示する画像合成部、指で指示された画像に応じたデータを入力するデータ入力部を備えている。
本発明の第２の態様は、操作面におけるユーザの手形状画像を取り込んでディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置であり、三次元画像データを用いて道路を含む三次元画像を発生する三次元画像発生部、操作面におけるユーザの手形状を撮影するカメラ、手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生する手形状画像発生部、ディスプレイ画面において前記三次元画像上に前記手形状画像を重ねて表示する画像合成部、指で指示された画像に応じたデータを入力するデータ入力部を備えている。 A first aspect of the present invention is a data input device that displays a user's hand shape image on the operation surface on a display screen, selects an image displayed on the display screen with a finger, and inputs data. A hand shape storage unit that stores the shape, a camera that captures the user's hand shape on the operation surface, and a position on the display screen of at least two specific parts of the hand shape captured by the camera is calculated and stored in the hand shape storage unit A hand-shaped image generating unit that generates a hand-shaped image so that two specific parts of the hand-shaped being placed are at the calculation position, an operation image generating unit that generates an operation image for data input, and the operation image on the display screen An image composition unit for displaying the hand shape image superimposed thereon, and a data input unit for inputting data corresponding to the image designated by the finger.
A second aspect of the present invention is a data input device that captures and displays a user's hand shape image on the operation surface on a display screen, selects an image displayed on the display screen with a finger, and inputs data. A 3D image generation unit that generates a 3D image including a road using 3D image data, a camera that captures the user's hand shape on the operation surface, the position of the hand shape on the display screen, and the vanishing point of the road A hand shape image generating unit that generates a hand shape image by changing the scale of the hand shape from the position, an image composition unit that displays the hand shape image on the three-dimensional image on a display screen, and is instructed by a finger A data input unit for inputting data corresponding to the image.

本発明によれば、手形状を保存しておき、操作面におけるユーザの手形状をカメラで撮影し、該手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記保存してある手形状の2つの特定部分が該計算位置に来るように手形状画像を発生するようにしたから、カメラが操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示することができる。
本発明によれば、三次元画像データを用いて道路を含む三次元画像を発生し、操作面におけるユーザの手形状をカメラで撮影し、手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生するようにしたから、遠近感を持たせて手形状を表示することができ、違和感のない手形状表示が可能になった。 According to the present invention, the hand shape is stored, the user's hand shape on the operation surface is photographed with a camera, the positions of at least two specific parts of the hand shape on the display screen are calculated, and the stored Since the hand shape image is generated so that two specific parts of a certain hand shape are at the calculation position, the hand shape seen from directly above is correct even when the camera is placed in front of the operation surface. Can be displayed in position.
According to the present invention, a three-dimensional image including a road is generated using the three-dimensional image data, the user's hand shape on the operation surface is photographed with a camera, and the position of the hand shape on the display screen and the vanishing point of the road Since the hand shape image is generated by changing the scale of the hand shape from the position of the hand, it is possible to display the hand shape with a sense of perspective, and it is possible to display the hand shape without a sense of incongruity .

(A)第１実施例
図１は本発明の第１実施例の概略説明図である。
予めユーザが操作面(操作子)１１を操作するときの手形状１０（図１(B)参照）の外形(輪郭)を、例えばカメラで真上から撮影して保存しておく。手形状１０はカメラに限らず別の手段により取得することもできる。
操作時、操作面１１の前方に配置されたカメラ１３で該操作面１１におけるユーザの手１２の形状を撮影する(図１（A）)。ついで、カメラ１３で撮影した手形状１４の２つの特定部分(例えば２本の指の先端部分)A，Bのディスプレイ画面上における位置を計算する。カメラ１３と操作面１１の位置関係は固定であるからカメラで撮影した映像上の位置A，Bはディスプレイ画面１６上の位置A′，B′に容易に変換できる(図１(B),(C))。なお、図１(B)において１５はカメラ撮影範囲である。ついで、保存されている手形状１０の２つの特定部分A，Bがディスプレイ画面１６上の該計算位置A′，B′に来るように手形状画像１０を発生して表示する。
以上では手形状１４の２つの特定部分のディスプレイ画面上における位置を計算したが、手形状１４の３つの特定部分A，B，Cのディスプレイ画面上における位置を計算することもできる。 (A) First Embodiment FIG. 1 is a schematic explanatory diagram of a first embodiment of the present invention.
The external shape (contour) of the hand shape 10 (see FIG. 1B) when the user operates the operation surface (operation element) 11 is previously captured and stored, for example, with a camera. The hand shape 10 can be acquired not only by the camera but also by other means.
At the time of operation, the shape of the user's hand 12 on the operation surface 11 is photographed by the camera 13 disposed in front of the operation surface 11 (FIG. 1A). Next, the positions of two specific portions (for example, tip portions of two fingers) A and B of the hand shape 14 photographed by the camera 13 on the display screen are calculated. Since the positional relationship between the camera 13 and the operation surface 11 is fixed, the positions A and B on the video imaged by the camera can be easily converted to the positions A ′ and B ′ on the display screen 16 (FIG. 1 (B), ( C)). In FIG. 1B, reference numeral 15 denotes a camera shooting range. Next, the hand shape image 10 is generated and displayed so that the two specific portions A and B of the stored hand shape 10 come to the calculation positions A ′ and B ′ on the display screen 16.
In the above description, the positions of the two specific portions of the hand shape 14 on the display screen are calculated, but the positions of the three specific portions A, B, and C of the hand shape 14 on the display screen can also be calculated.

図２は第１実施例のデータ入力装置の構成図である。
手形状画像発生部２１において、カメラ１３は操作面１１(図１参照)上のユーザの手形状を撮影し、カメラ映像保存部２１aに保存する。指先位置算出部２１ｂはカメラで撮影した手形状における指先部分A，Bのディスプレイ画面上の位置A′，B′を計算する。
一方、手形状取得部２１ｃは予め操作面１１を操作するときのユーザの手の外形を取得して手形状保存部２１dに保存する。例えば、カメラで真上から撮影し、あるいは、赤外線発光/受光素子を用いて取得することもできる。図３は赤外線発光/受光素子を用いて取得する例であり、操作面１１の下に赤外線発光/受光素子１８をマトリックス状に配列し、各赤外線発光素子を発光し、手１２で反射した光を受光素子で受光することにより手形状１０の輪郭を取得する。図３(A)は横から見た概略図、(B)は上から見た概略図、(C)は手形状である。手形状発生部２１eは、保存されている手形状１０の２つの指先部分A，Bがディスプレイ画面１６上の該計算位置A′，B′に来るように手形状画像１０を発生する。 FIG. 2 is a block diagram of the data input device of the first embodiment.
In the hand shape image generation unit 21, the camera 13 captures the user's hand shape on the operation surface 11 (see FIG. 1) and stores it in the camera video storage unit 21a. The fingertip position calculation unit 21b calculates the positions A ′ and B ′ on the display screen of the fingertip portions A and B in the hand shape photographed by the camera.
On the other hand, the hand shape acquisition unit 21c acquires the external shape of the user's hand when operating the operation surface 11 in advance and stores it in the hand shape storage unit 21d. For example, the image can be taken from directly above with a camera, or can be obtained using an infrared light emitting / receiving element. FIG. 3 shows an example of acquisition using infrared light emitting / receiving elements. Infrared light emitting / receiving elements 18 are arranged in a matrix under the operation surface 11, and each infrared light emitting element emits light and is reflected by the hand 12. The contour of the hand shape 10 is acquired by receiving the light by the light receiving element. 3A is a schematic view seen from the side, FIG. 3B is a schematic view seen from above, and FIG. 3C is a hand shape. The hand shape generating unit 21e generates the hand shape image 10 so that the two fingertip portions A and B of the stored hand shape 10 are at the calculation positions A ′ and B ′ on the display screen 16.

メニュー/スイッチ画像作成部２２は図示しない制御部から所定のメニュー/スイッチ画像の作成を指示され、該メニュー/スイッチ画像を発生する。画像合成部２３はこのメニュー/スイッチ画像の上に手形状画像１０が表示されるようにこれら両画像を合成してモニター２４に表示する。ユーザは操作面１１上で手を移動させて指で所望のメニュー/スイッチ画像を指示して該操作面を押下すると、タブレットで構成されている操作面１１は押下された位置を識別してデータ入力部２５に入力する。データ入力部２５は、押下された位置と表示しているメニュー/スイッチ画像とに基づいて入力データを識別して制御部に入力する。
以上第１実施例によれば、手形状を保存しておき、操作面におけるユーザの手形状をカメラで撮影し、該手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記保存してある手形状の2つの特定部分が該計算位置に来るように手形状画像を発生するようにしたから、カメラが操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示することができる。 The menu / switch image creating unit 22 is instructed to create a predetermined menu / switch image from a control unit (not shown), and generates the menu / switch image. The image synthesizing unit 23 synthesizes both images so that the hand shape image 10 is displayed on the menu / switch image, and displays the synthesized image on the monitor 24. When the user moves his / her hand on the operation surface 11 and designates a desired menu / switch image with his / her finger and presses down the operation surface, the operation surface 11 formed of a tablet identifies the pressed position and data Input to the input unit 25. The data input unit 25 identifies input data based on the pressed position and the displayed menu / switch image and inputs the input data to the control unit.
As described above, according to the first embodiment, the hand shape is stored, the user's hand shape on the operation surface is photographed by the camera, the positions of at least two specific portions of the hand shape on the display screen are calculated, Since the hand shape image is generated so that the two specific parts of the stored hand shape are at the calculation position, even if the camera is placed in front of the operation surface, the hand viewed from directly above The shape can be displayed at the correct position.

（B）第２実施例
図４は第２実施例の概略説明図であり、(A)はディスプレイ画面の表示例、（B）は操作面上の手形状位置例である。
道路RDを含む三次元画像3DIMをディスプレイ画面１６に表示する。操作面１１の上で手１２を移動させて所定の画像部分を指示する際、カメラで手形状を撮影し、ディスプレイ画面１６の三次元画像3DIM上に手形状画像１０を重ねて表示する。この際、手形状１０のディスプレイ画面上の奥行き方向の位置と道路RDの消失点の位置とから手形状のスケールを決定し、該スケールで手形状画像を発生して表示する。このようにすれば、手の位置が奥のほうに行くほど小さく表示でき、遠近感を持たせて手形状を表示することができる。図５は、図４に比べて視点位置が高く、奥行き感が小さい場合の手形状表示例であり、道路の消失点は遠くにある。図５のように奥行き感が小さい場合には手形状のスケール差は小さいが、図４のように視点が低く、奥行き感が大きい場合には手形状のスケール差は大きくなる。 (B) Second Embodiment FIG. 4 is a schematic explanatory diagram of the second embodiment, where (A) is a display example of a display screen, and (B) is a hand shape position example on the operation surface.
A three-dimensional image 3DIM including the road RD is displayed on the display screen 16. When the hand 12 is moved on the operation surface 11 to designate a predetermined image portion, the hand shape is photographed by the camera, and the hand shape image 10 is displayed on the three-dimensional image 3DIM on the display screen 16 in an overlapping manner. At this time, a hand shape scale is determined from the position of the hand shape 10 on the display screen in the depth direction and the position of the vanishing point of the road RD, and a hand shape image is generated and displayed on the scale. In this way, the position of the hand can be displayed smaller as it goes farther, and the hand shape can be displayed with a sense of perspective. FIG. 5 is an example of a hand shape display when the viewpoint position is high and the sense of depth is small compared to FIG. 4, and the vanishing point of the road is far away. When the sense of depth is small as shown in FIG. 5, the scale difference of the hand shape is small, but when the viewpoint is low and the sense of depth is large as shown in FIG. 4, the scale difference of the hand shape becomes large.

図６は奥行き感の説明図である。3D地図画像を表示をした場合、道路RDは、ディスプレイ画面上の中心点をＯとする垂直線ｖに、道路左右端が近づくほど(「ｉ」および「ｉ'」)、またディスプレイ画面上の下端に近づくほど、"奥行き"の距離(z方向)は大きくなる。換言すれば、道路の消失点が手前にあるほど奥行き感が大きくなり、消失点が遠いほど奥行き感が小さくなる。したがって、消失点の位置に基づいてディスプレイ画面上に表示する手形状の大きさを動的に変更することで、奥行き感を創出することができる。これと同時に、奥へ行くほど手形状の大きさが小さくなって見えなくなるので、結果的に深い奥行きにあるものを操作できなくなり、誤操作がなくなる。   FIG. 6 is an explanatory diagram of a feeling of depth. When a 3D map image is displayed, the road RD approaches the vertical line v with the center point on the display screen as O, as the left and right ends of the road approach (“i” and “i ′”), and on the display screen The closer to the lower end, the larger the “depth” distance (z direction). In other words, the depth feeling increases as the vanishing point of the road is closer, and the depth feeling decreases as the vanishing point is further away. Therefore, it is possible to create a sense of depth by dynamically changing the size of the hand shape displayed on the display screen based on the position of the vanishing point. At the same time, the size of the hand shape becomes smaller as it goes farther, and as a result, it becomes impossible to operate an object at a deep depth.

図７は消失点の位置とスケールの関係説明図である。ディスプレイ画面の水平方向の寸法をXM、垂直方向の寸法をYMとし、消失点DPの垂直方向位置を(Y0，0)とすると、垂直方向の座標yにおけるスケールは

Figure 2008027328
となる。 FIG. 7 is an explanatory diagram of the relationship between the vanishing point position and the scale. If the horizontal dimension of the display screen is X M , the vertical dimension is Y M, and the vertical position of the vanishing point DP is (Y 0 , 0), then the scale at the vertical coordinate y is
Figure 2008027328
 It becomes.

図８は第２実施例のデータ入力装置の構成図である。
カメラ５１は操作面上のユーザの手形状を撮影し、カメラ映像保存部５２に保存する。なお、説明を簡単にするためにカメラ５１は手形状を真上から撮影するものとする。
Y軸方向位置算出部５３は撮影された手形状を参照して所定部分(例えば薬指の指先)のY軸方向位置yを算出する。Y軸方向位置yは、操作面とディスプレイ画面の座標変換式を予め記憶しておき、この変換式を用いて算出することができる。
３Ｄ画像生成部５５は３Ｄ画像データに基づいて道路の消失点ＤＰのＹ座標(＝Y0)を計算して手形状スケール変換部５４に入力するとともに、３D画像を発生する。手形状スケール変換部５４は(１)式に基づいてスケールＳを計算し、該スケールに基づいて手形状のスケールを変換し、手形状発生部５６はスケール変換された手形状データに基づいて手形状画像を発生する。画像合成部５７は３D画像3DIMの上に手形状画像１０が表示されるように(図４(A))参照)、両画像を合成してモニター５８に表示する。
ユーザは操作面１１上で手を移動し、指で所望の画像(例えば建物)を指示して該操作面を押下すると、タブレットで構成されている操作面１１は押下された位置を識別してデータ入力部２５に入力する。データ入力部２５は、押下された位置と表示している3D画像とに基づいて入力データを識別して制御部に入力する。
なお、奥行き感をより強調するため、手形状を小さくしていくのと同時に、「手の甲」部分を強調し、「指」部分を小さく表現する。具体的には、図９に示すように、奥行きが深くなると、相対的に手の甲部分の面積を大きくし、指部分の面積が小さくなるようにする。また、3D画像表示が、左側あるいは右側へ傾いた場合も同様に制御する。たとえば、右側へ傾いた場合には、"手"の左側部分の相対面積を大きく、右側を小さく表示する。
以上第２実施例によれば、三次元画像データを用いて道路を含む三次元画像を発生し、操作面におけるユーザの手形状をカメラで撮影し、手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生するようにしたから、遠近感を持たせて手形状を表示することができ、違和感のない手形状表示が可能になった。
以上の説明では、手形状として手を開いた場合について説明したが、手形状は開いた場合に限るものではない。 FIG. 8 is a block diagram of the data input device of the second embodiment.
The camera 51 captures the user's hand shape on the operation surface and stores it in the camera video storage unit 52. In order to simplify the description, it is assumed that the camera 51 captures the hand shape from directly above.
The Y-axis direction position calculation unit 53 calculates the Y-axis direction position y of a predetermined portion (for example, the fingertip of the ring finger) with reference to the photographed hand shape. The Y-axis direction position y can be calculated by previously storing a coordinate conversion formula between the operation surface and the display screen and using this conversion formula.
The 3D image generation unit 55 calculates the Y coordinate (= Y 0 ) of the vanishing point DP of the road based on the 3D image data and inputs it to the hand shape scale conversion unit 54 and generates a 3D image. The hand shape scale converter 54 calculates the scale S based on the equation (1), converts the hand shape scale based on the scale, and the hand shape generator 56 determines the hand shape based on the scale-converted hand shape data. Generate a shape image. The image combining unit 57 combines both images and displays them on the monitor 58 so that the hand-shaped image 10 is displayed on the 3D image 3DIM (see FIG. 4A).
When the user moves his / her hand on the operation surface 11 and designates a desired image (for example, a building) with his / her finger and presses the operation surface, the operation surface 11 formed of a tablet identifies the pressed position. Input to the data input unit 25. The data input unit 25 identifies input data based on the pressed position and the displayed 3D image and inputs the input data to the control unit.
In order to emphasize the sense of depth, the hand shape is reduced, and at the same time, the “back of the hand” portion is emphasized and the “finger” portion is expressed small. Specifically, as shown in FIG. 9, as the depth increases, the area of the back part of the hand is relatively increased and the area of the finger part is decreased. The same control is performed when the 3D image display is tilted to the left or right. For example, when tilted to the right side, the relative area of the left part of the “hand” is increased and the right side is displayed smaller.
As described above, according to the second embodiment, a 3D image including a road is generated using the 3D image data, the user's hand shape on the operation surface is photographed by the camera, and the position of the hand shape on the display screen and the road Since the hand shape image is generated by changing the scale of the hand shape from the position of the vanishing point, the hand shape can be displayed with a sense of perspective, and the hand shape display without discomfort is possible Became.
Although the case where the hand is opened as the hand shape has been described above, the hand shape is not limited to the case where the hand is opened.

本発明の第１実施例の概略説明図である。It is a schematic explanatory drawing of 1st Example of this invention. 第１実施例のデータ入力装置の構成図である。It is a block diagram of the data input device of 1st Example. 手形状を赤外線発光/受光素子を用いて取得する例である。It is an example which acquires a hand shape using an infrared rays light emitting / receiving element. 第２実施例の概略説明図である。It is a schematic explanatory drawing of 2nd Example. 第２実施例の概略説明図(視点位置が高い場合)である。It is a schematic explanatory drawing (when a viewpoint position is high) of 2nd Example. 奥行き感の説明図である。It is explanatory drawing of a feeling of depth. 消失点の位置とスケールの関係説明図である。It is an explanatory view of the relationship between the position of the vanishing point and the scale. 第２実施例のデータ入力装置の構成図である。It is a block diagram of the data input device of 2nd Example. 変形例の表示例である。It is an example of a display of a modification. 操作面を用いたデータ入力装置の説明図である。It is explanatory drawing of the data input device using an operation surface. 手形状をカメラで真上から撮影する状態説明図である。It is state explanatory drawing which image | photographs a hand shape with a camera from right above. 手形状を前方からカメラで撮影する状態説明図である。It is state explanatory drawing which image | photographs a hand shape with a camera from the front. 手形状を同一スケール表示する従来の問題点説明図である。It is explanatory drawing of the conventional problem which displays a hand shape on the same scale.

符号の説明Explanation of symbols

１１ 操作面
１３ カメラ
２１ 手形状画像発生部
２１a カメラ映像保存部
２１b 指先位置算出部
２１c 手形状取得部
２１d 手形状保存部
２１e 手形状発生部
２２ メニュー/スイッチ画像作成部
２３ 画像合成部
２４ モニター
２５ データ入力部
11 Operation surface 13 Camera 21 Hand shape image generation unit 21a Camera image storage unit 21b Fingertip position calculation unit 21c Hand shape acquisition unit 21d Hand shape storage unit 21e Hand shape generation unit 22 Menu / switch image creation unit 23 Image composition unit 24 Monitor 25 Data input section

Claims (2)

操作面におけるユーザの手形状画像をディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置において、
手形状を保存する手形状保存部、
操作面におけるユーザの手形状を撮影するカメラ、
カメラで撮影した手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記手形状保存部に保存されている手形状の2つの特定部分が該計算位置に来るように手形状画像を発生する手形状画像発生部、
データ入力用の操作画像を発生す操作画像発生部、
ディスプレイ画面において該操作画像上に前記手形状画像を重ねて表示する画像合成部、
指で指示された画像に応じたデータを入力するデータ入力部、
を有することを特徴とするデータ入力装置。 In a data input device for displaying a user's hand shape image on the operation surface on a display screen, selecting an image displayed on the display screen with a finger and inputting data,
A hand shape storage unit for storing hand shapes,
A camera that captures the user's hand shape on the operation surface,
Calculate the position on the display screen of at least two specific parts of the hand shape photographed by the camera, and the hand shape image so that the two specific parts of the hand shape stored in the hand shape storage unit are at the calculated position Hand shape image generator,
An operation image generator for generating an operation image for data input,
An image composition unit for displaying the hand shape image on the operation image in a superimposed manner on a display screen;
A data input unit for inputting data corresponding to an image designated by a finger;
A data input device comprising: 操作面におけるユーザの手形状画像を取り込んでディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置において、
三次元画像データを用いて道路を含む三次元画像を発生する三次元画像発生部、
操作面におけるユーザの手形状を撮影するカメラ、
手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生する手形状画像発生部、
ディスプレイ画面において前記三次元画像上に前記手形状画像を重ねて表示する画像合成部、
指で指示された画像に応じたデータを入力するデータ入力部、
を有することを特徴とするデータ入力装置。 In a data input device that captures a user's hand shape image on the operation surface and displays it on a display screen, selects an image displayed on the display screen with a finger, and inputs data.
A three-dimensional image generator for generating a three-dimensional image including a road using the three-dimensional image data;
A camera that captures the user's hand shape on the operation surface,
A hand shape image generating unit for generating the hand shape image by changing the scale of the hand shape from the position on the display screen of the hand shape and the position of the vanishing point of the road;
An image synthesis unit for displaying the hand shape image on the three-dimensional image on the display screen;
A data input unit for inputting data corresponding to an image designated by a finger;
A data input device comprising:
JP2006201543A 2006-07-25 2006-07-25 Data input device Expired - Fee Related JP4757132B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006201543A JP4757132B2 (en) 2006-07-25 2006-07-25 Data input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006201543A JP4757132B2 (en) 2006-07-25 2006-07-25 Data input device

Publications (2)

Publication Number Publication Date
JP2008027328A true JP2008027328A (en) 2008-02-07
JP4757132B2 JP4757132B2 (en) 2011-08-24

Family

ID=39117880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006201543A Expired - Fee Related JP4757132B2 (en) 2006-07-25 2006-07-25 Data input device

Country Status (1)

Country Link
JP (1) JP4757132B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053557A (en) * 2010-08-31 2012-03-15 Sony Corp Information processing unit, information processing method and program
JP2014520339A (en) * 2011-06-21 2014-08-21 クアルコム，インコーポレイテッド Gesture control technology that expands the range of dialogue in computer vision applications

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185456A (en) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd Interface device
JP2000075991A (en) * 1998-08-28 2000-03-14 Aqueous Research:Kk Information input device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185456A (en) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd Interface device
JP2000075991A (en) * 1998-08-28 2000-03-14 Aqueous Research:Kk Information input device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053557A (en) * 2010-08-31 2012-03-15 Sony Corp Information processing unit, information processing method and program
CN102385438A (en) * 2010-08-31 2012-03-21 索尼公司 Information processing device, information processing method, and program
JP2014520339A (en) * 2011-06-21 2014-08-21 クアルコム，インコーポレイテッド Gesture control technology that expands the range of dialogue in computer vision applications

Also Published As

Publication number Publication date
JP4757132B2 (en) 2011-08-24

Similar Documents

Publication Publication Date Title
JP6702489B2 (en) Head mounted display, information processing method, and program
JP4351599B2 (en) Input device
JP4533087B2 (en) Image processing method and image processing apparatus
JP4783456B2 (en) Video playback apparatus and video playback method
JP5110438B2 (en) Input device
US8085243B2 (en) Input device and its method
US8593417B2 (en) Operation apparatus for in-vehicle electronic device and method for controlling the same
US20170003852A1 (en) Information display terminal, information display method and program
JP5167523B2 (en) Operation input device, operation determination method, and program
JP6116934B2 (en) Icon operation device
CN109478103B (en) System and method for displaying three-dimensional model in virtual reality
WO2006013783A1 (en) Input device
US20110157236A1 (en) Head-mounted display
US20070002037A1 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
EP3262505B1 (en) Interactive system control apparatus and method
JP2014056462A (en) Operation device
JP2013029958A (en) Information processing apparatus, information processing method, and program
JP2010257081A (en) Image procession method and image processing system
JP4945694B2 (en) Video playback apparatus and video playback method
JP2008158675A (en) Operation device for vehicle
JP4757132B2 (en) Data input device
WO2013111280A1 (en) Display apparatus and display method
JP4244202B2 (en) Operation input device and operation input method
US11262854B2 (en) Sensing movement of a hand-held controller
TWM564749U (en) Vehicle multi-display control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110531

R150 Certificate of patent or registration of utility model

Ref document number: 4757132

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees