JP2000259337A - Pointing device - Google Patents
Pointing deviceInfo
- Publication number
- JP2000259337A JP2000259337A JP6323799A JP6323799A JP2000259337A JP 2000259337 A JP2000259337 A JP 2000259337A JP 6323799 A JP6323799 A JP 6323799A JP 6323799 A JP6323799 A JP 6323799A JP 2000259337 A JP2000259337 A JP 2000259337A
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- dimensional model
- pointing device
- dimensional
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、ポインティング
装置に関し、さらに詳しくは、非接触型インタフェース
の分野におけるポインティング装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a pointing device, and more particularly, to a pointing device in the field of a non-contact interface.
【０００２】[0002]
【従来の技術】近年、画像処理の分野では、人間の手や
全身の３次元動作を非接触で検出するための研究が進め
られている。このような非接触型の動作検出装置は、コ
マンドインタフェース等への広い応用が可能である。2. Description of the Related Art In recent years, in the field of image processing, research on non-contact detection of three-dimensional movement of a human hand or a whole body has been advanced. Such a non-contact type motion detection device can be widely applied to a command interface and the like.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、従来の
非接触型のインタフェースでは、検出誤差やユーザの動
作の誤りや変動のためにユーザの意図と検出される動き
との間にずれが生じるという問題があった。また、この
ずれを補償する機構が存在しなかった。ポインティング
のように定量的なジェスチャーの場合には、特にこのず
れが問題となってしまう。However, in the conventional non-contact type interface, there is a problem that a deviation occurs between a user's intention and a detected movement due to a detection error or an error or fluctuation of a user's operation. was there. Further, there was no mechanism for compensating for this deviation. In the case of a quantitative gesture such as pointing, this shift is particularly problematic.
【０００４】そこで、本発明はかかる問題を解決するた
めになされたものであり、その目的はユーザが自己の指
示位置を確認しながら指示動作を行なうことができるポ
インティング装置を提供することにある。Accordingly, the present invention has been made to solve such a problem, and an object of the present invention is to provide a pointing device that allows a user to perform a pointing operation while checking his / her pointing position.
【０００５】[0005]
【課題を解決するための手段】請求項１に係るポインテ
ィング装置は、ユーザの指示した位置にポインタを投影
するポインティング装置であって、シーンにポインタを
投影するポインタ投影手段と、シーンを撮影して、ポイ
ンタの位置を観測する観測手段と、ポインタの位置に基
づき、シーンの３次元モデルを生成する３次元モデル生
成手段と、ユーザの指示する手の方向を検出する手振り
認識手段と、検出されたユーザの手の方向と３次元モデ
ルとに基づき、ユーザの指示する位置を算出し、ポイン
タ投影手段の姿勢を制御する制御手段とを備える。A pointing device according to a first aspect of the present invention is a pointing device for projecting a pointer at a position designated by a user, comprising: pointer projecting means for projecting a pointer on a scene; Observation means for observing the position of the pointer, three-dimensional model generation means for generating a three-dimensional model of the scene based on the position of the pointer, hand gesture recognition means for detecting the direction of the hand specified by the user, A control unit that calculates a position indicated by the user based on the direction of the user's hand and the three-dimensional model, and controls a posture of the pointer projection unit.
【０００６】請求項２に係るポインティング装置は、請
求項１に係るポインティング装置であって、ポインタ投
影手段は、レーザ光を出力するレーザ発光手段を含み、
レーザ光により、シーンにポインタであるスポット光が
投影される。A pointing device according to a second aspect is the pointing device according to the first aspect, wherein the pointer projecting unit includes a laser emitting unit that outputs a laser beam,
A spot light, which is a pointer, is projected onto the scene by the laser light.
【０００７】[0007]
【発明の実施の形態】以下、本発明の実施の形態におけ
るポインティング装置１について、図１を用いて説明す
る。なお、以下の説明において、図中同一符号は同一ま
たは相当部分を示す。図１は、本発明の実施の形態にお
けるポインティング装置１の実使用状況を説明するため
の概念図である。図１を参照して、ユーザ２０は、シー
ン２２に対し指示動作（ポインティング）を行なう。ポ
インティング装置１は、手の動きを認識し、予め生成し
た３次元モデルを用いて指示対象の位置を算出する。そ
して、当該指示対象の位置にポインタであるスポット光
２４を投影する。同時に、ポインティング装置１は、ス
ポット光２４の位置を検出して３次元モデルを更新す
る。ユーザ２０は、視覚によるフィードバックにより正
確な指示動作を行なうことが可能となる。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A pointing device 1 according to an embodiment of the present invention will be described below with reference to FIG. In the following description, the same reference numerals in the drawings indicate the same or corresponding parts. FIG. 1 is a conceptual diagram for explaining an actual use situation of the pointing device 1 according to the embodiment of the present invention. Referring to FIG. 1, user 20 performs a pointing operation (pointing) on scene 22. The pointing device 1 recognizes the movement of the hand and calculates the position of the pointing target using a three-dimensional model generated in advance. Then, a spot light 24 as a pointer is projected on the position of the pointing target. At the same time, the pointing device 1 detects the position of the spot light 24 and updates the three-dimensional model. The user 20 can perform an accurate instruction operation by visual feedback.
【０００８】ポインティング装置１の全体構成を、図２
を用いて説明する。図２は、本発明の実施の形態におけ
るポインティング装置１の全体構成を示すブロック図で
ある。図２を参照して、ポインティング装置１は、レー
ザ発光部２、カメラ４、画像処理部６、３次元位置検出
部８、３次元モデル生成部１０、手振り認識装置１２お
よび支持台制御部１４を備える。レーザ発光部２および
カメラ４は、支持台１６に固定されている。支持台１６
の姿勢は、支持台制御部１４により制御される。FIG. 2 shows the entire configuration of the pointing device 1.
This will be described with reference to FIG. FIG. 2 is a block diagram illustrating an overall configuration of the pointing device 1 according to the embodiment of the present invention. Referring to FIG. 2, pointing device 1 includes laser emission unit 2, camera 4, image processing unit 6, three-dimensional position detection unit 8, three-dimensional model generation unit 10, hand gesture recognition device 12, and support base control unit 14. Prepare. The laser emitting unit 2 and the camera 4 are fixed to a support 16. Support 16
Is controlled by the support controller 14.
【０００９】レーザ発光部２は、レーザ光を出力する。
これにより、シーン２２上にスポット光２４が投影され
る。カメラ４は、シーン２２のスポット光２４を含む部
分を観測する。画像処理部６は、カメラ４で観測した画
像の中から、スポット光２４を検出する。より具体的に
は、画像処理部６は、輝度および色情報に基づく領域分
割と重心検出とから画像中におけるスポット光２４を検
出する。The laser emitting section 2 outputs a laser beam.
Thereby, the spot light 24 is projected on the scene 22. The camera 4 observes a portion of the scene 22 including the spot light 24. The image processing unit 6 detects the spot light 24 from the image observed by the camera 4. More specifically, the image processing unit 6 detects the spot light 24 in the image from the area division based on the luminance and color information and the detection of the center of gravity.
【００１０】３次元位置検出部８は、ポインタの位置を
観測する（すなわち、スポット光２４の３次元位置を検
出する）。３次元モデル生成部１０は、シーン２２の３
次元モデルを生成する。手振り認識装置１２は、ユーザ
２０の手振り位置姿勢情報を検出する。支持台制御部１
４は、この手振り姿勢位置情報と３次元モデル生成部１
０で生成されるシーン２２の３次元モデルとに基づき、
指示対象の３次元位置（ｘ、ｙ、ｚ）を算出し、指示対
象の３次元位置（ｘ、ｙ、ｚ）に基づきパン角θおよび
チルト角φを算出する。パン角θおよびチルト角φによ
り、支持台１６は姿勢を変化させる。The three-dimensional position detector 8 observes the position of the pointer (that is, detects the three-dimensional position of the spot light 24). The three-dimensional model generation unit 10
Generate a dimensional model. The hand gesture recognition device 12 detects hand gesture position / posture information of the user 20. Support stand control unit 1
Reference numeral 4 denotes the hand posture information and the three-dimensional model generation unit 1
0 based on the three-dimensional model of the scene 22 generated by
The three-dimensional position (x, y, z) of the pointing target is calculated, and the pan angle θ and the tilt angle φ are calculated based on the three-dimensional position (x, y, z) of the pointing target. The support 16 changes its posture according to the pan angle θ and the tilt angle φ.
【００１１】ここで、ポインティング装置１の座標系に
ついて図３を用いて説明する。図３は、ポインティング
装置１の座標系を説明するための図である。図３に示す
ｘ軸、ｙ軸、ｚ軸からなる座標系の原点に、支持台１６
の回転中心がある。回転中心とレーザ光の光軸とがｘ−
ｚ面上で距離ｄだけ離れているものとする。ｙ軸を中心
とする回転角をパン角θと称する。ｙ軸を中心とした回
転後、ｘ軸はｘ′軸に移動する。ｘ′軸における時計方
向の回転をチルト角φと称する。Here, the coordinate system of the pointing device 1 will be described with reference to FIG. FIG. 3 is a diagram for explaining a coordinate system of the pointing device 1. The support 16 is located at the origin of the coordinate system including the x-axis, y-axis,
There is a center of rotation. The rotation center and the optical axis of the laser beam are x-
It is assumed that they are separated by a distance d on the z plane. The rotation angle about the y-axis is referred to as a pan angle θ. After rotation about the y-axis, the x-axis moves to the x'-axis. A clockwise rotation on the x 'axis is referred to as a tilt angle φ.
【００１２】図４は、ｘ−ｚ平面におけるパン角θを表
わした図である。図４において、座標（ｘ、ｙ）は、指
示対象の位置を示している。図５は、ｙ−ｚ′平面にお
けるチルト角φを表わした図である。図５において、座
標（ｚ、ｙ）は、指示対象の位置を、ｚ″軸は、パン回
転およびチルト回転をした後のｚ軸を表わしている。FIG. 4 is a diagram showing the pan angle θ in the xz plane. In FIG. 4, the coordinates (x, y) indicate the position of the pointing target. FIG. 5 is a diagram illustrating the tilt angle φ in the yz ′ plane. In FIG. 5, the coordinates (z, y) indicate the position of the pointing target, and the z ″ axis indicates the z axis after the pan rotation and the tilt rotation.
【００１３】図４および図５を参照して、パン角θは、
式（１）および式（２）で決定される。これにより、指
示対象の位置（ｘ、ｙ、ｚ）とパン角θとの間には、式
（３）の関係が成立する。また、指示対象の位置（ｘ、
ｙ、ｚ）とチルト角φとの間には、式（４）の関係が成
立する。支持台制御部１４は、指示対象の位置（ｘ、
ｙ、ｚ）に基づき、式（３）および式（４）に従い、パ
ン角θ、チルト角φが決定される。Referring to FIGS. 4 and 5, the pan angle θ is
It is determined by Expression (1) and Expression (2). As a result, the relationship of Expression (3) is established between the position (x, y, z) of the pointing target and the pan angle θ. In addition, the position (x,
The relationship of equation (4) is established between y, z) and the tilt angle φ. The support base control unit 14 determines the position (x,
The pan angle θ and the tilt angle φ are determined according to the equations (3) and (4) based on (y, z).
【００１４】[0014]
【数１】 (Equation 1)
【００１５】ここで、指示対象の３次元位置（ｘ、ｙ、
ｚ）を決定する、画像処理部６、３次元位置検出部８、
３次元モデル生成部１０および手振り認識装置１２のそ
れぞれにおける処理内容を詳しく説明する。Here, the three-dimensional position (x, y,
z), an image processing unit 6, a three-dimensional position detection unit 8,
The processing contents of each of the three-dimensional model generation unit 10 and the hand gesture recognition device 12 will be described in detail.
【００１６】まず、３次元位置検出部８の詳細について
説明する。３次元位置検出部８は、ポインティング装置
１とスポット光２４との距離Ｌを三角測量で決定し、さ
らにスポット光の３次元位置（ｘｓ、ｙｓ、ｚｓ）を決
定する。図６は、３次元位置検出部８の処理を説明する
ための図である。図６に示すように、カメラ４の光軸
が、ｚ″軸（パン回転およびチルト回転をした後のｚ軸
に相当する）上の正の方向にあるものと仮定する。レー
ザ光は、ｚ″軸に平行であると仮定する。First, the details of the three-dimensional position detector 8 will be described. The three-dimensional position detector 8 determines the distance L between the pointing device 1 and the spot light 24 by triangulation, and further determines the three-dimensional position (xs, ys, zs) of the spot light. FIG. 6 is a diagram for explaining the processing of the three-dimensional position detection unit 8. 6, it is assumed that the optical axis of the camera 4 is in a positive direction on the z ″ axis (corresponding to the z axis after performing the pan rotation and the tilt rotation). "Assume parallel to axis.
【００１７】カメラ２の焦点は、ｘ′−ｚ″平面におい
て（０、−ｌ）に位置する。ここで記号ｌは、カメラの
焦点距離を表わす。この場合、レーザ光は、位置（−
ｄ、Ｌ）を照らす。スポット光は、（−ｗ、０）におい
て観測される。ここで、記号ｗは、画像上に観測される
スポット光２４の原点からの距離を表わす。この場合、
ポインティング装置１とスポット光２４との距離Ｌは、
式（５）の関係にあるため、式（６）により距離Ｌが定
められる。The focal point of the camera 2 is located at (0, -1) in the x'-z "plane, where the symbol l represents the focal length of the camera, in which case the laser beam is located at the position (-
d, L). Spot light is observed at (−w, 0). Here, the symbol w represents the distance from the origin of the spot light 24 observed on the image. in this case,
The distance L between the pointing device 1 and the spot light 24 is
Because of the relationship of Expression (5), the distance L is determined by Expression (6).
【００１８】ｌ：ｗ＝Ｌ：ｄ … （５） Ｌ＝ｌｄ／ｗ … （６） ここで、回転がない場合（チルト角θ＝０、パン角φ＝
０）、スポット光の位置（ｘｓ、ｙｓ、ｚｓ）は、式
（７）の関係にある。L: w = L: d (5) L = ld / w (6) Here, when there is no rotation (tilt angle θ = 0, pan angle φ =
0) and the position (xs, ys, zs) of the spot light have the relationship of equation (7).
【００１９】 （ｘｓ、ｙｓ、ｚｓ）＝（ｄ、０、Ｌ） …（７） 式（７）に、チルト角θおよびパン角φを加えると、式
（８）の関係が成立する。(Xs, ys, zs) = (d, 0, L) (7) When the tilt angle θ and the pan angle φ are added to the equation (7), the relation of the equation (8) is established.
【００２０】[0020]
【数２】 (Equation 2)
【００２１】ここで、Ｒφ、Ｒθは、それぞれｘ軸、ｙ
軸回りのパン角θ、チルト角φの回転を表わす。Here, Rφ and Rθ are the x-axis and y, respectively.
The rotation of the pan angle θ and the tilt angle φ around the axis is shown.
【００２２】距離Ｌが、（Ｌ＋△Ｌ）に、スポット光の
観測点（ｗ、０）が、（−ｗ＋△ｗ）になった場合、式
（９）の関係から、式（１０）の関係が成立する。ここ
で、△ｗは、ピクセルの幅を表わしている。When the distance L is (L + △ L) and the observation point (w, 0) of the spot light is (−w + △ w), the relation of the equation (9) is used. The relationship is established. Here, △ w represents the width of the pixel.
【００２３】 ｌ：ｗ−△ｗ＝Ｌ＋△Ｌ：ｄ … （９） △Ｌ／△ｗ＝Ｌ／ｗ＝Ｌ2／（ｌｄ） … （１０） 式（１０）において、△Ｌ／△ｗは、１ピクセルあたり
の距離の差を表わしている。この場合、焦点距離ｌの長
いカメラ４を使用することにより、距離検出の精度を高
くすることができる。L: w−Δw = L + ΔL: d (9) ΔL / Δw = L / w = L 2 / (ld) (10) In equation (10), ΔL / Δw Represents the difference in distance per pixel. In this case, the accuracy of distance detection can be increased by using the camera 4 having a long focal length l.
【００２４】次に、３次元モデル生成部１０について説
明する。３次元モデル生成部１０では、シーン２２を走
査することにより、シーン２２の３次元モデルを生成す
る。３次元の位置情報（３次元点列）から３次元モデル
を生成する方法については、多くの提案がある。本発明
の実施の形態では、３次元位置検出部８の出力結果に基
づき、シーン２２を３角形の集合で表現する。図７は、
3次元モデルの生成の過程を説明するための図である。
図７を参照して、パッチの各頂点ｐ０は、観測点ｐ１に
対応している。本装置は、初期動作において点ｐ１を、
パン角θ、チルト角φの制御により移動させ（図中矢印
方向）、一定間隔毎に頂点ｐ０の位置を決定することに
より初期モデルを生成する。たとえば、図８は、3次元
モデルの生成過程の一例を説明するため図であり、シー
ンの一例を示している。図８に示すシーンは、壁面Ｗ１
および壁面Ｗ２を含み、壁面Ｗ１が、壁面Ｗ２より奥行
きを持って配置されている。図９は、図８に対する３次
元モデルを示している。図８に示すシーンは、図９に示
すように、奥行き、高さ、幅を持った３次元空間上にお
ける３角形の集合として表現される。Next, the three-dimensional model generator 10 will be described. The three-dimensional model generation unit 10 generates a three-dimensional model of the scene 22 by scanning the scene 22. There are many proposals for a method of generating a three-dimensional model from three-dimensional position information (three-dimensional point sequence). In the embodiment of the present invention, the scene 22 is represented by a set of triangles based on the output result of the three-dimensional position detector 8. FIG.
FIG. 7 is a diagram for explaining a process of generating a three-dimensional model.
Referring to FIG. 7, each vertex p0 of the patch corresponds to observation point p1. This device sets the point p1 in the initial operation,
The initial model is generated by controlling the pan angle θ and the tilt angle φ (in the direction of the arrow in the figure) and determining the position of the vertex p0 at regular intervals. For example, FIG. 8 is a diagram for explaining an example of a process of generating a three-dimensional model, and shows an example of a scene. The scene shown in FIG.
And the wall surface W2, and the wall surface W1 is disposed with a greater depth than the wall surface W2. FIG. 9 shows a three-dimensional model corresponding to FIG. The scene shown in FIG. 8 is represented as a set of triangles in a three-dimensional space having depth, height, and width, as shown in FIG.
【００２５】次に、手振り認識装置１２について説明す
る。ユーザの手振りを認識し、ユーザの手振り位置姿勢
情報を出力する手振り認識装置１２については、「手振
り認識装置（特開平１０−０６３８６４号公報）」に詳
細な内容が記載されている。ここでは、当該手振り認識
装置１２の概要を説明する。図１０は、手振り認識装置
１２の概要を説明するための図である。図１０を参照し
て、手振り認識装置１２では、カメラ３０．１〜３０．
ｋを用いて、手を違いに異なる角度で撮影する。特徴検
出部４０．１〜４０．ｋは、撮影された画像に基づき、
手の画像上において、手の重心候補（極大点）から輪郭
までの最短距離を示すスケルトン値を算出する。３次元
重心点・方向検出部４２では、手の３次元上の重心Ｏｈ
を決定（重心スケルトン値ｓ１〜ｓｋを決定）するとと
もに、カメラで得られた手の方向をステレオマッチング
することにより３次元上の手の方向Ｘｈを決定する。回
転角検出部４４では、重心スケルトン値に基づき、手の
主軸（Ｘｈ）まわりの回転角ｒを決定する。カメラ選択
部４６は、得られた重心位置、手の方向および回転角ｒ
を持つ面（手平面）に対して最も垂直に近い光軸を持つ
カメラを選択する。指先点検出部４８は、選択されたカ
メラから得られた画像をラベリング処理することにより
指先候補点を抽出して手平面に投影する。手モデル復元
部５０は、回転角および指先点に基づいて手のひらモデ
ルを復元する。当該手振り認識装置１２を用いることに
より、図１１に示すようにユーザ２０の手２１における
重心位置Ｏｈ＝（ｘｈ、ｙｈ、ｚｈ）および手の姿勢Ｘ
ｈ＝（ａｈ、ｅｈ、ｒｈ）が決定される。Next, the hand gesture recognition device 12 will be described. The details of the hand gesture recognition device 12 that recognizes the user's hand gesture and outputs the user's hand gesture position / posture information are described in "Hand Gesture Recognition Device (Japanese Patent Laid-Open No. 10-063864)". Here, the outline of the hand gesture recognition device 12 will be described. FIG. 10 is a diagram for explaining the outline of the hand gesture recognition device 12. Referring to FIG. 10, camera 30.1 to 30.
Using k, the hand is photographed at different angles. Feature detector 40.1-40. k is based on the taken image,
On the hand image, a skeleton value indicating the shortest distance from the candidate center of gravity (maximum point) of the hand to the contour is calculated. The three-dimensional center-of-gravity point / direction detection unit 42 calculates the three-dimensional center of gravity Oh of the hand.
(Determining the centroid skeleton values s1 to sk) and stereo-matching the hand direction obtained by the camera to determine the three-dimensional hand direction Xh. The rotation angle detector 44 determines a rotation angle r about the main axis (Xh) of the hand based on the center of gravity skeleton value. The camera selection unit 46 obtains the obtained center of gravity position, hand direction, and rotation angle r.
Select the camera that has the optical axis that is closest to the plane (hand plane) with. The fingertip point detection unit 48 extracts a fingertip candidate point by performing labeling processing on an image obtained from the selected camera, and projects it on the hand plane. The hand model restoring unit 50 restores the palm model based on the rotation angle and the fingertip point. By using the hand gesture recognition device 12, as shown in FIG. 11, the center of gravity position Oh = (xh, yh, zh) and the hand posture X in the hand 21 of the user 20
h = (ah, eh, rh) is determined.
【００２６】次に、支持台制御部１４について説明す
る。支持台制御部１４においては、手振り認識装置１２
より与えられる手の重心位置Ｏｈ＝（ｘｈ、ｙｈ、ｚ
ｈ）および手の姿勢Ｘｈ＝（ａｈ、ｅｈ、ｒｈ）から決
定される手の指示方向と、３次元モデル生成部１０にお
いて生成したシーン２２の３次元モデルとの交点（ｘ、
ｙ、ｚ）を求める。当該交点は、指示対象の３次元位置
（ｘ、ｙ、ｚ）を表わしている。この指示対象の３次元
位置（ｘ、ｙ、ｚ）を、式（３）および式（４）に代入
することにより、パン角φおよびチルト角θの値が算出
される。このようにして算出されたパン角θおよびチル
ト角φにより、支持台１６の角度が回転する。これによ
り、支持台の姿勢が更新される。更新された姿勢に基づ
きスポット光を投影することで、ユーザへの視覚フィー
ドバックが与えられると同時に3次元モデルが更新され
る。Next, the support base control unit 14 will be described. In the support control unit 14, the hand gesture recognition device 12
Center of gravity of the hand given by Oh = (xh, yh, z
h) and the hand orientation Xh = (ah, eh, rh) determined by the hand pointing direction and the intersection (x, x) of the 3D model of the scene 22 generated by the 3D model generating unit 10.
y, z). The intersection represents the three-dimensional position (x, y, z) of the pointing target. The values of the pan angle φ and the tilt angle θ are calculated by substituting the three-dimensional position (x, y, z) of the pointing target into Expressions (3) and (4). The angle of the support base 16 is rotated by the pan angle θ and the tilt angle φ calculated as described above. Thereby, the attitude of the support table is updated. Projecting the spotlight based on the updated posture provides visual feedback to the user and updates the three-dimensional model at the same time.
【００２７】この発明の有効性を明らかにするため、次
のようなシミュレーション実験を行なった。実験環境と
しては、壁面から約２メートル離れた位置に立った被験
者（ユーザ）に対して、ポインティング装置１を用いて
スポット光で指示位置を指示した場合（視覚フィードバ
ックあり）と視覚フィードバックなしの場合との２条件
のもとで、壁面上の同一点を１０回にわたり繰返し指示
させ、指示精度を測定した。指示回数は各１０回であ
り、システムの動作速度は約１０Ｈｚである。The following simulation experiment was conducted to clarify the effectiveness of the present invention. As an experimental environment, a pointing device 1 is used to indicate a pointing position (with visual feedback) to a subject (user) standing at a position about 2 meters away from a wall surface (with visual feedback) and without visual feedback. Under the above two conditions, the same point on the wall surface was repeatedly indicated 10 times, and the indicating accuracy was measured. The number of instructions is ten each, and the operating speed of the system is about 10 Hz.
【００２８】図１２に、実験結果を示す。被験者は、２
人（被験者１、被験者２）である。縦軸は指示位置の標
準誤差を示している。横軸は、被験者の指示方向を示し
ている。図中、白抜きの棒グラフＡは本発明の実施の形
態におけるポインティング装置１を使用した場合であ
り、斜線入りの棒グラフＢは視覚フィードバックがない
場合にそれぞれ対応している。ポインティング装置１を
用いたほうが、両被験者ともに水平垂直いずれの方向に
ついても指示位置の誤差が小さく、当該装置を用いなか
った場合と有意な差が見られる。これらの結果は、視覚
フィードバック（本発明の実施の形態におけるポインテ
ィング装置）の有効性を示すものと言える。FIG. 12 shows the results of the experiment. Subjects are 2
Human (subject 1, subject 2). The vertical axis indicates the standard error of the indicated position. The horizontal axis indicates the direction indicated by the subject. In the figure, a white bar graph A corresponds to a case where the pointing device 1 according to the embodiment of the present invention is used, and a hatched bar graph B corresponds to a case where there is no visual feedback. When the pointing device 1 is used, the pointing position error is smaller in both the horizontal and vertical directions for both subjects, and a significant difference is seen from the case where the device is not used. These results show that the visual feedback (the pointing device in the embodiment of the present invention) is effective.
【００２９】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。The embodiments disclosed this time are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
【００３０】[0030]
【発明の効果】以上のように、本発明に係るポインティ
ング装置によれば、投影されたスポット光の位置検出
（および３次元モデルの獲得）と、ユーザの指示した位
置の提示（スポット光の投影）すなわち視覚フィードバ
ックとを同時に行なうことができるため、ユーザは、自
己の指示方向がポインティング装置にどう認識されてい
るかを理解しながら（自分の指示位置を確認しながら）
指示動作を行なうことができる。As described above, according to the pointing device of the present invention, the position detection of the projected spot light (and the acquisition of the three-dimensional model) and the presentation of the position designated by the user (projection of the spot light) That is, since the user can simultaneously perform the visual feedback, the user can understand how his pointing direction is recognized by the pointing device (while confirming his pointing position).
An instruction operation can be performed.
【００３１】これにより、ユーザの指示位置と実際の投
影位置とのずれを小さくすることが可能となる。この結
果、非接触型手振りインタフェースとして、プレゼンテ
ーション、ロボットへの教示等様々なインタフェースに
応用が可能となる。This makes it possible to reduce the deviation between the position designated by the user and the actual projection position. As a result, as a non-contact hand gesture interface, it can be applied to various interfaces such as presentation and teaching to a robot.
【図１】本発明の実施の形態におけるポインティング装
置１の実使用状況を説明するための図である。FIG. 1 is a diagram for explaining an actual use situation of a pointing device 1 according to an embodiment of the present invention.
【図２】本発明の実施の形態におけるポインティング装
置１の全体構成を示すブロック図である。FIG. 2 is a block diagram illustrating an overall configuration of a pointing device 1 according to the embodiment of the present invention.
【図３】ポインティング装置１の座標系を説明するため
の図である。FIG. 3 is a diagram for explaining a coordinate system of the pointing device 1;
【図４】ｘ−ｚ平面におけるパン角θを表わした図であ
る。FIG. 4 is a diagram showing a pan angle θ in an xz plane.
【図５】ｙ−ｚ′平面におけるチルト角φを表わした図
である。FIG. 5 is a diagram showing a tilt angle φ in a yz ′ plane.
【図６】３次元位置検出部８の処理を説明するための図
である。FIG. 6 is a diagram for explaining processing of a three-dimensional position detection unit 8;
【図７】３次元モデルの生成過程を説明するための図で
ある。FIG. 7 is a diagram for explaining a generation process of a three-dimensional model.
【図８】３次元モデルの生成過程の一例を説明するため
の図である。FIG. 8 is a diagram for explaining an example of a process of generating a three-dimensional model.
【図９】図８に対して得られる３次元モデルを説明する
ための図である。9 is a diagram for explaining a three-dimensional model obtained with respect to FIG.
【図１０】手振り認識装置１２の概要を説明するための
図である。FIG. 10 is a diagram for explaining an outline of a hand gesture recognition device 12;
【図１１】手振り認識装置１２により得られる手振り位
置姿勢情報について説明するための図である。11 is a diagram for explaining hand position and orientation information obtained by a hand recognition device 12. FIG.
【図１２】ポインティング装置１についての実験結果を
説明するための図である。FIG. 12 is a diagram for explaining an experimental result of the pointing device 1.
【符号の説明】 １ ポインティング装置 ２ レーザ発光部 ４、３０．１〜３０．ｋ カメラ ６ 画像処理部 ８ ３次元位置検出部 １０ ３次元モデル生成部 １２ 手振り認識装置 １４ 支持台制御部 １６ 支持台 ４０．１〜４０．ｋ 特徴検出部 ４２ 3次元重心点・方向検出部 ４４ 回転角検出部 ４６ カメラ選択部 ４８ 指先検出部 ５０ 手モデル復元部[Description of Signs] 1 Pointing device 2 Laser emission unit 4, 30.1-30. k camera 6 image processing unit 8 three-dimensional position detection unit 10 three-dimensional model generation unit 12 hand gesture recognition device 14 support base control unit 16 support base 40.1-40. k feature detection unit 42 3D barycentric point / direction detection unit 44 rotation angle detection unit 46 camera selection unit 48 fingertip detection unit 50 hand model restoration unit
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/60 Ｇ０６Ｆ 15/70 ３５０Ｈ ９Ａ００１ Ｆターム(参考） 2F065 AA02 AA04 AA17 AA31 BB05 BB15 CC16 DD03 FF04 GG04 HH04 JJ03 JJ16 JJ26 MM04 PP13 QQ31 5B057 BA15 DA07 DB03 DC02 DC08 5B087 AA02 AA07 AB14 CC09 CC12 CC24 CC26 CC33 DD06 DE07 5E501 AC37 AC50 BA05 CA02 CB07 CB14 CC11 EB05 FA02 FA14 FA36 FB43 5L096 AA09 CA05 FA14 FA66 FA67 FA69 9A001 DD11 GG01 GG03 HH21 KK37Continued on the front page (51) Int.Cl. 7 Identification code FI Theme coat II (reference) G06T 7/60 G06F 15/70 350H 9A001 F term (reference) 2F065 AA02 AA04 AA17 AA31 BB05 BB15 CC16 DD03 FF04 GG04 HH04 JJ03 JJ16 JJ16 JJ16 JJ16 MM04 PP13 QQ31 5B057 BA15 DA07 DB03 DC02 DC08 5B087 AA02 AA07 AB14 CC09 CC12 CC24 CC26 CC33 DD06 DE07 5E501 AC37 AC50 BA05 CA02 CB07 CB14 CC11 EB05 FA02 FA14 FA36 FB43 5L096 AA09 CA05 FA14 FA66 FA67 GG11A9
Claims (2)
するポインティング装置であって、 シーンに前記ポインタを投影するポインタ投影手段と、 前記シーンを撮影して、前記ポインタの位置を観測する
観測手段と、 前記ポインタの位置に基づき、前記シーンの３次元モデ
ルを生成する３次元モデル生成手段と、 前記ユーザの指示する手の方向を検出する手振り認識手
段と、 検出された前記ユーザの手の方向と前記３次元モデルと
に基づき、前記ユーザの指示する位置を算出し、前記ポ
インタ投影手段の姿勢を制御する制御手段とを備える、
ポインティング装置。1. A pointing device for projecting a pointer at a position designated by a user, comprising: pointer projection means for projecting the pointer on a scene; and observation means for photographing the scene and observing the position of the pointer. A three-dimensional model generation unit that generates a three-dimensional model of the scene based on the position of the pointer; a hand gesture recognition unit that detects a direction of a hand pointed by the user; and a detected hand direction of the user. Control means for calculating a position designated by the user based on the three-dimensional model, and controlling a posture of the pointer projection means.
Pointing device.
スポット光が投影される、請求項１記載のポインティン
グ装置。2. The pointing device according to claim 1, wherein the pointer projecting unit includes a laser light emitting unit that outputs a laser beam, and the laser beam projects a spot light as the pointer on the scene.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6323799A JP2000259337A (en) | 1999-03-10 | 1999-03-10 | Pointing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6323799A JP2000259337A (en) | 1999-03-10 | 1999-03-10 | Pointing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000259337A true JP2000259337A (en) | 2000-09-22 |
Family
ID=13223424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6323799A Pending JP2000259337A (en) | 1999-03-10 | 1999-03-10 | Pointing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000259337A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004246856A (en) * | 2002-12-18 | 2004-09-02 | National Institute Of Advanced Industrial & Technology | Interface device |
| JP2009240370A (en) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | Motion detector |
| KR20160033878A (en) * | 2014-09-18 | 2016-03-29 | 엘지디스플레이 주식회사 | Liquid Crystal Display Device |
| DE102023117804A1 (en) | 2022-07-29 | 2024-02-01 | Faurecia Clarion Electronics Co., Ltd. | DATA PROCESSING DEVICE AND DATA PROCESSING METHOD |
-
1999
- 1999-03-10 JP JP6323799A patent/JP2000259337A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004246856A (en) * | 2002-12-18 | 2004-09-02 | National Institute Of Advanced Industrial & Technology | Interface device |
| US7821531B2 (en) | 2002-12-18 | 2010-10-26 | National Institute Of Advanced Industrial Science And Technology | Interface system |
| JP2009240370A (en) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | Motion detector |
| KR20160033878A (en) * | 2014-09-18 | 2016-03-29 | 엘지디스플레이 주식회사 | Liquid Crystal Display Device |
| KR102200833B1 (en) | 2014-09-18 | 2021-01-12 | 엘지디스플레이 주식회사 | Liquid Crystal Display Device |
| DE102023117804A1 (en) | 2022-07-29 | 2024-02-01 | Faurecia Clarion Electronics Co., Ltd. | DATA PROCESSING DEVICE AND DATA PROCESSING METHOD |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1629366B1 (en) | Single camera system for gesture-based input and target indication | |
| JP3631151B2 (en) | Information processing apparatus, mixed reality presentation apparatus and method, and storage medium | |
| US8917240B2 (en) | Virtual desktop coordinate transformation | |
| US7752008B2 (en) | Method and apparatus for determining position and orientation | |
| JP4708752B2 (en) | Information processing method and apparatus | |
| EP1074934A2 (en) | Computer input device having six degrees of freedom for controlling movement of a three-dimensional object | |
| JP4608326B2 (en) | Instruction motion recognition device and instruction motion recognition program | |
| US20150202776A1 (en) | Data generation device for vision sensor and detection simulation system | |
| JP2017059062A (en) | Information processing device, information processing method and program | |
| WO2014093608A1 (en) | Direct interaction system for mixed reality environments | |
| JP2010210458A (en) | Display method of recognition result by three-dimensional visual sensor, and the three-dimensional visual sensor | |
| EP3644826A1 (en) | A wearable eye tracking system with slippage detection and correction | |
| JP2015231445A (en) | Program and image generating device | |
| JPH1163927A (en) | Head position and posture measuring device, and operation monitoring device | |
| CN113116386A (en) | Ultrasound imaging guidance method, ultrasound apparatus, and storage medium | |
| JP5198078B2 (en) | Measuring device and measuring method | |
| US20220011750A1 (en) | Information projection system, controller, and information projection method | |
| JP2009258884A (en) | User interface | |
| JP2002008012A (en) | Method for calculating position and attitude of subject and method for calculating position and attitude of observation camera | |
| JP2000259337A (en) | Pointing device | |
| JP2005147894A (en) | Measuring method and measuring instrument | |
| JP7439410B2 (en) | Image processing device, image processing method and program | |
| JP2006323454A (en) | Three-dimensional instruction input system, three-dimensional instruction input device, three-dimensional instruction input method, and program | |
| EP3744461A1 (en) | Weld operation measurement system | |
| CN116135169A (en) | Positioning method, positioning device, electronic equipment and computer readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020409 |