JP2011002292A - Three-dimensional fingertip position detecting method, three-dimensional fingertip position detector, and program - Google Patents

Three-dimensional fingertip position detecting method, three-dimensional fingertip position detector, and program Download PDF

Info

Publication number
JP2011002292A
JP2011002292A JP2009144231A JP2009144231A JP2011002292A JP 2011002292 A JP2011002292 A JP 2011002292A JP 2009144231 A JP2009144231 A JP 2009144231A JP 2009144231 A JP2009144231 A JP 2009144231A JP 2011002292 A JP2011002292 A JP 2011002292A
Authority
JP
Japan
Prior art keywords
fingertip
finger
operator
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009144231A
Other languages
Japanese (ja)
Other versions
JP5416489B2 (en
Inventor
Takaichi Hiraga
高市 平賀
Yoshiori Wakabayashi
佳織 若林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009144231A priority Critical patent/JP5416489B2/en
Publication of JP2011002292A publication Critical patent/JP2011002292A/en
Application granted granted Critical
Publication of JP5416489B2 publication Critical patent/JP5416489B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To detect a three-dimensional position of a finger of an operator from images of the finger of the operator captured by two cameras by implementing image processing.SOLUTION: A three-dimensional fingertip position detector for detecting the three-dimensional position of the finger of the operator from the first image obtained by the first camera for imaging the finger of the operator in the first direction and the second image obtained by the second camera for imaging the finger of the operator in the second direction different from the first direction by implementing the image processing includes: a fingertip position detecting means for detecting the first position as the position of the fingertip of the operator on the first image from the first image; a finger axis positional posture detecting means for detecting a positional posture of a finger axis of the operator on the second image from the second image; and a three-dimensional fingertip position estimating means for estimating the three-dimensional position of the fingertip of the operator from the first position and the second position as the position of the fingertip of the operator on the second image detected on the basis of the first position and the finger axis.

Description

本発明は、三次元指先位置検出方法、三次元指先位置検出装置、およびプログラムに係わり、特に、２台のカメラで撮影した操作者の手指の画像から画像処理によって、操作者の指先の三次元位置を検出する技術に関する。   The present invention relates to a three-dimensional fingertip position detection method, a three-dimensional fingertip position detection device, and a program. The present invention relates to a technique for detecting a position.

街頭に設置されている情報キオスク端末や、家庭電化製品などの操作対象機器の操作では、リモコンを使用して操作する、もしくは操作対象機器に備えられたボタンやタッチスクリーンにより操作するという形態が主流であるが、リモコンを用いる形態では、リモコンを紛失した場合に操作ができない、また、ボタンやタッチスクリーンを用いる形態では、不衛生なので機器に直接触れたくない、といった理由から、操作者が行うジェスチャを認識することにより操作対象機器を操作する形態が考案されてきている。
その形態は様々であり、ジェスチャとしては、首振り、頷き、眼球運動、ウインク、腕振り、指差し等、また、操作者の動きをセンシングするデバイスとしては、奥行き情報の取得が可能なデバイスや通常のビデオカメラといったバリエーションがある。
この場合、ジェスチャ認識システムを、従来の物理的な機器を代替するものという観点から捉えた場合、通常、ボタンやタッチスクリーンは指で操作されていることから、ジェスチャとして指の動きを用いる形態に妥当性があると考えられる。ここで、指の動きとは、指の曲げ伸ばし等ではなく、指先の位置の変位のことである。また、コストの観点からは、ハードウェア構成を安価に実現できる、通常のビデオカメラを用いる形態に妥当性があると考えられる。
以上の考察から、本発明では、指の動きによるジェスチャを通常のビデオカメラで撮影して認識する形態を対象とすることにした。
さて、このようなジェスチャ認識システムでは、先ずは、撮影された画像上において指先位置を検出することが必要となるが、これまでに、そのための技術がいくつか考案されている。（例えば、下記、特許文献１参照）原理としては、手指を撮影したカラー画像から、色相・明度・彩度に基づいて肌色であると判定された画素からなる領域を抽出し、その領域の形状を基に指先位置を検出するものである。 In the operation of information kiosk terminals installed on the street and operation target devices such as home appliances, the mainstream is to operate using the remote control or the buttons and touch screens provided on the operation target devices. However, in the form using the remote control, if the remote control is lost, the operation cannot be performed, and in the form using the button or touch screen, it is unsanitary and you do not want to touch the device directly. The form which operates an operation target apparatus by recognizing this has been devised.
There are various forms, and gestures include swinging, whispering, eye movements, winking, swinging arms, pointing, etc., and devices that sense the operator's movement include devices that can acquire depth information There are variations such as a normal video camera.
In this case, when the gesture recognition system is viewed from the viewpoint of replacing a conventional physical device, since the buttons and the touch screen are usually operated with fingers, the movement of the fingers is used as a gesture. It is considered valid. Here, the movement of the finger is not the bending and stretching of the finger but the displacement of the position of the fingertip. From the viewpoint of cost, it is considered that the form using a normal video camera that can realize the hardware configuration at low cost is appropriate.
Based on the above considerations, the present invention is directed to a mode in which a gesture caused by finger movement is captured and recognized with a normal video camera.
In such a gesture recognition system, first, it is necessary to detect a fingertip position on a photographed image, but several techniques have been devised so far. (For example, see Patent Document 1 below) As a principle, an area consisting of pixels determined to be skin color based on hue, brightness, and saturation is extracted from a color image obtained by photographing a finger, and the shape of the area The fingertip position is detected based on the above.

特許第３８６３８０９号明細書Japanese Patent No. 3863809

しかしながら、前述の特許文献１に明記されているように、指を撮影したカラー画像から、色相・明度・彩度に基づいて肌色であると判定された画素からなる領域を抽出し、その領域の形状を基に指先位置を検出する方法では、手領域と他の肌色物体は重ならないことが必須条件であり、例えば、図１（ａ）の１０１に示すように、手指を撮影する際に背後に顔が映り込んで、図１（ｂ）に示すように、画像上において手領域に他の肌色領域に重なっている場合、検出される領域が手領域と顔領域との和集合領域１０２となるため、指先位置を正しく検出することは原理的に不可能である。
本発明が想定している、ジェスチャ認識システムを利用する場面では、一般に、操作者以外の人物が存在するので、色情報に基づいて領域を抽出する方法を用いることはできない。これに対して、図２に示すような輝度画像において、勾配をもとに推定される輪郭を利用する方法が考えられる。なお、図２は輝度画像の一部を示すものであり、２０１は撮影された指、２０２は指軸である。
しかしながら、ＱＶＧＡ等の低解像度のカメラを用いる場合、図３（ａ）に示すように、指先の輪郭３０１に対して、その法線方向が指軸２０２と同じになる輪郭区分３０２を考えると、図３（ｂ）に示すように、同区分の輪郭推定に寄与する画素３０３の数が極端に少ないため、指先先端の指軸方向の位置を正しく推定することは困難である。更に、ノイズが強い場合や手指の背後に複雑な背景が映りこむ場合には、いっそう困難となる。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、三次元指先位置検出方法および三次元指先位置検出装置において、２台のカメラで撮影した操作者の手指の画像から画像処理によって、操作者の手指の三次元位置を検出する技術を提供することにある。
また、本発明は、前述の三次元指先位置検出方法をコンピュータに実行させるためのプログラムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。 However, as specified in the above-mentioned Patent Document 1, an area composed of pixels determined to be skin color based on hue, brightness, and saturation is extracted from a color image obtained by photographing a finger, and the area In the method of detecting the fingertip position based on the shape, it is an indispensable condition that the hand region and other skin-colored objects do not overlap. For example, as shown at 101 in FIG. When the face is reflected and the hand area overlaps with other skin color areas on the image as shown in FIG. 1B, the detected area is the union area 102 of the hand area and the face area. Therefore, it is impossible in principle to correctly detect the fingertip position.
In a scene where the gesture recognition system assumed by the present invention is used, since a person other than the operator is generally present, a method of extracting a region based on color information cannot be used. On the other hand, in the luminance image as shown in FIG. 2, a method of using the contour estimated based on the gradient can be considered. FIG. 2 shows a part of the luminance image, 201 is a photographed finger, and 202 is a finger axis.
However, when a low-resolution camera such as QVGA is used, as shown in FIG. 3A, a contour segment 302 whose normal direction is the same as that of the finger axis 202 with respect to the contour 301 of the fingertip is considered. As shown in FIG. 3B, since the number of pixels 303 contributing to the contour estimation of the same section is extremely small, it is difficult to correctly estimate the position of the fingertip tip in the finger axis direction. Furthermore, when the noise is strong or a complicated background is reflected behind the fingers, it becomes even more difficult.
The present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to perform an operation photographed by two cameras in a three-dimensional fingertip position detection method and a three-dimensional fingertip position detection apparatus. Another object of the present invention is to provide a technique for detecting the three-dimensional position of the operator's finger from the image of the operator's finger by image processing.
Moreover, this invention is providing the program for making a computer perform the above-mentioned three-dimensional fingertip position detection method.
The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
（１）第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出装置であって、前記第１の画像から、前記第１の画像上における前記操作者の指先位置である第１の位置を検出する指先位置検出手段と、前記第２の画像から、前記第２の画像上における前記操作者の指軸の位置姿勢を検出する指軸位置姿勢検出手段と、前記第１の位置と前記指軸とに基づき検出される前記第２の画像上における前記操作者の指先位置である第２の位置と、前記第１の位置とから、前記操作者の指先の三次元位置を推定する三次元指先位置推定手段とを有する。
（２）（１）において、前記第１のカメラは、容易に第１の位置を検出できるような環境に設置されている。
（３）（１）または（２）において、前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、前記指先位置検出手段は、前記背景の色情報を用いて、前記第１の画像から、前記背景の色以外の画素からなる領域を手指領域として抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出する。
（４）（１）または（２）において、前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、前記指先位置検出手段は、背景差分を用いて、前記第１の画像から手指領域を抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出する。 Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
(1) A first image obtained by photographing the operator's fingers from the first direction with the first camera, and an operator's fingers photographed from the second direction different from the first direction by the second camera. A three-dimensional fingertip position detection device that detects a three-dimensional position of an operator's fingertip from the second image by image processing, wherein the operator's finger on the first image is detected from the first image. Fingertip position detecting means for detecting a first position that is a fingertip position; finger axis position / posture detecting means for detecting a position / posture of the finger axis of the operator on the second image from the second image; The operator's fingertip from the second position, which is the fingertip position of the operator on the second image detected based on the first position and the finger axis, and the first position Three-dimensional fingertip position estimating means for estimating the three-dimensional position.
(2) In (1), the first camera is installed in an environment where the first position can be easily detected.
(3) In (1) or (2), the first camera photographs the finger of the operator under a background that does not include the same color as the finger of the operator, and the fingertip position detection unit includes Using the background color information, an area composed of pixels other than the background color is extracted from the first image as a finger area, and the peninsula tip position of the extracted finger area is detected as the first position. To do.
(4) In (1) or (2), the first camera images the finger of the operator under a background that does not include the same hue as the finger of the operator, and the fingertip position detection means Using the difference, a finger area is extracted from the first image, and the position of the peninsula tip of the extracted finger area is detected as the first position.

（５）（１）ないし（４）の何れかにおいて、前記指軸位置姿勢検出手段は、前記第２の画像に対して、複数の指領域の正規化相関テンプレートを使用し、前記複数の指領域の正規化相関テンプレートの中から最も類似度の高い正規化相関テンプレートを選択し、当該選択した最も類似度の高い正規化相関テンプレートの基準線を前記指軸として検出する。
（６）（１）ないし（６）の何れかにおいて、前記三次元指先位置推定手段は、前記第１の位置に対応する前記第２の画像上のエピポーラ線と前記指軸との交点位置を、前記第２の位置として検出し、前記第１の位置と前記第１のカメラのレンズ中心とを結ぶ三次元空間における直線と、前記第２の位置と前記第２のカメラのレンズ中心とを結ぶ三次元空間における直線とを最短で結ぶ線分の中点を、前記操作者の指先の三次元位置として推定する。
（７）また、本発明は、前述の三次元指先位置検出装置により実行される三次元指先位置検出方法である。
（８）また、本発明は、前述の（１）ないし（６）の何れかに記載の三次元指先位置検出装置の各手段を、コンピュータに実行させるためのプログラムである。 (5) In any one of (1) to (4), the finger axis position / posture detection means uses a normalized correlation template of a plurality of finger regions for the second image, and the plurality of fingers A normalized correlation template with the highest similarity is selected from the normalized correlation templates in the region, and a reference line of the selected normalized correlation template with the highest similarity is detected as the finger axis.
(6) In any one of (1) to (6), the three-dimensional fingertip position estimation means calculates an intersection position between the epipolar line on the second image corresponding to the first position and the finger axis. , Detecting as the second position, a straight line in a three-dimensional space connecting the first position and the lens center of the first camera, and the second position and the lens center of the second camera. The midpoint of the line segment that connects the straight lines in the three-dimensional space to be connected is estimated as the three-dimensional position of the operator's fingertip.
(7) Moreover, this invention is a three-dimensional fingertip position detection method performed by the above-mentioned three-dimensional fingertip position detection apparatus.
(8) Further, the present invention is a program for causing a computer to execute each unit of the three-dimensional fingertip position detection device according to any one of (1) to (6) described above.

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、２台のカメラで撮影した操作者の手指の画像から画像処理によって、操作者の手指の三次元位置を容易に検出することが可能となる。 The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.
According to the present invention, it is possible to easily detect the three-dimensional position of an operator's finger by image processing from images of the operator's fingers taken by two cameras.

手指を撮影する際に背後に顔が映り込んだ画像と、検出された肌色領域を例示する図である。It is a figure which illustrates the image which the face reflected in the back when image | photographing a finger, and the detected skin color area | region. 手指を撮影した輝度画像を例示する図である。It is a figure which illustrates the brightness | luminance image which image | photographed the finger. 指先の輪郭と、その法線方向が指軸と同じになる輪郭区分の推定に寄与する画素を例示する図である。It is a figure which illustrates the pixel which contributes to estimation of the outline division from which the outline of a fingertip and the normal line direction become the same as a finger axis. 本発明の実施例の三次元指先位置検出装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the three-dimensional fingertip position detection apparatus of the Example of this invention. 本発明の実施例の三次元指先位置検出装置において、カメラ、ブルーバック、および手指の配置を例示する図である。It is a figure which illustrates arrangement | positioning of a camera, a blue background, and a finger in the three-dimensional fingertip position detection apparatus of the Example of this invention. 本発明の実施例の三次元指先位置検出装置の処理手順を説明するためのフローチャートである。It is a flowchart for demonstrating the process sequence of the three-dimensional fingertip position detection apparatus of the Example of this invention. 本発明の実施例の三次元指先位置検出装置において、第１のカメラで撮影された画像、抽出された手指領域、および検出された指先位置を示す図である。In the three-dimensional fingertip position detection device according to the embodiment of the present invention, FIG. 本発明の実施例の三次元指先位置検出装置において、指軸の位置姿勢を検出するための濃淡画像用テンプレート群を示す図である。It is a figure which shows the template group for gray images for detecting the position and orientation of a finger axis in the three-dimensional fingertip position detection apparatus of the Example of this invention. 本発明の実施例の三次元指先位置検出装置において、テンプレートによる類似度評価を説明するための図である。It is a figure for demonstrating the similarity evaluation by a template in the three-dimensional fingertip position detection apparatus of the Example of this invention. 本発明の実施例の三次元指先位置検出装置において、指軸の位置姿勢の定義を説明するための図である。It is a figure for demonstrating the definition of the position and orientation of a finger axis in the three-dimensional fingertip position detection apparatus of the Example of this invention. 本発明の実施例の三次元指先位置検出装置において、第２のカメラの画像上の指先位置を求める方法を説明するための図である。It is a figure for demonstrating the method of calculating | requiring the fingertip position on the image of a 2nd camera in the three-dimensional fingertip position detection apparatus of the Example of this invention.

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図４は、本発明の実施例の三次元指先位置検出装置の概略構成を示すブロック図である。本実施例の三次元指先位置検出装置は、第１のカメラ４０１と、第２のカメラ４０２と、指先位置検出手段４０３と、指軸位置姿勢検出手段４０４と、三次元指先位置推定手段４０５とを有する。
本実施例では、実際には、図５に示すように、第１のカメラ４０１と、第２のカメラ４０２と、ブルーバック背景５０２と、手指５０１とを配置する。
第１のカメラ４０１は、ブルーバック背景下に手指５０１を撮影できるように固定設置する。第２のカメラについては、その光軸と第１のカメラ４０１の光軸との両方を、空間中に置いたある平面に投影した際に、第１のカメラ４０１の光軸と第２のカメラ４０２の光軸を投影した線同士の成す角度がもっとも小さくなるように平面を移動し、その時の角度が９０°、即ち、投影した線同士が直交するように、第２のカメラ４０２を固定することが望ましい。
なお、図５では、ブルーバック背景５０２を使用しているが、床が肌の色と同じ色合いを含まない場合は、そのままブルーバック背景として代用できる。この場合、第１のカメラ４０１は鉛直下向きに設置することになる。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In all the drawings for explaining the embodiments, parts having the same functions are given the same reference numerals, and repeated explanation thereof is omitted.
FIG. 4 is a block diagram illustrating a schematic configuration of the three-dimensional fingertip position detection apparatus according to the embodiment of the present invention. The three-dimensional fingertip position detection apparatus of the present embodiment includes a first camera 401, a second camera 402, a fingertip position detection unit 403, a finger axis position / posture detection unit 404, and a three-dimensional fingertip position estimation unit 405. Have
In this embodiment, actually, as shown in FIG. 5, a first camera 401, a second camera 402, a blue background 502, and a finger 501 are arranged.
The first camera 401 is fixedly installed so that the finger 501 can be photographed under the blue background. Regarding the second camera, when both the optical axis of the first camera 401 and the optical axis of the first camera 401 are projected onto a certain plane placed in the space, the optical axis of the first camera 401 and the second camera The plane is moved so that the angle formed by the projected lines of the optical axis 402 is minimized, and the second camera 402 is fixed so that the angle at that time is 90 °, that is, the projected lines are orthogonal to each other. It is desirable.
In FIG. 5, the blue background 502 is used. However, when the floor does not include the same color as the skin color, it can be used as it is as the blue background. In this case, the first camera 401 is installed vertically downward.

図６は、本実施例の三次元指先位置検出装置の処理手順を説明するためのフローチャートである。次に、本実施例における、操作者の指の三次元位置の検出手順について、図６を用いて説明する。
（１）ステップ６０１
このステップでは、指先位置検出手段４０３が、予め取得しておいたブルーバックの色情報を用い、図７（ａ）に示す第１のカメラ４０１で撮影した画像７０１において、ブルーバック領域７０２以外の領域を手指領域として抽出し、図７（ｂ）に示す、当該抽出した手指領域の半島突端（図７（ｂ）において上向きの半島となる部分の突端７０３）の位置を指先位置として検出する。なお、背景差分により手指領域を抽出してもよい。
（２）ステップ６０２
このステップでは、指軸位置姿勢検出手段４０４が、図８に示す濃淡画像用テンプレート（本発明の指領域の正規化相関テンプレート）群８０１を用いて、指軸の位置姿勢を検出する。
ここで、１つの濃淡画像用テンプレート８０２は、それぞれの相対位置姿勢が固定である基準線８０３と、基準位置８０４と、高い輝度の領域８０５と、低い輝度の領域８０６とから構成されており、濃淡画像用テンプレート群８０１は、基準線８０３の傾きが異なる複数枚のテンプレートから構成されている。
高い輝度の領域８０５と、低い輝度の領域８０６の領域の形状は細長いことが望ましく、また、それぞれの領域内の輝度値ＩＢおよびＩＤについては、それぞれの面積をＡＢおよびＡＤとしたとき、下記（１）式に示す連立方程式を満たす値であり、正負および０の値をとる。
ＡＢ・ＩＢ ２＋ＡＤ・ＩＤ ２＝１
ＡＢ・ＩＢ＋ＡＤ・ＩＤ＝０ ・・・・・・・・・・・・・ （１）
なお、高い輝度の領域８０５と、低い輝度の領域８０６のそれぞれの領域としては、前述の領域形状に一様に分布する疎領域でも良い。また、それぞれの領域内の輝度値として、一様でない値を用いても良い。 FIG. 6 is a flowchart for explaining the processing procedure of the three-dimensional fingertip position detection apparatus according to the present embodiment. Next, a procedure for detecting the three-dimensional position of the operator's finger in this embodiment will be described with reference to FIG.
(1) Step 601
In this step, the fingertip position detection unit 403 uses the blue background color information acquired in advance, and in the image 701 photographed by the first camera 401 shown in FIG. The region is extracted as a finger region, and the position of the peninsula tip of the extracted finger region (the tip 703 of the upward peninsula in FIG. 7B) shown in FIG. 7B is detected as the fingertip position. Note that the finger region may be extracted based on the background difference.
(2) Step 602
In this step, the finger axis position / orientation detection means 404 detects the position and orientation of the finger axis using the gray image template (finger region normalized correlation template of the present invention) group 801 shown in FIG.
Here, one gray image template 802 is composed of a reference line 803 having a fixed relative position and orientation, a reference position 804, a high luminance region 805, and a low luminance region 806. The grayscale image template group 801 includes a plurality of templates having different inclinations of the reference line 803.
It is desirable that the regions of the high luminance region 805 and the low luminance region 806 are elongated, and the luminance values I B and I D in the respective regions are defined as A B and A D , respectively. At this time, the value satisfies the simultaneous equations shown in the following formula (1), and takes the values of positive and negative and zero.
A B · I B 2 + A D · I D 2 = 1
A B · I B + A D · I D = 0 (1)
Note that each of the high luminance region 805 and the low luminance region 806 may be a sparse region uniformly distributed in the above-described region shape. In addition, non-uniform values may be used as the luminance values in the respective areas.

さて、指軸の位置姿勢については以下の通りである。
図９（ａ）に示すように、第２のカメラの輝度画像における全ての指軸の候補位置９０１に対して、濃淡画像用テンプレート群８０１の全てのテンプレートを適用し、正規化相関値を類似度として算出する。
例えば、図９（ｂ）に示すように、図９（ａ）の９０１で示す候補位置において、９０２で示すテンプレートを適用する場合、画像上での候補位置９０１にテンプレート９０２の基準点を合わせた際に、テンプレート９０２の高い輝度の領域および低い輝度の領域に対応する画像上での評価対象領域９０３および９０４が特定されるが、これら領域に対して、下記（２）式により、類似度Ｃを算出する。ここ類似度Ｃの値の範囲は、−１から１である。
Ｃ＝Ｅ／Ａ、 但し、Ｅ＝ＩＢ・ΣＢ（ｉ−ｉＡ）＋ＩＤ・ΣＤ（ｉ−ｉＡ）
・・・・・・・・・・・・・・・・・・・・ （２）
ここで、（２）式において、Ａは評価対象領域９０３および９０４の和領域の面積の和、ｉは輝度画像の輝度値、ｉＡは評価対象領域９０３および９０４の和領域における輝度値の平均値、ΣＢ（ｉ−ｉＡ）およびΣＤ（ｉ−ｉＡ）はそれぞれ評価対象領域９０３および９０４における各画素値ｉからｉＡを引いた値の総和を表す。
そして、図１０に示すように、最も高い類似度Ｃに対応する候補位置１００１と、最も高い類似度Ｃに対応するテンプレートの基準線８０３のＸ軸１００４からの傾き１００２から、指軸１００３を求める。
なお、Ｅが一定の値の範囲にない場合には、類似度Ｃを評価しないとしても良い。また、ステップ６０１で求められた第１のカメラ４０１の画像上での指先位置に対応する、第２のカメラ４０２の画像上でのエピポーラ線を基に、候補位置の領域を絞り込むことで不要な計算を省いても良い。 Now, the position and orientation of the finger axis are as follows.
As shown in FIG. 9A, all the templates of the grayscale image template group 801 are applied to the candidate positions 901 of all the finger axes in the luminance image of the second camera, and the normalized correlation values are similar. Calculate as degrees.
For example, as shown in FIG. 9B, when the template indicated by 902 is applied at the candidate position indicated by 901 in FIG. 9A, the reference point of the template 902 is aligned with the candidate position 901 on the image. At this time, the evaluation target regions 903 and 904 on the image corresponding to the high luminance region and the low luminance region of the template 902 are specified. For these regions, the similarity C Is calculated. Here, the range of the value of similarity C is −1 to 1.
C = E / A, where, E = I B · Σ B (i-i A) + I D · Σ D (i-i A)
(2)
Here, in equation (2), A is the sum of the areas of the sum areas of the evaluation target areas 903 and 904, i is the luminance value of the luminance image, and i A is the average of the luminance values in the sum area of the evaluation target areas 903 and 904. The values, Σ B (ii A ) and Σ D (ii A ) represent the sum of values obtained by subtracting i A from the pixel values i in the evaluation target regions 903 and 904, respectively.
Then, as shown in FIG. 10, the finger axis 1003 is obtained from the candidate position 1001 corresponding to the highest similarity C and the inclination 1002 from the X axis 1004 of the template reference line 803 corresponding to the highest similarity C. .
If E is not within a certain range, the similarity C may not be evaluated. Further, it is unnecessary by narrowing down the candidate position area based on the epipolar line on the image of the second camera 402 corresponding to the fingertip position on the image of the first camera 401 obtained in step 601. Calculation may be omitted.

（３）ステップ６０３
このステップでは、三次元指先位置推定手段４０５が、図１１に示すように、ステップ６０１で求めた第１のカメラ４０１の画像における指先位置７０３に対応する第２のカメラ４０２の画像上のエピポーラ線１１０１と、ステップ６０２で求めた指軸１００３との交点位置１１０２を、第２のカメラ４０２の画像における指先位置として求める。
（４）ステップ６０４
このステップでは、三次元指先位置推定手段４０５が、ステップ６０１で求めた第１のカメラ４０１の画像における指先位置７０３と第１のカメラ４０１のレンズ中心とを結ぶ三次元空間における直線と、ステップ６０３で求めた第２のカメラ４０２の画像における指先位置１１０２と第２のカメラ４０２のレンズ中心とを結ぶ三次元空間における直線との交点を求め、これを指先の三次元位置とする。
なお、通常は、これら三次元空間における直線は交わらないので、これら三次元空間における直線への距離の二乗和が最小となる位置を以って、指先の三次元位置としても良い。即ち、第１のカメラ４０１の画像における指先位置７０３と第１のカメラ４０１のレンズ中心とを結ぶ三次元空間における直線と、第２のカメラ４０２の画像における指先位置１１０２と第２のカメラ４０２のレンズ中心とを結ぶ三次元空間における直線とを最短で結ぶ線分の中点を、操作者の指先の三次元位置として推定する。 (3) Step 603
In this step, as shown in FIG. 11, the three-dimensional fingertip position estimation means 405 has epipolar lines on the image of the second camera 402 corresponding to the fingertip position 703 in the image of the first camera 401 obtained in step 601. An intersection position 1102 between 1101 and the finger axis 1003 obtained in step 602 is obtained as a fingertip position in the image of the second camera 402.
(4) Step 604
In this step, the three-dimensional fingertip position estimating means 405 includes a straight line in the three-dimensional space connecting the fingertip position 703 in the image of the first camera 401 obtained in step 601 and the lens center of the first camera 401, and step 603. The intersection of the fingertip position 1102 in the image of the second camera 402 obtained in step 3 and a straight line in the three-dimensional space connecting the lens center of the second camera 402 is obtained, and this is set as the three-dimensional position of the fingertip.
Normally, since the straight lines in these three-dimensional spaces do not intersect, the three-dimensional position of the fingertip may be determined by the position where the sum of squares of the distances to the straight lines in these three-dimensional spaces is minimized. That is, a straight line in the three-dimensional space connecting the fingertip position 703 in the image of the first camera 401 and the lens center of the first camera 401, and the fingertip position 1102 in the image of the second camera 402 and the second camera 402. The midpoint of the line connecting the straight line in the three-dimensional space connecting the lens center with the shortest distance is estimated as the three-dimensional position of the fingertip of the operator.

以上説明したように、本実施例によれば、第２のカメラ４０２で撮影した画像の輝度画像において、操作者の指の指軸の位置姿勢の検出は容易であるとともに、ブルーバック背景下で検出が容易な操作者の手指を、第１のカメラ４０１で撮影した画像から操作者の指の指先位置を併せて用いることで、指先の三次元位置を容易に検出することができる。
本実施例のジェスチャ認識技術は、街頭に設置されている情報キオスク端末や家庭電化製品などの操作対象機器の操作に応用することが可能となる。
なお、前述の説明において、本実施例の三次元指先位置検出装置における指先位置検出手段４０３と、指軸位置姿勢検出手段４０４と、三次元指先位置推定手段４０５とは、コンピュータに実行させることも可能であり、その場合に、本実施例の三次元指先位置検出装置における指先位置検出手段４０３と、指軸位置姿勢検出手段４０４と、三次元指先位置推定手段４０５の動作は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、ＣＤ−ＲＯＭ、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。 As described above, according to the present embodiment, it is easy to detect the position and orientation of the finger axis of the operator's finger in the luminance image of the image captured by the second camera 402, and under a blue background. By using the finger of the operator's finger together with the fingertip position of the operator's finger from an image captured by the first camera 401, the three-dimensional position of the fingertip can be easily detected.
The gesture recognition technology of the present embodiment can be applied to the operation of operation target devices such as information kiosk terminals and home appliances installed on the street.
In the above description, the fingertip position detection unit 403, the finger axis position / posture detection unit 404, and the three-dimensional fingertip position estimation unit 405 in the three-dimensional fingertip position detection apparatus according to the present embodiment may be executed by a computer. In this case, the operations of the fingertip position detection means 403, the finger axis position / posture detection means 404, and the three-dimensional fingertip position estimation means 405 in the three-dimensional fingertip position detection apparatus of this embodiment This is performed by the computer executing a program stored in the program. This program is supplied by downloading via a CD-ROM or a network.
As mentioned above, the invention made by the present inventor has been specifically described based on the above embodiments. However, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention. Of course.

１０１ 手指を撮影する際に背後に顔が映り込んだ画像の例
１０２ 手領域と顔領域との和集合領域
２０１ 撮影された指
２０２ 指軸
３０１ 指先の輪郭
３０２ 輪郭区分
３０３ 輪郭区分の輪郭推定に寄与する画素
４０１ 第１のカメラ
４０２ 第２のカメラ
４０３ 指先位置検出手段
４０４ 指軸位置姿勢検出手段
４０５ 三次元指先位置推定手段
５０１ ブルーバック背景下に撮影される手指
５０２ ブルーバック背景
７０１ 第１のカメラの画像
７０２ ブルーバック領域
７０３ 半島突端の位置
８０１ テンプレート群
８０２ テンプレート
８０３ 基準線
８０４ 基準位置
８０５ 高い輝度の領域
８０６ 低い輝度の領域
９０１ 候補位置
９０２ 適用テンプレート
９０３，９０４ 評価対象領域
１００１ 最も高い類似度に対応する候補位置
１００２ 最も高い類似度に対応するテンプレートの基準線の傾き
１００３ 指軸
１００４ Ｘ軸
１１０１ 第２のカメラの画像におけるエピポーラ線
１１０２ 第２のカメラの画像における指先の位置 101 An example of an image in which a face is reflected in the back when a finger is photographed 102 A union region 201 of a hand region and a face region 201 Photographed finger 202 Finger axis 301 Fingertip contour 302 Contour segment 303 For contour contour contour estimation Contributing pixels 401 First camera 402 Second camera 403 Fingertip position detection means 404 Finger axis position / posture detection means 405 Three-dimensional fingertip position estimation means 501 Finger 502 photographed under a blue back background Blue background 701 First Camera image 702 Blue back area 703 Peninsula tip position 801 Template group 802 Template 803 Reference line 804 Reference position 805 High brightness area 806 Low brightness area 901 Candidate position 902 Applicable template 903, 904 Evaluation target area 1001 Highest similarity Candidate position 1002 corresponding to the highest similarity Tilt of template reference line corresponding to degree 1003 Finger axis 1004 X axis 1101 Epipolar line 1102 in second camera image Position of fingertip in second camera image

Claims (8)

第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、
第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出装置であって、
前記第１の画像から、前記第１の画像上における前記操作者の指先位置である第１の位置を検出する指先位置検出手段と、
前記第２の画像から、前記第２の画像上における前記操作者の指軸の位置姿勢を検出する指軸位置姿勢検出手段と、
前記第１の位置と前記指軸とに基づき検出される前記第２の画像上における前記操作者の指先位置である第２の位置と、前記第１の位置とから、前記操作者の指先の三次元位置を推定する三次元指先位置推定手段とを有することを特徴とする三次元指先位置検出装置。 A first image obtained by photographing an operator's fingers from a first direction with a first camera;
A three-dimensional fingertip position for detecting a three-dimensional position of the fingertip of the operator by image processing from a second image obtained by photographing the finger of the operator from a second direction different from the first direction by the second camera A detection device,
Fingertip position detecting means for detecting a first position which is the fingertip position of the operator on the first image from the first image;
Finger axis position and orientation detection means for detecting the position and orientation of the operator's finger axis on the second image from the second image;
From the second position, which is the fingertip position of the operator on the second image detected based on the first position and the finger axis, and the first position, the fingertip of the operator A three-dimensional fingertip position detecting device comprising: a three-dimensional fingertip position estimating means for estimating a three-dimensional position. 前記第１のカメラは、容易に第１の位置を検出できるような環境に設置されていることを特徴とする請求項１に記載の三次元指先位置検出装置。   The three-dimensional fingertip position detection device according to claim 1, wherein the first camera is installed in an environment in which the first position can be easily detected. 前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、
前記指先位置検出手段は、前記背景の色情報を用いて、前記第１の画像から、前記背景の色以外の画素からなる領域を手指領域として抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出することを特徴とする請求項１または請求項２に記載の三次元指先位置検出装置。 The first camera captures the operator's finger under a background that does not include the same hue as the operator's finger,
The fingertip position detection means uses the background color information to extract a region composed of pixels other than the background color from the first image as a finger region, and the peninsula tip position of the extracted finger region The three-dimensional fingertip position detection device according to claim 1, wherein the first position is detected as the first position. 前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、
前記指先位置検出手段は、背景差分を用いて、前記第１の画像から手指領域を抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出することを特徴とする請求項１または請求項２に記載の三次元指先位置検出装置。 The first camera captures the operator's finger under a background that does not include the same hue as the operator's finger,
The fingertip position detection means extracts a finger region from the first image using a background difference, and detects a peninsula tip position of the extracted finger region as the first position. The three-dimensional fingertip position detection apparatus according to claim 1 or 2. 前記指軸位置姿勢検出手段は、前記第２の画像に対して、複数の指領域の正規化相関テンプレートを使用し、前記複数の指領域の正規化相関テンプレートの中から最も類似度の高い正規化相関テンプレートを選択し、当該選択した最も類似度の高い正規化相関テンプレートの基準線を前記指軸として検出することを特徴とする請求項１ないし請求項４のいずれか１項に記載の三次元指先位置検出装置。   The finger axis position / posture detection unit uses a normalized correlation template of a plurality of finger regions for the second image, and has a normality having the highest similarity among the normalized correlation templates of the plurality of finger regions. 5. The tertiary according to claim 1, wherein a selected correlation template is selected, and a reference line of the selected normalized correlation template having the highest similarity is detected as the finger axis. Former fingertip position detection device. 前記三次元指先位置推定手段は、前記第１の位置に対応する前記第２の画像上のエピポーラ線と前記指軸との交点位置を、前記第２の位置として検出し、前記第１の位置と前記第１のカメラのレンズ中心とを結ぶ三次元空間における直線と、前記第２の位置と前記第２のカメラのレンズ中心とを結ぶ三次元空間における直線とを最短で結ぶ線分の中点を、前記操作者の指先の三次元位置として推定することを特徴とする請求項１ないし請求項５のいずれか１項に記載の三次元指先位置検出装置。   The three-dimensional fingertip position estimation means detects an intersection position between the epipolar line on the second image corresponding to the first position and the finger axis as the second position, and the first position Among the line segments connecting the straight line in the three-dimensional space connecting the first position and the lens center of the first camera with the straight line in the three-dimensional space connecting the second position and the lens center of the second camera. The three-dimensional fingertip position detection device according to any one of claims 1 to 5, wherein the point is estimated as a three-dimensional position of the fingertip of the operator. 第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、
第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出方法であって、
前記第１の画像から、前記第１の画像上における前記操作者の指先位置である第１の位置を検出する第１のステップと、
前記第２の画像から、前記第２の画像上における前記操作者の指軸の位置姿勢を検出する第２のステップと、
前記第１の位置と前記指軸とに基づき検出される前記第２の画像上における前記操作者の指先位置である第２の位置と、前記第１の位置とから、前記操作者の指先の三次元位置を推定する第３のステップとを有することを特徴とする三次元指先位置検出方法。 A first image obtained by photographing an operator's fingers from a first direction with a first camera;
A three-dimensional fingertip position for detecting a three-dimensional position of the fingertip of the operator by image processing from a second image obtained by photographing the finger of the operator from a second direction different from the first direction by the second camera A detection method,
A first step of detecting a first position which is a fingertip position of the operator on the first image from the first image;
A second step of detecting a position and orientation of the operator's finger axis on the second image from the second image;
From the second position, which is the fingertip position of the operator on the second image detected based on the first position and the finger axis, and the first position, the fingertip of the operator And a third step of estimating a three-dimensional position. 請求項１ないし請求項６のいずれか１項に記載の三次元指先位置検出装置の各手段を、コンピュータに実行させるためのプログラム。   The program for making a computer perform each means of the three-dimensional fingertip position detection apparatus of any one of Claim 1 thru | or 6.
JP2009144231A 2009-06-17 2009-06-17 3D fingertip position detection method, 3D fingertip position detection device, and program Active JP5416489B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009144231A JP5416489B2 (en) 2009-06-17 2009-06-17 3D fingertip position detection method, 3D fingertip position detection device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009144231A JP5416489B2 (en) 2009-06-17 2009-06-17 3D fingertip position detection method, 3D fingertip position detection device, and program

Publications (2)

Publication Number Publication Date
JP2011002292A true JP2011002292A (en) 2011-01-06
JP5416489B2 JP5416489B2 (en) 2014-02-12

Family

ID=43560367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009144231A Active JP5416489B2 (en) 2009-06-17 2009-06-17 3D fingertip position detection method, 3D fingertip position detection device, and program

Country Status (1)

Country Link
JP (1) JP5416489B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190926A (en) * 2012-03-13 2013-09-26 Nikon Corp Input device, and display device
US9207779B2 (en) 2012-09-18 2015-12-08 Samsung Electronics Co., Ltd. Method of recognizing contactless user interface motion and system there-of
JP2016218710A (en) * 2015-05-20 2016-12-22 株式会社リコー Information processing system, information processing apparatus, information processing method, and program
US9778748B2 (en) 2012-06-01 2017-10-03 Sharp Kabushiki Kaisha Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
JP6233941B1 (en) * 2017-05-11 2017-11-22 株式会社ネットアプリ Non-contact type three-dimensional touch panel, non-contact type three-dimensional touch panel system, non-contact type three-dimensional touch panel control method, program, and recording medium

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519958A (en) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> Inputting method for information
JPH0526640A (en) * 1991-07-25 1993-02-02 Toshiba Corp Lead shape measuring device
JPH0814828A (en) * 1994-06-29 1996-01-19 Kobe Steel Ltd Calibration method for stereoscopic image sensor and device therefor
JPH08315154A (en) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc Gesture recognition system
JP2000040147A (en) * 1998-07-24 2000-02-08 Atr Media Integration & Communications Res Lab Handshake recognition device
JP2002099902A (en) * 2000-07-19 2002-04-05 Asahi Optical Co Ltd Image processing device for measuring three-dimensional information of object through binocular stereoscopic vision, its method, and storage medium with measurement program stored therein
JP2004185611A (en) * 2002-11-21 2004-07-02 Advanced Telecommunication Research Institute International Method for extracting face position, program for making the face position extracting method executed by computer, and face position extracting apparatus
JP2005063091A (en) * 2003-08-11 2005-03-10 Keio Gijuku Hand pattern switch device
JP2005195335A (en) * 2003-12-26 2005-07-21 Fuji Xerox Co Ltd Three-dimensional image photographing equipment and method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519958A (en) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> Inputting method for information
JPH0526640A (en) * 1991-07-25 1993-02-02 Toshiba Corp Lead shape measuring device
JPH0814828A (en) * 1994-06-29 1996-01-19 Kobe Steel Ltd Calibration method for stereoscopic image sensor and device therefor
JPH08315154A (en) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc Gesture recognition system
JP2000040147A (en) * 1998-07-24 2000-02-08 Atr Media Integration & Communications Res Lab Handshake recognition device
JP2002099902A (en) * 2000-07-19 2002-04-05 Asahi Optical Co Ltd Image processing device for measuring three-dimensional information of object through binocular stereoscopic vision, its method, and storage medium with measurement program stored therein
JP2004185611A (en) * 2002-11-21 2004-07-02 Advanced Telecommunication Research Institute International Method for extracting face position, program for making the face position extracting method executed by computer, and face position extracting apparatus
JP2005063091A (en) * 2003-08-11 2005-03-10 Keio Gijuku Hand pattern switch device
JP2005195335A (en) * 2003-12-26 2005-07-21 Fuji Xerox Co Ltd Three-dimensional image photographing equipment and method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190926A (en) * 2012-03-13 2013-09-26 Nikon Corp Input device, and display device
US9778748B2 (en) 2012-06-01 2017-10-03 Sharp Kabushiki Kaisha Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
US9207779B2 (en) 2012-09-18 2015-12-08 Samsung Electronics Co., Ltd. Method of recognizing contactless user interface motion and system there-of
JP2016218710A (en) * 2015-05-20 2016-12-22 株式会社リコー Information processing system, information processing apparatus, information processing method, and program
JP6233941B1 (en) * 2017-05-11 2017-11-22 株式会社ネットアプリ Non-contact type three-dimensional touch panel, non-contact type three-dimensional touch panel system, non-contact type three-dimensional touch panel control method, program, and recording medium
WO2018207490A1 (en) * 2017-05-11 2018-11-15 株式会社ネットアプリ Contactless three-dimensional touch panel, contactless three-dimensional touch panel system, contactless three-dimensional touch panel control method, program and recording medium
JP2018190306A (en) * 2017-05-11 2018-11-29 株式会社ネットアプリ Non-contact type three-dimensional touch panel, non-contact type three-dimensional touch panel system, control method for non-contact type three-dimensional touch panel, program and storage medium

Also Published As

Publication number Publication date
JP5416489B2 (en) 2014-02-12

Similar Documents

Publication Publication Date Title
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
JP5445460B2 (en) Impersonation detection system, impersonation detection method, and impersonation detection program
JP6248533B2 (en) Image processing apparatus, image processing method, and image processing program
JP5728009B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
CN104380338B (en) Information processor and information processing method
US9697415B2 (en) Recording medium, image processing method, and information terminal
JP2019028843A (en) Information processing apparatus for estimating person&#39;s line of sight and estimation method, and learning device and learning method
JP2017191576A (en) Information processor, control method information processor and program
US9727171B2 (en) Input apparatus and fingertip position detection method
KR101256046B1 (en) Method and system for body tracking for spatial gesture recognition
JP5416489B2 (en) 3D fingertip position detection method, 3D fingertip position detection device, and program
CN115862124B (en) Line-of-sight estimation method and device, readable storage medium and electronic equipment
JP2017123087A (en) Program, device and method for calculating normal vector of planar object reflected in continuous photographic images
JP5555193B2 (en) Data processing apparatus, data processing system, and program
JP2015232771A (en) Face detection method, face detection system and face detection program
JP5448952B2 (en) Same person determination device, same person determination method, and same person determination program
JP2012003724A (en) Three-dimensional fingertip position detection method, three-dimensional fingertip position detector and program
JP5951966B2 (en) Image processing apparatus, image processing system, image processing method, and program
CN104931039A (en) Free space positioning method and system
JP7333559B2 (en) POSITION DETECTION SYSTEM, POSITION DETECTION DEVICE, POSITION DETECTION METHOD, AND PROGRAM
JP2013171490A (en) Touch position input device and touch position input method
JP2005332229A (en) Attitude detector, attitude detection method, and program for the method
JP2004255074A (en) Gazing direction detecting device and its method
JP2016224888A (en) Information processing apparatus, coordinate estimation program, and coordinate estimation method
TW202240470A (en) Image analysis apparatus, image analysis system, image analysis method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130902

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130902

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131003

TRDD Decision of grant or rejection written
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131003

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131115

R150 Certificate of patent or registration of utility model

Ref document number: 5416489

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350