JP2006141862A - Visual-axis direction specification system - Google Patents
Visual-axis direction specification system Download PDFInfo
- Publication number
- JP2006141862A JP2006141862A JP2004338939A JP2004338939A JP2006141862A JP 2006141862 A JP2006141862 A JP 2006141862A JP 2004338939 A JP2004338939 A JP 2004338939A JP 2004338939 A JP2004338939 A JP 2004338939A JP 2006141862 A JP2006141862 A JP 2006141862A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- image
- line
- black
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、使用者が視線を向けている視線対象物における視線方向先の座標を求める視線方向特定システムに関する。 The present invention relates to a line-of-sight direction specifying system for obtaining coordinates of a line-of-sight direction ahead of a line-of-sight object to which a user is turning his line of sight.
背景技術となる視線方向特定システムに類似する技術としては、特開２００３−２７１９３２号公報に開示される視線方向検出装置がある。この視線方向検出装置は、顔画像撮像手段によって撮像された顔画像から目の位置を特定し、この眼位置特定手段により特定された画像から眼球の回転角を検出するとともに、顔画像位置特定手段によって撮像された顔画像から顔の向きを検出し、これら眼球回転角と顔の向きから視線方向を検出する構成である。この視線方向検出装置によれば、視線方向検出の精度をある程度向上させることができる。
しかしながら、前記背景技術は以上のように構成され、視線方向検出の精度をある程度改善することができるものの、主に車両用の視線方向検出であってより精度が求められる分野、例えば、視線方向の検出によってキータイピングを行う分野等においては不十分であるという課題を有する。 However, although the background art is configured as described above and can improve the accuracy of the gaze direction detection to some extent, it is mainly a field of gaze direction detection for vehicles and requires more accuracy, for example, in the gaze direction. There is a problem that it is insufficient in the field of performing key typing by detection.
また、前記公報を精査すると、眼球の回転角、及び、顔の向きに基づいて、視線方向のうち横座標を検出することはできるものの、縦座標を検出する手段は開示されておらず、視線の縦座標も検出できないという課題を有する。 Further, when examining the above publication, it is possible to detect the abscissa in the sight line direction based on the rotation angle of the eyeball and the orientation of the face, but no means for detecting the ordinate is disclosed. There is a problem that even the ordinate of cannot be detected.
本発明は、前記課題を解決するためになされたものであり、視線方向検出の精度をより向上させると共に、視線の横座標だけでなく縦座標を把握し、視線対象物における視線方向先の座標を求める視線方向特定システムを提供することを目的とする。 The present invention has been made to solve the above-mentioned problems, and further improves the accuracy of gaze direction detection, grasps not only the abscissa of the gaze, but also the ordinate, and coordinates of the gaze direction ahead in the gaze object It aims at providing the gaze direction specific system which calculates | requires.
本発明に係る視線方向特定システムは、撮像装置と、当該撮像装置により撮像した画像内の両眼の目尻を検出する目尻検出手段と、同撮像した画像内の両口元（口角）を検出する口元検出手段と、同撮像した画像内の黒目中心を検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えるものである。このように本発明においては、撮像装置と、当該撮像装置により撮像した画像内の両眼の目尻を検出する目尻検出手段と、同撮像した画像内の両口元（口角）を検出する口元検出手段と、同撮像した画像内の黒目中心を検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えるので、使用者が撮像装置により顔を撮像することで視線方向を検出することができる。特に、顔の位置、顔の方向及び黒目方向から視線方向を特定するために、大まかな視線方向ではなく精度の高く視線方向を特定することができる。 An eye gaze direction specifying system according to the present invention includes an imaging device, an eye corner detection unit that detects the eye corners of both eyes in an image captured by the imaging device, and a mouth area that detects both mouths (mouth angles) in the captured image. A face position direction that specifies a position and direction of a face from a detection means, a black eye center detection means for detecting a black eye center in the captured image, an eye corner detected by the eye corner detection means, and a mouth detected by the mouth detection means; A black eye direction specifying means for specifying a black eye direction from the black eye center detected by the black eye center detecting means; a face position and direction specified by the face position direction specifying means; and the black eye specified by the black eye direction specifying means Gaze direction specifying means for specifying the gaze direction from the direction. As described above, in the present invention, the imaging device, the corner detection means for detecting the corners of both eyes in the image captured by the imaging device, and the mouth detection means for detecting both mouths (mouth angles) in the captured image. A black eye center detecting means for detecting the center of the black eye in the captured image, and a face position direction specifying means for specifying the position and direction of the face from the corner of the eye detected by the corner of the eye and the mouth of the eye detected by the corner of the eye A black eye direction specifying means for specifying the black eye direction from the black eye center detected by the black eye center detecting means, a face position and direction specified by the face position direction specifying means, and a black eye direction specified by the black eye direction specifying means. Since it includes gaze direction specifying means for specifying the gaze direction, the user can detect the gaze direction by imaging the face with the imaging device. In particular, in order to specify the gaze direction from the face position, the face direction, and the black eye direction, it is possible to specify the gaze direction with high accuracy instead of the rough gaze direction.
また、本発明に係る視線方向特定システムは必要に応じて、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置により撮像し、当該撮像した基準画像から前記目尻検出手段が目尻を検出し、基準画像から前記口元検出手段が口元を検出し、基準画像から前記黒目中心検出手段が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置が行い、当該撮像した視線検出するための画像から前記目尻検出手段が目尻を検出し、視線検出するための画像から前記口元検出手段が口元を検出し、視線検出するための画像から前記黒目中心検出手段が黒目中心を検出し、前記顔位置方向特定手段が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段が、前記顔の位置及び方向並びに黒目方向から視線方向を特定するものである。このように本発明においては、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置により撮像し、当該撮像した基準画像から前記目尻検出手段が目尻を検出し、基準画像から前記口元検出手段が口元を検出し、基準画像から前記黒目中心検出手段が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置が行い、当該撮像した視線検出するための画像から前記目尻検出手段が目尻を検出し、視線検出するための画像から前記口元検出手段が口元を検出し、視線検出するための画像から前記黒目中心検出手段が黒目中心を検出し、前記顔位置方向特定手段が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段が、前記顔の位置及び方向並びに黒目方向から視線方向を特定するので、最初に基準となる画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、次に基準視線方向を求める画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、両画像で検出された目尻及び口元から頭の位置及び回転を求め、黒目中心から黒目方向を求めており、すなわち、特徴点から精度高く頭の位置及び回転並びに黒目方向を取得し、これらの精度の高い頭の位置及び回転並びに黒目方向から正確な視線方向を特定することができる。 In addition, the gaze direction specifying system according to the present invention captures images with the imaging device in a state in which a user faces the front with respect to a reference surface that can be arbitrarily set, if necessary, and the eye corners are extracted from the captured reference image. An imaging device detects an eye corner, the mouth detecting unit detects a mouth from a reference image, the black eye center detecting unit detects a black eye center from a reference image, and detects an eye of the user. The eye corner detection means detects the corner of the eye from the captured image for detecting the eye gaze, the mouth detection means detects the mouth from the image for eye gaze detection, and the black eye center detection from the image for eye gaze detection The means detects the center of the black eye, and the face position direction specifying means determines the position and direction of the face from the corner of the eye and the mouth detected from the reference image and the corner of the eye and the mouth detected from the image for detecting the line of sight. The black eye direction specifying means specifies the black eye direction from the black eye center detected from the reference image and the black eye center detected from the image for detecting the line of sight, and the line of sight specifying means includes the position of the face. And the line-of-sight direction are specified from the direction and the black-eye direction. As described above, in the present invention, the imaging device captures an image with the user facing the front with respect to an arbitrarily settable reference plane, and the corner of the eye detection means detects the corner of the eye from the captured reference image. The mouth detecting means detects the mouth from the reference image, the black eye center detecting means detects the black eye center from the reference image, and the imaging device performs imaging for detecting the user's line of sight, and detects the captured line of sight. The eye corner detection means detects the corner of the eye from the image for detecting the eye corner, the mouth detection means detects the mouth from the image for eye gaze detection, the black eye center detection means detects the center of the black eye from the image for eye gaze detection, The face position / direction specifying means specifies the position and direction of the face from the corner of the eye and the mouth detected from the reference image and the corner of the eye and the mouth detected from the image for line-of-sight detection, and the black eye direction specifying hand Specifies a black eye direction from the center of the black eye detected from the reference image and the center of the black eye detected from the image for line-of-sight detection, and the line-of-sight direction specifying means includes the position and direction of the face and the line-of-sight direction from the black eye direction. First, an image serving as a reference is imaged, the eye corners, the mouth, and the black eyes are detected from the reference image, and then an image for obtaining a reference line-of-sight direction is imaged, and the eye corners, the mouth, and the black eyes are detected from the reference image. Detecting and obtaining the position and rotation of the head from the corner of the eye and the mouth detected in both images, obtaining the direction of the black eye from the center of the black eye, that is, obtaining the position and rotation of the head and the direction of the black eye with high accuracy from the feature points, The precise line-of-sight direction can be identified from the position and rotation of the head with high accuracy and the black eye direction.
また、本発明に係る視線方向特定システムは必要に応じて、使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置により撮像し、撮像した画像を基準画像として用いるものである。このように本発明においては、使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置により撮像し、撮像した画像を基準画像として用いるので、複数の基準画像から目尻検出、口元検出及び黒目中心検出を行うことができ精度が向上すると共に、黒目方向特定手段が異なる注視点の基準画像を比較することで容易に黒目方向の特定を行うことができる。 In addition, the gaze direction specifying system according to the present invention captures and captures images by the imaging device whenever the user gazes a plurality of designated gazing points in a state where the user faces the reference plane in front. An image is used as a reference image. In this way, in the present invention, each time a user gazes a plurality of designated gazing points in a state where the user faces the reference plane, the image is picked up by the imaging device, and the captured image is used as a reference image. Eye corner detection, mouth detection, and black eye center detection can be performed from multiple reference images, improving accuracy, and easily identifying the black eye direction by comparing the reference images of different gazing points with different black eye direction specifying means. Can do.
また、本発明に係る視線方向特定システムは必要に応じて、前記顔位置方向特定手段が顔の位置及び方向を特定する場合にアフィン変換を用いるものである。このように本発明においては、前記顔位置方向特定手段が顔の位置及び方向を特定する場合にアフィン変換を用いたので、Z軸まわりの回転であるロール、Y軸まわりの回転であるピッチ、新しいZ軸まわりの回転であるヨーの回転を正確に求めることができ、すなわち、頭の微小な動きによる回転であっても検出し、黒目方向と共に視線方向を特定するので、精度高く視線方向を特定することができる。 In addition, the gaze direction specifying system according to the present invention uses affine transformation when the face position / direction specifying unit specifies the position and direction of the face as necessary. As described above, in the present invention, since the face position direction specifying means uses the affine transformation when specifying the position and direction of the face, a roll that is a rotation around the Z axis, a pitch that is a rotation around the Y axis, The rotation of the yaw, which is the rotation around the new Z axis, can be accurately obtained, that is, even the rotation due to the minute movement of the head is detected, and the gaze direction is specified together with the black eye direction, so the gaze direction can be accurately determined. Can be identified.
本発明に係る視線方向特定システムは、前記黒目中心検出手段は、極座標変換を用いて黒目中心を検出するものである。このように本発明においては、前記黒目中心検出手段は、極座標変換を用いて黒目中心を検出するので、従来のまぶたのラインを検出し黒目をさらに検出し、検出した黒目の中心を求める方法と比して、迅速且つ正確に黒目中心をもとめることができる。 In the line-of-sight direction specifying system according to the present invention, the black eye center detecting means detects a black eye center using polar coordinate transformation. As described above, in the present invention, the black eye center detecting means detects the black eye center using polar coordinate transformation, so that the conventional eyelid line is detected, the black eye is further detected, and the detected black eye center is obtained. In comparison, the center of the black eye can be obtained quickly and accurately.
また、本発明に係る視線方向特定システムは必要に応じて、表示装置を備え、前記基準面が表示装置の表示面であるものである。このように本発明においては、前記基準面が表示装置の表示面であるので、使用者が表示面に表示したシンボル等を注視することで、基準となる目尻、口元及び黒目中心の位置をより正確に求めることができ、結果的に、精度高く視線方向を特定することができる。 The line-of-sight direction specifying system according to the present invention includes a display device as necessary, and the reference surface is a display surface of the display device. As described above, in the present invention, since the reference plane is the display plane of the display device, the positions of the corners of the corners of the eyes, the mouth, and the center of the black eye can be further increased by gazing the symbols displayed on the display plane by the user. As a result, the line-of-sight direction can be specified with high accuracy.
また、本発明に係る視線方向特定システムは必要に応じて、前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するものである。このように本発明においては、前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するので、使用者は表示面に表示されているキーボード上のキーを注視するだけでキー入力することができ、体に障害を有する方々でも1人で入力することができる。 In addition, the gaze direction specifying system according to the present invention displays a keyboard on the display device as necessary, detects a user's gaze direction on the displayed keyboard, and specifies a gaze direction destination key. . As described above, in the present invention, the keyboard is displayed on the display device, the direction of the user's line of sight to the displayed keyboard is detected, and the key of the line of sight direction is specified, so that the user is displayed on the display surface. Keys can be entered simply by gazing at the keys on the keyboard, and even people with physical disabilities can do it alone.
また、本発明に係る視線方向特定システムは必要に応じて、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるものである。このように本発明においては、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるので、継続的に使用者は自分が注視している部分と、システムが特定している注視部分とを比較することができる。 The line-of-sight direction specifying system according to the present invention detects the line-of-sight direction of the user as necessary, and displays a cursor at the intersection when the display surface of the display device and the line-of-sight direction intersect. As described above, in the present invention, the user's line-of-sight direction is detected, and when the line-of-sight direction intersects with the display surface of the display device, the cursor is displayed at the intersection, so that the user continuously watches the user. And the gaze portion identified by the system can be compared.
また、本発明に係る視線方向特定システムは必要に応じて、表示装置を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するものである。このように本発明においては、表示装置を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するので、間違った検出を前提として視線方向の特定を行うことを防止することができる。 In addition, the gaze direction identification system according to the present invention is provided with a display device as necessary, displays the reference image, and further displays a reference and a corner of the eye and mouth detected from the reference image, and a center of the black eye detected from the reference image. It is clearly shown in the image. As described above, in the present invention, since the display device is provided, the reference image is displayed, and further, the eye corner and the mouth detected from the reference image, and the center of the black eye detected from the reference image are clearly shown in the reference image. Therefore, it is possible to prevent the line-of-sight direction from being specified on the premise of detection.
また、本発明に係る視線方向特定システムは必要に応じて、前記基準画像が、可視波長の画像であるものである。このように本発明は、前記基準画像が、可視波長の画像であるので、前記撮像装置も一般的なCCDカメラを適用でき安価に構成できると共に、基準画像の情報量をおさえることができ、目尻検出手段、口元検出手段及び黒目中心検出手段が処理する情報量も少なくなるため処理の迅速化を実現することができる。従来方式においては、誤差が大きいため、他の処理要素として近赤外線画像を用いて眼球内部及び網膜の結像を使用して視線方向特定の精度を高めていた。しかしながら、本発明によれば、近赤外線画像を用いることなく、精度高い視線方向を特定することができる。 Further, in the line-of-sight direction specifying system according to the present invention, the reference image is an image having a visible wavelength as necessary. As described above, according to the present invention, since the reference image is an image having a visible wavelength, the imaging device can also be configured at a low cost by applying a general CCD camera, and can reduce the information amount of the reference image. Since the amount of information processed by the detecting means, the mouth detecting means and the black eye center detecting means is reduced, the processing can be speeded up. In the conventional method, since the error is large, the accuracy of the line-of-sight direction specification is improved by using the near-infrared image as another processing element and the imaging of the inside of the eyeball and the retina. However, according to the present invention, it is possible to specify a line-of-sight direction with high accuracy without using a near-infrared image.
（本発明の第１の実施形態）
本発明の第１の実施形態に係る視線方向特定システムについて、図１ないし図５に基づき説明する。図１は本実施形態に係る視線方向特定システムの構成ブロック図、図２は本実施形態に係る視線方向特定システムの前に使用者が対面した概観図、図３は本実施形態に係る視線方向特定システムのディスプレイに表示されたシンボル、図４は本実施形態に係る視線方向特定システムの動作フローチャート、図５は本実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。なお、図５のキーボードでは、各キーの数字、アルファベット等のラベルの印字は省略している（図６も同様である）。
(First embodiment of the present invention)
A line-of-sight direction specifying system according to a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a configuration block diagram of a gaze direction specifying system according to the present embodiment, FIG. 2 is an overview diagram facing the user before the gaze direction specifying system according to the present embodiment, and FIG. 3 is a gaze direction according to the present embodiment. Symbols displayed on the display of the specific system, FIG. 4 is an operation flowchart of the gaze direction specifying system according to the present embodiment, and FIG. 5 is a keyboard displayed on the display of the gaze direction specifying system according to the present embodiment. Note that the keyboard of FIG. 5 omits printing of labels such as numerals and alphabets for each key (the same applies to FIG. 6).
本実施形態に係る視線方向特定システムは、撮像装置１０と、この撮像装置１０により撮像した画像内の両眼の目尻を検出する目尻検出手段２１と、同撮像した画像内の両口元（口角）を検出する口元検出手段２２と、同撮像した画像内の黒目中心を検出する黒目中心検出手段２３と、前記目尻検出手段２１で検出した目尻及び前記口元検出手段２２で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段２４と、前記黒目中心検出手段２３で検出した黒目中心から黒目方向を特定する黒目方向特定手段２５と、前記顔位置方向特定手段２４で特定した顔の位置及び方向並びに前記黒目方向特定手段２５で特定した黒目方向から視線方向を特定する視線方向特定手段２６とを備え、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置１０により撮像し、この撮像した基準画像から前記目尻検出手段２１が目尻を検出し、基準画像から前記口元検出手段２２が口元を検出し、基準画像から前記黒目中心検出手段２３が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置１０が行い、この撮像した視線検出するための画像から前記目尻検出手段２１が目尻を検出し、視線検出するための画像から前記口元検出手段２２が口元を検出し、視線検出するための画像から前記黒目中心検出手段２３が黒目中心を検出し、前記顔位置方向特定手段２４が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段２５が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段２６が、前記顔の位置及び方向並びに黒目方向から視線方向を特定する構成である。また、使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置１０により撮像し、撮像した画像を基準画像として用いる構成である。また、前記顔位置方向特定手段２４が顔の位置及び方向を特定する場合にアフィン変換を用いた構成である。また、前記黒目中心検出手段２３は、極座標変換を用いて黒目中心を検出する構成である。また、表示装置となるディスプレイ３０を備え、前記基準面がディスプレイ３０の表示面である構成である。また、前記ディスプレイ３０にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定する構成である。 The line-of-sight direction identifying system according to the present embodiment includes an imaging device 10, an eye corner detection unit 21 that detects the eye corners of both eyes in an image captured by the imaging device 10, and both mouth corners (mouth angles) in the captured image. The mouth position detecting means 22 for detecting the eye, the black eye center detecting means 23 for detecting the center of the black eye in the captured image, the eye corner detected by the eye corner detecting means 21 and the position of the face from the mouth detected by the mouth detecting means 22 And a face position direction specifying means 24 for specifying the direction, a black eye direction specifying means 25 for specifying the black eye direction from the black eye center detected by the black eye center detecting means 23, and a face position specified by the face position direction specifying means 24. And a line-of-sight direction specifying means 26 for specifying the line-of-sight direction from the black-eye direction specified by the black-eye direction specifying means 25, and the user is in front of a reference plane that can be arbitrarily set. The image is picked up by the image pickup device 10 in a face-up state, the eye corner detection means 21 detects the eye corner from the captured reference image, the mouth detection means 22 detects the mouth from the reference image, and the black eye center detection from the reference image The means 23 detects the center of the black eye, and the imaging device 10 performs imaging for detecting the user's line of sight. The eye corner detection means 21 detects the eye corner from the image for detecting the captured line of sight, and detects the line of sight. The mouth detecting means 22 detects the mouth from the image for the purpose, the black eye center detecting means 23 detects the center of the black eye from the image for detecting the line of sight, and the face position direction specifying means 24 detects the eye corner detected from the reference image. The face position and direction are determined from the corners of the eyes and the corners of the eyes and the mouth detected from the image for detecting the line of sight, and the black eyes detected by the black eye direction specifying means 25 from the reference image And mind, and a pupil center detected from the image for detecting the line of sight, to identify the iris direction, the sight line direction specifying means 26 is configured to identify the line-of-sight direction from the position and direction, as well as pupils direction of the face. In addition, each time a plurality of designated gazing points are watched while the user faces the reference plane in front, the imaging device 10 picks up an image and uses the picked-up image as a reference image. Further, when the face position / direction specifying means 24 specifies the face position and direction, affine transformation is used. The black eye center detection means 23 is configured to detect the black eye center using polar coordinate transformation. Further, the display 30 is a display device, and the reference plane is a display plane of the display 30. In addition, the keyboard is displayed on the display 30, the direction of the user's line of sight to the displayed keyboard is detected, and the key of the line of sight direction is specified.
前記視線方向特定システムは、図２に示すように、ハードウェアの構成が撮像装置１０であるCCDカメラ１１と、目尻検出手段２１、口元検出手段２２、黒目中心検出手段２３、顔位置方向特定手段２４、黒目方向特定手段２５及び視線方向特定手段２６が実装されたコンピュータ４０と、ディスプレイ３０からなる。視線方向のみを検出する場合には、基準画像を取得することができれば、必ずしもディスプレイ３０は必要はない。ただし、本システムからの使用者への指示等を考えれば、ディスプレイ３０の存在価値が大きい。
前記指定する注視点としては、前記ディスプレイ３０の中心（図３のa）、ディスプレイ３０の四隅（図３のb、c、d、e）とする。ここで、注視点としては、ディスプレイ３０の他の部分であってもよい。
As shown in FIG. 2, the line-of-sight direction specifying system includes a CCD camera 11 whose hardware configuration is an imaging device 10, an eye corner detection means 21, a mouth detection means 22, a black eye center detection means 23, and a face position direction specification means. 24, the computer 40 on which the black eye direction specifying means 25 and the line-of-sight direction specifying means 26 are mounted, and the display 30. In the case of detecting only the line-of-sight direction, the display 30 is not necessarily required as long as the reference image can be acquired. However, considering the instruction from the system to the user, the presence value of the display 30 is great.
The designated gazing point is the center of the display 30 (a in FIG. 3) and the four corners (b, c, d, e in FIG. 3). Here, the other point of the display 30 may be used as the gazing point.
前記黒目中心検出手段２３は、黒目中心の座標検出を行うために、まず、取得画像の輪郭画像を得るべく、縦、横方向の差分を計算して画像化する。差分が１５未満の画素は無視し、差分の８倍を画素として用いて輪郭画像を得る。８倍したときに画素の範囲を超えた画素は補正する。さらに、目の付近でラスタ走査しながら、ある点Ａを中心にして周りの画素Ｂを極座標に変換する。ただし、極座標に変換するのはＡからＢの距離（半径）が黒目の半径に近いＢだけとする。黒目中心Ｃを中心として周りの画像を極座標に変換すると、黒目の輪郭である真円に近い形が直線となる。このことを利用して、同半径の点にある画素の和を計算し、画素の和がすべての画素の和の最大値となるなら、その中心の点Ｃを黒目の中心座標とする。 In order to detect the coordinates of the center of the black eye, the black eye center detecting means 23 first calculates a difference between the vertical and horizontal directions to obtain an outline image of the acquired image. Pixels with a difference of less than 15 are ignored and a contour image is obtained using 8 times the difference as a pixel. Pixels that exceed the pixel range when multiplied by 8 are corrected. Further, while raster scanning in the vicinity of the eyes, surrounding pixels B are converted into polar coordinates around a certain point A. However, only the distance B (radius) from A to B is close to the radius of the black eye to be converted into polar coordinates. When the surrounding image is converted into polar coordinates with the center of the black eye C as the center, a shape close to a perfect circle that is the outline of the black eye becomes a straight line. Using this fact, the sum of the pixels at the same radius point is calculated, and if the sum of the pixels becomes the maximum value of the sum of all the pixels, the center point C is set as the center coordinate of the black eye.
前記目尻検出手段２１は、前記同様に輪郭画像にし、目付近の緩やかな曲線を検出し、目尻の座標を求める。なお、目尻は、黒目中心検出の後に行うこともでき、黒目中心の座標が分かれば、容易にまぶたの曲線を検出することができる。また、目頭も同様に求めて目尻と同様に用いることもできる。
前記口元検出手段２２は、前記同様に輪郭画像にし、鼻付近の横方向の直線を検出し、口元の座標を求める。
The eye corner detection means 21 generates a contour image in the same manner as described above, detects a gentle curve near the eye, and obtains the coordinates of the eye corner. Eye corners can also be performed after detection of the center of the black eye, and if the coordinates of the center of the black eye are known, the eyelid curve can be easily detected. Further, the head of the eye can be obtained in the same manner and used in the same manner as the corner of the eye.
The mouth detecting means 22 makes a contour image in the same manner as described above, detects a horizontal straight line near the nose, and obtains coordinates of the mouth.
前記顔位置方向特定手段２４は、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、アフィン変換を用いて顔の位置及び方向を特定する。アフィン変換式は以下の通りとなる。なお、0x、0yは上下、左右の顔の移動、また、A、B、C、Dは拡大縮小（顔の前後の動き）、回転（ロール）、スキュー（ヨー、ピッチ）、アスペクト（縦横）比（ヨー、ピッチ）である。
前記黒目方向特定手段２５は、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定する。基準画像は、注視点が前記ディスプレイの中心、ディスプレイの四隅の５点であるため、５枚ある。５枚は、使用者が体位移動（体自体の移動、首の各種回転等を含む）をしていないため、目尻、口元の座標は変わっていないが、異なる注視点を注視しているため、黒目中心の位置が異なる。これらの基準画像から、どの位置に黒目があればどの方向を向いているかを特定することができる。 The black eye direction specifying means 25 specifies the black eye direction from the black eye center detected from the reference image and the black eye center detected from the image for detecting the line of sight. There are five reference images because the gazing point is the center of the display and the five corners of the display. As for 5 sheets, since the user does not move the body position (including movement of the body itself, various rotations of the neck, etc.), the coordinates of the corners of the eyes and the mouth have not changed, but because they are watching different gaze points, The center of the black eye is different. From these reference images, it is possible to specify which direction the black eye is located at which position.
前記視線方向特定手段２６は、前記顔の位置及び方向並びに黒目方向から視線方向を特定する。前記黒目方向特定手段２５により黒目方向は特定をすることはでき、使用者が体位移動しなければ、基準面のどの部分を注視しているかは、黒目中心の位置で容易に分かる。しかしながら、使用者は無意識のうちに微妙に体が動いており、この動きが誤差となって、視線方向を正確に特定することができなかった。そこで、この視線方向特定手段２６は、顔位置方向特定手段２４により求められた顔位置及び方向を、黒目方向に合成して視線方向を特定している。 The line-of-sight direction specifying unit 26 specifies the line-of-sight direction from the position and direction of the face and the black eye direction. The black eye direction can be specified by the black eye direction specifying means 25, and if the user does not move the body position, it can be easily known at the center of the black eye which part of the reference plane is being watched. However, the user is unconsciously moving his body slightly, and this movement becomes an error, and the gaze direction cannot be accurately specified. Therefore, the line-of-sight direction specifying unit 26 specifies the line-of-sight direction by combining the face position and direction obtained by the face position / direction specifying unit 24 with the black eye direction.
次に、本実施形態に係る視線方向特定システムの使用動作について図４に基づき説明する。まず、ディスプレイ３０表示制御を行う表示手段２７が、ディスプレイ３０の中央にシンボルaを表示する（ステップ１１）。表示手段２７は、かかるシンボルaを表示したまま、「ディスプレイに対して正面を向き、中央のシンボルを注視して下さい。」とのテキスト表示を行い、さらに、「今から５秒後に撮像を行います。」とのテキスト表示を行う（ステップ１２）。使用者は、基準面となるディスプレイ３０に対して正面を向く。CCDカメラ１１は、前記５秒後に撮像を行う（ステップ１３）。 Next, the use operation | movement of the gaze direction identification system which concerns on this embodiment is demonstrated based on FIG. First, the display means 27 that performs display 30 display control displays the symbol a at the center of the display 30 (step 11). The display means 27 displays the text “Please face the display and look at the center symbol” while displaying the symbol “a”, and “take an image 5 seconds from now” "Is displayed" (step 12). The user faces the front with respect to the display 30 serving as a reference plane. The CCD camera 11 takes an image after 5 seconds (step 13).
次に、目尻検出手段２１がシンボルaについての基準画像から目尻の座標を検出する（ステップ２１）。同基準画像から口元検出手段が口元の座標を検出する（ステップ２２）。前記黒目中心検出手段２３が、基準画像について黒目中心を検出する（ステップ２３）。 Next, the eye corner detection means 21 detects the coordinates of the eye corner from the reference image for the symbol a (step 21). The mouth detecting means detects the coordinates of the mouth from the reference image (step 22). The black eye center detecting means 23 detects the black eye center of the reference image (step 23).
次に、表示手段２７は、シンボルaの表示を止め、シンボルbのみの表示を行う。表示手段２７は、かかるシンボルbを表示したまま、「ディスプレイに対して正面を向き、シンボルを注視して下さい。」とのテキスト表示を行い、さらに、「今から５秒後に撮像を行います。」とのテキスト表示を行う。カメラは、前記５秒後に撮像を行う。他のシンボルc、シンボルd及びシンボルeについてもシンボルbと同様に、表示を行い、撮像を行う（ステップ３１）。これらの撮像による基準画像が５つ得られることとなる。前記黒目中心検出手段２３が、シンボルb、シンボルc、シンボルd及びシンボルeに係る画像について黒目中心を検出する（ステップ３２）。 Next, the display means 27 stops displaying the symbol a and displays only the symbol b. The display means 27 displays the text “Look forward at the display and look closely at the symbol” while displaying the symbol b, and “take an image 5 seconds from now. "Is displayed. The camera takes an image after 5 seconds. Other symbols c, d and e are displayed and imaged in the same manner as symbol b (step 31). Five reference images are obtained by these imaging operations. The black eye center detecting means 23 detects the black eye center of the images related to the symbols b, c, d and e (step 32).
前記表示手段２７は、シンボルeの表示を止め、キーボードを表示する。続けて、表示手段２７は、「表示しているキーボードの任意のキーを選択して注視して下さい。」とのテキスト表示を行う（ステップ４１）。さらに、「今から２秒後に撮像を行います。」とのテキスト表示を行う。カメラは、前記２秒後に撮像を行う（ステップ４２）。 The display means 27 stops displaying the symbol e and displays a keyboard. Subsequently, the display means 27 performs a text display “Select any key on the displayed keyboard and pay attention to it” (step 41). In addition, a text display “Image will be taken in 2 seconds from now” is displayed. The camera takes an image after 2 seconds (step 42).
次に、目尻検出手段２１がシンボルaについての基準画像から目尻の座標を検出する（ステップ５１）。同基準画像から口元検出手段２２が口元の座標を検出する（ステップ５２）。前記黒目中心検出手段１２が、基準画像について黒目中心を検出する（ステップ５３）。 Next, the eye corner detection means 21 detects the coordinates of the eye corner from the reference image for the symbol a (step 51). The mouth detection means 22 detects the mouth coordinates from the reference image (step 52). The black eye center detecting means 12 detects the black eye center of the reference image (step 53).
顔位置方向特定手段２４がアフィン変換により顔位置（相対位置）、顔方向（ロール、ピッチ、ヨー）を求める（ステップ６１）。黒目方向特定手段２５が、標準黒目中心座標と検出黒目中心座標とから黒目方向を求める（ステップ６２）。視線方向特定手段２６が、顔位置（相対位置）、顔方向（ロール、ピッチ、ヨー）及び、黒目方向の合成により視線方向を決定する（ステップ６３）。 The face position direction specifying means 24 obtains the face position (relative position) and face direction (roll, pitch, yaw) by affine transformation (step 61). The black eye direction specifying means 25 obtains the black eye direction from the standard black eye center coordinates and the detected black eye center coordinates (step 62). The line-of-sight direction specifying unit 26 determines the line-of-sight direction by combining the face position (relative position), the face direction (roll, pitch, yaw), and the black eye direction (step 63).
選択キー特定手段２８が、前記求めた視線方向のディスプレイ平面における交点を求め、かかる交点に対応するビットを決定し、かかる決定されたビットが表示しているキーを特定する（ステップ７１）。表示手段は、「このキーでいいですね？」「次に、キー入力に移行します」とのテキスト表示を行う（ステップ７２）。
ここで、確定、キー入力の終了、停止、一時停止等の操作は、手を振る、頭を振る等の身振り手振りでシステムに認識して行う。
The selection key specifying means 28 determines an intersection point on the display plane in the obtained line-of-sight direction, determines a bit corresponding to the intersection point, and specifies a key displayed by the determined bit (step 71). The display means displays texts such as “Is this key OK?” Or “Next, move to key input” (step 72).
Here, operations such as confirmation, end of key input, stop, and pause are recognized by the system by gestures such as shaking hands or shaking heads.
このように本実施形態に係る視線方向特定システムによれば、撮像装置１０と、この撮像装置１０により撮像した画像内の両眼の目尻を検出する目尻検出手段２１と、同撮像した画像内の両口元（口角）を検出する口元検出手段２２と、同撮像した画像内の黒目中心を検出する黒目中心検出手段２３と、前記目尻検出手段２１で検出した目尻及び前記口元検出手段２２で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段２４と、前記黒目中心検出手段２３で検出した黒目中心から黒目方向を特定する黒目方向特定手段２５と、前記顔位置方向特定手段２４で特定した顔の位置及び方向並びに前記黒目方向特定手段２５で特定した黒目方向から視線方向を特定する視線方向特定手段２６とを備えるので、使用者が撮像装置により顔を撮像することで視線方向を検出することができる。また、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置１０により撮像し、この撮像した基準画像から前記目尻検出手段２１が目尻を検出し、基準画像から前記口元検出手段２２が口元を検出し、基準画像から前記黒目中心検出手段２３が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置１０が行い、この撮像した視線検出するための画像から前記目尻検出手段２１が目尻を検出し、視線検出するための画像から前記口元検出手段２２が口元を検出し、視線検出するための画像から前記黒目中心検出手段２３が黒目中心を検出し、前記顔位置方向特定手段２４が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段２５が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段２６が、前記顔の位置及び方向並びに黒目方向から視線方向を特定するので、最初に基準となる画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、次に基準視線方向を求める画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、両画像で検出された目尻及び口元から頭の位置及び回転を求め、黒目中心から黒目方向を求めており、すなわち、特徴点から精度高く頭の位置及び回転並びに黒目方向を取得し、これらの精度の高い頭の位置及び回転並びに黒目方向から正確な視線方向を特定することができる。また、前記顔位置方向特定手段２４が顔の位置及び方向を特定する場合にアフィン変換を用いたので、Z軸まわりの回転であるロール、Y軸まわりの回転であるピッチ、新しいZ軸まわりの回転であるヨーの回転を正確に求めることができ、すなわち、頭の微小な動きによる回転であっても検出し、黒目方向と共に視線方向を特定するので、精度高く視線方向を特定することができる。また、前記黒目中心検出手段２３は、極座標変換を用いて黒目中心を検出するので、従来のまぶたのラインを検出し黒目をさらに検出し検出した黒目の中心を求める方法と比して、迅速且つ正確に黒目中心をもとめることができる。また、このように本発明においては、前記基準面が表示装置の表示面であるので、使用者が表示面に表示したシンボル等を注視することで、基準となる目尻、口元及び黒目中心の位置をより正確に求めることができ、結果的に、精度高く視線方向を特定することができる。また、前記ディスプレイ３０にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するので、使用者は表示面に表示されているキーボード上のキーを注視するだけでキー入力することができ、体に障害を有する方々でも1人で入力することができる。 As described above, according to the line-of-sight direction specifying system according to the present embodiment, the imaging device 10, the outer corner detection unit 21 that detects the outer corners of both eyes in the image captured by the imaging device 10, and the captured image Mouth detection means 22 for detecting both mouth edges (mouth corners), black eye center detection means 23 for detecting the center of the black eye in the captured image, eye corners detected by the eye corner detection means 21 and the mouth edge detection means 22 A face position direction specifying means 24 for specifying the face position and direction from the mouth; a black eye direction specifying means 25 for specifying the black eye direction from the black eye center detected by the black eye center detecting means 23; and the face position direction specifying means 24. Since the apparatus includes the gaze direction specifying unit 26 that specifies the gaze direction from the specified face position and direction and the black eye direction specified by the black eye direction specifying unit 25, the user uses the imaging device. It is possible to detect the gaze direction by imaging the face. In addition, the imaging device 10 captures an image with the user facing the front with respect to an arbitrarily set reference plane, and the corner of the eye detection means 21 detects the corner of the eye from the captured reference image. The mouth detecting unit 22 detects the mouth, the black eye center detecting unit 23 detects the center of the black eye from the reference image, and the imaging device 10 performs imaging to detect the user's line of sight, and this captured line of sight is detected. The eye corner detection means 21 detects the eye corner from the image of the eye, the mouth detection means 22 detects the mouth from the image for detecting the line of sight, and the black eye center detection means 23 detects the center of the black eye from the image for the line of sight detection. The face position direction specifying means 24 specifies the position and direction of the face from the corner of the eye and the mouth detected from the reference image and the corner of the eye and the mouth detected from the image for detecting the line of sight, The eye direction specifying unit 25 specifies the black eye direction from the black eye center detected from the reference image and the black eye center detected from the image for detecting the line of sight, and the line of sight specifying unit 26 determines the position and direction of the face. In addition, since the line-of-sight direction is specified from the black-eye direction, first, an image serving as a reference is imaged, the eye corners, the mouth, and the black eye are detected from the reference image, and then an image for obtaining the reference line-of-sight direction is imaged and the image obtained from the reference image Detects the corners of the eyes, the mouth, and the black eyes, finds the position and rotation of the head from the corners of the eyes and the mouth detected in both images, and obtains the direction of the black eye from the center of the black eye, that is, the position and rotation of the head with high accuracy from the feature points It is possible to acquire the black eye direction and specify the accurate line-of-sight direction from the position and rotation of the head with high accuracy and the black eye direction. Further, since the face position direction specifying means 24 uses the affine transformation when specifying the position and direction of the face, the roll that is rotation around the Z axis, the pitch that is rotation around the Y axis, the new rotation around the Z axis The rotation of the yaw, which is the rotation, can be accurately obtained, that is, even the rotation caused by a slight movement of the head is detected and the gaze direction is specified together with the black eye direction, so the gaze direction can be specified with high accuracy. . Further, since the black eye center detecting means 23 detects the black eye center using polar coordinate transformation, the black eye center detecting means 23 detects the eyelid line, detects the black eye further, and detects the detected black eye center more quickly. The center of the black eye can be determined accurately. In this way, in the present invention, since the reference plane is the display plane of the display device, the user can watch the symbols displayed on the display plane, so that the positions of the corners of the corners of the eyes, the mouth, and the black eyes that are the reference Can be obtained more accurately, and as a result, the line-of-sight direction can be specified with high accuracy. In addition, since the keyboard is displayed on the display 30, the user's line-of-sight direction on the displayed keyboard is detected, and the key of the line-of-sight direction is specified, the user can press the key on the keyboard displayed on the display surface. Keys can be input simply by gazing, and even people with disabilities can input alone.
なお、本実施形態に係る視線方向特定システムの黒目中心検出手段２３は以上のような動作を行うが、かかる動作によってうまくいかない画像があり、これを原因究明すると前記画像には多くの睫毛が撮像されていることが分かった。このような睫毛の影響を抑え、黒目中心検出の精度を向上させるために、次のことを行う。第１に目の付近の画像に上下左右４[dot]単位で平滑化を行う。この平滑化により、ノイズの影響を抑えることができる。第２に、画像の輪郭画像を得るために、縦、横方向の差分を計算して画像化し、差分が１５未満の画素は無視し、横方向の差分の８倍、縦方向の差分の４倍を足したものを画素として用いて輪郭画像を得、画素の範囲を超えた画素は補正するようにした。これにより、瞼と目との輪郭と睫毛の輪郭が中心検出に与える影響を抑えることができる。第３に、目の付近でラスタ走査しながら、前記と同様に以下のことを行う。すなわち、目の付近でラスタ走査しながら、ある点Ａを中心にして周りの画素Ｂを極座標に変換する。ただし、極座標に変換するのはＡからＢの距離（半径）が黒目の半径に近いＢだけとする。黒目中心Ｃを中心として周りの画像を極座標に変換すると、黒目の輪郭である真円に近い形が直線となる。このことを利用して、同半径の点にある画素の和を計算し、画素の和がすべての画素の和の最大値となるなら、その中心の点Ｃを黒目の中心座標とする。 The black eye center detection means 23 of the line-of-sight direction identification system according to the present embodiment performs the above-described operation. However, there is an image that does not work due to the operation, and when the cause is investigated, a lot of eyelashes are captured in the image. I found out. In order to suppress the influence of such eyelashes and improve the accuracy of black eye center detection, the following is performed. First, smoothing is performed on the image in the vicinity of the eyes in units of 4 [dots]. By this smoothing, the influence of noise can be suppressed. Secondly, in order to obtain the contour image of the image, the difference between the vertical and horizontal directions is calculated and converted into an image. Pixels having a difference of less than 15 are ignored, 8 times the horizontal difference, and 4 in the vertical difference. A contour image is obtained by using the added pixel as a pixel, and pixels exceeding the pixel range are corrected. Thereby, the influence which the outline of the eyelid and the eye and the outline of the eyelash have on the center detection can be suppressed. Third, the following is performed in the same manner as described above while performing raster scanning near the eyes. That is, the surrounding pixel B is converted into polar coordinates around a certain point A while performing raster scanning near the eyes. However, only the distance B (radius) from A to B is close to the radius of the black eye to be converted into polar coordinates. When the surrounding image is converted into polar coordinates with the center of the black eye C as the center, a shape close to a perfect circle that is the outline of the black eye becomes a straight line. Using this fact, the sum of the pixels at the same radius point is calculated, and if the sum of the pixels becomes the maximum value of the sum of all the pixels, the center point C is set as the center coordinate of the black eye.
また、本実施形態に係る視線方向特定システムの黒目中心検出手段２３は差分するときの閾値を１５画素と決めていたが、これを眼の付近のコントラスト平均値の１５分の１にすることもでき、コントラスト変化により耐え得ることができる。 In addition, the black-eye center detecting unit 23 of the line-of-sight direction specifying system according to the present embodiment has determined that the threshold value for the difference is 15 pixels, but this may be set to 1/15 of the average contrast value near the eye. Can withstand changes in contrast.
また、本実施形態に係る視線方向特定システムにおいては、各ステップにおいて目尻、口元、黒目中心、黒目方向、顔位置、顔方向及び視線方向を検出することができなかったことについて説明していないが、一般的な例外処理と同様に、エラー表示を行って終了処理を行うこともできる。また、エラー表示を行った場合に、通常の使用者であればエラーの意味が理解できない場合もあるため、例えば、エラーとなった画像を表示するようにすることもできる。
また、本実施形態に係る視線方向特定システムにおいては、目尻と口元を対象としているが、容易に検出できる特徴点であれば顔の他の部位であってもよい。
Further, although the line-of-sight specifying system according to the present embodiment does not describe that the corner of the eye, the mouth, the center of the black eye, the black-eye direction, the face position, the face direction, and the line-of-sight direction could not be detected in each step. Similarly to general exception processing, it is also possible to display an error and perform termination processing. Further, when an error is displayed, an ordinary user may not understand the meaning of the error. For example, an error image can be displayed.
Further, in the line-of-sight direction identifying system according to the present embodiment, the eye corners and the mouth are targeted, but other parts of the face may be used as long as they can be easily detected.
（本発明の第２の実施形態）
本発明の第２の実施形態に係る視線方向特定システムについて、図６に基づき説明する。図６は本実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。
本実施形態に係る視線方向特定システムは、前記第１の実施形態に係る視線方向特定システムと同様に構成され、使用者の視線方向を検出し、前記ディスプレイの表示面と視線方向が交わる場合に、交点部分にカーソルを表示させることを異にする構成である。
(Second embodiment of the present invention)
A line-of-sight direction specifying system according to a second embodiment of the present invention will be described with reference to FIG. FIG. 6 shows a keyboard displayed on the display of the line-of-sight direction identifying system according to the present embodiment.
The line-of-sight direction specifying system according to the present embodiment is configured in the same manner as the line-of-sight direction specifying system according to the first embodiment. When the line-of-sight direction of the display intersects with the display surface of the display, the line-of-sight direction of the user is detected. In this configuration, the cursor is displayed at the intersection.
本実施形態に係る視線方向特定システムは、前記第１の実施形態に係る視線方向特定システムの動作と略同じであるが、前記ステップ７１でシステムが特定したキーをステップ７２で注視したものと同一であるかを使用者に問うことなく、図６に示すように、特定したキーのみブラシングし、さらに、カーソルで指す。また、ステップ４２でカメラが所定時間後に撮像をしているが、所定間隔毎に撮像し、ステップ５１ないしステップ７１の処理を行いキーを特定することで、より迅速にキー入力を行うことができる。また、特定したキーが前記ブラシングし、そのまま注視することで確定となって次のキー入力に移行することもできる。すなわち、ブラシングした状態で注視を止めることで確定を停止し、次のキー入力に移行することができる。確定を停止する状態としては、システム側がキーの特定を誤った場合もあるが、使用者側の入力ミスを考えることができる。この実施形態では、CCDカメラ１１が所定間隔毎に撮像していることで、使用者が慣れれば、所定間隔を短くし、高速のキー入力を実現することができる。特に、人間の視点移動はトレーニングにより著しく向上することが知られている。 The line-of-sight direction specifying system according to the present embodiment is substantially the same as the operation of the line-of-sight direction specifying system according to the first embodiment, but is the same as that in which the key specified by the system in step 71 is watched in step 72. As shown in FIG. 6, only the specified key is brushed and further pointed by the cursor without asking the user whether or not it is. Further, although the camera is capturing images after a predetermined time in step 42, it is possible to perform key input more quickly by capturing images at predetermined intervals, performing the processing of steps 51 to 71 and specifying the keys. . Further, the specified key is brushed and can be confirmed by gazing as it is, so that the next key input can be performed. That is, by stopping gaze in the brushed state, the confirmation can be stopped and the next key input can be performed. As a state where the confirmation is stopped, the system side may mistakenly specify the key, but an input error on the user side can be considered. In this embodiment, since the CCD camera 11 captures images at predetermined intervals, if the user gets used, the predetermined intervals can be shortened and high-speed key input can be realized. In particular, it is known that human viewpoint movement is significantly improved by training.
このように本実施形態に係る視線方向特定システムによれば、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるので、継続的に使用者は自分が注視している部分と、システムが特定している注視部分とを比較することができる。
なお、本実施形態に係る視線方向特定システムにおいては、前記カーソルをそのままGUIのカーソル操作に用いることもできる。
As described above, according to the line-of-sight direction specifying system according to the present embodiment, when the line-of-sight direction of the user is detected and the display surface of the display device intersects with the line-of-sight direction, the cursor is displayed at the intersection portion. In addition, the user can compare the portion of the user's gaze with the portion of the gaze identified by the system.
In the line-of-sight direction identifying system according to the present embodiment, the cursor can be used as it is for a GUI cursor operation.
（本発明の第３の実施形態）
本発明の第３の実施形態に係る視線方向特定システムについて、図７に基づき説明する。図７は本実施形態に係る視線方向特定システムのディスプレイに表示された輪郭画像である。
本実施形態に係る視線方向特定システムは、前記第１の実施形態に係る視線方向特定システムと同様に構成され、ディスプレイ３０に前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示することを異にする構成である。具体的には、図に示すように検出した目尻、口元及び黒目中心を明示する。
(Third embodiment of the present invention)
A gaze direction specifying system according to a third embodiment of the present invention will be described with reference to FIG. FIG. 7 is a contour image displayed on the display of the line-of-sight direction identifying system according to the present embodiment.
The line-of-sight direction specifying system according to the present embodiment is configured in the same manner as the line-of-sight direction specifying system according to the first embodiment, displays the reference image on the display 30, and further detects the corner of the eye and the mouth detected from the reference image, In this configuration, the center of the black eye detected from the reference image is clearly indicated in the displayed reference image. Specifically, as shown in the figure, the detected corner of the eye, the mouth and the center of the black eye are clearly shown.
本実施形態に係る視線方向特定システムは、前記第１の実施形態に係る視線方向特定システムの動作と略同じであり、ステップ２３の後に、前記図に示すように検出した目尻、口元及び黒目中心を明示するフローである。 The line-of-sight direction specifying system according to the present embodiment is substantially the same as the operation of the line-of-sight direction specifying system according to the first embodiment, and after step 23, the detected eye corners, mouth corners, and black eye centers are detected as shown in the figure. It is a flow that clearly states.
このように本実施形態に係る視線方向特定システムによれば、ディスプレイ３０を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するので、間違った検出を前提として視線方向の特定を行うことを防止することができる。 As described above, according to the line-of-sight direction specifying system according to the present embodiment, the display 30 includes the reference image, and further displays the reference image, and further displays the corner of the eye and the mouth detected from the reference image, and the center of the black eye detected from the reference image. Since it is clearly shown in the image, it is possible to prevent the line-of-sight direction from being specified on the assumption of erroneous detection.
（本発明のその他の実施形態）
前記各実施形態に係る視線方向特定システムにおいては、黒目方向特定手段２５がより具体的には、シンボルaについての基準画像のときの眼が図８（ａ）のように目頭、黒目中心、目尻の３点で構成される三角形の各辺、角度が形成され、シンボルdについて画像のときの眼が図８（ｂ）のように目頭、黒目中心、目尻の３点で構成される三角形の各辺、角度が形成され、他のシンボルのときも形成される三角形が異なり、この三角形の各辺、角度（一部であってもよい）の比率により黒目方向を特定することができる。また、一方の目の目尻及び黒目中心と、他方の目の目頭とでできる三角形であってもよい。
(Other embodiments of the present invention)
In the line-of-sight direction specifying system according to each of the above embodiments, more specifically, the eye when the black-eye direction specifying unit 25 is the reference image for the symbol a is as shown in FIG. 8A. Each side and angle of a triangle composed of three points is formed, and each of the triangles composed of three points of the eye, the center of the black eye, and the corner of the eye as shown in FIG. Sides and angles are formed, and the triangles formed for other symbols are also different, and the black eye direction can be specified by the ratio of each side and angle (may be a part) of the triangles. Further, it may be a triangle formed by the corner of one eye and the center of the black eye, and the top of the other eye.
前記各実施形態に係る視線方向特定システムにおいては、システムの動作は前記ステップ１１ないしステップ７２までのステップがなされるが、ステップ１１ないしステップ３２のステップ（すなわち、基準画像の取得、目尻、口元及び黒目中心の検出。）はそれぞれの使用者が初回に１回のみ行い、かかる初回の処理で得られる情報を保存し、再び同じ使用者が使用する場合には保存した情報を読み出すようにすることもでき、２回目以降の使用は使用者がステップ１１ないしステップ３２までのステップを省略することができ、実際のキー入力をすぐに行うことができる。さらに、顔認識システムを本システムとあわせて用いることにより、顔認識システムにより使用者を特定し、本システムで特定された使用者の情報を読出し、ステップ３２以降のステップに移行することで、より利便性の高いシステムを構築することができる。ここで、顔認識システムを挙げたのは、本システムでCCDカメラ１１を用いてるからであり、機器の追加がないからである。よって、顔認識システムに限らず、指紋認証システム等の他の個人特定システムを適用してもよいが、できればCCDカメラ１１を用いて撮像装置を流用することが望ましい。 In the line-of-sight direction identifying system according to each of the embodiments described above, the operation of the system is performed through steps 11 to 72, but the steps 11 to 32 (that is, acquisition of the reference image, the corner of the eye, the mouth, The detection of the center of the black eye is performed only once by each user for the first time, and the information obtained by the initial processing is stored, and when the same user uses it again, the stored information is read out. In the second and subsequent uses, the user can omit steps 11 to 32, and the actual key input can be performed immediately. Further, by using the face recognition system in combination with the present system, the user is identified by the face recognition system, the user information identified by the present system is read, and the process proceeds to the steps after step 32. A highly convenient system can be constructed. Here, the face recognition system is cited because the CCD camera 11 is used in this system, and no device is added. Therefore, not only the face recognition system but also other personal identification systems such as a fingerprint authentication system may be applied. However, it is desirable to use the CCD camera 11 to divert the imaging device if possible.
また、図９に前記各実施形態に関する各種実験結果の図を示す。図９（ａ）は目周辺の輪郭画像を曲座標にしたものであり、図９（ｂ）は黒目中心を求めて実際の撮像画像に重畳させて表示したものであり、図９（ｃ）は黒目中心を求める過程で導出される画素値である。 FIG. 9 shows a diagram of various experimental results related to each of the embodiments. FIG. 9A shows the contour image around the eye as the melody coordinates, and FIG. 9B shows the center of the black eye obtained by superimposing it on the actual captured image, and FIG. Is a pixel value derived in the process of obtaining the center of the black eye.
１０ 撮像装置
１１ CCDカメラ
２１ 目尻検出手段
２２ 口元検出手段
２３ 黒目中心検出手段
２４ 顔位置方向特定手段
２５ 黒目方向特定手段
２６ 視線方向特定手段
２７ 表示手段
２８ 選択キー特定手段
３０ ディスプレイ
４０ コンピュータ
DESCRIPTION OF SYMBOLS 10 Image pick-up device 11 CCD camera 21 Eyes corner detection means 22 Mouth detection means 23 Black eye center detection means 24 Face position direction specification means 25 Black eye direction specification means 26 Gaze direction specification means 27 Display means 28 Selection key specification means 30 Display 40 Computer
Claims (10)
特徴とする視線方向特定システム。 An imaging device, an eye corner detection unit that detects the corners of both eyes in an image captured by the imaging device, a mouth detection unit that detects both mouths (mouth corners) in the captured image, and an image in the captured image A black eye center detecting means for detecting the center of black eyes, a face position direction specifying means for specifying the position and direction of the face from the eye corner detected by the eye corner detecting means and the mouth detected by the mouth detecting means, and the black eye center detecting means. Black eye direction specifying means for specifying a black eye direction from the detected black eye center, and a gaze direction specification for specifying a gaze direction from the face position and direction specified by the face position direction specifying means and the black eye direction specified by the black eye direction specifying means. And a gaze direction identification system.
任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置により撮像し、当該撮像した基準画像から前記目尻検出手段が目尻を検出し、基準画像から前記口元検出手段が口元を検出し、基準画像から前記黒目中心検出手段が黒目中心を検出し、
使用者の視線を検出するための撮像を撮像装置が行い、当該撮像した視線検出するための画像から前記目尻検出手段が目尻を検出し、視線検出するための画像から前記口元検出手段が口元を検出し、視線検出するための画像から前記黒目中心検出手段が黒目中心を検出し、
前記顔位置方向特定手段が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、
前記黒目方向特定手段が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、
前記視線方向特定手段が、前記顔の位置及び方向並びに黒目方向から視線方向を特定することを
特徴とする視線方向特定システム。 In the gaze direction identification system according to claim 1,
An image is picked up by the imaging device with the user facing the front with respect to an arbitrarily settable reference surface, the eye corner detection means detects the eye corner from the captured reference image, and the mouth detection means from the reference image Detecting the mouth, the black eye center detection means detects the black eye center from the reference image,
The imaging device performs imaging for detecting the user's line of sight, the eye corner detection means detects the eye corner from the image for detecting the captured line of sight, and the mouth detection means detects the mouth from the image for line of sight detection. The black eye center detecting means detects the black eye center from the image for detecting and detecting the line of sight,
The face position direction specifying means specifies the position and direction of the face from the corner of the eye and the mouth detected from the reference image and the corner of the eye and the mouth detected from the image for line-of-sight detection,
The black eye direction specifying means specifies the black eye direction from the black eye center detected from the reference image and the black eye center detected from the image for line-of-sight detection,
The line-of-sight direction identifying system characterized in that the line-of-sight direction identifying means identifies the line-of-sight direction from the position and direction of the face and the black eye direction.
使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置により撮像し、撮像した画像を基準画像として用いることを
特徴とする視線方向特定システム。 In the gaze direction identifying system according to claim 2,
An eye-gaze direction specifying system, wherein a user takes an image with the imaging device each time a plurality of designated gazing points are gazeed in a state in which the user faces the reference surface, and uses the captured image as a reference image.
前記顔位置方向特定手段が顔の位置及び方向を特定する場合にアフィン変換を用いたことを
特徴とする視線方向特定システム。 In the gaze direction identification system according to any one of claims 1 to 3,
An eye-gaze direction identification system using affine transformation when the face position / direction identification unit identifies the position and direction of a face.
前記黒目中心検出手段は、極座標変換を用いて黒目中心を検出することを
特徴とする視線方向特定システム。 In the gaze direction identification system according to any one of claims 1 to 4,
The eye-gaze direction identifying system, wherein the black-eye center detecting means detects a black-eye center using polar coordinate transformation.
表示装置を備え、
前記基準面が表示装置の表示面であることを
特徴とする視線方向特定システム。 In the gaze direction identifying system according to any one of claims 1 to 5,
A display device,
The line-of-sight direction identifying system, wherein the reference plane is a display plane of a display device.
前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定することを
特徴とする視線方向特定システム。 In the gaze direction identifying system according to claim 6,
A gaze direction identification system characterized by displaying a keyboard on the display device, detecting a gaze direction of a user on the displayed keyboard, and identifying a key ahead of the gaze direction.
使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させることを
特徴とする視線方向特定システム。 In the gaze direction identifying system according to claim 6,
A gaze direction specifying system, wherein a gaze direction of a user is detected, and a cursor is displayed at an intersection when the gaze direction intersects with the display surface of the display device.
表示装置を備え、
前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示することを
特徴とする視線方向特定システム。 In the gaze direction identifying system according to claim 2,
A display device,
The eye gaze direction specifying system characterized in that the reference image is displayed, and further, the eye corner and the mouth detected from the reference image and the center of the black eye detected from the reference image are clearly shown in the displayed reference image.
前記基準画像が、可視波長の画像であることを
特徴とする視線方向特定システム。
In the gaze direction identifying system according to claim 2,
The line-of-sight direction identifying system, wherein the reference image is an image having a visible wavelength.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004338939A JP4654434B2 (en) | 2004-11-24 | 2004-11-24 | Gaze direction identification system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004338939A JP4654434B2 (en) | 2004-11-24 | 2004-11-24 | Gaze direction identification system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006141862A true JP2006141862A (en) | 2006-06-08 |
| JP4654434B2 JP4654434B2 (en) | 2011-03-23 |
Family
ID=36622185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004338939A Active JP4654434B2 (en) | 2004-11-24 | 2004-11-24 | Gaze direction identification system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4654434B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102009001921A1 (en) | 2008-04-28 | 2009-11-19 | Omron Corporation | Apparatus and method for determining a line of sight |
| US7862172B2 (en) | 2007-10-25 | 2011-01-04 | Hitachi, Ltd. | Gaze direction measuring method and gaze direction measuring device |
| KR101458295B1 (en) * | 2013-02-14 | 2014-11-04 | 인하대학교 산학협력단 | Keyboard input system and the method using eye tracking |
| JP2016057906A (en) * | 2014-09-10 | 2016-04-21 | 国立研究開発法人産業技術総合研究所 | Measurement method and system of viewpoint position |
| JP2018519601A (en) * | 2015-03-10 | 2018-07-19 | アイフリー アシスティング コミュニケ−ション リミテッドＥｙｅＦｒｅｅ Ａｓｓｉｓｔｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｔｄ． | System and method enabling communication by eye feedback |
| US11612342B2 (en) | 2017-12-07 | 2023-03-28 | Eyefree Assisting Communication Ltd. | Eye-tracking communication methods and systems |
| JP7503308B2 (en) | 2020-12-15 | 2024-06-20 | 株式会社Fact4 | CONTENT PROPOSAL DEVICE, EMOTION MEASUREMENT TERMINAL, CONTENT PROPOSAL SYSTEM, AND PROGRAM |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02138673A (en) * | 1988-07-14 | 1990-05-28 | A T R Tsushin Syst Kenkyusho:Kk | Image pickup device |
| JPH0546309A (en) * | 1991-08-19 | 1993-02-26 | Fuji Xerox Co Ltd | Sight line recognizing device |
| JPH05298015A (en) * | 1992-04-23 | 1993-11-12 | Matsushita Electric Ind Co Ltd | Glance detecting system and information processing system |
| JPH06105808A (en) * | 1992-09-29 | 1994-04-19 | A T R Shichokaku Kiko Kenkyusho:Kk | Depth perception analyzer |
| JP2003015816A (en) * | 2001-06-29 | 2003-01-17 | Honda Motor Co Ltd | Face/visual line recognizing device using stereo camera |
| JP2003079577A (en) * | 2001-09-12 | 2003-03-18 | Nippon Telegr & Teleph Corp <Ntt> | Visual axis measuring apparatus and method, visual axis measuring program, and recording medium recording the same |
| JP2003196017A (en) * | 2001-12-25 | 2003-07-11 | Gen Tec:Kk | Data input method and device |
-
2004
- 2004-11-24 JP JP2004338939A patent/JP4654434B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02138673A (en) * | 1988-07-14 | 1990-05-28 | A T R Tsushin Syst Kenkyusho:Kk | Image pickup device |
| JPH0546309A (en) * | 1991-08-19 | 1993-02-26 | Fuji Xerox Co Ltd | Sight line recognizing device |
| JPH05298015A (en) * | 1992-04-23 | 1993-11-12 | Matsushita Electric Ind Co Ltd | Glance detecting system and information processing system |
| JPH06105808A (en) * | 1992-09-29 | 1994-04-19 | A T R Shichokaku Kiko Kenkyusho:Kk | Depth perception analyzer |
| JP2003015816A (en) * | 2001-06-29 | 2003-01-17 | Honda Motor Co Ltd | Face/visual line recognizing device using stereo camera |
| JP2003079577A (en) * | 2001-09-12 | 2003-03-18 | Nippon Telegr & Teleph Corp <Ntt> | Visual axis measuring apparatus and method, visual axis measuring program, and recording medium recording the same |
| JP2003196017A (en) * | 2001-12-25 | 2003-07-11 | Gen Tec:Kk | Data input method and device |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7862172B2 (en) | 2007-10-25 | 2011-01-04 | Hitachi, Ltd. | Gaze direction measuring method and gaze direction measuring device |
| DE102009001921A1 (en) | 2008-04-28 | 2009-11-19 | Omron Corporation | Apparatus and method for determining a line of sight |
| US8285004B2 (en) | 2008-04-28 | 2012-10-09 | Omron Corporation | Line of sight detecting device and method |
| KR101458295B1 (en) * | 2013-02-14 | 2014-11-04 | 인하대학교 산학협력단 | Keyboard input system and the method using eye tracking |
| JP2016057906A (en) * | 2014-09-10 | 2016-04-21 | 国立研究開発法人産業技術総合研究所 | Measurement method and system of viewpoint position |
| JP2018519601A (en) * | 2015-03-10 | 2018-07-19 | アイフリー アシスティング コミュニケ−ション リミテッドＥｙｅＦｒｅｅ Ａｓｓｉｓｔｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｔｄ． | System and method enabling communication by eye feedback |
| JP7016263B2 (en) | 2015-03-10 | 2022-02-04 | アイフリー アシスティング コミュニケ－ション リミテッド | Systems and methods that enable communication through eye feedback |
| US11883101B2 (en) | 2015-03-10 | 2024-01-30 | Eyefree Assisting Communication Ltd. | System and method for enabling communication through eye feedback |
| US11612342B2 (en) | 2017-12-07 | 2023-03-28 | Eyefree Assisting Communication Ltd. | Eye-tracking communication methods and systems |
| JP7503308B2 (en) | 2020-12-15 | 2024-06-20 | 株式会社Fact4 | CONTENT PROPOSAL DEVICE, EMOTION MEASUREMENT TERMINAL, CONTENT PROPOSAL SYSTEM, AND PROGRAM |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4654434B2 (en) | 2011-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9921663B2 (en) | Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium | |
| US8135173B2 (en) | Eye-tracking method and eye-tracking system for implementing the same | |
| JP2019075162A (en) | Image processing apparatus | |
| US20160004303A1 (en) | Eye gaze tracking system and method | |
| EP3608755A1 (en) | Electronic apparatus operated by head movement and operation method thereof | |
| JP2005100366A (en) | Visual line input communication method using eyeball motion | |
| JPH113429A (en) | Observer tracking automatic stereoscopic display device, image tracking system, and image tracking method | |
| WO2020054760A1 (en) | Image display control device and program for controlling image display | |
| TW200947262A (en) | Non-contact type cursor control method using human eye, pupil tracking system and storage media | |
| WO2010142455A2 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
| JP5103682B2 (en) | Interactive signage system | |
| JP2007163864A (en) | Display control apparatus, display control method, display control program, and display control program recording medium | |
| JP4654434B2 (en) | Gaze direction identification system | |
| Al-Rahayfeh et al. | Enhanced frame rate for real-time eye tracking using circular hough transform | |
| CN114022514A (en) | Real-time sight line inference method integrating head posture and eyeball tracking | |
| US10692230B2 (en) | Document imaging using depth sensing camera | |
| KR20130051319A (en) | Apparatus for signal input and method thereof | |
| US11080888B2 (en) | Information processing device and information processing method | |
| GB2598016A (en) | Biometric authentication apparatus and biometric authentication method | |
| EP2261772A1 (en) | Method for controlling an input device based on the detection of attitude or eye gaze | |
| JPWO2022074865A5 (en) | LIFE DETECTION DEVICE, CONTROL METHOD, AND PROGRAM | |
| Takemura et al. | Estimating point-of-regard using corneal surface image | |
| US10824237B2 (en) | Screen display control method and screen display control system | |
| EP2261857A1 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
| JP5068711B2 (en) | Object shape recognition system and object shape recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101130 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |