JP2006141862A - Visual-axis direction specification system - Google Patents

Visual-axis direction specification system Download PDF

Info

Publication number
JP2006141862A
JP2006141862A JP2004338939A JP2004338939A JP2006141862A JP 2006141862 A JP2006141862 A JP 2006141862A JP 2004338939 A JP2004338939 A JP 2004338939A JP 2004338939 A JP2004338939 A JP 2004338939A JP 2006141862 A JP2006141862 A JP 2006141862A
Authority
JP
Japan
Prior art keywords
eye
image
line
black
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004338939A
Other languages
Japanese (ja)
Other versions
JP4654434B2 (en
Inventor
Kohei Arai
康平 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saga University NUC
Original Assignee
Saga University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saga University NUC filed Critical Saga University NUC
Priority to JP2004338939A priority Critical patent/JP4654434B2/en
Publication of JP2006141862A publication Critical patent/JP2006141862A/en
Application granted granted Critical
Publication of JP4654434B2 publication Critical patent/JP4654434B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a visual-axis direction specification system improving the accuracy of detecting the visual-axis direction, and finding the coordinates of the visual axis destination in a visual axis object by grasping not only the abscissa but also the ordinate of the visual axis. <P>SOLUTION: This visual-axis direction specification system is provided with an imaging device 10, an eye tail detecting means 21 detecting the tails of the both eyes in an image captured by the imaging device 10, a lip detecting means 22 detecting the both lips (angulus oris) in the captured image, an iris center detecting means 23 detecting the iris center in the captured image, a face position/direction specification means 24 specifying the position and the direction of the face based on the eye tails detected by the eye tail detecting means 21 and the lips detected by the lip detecting means 22, an iris direction specification means 25 specifying the iris direction from the iris center detected by the iris center detecting means, and a visual-axis direction specification means 26 specifying the visual-axis direction based on the iris direction specified by the iris direction specification means 25. This system can detect the visual-axis direction by capturing the image of the face with the imaging device by a user. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、使用者が視線を向けている視線対象物における視線方向先の座標を求める視線方向特定システムに関する。   The present invention relates to a line-of-sight direction specifying system for obtaining coordinates of a line-of-sight direction ahead of a line-of-sight object to which a user is turning his line of sight.

背景技術となる視線方向特定システムに類似する技術としては、特開2003−271932号公報に開示される視線方向検出装置がある。この視線方向検出装置は、顔画像撮像手段によって撮像された顔画像から目の位置を特定し、この眼位置特定手段により特定された画像から眼球の回転角を検出するとともに、顔画像位置特定手段によって撮像された顔画像から顔の向きを検出し、これら眼球回転角と顔の向きから視線方向を検出する構成である。この視線方向検出装置によれば、視線方向検出の精度をある程度向上させることができる。
特開2003−271932号公報
As a technique similar to the gaze direction specifying system as the background art, there is a gaze direction detection device disclosed in Japanese Patent Application Laid-Open No. 2003-271932. This gaze direction detection device specifies the position of the eye from the face image captured by the face image imaging unit, detects the rotation angle of the eyeball from the image specified by the eye position specifying unit, and also detects the face image position specifying unit. The direction of the face is detected from the face image picked up by, and the line-of-sight direction is detected from the eyeball rotation angle and the face direction. According to this gaze direction detection device, the accuracy of gaze direction detection can be improved to some extent.
JP 2003-271932 A

しかしながら、前記背景技術は以上のように構成され、視線方向検出の精度をある程度改善することができるものの、主に車両用の視線方向検出であってより精度が求められる分野、例えば、視線方向の検出によってキータイピングを行う分野等においては不十分であるという課題を有する。   However, although the background art is configured as described above and can improve the accuracy of the gaze direction detection to some extent, it is mainly a field of gaze direction detection for vehicles and requires more accuracy, for example, in the gaze direction. There is a problem that it is insufficient in the field of performing key typing by detection.

また、前記公報を精査すると、眼球の回転角、及び、顔の向きに基づいて、視線方向のうち横座標を検出することはできるものの、縦座標を検出する手段は開示されておらず、視線の縦座標も検出できないという課題を有する。   Further, when examining the above publication, it is possible to detect the abscissa in the sight line direction based on the rotation angle of the eyeball and the orientation of the face, but no means for detecting the ordinate is disclosed. There is a problem that even the ordinate of cannot be detected.

本発明は、前記課題を解決するためになされたものであり、視線方向検出の精度をより向上させると共に、視線の横座標だけでなく縦座標を把握し、視線対象物における視線方向先の座標を求める視線方向特定システムを提供することを目的とする。   The present invention has been made to solve the above-mentioned problems, and further improves the accuracy of gaze direction detection, grasps not only the abscissa of the gaze, but also the ordinate, and coordinates of the gaze direction ahead in the gaze object It aims at providing the gaze direction specific system which calculates | requires.

本発明に係る視線方向特定システムは、撮像装置と、当該撮像装置により撮像した画像内の両眼の目尻を検出する目尻検出手段と、同撮像した画像内の両口元(口角)を検出する口元検出手段と、同撮像した画像内の黒目中心を検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えるものである。このように本発明においては、撮像装置と、当該撮像装置により撮像した画像内の両眼の目尻を検出する目尻検出手段と、同撮像した画像内の両口元(口角)を検出する口元検出手段と、同撮像した画像内の黒目中心を検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えるので、使用者が撮像装置により顔を撮像することで視線方向を検出することができる。特に、顔の位置、顔の方向及び黒目方向から視線方向を特定するために、大まかな視線方向ではなく精度の高く視線方向を特定することができる。   An eye gaze direction specifying system according to the present invention includes an imaging device, an eye corner detection unit that detects the eye corners of both eyes in an image captured by the imaging device, and a mouth area that detects both mouths (mouth angles) in the captured image. A face position direction that specifies a position and direction of a face from a detection means, a black eye center detection means for detecting a black eye center in the captured image, an eye corner detected by the eye corner detection means, and a mouth detected by the mouth detection means; A black eye direction specifying means for specifying a black eye direction from the black eye center detected by the black eye center detecting means; a face position and direction specified by the face position direction specifying means; and the black eye specified by the black eye direction specifying means Gaze direction specifying means for specifying the gaze direction from the direction. As described above, in the present invention, the imaging device, the corner detection means for detecting the corners of both eyes in the image captured by the imaging device, and the mouth detection means for detecting both mouths (mouth angles) in the captured image. A black eye center detecting means for detecting the center of the black eye in the captured image, and a face position direction specifying means for specifying the position and direction of the face from the corner of the eye detected by the corner of the eye and the mouth of the eye detected by the corner of the eye A black eye direction specifying means for specifying the black eye direction from the black eye center detected by the black eye center detecting means, a face position and direction specified by the face position direction specifying means, and a black eye direction specified by the black eye direction specifying means. Since it includes gaze direction specifying means for specifying the gaze direction, the user can detect the gaze direction by imaging the face with the imaging device. In particular, in order to specify the gaze direction from the face position, the face direction, and the black eye direction, it is possible to specify the gaze direction with high accuracy instead of the rough gaze direction.

また、本発明に係る視線方向特定システムは必要に応じて、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置により撮像し、当該撮像した基準画像から前記目尻検出手段が目尻を検出し、基準画像から前記口元検出手段が口元を検出し、基準画像から前記黒目中心検出手段が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置が行い、当該撮像した視線検出するための画像から前記目尻検出手段が目尻を検出し、視線検出するための画像から前記口元検出手段が口元を検出し、視線検出するための画像から前記黒目中心検出手段が黒目中心を検出し、前記顔位置方向特定手段が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段が、前記顔の位置及び方向並びに黒目方向から視線方向を特定するものである。このように本発明においては、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置により撮像し、当該撮像した基準画像から前記目尻検出手段が目尻を検出し、基準画像から前記口元検出手段が口元を検出し、基準画像から前記黒目中心検出手段が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置が行い、当該撮像した視線検出するための画像から前記目尻検出手段が目尻を検出し、視線検出するための画像から前記口元検出手段が口元を検出し、視線検出するための画像から前記黒目中心検出手段が黒目中心を検出し、前記顔位置方向特定手段が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段が、前記顔の位置及び方向並びに黒目方向から視線方向を特定するので、最初に基準となる画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、次に基準視線方向を求める画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、両画像で検出された目尻及び口元から頭の位置及び回転を求め、黒目中心から黒目方向を求めており、すなわち、特徴点から精度高く頭の位置及び回転並びに黒目方向を取得し、これらの精度の高い頭の位置及び回転並びに黒目方向から正確な視線方向を特定することができる。   In addition, the gaze direction specifying system according to the present invention captures images with the imaging device in a state in which a user faces the front with respect to a reference surface that can be arbitrarily set, if necessary, and the eye corners are extracted from the captured reference image. An imaging device detects an eye corner, the mouth detecting unit detects a mouth from a reference image, the black eye center detecting unit detects a black eye center from a reference image, and detects an eye of the user. The eye corner detection means detects the corner of the eye from the captured image for detecting the eye gaze, the mouth detection means detects the mouth from the image for eye gaze detection, and the black eye center detection from the image for eye gaze detection The means detects the center of the black eye, and the face position direction specifying means determines the position and direction of the face from the corner of the eye and the mouth detected from the reference image and the corner of the eye and the mouth detected from the image for detecting the line of sight. The black eye direction specifying means specifies the black eye direction from the black eye center detected from the reference image and the black eye center detected from the image for detecting the line of sight, and the line of sight specifying means includes the position of the face. And the line-of-sight direction are specified from the direction and the black-eye direction. As described above, in the present invention, the imaging device captures an image with the user facing the front with respect to an arbitrarily settable reference plane, and the corner of the eye detection means detects the corner of the eye from the captured reference image. The mouth detecting means detects the mouth from the reference image, the black eye center detecting means detects the black eye center from the reference image, and the imaging device performs imaging for detecting the user's line of sight, and detects the captured line of sight. The eye corner detection means detects the corner of the eye from the image for detecting the eye corner, the mouth detection means detects the mouth from the image for eye gaze detection, the black eye center detection means detects the center of the black eye from the image for eye gaze detection, The face position / direction specifying means specifies the position and direction of the face from the corner of the eye and the mouth detected from the reference image and the corner of the eye and the mouth detected from the image for line-of-sight detection, and the black eye direction specifying hand Specifies a black eye direction from the center of the black eye detected from the reference image and the center of the black eye detected from the image for line-of-sight detection, and the line-of-sight direction specifying means includes the position and direction of the face and the line-of-sight direction from the black eye direction. First, an image serving as a reference is imaged, the eye corners, the mouth, and the black eyes are detected from the reference image, and then an image for obtaining a reference line-of-sight direction is imaged, and the eye corners, the mouth, and the black eyes are detected from the reference image. Detecting and obtaining the position and rotation of the head from the corner of the eye and the mouth detected in both images, obtaining the direction of the black eye from the center of the black eye, that is, obtaining the position and rotation of the head and the direction of the black eye with high accuracy from the feature points, The precise line-of-sight direction can be identified from the position and rotation of the head with high accuracy and the black eye direction.

また、本発明に係る視線方向特定システムは必要に応じて、使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置により撮像し、撮像した画像を基準画像として用いるものである。このように本発明においては、使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置により撮像し、撮像した画像を基準画像として用いるので、複数の基準画像から目尻検出、口元検出及び黒目中心検出を行うことができ精度が向上すると共に、黒目方向特定手段が異なる注視点の基準画像を比較することで容易に黒目方向の特定を行うことができる。   In addition, the gaze direction specifying system according to the present invention captures and captures images by the imaging device whenever the user gazes a plurality of designated gazing points in a state where the user faces the reference plane in front. An image is used as a reference image. In this way, in the present invention, each time a user gazes a plurality of designated gazing points in a state where the user faces the reference plane, the image is picked up by the imaging device, and the captured image is used as a reference image. Eye corner detection, mouth detection, and black eye center detection can be performed from multiple reference images, improving accuracy, and easily identifying the black eye direction by comparing the reference images of different gazing points with different black eye direction specifying means. Can do.

また、本発明に係る視線方向特定システムは必要に応じて、前記顔位置方向特定手段が顔の位置及び方向を特定する場合にアフィン変換を用いるものである。このように本発明においては、前記顔位置方向特定手段が顔の位置及び方向を特定する場合にアフィン変換を用いたので、Z軸まわりの回転であるロール、Y軸まわりの回転であるピッチ、新しいZ軸まわりの回転であるヨーの回転を正確に求めることができ、すなわち、頭の微小な動きによる回転であっても検出し、黒目方向と共に視線方向を特定するので、精度高く視線方向を特定することができる。   In addition, the gaze direction specifying system according to the present invention uses affine transformation when the face position / direction specifying unit specifies the position and direction of the face as necessary. As described above, in the present invention, since the face position direction specifying means uses the affine transformation when specifying the position and direction of the face, a roll that is a rotation around the Z axis, a pitch that is a rotation around the Y axis, The rotation of the yaw, which is the rotation around the new Z axis, can be accurately obtained, that is, even the rotation due to the minute movement of the head is detected, and the gaze direction is specified together with the black eye direction, so the gaze direction can be accurately determined. Can be identified.

本発明に係る視線方向特定システムは、前記黒目中心検出手段は、極座標変換を用いて黒目中心を検出するものである。このように本発明においては、前記黒目中心検出手段は、極座標変換を用いて黒目中心を検出するので、従来のまぶたのラインを検出し黒目をさらに検出し、検出した黒目の中心を求める方法と比して、迅速且つ正確に黒目中心をもとめることができる。   In the line-of-sight direction specifying system according to the present invention, the black eye center detecting means detects a black eye center using polar coordinate transformation. As described above, in the present invention, the black eye center detecting means detects the black eye center using polar coordinate transformation, so that the conventional eyelid line is detected, the black eye is further detected, and the detected black eye center is obtained. In comparison, the center of the black eye can be obtained quickly and accurately.

また、本発明に係る視線方向特定システムは必要に応じて、表示装置を備え、前記基準面が表示装置の表示面であるものである。このように本発明においては、前記基準面が表示装置の表示面であるので、使用者が表示面に表示したシンボル等を注視することで、基準となる目尻、口元及び黒目中心の位置をより正確に求めることができ、結果的に、精度高く視線方向を特定することができる。   The line-of-sight direction specifying system according to the present invention includes a display device as necessary, and the reference surface is a display surface of the display device. As described above, in the present invention, since the reference plane is the display plane of the display device, the positions of the corners of the corners of the eyes, the mouth, and the center of the black eye can be further increased by gazing the symbols displayed on the display plane by the user. As a result, the line-of-sight direction can be specified with high accuracy.

また、本発明に係る視線方向特定システムは必要に応じて、前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するものである。このように本発明においては、前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するので、使用者は表示面に表示されているキーボード上のキーを注視するだけでキー入力することができ、体に障害を有する方々でも1人で入力することができる。   In addition, the gaze direction specifying system according to the present invention displays a keyboard on the display device as necessary, detects a user's gaze direction on the displayed keyboard, and specifies a gaze direction destination key. . As described above, in the present invention, the keyboard is displayed on the display device, the direction of the user's line of sight to the displayed keyboard is detected, and the key of the line of sight direction is specified, so that the user is displayed on the display surface. Keys can be entered simply by gazing at the keys on the keyboard, and even people with physical disabilities can do it alone.

また、本発明に係る視線方向特定システムは必要に応じて、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるものである。このように本発明においては、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるので、継続的に使用者は自分が注視している部分と、システムが特定している注視部分とを比較することができる。   The line-of-sight direction specifying system according to the present invention detects the line-of-sight direction of the user as necessary, and displays a cursor at the intersection when the display surface of the display device and the line-of-sight direction intersect. As described above, in the present invention, the user's line-of-sight direction is detected, and when the line-of-sight direction intersects with the display surface of the display device, the cursor is displayed at the intersection, so that the user continuously watches the user. And the gaze portion identified by the system can be compared.

また、本発明に係る視線方向特定システムは必要に応じて、表示装置を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するものである。このように本発明においては、表示装置を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するので、間違った検出を前提として視線方向の特定を行うことを防止することができる。   In addition, the gaze direction identification system according to the present invention is provided with a display device as necessary, displays the reference image, and further displays a reference and a corner of the eye and mouth detected from the reference image, and a center of the black eye detected from the reference image. It is clearly shown in the image. As described above, in the present invention, since the display device is provided, the reference image is displayed, and further, the eye corner and the mouth detected from the reference image, and the center of the black eye detected from the reference image are clearly shown in the reference image. Therefore, it is possible to prevent the line-of-sight direction from being specified on the premise of detection.

また、本発明に係る視線方向特定システムは必要に応じて、前記基準画像が、可視波長の画像であるものである。このように本発明は、前記基準画像が、可視波長の画像であるので、前記撮像装置も一般的なCCDカメラを適用でき安価に構成できると共に、基準画像の情報量をおさえることができ、目尻検出手段、口元検出手段及び黒目中心検出手段が処理する情報量も少なくなるため処理の迅速化を実現することができる。従来方式においては、誤差が大きいため、他の処理要素として近赤外線画像を用いて眼球内部及び網膜の結像を使用して視線方向特定の精度を高めていた。しかしながら、本発明によれば、近赤外線画像を用いることなく、精度高い視線方向を特定することができる。   Further, in the line-of-sight direction specifying system according to the present invention, the reference image is an image having a visible wavelength as necessary. As described above, according to the present invention, since the reference image is an image having a visible wavelength, the imaging device can also be configured at a low cost by applying a general CCD camera, and can reduce the information amount of the reference image. Since the amount of information processed by the detecting means, the mouth detecting means and the black eye center detecting means is reduced, the processing can be speeded up. In the conventional method, since the error is large, the accuracy of the line-of-sight direction specification is improved by using the near-infrared image as another processing element and the imaging of the inside of the eyeball and the retina. However, according to the present invention, it is possible to specify a line-of-sight direction with high accuracy without using a near-infrared image.

(本発明の第1の実施形態)
本発明の第1の実施形態に係る視線方向特定システムについて、図1ないし図5に基づき説明する。図1は本実施形態に係る視線方向特定システムの構成ブロック図、図2は本実施形態に係る視線方向特定システムの前に使用者が対面した概観図、図3は本実施形態に係る視線方向特定システムのディスプレイに表示されたシンボル、図4は本実施形態に係る視線方向特定システムの動作フローチャート、図5は本実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。なお、図5のキーボードでは、各キーの数字、アルファベット等のラベルの印字は省略している(図6も同様である)。
(First embodiment of the present invention)
A line-of-sight direction specifying system according to a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a configuration block diagram of a gaze direction specifying system according to the present embodiment, FIG. 2 is an overview diagram facing the user before the gaze direction specifying system according to the present embodiment, and FIG. 3 is a gaze direction according to the present embodiment. Symbols displayed on the display of the specific system, FIG. 4 is an operation flowchart of the gaze direction specifying system according to the present embodiment, and FIG. 5 is a keyboard displayed on the display of the gaze direction specifying system according to the present embodiment. Note that the keyboard of FIG. 5 omits printing of labels such as numerals and alphabets for each key (the same applies to FIG. 6).

本実施形態に係る視線方向特定システムは、撮像装置10と、この撮像装置10により撮像した画像内の両眼の目尻を検出する目尻検出手段21と、同撮像した画像内の両口元(口角)を検出する口元検出手段22と、同撮像した画像内の黒目中心を検出する黒目中心検出手段23と、前記目尻検出手段21で検出した目尻及び前記口元検出手段22で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段24と、前記黒目中心検出手段23で検出した黒目中心から黒目方向を特定する黒目方向特定手段25と、前記顔位置方向特定手段24で特定した顔の位置及び方向並びに前記黒目方向特定手段25で特定した黒目方向から視線方向を特定する視線方向特定手段26とを備え、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置10により撮像し、この撮像した基準画像から前記目尻検出手段21が目尻を検出し、基準画像から前記口元検出手段22が口元を検出し、基準画像から前記黒目中心検出手段23が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置10が行い、この撮像した視線検出するための画像から前記目尻検出手段21が目尻を検出し、視線検出するための画像から前記口元検出手段22が口元を検出し、視線検出するための画像から前記黒目中心検出手段23が黒目中心を検出し、前記顔位置方向特定手段24が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段25が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段26が、前記顔の位置及び方向並びに黒目方向から視線方向を特定する構成である。また、使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置10により撮像し、撮像した画像を基準画像として用いる構成である。また、前記顔位置方向特定手段24が顔の位置及び方向を特定する場合にアフィン変換を用いた構成である。また、前記黒目中心検出手段23は、極座標変換を用いて黒目中心を検出する構成である。また、表示装置となるディスプレイ30を備え、前記基準面がディスプレイ30の表示面である構成である。また、前記ディスプレイ30にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定する構成である。   The line-of-sight direction identifying system according to the present embodiment includes an imaging device 10, an eye corner detection unit 21 that detects the eye corners of both eyes in an image captured by the imaging device 10, and both mouth corners (mouth angles) in the captured image. The mouth position detecting means 22 for detecting the eye, the black eye center detecting means 23 for detecting the center of the black eye in the captured image, the eye corner detected by the eye corner detecting means 21 and the position of the face from the mouth detected by the mouth detecting means 22 And a face position direction specifying means 24 for specifying the direction, a black eye direction specifying means 25 for specifying the black eye direction from the black eye center detected by the black eye center detecting means 23, and a face position specified by the face position direction specifying means 24. And a line-of-sight direction specifying means 26 for specifying the line-of-sight direction from the black-eye direction specified by the black-eye direction specifying means 25, and the user is in front of a reference plane that can be arbitrarily set. The image is picked up by the image pickup device 10 in a face-up state, the eye corner detection means 21 detects the eye corner from the captured reference image, the mouth detection means 22 detects the mouth from the reference image, and the black eye center detection from the reference image The means 23 detects the center of the black eye, and the imaging device 10 performs imaging for detecting the user's line of sight. The eye corner detection means 21 detects the eye corner from the image for detecting the captured line of sight, and detects the line of sight. The mouth detecting means 22 detects the mouth from the image for the purpose, the black eye center detecting means 23 detects the center of the black eye from the image for detecting the line of sight, and the face position direction specifying means 24 detects the eye corner detected from the reference image. The face position and direction are determined from the corners of the eyes and the corners of the eyes and the mouth detected from the image for detecting the line of sight, and the black eyes detected by the black eye direction specifying means 25 from the reference image And mind, and a pupil center detected from the image for detecting the line of sight, to identify the iris direction, the sight line direction specifying means 26 is configured to identify the line-of-sight direction from the position and direction, as well as pupils direction of the face. In addition, each time a plurality of designated gazing points are watched while the user faces the reference plane in front, the imaging device 10 picks up an image and uses the picked-up image as a reference image. Further, when the face position / direction specifying means 24 specifies the face position and direction, affine transformation is used. The black eye center detection means 23 is configured to detect the black eye center using polar coordinate transformation. Further, the display 30 is a display device, and the reference plane is a display plane of the display 30. In addition, the keyboard is displayed on the display 30, the direction of the user's line of sight to the displayed keyboard is detected, and the key of the line of sight direction is specified.

前記視線方向特定システムは、図2に示すように、ハードウェアの構成が撮像装置10であるCCDカメラ11と、目尻検出手段21、口元検出手段22、黒目中心検出手段23、顔位置方向特定手段24、黒目方向特定手段25及び視線方向特定手段26が実装されたコンピュータ40と、ディスプレイ30からなる。視線方向のみを検出する場合には、基準画像を取得することができれば、必ずしもディスプレイ30は必要はない。ただし、本システムからの使用者への指示等を考えれば、ディスプレイ30の存在価値が大きい。
前記指定する注視点としては、前記ディスプレイ30の中心(図3のa)、ディスプレイ30の四隅(図3のb、c、d、e)とする。ここで、注視点としては、ディスプレイ30の他の部分であってもよい。
As shown in FIG. 2, the line-of-sight direction specifying system includes a CCD camera 11 whose hardware configuration is an imaging device 10, an eye corner detection means 21, a mouth detection means 22, a black eye center detection means 23, and a face position direction specification means. 24, the computer 40 on which the black eye direction specifying means 25 and the line-of-sight direction specifying means 26 are mounted, and the display 30. In the case of detecting only the line-of-sight direction, the display 30 is not necessarily required as long as the reference image can be acquired. However, considering the instruction from the system to the user, the presence value of the display 30 is great.
The designated gazing point is the center of the display 30 (a in FIG. 3) and the four corners (b, c, d, e in FIG. 3). Here, the other point of the display 30 may be used as the gazing point.

前記黒目中心検出手段23は、黒目中心の座標検出を行うために、まず、取得画像の輪郭画像を得るべく、縦、横方向の差分を計算して画像化する。差分が15未満の画素は無視し、差分の8倍を画素として用いて輪郭画像を得る。8倍したときに画素の範囲を超えた画素は補正する。さらに、目の付近でラスタ走査しながら、ある点Aを中心にして周りの画素Bを極座標に変換する。ただし、極座標に変換するのはAからBの距離(半径)が黒目の半径に近いBだけとする。黒目中心Cを中心として周りの画像を極座標に変換すると、黒目の輪郭である真円に近い形が直線となる。このことを利用して、同半径の点にある画素の和を計算し、画素の和がすべての画素の和の最大値となるなら、その中心の点Cを黒目の中心座標とする。   In order to detect the coordinates of the center of the black eye, the black eye center detecting means 23 first calculates a difference between the vertical and horizontal directions to obtain an outline image of the acquired image. Pixels with a difference of less than 15 are ignored and a contour image is obtained using 8 times the difference as a pixel. Pixels that exceed the pixel range when multiplied by 8 are corrected. Further, while raster scanning in the vicinity of the eyes, surrounding pixels B are converted into polar coordinates around a certain point A. However, only the distance B (radius) from A to B is close to the radius of the black eye to be converted into polar coordinates. When the surrounding image is converted into polar coordinates with the center of the black eye C as the center, a shape close to a perfect circle that is the outline of the black eye becomes a straight line. Using this fact, the sum of the pixels at the same radius point is calculated, and if the sum of the pixels becomes the maximum value of the sum of all the pixels, the center point C is set as the center coordinate of the black eye.

前記目尻検出手段21は、前記同様に輪郭画像にし、目付近の緩やかな曲線を検出し、目尻の座標を求める。なお、目尻は、黒目中心検出の後に行うこともでき、黒目中心の座標が分かれば、容易にまぶたの曲線を検出することができる。また、目頭も同様に求めて目尻と同様に用いることもできる。
前記口元検出手段22は、前記同様に輪郭画像にし、鼻付近の横方向の直線を検出し、口元の座標を求める。
The eye corner detection means 21 generates a contour image in the same manner as described above, detects a gentle curve near the eye, and obtains the coordinates of the eye corner. Eye corners can also be performed after detection of the center of the black eye, and if the coordinates of the center of the black eye are known, the eyelid curve can be easily detected. Further, the head of the eye can be obtained in the same manner and used in the same manner as the corner of the eye.
The mouth detecting means 22 makes a contour image in the same manner as described above, detects a horizontal straight line near the nose, and obtains coordinates of the mouth.

前記顔位置方向特定手段24は、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、アフィン変換を用いて顔の位置及び方向を特定する。アフィン変換式は以下の通りとなる。なお、0x、0yは上下、左右の顔の移動、また、A、B、C、Dは拡大縮小(顔の前後の動き)、回転(ロール)、スキュー(ヨー、ピッチ)、アスペクト(縦横)比(ヨー、ピッチ)である。
すなわち、(1)式及び基準画像の両目尻、両口元の4座標(x,y)を参照し、これ等の位置が変わったときの座標(x',y')から、顔のロール、ピッチ、ヨー角度と上下、左右、前後の位置の移動を推定することができる。なお、ある程度の許容範囲を前提に頭の大きさを仮定(黒目の位置と頭中心の相対関係)して、顔位置方向を特定することもできる。また、基準画像から仮定する頭の大きさをある程度特定することができる。
The face position / direction specifying unit 24 specifies the position and direction of the face using affine transformation from the corner of the eye and the mouth detected from the reference image and the corner of the eye and the mouth detected from the image for detecting the line of sight. The affine transformation formula is as follows. Note that 0x, 0y move up and down, left and right faces, and A, B, C, and D scale up and down (movement of the face back and forth), rotation (roll), skew (yaw, pitch), aspect (vertical and horizontal) Ratio (yaw, pitch).
That is, with reference to the equation (1) and the four coordinates (x, y) of both the corners of the eyes and the base of the reference image, the coordinates of the face change from the coordinates (x ′, y ′) when these positions are changed, It is possible to estimate the pitch and yaw angle and the movement of the vertical and horizontal positions and the front and rear positions. Note that it is also possible to specify the face position direction by assuming the size of the head (relative relationship between the position of the black eye and the center of the head) assuming a certain allowable range. In addition, the assumed head size can be specified to some extent from the reference image.

前記黒目方向特定手段25は、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定する。基準画像は、注視点が前記ディスプレイの中心、ディスプレイの四隅の5点であるため、5枚ある。5枚は、使用者が体位移動(体自体の移動、首の各種回転等を含む)をしていないため、目尻、口元の座標は変わっていないが、異なる注視点を注視しているため、黒目中心の位置が異なる。これらの基準画像から、どの位置に黒目があればどの方向を向いているかを特定することができる。   The black eye direction specifying means 25 specifies the black eye direction from the black eye center detected from the reference image and the black eye center detected from the image for detecting the line of sight. There are five reference images because the gazing point is the center of the display and the five corners of the display. As for 5 sheets, since the user does not move the body position (including movement of the body itself, various rotations of the neck, etc.), the coordinates of the corners of the eyes and the mouth have not changed, but because they are watching different gaze points, The center of the black eye is different. From these reference images, it is possible to specify which direction the black eye is located at which position.

前記視線方向特定手段26は、前記顔の位置及び方向並びに黒目方向から視線方向を特定する。前記黒目方向特定手段25により黒目方向は特定をすることはでき、使用者が体位移動しなければ、基準面のどの部分を注視しているかは、黒目中心の位置で容易に分かる。しかしながら、使用者は無意識のうちに微妙に体が動いており、この動きが誤差となって、視線方向を正確に特定することができなかった。そこで、この視線方向特定手段26は、顔位置方向特定手段24により求められた顔位置及び方向を、黒目方向に合成して視線方向を特定している。   The line-of-sight direction specifying unit 26 specifies the line-of-sight direction from the position and direction of the face and the black eye direction. The black eye direction can be specified by the black eye direction specifying means 25, and if the user does not move the body position, it can be easily known at the center of the black eye which part of the reference plane is being watched. However, the user is unconsciously moving his body slightly, and this movement becomes an error, and the gaze direction cannot be accurately specified. Therefore, the line-of-sight direction specifying unit 26 specifies the line-of-sight direction by combining the face position and direction obtained by the face position / direction specifying unit 24 with the black eye direction.

次に、本実施形態に係る視線方向特定システムの使用動作について図4に基づき説明する。まず、ディスプレイ30表示制御を行う表示手段27が、ディスプレイ30の中央にシンボルaを表示する(ステップ11)。表示手段27は、かかるシンボルaを表示したまま、「ディスプレイに対して正面を向き、中央のシンボルを注視して下さい。」とのテキスト表示を行い、さらに、「今から5秒後に撮像を行います。」とのテキスト表示を行う(ステップ12)。使用者は、基準面となるディスプレイ30に対して正面を向く。CCDカメラ11は、前記5秒後に撮像を行う(ステップ13)。   Next, the use operation | movement of the gaze direction identification system which concerns on this embodiment is demonstrated based on FIG. First, the display means 27 that performs display 30 display control displays the symbol a at the center of the display 30 (step 11). The display means 27 displays the text “Please face the display and look at the center symbol” while displaying the symbol “a”, and “take an image 5 seconds from now” "Is displayed" (step 12). The user faces the front with respect to the display 30 serving as a reference plane. The CCD camera 11 takes an image after 5 seconds (step 13).

次に、目尻検出手段21がシンボルaについての基準画像から目尻の座標を検出する(ステップ21)。同基準画像から口元検出手段が口元の座標を検出する(ステップ22)。前記黒目中心検出手段23が、基準画像について黒目中心を検出する(ステップ23)。   Next, the eye corner detection means 21 detects the coordinates of the eye corner from the reference image for the symbol a (step 21). The mouth detecting means detects the coordinates of the mouth from the reference image (step 22). The black eye center detecting means 23 detects the black eye center of the reference image (step 23).

次に、表示手段27は、シンボルaの表示を止め、シンボルbのみの表示を行う。表示手段27は、かかるシンボルbを表示したまま、「ディスプレイに対して正面を向き、シンボルを注視して下さい。」とのテキスト表示を行い、さらに、「今から5秒後に撮像を行います。」とのテキスト表示を行う。カメラは、前記5秒後に撮像を行う。他のシンボルc、シンボルd及びシンボルeについてもシンボルbと同様に、表示を行い、撮像を行う(ステップ31)。これらの撮像による基準画像が5つ得られることとなる。前記黒目中心検出手段23が、シンボルb、シンボルc、シンボルd及びシンボルeに係る画像について黒目中心を検出する(ステップ32)。   Next, the display means 27 stops displaying the symbol a and displays only the symbol b. The display means 27 displays the text “Look forward at the display and look closely at the symbol” while displaying the symbol b, and “take an image 5 seconds from now. "Is displayed. The camera takes an image after 5 seconds. Other symbols c, d and e are displayed and imaged in the same manner as symbol b (step 31). Five reference images are obtained by these imaging operations. The black eye center detecting means 23 detects the black eye center of the images related to the symbols b, c, d and e (step 32).

前記表示手段27は、シンボルeの表示を止め、キーボードを表示する。続けて、表示手段27は、「表示しているキーボードの任意のキーを選択して注視して下さい。」とのテキスト表示を行う(ステップ41)。さらに、「今から2秒後に撮像を行います。」とのテキスト表示を行う。カメラは、前記2秒後に撮像を行う(ステップ42)。   The display means 27 stops displaying the symbol e and displays a keyboard. Subsequently, the display means 27 performs a text display “Select any key on the displayed keyboard and pay attention to it” (step 41). In addition, a text display “Image will be taken in 2 seconds from now” is displayed. The camera takes an image after 2 seconds (step 42).

次に、目尻検出手段21がシンボルaについての基準画像から目尻の座標を検出する(ステップ51)。同基準画像から口元検出手段22が口元の座標を検出する(ステップ52)。前記黒目中心検出手段12が、基準画像について黒目中心を検出する(ステップ53)。   Next, the eye corner detection means 21 detects the coordinates of the eye corner from the reference image for the symbol a (step 51). The mouth detection means 22 detects the mouth coordinates from the reference image (step 52). The black eye center detecting means 12 detects the black eye center of the reference image (step 53).

顔位置方向特定手段24がアフィン変換により顔位置(相対位置)、顔方向(ロール、ピッチ、ヨー)を求める(ステップ61)。黒目方向特定手段25が、標準黒目中心座標と検出黒目中心座標とから黒目方向を求める(ステップ62)。視線方向特定手段26が、顔位置(相対位置)、顔方向(ロール、ピッチ、ヨー)及び、黒目方向の合成により視線方向を決定する(ステップ63)。   The face position direction specifying means 24 obtains the face position (relative position) and face direction (roll, pitch, yaw) by affine transformation (step 61). The black eye direction specifying means 25 obtains the black eye direction from the standard black eye center coordinates and the detected black eye center coordinates (step 62). The line-of-sight direction specifying unit 26 determines the line-of-sight direction by combining the face position (relative position), the face direction (roll, pitch, yaw), and the black eye direction (step 63).

選択キー特定手段28が、前記求めた視線方向のディスプレイ平面における交点を求め、かかる交点に対応するビットを決定し、かかる決定されたビットが表示しているキーを特定する(ステップ71)。表示手段は、「このキーでいいですね?」「次に、キー入力に移行します」とのテキスト表示を行う(ステップ72)。
ここで、確定、キー入力の終了、停止、一時停止等の操作は、手を振る、頭を振る等の身振り手振りでシステムに認識して行う。
The selection key specifying means 28 determines an intersection point on the display plane in the obtained line-of-sight direction, determines a bit corresponding to the intersection point, and specifies a key displayed by the determined bit (step 71). The display means displays texts such as “Is this key OK?” Or “Next, move to key input” (step 72).
Here, operations such as confirmation, end of key input, stop, and pause are recognized by the system by gestures such as shaking hands or shaking heads.

このように本実施形態に係る視線方向特定システムによれば、撮像装置10と、この撮像装置10により撮像した画像内の両眼の目尻を検出する目尻検出手段21と、同撮像した画像内の両口元(口角)を検出する口元検出手段22と、同撮像した画像内の黒目中心を検出する黒目中心検出手段23と、前記目尻検出手段21で検出した目尻及び前記口元検出手段22で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段24と、前記黒目中心検出手段23で検出した黒目中心から黒目方向を特定する黒目方向特定手段25と、前記顔位置方向特定手段24で特定した顔の位置及び方向並びに前記黒目方向特定手段25で特定した黒目方向から視線方向を特定する視線方向特定手段26とを備えるので、使用者が撮像装置により顔を撮像することで視線方向を検出することができる。また、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置10により撮像し、この撮像した基準画像から前記目尻検出手段21が目尻を検出し、基準画像から前記口元検出手段22が口元を検出し、基準画像から前記黒目中心検出手段23が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置10が行い、この撮像した視線検出するための画像から前記目尻検出手段21が目尻を検出し、視線検出するための画像から前記口元検出手段22が口元を検出し、視線検出するための画像から前記黒目中心検出手段23が黒目中心を検出し、前記顔位置方向特定手段24が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段25が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段26が、前記顔の位置及び方向並びに黒目方向から視線方向を特定するので、最初に基準となる画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、次に基準視線方向を求める画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、両画像で検出された目尻及び口元から頭の位置及び回転を求め、黒目中心から黒目方向を求めており、すなわち、特徴点から精度高く頭の位置及び回転並びに黒目方向を取得し、これらの精度の高い頭の位置及び回転並びに黒目方向から正確な視線方向を特定することができる。また、前記顔位置方向特定手段24が顔の位置及び方向を特定する場合にアフィン変換を用いたので、Z軸まわりの回転であるロール、Y軸まわりの回転であるピッチ、新しいZ軸まわりの回転であるヨーの回転を正確に求めることができ、すなわち、頭の微小な動きによる回転であっても検出し、黒目方向と共に視線方向を特定するので、精度高く視線方向を特定することができる。また、前記黒目中心検出手段23は、極座標変換を用いて黒目中心を検出するので、従来のまぶたのラインを検出し黒目をさらに検出し検出した黒目の中心を求める方法と比して、迅速且つ正確に黒目中心をもとめることができる。また、このように本発明においては、前記基準面が表示装置の表示面であるので、使用者が表示面に表示したシンボル等を注視することで、基準となる目尻、口元及び黒目中心の位置をより正確に求めることができ、結果的に、精度高く視線方向を特定することができる。また、前記ディスプレイ30にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するので、使用者は表示面に表示されているキーボード上のキーを注視するだけでキー入力することができ、体に障害を有する方々でも1人で入力することができる。   As described above, according to the line-of-sight direction specifying system according to the present embodiment, the imaging device 10, the outer corner detection unit 21 that detects the outer corners of both eyes in the image captured by the imaging device 10, and the captured image Mouth detection means 22 for detecting both mouth edges (mouth corners), black eye center detection means 23 for detecting the center of the black eye in the captured image, eye corners detected by the eye corner detection means 21 and the mouth edge detection means 22 A face position direction specifying means 24 for specifying the face position and direction from the mouth; a black eye direction specifying means 25 for specifying the black eye direction from the black eye center detected by the black eye center detecting means 23; and the face position direction specifying means 24. Since the apparatus includes the gaze direction specifying unit 26 that specifies the gaze direction from the specified face position and direction and the black eye direction specified by the black eye direction specifying unit 25, the user uses the imaging device. It is possible to detect the gaze direction by imaging the face. In addition, the imaging device 10 captures an image with the user facing the front with respect to an arbitrarily set reference plane, and the corner of the eye detection means 21 detects the corner of the eye from the captured reference image. The mouth detecting unit 22 detects the mouth, the black eye center detecting unit 23 detects the center of the black eye from the reference image, and the imaging device 10 performs imaging to detect the user's line of sight, and this captured line of sight is detected. The eye corner detection means 21 detects the eye corner from the image of the eye, the mouth detection means 22 detects the mouth from the image for detecting the line of sight, and the black eye center detection means 23 detects the center of the black eye from the image for the line of sight detection. The face position direction specifying means 24 specifies the position and direction of the face from the corner of the eye and the mouth detected from the reference image and the corner of the eye and the mouth detected from the image for detecting the line of sight, The eye direction specifying unit 25 specifies the black eye direction from the black eye center detected from the reference image and the black eye center detected from the image for detecting the line of sight, and the line of sight specifying unit 26 determines the position and direction of the face. In addition, since the line-of-sight direction is specified from the black-eye direction, first, an image serving as a reference is imaged, the eye corners, the mouth, and the black eye are detected from the reference image, and then an image for obtaining the reference line-of-sight direction is imaged and the image obtained from the reference image Detects the corners of the eyes, the mouth, and the black eyes, finds the position and rotation of the head from the corners of the eyes and the mouth detected in both images, and obtains the direction of the black eye from the center of the black eye, that is, the position and rotation of the head with high accuracy from the feature points It is possible to acquire the black eye direction and specify the accurate line-of-sight direction from the position and rotation of the head with high accuracy and the black eye direction. Further, since the face position direction specifying means 24 uses the affine transformation when specifying the position and direction of the face, the roll that is rotation around the Z axis, the pitch that is rotation around the Y axis, the new rotation around the Z axis The rotation of the yaw, which is the rotation, can be accurately obtained, that is, even the rotation caused by a slight movement of the head is detected and the gaze direction is specified together with the black eye direction, so the gaze direction can be specified with high accuracy. . Further, since the black eye center detecting means 23 detects the black eye center using polar coordinate transformation, the black eye center detecting means 23 detects the eyelid line, detects the black eye further, and detects the detected black eye center more quickly. The center of the black eye can be determined accurately. In this way, in the present invention, since the reference plane is the display plane of the display device, the user can watch the symbols displayed on the display plane, so that the positions of the corners of the corners of the eyes, the mouth, and the black eyes that are the reference Can be obtained more accurately, and as a result, the line-of-sight direction can be specified with high accuracy. In addition, since the keyboard is displayed on the display 30, the user's line-of-sight direction on the displayed keyboard is detected, and the key of the line-of-sight direction is specified, the user can press the key on the keyboard displayed on the display surface. Keys can be input simply by gazing, and even people with disabilities can input alone.

なお、本実施形態に係る視線方向特定システムの黒目中心検出手段23は以上のような動作を行うが、かかる動作によってうまくいかない画像があり、これを原因究明すると前記画像には多くの睫毛が撮像されていることが分かった。このような睫毛の影響を抑え、黒目中心検出の精度を向上させるために、次のことを行う。第1に目の付近の画像に上下左右4[dot]単位で平滑化を行う。この平滑化により、ノイズの影響を抑えることができる。第2に、画像の輪郭画像を得るために、縦、横方向の差分を計算して画像化し、差分が15未満の画素は無視し、横方向の差分の8倍、縦方向の差分の4倍を足したものを画素として用いて輪郭画像を得、画素の範囲を超えた画素は補正するようにした。これにより、瞼と目との輪郭と睫毛の輪郭が中心検出に与える影響を抑えることができる。第3に、目の付近でラスタ走査しながら、前記と同様に以下のことを行う。すなわち、目の付近でラスタ走査しながら、ある点Aを中心にして周りの画素Bを極座標に変換する。ただし、極座標に変換するのはAからBの距離(半径)が黒目の半径に近いBだけとする。黒目中心Cを中心として周りの画像を極座標に変換すると、黒目の輪郭である真円に近い形が直線となる。このことを利用して、同半径の点にある画素の和を計算し、画素の和がすべての画素の和の最大値となるなら、その中心の点Cを黒目の中心座標とする。   The black eye center detection means 23 of the line-of-sight direction identification system according to the present embodiment performs the above-described operation. However, there is an image that does not work due to the operation, and when the cause is investigated, a lot of eyelashes are captured in the image. I found out. In order to suppress the influence of such eyelashes and improve the accuracy of black eye center detection, the following is performed. First, smoothing is performed on the image in the vicinity of the eyes in units of 4 [dots]. By this smoothing, the influence of noise can be suppressed. Secondly, in order to obtain the contour image of the image, the difference between the vertical and horizontal directions is calculated and converted into an image. Pixels having a difference of less than 15 are ignored, 8 times the horizontal difference, and 4 in the vertical difference. A contour image is obtained by using the added pixel as a pixel, and pixels exceeding the pixel range are corrected. Thereby, the influence which the outline of the eyelid and the eye and the outline of the eyelash have on the center detection can be suppressed. Third, the following is performed in the same manner as described above while performing raster scanning near the eyes. That is, the surrounding pixel B is converted into polar coordinates around a certain point A while performing raster scanning near the eyes. However, only the distance B (radius) from A to B is close to the radius of the black eye to be converted into polar coordinates. When the surrounding image is converted into polar coordinates with the center of the black eye C as the center, a shape close to a perfect circle that is the outline of the black eye becomes a straight line. Using this fact, the sum of the pixels at the same radius point is calculated, and if the sum of the pixels becomes the maximum value of the sum of all the pixels, the center point C is set as the center coordinate of the black eye.

また、本実施形態に係る視線方向特定システムの黒目中心検出手段23は差分するときの閾値を15画素と決めていたが、これを眼の付近のコントラスト平均値の15分の1にすることもでき、コントラスト変化により耐え得ることができる。   In addition, the black-eye center detecting unit 23 of the line-of-sight direction specifying system according to the present embodiment has determined that the threshold value for the difference is 15 pixels, but this may be set to 1/15 of the average contrast value near the eye. Can withstand changes in contrast.

また、本実施形態に係る視線方向特定システムにおいては、各ステップにおいて目尻、口元、黒目中心、黒目方向、顔位置、顔方向及び視線方向を検出することができなかったことについて説明していないが、一般的な例外処理と同様に、エラー表示を行って終了処理を行うこともできる。また、エラー表示を行った場合に、通常の使用者であればエラーの意味が理解できない場合もあるため、例えば、エラーとなった画像を表示するようにすることもできる。
また、本実施形態に係る視線方向特定システムにおいては、目尻と口元を対象としているが、容易に検出できる特徴点であれば顔の他の部位であってもよい。
Further, although the line-of-sight specifying system according to the present embodiment does not describe that the corner of the eye, the mouth, the center of the black eye, the black-eye direction, the face position, the face direction, and the line-of-sight direction could not be detected in each step. Similarly to general exception processing, it is also possible to display an error and perform termination processing. Further, when an error is displayed, an ordinary user may not understand the meaning of the error. For example, an error image can be displayed.
Further, in the line-of-sight direction identifying system according to the present embodiment, the eye corners and the mouth are targeted, but other parts of the face may be used as long as they can be easily detected.

(本発明の第2の実施形態)
本発明の第2の実施形態に係る視線方向特定システムについて、図6に基づき説明する。図6は本実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。
本実施形態に係る視線方向特定システムは、前記第1の実施形態に係る視線方向特定システムと同様に構成され、使用者の視線方向を検出し、前記ディスプレイの表示面と視線方向が交わる場合に、交点部分にカーソルを表示させることを異にする構成である。
(Second embodiment of the present invention)
A line-of-sight direction specifying system according to a second embodiment of the present invention will be described with reference to FIG. FIG. 6 shows a keyboard displayed on the display of the line-of-sight direction identifying system according to the present embodiment.
The line-of-sight direction specifying system according to the present embodiment is configured in the same manner as the line-of-sight direction specifying system according to the first embodiment. When the line-of-sight direction of the display intersects with the display surface of the display, the line-of-sight direction of the user is detected. In this configuration, the cursor is displayed at the intersection.

本実施形態に係る視線方向特定システムは、前記第1の実施形態に係る視線方向特定システムの動作と略同じであるが、前記ステップ71でシステムが特定したキーをステップ72で注視したものと同一であるかを使用者に問うことなく、図6に示すように、特定したキーのみブラシングし、さらに、カーソルで指す。また、ステップ42でカメラが所定時間後に撮像をしているが、所定間隔毎に撮像し、ステップ51ないしステップ71の処理を行いキーを特定することで、より迅速にキー入力を行うことができる。また、特定したキーが前記ブラシングし、そのまま注視することで確定となって次のキー入力に移行することもできる。すなわち、ブラシングした状態で注視を止めることで確定を停止し、次のキー入力に移行することができる。確定を停止する状態としては、システム側がキーの特定を誤った場合もあるが、使用者側の入力ミスを考えることができる。この実施形態では、CCDカメラ11が所定間隔毎に撮像していることで、使用者が慣れれば、所定間隔を短くし、高速のキー入力を実現することができる。特に、人間の視点移動はトレーニングにより著しく向上することが知られている。   The line-of-sight direction specifying system according to the present embodiment is substantially the same as the operation of the line-of-sight direction specifying system according to the first embodiment, but is the same as that in which the key specified by the system in step 71 is watched in step 72. As shown in FIG. 6, only the specified key is brushed and further pointed by the cursor without asking the user whether or not it is. Further, although the camera is capturing images after a predetermined time in step 42, it is possible to perform key input more quickly by capturing images at predetermined intervals, performing the processing of steps 51 to 71 and specifying the keys. . Further, the specified key is brushed and can be confirmed by gazing as it is, so that the next key input can be performed. That is, by stopping gaze in the brushed state, the confirmation can be stopped and the next key input can be performed. As a state where the confirmation is stopped, the system side may mistakenly specify the key, but an input error on the user side can be considered. In this embodiment, since the CCD camera 11 captures images at predetermined intervals, if the user gets used, the predetermined intervals can be shortened and high-speed key input can be realized. In particular, it is known that human viewpoint movement is significantly improved by training.

このように本実施形態に係る視線方向特定システムによれば、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるので、継続的に使用者は自分が注視している部分と、システムが特定している注視部分とを比較することができる。
なお、本実施形態に係る視線方向特定システムにおいては、前記カーソルをそのままGUIのカーソル操作に用いることもできる。
As described above, according to the line-of-sight direction specifying system according to the present embodiment, when the line-of-sight direction of the user is detected and the display surface of the display device intersects with the line-of-sight direction, the cursor is displayed at the intersection portion. In addition, the user can compare the portion of the user's gaze with the portion of the gaze identified by the system.
In the line-of-sight direction identifying system according to the present embodiment, the cursor can be used as it is for a GUI cursor operation.

(本発明の第3の実施形態)
本発明の第3の実施形態に係る視線方向特定システムについて、図7に基づき説明する。図7は本実施形態に係る視線方向特定システムのディスプレイに表示された輪郭画像である。
本実施形態に係る視線方向特定システムは、前記第1の実施形態に係る視線方向特定システムと同様に構成され、ディスプレイ30に前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示することを異にする構成である。具体的には、図に示すように検出した目尻、口元及び黒目中心を明示する。
(Third embodiment of the present invention)
A gaze direction specifying system according to a third embodiment of the present invention will be described with reference to FIG. FIG. 7 is a contour image displayed on the display of the line-of-sight direction identifying system according to the present embodiment.
The line-of-sight direction specifying system according to the present embodiment is configured in the same manner as the line-of-sight direction specifying system according to the first embodiment, displays the reference image on the display 30, and further detects the corner of the eye and the mouth detected from the reference image, In this configuration, the center of the black eye detected from the reference image is clearly indicated in the displayed reference image. Specifically, as shown in the figure, the detected corner of the eye, the mouth and the center of the black eye are clearly shown.

本実施形態に係る視線方向特定システムは、前記第1の実施形態に係る視線方向特定システムの動作と略同じであり、ステップ23の後に、前記図に示すように検出した目尻、口元及び黒目中心を明示するフローである。   The line-of-sight direction specifying system according to the present embodiment is substantially the same as the operation of the line-of-sight direction specifying system according to the first embodiment, and after step 23, the detected eye corners, mouth corners, and black eye centers are detected as shown in the figure. It is a flow that clearly states.

このように本実施形態に係る視線方向特定システムによれば、ディスプレイ30を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するので、間違った検出を前提として視線方向の特定を行うことを防止することができる。   As described above, according to the line-of-sight direction specifying system according to the present embodiment, the display 30 includes the reference image, and further displays the reference image, and further displays the corner of the eye and the mouth detected from the reference image, and the center of the black eye detected from the reference image. Since it is clearly shown in the image, it is possible to prevent the line-of-sight direction from being specified on the assumption of erroneous detection.

(本発明のその他の実施形態)
前記各実施形態に係る視線方向特定システムにおいては、黒目方向特定手段25がより具体的には、シンボルaについての基準画像のときの眼が図8(a)のように目頭、黒目中心、目尻の3点で構成される三角形の各辺、角度が形成され、シンボルdについて画像のときの眼が図8(b)のように目頭、黒目中心、目尻の3点で構成される三角形の各辺、角度が形成され、他のシンボルのときも形成される三角形が異なり、この三角形の各辺、角度(一部であってもよい)の比率により黒目方向を特定することができる。また、一方の目の目尻及び黒目中心と、他方の目の目頭とでできる三角形であってもよい。
(Other embodiments of the present invention)
In the line-of-sight direction specifying system according to each of the above embodiments, more specifically, the eye when the black-eye direction specifying unit 25 is the reference image for the symbol a is as shown in FIG. 8A. Each side and angle of a triangle composed of three points is formed, and each of the triangles composed of three points of the eye, the center of the black eye, and the corner of the eye as shown in FIG. Sides and angles are formed, and the triangles formed for other symbols are also different, and the black eye direction can be specified by the ratio of each side and angle (may be a part) of the triangles. Further, it may be a triangle formed by the corner of one eye and the center of the black eye, and the top of the other eye.

前記各実施形態に係る視線方向特定システムにおいては、システムの動作は前記ステップ11ないしステップ72までのステップがなされるが、ステップ11ないしステップ32のステップ(すなわち、基準画像の取得、目尻、口元及び黒目中心の検出。)はそれぞれの使用者が初回に1回のみ行い、かかる初回の処理で得られる情報を保存し、再び同じ使用者が使用する場合には保存した情報を読み出すようにすることもでき、2回目以降の使用は使用者がステップ11ないしステップ32までのステップを省略することができ、実際のキー入力をすぐに行うことができる。さらに、顔認識システムを本システムとあわせて用いることにより、顔認識システムにより使用者を特定し、本システムで特定された使用者の情報を読出し、ステップ32以降のステップに移行することで、より利便性の高いシステムを構築することができる。ここで、顔認識システムを挙げたのは、本システムでCCDカメラ11を用いてるからであり、機器の追加がないからである。よって、顔認識システムに限らず、指紋認証システム等の他の個人特定システムを適用してもよいが、できればCCDカメラ11を用いて撮像装置を流用することが望ましい。   In the line-of-sight direction identifying system according to each of the embodiments described above, the operation of the system is performed through steps 11 to 72, but the steps 11 to 32 (that is, acquisition of the reference image, the corner of the eye, the mouth, The detection of the center of the black eye is performed only once by each user for the first time, and the information obtained by the initial processing is stored, and when the same user uses it again, the stored information is read out. In the second and subsequent uses, the user can omit steps 11 to 32, and the actual key input can be performed immediately. Further, by using the face recognition system in combination with the present system, the user is identified by the face recognition system, the user information identified by the present system is read, and the process proceeds to the steps after step 32. A highly convenient system can be constructed. Here, the face recognition system is cited because the CCD camera 11 is used in this system, and no device is added. Therefore, not only the face recognition system but also other personal identification systems such as a fingerprint authentication system may be applied. However, it is desirable to use the CCD camera 11 to divert the imaging device if possible.

また、図9に前記各実施形態に関する各種実験結果の図を示す。図9(a)は目周辺の輪郭画像を曲座標にしたものであり、図9(b)は黒目中心を求めて実際の撮像画像に重畳させて表示したものであり、図9(c)は黒目中心を求める過程で導出される画素値である。   FIG. 9 shows a diagram of various experimental results related to each of the embodiments. FIG. 9A shows the contour image around the eye as the melody coordinates, and FIG. 9B shows the center of the black eye obtained by superimposing it on the actual captured image, and FIG. Is a pixel value derived in the process of obtaining the center of the black eye.

本発明の第1の実施形態に係る視線方向特定システムの構成ブロック図である。1 is a configuration block diagram of a line-of-sight direction identifying system according to a first embodiment of the present invention. 本発明の第1の実施形態に係る視線方向特定システムの前に使用者が対面した概観図である。It is the general-view figure which the user faced before the gaze direction specific system which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る視線方向特定システムのディスプレイに表示されたシンボルである。It is the symbol displayed on the display of the gaze direction specific system which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る実施形態に係る視線方向特定システムの動作フローチャートである。It is an operation | movement flowchart of the gaze direction identification system which concerns on embodiment which concerns on the 1st Embodiment of this invention. 本発明の第1の実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。It is the keyboard displayed on the display of the gaze direction specific system which concerns on the 1st Embodiment of this invention. 本発明の第2の実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。It is the keyboard displayed on the display of the gaze direction specific system which concerns on the 2nd Embodiment of this invention. 本発明の第3の実施形態に係る視線方向特定システムのディスプレイに表示された輪郭画像である。It is the outline image displayed on the display of the gaze direction specific system which concerns on the 3rd Embodiment of this invention. 本発明のその他の実施形態に係る視線方向特定システムの黒目方向特定の説明図である。It is explanatory drawing of black-eye direction specification of the gaze direction specification system which concerns on other embodiment of this invention. 各実施形態に関する各種実験結果の図である。It is a figure of the various experimental results regarding each embodiment.

符号の説明Explanation of symbols

10 撮像装置
11 CCDカメラ
21 目尻検出手段
22 口元検出手段
23 黒目中心検出手段
24 顔位置方向特定手段
25 黒目方向特定手段
26 視線方向特定手段
27 表示手段
28 選択キー特定手段
30 ディスプレイ
40 コンピュータ

DESCRIPTION OF SYMBOLS 10 Image pick-up device 11 CCD camera 21 Eyes corner detection means 22 Mouth detection means 23 Black eye center detection means 24 Face position direction specification means 25 Black eye direction specification means 26 Gaze direction specification means 27 Display means 28 Selection key specification means 30 Display 40 Computer

Claims (10)

撮像装置と、当該撮像装置により撮像した画像内の両眼の目尻を検出する目尻検出手段と、同撮像した画像内の両口元(口角)を検出する口元検出手段と、同撮像した画像内の黒目中心を検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えることを
特徴とする視線方向特定システム。
An imaging device, an eye corner detection unit that detects the corners of both eyes in an image captured by the imaging device, a mouth detection unit that detects both mouths (mouth corners) in the captured image, and an image in the captured image A black eye center detecting means for detecting the center of black eyes, a face position direction specifying means for specifying the position and direction of the face from the eye corner detected by the eye corner detecting means and the mouth detected by the mouth detecting means, and the black eye center detecting means. Black eye direction specifying means for specifying a black eye direction from the detected black eye center, and a gaze direction specification for specifying a gaze direction from the face position and direction specified by the face position direction specifying means and the black eye direction specified by the black eye direction specifying means. And a gaze direction identification system.
前記請求項1に記載の視線方向特定システムにおいて、
任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置により撮像し、当該撮像した基準画像から前記目尻検出手段が目尻を検出し、基準画像から前記口元検出手段が口元を検出し、基準画像から前記黒目中心検出手段が黒目中心を検出し、
使用者の視線を検出するための撮像を撮像装置が行い、当該撮像した視線検出するための画像から前記目尻検出手段が目尻を検出し、視線検出するための画像から前記口元検出手段が口元を検出し、視線検出するための画像から前記黒目中心検出手段が黒目中心を検出し、
前記顔位置方向特定手段が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、
前記黒目方向特定手段が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、
前記視線方向特定手段が、前記顔の位置及び方向並びに黒目方向から視線方向を特定することを
特徴とする視線方向特定システム。
In the gaze direction identification system according to claim 1,
An image is picked up by the imaging device with the user facing the front with respect to an arbitrarily settable reference surface, the eye corner detection means detects the eye corner from the captured reference image, and the mouth detection means from the reference image Detecting the mouth, the black eye center detection means detects the black eye center from the reference image,
The imaging device performs imaging for detecting the user's line of sight, the eye corner detection means detects the eye corner from the image for detecting the captured line of sight, and the mouth detection means detects the mouth from the image for line of sight detection. The black eye center detecting means detects the black eye center from the image for detecting and detecting the line of sight,
The face position direction specifying means specifies the position and direction of the face from the corner of the eye and the mouth detected from the reference image and the corner of the eye and the mouth detected from the image for line-of-sight detection,
The black eye direction specifying means specifies the black eye direction from the black eye center detected from the reference image and the black eye center detected from the image for line-of-sight detection,
The line-of-sight direction identifying system characterized in that the line-of-sight direction identifying means identifies the line-of-sight direction from the position and direction of the face and the black eye direction.
前記請求項2に記載の視線方向特定システムにおいて、
使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置により撮像し、撮像した画像を基準画像として用いることを
特徴とする視線方向特定システム。
In the gaze direction identifying system according to claim 2,
An eye-gaze direction specifying system, wherein a user takes an image with the imaging device each time a plurality of designated gazing points are gazeed in a state in which the user faces the reference surface, and uses the captured image as a reference image.
前記請求項1ないし3のいずれかに記載の視線方向特定システムにおいて、
前記顔位置方向特定手段が顔の位置及び方向を特定する場合にアフィン変換を用いたことを
特徴とする視線方向特定システム。
In the gaze direction identification system according to any one of claims 1 to 3,
An eye-gaze direction identification system using affine transformation when the face position / direction identification unit identifies the position and direction of a face.
前記請求項1ないし4のいずれかに記載の視線方向特定システムにおいて、
前記黒目中心検出手段は、極座標変換を用いて黒目中心を検出することを
特徴とする視線方向特定システム。
In the gaze direction identification system according to any one of claims 1 to 4,
The eye-gaze direction identifying system, wherein the black-eye center detecting means detects a black-eye center using polar coordinate transformation.
前記請求項1ないし5のいずれかに記載の視線方向特定システムにおいて、
表示装置を備え、
前記基準面が表示装置の表示面であることを
特徴とする視線方向特定システム。
In the gaze direction identifying system according to any one of claims 1 to 5,
A display device,
The line-of-sight direction identifying system, wherein the reference plane is a display plane of a display device.
前記請求項6に記載の視線方向特定システムにおいて、
前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定することを
特徴とする視線方向特定システム。
In the gaze direction identifying system according to claim 6,
A gaze direction identification system characterized by displaying a keyboard on the display device, detecting a gaze direction of a user on the displayed keyboard, and identifying a key ahead of the gaze direction.
前記請求項6に記載の視線方向特定システムにおいて、
使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させることを
特徴とする視線方向特定システム。
In the gaze direction identifying system according to claim 6,
A gaze direction specifying system, wherein a gaze direction of a user is detected, and a cursor is displayed at an intersection when the gaze direction intersects with the display surface of the display device.
前記請求項2に記載の視線方向特定システムにおいて、
表示装置を備え、
前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示することを
特徴とする視線方向特定システム。
In the gaze direction identifying system according to claim 2,
A display device,
The eye gaze direction specifying system characterized in that the reference image is displayed, and further, the eye corner and the mouth detected from the reference image and the center of the black eye detected from the reference image are clearly shown in the displayed reference image.
前記請求項2に記載の視線方向特定システムにおいて、
前記基準画像が、可視波長の画像であることを
特徴とする視線方向特定システム。

In the gaze direction identifying system according to claim 2,
The line-of-sight direction identifying system, wherein the reference image is an image having a visible wavelength.

JP2004338939A 2004-11-24 2004-11-24 Gaze direction identification system Active JP4654434B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004338939A JP4654434B2 (en) 2004-11-24 2004-11-24 Gaze direction identification system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004338939A JP4654434B2 (en) 2004-11-24 2004-11-24 Gaze direction identification system

Publications (2)

Publication Number Publication Date
JP2006141862A true JP2006141862A (en) 2006-06-08
JP4654434B2 JP4654434B2 (en) 2011-03-23

Family

ID=36622185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004338939A Active JP4654434B2 (en) 2004-11-24 2004-11-24 Gaze direction identification system

Country Status (1)

Country Link
JP (1) JP4654434B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009001921A1 (en) 2008-04-28 2009-11-19 Omron Corporation Apparatus and method for determining a line of sight
US7862172B2 (en) 2007-10-25 2011-01-04 Hitachi, Ltd. Gaze direction measuring method and gaze direction measuring device
KR101458295B1 (en) * 2013-02-14 2014-11-04 인하대학교 산학협력단 Keyboard input system and the method using eye tracking
JP2016057906A (en) * 2014-09-10 2016-04-21 国立研究開発法人産業技術総合研究所 Measurement method and system of viewpoint position
JP2018519601A (en) * 2015-03-10 2018-07-19 アイフリー アシスティング コミュニケ−ション リミテッドEyeFree Assisting Communication Ltd. System and method enabling communication by eye feedback
US11612342B2 (en) 2017-12-07 2023-03-28 Eyefree Assisting Communication Ltd. Eye-tracking communication methods and systems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02138673A (en) * 1988-07-14 1990-05-28 A T R Tsushin Syst Kenkyusho:Kk Image pickup device
JPH0546309A (en) * 1991-08-19 1993-02-26 Fuji Xerox Co Ltd Sight line recognizing device
JPH05298015A (en) * 1992-04-23 1993-11-12 Matsushita Electric Ind Co Ltd Glance detecting system and information processing system
JPH06105808A (en) * 1992-09-29 1994-04-19 A T R Shichokaku Kiko Kenkyusho:Kk Depth perception analyzer
JP2003015816A (en) * 2001-06-29 2003-01-17 Honda Motor Co Ltd Face/visual line recognizing device using stereo camera
JP2003079577A (en) * 2001-09-12 2003-03-18 Nippon Telegr & Teleph Corp <Ntt> Visual axis measuring apparatus and method, visual axis measuring program, and recording medium recording the same
JP2003196017A (en) * 2001-12-25 2003-07-11 Gen Tec:Kk Data input method and device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02138673A (en) * 1988-07-14 1990-05-28 A T R Tsushin Syst Kenkyusho:Kk Image pickup device
JPH0546309A (en) * 1991-08-19 1993-02-26 Fuji Xerox Co Ltd Sight line recognizing device
JPH05298015A (en) * 1992-04-23 1993-11-12 Matsushita Electric Ind Co Ltd Glance detecting system and information processing system
JPH06105808A (en) * 1992-09-29 1994-04-19 A T R Shichokaku Kiko Kenkyusho:Kk Depth perception analyzer
JP2003015816A (en) * 2001-06-29 2003-01-17 Honda Motor Co Ltd Face/visual line recognizing device using stereo camera
JP2003079577A (en) * 2001-09-12 2003-03-18 Nippon Telegr & Teleph Corp <Ntt> Visual axis measuring apparatus and method, visual axis measuring program, and recording medium recording the same
JP2003196017A (en) * 2001-12-25 2003-07-11 Gen Tec:Kk Data input method and device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7862172B2 (en) 2007-10-25 2011-01-04 Hitachi, Ltd. Gaze direction measuring method and gaze direction measuring device
DE102009001921A1 (en) 2008-04-28 2009-11-19 Omron Corporation Apparatus and method for determining a line of sight
US8285004B2 (en) 2008-04-28 2012-10-09 Omron Corporation Line of sight detecting device and method
KR101458295B1 (en) * 2013-02-14 2014-11-04 인하대학교 산학협력단 Keyboard input system and the method using eye tracking
JP2016057906A (en) * 2014-09-10 2016-04-21 国立研究開発法人産業技術総合研究所 Measurement method and system of viewpoint position
JP2018519601A (en) * 2015-03-10 2018-07-19 アイフリー アシスティング コミュニケ−ション リミテッドEyeFree Assisting Communication Ltd. System and method enabling communication by eye feedback
JP7016263B2 (en) 2015-03-10 2022-02-04 アイフリー アシスティング コミュニケ-ション リミテッド Systems and methods that enable communication through eye feedback
US11883101B2 (en) 2015-03-10 2024-01-30 Eyefree Assisting Communication Ltd. System and method for enabling communication through eye feedback
US11612342B2 (en) 2017-12-07 2023-03-28 Eyefree Assisting Communication Ltd. Eye-tracking communication methods and systems

Also Published As

Publication number Publication date
JP4654434B2 (en) 2011-03-23

Similar Documents

Publication Publication Date Title
US9921663B2 (en) Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
US8135173B2 (en) Eye-tracking method and eye-tracking system for implementing the same
JP3673834B2 (en) Gaze input communication method using eye movement
WO2017133605A1 (en) Method and device for facial tracking and smart terminal
JP2019075162A (en) Image processing apparatus
US20160004303A1 (en) Eye gaze tracking system and method
EP3608755A1 (en) Electronic apparatus operated by head movement and operation method thereof
JPH113429A (en) Observer tracking automatic stereoscopic display device, image tracking system, and image tracking method
GB2598016A (en) Biometric authentication apparatus and biometric authentication method
TW200947262A (en) Non-contact type cursor control method using human eye, pupil tracking system and storage media
WO2010142455A2 (en) Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze
US10692230B2 (en) Document imaging using depth sensing camera
JP5103682B2 (en) Interactive signage system
JP2007163864A (en) Display control apparatus, display control method, display control program, and display control program recording medium
US11080888B2 (en) Information processing device and information processing method
Al-Rahayfeh et al. Enhanced frame rate for real-time eye tracking using circular hough transform
JP4654434B2 (en) Gaze direction identification system
WO2020054760A1 (en) Image display control device and program for controlling image display
CN114022514A (en) Real-time sight line inference method integrating head posture and eyeball tracking
EP2261772A1 (en) Method for controlling an input device based on the detection of attitude or eye gaze
JPWO2022074865A5 (en) LIFE DETECTION DEVICE, CONTROL METHOD, AND PROGRAM
Takemura et al. Estimating point-of-regard using corneal surface image
US10824237B2 (en) Screen display control method and screen display control system
EP2261857A1 (en) Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze
JP5068711B2 (en) Object shape recognition system and object shape recognition method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150