JP2008029702A - Method and device for detecting pupil - Google Patents
Method and device for detecting pupil Download PDFInfo
- Publication number
- JP2008029702A JP2008029702A JP2006208355A JP2006208355A JP2008029702A JP 2008029702 A JP2008029702 A JP 2008029702A JP 2006208355 A JP2006208355 A JP 2006208355A JP 2006208355 A JP2006208355 A JP 2006208355A JP 2008029702 A JP2008029702 A JP 2008029702A
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- image
- dark
- bright
- corneal reflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、撮影した画像によって、対象者の瞳孔を検出する方法及びそのための装置に関するものである。 The present invention relates to a method for detecting a pupil of a subject based on a photographed image and an apparatus therefor.
対象者の瞳孔を検出する技術は、例えば、肢体が不自由な対象者の意志伝達のための視線検知、対象者の瞳孔の動きによって指を用いることなくコンピュータやゲーム機器への入力を行う瞳孔マウス、自動車を運転中の対象者の視線検知などに活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献１では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献２では、２台のカメラと２個の光源により瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。 The technology for detecting the subject's pupil includes, for example, eye detection for transmitting the will of the subject who is physically incapacitated, and a pupil that performs input to a computer or game device without using a finger by movement of the subject's pupil It can be used for detecting the line of sight of a subject driving a mouse or car. The inventor has developed a technique for detecting a pupil from an image photographed by a camera. For example, Patent Document 1 discloses a technique in which the detected position coordinate of the pupil is used as a cursor position control signal. Patent Document 2 discloses a technique for determining the three-dimensional position of the viewpoint viewed by the subject by detecting the positions of the pupil and the corneal reflection point using two cameras and two light sources.
これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔画像又は暗瞳孔画像のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像から暗瞳孔を撮影した画像を差し引く差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができる。 In these techniques, for detection of the pupil, a method is used in which the pupil portion is distinguished from the surrounding image by subtracting the bright pupil image and the dark pupil image captured by the camera. When a light source such as near-infrared light is provided near the camera's aperture and the subject's face is irradiated with light along the optical axis of the camera, the light reaches the retina from the pupil and is reflected, and the lens and cornea are reflected. Go back to the camera opening. In this image, the pupil is photographed brightly, and the image is called a bright pupil image. On the other hand, if the subject's face is illuminated with light from a light source away from the camera opening, the light reflected from the retina hardly enters the camera opening, so the pupil is photographed darkly, and the image is darkened. This is called a pupil image. The size of the pupil changes depending on the brightness of the surroundings, and becomes small and difficult to detect particularly in bright places. In addition, in glasses wearers, some of the glasses near the pupil may cause reflection, so it is difficult to detect the pupil from a single image using either a bright pupil image or a dark pupil image. Accompany. However, when subtracting the image obtained by photographing the dark pupil from the image obtained by photographing the bright pupil, the surrounding portions other than the pupil portion have almost the same brightness in both images, so that they cancel each other out. Only the pupils that have a difference will be highlighted. Thereby, the pupil can be easily detected.
このような明瞳孔画像と暗瞳孔画像の差分から瞳孔部を検出する際に、瞳孔部がより明瞭に浮き彫りになるような工夫もなされている。例えば、特許文献３では、明瞳孔を撮影する時の照明よりも暗瞳孔を撮影する時の照明を明るくしておき、明瞳孔画像から暗瞳孔画像を差し引いた差分画像を求めることとしている。そうすると、瞳孔部以外の箇所では、差分値が通常は負になることから、多少の外乱や演算時のノイズがあっても、差分値が正の値として現れるのは瞳孔部のみとなり、差分画像において、瞳孔部を明確にすることができる。
しかし、これらの瞳孔検出の技術では、明瞳孔撮影用の光源と暗瞳孔撮影用の光源を交互に点灯して撮影することから、明瞳孔画像と暗瞳孔画像の撮影は時間差を伴っており、その間に対象者の顔が動くと、両画像における明瞳孔と暗瞳孔の位置にずれが生じることになり、画像差分によって瞳孔の位置を正確に検出できない場合がある。例えば、ＮＴＳＣ方式のカメラ撮影における１／３０秒毎の１フレームを構成する奇数フィールドと偶数フィールドとをそれぞれ明瞳孔画像と暗瞳孔画像とした場合、両画像の撮影には、１／６０秒の時間差があり、その間の顔の移動によって、両画像における瞳孔の位置にずれが生じる。それでも、両画像における瞳孔部分が一部分重なっていれば、その重なり部分には、両画像の差分を取った効果が現れて、重なり部分が輝度の高い箇所となって検知できる。しかしながら、この場合でも、この重なり部分を瞳孔の位置とすると、明瞳孔撮影時の瞳孔の位置とも暗瞳孔撮影時の瞳孔の位置とも異なるその中間時の位置となり、正確な瞳孔位置を表さないことになる。 However, in these pupil detection technologies, since the light source for bright pupil imaging and the light source for dark pupil imaging are alternately turned on for imaging, the imaging of the bright pupil image and the dark pupil image has a time difference, If the face of the subject moves during that time, the positions of the bright and dark pupils in both images will be shifted, and the position of the pupil may not be accurately detected by the image difference. For example, when an odd field and an even field constituting one frame every 1/30 seconds in NTSC camera shooting are a bright pupil image and a dark pupil image, respectively, 1/60 seconds are required for shooting both images. There is a time difference, and the movement of the face between them causes a shift in the position of the pupil in both images. If the pupil portions in both images still overlap, the effect of taking the difference between the two images appears in the overlapping portion, and the overlapping portion can be detected as a location with high luminance. However, even in this case, if this overlapping portion is the pupil position, it is an intermediate position that is different from the pupil position at the time of bright pupil imaging and the pupil position at the time of dark pupil imaging, and does not represent an accurate pupil position. It will be.
さらに、両画像における瞳孔の位置が重なることのない状態までにずれてしまうと、画像を差分する効果がないことになり、瞳孔の位置の検出が困難になる。また、瞳孔の近くでメガネの反射等の高輝度の部分があると、明瞳孔画像と暗瞳孔画像におけるそれらの高輝度部分の位置が一致していれば差分を取ることで消去されるにもかかわらず、両画像がずれていると差分をしても高輝度部分として残るために瞳孔と区別が付かなくなることもある。このように、明瞳孔を撮影した画像と暗瞳孔を撮影した画像がずれると、瞳孔を精度よく検出することが困難になる。 Furthermore, if the positions of the pupils in both images deviate to a state where they do not overlap, there will be no effect of differentiating the images, making it difficult to detect the position of the pupil. In addition, if there is a high-luminance part such as the reflection of glasses near the pupil, if the position of the high-luminance part in the bright and dark pupil images coincides, it can be erased by taking the difference Regardless, if the two images are misaligned, even if the difference is made, it remains as a high-intensity part, so it may not be distinguished from the pupil. As described above, if the image obtained by photographing the bright pupil and the image obtained by photographing the dark pupil are shifted, it becomes difficult to detect the pupil with high accuracy.
そのために、本発明者は、明瞳孔を撮影した画像及び暗瞳孔を撮影した画像のそれぞれにおける鼻孔の位置を検出し、その間の鼻孔の位置のずれを顔の移動量として、そのずれの量の分だけ先の画像を後の画像の位置にずらす位置補正をした上で、両画像の差分をとって瞳孔の位置を検出する技術を開発し、特願２００６−９８５１２号として出願している。しかし、瞳孔とともに鼻孔を撮影するためには、カメラの位置を下方に設置して対象者の顔を下方から見上げる方向に撮影せざるを得ない制約がある。また、鼻孔と瞳孔の位置が離れていることから、鼻孔の移動と瞳孔の移動が必ずしも同じでないことや、鼻孔が比較的に大きいことから、両画像での精密な鼻孔の位置を特定しづらい場合も生じる。さらに、対象者の視線を検知しようとする場合は、瞳孔中心の位置と、光源からの光が角膜で反射した角膜反射位置との相対位置から視線を求めることになるため、これに加えて鼻孔の位置検出を行うと、瞳孔、角膜反射位置、鼻孔の３つの位置検出が必要となり、演算負担が大きくなる問題もある。 Therefore, the present inventor detects the position of the nostril in each of the image obtained by photographing the bright pupil and the image obtained by photographing the dark pupil, and the deviation of the position of the nostril therebetween is defined as the amount of movement of the face. A technique for detecting the position of the pupil by taking the difference between the two images after correcting the position by shifting the previous image to the position of the subsequent image has been filed as Japanese Patent Application No. 2006-98512. However, in order to photograph the nostrils together with the pupil, there is a restriction that the camera position must be set downward and the subject's face must be looked up from below. Also, because the nostrils and pupils are separated, the movement of the nostrils and the movement of the pupils are not necessarily the same, and the nostrils are relatively large, so it is difficult to specify the precise nostril position in both images. Sometimes it happens. Furthermore, when trying to detect the line of sight of the subject, the line of sight is obtained from the relative position between the position of the pupil center and the corneal reflection position where the light from the light source is reflected by the cornea. If the position detection is performed, it is necessary to detect three positions of the pupil, the corneal reflection position, and the nostril, and there is a problem that the calculation burden increases.
本発明は、これらの問題を解決するためになされたものであり、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれを容易に解消して、ロバスト性と精度の高い瞳孔の検出方法及び装置を提供することを目的とする。 The present invention has been made to solve these problems, and easily eliminates the position shift of the pupil portion due to the time difference between the image obtained by photographing the bright pupil and the image obtained by photographing the dark pupil. An object of the present invention is to provide a highly accurate pupil detection method and apparatus.
このような目的を達成するために、本発明の瞳孔を検出する方法は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した画像と、その後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置を検出し、両画像の撮影の時点の間に顔が移動したことに伴う角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を移動する位置補正を行い、位置補正後の両画像を差分するようにしたものである。 In order to achieve such an object, the method for detecting a pupil of the present invention is a method for detecting a pupil by subtracting a bright pupil image from a dark pupil image, and photographing a bright pupil at a certain point in time. Corneal reflection position between the captured image and the image of the dark pupil captured at or after that time, and the amount of deviation of the corneal reflection position due to the movement of the face between the time of capturing both images The position correction is performed by moving the image obtained by photographing the bright pupil or the image obtained by photographing the dark pupil in a direction to cancel the shift by the amount corresponding to the difference between the two images after the position correction.
本発明によれば、明瞳孔と暗瞳孔を撮影した２つの画像における角膜反射位置のずれ量を検出して、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行うことで、両画像の瞳孔部を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、両画像の取得に時間差があるにもかかわらず、明瞳孔と暗瞳孔は位置が一致した状態で差分されて周囲から浮き彫りにされ瞳孔検出が精度よくなされる。角膜反射位置をずれの検出のための基準とすることから、瞳孔とともに角膜部の撮影ができればよいことから、鼻孔のように必ずしも下方から撮影しなければならないというような制約が除かれる。また、角膜反射点は面積が小さく輝度も高いことから、その位置を精度良く検知できるために、精密なずれの量を求めることができる。また、角膜反射位置は、瞳孔に極めて近い位置にあることから、顔の移動の際に瞳孔と近似的な移動がなされ、顔のずれに伴う瞳孔の位置合わせの精度が高いものになる。また、ずれ検知の基準とする角膜反射位置と検出しようとする瞳孔とが極めて位置が近いことから、互いの位置の誤認の可能性が低下する。さらに、顔にもともと備わっている角膜を利用することから、顔に検出基準のためのマーカ等を付ける必要もない。 According to the present invention, the deviation amount of the corneal reflection position in two images obtained by photographing the bright pupil and the dark pupil is detected, and the image obtained by photographing the bright pupil or the image obtained by photographing the dark pupil is converted into the deviation amount of the corneal reflection position. By performing position correction that moves in a direction that cancels the shift by the amount corresponding to, the pupil portions of both images can be substantially matched, and then the difference between the images is made. Therefore, even though there is a time difference between the acquisition of both images, the bright pupil and the dark pupil are differentiated in a state where the positions coincide with each other and are embossed from the surroundings, so that the pupil detection is performed with high accuracy. Since the corneal reflection position is used as a reference for detecting the deviation, it is sufficient that the corneal portion can be imaged together with the pupil. Therefore, the restriction that the image must be taken from below like the nostril is removed. In addition, since the corneal reflection point has a small area and high luminance, the position can be detected with high accuracy, so that a precise amount of deviation can be obtained. In addition, since the corneal reflection position is located very close to the pupil, the movement of the face approximates to the pupil when the face is moved, and the accuracy of the alignment of the pupil due to the face shift becomes high. Moreover, since the position of the corneal reflection as a reference for deviation detection and the pupil to be detected are extremely close to each other, the possibility of misidentification of the positions is reduced. Furthermore, since the cornea originally provided in the face is used, it is not necessary to attach a marker or the like for detection reference to the face.
ここで、両画像の撮影の時点の間に顔が移動したことに伴う角膜反射位置のずれ量に対応する分とは、両画像における角膜反射位置のずれが、顔が移動したことによる瞳孔のずれ量とほぼ同じと考えられるときは、両画像における角膜反射位置のずれ量と同じ量とすればよい。しかし、例えば、明瞳孔撮影時と暗瞳孔撮影時の光源の構成や配置位置によっては、顔が移動しないときでも、明瞳孔を撮影した画像と暗瞳孔を撮影した画像において、角膜反射位置に一定のずれが生じることがあり、そのような場合は、顔が移動しない場合の角膜反射位置のずれ量を補正した上で、角膜反射位置のずれ量に対応する分とすることは当然である。また、位置補正のために移動して差分を行う画像は、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像の全体であっても、瞳孔周辺の一部であってもよい。 Here, the amount corresponding to the shift amount of the corneal reflection position due to the movement of the face between the time of capturing both images means that the shift of the corneal reflection position in both images is caused by the movement of the face. When it is considered that it is almost the same as the amount of deviation, the amount may be the same as the amount of deviation of the corneal reflection position in both images. However, for example, depending on the configuration and position of the light source during bright pupil photography and dark pupil photography, even when the face does not move, the corneal reflection position is constant in the image taken with the bright pupil and the image taken with the dark pupil. In such a case, it is natural to correct the deviation amount of the corneal reflection position when the face does not move, and to make the amount corresponding to the deviation amount of the corneal reflection position. Further, the image that is moved for position correction and is subjected to the difference may be the entire image obtained by photographing the bright pupil or the image obtained by photographing the dark pupil, or may be a part of the periphery of the pupil.
また、本発明において、位置補正において移動する明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、瞳孔及び角膜反射位置を含むように設定したウインドウ領域の画像であることとする場合は、角膜反射位置のずれに対応して位置補正をして、瞳孔検出のための解析を行う画像領域を、瞳孔及び角膜反射位置を含む必要最小限の画像領域とできることから、瞳孔検出の演算効率を高めることができる。 Further, in the present invention, when the image obtained by photographing the bright pupil moving in the position correction or the image obtained by photographing the dark pupil is an image of the window region set so as to include the pupil and the corneal reflection position, Since the image area for which the position correction is performed in response to the deviation of the reflection position and the analysis for the pupil detection is performed can be the minimum necessary image area including the pupil and the corneal reflection position, the calculation efficiency of the pupil detection is increased. be able to.
また本発明において、位置補正を、先に撮影した画像を後に撮影した画像の位置へ移動するものであることとする場合は、後に撮影した画像における瞳孔位置が求まることになる。すなわち最新の画像における瞳孔位置を求め、これを基準として、さらにその後に続く瞳孔の検出を行うことができる。 Further, in the present invention, when the position correction is to move the previously captured image to the position of the subsequently captured image, the pupil position in the later captured image is obtained. That is, the position of the pupil in the latest image can be obtained, and the subsequent pupil can be detected using this as a reference.
また、本発明において、位置補正後の画像における角膜反射位置は、検出された瞳孔の位置とともに、視線の検知に用いるものであることとする場合は、瞳孔の検出の基準とするために求めた角膜反射位置を、検出された瞳孔の位置とともに、視線の検知に使用することができ、演算の負担をさらに少なくすることができる。また、結果的に、得られる角膜反射位置と瞳孔位置との取得時間が同一であると見なせるため、それらの中心座標から検出する視線精度も向上する。 Further, in the present invention, the corneal reflection position in the position-corrected image is obtained for use as a reference for detection of the pupil when it is to be used for the detection of the gaze together with the detected pupil position. The corneal reflection position, together with the detected pupil position, can be used for line-of-sight detection, further reducing the computational burden. Further, as a result, it can be considered that the acquisition time of the obtained corneal reflection position and the pupil position is the same, so that the line-of-sight accuracy detected from the center coordinates is improved.
また、本発明の瞳孔を検出する装置は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、明瞳孔及び暗瞳孔を撮影する手段と、ある時点に明瞳孔を撮影した画像とその後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置のずれ量を検出する手段と、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行う手段と、位置補正後の両画像を差分することにより瞳孔の位置を求める手段とを備える。 The pupil detection device of the present invention is a device for detecting a pupil by subtracting a bright pupil image from a dark pupil image, and means for photographing a bright pupil and a dark pupil, and a bright light at a certain time. Means for detecting a deviation amount of the corneal reflection position between an image obtained by photographing the pupil and an image obtained by photographing the dark pupil at a subsequent time point or an earlier time point, and an image obtained by photographing the bright pupil or an image obtained by photographing the dark pupil, Means for correcting the position of movement in a direction that cancels the shift by an amount corresponding to the shift amount of the corneal reflection position, and means for determining the position of the pupil by subtracting the two images after the position correction.
本発明の瞳孔を検出する装置によれば、撮影手段によって明瞳孔と暗瞳孔を撮影した２つの画像における角膜反射位置のずれ量を検出手段によって検出して、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を位置補正手段によって行うことで、両画像の瞳孔部を実質的に一致させることができ、その上で、画像の差分をすることにより瞳孔の位置を求めることができる。そのため、両画像の取得に時間差があるにもかかわらず、明瞳孔と暗瞳孔は位置が一致した状態で差分されて瞳孔が周囲から浮き彫りにされ瞳孔位置検出が精度良くなされる。 According to the apparatus for detecting a pupil of the present invention, an image obtained by photographing a bright pupil or a dark pupil by detecting a deviation amount of a corneal reflection position in two images obtained by photographing a bright pupil and a dark pupil by an imaging unit. By performing position correction by the position correction means to move the image taken in the direction that cancels the shift by an amount corresponding to the shift amount of the corneal reflection position, the pupil portions of both images can be substantially matched. In addition, the position of the pupil can be obtained by subtracting the images. Therefore, although there is a time difference in the acquisition of both images, the bright pupil and the dark pupil are differentiated in a state where the positions coincide with each other, the pupil is embossed from the surroundings, and the pupil position is detected with high accuracy.
なお、本明細書における明瞳孔及び暗瞳孔について述べると、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した２つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。 Note that the bright pupil and dark pupil in this specification are described. Depending on conditions such as ambient brightness, the image of the pupil portion is not always brighter than the surrounding image, even in the bright pupil. Even if it is a pupil, the image of a pupil part is not necessarily darker than the surrounding image. The bright pupil and the dark pupil in this specification have a relative brightness difference between the pupils in the two images taken at that time, and the bright pupil is relatively brighter than the dark pupil. That's what it means.
本発明は、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれを容易に解消して、ロバスト性と精度の高い瞳孔の検出方法及び装置を提供することができる。 The present invention provides a method and apparatus for detecting a pupil with high robustness and high accuracy by easily eliminating a shift in the position of the pupil due to a time difference between an image obtained by photographing a bright pupil and an image obtained by photographing a dark pupil. it can.
以下、図面に基づいて、本発明による瞳孔を検出する方法及び装置の好適な実施形態について詳細に説明する。図１は、本実施形態の瞳孔検出に使用する装置の概念図である。瞳孔検出装置１には、撮影手段としてのカメラ２と光源３が含まれる。カメラ２としては、ＮＴＳＣ方式のＣＣＤカメラを用いることができる。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームは、奇数ラインだけの奇数フィールドと偶数ラインだけの偶数フィールドから構成されることから、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に得られる。対象者の顔を照明する近赤外線の光源３は、カメラの開口（又は開口の延長部分）２１の周囲の近い位置にリング状に配置した多数のＬＥＤから構成するリング状光源３１と、カメラの開口２１から遠い位置にリング状光源３１の外周に配置した多数のＬＥＤから構成するリング状光源３２からなる。ＬＥＤから発光される光は、例えば８５０ｎｍ程度の近赤外線としておくことで、照明を受ける対象者の瞳孔の収縮等の影響を与えない。カメラ２の奇数フィールドの撮影時にカメラの開口２１に近い位置の光源３１を点灯するようにし、偶数フィールドの撮影時にカメラの開口２１から遠い位置の光源３２を点灯するようにすると、奇数フィールドでは明瞳孔が撮影され、偶数フィールドでは暗瞳孔が撮影されることになる。 Hereinafter, preferred embodiments of a method and apparatus for detecting a pupil according to the present invention will be described in detail with reference to the drawings. FIG. 1 is a conceptual diagram of an apparatus used for pupil detection according to the present embodiment. The pupil detection device 1 includes a camera 2 and a light source 3 as photographing means. As the camera 2, an NTSC type CCD camera can be used. In the NTSC system, one frame obtained in 30 seconds per second is composed of an odd field with only odd lines and an even field with only even lines, so that an odd field image and an even field image are 1/60 second. Are obtained alternately at intervals. The near-infrared light source 3 that illuminates the face of the subject includes a ring-shaped light source 31 composed of a number of LEDs arranged in a ring shape at a position near the periphery of the camera opening (or an extension of the opening) 21, The ring-shaped light source 32 includes a large number of LEDs arranged on the outer periphery of the ring-shaped light source 31 at a position far from the opening 21. The light emitted from the LED is, for example, a near infrared ray of about 850 nm so that it does not affect the contraction of the pupil of the subject receiving illumination. When the light source 31 at a position close to the camera opening 21 is turned on when the camera 2 captures an odd field, and the light source 32 at a position far from the camera opening 21 is turned on at the time of even field shooting, the light source 32 is bright in the odd field. The pupil is photographed, and the dark pupil is photographed in the even field.
撮影手段の制御と撮影された画像の解析には、コンピュータ４を用いている。明瞳孔画像と暗瞳孔画像は、６０分の１秒ごとに交互に撮影されるが、それぞれの画像の撮影時にシャッターが長く開いていると、その間の顔の移動によってぶれが生じることから、シャッター速度は、例えば２０００分の1秒程度以下の短い時間にすることが望ましい。そのため、奇数フィールドの撮影時と偶数フィールドの撮影時のそれぞれにおいて、シャッターが開いている期間に合わせて、光源３１と光源３２を点灯させるように制御する。図１の例では、カメラ２からのビデオ信号によって、奇数フィールド,偶数フィールドの判定を行う。次に、奇数、偶数フィールド信号発生回路５からの信号によって、ファンクションシンセサイザ６から、それぞれのフィールドの開始からの遅延信号を発生させて、シャッターが開く時刻に合わせて、ストロボ調光ユニット７によって、光源３１，３２を発光させる。 A computer 4 is used for controlling the photographing means and analyzing the photographed image. The bright pupil image and dark pupil image are alternately photographed every 1 / 60th of a second, but if the shutter is opened for a long time when each image is photographed, the movement of the face during that time causes blurring. The speed is preferably set to a short time, for example, about 1/2000 second or less. For this reason, the light source 31 and the light source 32 are controlled to be turned on in accordance with the period during which the shutter is open in each of the odd field shooting and the even field shooting. In the example of FIG. 1, the odd field and even field are determined by the video signal from the camera 2. Next, a delay signal from the start of each field is generated from the function synthesizer 6 by a signal from the odd and even field signal generation circuit 5, and the strobe dimming unit 7 in accordance with the time when the shutter opens. The light sources 31 and 32 are caused to emit light.
次に、図２により、瞳孔Ｐと角膜反射位置Ｃについて説明する。カメラ２によって撮影された瞳孔Ｐについては、カメラ開口２１に近い光源３１からの光による照明では、網膜で反射してカメラ開口２１に入射することから、撮影された瞳孔Ｐは明瞳孔となり、カメラ開口２１から遠い光源３２からの照明では、網膜で反射した光がカメラ開口２１に入射しないことから、暗瞳孔となる。そして、明瞳孔と暗瞳孔のそれぞれの画像からは、瞳孔Ｐを検出することが困難であるが、これらを重ね合わせて、明瞳孔画像から暗瞳孔画像を輝度によって差し引くと、瞳孔Ｐを浮き彫りにして検出することができる。一方、角膜反射位置Ｃは、各光源３１，３２からの光が、ほぼ球面状をなす角膜で反射してカメラ開口２１に入射した場合の、角膜での反射点の位置を表している。この角膜反射位置Ｃは、面積では瞳孔Ｐよりも小さなものであるが、輝度が高く、明瞳孔画像と暗瞳孔画像のそれぞれ単独の画像においても、識別可能である。 Next, the pupil P and the corneal reflection position C will be described with reference to FIG. The pupil P photographed by the camera 2 is reflected by the retina and incident on the camera aperture 21 when illuminated by light from the light source 31 close to the camera aperture 21, so that the photographed pupil P becomes a bright pupil, and the camera In the illumination from the light source 32 far from the opening 21, the light reflected by the retina does not enter the camera opening 21, thereby forming a dark pupil. Then, it is difficult to detect the pupil P from the images of the bright pupil and the dark pupil, but when these are superimposed and the dark pupil image is subtracted from the bright pupil image by the brightness, the pupil P is highlighted. Can be detected. On the other hand, the cornea reflection position C represents the position of the reflection point on the cornea when the light from each of the light sources 31 and 32 is reflected by the substantially spherical cornea and enters the camera aperture 21. The corneal reflection position C is smaller in area than the pupil P, but has a high luminance and can be identified even in a single image of a bright pupil image and a dark pupil image.
また、光源３１と光源３２は、ともにリング状でその中心が同じであることから、どちらの光源によって撮影した場合でも、顔の移動や視線の移動がなければ、角膜反射位置Ｃは同じ箇所に現れる。なお、このようなリング状の光源を用いず、カメラ開口２１から近い位置と遠い位置に２つの光源を設けた場合には、顔の移動も視線の移動もない場合であっても、角膜反射位置Ｃは異なった箇所に現れることになるため、後述する瞳孔検出のための位置補正においては、さらにこの初期的な位置ずれを補正しておく必要がある。 Further, since both the light source 31 and the light source 32 are ring-shaped and have the same center, the corneal reflection position C is at the same location if there is no movement of the face or the line of sight when shooting with either light source. appear. In the case where two light sources are provided near and far from the camera opening 21 without using such a ring-shaped light source, the corneal reflection can be achieved even when there is no movement of the face or line of sight. Since the position C appears in different places, it is necessary to further correct this initial positional deviation in position correction for pupil detection, which will be described later.
ここで、撮影された時点の対象者の視線ベクトルと、カメラ−瞳孔中心Ｐａのベクトルとの関係については、前記特許文献２に詳述しているため、ここでは簡単に述べると、視線ベクトルと、カメラ−瞳孔中心Ｐａのベクトルのなす角度は、瞳孔中心Ｐａと角膜反射位置Ｃの間隔と線形関係にあり、視線ベクトルの、カメラ−瞳孔中心Ｐａベクトルの周りにおける水平面からの角度は、瞳孔中心Ｐａと角膜反射位置Ｃとを結ぶ直線が水平面となす角度φと等しい。例えば、視線がカメラの開口２１を向いているときは、角膜反射位置Ｃが瞳孔中心Ｐａと一致する。このように、瞳孔中心Ｐａと角膜反射位置Ｃの座標が分かれば、視線を検知することができ、また、左右の視線から視点を検知することもできる。なお、角膜反射位置Ｃは、瞳孔Ｐに重なって撮影される場合もあるが、以下の図では、見易いように、角膜反射位置Ｃは、瞳孔Ｐから外れた場所に図示をする。 Here, since the relationship between the line-of-sight vector of the subject at the time of shooting and the vector of the camera-pupil center Pa is described in detail in Patent Document 2, the line-of-sight vector is simply described here. The angle formed by the vector of the camera-pupil center Pa is linearly related to the distance between the pupil center Pa and the corneal reflection position C, and the angle of the line-of-sight vector from the horizontal plane around the camera-pupil center Pa vector is the pupil center. The straight line connecting Pa and the corneal reflection position C is equal to the angle φ formed with the horizontal plane. For example, when the line of sight faces the camera opening 21, the corneal reflection position C coincides with the pupil center Pa. Thus, if the coordinates of the pupil center Pa and the corneal reflection position C are known, the line of sight can be detected, and the viewpoint can also be detected from the left and right lines of sight. Note that the corneal reflection position C may be photographed while being overlapped with the pupil P, but in the following drawings, the corneal reflection position C is illustrated at a place off the pupil P for easy viewing.
図３により、本実施形態の瞳孔検出に関する基本的な考え方を説明する。図３は、対象者の明瞳孔と暗瞳孔を交互に撮影する６０分の１秒の間に、顔がＦ１からＦ２に移動し、次の６０分の１秒の間にＦ２からＦ３に移動し、さらに次の６０分の１秒の間にＦ３からＦ４に移動した場合の概念図である。なお、左右の目とも同様の検出を行うが、簡単のために、右目だけについて説明する。奇数フィールドの画像において、明瞳孔Ｐ１と角膜反射位置Ｃ１を含む明瞳孔画像１が得られている。ここで、角膜反射位置Ｃ１は、ある程度位置の予測がついていれば、１つの画像からでも判別分析法などによって画像明るさを２値化して検出することができるが、瞳孔Ｐ１については、この１つの画像からだけでは、前記のとおり検出が困難である。そこで、次の時点の偶数フィールドの暗瞳孔画像２における暗瞳孔Ｐ２と画像差分を行って、瞳孔を検出するのであるが、１／６０秒の間に顔がＦ１からＦ２の位置に矢印のように移動していると、明瞳孔Ｐ１と暗瞳孔Ｐ２とが図のようにずれてしまっており、差分をとっても瞳孔が周囲に対して浮き彫りになることなく、瞳孔の位置を検出することができない。 With reference to FIG. 3, a basic concept regarding pupil detection according to the present embodiment will be described. Figure 3 shows that the face moves from F1 to F2 during the 1 / 60th second, and alternately moves from F2 to F3 during the next 1 / 60th second. Furthermore, it is a conceptual diagram when moving from F3 to F4 during the next 1/60 second. Although the same detection is performed for the left and right eyes, only the right eye will be described for the sake of simplicity. In an odd field image, a bright pupil image 1 including a bright pupil P1 and a corneal reflection position C1 is obtained. Here, the corneal reflection position C1 can be detected by binarizing the image brightness by a discriminant analysis method or the like from a single image if the position is predicted to some extent. It is difficult to detect from only one image as described above. Therefore, the pupil is detected by performing an image difference with the dark pupil P2 in the dark pupil image 2 of the even field at the next time point, and the face appears as an arrow at the position from F1 to F2 within 1/60 seconds. When moving to, the bright pupil P1 and the dark pupil P2 are displaced as shown in the figure, and even if the difference is taken, the pupil is not relieved with respect to the surroundings, and the position of the pupil cannot be detected. .
ところが、この暗瞳孔画像２でも角膜反射位置Ｃ２の位置は検出できることから、２つの画像の撮影の間に角膜反射位置がＣ１からＣ２に矢印のように位置がずれた量を求めることができる。そして、そのずれ量の分だけ明瞳孔Ｐ１を撮影した画像を暗瞳孔Ｐ２を撮影した画像の位置に移動する補正を行った上で、画像の差分を取ると、瞳孔の位置が一致していることから、瞳孔が、後に撮影された偶数フィールドの画像位置である差分画像上で、浮き彫りになって検出することができる。その場合、画像全体を移動させたのでは、演算の負担が大きく、しかも解析する画像が広いと瞳孔と紛らわしい部分が解析対象となることもあるために、図に示すように、瞳孔が含まれていると予測される部分にウインドウＷ１、Ｗ２を取り、明瞳孔Ｐ１のウインドウＷ１の画像を暗瞳孔Ｐ２のウインドウＷ２の画像に、角膜反射位置のずれ量だけ移動する補正を行って、その領域の差分を演算すればよい。 However, since the position of the corneal reflection position C2 can also be detected in the dark pupil image 2, it is possible to determine the amount of deviation of the corneal reflection position from C1 to C2 as indicated by an arrow between the two images. Then, after correcting for moving the image obtained by photographing the bright pupil P1 to the position of the image obtained by photographing the dark pupil P2 by the amount of the deviation, the positions of the pupils coincide with each other. Therefore, the pupil can be detected in an embossed manner on the difference image which is the image position of the even field taken later. In that case, if the entire image is moved, the computational burden is large, and if the image to be analyzed is wide, the part that is confused with the pupil may be the object of analysis, so the pupil is included as shown in the figure. The window W1 and W2 are taken in the predicted portion, and the image of the window W1 of the bright pupil P1 is corrected to move to the image of the window W2 of the dark pupil P2 by the shift amount of the corneal reflection position. What is necessary is just to calculate the difference.
なお、図２において説明したことから理解できるように、顔がＦ１からＦ２に移動する間に、カメラ２と瞳孔中心Ｐａのベクトルを基準として、視線のベクトルが変わらない場合、すなわち対象者の視線に変化がなければ、Ｆ１での角膜反射位置Ｃ１と瞳孔Ｐ１の中心との位置関係と、Ｆ２での角膜反射位置Ｃ２と瞳孔Ｐ２の中心の位置関係とは相対的に同じであることから、Ｃ１からＣ２へのずれ量は瞳孔のＰ１からＰ２へのずれ量と全く同じ量となって、完全な位置補正ができる。ただし、対象者の視線に変化がある場合でも、顔の移動に対して角膜反射位置と瞳孔中心間の相対位置の変化が小さいことから、瞳孔検出のための十分な位置補正となり得る。 As can be understood from the description in FIG. 2, when the line of sight does not change with reference to the vectors of the camera 2 and the pupil center Pa while the face moves from F1 to F2, that is, the line of sight of the subject. If there is no change, the positional relationship between the corneal reflection position C1 at F1 and the center of the pupil P1 and the positional relationship between the corneal reflection position C2 at F2 and the center of the pupil P2 are relatively the same. The shift amount from C1 to C2 is exactly the same as the shift amount of the pupil from P1 to P2, and complete position correction can be performed. However, even when there is a change in the line of sight of the subject, since the change in the relative position between the corneal reflection position and the pupil center is small with respect to the movement of the face, sufficient position correction for pupil detection can be achieved.
図３において、明瞳孔画像１と暗瞳孔画像２との間で顔の移動に伴う位置補正を行って、瞳孔の検出を行った後は、同じ作業を明瞳孔画像３と暗瞳孔画像４との間で行えばよい。この場合、１フレーム単位中の後の画像である暗瞳孔の画像における瞳孔が求まることから、暗瞳孔画像が１／３０秒間隔で得られるものなら、瞳孔の検出もその間隔でなされることになる。あるいは、図３において、明瞳孔画像１と暗瞳孔画像２との間での位置補正と瞳孔検出処理と、明瞳孔画像３と暗瞳孔画像４との間の位置補正と瞳孔検出処理との間に、さらに、暗瞳孔画像２と明瞳孔画像３との間で、角膜反射位置がＣ２からＣ３にずれた量に基づいて、明瞳孔画像３における角膜反射位置Ｃ３を基準として暗瞳孔画像２のウインドウＷ２を明瞳孔画像３のウインドウＷ３に移動させる位置補正と明瞳孔画像３から暗瞳孔画像２を差し引く画像差分による瞳孔検出処理を行ってもよい。このように、隣接する各画像間での連続的な処理を行う場合は、暗瞳孔画像２での瞳孔位置が求まった後には、次の明瞳孔画像３での瞳孔位置、またその次の暗瞳孔画像４での瞳孔位置というように、最新の瞳孔位置を連続的に求めることができることになり、明瞳孔画像と暗瞳孔画像の間隔が１／６０秒で得られるものなら、瞳孔の位置も同じ間隔で得られることになる。 In FIG. 3, after performing the position correction accompanying the movement of the face between the bright pupil image 1 and the dark pupil image 2 and detecting the pupil, the same operation is performed for the bright pupil image 3 and the dark pupil image 4. Between the two. In this case, since the pupil in the dark pupil image, which is a subsequent image in one frame unit, is obtained, if the dark pupil image can be obtained at 1/30 second intervals, the detection of the pupil is also performed at that interval. Become. Alternatively, in FIG. 3, between the position correction and pupil detection processing between the bright pupil image 1 and the dark pupil image 2, and the position correction and pupil detection processing between the bright pupil image 3 and the dark pupil image 4. In addition, based on the amount of the corneal reflection position shifted from C2 to C3 between the dark pupil image 2 and the bright pupil image 3, the dark pupil image 2 of the bright pupil image 3 is used as a reference. Pupil detection processing by position correction for moving the window W2 to the window W3 of the bright pupil image 3 and image difference by subtracting the dark pupil image 2 from the bright pupil image 3 may be performed. As described above, when continuous processing is performed between adjacent images, after the pupil position in the dark pupil image 2 is obtained, the pupil position in the next bright pupil image 3 and the next dark state are also determined. As the pupil position in the pupil image 4, the latest pupil position can be obtained continuously. If the interval between the bright pupil image and the dark pupil image can be obtained in 1/60 seconds, the position of the pupil is also determined. It will be obtained at the same interval.
次に、本実施形態において、瞳孔を検出する具体的な手順を、図４，５によって説明する。瞳孔検出作業の立ち上がり時点では、角膜反射位置も瞳孔も未だ検出されていないことから、かなり広い画像から瞳孔又は角膜反射位置を探索しなければならない。その場合、顔が１／６０秒の間にほとんど移動しない状況では、瞳孔検出の方が、明瞳孔と暗瞳孔の画像の差分を取って瞳孔を際立たせることができることから、面積の小さな角膜反射位置を検出するよりも容易である。そのため、顔がほとんど移動しないという条件の下で、先ず瞳孔検出を行う。この瞳孔検出は、明瞳孔を撮影した画像と暗瞳孔を撮影した画像を得て、両画像を差分して差分画像を形成し、設定した輝度によって２値化を行い、左右瞳孔の候補を見出した後、これらが所定の条件を備えているかによって、瞳孔かどうかを決定する。 Next, in this embodiment, a specific procedure for detecting the pupil will be described with reference to FIGS. Since the corneal reflection position and the pupil have not yet been detected at the start of the pupil detection operation, the pupil or corneal reflection position must be searched from a fairly wide image. In that case, in a situation where the face hardly moves in 1/60 seconds, the pupil detection can take the difference between the images of the bright and dark pupils to make the pupil stand out. It is easier than detecting the position. Therefore, pupil detection is first performed under the condition that the face hardly moves. In this pupil detection, an image obtained by photographing a bright pupil and an image obtained by photographing a dark pupil are obtained, a difference image is formed by subtracting both images, binarization is performed based on the set luminance, and candidates for left and right pupils are found. After that, it is determined whether or not they are pupils depending on whether or not they have predetermined conditions.
角膜反射位置は瞳孔の近傍や瞳孔に重なる場所にあることから、検出された瞳孔の位置によって角膜反射位置が存在すると予測される範囲にウインドウを設けることができる。角膜反射点は輝度が高いことから、ウインドウ内の画像において、Ｐタイル法などによって輝度の閾値を決定し、２値化を行うことで、角膜反射位置を探索することができる。図４（Ａ）に示すように、明瞳孔画像において、ウインドウＷＣ１内の画像に前記処理を施すことで角膜反射位置Ｃ１の位置座標を決定できる。なお、この際に、ウインドウＷＣ１内での角膜反射と考えられる最大輝度の部分に、さらに小さな例えば縦横１０画素程度のウインドウを設けて、その中で、２値化を行って角膜反射に相当する画素を特定して、それらの画素の輝度と座標を用いて輝度重心を求めることにより角膜反射位置Ｃ１の決定を行ってもよい。前の時点で角膜反射位置が求まっていれば、次の時点の角膜反射位置は、カルマンフィルターなどの予測モデルによって、予測可能なことからその予測される範囲に次のウインドウを設けることができる。そして、そのウインドウ内の画像に前記の処理を行って、角膜反射位置を決定することができる。 Since the corneal reflection position is in the vicinity of the pupil or at a position overlapping the pupil, a window can be provided in a range where the corneal reflection position is predicted to exist depending on the detected pupil position. Since the corneal reflection point has high luminance, the corneal reflection position can be searched for by determining the luminance threshold value in the image in the window by the P tile method or the like and performing binarization. As shown in FIG. 4A, in the bright pupil image, the position coordinates of the corneal reflection position C1 can be determined by performing the above processing on the image in the window WC1. At this time, a smaller window, for example, about 10 pixels in length and width is provided in the portion of the maximum luminance considered to be corneal reflection in the window WC1, and binarization is performed therein, which corresponds to corneal reflection. The corneal reflection position C <b> 1 may be determined by specifying pixels and obtaining the luminance centroid using the luminance and coordinates of those pixels. If the corneal reflection position is obtained at the previous time point, the corneal reflection position at the next time point can be predicted by a prediction model such as a Kalman filter, so that the next window can be provided in the predicted range. The corneal reflection position can be determined by performing the above processing on the image in the window.
図４は、先の時点の明瞳孔画像（Ａ）において、角膜反射位置Ｃ１を探索するためのウインドウＷＣ１が設けられ、また、その後の暗瞳孔画像（Ｂ）において角膜反射位置Ｃ２を探索するためのウインドウＷＣ２が設けられたことを示している。そして、それぞれの角膜反射位置Ｃ１，Ｃ２の位置座標が決定されると、その差をとることで、両画像の撮影時の間における顔の移動量を求めることができる。 In FIG. 4, a window WC1 for searching for the corneal reflection position C1 is provided in the bright pupil image (A) at the previous time point, and the corneal reflection position C2 is searched for in the subsequent dark pupil image (B). The window WC2 is provided. Then, when the position coordinates of the respective corneal reflection positions C1 and C2 are determined, the amount of movement of the face during photographing of both images can be obtained by taking the difference.
次に、図５のとおり、後の時点の暗瞳孔画像（Ｂ）において、暗瞳孔が含まれていると予測される部分に暗瞳孔探索のためのウインドウＷＰ２を設ける。なお、このウインドウＷＰ２は、図４におけるウインドウＷＣ２と同じでもよい。この暗瞳孔画像における角膜反射位置Ｃ２の座標に先の時点の明瞳孔画像（Ａ）の角膜反射位置Ｃ１の座標が一致し、かつ暗瞳孔画像（Ｂ）の角膜反射位置C２とウインドウＷＰ２との関係位置と同じになるように、角膜反射位置Ｃ１との位置関係でウインドウＷＰ１を明瞳孔画像（Ａ）に設ける。これによって、先の時点の明瞳孔画像（Ａ）を、角膜反射位置がずれた分だけずれを解消するように、後の時点の暗瞳孔画像（Ｂ）に一致させることができる。このような位置補正を行った後に、明瞳孔画像（Ａ）から暗瞳孔画像（Ｂ）の輝度を差し引く差分画像を求めることで、瞳孔部分を浮き彫りにして、瞳孔位置を検出することができる。瞳孔の中心座標を求める場合は、例えばモーメント法などで輝度重心を演算することで決定することができる。決定された瞳孔位置と既に分かっている角膜反射位置の座標から、前記のとおり、対象者の視線を求めることもできる。 Next, as shown in FIG. 5, in the dark pupil image (B) at a later time point, a window WP2 for searching for the dark pupil is provided at a portion where the dark pupil is predicted to be included. The window WP2 may be the same as the window WC2 in FIG. The coordinates of the corneal reflection position C1 of the bright pupil image (A) at the previous time point coincide with the coordinates of the corneal reflection position C2 in this dark pupil image, and the corneal reflection position C2 of the dark pupil image (B) and the window WP2 A window WP1 is provided in the bright pupil image (A) in a positional relationship with the corneal reflection position C1 so as to be the same as the related position. Thus, the bright pupil image (A) at the previous time point can be matched with the dark pupil image (B) at the later time point so as to eliminate the shift by the shift of the corneal reflection position. After performing such position correction, by obtaining a difference image by subtracting the brightness of the dark pupil image (B) from the bright pupil image (A), the pupil position can be highlighted to detect the pupil position. The center coordinates of the pupil can be determined by calculating the luminance center of gravity using, for example, the moment method. From the coordinates of the determined pupil position and the already known corneal reflection position, the line of sight of the subject can also be obtained as described above.
本実施形態によれば、角膜反射位置のずれ量を基準として、明瞳孔を撮影した画像と暗瞳孔を撮影した画像における瞳孔を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、対象者の顔が短時間内に移動して、明瞳孔画像と暗瞳孔画像の取得に時間差があることに起因して、画像にずれを生じていても、解析に当たっては、明瞳孔と暗瞳孔は位置がほぼ一致した状態で差分されて周囲から浮き彫りにされ、瞳孔検出がロバスト性と精度がよくなされる。 According to the present embodiment, it is possible to substantially match the pupil in the image obtained by photographing the bright pupil and the image obtained by photographing the dark pupil on the basis of the deviation amount of the corneal reflection position. I tried to do it. Therefore, even if the subject's face moves within a short time and there is a time difference in the acquisition of the bright pupil image and the dark pupil image, there is a shift in the image. The dark pupil is subtracted in a state where the positions are substantially coincident and is embossed from the surroundings, and the pupil detection is robust and accurate.
また、本実施形態によれば、角膜反射位置を検出してこれを位置補正の基準としているために、鼻孔を基準とするような場合に比べて、必ずしも下方から撮影しなければならないというような制約が除かれる。また、角膜反射点は面積が小さく輝度も高いことから、その位置を精度良く検知できるために、精密なずれの量を求めることができる。また、角膜反射位置は、瞳孔に極めて近い位置にあることから、顔の移動の際に瞳孔と近似的な移動がなされることから、顔のずれに伴う瞳孔の位置合わせの精度が高いものになり、さらに、互いの位置の誤認の可能性が低下する。また、顔にもともと備わっている角膜を利用することから、顔に検出基準のためのマーカ等を付ける必要もない。 Further, according to the present embodiment, since the corneal reflection position is detected and used as a reference for position correction, it is necessary to shoot from below as compared with the case where the nostril is used as a reference. Restrictions are removed. In addition, since the corneal reflection point has a small area and high luminance, the position can be detected with high accuracy, so that a precise amount of deviation can be obtained. In addition, since the corneal reflection position is very close to the pupil, the movement of the face approximates to the pupil when moving the face, so the accuracy of the alignment of the pupil accompanying the face shift is high. Furthermore, the possibility of misidentification of each other's position is reduced. Further, since the cornea originally provided in the face is used, it is not necessary to attach a marker or the like for detection reference to the face.
また、解析を行う領域は、ウインドウを設定した画像領域とすることで、瞳孔検出の演算効率を高めることができる。また、位置補正を、先に撮影した画像を後に撮影した画像の位置へ移動することにより、後に撮影した画像における瞳孔位置が求まることになる。すなわち最新の画像における瞳孔位置を求め、これを基準として、さらにその後に続く瞳孔の検出を行うことができる。さらに、位置補正後の画像における角膜反射位置は、検出された瞳孔の位置とともに、視線の検知に用いることもでき、その場合は、演算の負担をさらに少なくすることができる。 In addition, the analysis area can be an image area in which a window is set, so that the calculation efficiency of pupil detection can be increased. In addition, the position of the pupil in the image captured later can be obtained by moving the position captured earlier to the position of the image captured later. That is, the position of the pupil in the latest image can be obtained, and the subsequent pupil can be detected using this as a reference. Furthermore, the corneal reflection position in the image after the position correction can be used for the detection of the line of sight together with the detected pupil position, and in this case, the calculation burden can be further reduced.
本実施形態では、奇数フィールドにおいて明瞳孔を撮影し、偶数フィールドにおいて暗瞳孔を撮影したが、この逆であってもよい。また、カメラについては、ＮＴＳＣ方式のカメラを使用する場合について主に説明したが、カメラは奇数フィールドと偶数フィールドに分かれることのないノンインターレース方式等のものでもよく、その場合は１フレーム毎に明瞳孔と暗瞳孔のそれぞれを撮影する画像とすればよい。さらに、明瞳孔と暗瞳孔を得るためには、光源の設置位置を変える以外にも、光源の波長を変える手段を用いてもよい。その場合、例えば、８５０ｎｍ程度と９５０ｎｍ程度の波長の異なる光源を用いると、網膜反射率が異なることから、８５０ｎｍ程度の光源で撮影した画像が明瞳孔で、９５０ｎｍ程度の光源で撮影した画像が暗瞳孔となる。 In this embodiment, the bright pupil is imaged in the odd field and the dark pupil is imaged in the even field, but the reverse may be possible. As for the camera, the case where the NTSC system camera is used has been mainly described. However, the camera may be a non-interlace system or the like which is not divided into an odd field and an even field. What is necessary is just to make it the image which image | photographs each of a pupil and a dark pupil. Further, in order to obtain the bright pupil and the dark pupil, means for changing the wavelength of the light source may be used in addition to changing the installation position of the light source. In this case, for example, when light sources having different wavelengths of about 850 nm and about 950 nm are used, the retina reflectance is different. Therefore, an image photographed with a light source of about 850 nm is a bright pupil, and an image photographed with a light source of about 950 nm is dark. It becomes the pupil.
本実施形態に沿って行った実験結果について、以下、説明する。実験は、図１の装置によって行った。対象者とカメラ２の距離を約７０ｃｍとし、対象者は、約６０ｃｍ離れたディスプレイ上の指標に視線を固定しつつ、頭を左右に動かした。そのときの動画を１００フレーム分撮影し、各フレームにおける奇数フィールドと偶数フィールドの画像を差分して瞳孔中心を求めた。その際に、本発明の実施例として角膜反射位置による位置補正を行った場合と、比較例としての位置補正を行わなかった場合との比較をした。図６は、１つのフレームにおける縦横４０画素のウインドウ内の差分画像である。位置補正を行わなかった差分画像（Ａ）においては、角膜反射位置Cが明瞳孔画像と暗瞳孔画像で一致していないことから、差分画像において輝度の高い箇所として残っており、瞳孔Pも明瞳孔画像と暗瞳孔画像で完全に重なっていないことから輪郭がかすんでいる。それに対して、位置補正を行った差分画像（Ｂ）においては、明瞳孔画像と暗瞳孔画像の角膜反射位置Cどうしが重なっていることから、高い輝度であっても輝度が相殺しており、瞳孔Pも明瞳孔画像と暗瞳孔画像が重なっていることから、比較的明確になっている。 The experimental results performed along this embodiment will be described below. The experiment was performed using the apparatus shown in FIG. The distance between the subject and the camera 2 was about 70 cm, and the subject moved his head left and right while fixing his line of sight to the index on the display about 60 cm away. The moving image at that time was photographed for 100 frames, and the pupil center was obtained by subtracting the odd field and even field images in each frame. In that case, the case where the position correction by the corneal reflection position was performed as an example of the present invention and the case where the position correction as a comparative example was not performed were compared. FIG. 6 is a difference image in a window of 40 pixels in length and width in one frame. In the difference image (A) where position correction has not been performed, the corneal reflection position C does not match between the bright pupil image and the dark pupil image. Since the pupil image and the dark pupil image are not completely overlapped, the outline is blurred. On the other hand, in the difference image (B) subjected to position correction, the corneal reflection positions C of the bright pupil image and the dark pupil image overlap each other, so that the luminance is offset even at high luminance. The pupil P is relatively clear because the bright pupil image and the dark pupil image overlap.
図７は、求めた瞳孔中心のＸ座標（水平方向座標）を縦軸に取り、横軸には１番目のフレームから１００番目のフレームまでを取っており、瞳孔中心座標の時間変化を示している。位置補正をしなかった場合は、位置補正を行った場合に比べて位相が遅れている。これは、位置補正において、前記のとおり、時間的に後のフィールドの画像に先のフィールドの画像を一致させるようにしているために、後のフィールドにおける瞳孔中心が求められているのに対し、位置補正なしの場合は、明瞳孔画像と暗瞳孔画像における瞳孔の位置に差があれば、その一部重なる部分は両画像の中間的な位置になること、あるいは重なりのない部分については、暗瞳孔があまり暗くないのに対して明瞳孔が非常に明るいこと等に起因すると考えられる位相の遅れが生じている。しかし、一般には、明瞳孔があまり明るくないのに対して暗瞳孔が非常に暗いという場合もあり、検出される瞳孔中心座標は、不確定な位相遅れを生じることになることが容易に予想できる。 FIG. 7 shows the X coordinate (horizontal coordinate) of the obtained pupil center on the vertical axis, and the horizontal axis from the first frame to the 100th frame, and shows the time change of the pupil center coordinate. Yes. When position correction is not performed, the phase is delayed as compared with the case where position correction is performed. In the position correction, as described above, since the image of the previous field matches the image of the subsequent field in time, the pupil center in the subsequent field is obtained. When there is no position correction, if there is a difference in the pupil position between the bright pupil image and the dark pupil image, the partially overlapped part will be an intermediate position between the two images, or the non-overlapping part will be dark. There is a phase lag that can be attributed to the fact that the bright pupil is very bright while the pupil is not so dark. However, in general, the bright pupil may not be very bright while the dark pupil may be very dark, and the detected pupil center coordinates can easily be expected to cause an indefinite phase lag. .
図８は、瞳孔中心と角膜反射位置の中心との相対座標の時間変化を示している。この実験では、対象者は頭を動かしても視線は変えていないために、瞳孔中心と角膜反射位置中心の相対座標は、ほぼ一定のはずである。位置補正を行った場合は、そのとおりに、ほぼ一定を示しているが、補正を行わなかった場合は、頭の動きに伴って大きく変化している。このことは、視線検出を行ったとすると視線が動いていないにもかかわらず、動いたと判断されてしまうことになる。
以上のとおり、本実施例により、顔が移動する場合において、角膜反射位置による位置補正を行って、瞳孔の位置を検出する本発明の有効性が確認できた。
FIG. 8 shows the time change of the relative coordinates between the pupil center and the center of the corneal reflection position. In this experiment, since the subject does not change the line of sight even when the head is moved, the relative coordinates of the pupil center and the corneal reflection position center should be substantially constant. When the position correction is performed, it is almost constant as it is, but when the position correction is not performed, the position greatly changes with the movement of the head. This means that if the line of sight is detected, it is determined that the line of sight has moved despite the line of sight not moving.
As described above, according to this example, when the face moves, the effectiveness of the present invention for detecting the position of the pupil by performing position correction based on the corneal reflection position has been confirmed.
１‥瞳孔検出装置、２‥カメラ、２１‥カメラの開口中心、３‥光源、３１‥カメラ開口に近い光源、３２‥カメラ開口から遠い光源、４‥コンピュータ、５‥奇数偶数フィールド信号発生回路、６‥ファンクションシンセサイザ、７‥ストロボ調光ユニット、Ｐ‥瞳孔、Ｃ‥角膜反射位置 DESCRIPTION OF SYMBOLS 1 ... Pupil detection device, 2 ... Camera, 21 ... Camera aperture center, 3 ... Light source, 31 ... Light source close to camera aperture, 32 ... Light source far from camera aperture, 4 ... Computer, 5 ... Odd / even field signal generation circuit, 6 ··· Function synthesizer, 7 ··· Strobe light control unit, P · Pupil, C · Cornea reflection position
Claims (5)
An apparatus for detecting a pupil by subtracting a bright pupil image from a dark pupil image, and means for photographing a bright pupil and a dark pupil, an image obtained by photographing a bright pupil at a certain time, and a subsequent time or before Means for detecting a deviation amount of the corneal reflection position in the image obtained by photographing the dark pupil at the time point, and a deviation amount of the corneal reflection position associated with the movement of the face between the photographing time points of both images. Means for correcting the position of moving the image obtained by photographing the bright pupil or the image obtained by photographing the dark pupil in a direction to cancel out the shift, and means for detecting the pupil after subtracting both images after position correction. A device for detecting a pupil.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006208355A JP4452836B2 (en) | 2006-07-31 | 2006-07-31 | Method and apparatus for detecting pupils |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006208355A JP4452836B2 (en) | 2006-07-31 | 2006-07-31 | Method and apparatus for detecting pupils |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008029702A true JP2008029702A (en) | 2008-02-14 |
| JP4452836B2 JP4452836B2 (en) | 2010-04-21 |
Family
ID=39119711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006208355A Active JP4452836B2 (en) | 2006-07-31 | 2006-07-31 | Method and apparatus for detecting pupils |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4452836B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010220942A (en) * | 2009-03-25 | 2010-10-07 | Yaskawa Information Systems Co Ltd | Pupil measuring device, pupil measuring method, and pupil measuring program |
| WO2012077713A1 (en) * | 2010-12-08 | 2012-06-14 | 国立大学法人静岡大学 | Method for detecting point of gaze and device for detecting point of gaze |
| WO2016027627A1 (en) * | 2014-08-22 | 2016-02-25 | 国立大学法人静岡大学 | Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program |
| JP2019017491A (en) * | 2017-07-12 | 2019-02-07 | 国立大学法人静岡大学 | Image feature tracking method, visual line tracking method, and fixation point tracking method |
| JP2019118548A (en) * | 2017-12-28 | 2019-07-22 | 株式会社Ｊｖｃケンウッド | Cornea reflection position detection device, visual line detection device, and cornea reflection position detection method |
| CN113645894A (en) * | 2019-07-26 | 2021-11-12 | 谷歌有限责任公司 | Method and system for automatic pupil detection |
| WO2023095679A1 (en) * | 2021-11-29 | 2023-06-01 | 矢崎総業株式会社 | Visual confirmation status determination device and visual confirmation status determination system |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5912351B2 (en) | 2011-09-05 | 2016-04-27 | 国立大学法人浜松医科大学 | Autism diagnosis support system and autism diagnosis support apparatus |
| JP5926210B2 (en) | 2012-03-21 | 2016-05-25 | 国立大学法人浜松医科大学 | Autism diagnosis support system and autism diagnosis support apparatus |
| US9514538B2 (en) | 2012-05-25 | 2016-12-06 | National University Corporation Shizuoka University | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method |
| EP3153092B1 (en) | 2014-06-09 | 2021-08-04 | National University Corporation Shizuoka University | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program |
-
2006
- 2006-07-31 JP JP2006208355A patent/JP4452836B2/en active Active
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010220942A (en) * | 2009-03-25 | 2010-10-07 | Yaskawa Information Systems Co Ltd | Pupil measuring device, pupil measuring method, and pupil measuring program |
| WO2012077713A1 (en) * | 2010-12-08 | 2012-06-14 | 国立大学法人静岡大学 | Method for detecting point of gaze and device for detecting point of gaze |
| JP5858433B2 (en) * | 2010-12-08 | 2016-02-10 | 国立大学法人静岡大学 | Gaze point detection method and gaze point detection device |
| US9329683B2 (en) | 2010-12-08 | 2016-05-03 | National University Corporation Shizuoka University | Method for detecting point of gaze and device for detecting point of gaze |
| WO2016027627A1 (en) * | 2014-08-22 | 2016-02-25 | 国立大学法人静岡大学 | Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program |
| JPWO2016027627A1 (en) * | 2014-08-22 | 2017-06-08 | 国立大学法人静岡大学 | Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face posture detection system, face posture detection Method and face posture detection program |
| US10417782B2 (en) | 2014-08-22 | 2019-09-17 | National University Corporation Shizuoka University | Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program |
| JP2019017491A (en) * | 2017-07-12 | 2019-02-07 | 国立大学法人静岡大学 | Image feature tracking method, visual line tracking method, and fixation point tracking method |
| JP7116978B2 (en) | 2017-07-12 | 2022-08-12 | 国立大学法人静岡大学 | Image Feature Tracking Method, Eye Tracking Method, and Gaze Tracking Method |
| JP2019118548A (en) * | 2017-12-28 | 2019-07-22 | 株式会社Ｊｖｃケンウッド | Cornea reflection position detection device, visual line detection device, and cornea reflection position detection method |
| CN113645894A (en) * | 2019-07-26 | 2021-11-12 | 谷歌有限责任公司 | Method and system for automatic pupil detection |
| WO2023095679A1 (en) * | 2021-11-29 | 2023-06-01 | 矢崎総業株式会社 | Visual confirmation status determination device and visual confirmation status determination system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4452836B2 (en) | 2010-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4452836B2 (en) | Method and apparatus for detecting pupils | |
| CN101295355A (en) | Face image capturing apparatus | |
| US10061384B2 (en) | Information processing apparatus, information processing method, and program | |
| WO2015029537A1 (en) | Organ imaging apparatus | |
| JP6583734B2 (en) | Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face posture detection system, face posture detection Method and face posture detection program | |
| JP2007268164A (en) | Visual axis movement detecting method and apparatus | |
| KR20160050755A (en) | Electronic Device and Method for Recognizing Iris by the same | |
| JP2009254525A (en) | Pupil detecting method and apparatus | |
| JP6767482B2 (en) | Line-of-sight detection method | |
| JP2007025758A (en) | Face image extracting method for person, and device therefor | |
| JP2008125619A (en) | Pupil detection apparatus and pupil detection method | |
| JP5429885B2 (en) | Feature point tracking method and feature point tracking device | |
| JP5092120B2 (en) | Eye movement measurement device | |
| WO2018164104A1 (en) | Eye image processing device | |
| JP4452835B2 (en) | Method and apparatus for detecting pupils | |
| JP4765008B2 (en) | A method to detect head direction using pupil and nostril | |
| JP2024003037A (en) | Electronic apparatus, method for controlling electronic apparatus, program, and storage medium | |
| JP4452832B2 (en) | Method and apparatus for detecting pupils | |
| JP6780161B2 (en) | Line-of-sight detection device and line-of-sight detection method | |
| US9232890B2 (en) | Ophthalmologic apparatus and ophthalmologic imaging method | |
| JP2007058507A (en) | Line of sight detecting device | |
| JP2008006149A (en) | Pupil detector, iris authentication device and pupil detection method | |
| JP4528976B2 (en) | Pupil detection apparatus and method | |
| JP5004099B2 (en) | Cursor movement control method and cursor movement control apparatus | |
| JP6370168B2 (en) | Illumination imaging apparatus and line-of-sight detection apparatus including the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100105 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |