JP2018149234A - Fixation point estimation system, fixation point estimation method, and fixation point estimation program - Google Patents
Fixation point estimation system, fixation point estimation method, and fixation point estimation program Download PDFInfo
- Publication number
- JP2018149234A JP2018149234A JP2017049517A JP2017049517A JP2018149234A JP 2018149234 A JP2018149234 A JP 2018149234A JP 2017049517 A JP2017049517 A JP 2017049517A JP 2017049517 A JP2017049517 A JP 2017049517A JP 2018149234 A JP2018149234 A JP 2018149234A
- Authority
- JP
- Japan
- Prior art keywords
- gaze
- iris
- image
- user
- point estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
Description
本発明は、注視点推定システム、注視点推定方法及び注視点推定プログラムに関し、より詳細には、１つの全天周カメラ等の全天周画像取得手段によって使用者の眼球と注視対象シーンとを含む全天周画像を取得し、取得した全天周画像から使用者の眼球の虹彩部分を抽出し、抽出した虹彩の楕円形状から使用者の視線方向を求め、求めた視線方向と注視対象シーンとから、使用者の注視点を推定する、注視点推定システム、注視点推定方法及び注視点推定プログラムに関する。 The present invention relates to a gazing point estimation system, a gazing point estimation method, and a gazing point estimation program, and more specifically, a user's eyeball and a gaze target scene are obtained by an omnidirectional image acquisition unit such as one omnidirectional camera. The entire omnidirectional image is acquired, the iris part of the user's eyeball is extracted from the acquired omnidirectional image, the gaze direction of the user is obtained from the extracted elliptical shape of the iris, and the obtained gaze direction and gaze target scene The present invention relates to a gazing point estimation system, a gazing point estimation method, and a gazing point estimation program.
人の注視点情報はその滞在時間や頻度等がその人の意図と直結していると考えられ、商業的、学術的な利用可能性が高い。現状のカメラを用いた注視点推定方法は、大きく、リモートカメラを用いた方式と装着型カメラを用いた方式に分けることができる。リモートカメラによる方式は使用者がリモートカメラの観測範囲に入る必要があることや、リモートカメラと使用者間の距離を所定の範囲に保つ必要がある等の制限があり、自由度に優れた方式とは言えない。（非特許文献１）
装着型カメラによる方式は使用者の動きに制限はないが、眼球カメラとシーンカメラの両方を装着する必要があり、両カメラの相対姿勢を事前に校正しておく必要がある等の煩雑さがある。（非特許文献２）
The attention point information of a person is considered to be directly related to the intention of the person, such as the staying time and frequency, and is highly commercially and academically available. The gaze point estimation method using a current camera can be roughly divided into a method using a remote camera and a method using a wearable camera. The remote camera method has a high degree of freedom because there are restrictions such as the need for the user to enter the observation range of the remote camera and the distance between the remote camera and the user need to be kept within a specified range. It can not be said. (Non-Patent Document 1)
The wearable camera method does not limit the movement of the user, but it is necessary to wear both an eyeball camera and a scene camera, and it is necessary to calibrate the relative posture of both cameras in advance. is there. (Non-Patent Document 2)
本発明の目的は、従来の装着型カメラ方式における「眼球カメラとシーンカメラの相対姿勢を事前に校正しておく必要がある」という煩雑さを解消し、１つの全天周カメラによる注視点推定システム、注視点推定方法及び注視点推定プログラムを提供することにある。 The object of the present invention is to eliminate the complexity of “necessary to calibrate the relative posture of the eyeball camera and the scene camera in advance” in the conventional wearable camera system, and to estimate the gazing point with one omnidirectional camera. A system, a gaze point estimation method, and a gaze point estimation program are provided.
係る目的を達成するため、本発明の注視点推定システムは、使用者の眼球と注視対象シーンとを含む全天周画像を取得する全天周画像取得部と、取得した全天周画像から眼球の虹彩部画像を抽出する虹彩部画像抽出部と、抽出した虹彩画像の楕円形状を求める虹彩楕円形状評価部と、虹彩画像の楕円形状から使用者の視線方向を求める視線方向推定部と、求めた視線方向と注視対象シーンとから使用者の注視点を推定する注視点推定部からなることを特徴とする。 In order to achieve such an object, the gaze point estimation system of the present invention includes an all-sky image acquisition unit that acquires an all-sky image including a user's eyeball and a gaze target scene, and an eyeball from the acquired all-sky image. An iris image extraction unit that extracts the iris image of the image, an iris ellipse shape evaluation unit that obtains the elliptical shape of the extracted iris image, a gaze direction estimation unit that obtains the user's gaze direction from the elliptical shape of the iris image, and And a gaze point estimation unit for estimating a user's gaze point from the gaze direction and the gaze target scene.
係る目的を達成するため、本発明の注視点推定方法は、全天周画像取得工程によって使用者の眼球と注視対象シーンとを含む全天周画像を取得し、取得した全天周画像から虹彩部画像抽出工程によって眼球の虹彩部画像を抽出し、虹彩楕円形状評価工程によって抽出した虹彩画像の楕円形状を求め、視線方向推定工程によって虹彩画像の楕円形状から使用者の視線方向を求め、注視点推定工程によって、求めた視線方向と注視対象シーンとから使用者の注視点を推定することを特徴とする。 In order to achieve such an object, the gaze point estimation method of the present invention acquires an omnidirectional image including the user's eyeball and a gaze target scene through an omnidirectional image acquisition step, and iris from the acquired omnidirectional image. The iris image of the eyeball is extracted by the partial image extraction step, the elliptical shape of the iris image extracted by the iris ellipse shape evaluation step is obtained, the gaze direction of the user is obtained from the elliptical shape of the iris image by the gaze direction estimation step, In the viewpoint estimation step, the user's gaze point is estimated from the obtained gaze direction and the gaze target scene.
係る目的を達成するため、本発明の注視点推定プログラムは、コンピュータに、全天周画像取得手段によって取得した使用者の眼球と注視対象シーンとを含む全天周画像から眼球の虹彩部画像を抽出する虹彩部画像抽出手順と、抽出した虹彩画像の楕円形状を評価する虹彩楕円形状評価手順と、虹彩画像の楕円形状から使用者の視線方向を求める視線方向推定手順と、求めた視線方向と注視対象シーンとから使用者の注視点を推定する注視点推定手順を実行させることを特徴とする。 In order to achieve such an object, the gazing point estimation program of the present invention obtains an iris image of an eyeball from a omnidirectional image including a user's eyeball and a gaze target scene acquired by a omnidirectional image acquisition means on a computer. Iris part image extraction procedure to extract, iris ellipse shape evaluation procedure to evaluate the ellipse shape of the extracted iris image, gaze direction estimation procedure to obtain the user's gaze direction from the elliptic shape of the iris image, and the obtained gaze direction A gaze point estimation procedure for estimating a user's gaze point from a gaze target scene is executed.
以上説明したように、本発明の注視点推定システム、注視点推定方法及び注視点推定プログラムによれば、１つの全天周カメラによって撮影した使用者の眼球と注視対象シーンを含む全天周画像を基に、使用者の注視点を推定することが可能となる。
１つの全天周カメラのみを使用者に装着することで実現可能であり、カメラ姿勢の事前校正が不要な、簡便な方式の実現が可能となる。
As described above, according to the gazing point estimation system, the gazing point estimation method, and the gazing point estimation program of the present invention, the omnidirectional image including the user's eyeball and the gazing target scene captured by one omnidirectional camera. It is possible to estimate the user's gaze point based on the above.
This can be realized by attaching only one omnidirectional camera to the user, and it is possible to realize a simple method that does not require prior calibration of the camera posture.
「図１」注視点推定システムのシステム構成を示す図である。
「図２」注視点推定方法及び注視点推定プログラムのデータ処理手順の概要を示す図である。
「図３」全天周画像抽出部とそれを使用者に装着した状態を示す図である。
「図４」全天周画像抽出部で得られた全天周画像を示す図である。
「図５」使用者の横顔及び眼球部の検出結果を示す図である。
「図６」一つの全天周カメラによる注視点推定モデルを説明する図である。
「図７」眼球部の透視投影画像例を示す図である。
「図８」虹彩の楕円形状評価における前処理画像を示す図である。
「図９」虹彩楕円形状評価と注視ベクトルを示す図である。
「図１０」注視点推定結果を示す図である。
FIG. 1 is a diagram showing a system configuration of a gaze point estimation system.
FIG. 2 is a diagram showing an outline of a data processing procedure of a gaze point estimation method and a gaze point estimation program.
FIG. 3 is a diagram illustrating an all-sky image extraction unit and a state in which the image is mounted on a user.
FIG. 4 is a diagram showing an all-sky image obtained by the all-sky image extracting unit.
FIG. 5 is a diagram showing detection results of a user's profile and eyeball part.
FIG. 6 is a diagram for explaining a gaze point estimation model using a single all-around camera.
FIG. 7 is a diagram showing an example of a perspective projection image of the eyeball part.
FIG. 8 is a diagram showing a preprocessed image in the evaluation of the elliptical shape of the iris.
FIG. 9 is a diagram showing iris ellipse shape evaluation and gaze vectors.
FIG. 10 is a diagram showing a gaze point estimation result.
以下、図面を参照しながら本発明の実施形態について詳細に説明する。各図において、同一の構成要素は同一番号をつけて示し、簡略化のためその説明を省略することがある。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each figure, the same component is shown with the same number, and the description thereof may be omitted for simplification.
図１は本発明の注視点推定システムのシステム構成を示す図であり、１は注視点推定システムである。２は全天周カメラ等によって構成される全天周画像取得部であり、取得された使用者の眼球と注視対象シーンを含んだ全天周画像データ７は虹彩部画像抽出部３に送出される。虹彩部画像抽出部３では使用者の眼球と注視対象シーンを含んだ全天周画像データ７から、画像処理によって眼球の虹彩部画像を抽出する。虹彩部画像抽出部３で抽出された虹彩部画像データ８が虹彩楕円形状評価部４に送出され、虹彩楕円形状評価部４では虹彩部画像データ８から、その楕円形状を評価する。虹彩楕円形状評価部４で得られた虹彩楕円形状データ９が視線方向推定部５に送出され、使用者の視線方向が推定される。視線方向推定部で得られた視線方向データ１０が注視点推定部６に送出され、注視対象シーン画像中の注視点が推定される。
正面正視状態の虹彩画像は真円であるが、視線方向が正面正視状態からずれることによって、そのずれ量に応じて虹彩画像は楕円に変形する。即ち、本発明の注視点推定システムでは、虹彩画像の楕円変形量から使用者の視線方向の正面正視状態からのずれ量を推定し、得られた視線方向から注視対象シーン上の注視点を求める。
FIG. 1 is a diagram showing a system configuration of a gaze point estimation system according to the present invention, and 1 is a gaze point estimation system. Reference numeral 2 denotes an omnidirectional image acquisition unit configured by an omnidirectional camera or the like, and the acquired omnidirectional image data 7 including the user's eyeball and a gaze target scene is sent to the iris image extraction unit 3. The The iris part image extracting unit 3 extracts the iris part image of the eyeball by image processing from the whole sky image data 7 including the user's eyeball and the gaze target scene. The iris part image data 8 extracted by the iris part image extraction part 3 is sent to the iris ellipse shape evaluation part 4, and the iris ellipse shape evaluation part 4 evaluates the elliptical shape from the iris part image data 8. The iris ellipse shape data 9 obtained by the iris ellipse shape evaluation unit 4 is sent to the gaze direction estimation unit 5 to estimate the user's gaze direction. The gaze direction data 10 obtained by the gaze direction estimation unit is sent to the gaze point estimation unit 6, and the gaze point in the gaze target scene image is estimated.
Although the iris image in the front normal vision state is a perfect circle, the iris image is deformed into an ellipse according to the deviation amount when the line-of-sight direction deviates from the front normal vision state. That is, in the gaze point estimation system of the present invention, the amount of deviation from the frontal normal viewing state of the user's line-of-sight direction is estimated from the elliptical deformation amount of the iris image, and the gaze point on the gaze target scene is obtained from the obtained line-of-sight direction. .
図２によって、本発明の注視点推定方法及びプログラムのデータ処理手順の概要を説明する。
１．ステップ１
図１の全天周画像取得部２によって使用者の眼球と注視対象シーンを含んだ全天周画像７を取得する。取得された全天周画像７は虹彩部画像抽出部３に送出される。
２．ステップ２
ステップ１で取得した使用者の眼球と注視対象シーンを含んだ全天周画像７から、画像処理によって虹彩部画像抽出部３で虹彩部を抽出し、虹彩部画像データ８を虹彩楕円形状評価部４に送出する。
３．ステップ３
ステップ２で取得した虹彩部画像データ８から虹彩画像の楕円形状を評価し、虹彩楕円形状データ９を視線方向推定部５に送出する。
４．ステップ４
ステップ３で取得した、使用者の視線が正面正視状態からずれたことに起因する虹彩楕円形状データ９から使用者視線方向の正面正視状態からのずれ量を推定し、視線方向データ１０を注視点推定部６に送出する。
５．ステップ５
視線方向推定部５から取得した視線方向データ１０を基に、注視対象シーン状の注視点を求める。
With reference to FIG. 2, the outline of the data processing procedure of the gaze point estimation method and program of the present invention will be described.
1. Step 1
The omnidirectional image acquisition unit 2 in FIG. 1 acquires the omnidirectional image 7 including the user's eyeball and the gaze target scene. The acquired all-sky image 7 is sent to the iris image extraction unit 3.
2. Step 2
From the whole sky image 7 including the user's eyeball and gaze target scene acquired in step 1, the iris part image extraction unit 3 extracts the iris part by image processing, and the iris part image data 8 is converted into the iris ellipse shape evaluation part. 4 to send.
3. Step 3
The ellipse shape of the iris image is evaluated from the iris part image data 8 acquired in step 2, and the iris ellipse shape data 9 is sent to the gaze direction estimation unit 5.
4). Step 4
The amount of deviation from the frontal normal state in the user's line of sight direction is estimated from the iris ellipse shape data 9 resulting from the deviation of the user's line of sight from the frontal normal state acquired in step 3, and the gaze direction data 10 is determined as the gaze point. Send to the estimation unit 6.
5. Step 5
Based on the line-of-sight direction data 10 acquired from the line-of-sight direction estimation unit 5, a gaze point in the form of a gaze target scene is obtained.
以下、注視点推定システム、注視点推定方法及び注視点推定プログラムの実現可能性
を確認するため、実際にシステムを構築して性能確認等を実施した結果を示す。
Hereinafter, in order to confirm the feasibility of the gazing point estimation system, the gazing point estimation method, and the gazing point estimation program, results of actually constructing the system and performing performance confirmation and the like are shown.
１．全天周画像の取得
本発明は、一つの全天周カメラのみを用いて注視点推定を行う。本実施例では、全天周カメラにリコー社の製品であるRICOH THETAを用いる。装置の構成を図３に示す。この装置は、メガネのフレームに横向きに全天周カメラを接着したものである。このとき、全天周カメラは使用者の眼球部と注視対象シーンが同一画像内に収まるような位置に取り付ける必要がある。この適切な位置に取り付けられた全天周カメラから獲得される画像例を図４に示す。図４から分かるように、全天周画像1枚で、使用者の目と使用者が注視可能なシーンの両方を撮影出来ていることが分かる。
1. Acquisition of all-sky image The present invention performs gaze point estimation using only one all-around camera. In this embodiment, Ricoh's product RICOH THETA is used for the all-sky camera. The configuration of the apparatus is shown in FIG. In this apparatus, an all-sky camera is bonded sideways to a frame of glasses. At this time, it is necessary to attach the omnidirectional camera to a position where the user's eyeball part and the gaze target scene are within the same image. FIG. 4 shows an example of an image acquired from the omnidirectional camera attached to this appropriate position. As can be seen from FIG. 4, it can be seen that a single all-sky image captures both the user's eyes and the scene that the user can watch.
２．虹彩部の抽出
注視点推定を行うために、まず初めに、入力画像における使用者の目の位置を大まかに求める必要がある。装置の構成上、入力画像には比較的歪みの少ない横顔が撮影される。これを利用して、Haar-Like特徴分類器を用いた横顔検出および目検出を行う。図５に横顔および目を検出した例を示す。外側の白い枠が、横顔の検出結果で、内側の白い枠が目の検出結果である。目の検出は、検出された横顔の範囲内でのみ行う。
THETAから取得される全天周画像は正距円筒図法で描かれており、正距円筒図法で描かれた全天周画像には歪みが存在する。そのため、今後の虹彩楕円推定と注視ベクトル獲得のためには、歪みのない透視投影画像を作成する必要がある。そこで、Haar-like特徴分類機を用いて検出した目領域に対して、目領域の透視投影画像を作成する。図６に一つの全天周カメラのみによる注視点推定のモデルを示す。全天周カメラ座標系をOs、透視投影画像座標系をOとする。また、目領域の透視投影画像作成時の光軸の座標変換行列をRとする。すると、全天周カメラ座標系と、透視投影画像座標の関係は（１）式のようになる。また、獲得された目領域の透視投影画像の例を７に示す。
2. In order to perform extraction gazing point estimation of the iris part, it is first necessary to roughly determine the position of the user's eyes in the input image. Due to the configuration of the apparatus, a profile with relatively little distortion is photographed in the input image. Using this, profile detection and eye detection are performed using a Haar-Like feature classifier. FIG. 5 shows an example in which a profile and eyes are detected. The outer white frame is the side face detection result, and the inner white frame is the eye detection result. Eye detection is performed only within the detected profile.
The all-sky image obtained from THETA is drawn by equirectangular projection, and there is distortion in the all-around image drawn by equirectangular projection. Therefore, it is necessary to create a perspective projection image without distortion for future iris ellipse estimation and gaze vector acquisition. Therefore, a perspective projection image of the eye area is created for the eye area detected using the Haar-like feature classifier. FIG. 6 shows a gaze point estimation model using only one omnidirectional camera. The omnidirectional camera coordinate system is Os, and the perspective projection image coordinate system is O. Also, let R be the coordinate conversion matrix of the optical axis when creating a perspective projection image of the eye area. Then, the relationship between the omnidirectional camera coordinate system and the perspective projection image coordinates is expressed by equation (1). An example of the perspective projection image of the acquired eye area is shown in FIG.
３．虹彩部楕円形状の評価
次に、作成した透視投影画像の虹彩に対して、虹彩楕円推定を行う。そのための前処理として、まず画像の正規化を行う。そして次に、メディアンフィルタを用いて、ノイズの除去を行い、Cannyエッジ検出を用いて、エッジ点を抽出する。図８(左上)にメディアンフィルタ後の画像を示す。図８(右上)にエッジ画像を示す。ここで、得られたエッジ点群には、睫や、瞼、瞼の影や、メガネフレームなど虹彩以外によるエッジ(ノイズ)が多大に含まれている。そこで、大まかな虹彩の中心を検出し、その近傍のエッジのみを抽出することで対応する。具体的には、公知の勾配を用いた黒目の中心検出法を用いて求めた大まかな虹彩中心から、放射線状にエッジ点があるかを調べ、一番近いエッジ点のみを残す。図８(左下)にノイズ除去を行ったエッジ画像を示す。次にノイズ除去を行ったエッジ画像に対して、RANSACで楕円推定を行う。そして、求めた楕円から、マスクを作成し、ノイズ除去前のエッジ画像にマスク処理を行うことで、楕円推定の前処理を完了する。図８(右下)に前処理が完了した画像を示す。最後に、前処理画像に対して、再びRANSAC楕円推定を行う。虹彩楕円推定の結果例を図９に示す。
3. Evaluation of Iris Ellipse Shape Next, iris ellipse estimation is performed on the iris of the created perspective projection image. As preprocessing for that purpose, image normalization is first performed. Next, noise is removed using a median filter, and edge points are extracted using Canny edge detection. FIG. 8 (upper left) shows an image after the median filter. FIG. 8 (upper right) shows an edge image. Here, the obtained edge point group includes a large amount of edges (noise) other than irises such as eyelids, eyelids, shadows of eyelids, and eyeglass frames. Therefore, this is dealt with by detecting the rough center of the iris and extracting only the neighboring edges. Specifically, it is checked whether there is an edge point in a radial manner from the rough iris center obtained by using a known center detection method using a gradient, and only the nearest edge point is left. FIG. 8 (lower left) shows an edge image from which noise has been removed. Next, ellipse estimation is performed by RANSAC on the edge image from which noise has been removed. Then, a mask is created from the obtained ellipse, and mask processing is performed on the edge image before noise removal, thereby completing the preprocessing for ellipse estimation. FIG. 8 (lower right) shows an image for which preprocessing has been completed. Finally, RANSAC ellipse estimation is performed again on the preprocessed image. An example of the result of iris ellipse estimation is shown in FIG.
４．視線方向の推定
透視投影画像座標系における注視ベクトルは、公知の眼球モデルを用いた注視ベクトル推定手法により求める。虹彩の楕円パラメータの長軸、短軸を
,
, 回転角
とすると、注視ベクトル
は（２）式より求まる。
なお
である。図９に注視ベクトルを可視化して示す。黒目の中心の白丸は虹彩の楕円中心であり、そこから左上に伸びている白線が注視ベクトルを可視化したものである。
4). Gaze direction estimation The gaze vector in the perspective projection image coordinate system is obtained by a gaze vector estimation method using a known eyeball model. The major and minor axes of the iris ellipse parameters
,
, Angle of rotation
And gaze vector
Is obtained from equation (2).
In addition
It is. FIG. 9 shows the gaze vector visualized. The white circle at the center of the black eye is the center of the ellipse of the iris, and the white line extending from the left to the right visualizes the gaze vector.
５．注視点の推定
ステップ４で求めた注視ベクトルgは、目領域透視画像座標系Oで得られたものである。そこで次に、全天周座標系Osにおける注視点へのベクトルgsを求める必要がある。
もし本発明において、眼球と全天周カメラとの間の距離がゼロであると仮定した場合、式(1)のRを用いて、gベクトルとgsベクトルは（３）式のように表すことができる。
実際には眼球と全天周カメラとの間に4.5cm程の距離が存在するため、（３）式を用いた場合、その距離の分だけ実環境下で誤差が生じる。しかしながら、現状ではこの誤差を取り除くことはできず、また注視対象が一定以上離れていれば無視できるほどの誤差であるため、許容できるものとする。
以上より、全天周カメラ座標系における注視ベクトルgsを求めることができる。 最後にgsベクトルが全天周画像上でどこに対応するのかを求める。(
)は、gsを球座標で表したものである。全天周画像上での注視点を(px, py)、 全天周画像の解像度を(W, H)とし、またgs=(gs.x, gs.y, gs.z)であるとすると、
…(4)
…(5)
…(6)
…(7)
となり、全天周画像上での注視点が求まる。
全天周画像上に注視点を示した画像を図１０に示す。図中の「+」印が注視点である。
5. The gaze vector g obtained in the gaze point estimation step 4 is obtained in the eye region perspective image coordinate system O. Therefore, next, it is necessary to obtain a vector gs to the gazing point in the omnidirectional coordinate system Os.
If it is assumed in the present invention that the distance between the eyeball and the omnidirectional camera is zero, the g vector and gs vector can be expressed as in equation (3) using R in equation (1). Can do.
Actually, there is a distance of about 4.5 cm between the eyeball and the omnidirectional camera. Therefore, when equation (3) is used, an error occurs in the actual environment by the distance. However, at present, this error cannot be removed, and since it is an error that can be ignored if the gaze target is more than a certain distance, it is acceptable.
As described above, the gaze vector gs in the all-sky camera coordinate system can be obtained. Finally, find out where the gs vector corresponds on the all-sky image. (
) Represents gs in spherical coordinates. If the gazing point on the whole sky image is (px, py), the resolution of the whole sky image is (W, H), and gs = (gs.x, gs.y, gs.z) ,
…(Four)
…(Five)
… (6)
… (7)
The gaze point on the whole sky image is obtained.
An image showing a gazing point on the whole sky image is shown in FIG. The "+" mark in the figure is the point of interest.
精度評価実験として以下を行った。一人の被験者に，正対する壁に取り付けれた9個のマーカを左上から右下まで順に注視してもらった．マーカとマーカとの間は30cmで，壁と被験者との距離は2mに設定した．被験者には，これを10セット繰り返してもらい，各マーカあたり10枚，計90枚の入力画像を取得し，注視点推定を行った．本実験において，視線方向平均誤差は，4.10[deg]となった．また，平均最大誤差は7.94[deg]，平均最小誤差は1.00[deg]であった． The following was conducted as an accuracy evaluation experiment. A subject stared at the nine markers attached to the facing wall in order from the upper left to the lower right. The distance between the markers was 30 cm, and the distance between the wall and the subject was set at 2 m. The subjects repeated 10 sets of this, acquired 10 images for each marker, a total of 90 input images, and performed gaze point estimation. In this experiment, the average gaze direction error was 4.10 [deg]. The average maximum error was 7.94 [deg], and the average minimum error was 1.00 [deg].
本発明によれば、１つの全天周カメラによって撮影した使用者の眼球と注視対象シーンを含む全天周画像を基に、使用者の注視点を推定することが可能となる。
１つの全天周カメラのみを使用者に装着することで実現可能であり、カメラ姿勢の事前校正が不要な、簡便な方式の実現が可能となる。
According to the present invention, it is possible to estimate the user's gaze point based on the whole sky image including the user's eyeball and the gaze target scene photographed by one omnidirectional camera.
This can be realized by attaching only one omnidirectional camera to the user, and it is possible to realize a simple method that does not require prior calibration of the camera posture.
１ 注視点推定システム
２ 全天周画像取得部
３ 虹彩部画像抽出部
４ 虹彩楕円形状評価部
５ 視線方向推定部
６ 注視点推定部
７ 全天周画像
８ 虹彩部画像データ
９ 虹彩楕円形状データ
１０ 視線方向データ
DESCRIPTION OF SYMBOLS 1 Gaze point estimation system 2 Whole sky image acquisition part 3 Iris part image extraction part 4 Iris ellipse shape evaluation part 5 Gaze direction estimation part 6 Gaze point estimation part 7 Whole sky image 8 Iris part image data 9 Iris ellipse shape data 10 Gaze direction data
Claims (3)
An iris image extraction procedure for extracting an iris image of an eyeball from an all-sky image including a user's eyeball and a gaze target scene acquired by the all-sky image acquisition means on a computer, and an elliptical shape of the iris image An iris ellipse shape evaluation procedure for evaluating the gaze direction, a gaze direction estimation procedure for obtaining the user's gaze direction from the ellipse shape, and a gaze point estimation procedure for estimating the user's gaze point from the gaze direction and the gaze target scene A gaze point estimation program to be executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017049517A JP2018149234A (en) | 2017-03-15 | 2017-03-15 | Fixation point estimation system, fixation point estimation method, and fixation point estimation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017049517A JP2018149234A (en) | 2017-03-15 | 2017-03-15 | Fixation point estimation system, fixation point estimation method, and fixation point estimation program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018149234A true JP2018149234A (en) | 2018-09-27 |
Family
ID=63681105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017049517A Pending JP2018149234A (en) | 2017-03-15 | 2017-03-15 | Fixation point estimation system, fixation point estimation method, and fixation point estimation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018149234A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664394A (en) * | 2023-08-01 | 2023-08-29 | 博奥生物集团有限公司 | Three-dimensional human eye image generation method and device, electronic equipment and storage medium |
| CN118011893A (en) * | 2024-01-09 | 2024-05-10 | 西乔科技南京有限公司 | Man-machine interaction system based on artificial intelligence |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005261728A (en) * | 2004-03-19 | 2005-09-29 | Fuji Xerox Co Ltd | Line-of-sight direction recognition apparatus and line-of-sight direction recognition program |
| JP2005312605A (en) * | 2004-04-28 | 2005-11-10 | Ditect:Kk | Gaze position display device |
| JP2007289656A (en) * | 2006-03-28 | 2007-11-08 | Fujifilm Corp | Image recording apparatus, image recording method and image recording program |
| JP2008102902A (en) * | 2006-07-18 | 2008-05-01 | Advanced Telecommunication Research Institute International | Visual line direction estimation device, visual line direction estimation method, and program for making computer execute visual line direction estimation method |
| JP2010107829A (en) * | 2008-10-31 | 2010-05-13 | Daiso Co Ltd | Imaging optical system |
| JP2012124767A (en) * | 2010-12-09 | 2012-06-28 | Canon Inc | Imaging apparatus |
| JP2016140720A (en) * | 2015-02-05 | 2016-08-08 | 株式会社リコー | Communication terminal, interview system, display method, and program |
| JP2016212784A (en) * | 2015-05-13 | 2016-12-15 | 株式会社リコー | Image processing apparatus and image processing method |
| JP2017034362A (en) * | 2015-07-29 | 2017-02-09 | 株式会社リコー | Moving image display device, moving image display method, and program |
-
2017
- 2017-03-15 JP JP2017049517A patent/JP2018149234A/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005261728A (en) * | 2004-03-19 | 2005-09-29 | Fuji Xerox Co Ltd | Line-of-sight direction recognition apparatus and line-of-sight direction recognition program |
| JP2005312605A (en) * | 2004-04-28 | 2005-11-10 | Ditect:Kk | Gaze position display device |
| JP2007289656A (en) * | 2006-03-28 | 2007-11-08 | Fujifilm Corp | Image recording apparatus, image recording method and image recording program |
| JP2008102902A (en) * | 2006-07-18 | 2008-05-01 | Advanced Telecommunication Research Institute International | Visual line direction estimation device, visual line direction estimation method, and program for making computer execute visual line direction estimation method |
| JP2010107829A (en) * | 2008-10-31 | 2010-05-13 | Daiso Co Ltd | Imaging optical system |
| JP2012124767A (en) * | 2010-12-09 | 2012-06-28 | Canon Inc | Imaging apparatus |
| JP2016140720A (en) * | 2015-02-05 | 2016-08-08 | 株式会社リコー | Communication terminal, interview system, display method, and program |
| JP2016212784A (en) * | 2015-05-13 | 2016-12-15 | 株式会社リコー | Image processing apparatus and image processing method |
| JP2017034362A (en) * | 2015-07-29 | 2017-02-09 | 株式会社リコー | Moving image display device, moving image display method, and program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664394A (en) * | 2023-08-01 | 2023-08-29 | 博奥生物集团有限公司 | Three-dimensional human eye image generation method and device, electronic equipment and storage medium |
| CN116664394B (en) * | 2023-08-01 | 2023-10-03 | 博奥生物集团有限公司 | Three-dimensional human eye image generation method and device, electronic equipment and storage medium |
| CN118011893A (en) * | 2024-01-09 | 2024-05-10 | 西乔科技南京有限公司 | Man-machine interaction system based on artificial intelligence |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107004275B (en) | Method and system for determining spatial coordinates of a 3D reconstruction of at least a part of a physical object | |
| KR101909006B1 (en) | Image registration device, image registration method, and image registration program | |
| US10002463B2 (en) | Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color | |
| JP6800091B2 (en) | Line-of-sight measuring device and program | |
| JP2023036710A (en) | Tilt shift iris imaging | |
| CN104809424B (en) | Method for realizing sight tracking based on iris characteristics | |
| US20150029322A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
| JP2016173313A (en) | Visual line direction estimation system, visual line direction estimation method and visual line direction estimation program | |
| JP2016019194A (en) | Image processing apparatus, image processing method, and image projection device | |
| WO2017187694A1 (en) | Region of interest image generating device | |
| JP7030317B2 (en) | Pupil detection device and pupil detection method | |
| JP6191943B2 (en) | Gaze direction estimation device, gaze direction estimation device, and gaze direction estimation program | |
| JP6840697B2 (en) | Line-of-sight direction estimation device, line-of-sight direction estimation method, and line-of-sight direction estimation program | |
| KR101628493B1 (en) | Apparatus and method for tracking gaze of glasses wearer | |
| JP2013252301A (en) | Device and program for estimating eyeball center position | |
| JP6855872B2 (en) | Face recognition device | |
| JP2011090702A5 (en) | ||
| JP6452235B2 (en) | Face detection method, face detection device, and face detection program | |
| JP2017123087A (en) | Program, device and method for calculating normal vector of planar object reflected in continuous photographic images | |
| JP2018149234A (en) | Fixation point estimation system, fixation point estimation method, and fixation point estimation program | |
| JP6276713B2 (en) | Image data processing method, image data processing apparatus, and image data processing program | |
| JP6906943B2 (en) | On-board unit | |
| JP7498404B2 (en) | Apparatus, method and program for estimating three-dimensional posture of subject | |
| WO2018220963A1 (en) | Information processing device, information processing method, and program | |
| JP6288770B2 (en) | Face detection method, face detection system, and face detection program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20170321 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170605 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191016 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191016 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210921 |