JP2016122380A - Position detection device, position detection method, gazing point detection device, and image generation device - Google Patents

Position detection device, position detection method, gazing point detection device, and image generation device Download PDF

Info

Publication number
JP2016122380A
JP2016122380A JP2014262787A JP2014262787A JP2016122380A JP 2016122380 A JP2016122380 A JP 2016122380A JP 2014262787 A JP2014262787 A JP 2014262787A JP 2014262787 A JP2014262787 A JP 2014262787A JP 2016122380 A JP2016122380 A JP 2016122380A
Authority
JP
Japan
Prior art keywords
reflector
cameras
light emitter
light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014262787A
Other languages
Japanese (ja)
Other versions
JP6430813B2 (en
Inventor
嘉伸 海老澤
Yoshinobu Ebisawa
嘉伸 海老澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2014262787A priority Critical patent/JP6430813B2/en
Publication of JP2016122380A publication Critical patent/JP2016122380A/en
Application granted granted Critical
Publication of JP6430813B2 publication Critical patent/JP6430813B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

PROBLEM TO BE SOLVED: To enhance the accuracy of a position calculation of an object by simple calculation processing.SOLUTION: A gazing point detection device 1 includes left and right cameras 10 for imaging a corneal ball C of an object A, a light source 13 whose location to the respective cameras 10 is known, and an information processing device 20 for calculating a three-dimensional position of the corneal ball C by stereo matching on the basis of images picked up by the respective cameras 10, specifying the inclination of a line connecting a reflection point of a light-emitting element 40 and a reflection point of the light source 13 in each of the images, and calculating the position of the light-emitting element 40 on the basis of the three-dimensional position of the corneal ball C and the inclination of the images.SELECTED DRAWING: Figure 1

Description

本発明は、検出対象の位置を検出する位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置に関する。   The present invention relates to a position detection device that detects the position of a detection target, a position detection method, a gaze point detection device, and an image generation device.

近年、パーソナルコンピュータ等の情報処理装置において、画像処理によって物体の位置を特定する技術が利用されている。下記の非特許文献１には、パーソナルコンピュータのディスプレイ装置の四隅にマーカーを取り付けて、カメラを用いて使用者を撮像し、得られた画像を基にして、使用者の角膜に映るそれらのマーカーの位置関係と虹彩輪郭と眼球モデルとからカメラに対する対象者の目の位置を求める技術が記載されている。さらに、この技術では、得られた画像におけるマーカーの位置の情報を基にして、ディスプレイの位置と方向を決定している。   In recent years, a technology for specifying the position of an object by image processing has been used in an information processing apparatus such as a personal computer. Non-Patent Document 1 below shows that the markers are attached to the four corners of a display device of a personal computer, the user is imaged using a camera, and the markers reflected on the user's cornea are based on the obtained image. Describes a technique for obtaining the position of the eye of the subject with respect to the camera from the positional relationship, the iris contour, and the eyeball model. Further, in this technique, the position and direction of the display are determined based on the information on the position of the marker in the obtained image.

C. Nitschke et al., “Display-cameracalibration using eye reflections and geometry constraints”; ComputerVision and Image Understanding, Vol.115, No.6, pp.835-853, Jun. 2011.C. Nitschke et al., “Display-cameracalibration using eye reflections and geometry constraints”; ComputerVision and Image Understanding, Vol.115, No.6, pp.835-853, Jun. 2011.

しかしながら、上記の非特許文献１に記載の技術では、カメラで撮像されたマーカーの位置関係と眼球モデルとを用いているため、対象物であるディスプレイの位置計算の精度が使用者によってばらつく傾向にある。また、位置計算の処理が複雑化し計算時間が長くなりがちである。   However, since the technique described in Non-Patent Document 1 uses the positional relationship between the markers imaged by the camera and the eyeball model, the accuracy of the position calculation of the display that is the target tends to vary depending on the user. is there. In addition, the position calculation process is complicated and the calculation time tends to be long.

本発明は、上記課題に鑑みて為されたものであり、簡易な計算処理により対象物の位置計算の精度を高めることが可能な位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置を提供することを目的とする。   The present invention has been made in view of the above problems, and a position detection device, a position detection method, a gazing point detection device, and an image generation capable of improving the accuracy of position calculation of an object by simple calculation processing. An object is to provide an apparatus.

上記課題を解決するため、本発明の一形態にかかる位置検出装置は、発光体が取り付けられた検出対象の位置を検出する位置検出装置であって、検出対象に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、反射体の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、反射体の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算する情報処理部と、を備える。   In order to solve the above-described problem, a position detection device according to an embodiment of the present invention is a position detection device that detects the position of a detection target to which a light emitter is attached, and has a convex surface arranged toward the detection target. Images were taken by the first and second cameras that image the reflector, the first and second light sources whose positions relative to the first and second cameras are known, and the first and second cameras, respectively. Based on the first and second images, the three-dimensional position of the reflector is calculated by stereo matching, and the reflection point of the light emitter and the reflection of the first and second light sources in each of the first and second images. An information processing unit that specifies an inclination of a line connecting the points and calculates the position of the light emitter based on the three-dimensional position of the reflector and the inclinations in the first and second images.

或いは、本発明の他の形態にかかる位置検出方法は、発光体が取り付けられた検出対象の位置を検出する位置検出方法であって、第１及び第２のカメラが、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源を点灯させた状態で、検出対象に向けて配置された凸面を有する反射体を撮像するステップと、情報処理部が、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、反射体の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、反射体の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算するステップと、を備える。   Or the position detection method concerning the other form of this invention is a position detection method which detects the position of the detection target to which the light-emitting body was attached, Comprising: 1st and 2nd cameras are 1st and 2nd With the first and second light sources whose positions relative to the cameras are known turned on, the step of imaging a reflector having a convex surface arranged toward the detection target, Based on the first and second images captured by each of the two cameras, the three-dimensional position of the reflector is calculated by stereo matching, and the reflection point of the light emitter in each of the first and second images Identifying the slope of the line connecting the reflection points of the first and second light sources, and calculating the position of the light emitter based on the three-dimensional position of the reflector and the slope in the first and second images; Is provided.

上記形態の位置検出装置或いは位置検出方法によれば、第１及び第２のカメラによって検出対象に向く凸面を有する反射体が撮像される。そして、情報処理部によって、得られた画像における第１及び第２の光源の反射点を基に、反射体の三次元位置が計算されるとともに、得られた画像における検出対象に取り付けられた発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きが特定される。さらに、情報処理部によって反射体の三次元位置と線の傾きとを使って発光体の位置が計算される。このように、第１及び第２のカメラによって得られた画像における２つの反射点を結ぶ線の傾きを使って検出対象の位置が計算されるので、高精度の位置検出結果を簡易な計算で得ることができる。   According to the position detection device or the position detection method of the above aspect, the first and second cameras image a reflector having a convex surface facing the detection target. Then, the information processing unit calculates the three-dimensional position of the reflector based on the reflection points of the first and second light sources in the obtained image and emits light attached to the detection target in the obtained image. The slope of the line connecting the reflection point of the body and the reflection points of the first and second light sources is specified. Further, the position of the light emitter is calculated by the information processing unit using the three-dimensional position of the reflector and the inclination of the line. Thus, since the position of the detection target is calculated using the slope of the line connecting the two reflection points in the images obtained by the first and second cameras, the highly accurate position detection result can be calculated with a simple calculation. Can be obtained.

ここで、第１及び第２の光源は、それぞれ、反射体上の反射点が第１及び第２のカメラのピンホールと反射体とを結ぶ直線上に現れる程度において、第１及び第２のカメラの近傍に位置するように配置されている、こうすれば、位置検出結果の精度をさらに向上させることができる。   Here, the first and second light sources have the first and second light sources so that the reflection point on the reflector appears on a straight line connecting the pinhole and the reflector of the first and second cameras. In this way, the accuracy of the position detection result can be further improved.

また、情報処理部は、発光体の三次元位置と第１の画像における傾きとを基に、第１の光源と反射体と発光体とを通る第１の平面を特定し、発光体の三次元位置と第２の画像における傾きとを基に、第２の光源と反射体と発光体とを通る第２の平面を特定した後に、第１及び第２の平面の交線を基に発光体の位置を計算することとしてもよい。この場合には、第１及び第２のカメラによって得られた画像における２つの反射点を結ぶ線の傾きを使って２つの平面が特定され、その２つの平面の交線によって検出対象の位置が計算されるので、反射体の形状に関係なく高精度の位置検出結果を簡易な計算で得ることができる。   The information processing unit identifies a first plane that passes through the first light source, the reflector, and the light emitter based on the three-dimensional position of the light emitter and the inclination in the first image, and the third order of the light emitter. After specifying the second plane passing through the second light source, the reflector, and the light emitter based on the original position and the inclination in the second image, light is emitted based on the intersection of the first and second planes. The position of the body may be calculated. In this case, two planes are specified using the inclination of the line connecting the two reflection points in the images obtained by the first and second cameras, and the position of the detection target is determined by the intersection of the two planes. Since it is calculated, a highly accurate position detection result can be obtained by simple calculation regardless of the shape of the reflector.

また、第１及び第２のカメラは、位置が変更された１つ以上の反射体を連続的に２回以上撮像する方法、位置の異なる２つ以上の反射体を撮像する方法のいずれかの方法を用いるように動作し、情報処理部は、第１及び第２のカメラによって撮像された画像を基に、第１の光源と反射体と発光体とを通る第３の平面を特定し、第２の光源と反射体と発光体とを通る第４の平面を特定した後に、第１及び第２の平面の交線と第３及び第４の交線とを基に発光体の位置を計算することとしてもよい。この場合には、第１及び第２のカメラによって得られた画像における２つの反射点を結ぶ線の傾きを使って４つの平面が特定され、それらから得られた２つの交線によって検出対象の位置が計算されるので、検出対象の三次元位置を高精度に得ることができる。   The first and second cameras may be either a method of continuously imaging one or more reflectors whose positions have been changed twice or more, or a method of imaging two or more reflectors having different positions. The information processing unit operates to use the method, specifies the third plane passing through the first light source, the reflector, and the light emitter based on the images captured by the first and second cameras, After specifying the fourth plane passing through the second light source, the reflector, and the light emitter, the position of the light emitter is determined based on the intersection line of the first and second planes and the third and fourth intersection lines. It may be calculated. In this case, four planes are specified using the slopes of the lines connecting the two reflection points in the images obtained by the first and second cameras, and the detection target is detected by the two intersecting lines obtained from them. Since the position is calculated, the three-dimensional position of the detection target can be obtained with high accuracy.

また、第１及び第２の光源は、それぞれ、第１及び第２のカメラの開口部近傍に設けられ、情報処理部は、第１及び第２の画像における第１及び第２の光源の反射点の位置を基に反射体の三次元位置をステレオマッチングにより計算することとしてもよい。この場合には、反射体の三次元位置をより単純な計算で得ることができるので、その結果、検出対象の位置をより簡易に得ることができる。   The first and second light sources are provided near the openings of the first and second cameras, respectively, and the information processing unit reflects the first and second light sources in the first and second images. The three-dimensional position of the reflector may be calculated by stereo matching based on the position of the point. In this case, the three-dimensional position of the reflector can be obtained by simpler calculation, and as a result, the position of the detection target can be obtained more easily.

或いは、本発明の他の形態にかかる注視点検出装置は、発光体が取り付けられた表示画面上の対象者の注視点を検出する注視点検出装置であって、対象者の角膜球を撮像する第１及び第２のカメラと、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、角膜球の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、角膜球の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算する情報処理部と、情報処理部によって計算された発光体の位置を基に表示画面の位置を特定し、表示画面の位置を用いて注視点を検出する注視点計算部と、を備える。   Or the gaze point detection apparatus concerning the other form of this invention is a gaze point detection apparatus which detects the subject's gaze point on the display screen to which the light-emitting body was attached, Comprising: A target person's corneal sphere is imaged. The first and second cameras, the first and second light sources whose positions relative to the first and second cameras are known, and the first and second images captured by the first and second cameras, respectively. The three-dimensional position of the corneal sphere is calculated by stereo matching based on the image of, and the line connecting the reflection point of the light emitter and the reflection point of the first and second light sources in each of the first and second images An information processing unit that calculates the position of the illuminant based on the three-dimensional position of the corneal sphere and the inclinations in the first and second images, and the position of the illuminant calculated by the information processing unit The position of the display screen is specified based on the display screen. And a gaze point calculation unit for detecting a gaze point using the position.

上記形態の注視点検出装置によれば、表示画面の位置を高精度かつ簡易に得ることができ、その結果、その表示画面上の注視点を正確に得ることができる。   According to the gaze point detection device of the above aspect, the position of the display screen can be obtained with high accuracy and simplicity, and as a result, the gaze point on the display screen can be obtained accurately.

或いは、本発明の他の形態にかかる画像生成装置は、発光体が取り付けられた表示画面上に画像を表示させる画像生成装置であって、検出対象に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、反射体の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、反射体の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算する情報処理部と、情報処理部によって計算された発光体の位置を基に表示画面の位置を特定し、表示画面の位置を用いて表示画面上に画像を表示させる画像生成部と、を備える。   Alternatively, an image generation apparatus according to another aspect of the present invention is an image generation apparatus that displays an image on a display screen to which a light emitter is attached, and includes a reflector having a convex surface arranged toward a detection target. First and second cameras to be imaged, first and second light sources whose positions relative to each of the first and second cameras are known, and first and second images captured by the first and second cameras, respectively. Based on the second image, the three-dimensional position of the reflector is calculated by stereo matching, and the reflection point of the light emitter and the reflection point of the first and second light sources in each of the first and second images are calculated. An information processing unit that identifies the inclination of the connecting line, calculates the position of the light emitter based on the three-dimensional position of the reflector and the inclination in the first and second images, and the light emitter calculated by the information processing unit Display screen position based on position Identified, and an image generating unit for displaying an image on a display screen by using the position of the display screen.

上記形態の画像生成装置によれば、表示画面の位置を高精度かつ簡易に得ることができ、その結果、その表示画面の位置に応じて表示画面上に適切な画像を表示させることができる。   According to the image generation apparatus of the above aspect, the position of the display screen can be easily obtained with high accuracy, and as a result, an appropriate image can be displayed on the display screen according to the position of the display screen.

本発明によれば、簡易な計算処理により対象物の位置計算の精度を高めることができる。   ADVANTAGE OF THE INVENTION According to this invention, the precision of the position calculation of a target object can be raised by simple calculation processing.

本発明の好適な一実施形態に係る注視点検出装置を示す斜視図である。1 is a perspective view showing a gazing point detection device according to a preferred embodiment of the present invention. 図１のカメラ１０のレンズ部分を示す平面図である。It is a top view which shows the lens part of the camera 10 of FIG. 図１の情報処理装置２０のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the information processing apparatus 20 of FIG. 図１の情報処理装置２０の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the information processing apparatus 20 of FIG. 図４の画像取得部２１によって制御された動作タイミングを示す図であり、（ａ）は、左カメラ１０Ｌの光源１３Ｌの点灯タイミングを示すタイミングチャート、（ｂ）は、右カメラ１０Ｒの光源１３Ｒの点灯タイミングを示すタイミングチャート、（ｃ）は、発光素子４０の点灯タイミングを示すタイミングチャート、（ｄ）は、左カメラ１０Ｌの１フレームの撮像タイミングを示すタイミングチャート、（ｅ）は、右カメラ１０Ｒの１フレームの撮像タイミングを示すタイミングチャートをそれぞれ示す図である。Is a diagram showing the operation timing controlled by the image acquisition unit 21 of FIG. 4, (a) is a timing chart showing the timing of turning on the light source 13 L of the left camera 10 L, (b) is the right camera 10 R timing chart showing the timing of turning on the light source 13 R, (c) is a timing chart showing the timing of turning on the light emitting element 40, (d) is a timing chart showing the imaging timing of one frame of the left camera 10 L, (e) is a diagram showing respectively a timing chart showing an imaging timing of one frame of the right camera 10 R. （ａ）は、カメラ１０と対象者Ａの角膜球Ｃと発光素子４０との位置関係を示す図、（ｂ）は、右カメラ１０Ｒによって得られた画像データのイメージを示す図、（ｃ）は、左カメラ１０Ｌによって得られた画像データのイメージを示す図である。(A) is a diagram showing the positional relationship between the cornea ball C of the camera 10 and the subject A and the light emitting element 40, (b) is a diagram showing an image of image data obtained by the right camera 10 R, (c ) Is a diagram showing an image of image data obtained by the left camera 10L . 図１の注視点検出装置で設定される座標系の位置関係を示す図である。It is a figure which shows the positional relationship of the coordinate system set with the gazing point detection apparatus of FIG. 図１のカメラ１０によって得られる画像データのイメージを示す図である。It is a figure which shows the image of the image data obtained by the camera 10 of FIG. 図４の位置計算部２２によって設定される仮想平面のイメージを示す図である。It is a figure which shows the image of the virtual plane set by the position calculation part 22 of FIG. 本発明の変形例において、カメラ１０と対象者Ａの左右の角膜球ＣＲ，ＣＬと発光素子４０との位置関係を示す図である。In a variation of the present invention, the cornea sphere C R of the left and right cameras 10 and subject A, a diagram showing the positional relationship between C L and the light emitting element 40. 本発明の変形例にかかる情報処理装置２０Ａの機能構成を示すブロック図である。It is a block diagram which shows the function structure of 20 A of information processing apparatuses concerning the modification of this invention.

以下、図面を参照しつつ本発明に係る位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。   Hereinafter, preferred embodiments of a position detection device, a position detection method, a gaze point detection device, and an image generation device according to the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same or corresponding parts are denoted by the same reference numerals, and redundant description is omitted.

図１は、本発明の好適な一実施形態に係る注視点検出装置１の斜視図である。注視点検出装置１は、ディスプレイ装置の表示画面上の対象者の注視点を検出するコンピュータシステムであり、このシステムにより、本実施形態にかかる位置検出装置及び位置検出方法が実現される。対象者とは、注視点を検出する対象となる人であり、被験者ともいうことができる。注視点検出装置１の利用目的は様々なものが想定され、例えば、コンピュータシステムへのデータ入力、商品の興味の度合いの調査、運転者（対象者）の眠気の検出、及びよそ見運転の検出等が挙げられる。   FIG. 1 is a perspective view of a gazing point detection apparatus 1 according to a preferred embodiment of the present invention. The gazing point detection device 1 is a computer system that detects the gazing point of the subject on the display screen of the display device, and the position detection device and the position detection method according to the present embodiment are realized by this system. The target person is a person who detects the point of gaze and can also be called a subject. The gazing point detection device 1 can be used for various purposes, for example, data input to a computer system, investigation of the degree of interest in a product, detection of a driver (subject) drowsiness, detection of looking away, etc. Is mentioned.

同図に示すように、注視点検出装置１は、ステレオカメラとして機能する一対のカメラ（第１のカメラおよび第２のカメラ）１０と、情報処理装置２０と、情報処理装置２０から出力された情報を表示させるディスプレイ装置３０とを含んで構成される。以下では、必要に応じて、一対のカメラ１０を、対象者Ａの左側にある左カメラ１０Ｌと、対象者Ａの右側にある右カメラ１０Ｒとに区別する。本実施形態では、注視点検出装置１は、その利用目的が上記のように想定されるので、対象者Ａの視線の先にあるものはディスプレイ装置３０には限定されず、例えば自動車のフロントガラス等であってもよい。従って、ディスプレイ装置３０は注視点検出装置１の必須の要素ではない。それぞれのカメラ１０は、情報処理装置２０と有線または無線により接続され、カメラ１０と情報処理装置２０との間で各種のデータ又は命令が送受信される。 As shown in the figure, the gazing point detection device 1 is output from a pair of cameras (first camera and second camera) 10 that function as a stereo camera, an information processing device 20, and an information processing device 20. And a display device 30 for displaying information. Hereinafter, if necessary, it distinguishes a pair of camera 10, and the left camera 10 L on the left side of the subject A, in the right camera 10 R on the right side of the subject A. In the present embodiment, since the purpose of use of the gazing point detection device 1 is assumed as described above, what is beyond the line of sight of the subject A is not limited to the display device 30, for example, a windshield of an automobile Etc. Therefore, the display device 30 is not an essential element of the gazing point detection device 1. Each camera 10 is connected to the information processing apparatus 20 by wire or wirelessly, and various data or commands are transmitted and received between the camera 10 and the information processing apparatus 20.

カメラ１０は、対象者Ａの瞳孔Ｂ、角膜球Ｃ、及びそれらの周辺を撮像するために用いられる。一対のカメラ１０は水平方向に沿って所定の間隔をおいて配置され、かつ、対象者Ａが確実に撮像できるように対象者Ａの顔より低い位置に設けられる。水平方向に対するカメラの仰角は、瞳孔Ｂ及び角膜球Ｃの確実な検出と対象者Ａの視野範囲の妨げの回避との双方を考慮して、例えば２０〜３０度の範囲に設定される。各カメラ１０に対しては予めＴｓａｉのカメラ較正手法等によりカメラ較正が行われ、カメラ１０の内部パラメータが決定される。さらに、予め規定された空間上の位置を決定するための世界座標系における外部パラメータ（位置、方向）が予め決定されている。   The camera 10 is used to image the pupil B, the corneal sphere C, and the periphery of the subject A. The pair of cameras 10 are arranged at a predetermined interval along the horizontal direction, and are provided at a position lower than the face of the subject A so that the subject A can reliably capture an image. The elevation angle of the camera with respect to the horizontal direction is set to a range of, for example, 20 to 30 degrees in consideration of both reliable detection of the pupil B and the corneal sphere C and avoidance of obstruction of the visual field range of the subject A. For each camera 10, camera calibration is performed in advance by a Tsai camera calibration method or the like, and internal parameters of the camera 10 are determined. Furthermore, external parameters (position and direction) in the world coordinate system for determining a position in a predetermined space are determined in advance.

本実施形態では、カメラ１０は、インターレーススキャン方式の一つであるＮＴＳＣ方式のカメラである。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと、偶数番目の水平画素ラインで構成される偶数フィールドとから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮像されることで生成される。したがって、一つのフレームは、一対の奇数フィールドおよび偶数フィールドに相当する。なお、１つのフレームが奇数フィールドおよび偶数フィールドの両方を含むすべての水平画素ラインから構成されていてもよい。カメラ１０は、情報処理装置２０からの命令に応じて対象者Ａを撮像し、その結果生成した画像データを情報処理装置２０に出力する。   In this embodiment, the camera 10 is an NTSC camera that is one of the interlace scan methods. In the NTSC system, 30 frames of image data obtained per second is composed of an odd field composed of odd-numbered horizontal pixel lines and an even field composed of even-numbered horizontal pixel lines. A field image and an even field image are generated by being alternately captured at intervals of 1/60 seconds. Therefore, one frame corresponds to a pair of odd and even fields. One frame may be composed of all horizontal pixel lines including both odd and even fields. The camera 10 captures the target person A in response to a command from the information processing apparatus 20 and outputs image data generated as a result to the information processing apparatus 20.

各カメラ１０の開口部周辺のレンズ部分を図２に模式的に示す。この図に示すように、カメラ１０では、対物レンズ１１が円形状の開口部１２に収容され、開口部１２近傍の外側に光源１３が設けられる。この光源１３は、カメラ１０の開口部１２に対する位置が既知であり、具体的には、リング状を構成する光源１３全体の中心と開口部１２の中心が一致するように設けられている。光源１３は、対象者Ａの顔に向けて照明光を照射するための機器であり、対象者Ａの角膜球Ｃの位置を特定するためのものでもある。光源１３は、複数の発光素子１３ａと複数の発光素子１３ｂとからなる。発光素子１３ａは、出力光の波長が８５０ｎｍの半導体発光素子（ＬＥＤ）であり、開口部１２の縁に沿って等間隔でリング状に配される。発光素子１３ｂは、出力光の波長が９４０ｎｍの半導体発光素子（ＬＥＤ）であり、発光素子１３ａの外側に等間隔でリング状に配される。従って、カメラ１０の光軸から発光素子１３ｂまでの距離は、該光軸から発光素子１３ａまでの距離よりも大きい。それぞれの発光素子１３ａ，１３ｂは、カメラ１０の光軸に沿って照明光を出射するように設けられる。なお、光源１３の配置は、図２に示す構成に限定されず、カメラをピンホールモデルとみなすことができれば他の配置であってもよい。以下では、必要に応じて、左カメラ１０Ｌの開口部近傍に設けられる光源１３Ｌと、右カメラ１０Ｒの開口部近傍に設けられる光源１３Ｒとに区別する。 A lens portion around the opening of each camera 10 is schematically shown in FIG. As shown in this figure, in the camera 10, the objective lens 11 is accommodated in a circular opening 12, and a light source 13 is provided outside the vicinity of the opening 12. The position of the light source 13 with respect to the opening 12 of the camera 10 is known, and specifically, the light source 13 is provided so that the center of the entire light source 13 forming a ring shape coincides with the center of the opening 12. The light source 13 is a device for irradiating illumination light toward the face of the subject A, and is also for specifying the position of the corneal sphere C of the subject A. The light source 13 includes a plurality of light emitting elements 13a and a plurality of light emitting elements 13b. The light emitting elements 13 a are semiconductor light emitting elements (LEDs) having an output light wavelength of 850 nm, and are arranged in a ring shape at equal intervals along the edge of the opening 12. The light emitting element 13b is a semiconductor light emitting element (LED) having a wavelength of output light of 940 nm, and is arranged in a ring shape at equal intervals outside the light emitting element 13a. Accordingly, the distance from the optical axis of the camera 10 to the light emitting element 13b is larger than the distance from the optical axis to the light emitting element 13a. Each of the light emitting elements 13 a and 13 b is provided so as to emit illumination light along the optical axis of the camera 10. The arrangement of the light source 13 is not limited to the configuration shown in FIG. 2, and other arrangements may be used as long as the camera can be regarded as a pinhole model. Hereinafter, if necessary, to distinguish the light source 13 L provided in the vicinity of the opening of the left camera 10 L, the light source 13 R provided in the vicinity of the opening of the right camera 10 R.

図１に戻って、情報処理装置２０による位置検出の対象であるディスプレイ装置３０には、その表示画面３０ａの周辺に対象者Ａに向けて光を照射する１以上の発光素子（発光体）４０が取り付けられている。発光素子４０のディスプレイ装置３０に対する取り付け位置および個数は、任意の位置、任意の個数でよく、例えば、矩形の表示画面３０ａの周辺の四隅に４つ取り付けられる。発光素子４０の出力光の波長はカメラ１０で検出できる波長であれば任意の波長が選択されるが、対象者Ａに対する影響（まぶしさ等）を軽減させるという点で近赤外領域の波長が選択される。この１以上の発光素子４０は、情報処理装置２０によって発光タイミングが個別に制御可能に構成される。なお、本実施形態の発光体は、ディスプレイ装置３０と別個の素子である発光素子４０によって実現されているが、表示画面３０ａ上の所定位置に情報処理装置２０の制御によって発光点を表示させ、その発光点を発光体として機能させてもよい。   Returning to FIG. 1, the display device 30, which is a position detection target by the information processing device 20, has one or more light emitting elements (light emitting bodies) 40 that irradiate light toward the subject A around the display screen 30 a. Is attached. The attachment position and the number of the light emitting elements 40 with respect to the display device 30 may be arbitrary positions and arbitrary numbers. For example, four light emitting elements 40 are attached to the four corners around the rectangular display screen 30a. As long as the wavelength of the output light of the light emitting element 40 is a wavelength that can be detected by the camera 10, an arbitrary wavelength is selected, but the wavelength in the near infrared region is reduced in terms of reducing the influence (glare etc.) on the subject A. Selected. The one or more light emitting elements 40 are configured such that the light emission timing can be individually controlled by the information processing apparatus 20. Note that the light emitter of the present embodiment is realized by the light emitting element 40 that is a separate element from the display device 30, but the light emitting point is displayed at a predetermined position on the display screen 30a by the control of the information processing device 20, The light emitting point may function as a light emitter.

情報処理装置２０は、カメラ１０の制御と、ディスプレイ装置３０の位置の検出と、検出したディスプレイ装置３０の位置を基にした対象者Ａの注視点の検出とを実行するコンピュータである。情報処理装置２０は、据置型または携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、情報処理装置２０は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。   The information processing device 20 is a computer that performs control of the camera 10, detection of the position of the display device 30, and detection of the gazing point of the subject A based on the detected position of the display device 30. The information processing apparatus 20 may be constructed by a stationary or portable personal computer (PC), may be constructed by a workstation, or may be constructed by another type of computer. Alternatively, the information processing apparatus 20 may be constructed by combining a plurality of arbitrary types of computers. When a plurality of computers are used, these computers are connected via a communication network such as the Internet or an intranet.

情報処理装置２０の一般的なハードウェア構成を図３に示す。情報処理装置２０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイ装置３０やプリンタなどの出力装置１０６とを備える。   A general hardware configuration of the information processing apparatus 20 is shown in FIG. The information processing apparatus 20 includes a CPU (processor) 101 that executes an operating system, application programs, and the like, a main storage unit 102 that includes a ROM and a RAM, and an auxiliary storage unit 103 that includes a hard disk, a flash memory, and the like. A communication control unit 104 configured by a network card or a wireless communication module, an input device 105 such as a keyboard and a mouse, and an output device 106 such as a display device 30 and a printer.

後述する情報処理装置２０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。   Each functional element of the information processing apparatus 20 described later reads predetermined software on the CPU 101 or the main storage unit 102 and operates the communication control unit 104, the input device 105, the output device 106, and the like under the control of the CPU 101. This is realized by reading and writing data in the main storage unit 102 or the auxiliary storage unit 103. Data and a database necessary for processing are stored in the main storage unit 102 or the auxiliary storage unit 103.

図４に示すように、情報処理装置２０は機能的構成要素として画像取得部２１、位置計算部（情報処理部）２２、および注視点計算部２３を備える。画像取得部２１は、カメラ１０の撮影タイミングとカメラ１０の光源１３の発光タイミングとディスプレイ装置３０の発光素子４０の発光タイミングとを制御することで、カメラ１０から画像データを取得する機能要素である。位置計算部２２は、画像データを参照して各種計算処理を実行することにより、ディスプレイ装置３０の発光素子４０の位置を計算する機能要素である。注視点計算部２３は、画像データを参照して各種計算処理を実行することにより、対象者Ａの視線方向を検出し、位置計算部２２によって計算された発光素子４０の位置及び視線方向を基に、対象者Ａの表示画面３０ａ上の注視点を計算する機能要素である。視線とは、対象者Ａの瞳孔Ｂの中心と該対象者Ａの注視点（対象者が見ている点）とを結ぶ線である。情報処理装置２０による計算結果の出力先は何ら限定されない。例えば、情報処理装置２０は、計算結果を画像、図形、またはテキストで表示画面３０ａ上に表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。   As illustrated in FIG. 4, the information processing apparatus 20 includes an image acquisition unit 21, a position calculation unit (information processing unit) 22, and a gaze point calculation unit 23 as functional components. The image acquisition unit 21 is a functional element that acquires image data from the camera 10 by controlling the shooting timing of the camera 10, the light emission timing of the light source 13 of the camera 10, and the light emission timing of the light emitting element 40 of the display device 30. . The position calculation unit 22 is a functional element that calculates the position of the light emitting element 40 of the display device 30 by executing various calculation processes with reference to the image data. The gazing point calculation unit 23 performs various calculation processes with reference to the image data to detect the gaze direction of the subject A, and based on the position and the gaze direction of the light emitting element 40 calculated by the position calculation unit 22. In addition, this is a functional element for calculating a gaze point on the display screen 30a of the target person A. The line of sight is a line connecting the center of the pupil B of the subject A and the gaze point of the subject A (the point the subject is looking at). The output destination of the calculation result by the information processing apparatus 20 is not limited at all. For example, the information processing apparatus 20 may display the calculation result on the display screen 30a as an image, a graphic, or a text, or may store the calculation result in a storage device such as a memory or a database, or otherwise via a communication network. May be sent to other computer systems.

以下、情報処理装置２０による、発光素子４０の位置計算処理及び注視点計算処理の詳細について説明する。   Hereinafter, details of the position calculation process and the gaze point calculation process of the light emitting element 40 by the information processing apparatus 20 will be described.

［発光素子４０の位置計算処理］   [Position calculation processing of light emitting element 40]

情報処理装置２０の画像取得部２１の制御により、各カメラ１０の撮影タイミングと当該カメラ１０の光源１３の発光タイミングとを同期させることによって、対象者Ａの瞳孔Ｂの周辺の画像が明瞳孔画像及び暗瞳孔画像として取得される。具体的には、各カメラの１フレームの撮影タイミング内で発光素子１３ａと発光素子１３ｂとが交互に点灯させることにより、奇数フィールドと偶数フィールドとに明瞳孔画像及び暗瞳孔画像が得られる。明瞳孔画像及び暗瞳孔画像の検出は、本発明者による国際公開２０１２／０７７７１３号公報に記載のメカニズムを利用している。   By controlling the image acquisition unit 21 of the information processing apparatus 20 to synchronize the shooting timing of each camera 10 and the light emission timing of the light source 13 of the camera 10, an image around the pupil B of the subject A is a bright pupil image. And acquired as a dark pupil image. Specifically, the light-emitting elements 13a and the light-emitting elements 13b are alternately turned on within the photographing timing of one frame of each camera, whereby bright pupil images and dark pupil images are obtained in odd and even fields. The detection of the bright pupil image and the dark pupil image uses the mechanism described in International Publication No. 2012/0777713 by the present inventor.

さらに、情報処理装置２０の画像取得部２１の制御により、左カメラ１０Ｌと右カメラ１０Ｒとにおいて交互に１フレームの画像が撮像されると同時に、ディスプレイ装置３０に取り付けられた発光素子４０が点灯される。図５には、画像取得部２１によって制御された動作タイミングを示しており、（ａ）は、左カメラ１０Ｌの光源１３Ｌの点灯タイミングを示すタイミングチャート、（ｂ）は、右カメラ１０Ｒの光源１３Ｒの点灯タイミングを示すタイミングチャート、（ｃ）は、発光素子４０の点灯タイミングを示すタイミングチャート、（ｄ）は、左カメラ１０Ｌの１フレームの撮像タイミングを示すタイミングチャート、（ｅ）は、右カメラ１０Ｒの１フレームの撮像タイミングを示すタイミングチャートをそれぞれ示している。このように、左カメラ１０Ｌの光源１３Ｌの点灯タイミングに合わせて左カメラ１０Ｌで画像が取得され、右カメラ１０Ｒの光源１３Ｒの点灯タイミングに合わせて右カメラ１０Ｒで画像が取得され、２つのカメラ１０Ｌ，１０Ｒの撮像時には、発光素子４０が点灯される。図５（ｃ）では、２つのカメラ１０Ｌ，１０Ｒの撮像タイミングに重なるように発光素子４０の点灯タイミングが設定されているが、それぞれのカメラ１０Ｌ，１０Ｒの撮像タイミングの一部に重なるように発光素子４０の点灯タイミングが設定されてもよい。なお、詳細には、それぞれのカメラ１０Ｌ，１０Ｒにおいては、１フレーム内において明瞳孔画像及び暗瞳孔画像が１つずつ得られる。 Furthermore, the control of the image acquisition unit 21 of the information processing apparatus 20, at the same time an image of one frame alternately in the left camera 10 L and the right camera 10 R is imaged, the light emitting element 40 attached to the display device 30 Illuminated. FIG 5 shows an operation timing controlled by the image acquisition section 21, (a) is a timing chart showing the timing of turning on the light source 13 L of the left camera 10 L, (b), the right camera 10 R of the light source 13 R timing chart showing the timing of turning on, (c) is a timing chart showing the timing of turning on the light emitting element 40, (d) is a timing chart showing the imaging timing of one frame of the left camera 10 L, (e ) is a timing chart showing the imaging timing of one frame of the right camera 10 R, respectively. Thus, an image is acquired by the left camera 10 L in accordance with the lighting timing of the light source 13 L of the left camera 10 L, the image is acquired by the right camera 10 R in accordance with the lighting timing of the light source 13 R of the right camera 10 R The light emitting element 40 is turned on when the two cameras 10 L and 10 R are imaged. In FIG. 5C, the lighting timing of the light emitting element 40 is set so as to overlap the imaging timings of the two cameras 10 L and 10 R , but some of the imaging timings of the respective cameras 10 L and 10 R are included. The lighting timing of the light emitting element 40 may be set so as to overlap. Specifically, in each of the cameras 10 L and 10 R , one bright pupil image and one dark pupil image are obtained in one frame.

上記のタイミング制御の結果、画像取得部２１によってそれぞれのカメラ１０Ｌ，１０Ｒによって生成された画像データが取得される。そして、それぞれのカメラ１０によって生成された暗瞳孔画像の画像データを基に、位置計算部２２により、発光素子４０の位置計算処理が実行される。なお、位置計算処理は、明瞳孔画像の画像データを基に実行されてもよい。図６（ａ）には、カメラ１０と対象者Ａの角膜球Ｃと発光素子４０との位置関係を示しており、図６（ｂ）には、右カメラ１０Ｒによって得られた画像データのイメージを示しており、図６（ｃ）には、左カメラ１０Ｌによって得られた画像データのイメージを示している。このように、カメラ１０の前面には人間の角膜球Ｃが球面（凸面）を有する反射体として位置することになり、この角膜球Ｃを含む画像には、カメラ１０の光源１３の反射点と発光素子４０の反射点とが映ることになる。ここで、光源１３はリング状に配列されているが、角膜球Ｃ上では点状の反射点として映る。そして、角膜球Ｃ等の反射体の凸面の形状が（球面には限定されず）既知であれば、光の反射の法則から凸面に映る発光体の位置から反射体の中心から見た発光体の方向が分かる。なお、ここで角膜球Ｃは、角膜を一部とした球体として想定しているモデルであり、実際にカメラ１０の光源１３の反射点と発光素子４０の反射点とが映るのは角膜（凸面）であるが、本明細書ではこのモデルのことを、以後角膜球と記す。 As a result of the timing control, the image acquisition unit 21 acquires the image data generated by each of the cameras 10 L and 10 R. Then, based on the image data of the dark pupil image generated by each camera 10, the position calculation process of the light emitting element 40 is executed by the position calculation unit 22. The position calculation process may be executed based on the image data of the bright pupil image. The FIG. 6 (a), the shows the positional relationship between the cornea ball C of the camera 10 and the subject A and the light emitting element 40, in FIG. 6 (b), of image data obtained by the right camera 10 R FIG. 6C shows an image of the image data obtained by the left camera 10L . As described above, the human corneal sphere C is positioned as a reflector having a spherical surface (convex surface) on the front surface of the camera 10, and the image including the corneal sphere C includes a reflection point of the light source 13 of the camera 10. The reflection point of the light emitting element 40 is reflected. Here, although the light sources 13 are arranged in a ring shape, they appear on the corneal sphere C as point-like reflection points. If the shape of the convex surface of the reflector such as the corneal sphere C is known (not limited to a spherical surface), the light emitter viewed from the center of the reflector from the position of the light emitter reflected on the convex surface from the law of light reflection You can see the direction. Here, the corneal sphere C is a model assumed as a sphere having the cornea as a part, and the reflection point of the light source 13 of the camera 10 and the reflection point of the light emitting element 40 are actually reflected in the cornea (convex surface). However, in this specification, this model is hereinafter referred to as a corneal sphere.

すなわち、画像取得部２１によって取得された画像データ上には、図６（ｂ）又は図６（ｃ）に示すように、対象者Ａの角膜球Ｃの表面上に光源１３の反射点Ｒ１と発光素子４０の反射点Ｒ２とが現れる。ここで、左カメラ１０Ｌに対する左カメラ１０Ｌの光源１３Ｌの位置、および右カメラ１０Ｒに対する右カメラ１０Ｒの光源１３Ｒの位置は既知であり、左カメラ１０Ｌの光源１３Ｌと右カメラ１０Ｒの光源１３Ｒとは、それぞれ、左カメラ１０Ｌと右カメラ１０Ｒの位置に対して図６（ａ）に示す関係とみなせる程度において十分に近傍に位置するように配置されている。このため、これらの反射点Ｒ１は、図６（ａ）に示すように、カメラ１０をピンホールモデルで考えた場合、カメラ１０Ｒ，１０ＬのピンホールＯＲ，ＯＬのそれぞれと、角膜球Ｃの中心Ｃ１とを結ぶ直線ＬＣ１，ＬＣ２上に現れる。 That is, on the image data acquired by the image acquisition unit 21, as shown in FIG. 6B or 6C, the reflection point R 1 of the light source 13 on the surface of the corneal sphere C of the subject A. And a reflection point R 2 of the light emitting element 40 appears. Here, the position of the light source 13 L of the left camera 10 L for left camera 10 L, and the position of the right camera 10 source 13 R R for the right camera 10 R is known, the light source 13 L of the left camera 10 L Right the light source 13 R of the camera 10 R, respectively, are arranged so as to be located near enough to the extent that can be regarded as a relationship shown in FIG. 6 (a) relative to the position of the left camera 10 L and the right camera 10 R . Therefore, these reflection points R 1, as shown in FIG. 6 (a), when considering the camera 10 in the pinhole model, camera 10 R, 10 L pinhole O R of each and O L, It appears on the straight lines LC 1 and LC 2 connecting the center C 1 of the corneal sphere C.

そこで、位置計算部２２は、２つのカメラ１０Ｒ，１０Ｌから得られた画像データを用いて、対象者Ａの角膜球Ｃの中心Ｃ１の三次元位置をステレオマッチングによって計算する。ステレオマッチングとは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。 Therefore, the position calculation unit 22 calculates the three-dimensional position of the center C 1 of the corneal sphere C of the subject A by stereo matching using the image data obtained from the two cameras 10 R and 10 L. Stereo matching measures the internal parameters such as the focal length of the camera lens, image center, and pixel size, and external parameters such as the camera position and orientation, and shoots the object using multiple stereo cameras. In this case, based on the coordinates of the point in the image, the position of the point in the space is determined using the internal parameter and the external parameter.

位置計算部２２がステレオマッチングを用いて角膜球Ｃの中心Ｃ１の三次元座標を計算する際には、図７に示すような座標系を用いる。同図に示す世界座標系（ＸＷ，ＹＷ，ＺＷ）は、２台のカメラ１０が共有する原点ＯＷが例えばディスプレイ装置３０の画面中央に位置する座標系である。カメラ座標系（Ｘ，Ｙ，Ｚ）は、その原点ＯＣが各カメラ１０の光学中心（ピンホール）とされ、Ｚ軸が光学中心から画像面に垂直に引いた光軸と平行とされた座標系である。画像座標系（ＸＧ，ＹＧ）は、カメラ１０の撮像素子が置かれる画像面に沿ってＸＹ平面と平行にされ、光軸と画像面の交点（画像中心）を原点Ｃｉとする座標系である。点Ｐが目標点である角膜球Ｃの中心Ｃ１の座標とすると、カメラ１０を用いた際の画像座標系への投影点（Ｘｄ，Ｙｄ）は、画像のゆがみにより理想的な投影点（Ｘｕ，Ｙｕ）からずれることになる。したがって、ステレオ法を用いた三次元位置計測を精度良く行うためには、目標点Ｐの世界座標とその画像座標との対応づけを記録したキャリブレーションデータを予め取得する必要がある。例えば、外部パラメータとしての世界座標に対するカメラ座標系の平行移動ベクトルおよび世界座標系に対するカメラ座標系の回転行列や、内部パラメータとしての焦点距離、画像中心座標、スケール係数、レンズひずみ係数、撮像素子間隔等がキャリブレーションデータとして予め取得され、位置計算部２２に記憶される。 If the position calculating unit 22 calculates the three-dimensional coordinates of the center C 1 of the cornea sphere C using a stereo matching, using the coordinate system shown in FIG. The figure shows the world coordinate system (X W, Y W, Z W) is the origin O W where two cameras 10 share, for example, the coordinate system is located in the center of the screen of the display device 30. Camera coordinate system (X, Y, Z) has its origin O C is the optical center of each camera 10 (pinhole) is parallel with the optical axis Z axis is drawn perpendicularly to the image plane from the optical center Coordinate system. The image coordinate system (X G , Y G ) is parallel to the XY plane along the image plane on which the image sensor of the camera 10 is placed, and is a coordinate having an intersection C (image center) between the optical axis and the image plane as an origin C i. It is a system. When the point P is the coordinate of the center C 1 of the corneal sphere C, which is the target point, the projection point (X d , Y d ) on the image coordinate system when using the camera 10 is an ideal projection due to image distortion. points (X u, Y u) will deviate from. Therefore, in order to accurately perform the three-dimensional position measurement using the stereo method, it is necessary to obtain calibration data in which the correspondence between the world coordinates of the target point P and the image coordinates is recorded in advance. For example, the translation vector of the camera coordinate system with respect to the world coordinates as external parameters and the rotation matrix of the camera coordinate system with respect to the world coordinate system, the focal length, the image center coordinates, the scale coefficient, the lens distortion coefficient, the image sensor interval as the internal parameters And the like are acquired in advance as calibration data and stored in the position calculation unit 22.

位置計算部２２は、２台のカメラ１０からの画像データを基に検出した画像座標系における光源１３の反射点Ｒ１の座標と、世界座標系における角膜球Ｃの中心Ｃ１の座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、位置計算部２２は、２つの関係式から世界座標系における対象者Ａの角膜球Ｃの中心Ｃ１の三次元座標を計算する。 The position calculator 22 calculates the coordinates of the reflection point R 1 of the light source 13 in the image coordinate system detected based on the image data from the two cameras 10 and the coordinates of the center C 1 of the corneal sphere C in the world coordinate system. The relational expression is acquired with reference to the calibration data. Then, the position calculating unit 22 calculates the three-dimensional coordinates of the center C 1 of the cornea sphere C of the subject A from the two relations in the world coordinate system.

さらに、位置計算部２２は、計算した角膜球Ｃの中心Ｃ１の三次元座標と、各カメラ１０から取得した画像データを基に検出した画像座標系における発光素子４０の反射点Ｒ２の座標とを基に、各カメラ１０のピンホール（光源１３の中心）と角膜球Ｃの中心Ｃ１と発光素子４０とを通る平面を、各カメラ１０ごとに特定する。具体的には、位置計算部２２は、右カメラ１０Ｒから、図８に示すような画像データが得られた際に、画像座標系における反射点Ｒ１と反射点Ｒ２とを結ぶ直線ＬＲ１の水平線（Ｘ軸）からの傾きε１を計算により特定する。そして、位置計算部２２は、図９に示すように、角膜球Ｃの中心Ｃ１の三次元位置に基づいて、カメラ１０ＲのピンホールＯＲを原点とし、その原点と中心Ｃ１とを結ぶ基準線ＯＲＣ１を法線とする仮想平面Ｘ’−Ｙ’を設定する。そして、位置計算部２２は、仮想平面Ｘ’−Ｙ’上で原点ＯＲを通り水平軸Ｘ’との傾きがε１となるような直線ＬＲ２を決定する。このようにして決定した直線ＬＲ２は、カメラ１０ＲのピンホールＯＲと、角膜球Ｃの中心Ｃ１と、発光素子４０とを通る平面上に位置することになる。このような性質を利用して、位置計算部２２は、決定した直線ＬＲ２と角膜球Ｃの中心Ｃ１とを通る平面ＰＬ１の位置及び傾きを特定する。同様にして、位置計算部２２は、左カメラ１０Ｌから得られた画像データを基に、カメラ１０ＬのピンホールＯＬと、角膜球Ｃの中心Ｃ１と、発光素子４０とを通る平面ＰＬ２を特定する。 Further, the position calculation unit 22 coordinates the reflection point R 2 of the light emitting element 40 in the image coordinate system detected based on the calculated three-dimensional coordinates of the center C 1 of the corneal sphere C and image data acquired from each camera 10. based on bets, a plane passing through the pin hole of each camera 10 (the center of the light source 13) with the center C 1 of the cornea sphere C and the light emitting element 40, to identify for each camera 10. Specifically, the position calculator 22 obtains a straight line LR connecting the reflection point R 1 and the reflection point R 2 in the image coordinate system when image data as shown in FIG. 8 is obtained from the right camera 10 R. the inclination epsilon 1 from 1 horizontal line (X-axis) identified by calculation. Then, the position calculating unit 22, as shown in FIG. 9, based on the three-dimensional position of the center C 1 of the cornea sphere C, and pinholes O R of the camera 10 R is the origin, and its origin and the center C 1 A virtual plane X′-Y ′ is set with the reference line O R C 1 to be connected as a normal line. Then, the position calculating unit 22, the slope of the 'origin O through R horizontal axis X on' virtual plane X'-Y to determine the linear LR 2 such that epsilon 1. Straight LR 2 determined in this way, and the pinhole O R of the camera 10 R, and the center C 1 of the cornea sphere C, will be positioned on a plane passing through the light emitting element 40. Utilizing such a property, the position calculation unit 22 specifies the position and inclination of the plane PL 1 passing through the determined straight line LR 2 and the center C 1 of the corneal sphere C. Similarly, the position calculating unit 22 based on image data obtained from the left camera 10 L, the plane passing through the pinhole O L of the camera 10 L, the center C 1 of the cornea sphere C, and the light emitting element 40 to identify the PL 2.

次に、位置計算部２２は、特定した平面ＰＬ１と平面ＰＬ２との交線ＬＩ１を求め（図６（ａ））、この交線ＬＩ１の位置及び傾きを基に、発光素子４０の位置を計算する。これは、交線ＬＩ１が角膜球Ｃの中心Ｃ１と発光素子４０とを通るという性質を利用している。例えば、発光素子４０の世界座標系におけるＺＷ座標の値が既知の場合には、発光素子４０の三次元位置を計算することができる。 Next, the position calculation unit 22 obtains an intersection line LI 1 between the specified plane PL 1 and the plane PL 2 (FIG. 6A), and based on the position and inclination of the intersection line LI 1 , the light emitting element 40. Calculate the position of. This utilizes the property that the intersection line LI 1 passes through the center C 1 of the corneal sphere C and the light emitting element 40. For example, the value of Z W coordinate in the world coordinate system of the light emitting element 40 in the case of known, can be calculated three-dimensional position of the light emitting element 40.

さらに、位置計算部２２は、画像取得部２１によって連続したフレームで複数の発光素子４０を順次点灯させることによって得られた画像データを用いて、上述した位置計算処理を繰り返すこともできる。これにより、複数の発光素子４０の位置を連続的に計算することができる。   Further, the position calculation unit 22 can repeat the position calculation process described above using image data obtained by sequentially turning on the plurality of light emitting elements 40 in successive frames by the image acquisition unit 21. Thereby, the position of the some light emitting element 40 can be calculated continuously.

また、画像取得部２１によって１つのフレームで複数の発光素子４０を同時に点灯させることによって得られた画像データを用いて、複数の発光素子４０の反射点Ｒ２毎に上述した位置計算処理を繰り返してもよい。ただし、複数の発光素子４０を同時に点灯させた場合には、発光素子４０の反射点Ｒ２とカメラ１０の光源１３の反射点Ｒ１との判別が難しくなる。そのような場合は、位置計算部２２は、テンプレートマッチング等の画像処理により反射点Ｒ２と反射点Ｒ１とを区別する。また、位置計算部２２は、幾何学的方法により反射点Ｒ２と反射点Ｒ１とを区別してもよい。例えば、位置計算部２２は、注視点計算部２３により計算された画像データ上の対象者Ａの瞳孔の中心座標を用いて、画像データ上の全ての反射点から計算された角膜球Ｃの中心Ｃ１と瞳孔の中心座標とを通る候補ベクトルを計算する。そして、位置計算部２２は、候補ベクトルの方向及び長さが所定の範囲内である候補ベクトルを判別する。その結果、判別された候補ベクトルの計算に用いられた反射点をカメラ１０の光源１３の反射点Ｒ１と判別し、それ以外の反射点を発光素子４０の反射点Ｒ２と判別する。 Further, the position calculation process described above is repeated for each reflection point R 2 of the plurality of light emitting elements 40 using image data obtained by simultaneously lighting the plurality of light emitting elements 40 in one frame by the image acquisition unit 21. May be. However, when the plurality of light emitting elements 40 are turned on at the same time, it is difficult to distinguish between the reflection point R 2 of the light emitting element 40 and the reflection point R 1 of the light source 13 of the camera 10. In such a case, the position calculating unit 22 distinguishes between the reflection point R 2 and the reflection point R 1 by an image processing such as template matching. The position calculation unit 22 may distinguish a reflection point R 2 and the reflection point R 1 by geometrical methods. For example, the position calculation unit 22 uses the center coordinates of the pupil of the subject A on the image data calculated by the gazing point calculation unit 23, and the center of the corneal sphere C calculated from all the reflection points on the image data. calculating a candidate vector which passes through the center coordinate of the C 1 and the pupil. Then, the position calculation unit 22 determines a candidate vector whose direction and length are within a predetermined range. As a result, the reflection point used to calculate the determined candidate vector is determined as the reflection point R 1 of the light source 13 of the camera 10, and the other reflection point is determined as the reflection point R 2 of the light emitting element 40.

［注視点計算処理］   [Gaze point calculation processing]

情報処理装置２０の注視点計算部２３は、画像取得部２１によって取得される画像データと、位置計算部２２によって計算された発光素子４０の位置とを基に、対象者Ａの表示画面３０ａ上の注視点を計算する。すなわち、注視点計算部２３は、各カメラから得られた画像データを参照して、対象者Ａの瞳孔像を検出する。この瞳孔像の検出は明瞳孔画像と暗瞳孔画像の差分画像を用いて検出される。さらに、注視点計算部２３は、検出した瞳孔像の位置と画像データ上の光源１３の反射点Ｒ１との位置とを利用して、対象者Ａの視線ベクトル（視線方向）を計算する。この視線方向の計算には、本発明者による国際公開２０１２／０７７７１３号公報に記載の注視点検出方法が用いられる。その後、注視点計算部２３は、発光素子４０の位置によって特定される表示画面３０ａの位置と、計算した視線ベクトルとの交点を対象者Ａの注視点として計算する。 The gazing point calculation unit 23 of the information processing device 20 is on the display screen 30a of the subject A based on the image data acquired by the image acquisition unit 21 and the position of the light emitting element 40 calculated by the position calculation unit 22. Calculate the gaze point. That is, the gazing point calculation unit 23 detects the pupil image of the subject A with reference to the image data obtained from each camera. This pupil image is detected using a difference image between the bright pupil image and the dark pupil image. Furthermore, the gaze point calculation unit 23 uses the position of the reflection point R 1 of the light source 13 on the position and the image data of the detected pupil image, to calculate the line-of-sight vector of the subject A (viewing direction). For the calculation of the gaze direction, the gaze point detection method described in International Publication No. 2012/0777713 by the present inventor is used. Thereafter, the gazing point calculation unit 23 calculates the intersection point between the position of the display screen 30 a specified by the position of the light emitting element 40 and the calculated line-of-sight vector as the gazing point of the subject A.

以上説明した注視点検出装置１によれば、カメラ１０によって対象者Ａの角膜球Ｃが撮像され、位置計算部２２によって、得られた画像におけるカメラ１０に取り付けられた光源１３の反射点を基に、角膜球Ｃの三次元位置が計算される。それとともに、位置計算部２２によって、得られた画像における発光素子４０の反射点と光源１３の反射点とを結ぶ線の傾きが特定される。さらに、位置計算部２２によって角膜球Ｃの三次元位置と線の傾きとを使って発光素子４０の位置が計算される。このように、カメラ１０によって得られた画像における２つの反射点を結ぶ線の傾きを使って検出対象の位置が計算されるので、高精度の位置検出結果を簡易な計算で得ることができる。その結果、その表示画面上の注視点を正確に得ることができる。   According to the gazing point detection apparatus 1 described above, the corneal sphere C of the subject A is imaged by the camera 10, and the position calculation unit 22 uses the reflection point of the light source 13 attached to the camera 10 in the obtained image as a basis. Next, the three-dimensional position of the corneal sphere C is calculated. At the same time, the position calculator 22 identifies the slope of the line connecting the reflection point of the light emitting element 40 and the reflection point of the light source 13 in the obtained image. Further, the position calculation unit 22 calculates the position of the light emitting element 40 using the three-dimensional position of the corneal sphere C and the inclination of the line. As described above, since the position of the detection target is calculated using the slope of the line connecting the two reflection points in the image obtained by the camera 10, a highly accurate position detection result can be obtained by simple calculation. As a result, the gazing point on the display screen can be obtained accurately.

また、カメラ１０によって得られた画像における２つの反射点を結ぶ線の傾きを使って２つの平面が特定され、その２つの平面の交線によって検出対象の位置が計算されるので、対象者Ａの角膜球Ｃの形状に関係なく高精度の位置検出結果を簡易な計算で得ることができる。さらに、光源１３がカメラ１０の開口部近傍に設けられており、位置計算部２２は、カメラ１０から得られた画像における光源１３の反射点の位置を基に角膜球Ｃの三次元位置を計算する。このような構成によって、角膜球Ｃの三次元位置をより単純な計算で得ることができるので、その結果、検出対象の位置をより簡易に得ることができる。   In addition, since two planes are specified using the inclination of a line connecting two reflection points in the image obtained by the camera 10, and the position of the detection target is calculated by the intersection of the two planes, the subject A Regardless of the shape of the corneal sphere C, a highly accurate position detection result can be obtained by simple calculation. Furthermore, the light source 13 is provided near the opening of the camera 10, and the position calculation unit 22 calculates the three-dimensional position of the corneal sphere C based on the position of the reflection point of the light source 13 in the image obtained from the camera 10. To do. With such a configuration, the three-dimensional position of the corneal sphere C can be obtained by simpler calculation, and as a result, the position of the detection target can be obtained more easily.

次に、本発明の実施形態の変形例について説明する。上記実施形態に係る注視点検出装置１では、撮像対象の反射体として１つの角膜球Ｃのみとしていたが、複数の反射体を撮像対象としてもよい。例えば、対象者Ａの左右の眼の角膜球ＣＲ，ＣＬを同時或いは連続的に撮像し、その結果得られた画像データを基に発光素子４０の三次元位置を計算してもよい。 Next, a modification of the embodiment of the present invention will be described. In the gazing point detection device 1 according to the above-described embodiment, only one corneal sphere C is used as the imaging target reflector, but a plurality of reflectors may be used as the imaging target. For example, the corneal spheres C R and C L of the left and right eyes of the subject A may be imaged simultaneously or successively, and the three-dimensional position of the light emitting element 40 may be calculated based on the image data obtained as a result.

すなわち、図１０に示すように、情報処理装置２０の画像取得部２１は、各カメラ１０Ｒ，１０Ｌから、対象者Ａの右の角膜球ＣＲの周辺の画像データと左の角膜球ＣＬの周辺の画像データとを取得する。そして、情報処理装置２０の位置計算部２２は、上述した実施形態と同様にして、右の角膜球ＣＲの周辺の画像データを基に、カメラ１０の光源１３と右の角膜球ＣＲの中心ＣＲ１と発光素子４０とを通る２つの平面ＰＬ１，ＰＬ２とを特定し、２つの平面ＰＬ１，ＰＬ２の交線ＬＩ１を求める。さらに、位置計算部２２は、左の角膜球ＣＬの周辺の画像データを基に、カメラ１０の光源１３と左の角膜球ＣＬの中心ＣＬ１と発光素子４０とを通る２つの平面ＰＬ３，ＰＬ４とを特定し、２つの平面ＰＬ３，ＰＬ４の交線ＬＩ２を求める。そして、位置計算部２２は、求めた２つの交線ＬＩ１，ＬＩ２の交点或いは最接近点を発光素子４０の三次元位置として計算する。このような変形例によれば、発光素子４０の位置が未知の場合であっても確実に三次元座標を導き出すことができる。 That is, as shown in FIG. 10, the image acquisition unit 21 of the information processing apparatus 20, the cameras 10 R, 10 L from the subject A right cornea ball C R cornea ball C surrounding image data and left in the Image data around L is acquired. Then, the position calculating unit 22 of the information processing apparatus 20, as in the embodiment described above, the right based on the image data of the surrounding cornea ball C R, the camera 10 light source 13 and the right cornea ball C R Two planes PL 1 and PL 2 passing through the center CR1 and the light emitting element 40 are specified, and an intersection line LI 1 between the two planes PL 1 and PL 2 is obtained. Furthermore, the position calculation unit 22, based on the image data around the left cornea ball C L, 2 a plane PL passing through the centering C L1 of the cornea sphere C L light source 13 and left camera 10 and the light emitting element 40 3 and PL 4 are specified, and an intersection line LI 2 between the two planes PL 3 and PL 4 is obtained. Then, the position calculation unit 22 calculates the intersection or closest point of the obtained two intersection lines LI 1 and LI 2 as the three-dimensional position of the light emitting element 40. According to such a modification, even if the position of the light emitting element 40 is unknown, the three-dimensional coordinates can be reliably derived.

ここで、注視点検出装置１では、撮像対象の１つの角膜球Ｃ等の１つの反射体のみとし、その反射体の位置を変更させながら異なる位置に配置させた反射体を連続的に撮像するように機能してもよい。このように動作する注視点検出装置１によっても、各カメラ１０Ｒ，１０Ｌかにおいて連続的に得られた画像データを基に、上記と同様にして発光素子４０の三次元位置を計算することができる。 Here, in the gazing point detection apparatus 1, only one reflector such as one corneal sphere C to be imaged is used, and the reflectors arranged at different positions are continuously imaged while changing the position of the reflector. May function as follows. Also by the gazing point detection apparatus 1 operating in this way, the three-dimensional position of the light emitting element 40 is calculated in the same manner as described above based on the image data continuously obtained from each of the cameras 10 R and 10 L. Can do.

また、注視点検出装置１では、カメラ１０と光源１３の組み合わせがもう一組設けられていてもよい。この場合、情報処理装置２０において新たに設けられた光源１３と発光素子４０とを通る平面がさらに特定され、これらの平面から求められる交線を基にして交点や最接近点を求めることでさらに位置計算の精度を高めることができる。   Further, in the gazing point detection device 1, another combination of the camera 10 and the light source 13 may be provided. In this case, a plane passing through the light source 13 and the light emitting element 40 newly provided in the information processing apparatus 20 is further specified, and further by obtaining an intersection or closest point based on an intersection line obtained from these planes. The accuracy of position calculation can be increased.

また、注視点検出装置１の前面に位置する反射体としては対象者Ａの角膜球Ｃには限定されず、注視点検出装置１に向かい合う凸面を有する反射体であれば、球面ミラー、鉄球等であってもよい。この場合、平板上に複数の球面ミラーを配置された部材を用意し、その部材を注視点検出装置１に向けて配置させれば、発光素子４０の位置を精度よく計算することができる。ここで、複数の球面ミラーの間隔が既知であれば、それを拘束条件として、ステレオマッチングにより求めた各々の球面ミラーの３次元位置を補正することができ、ステレオマッチングで求めた球面ミラーの３次元位置を基にした光源位置推定の精度を上げることができる。   Further, the reflector positioned in front of the gazing point detection device 1 is not limited to the corneal sphere C of the subject A, and any spherical reflector or iron ball can be used as long as it has a convex surface facing the gazing point detection device 1. Etc. In this case, if a member having a plurality of spherical mirrors arranged on a flat plate is prepared and the member is arranged toward the gazing point detection device 1, the position of the light emitting element 40 can be calculated with high accuracy. If the intervals between the plurality of spherical mirrors are known, the three-dimensional position of each spherical mirror obtained by stereo matching can be corrected using this as a constraint, and 3 of the spherical mirrors obtained by stereo matching can be corrected. The accuracy of light source position estimation based on the dimension position can be increased.

また、球面ミラー或いは対象者Ａの角膜球Ｃを注視点検出装置１の前面で移動させながら連続して画像データを取得するように注視点検出装置１を動作させてもよい。このような構成によれば、短時間で反射体から発光素子４０に向かう直線を多く求めることができるので、それらの総当たりの最接近点の平均値もしくは中間値を計算することにより、位置計算精度を向上させることができる。   Further, the gazing point detection apparatus 1 may be operated so as to continuously acquire image data while moving the spherical mirror or the corneal sphere C of the subject A in front of the gazing point detection apparatus 1. According to such a configuration, since a large number of straight lines from the reflector to the light emitting element 40 can be obtained in a short time, the position calculation is performed by calculating the average value or the intermediate value of the round-robin closest points. Accuracy can be improved.

さらに、注視点検出装置１の前面に配置される反射体は３つ以上であってもよい。例えば、３つの球面ミラーが注視点検出装置１の前面に配置された場合には、各球面ミラーの中心から発光素子４０までの直線が３本求まることになるので、情報処理装置２０の位置計算部２２は、それらの直線の最接近点を３組求め、それらの中点を発光素子４０の位置として求める。このように動作すれば、反射体の個数が増加するほど位置検出精度を向上させることができる。   Furthermore, three or more reflectors may be disposed on the front surface of the gazing point detection device 1. For example, when three spherical mirrors are arranged on the front surface of the gazing point detection device 1, three straight lines from the center of each spherical mirror to the light emitting element 40 are obtained. The unit 22 obtains three sets of closest points of the straight lines, and obtains the midpoint thereof as the position of the light emitting element 40. If operated in this way, the position detection accuracy can be improved as the number of reflectors increases.

図１１は、本発明の変形例に係る情報処理装置２０Ａの機能構成を示す図である。同図に示す情報処理装置２０Ａは、情報処理装置２０における注視点計算機能の代わりに（又はそれに加えて）、検出した発光素子４０の位置を基にして表示画面３０ａ上に表示される画像の位置を制御する機能を有する。具体的には、同図に示す画像生成部２３Ａは、検出された発光素子４０の位置を基に表示画面３０ａの位置を特定し、その位置に対応した画像を表示画面上３０ａ上に表示させるようにディスプレイ装置３０を制御する。例えば、ディスプレイの表示画面３０ａ上の対象者Ａに近い位置に特定の画像を表示させるように制御する。さらに、表示画面３０ａ上の対象者Ａの注視点の検出機能を有する場合には、その注視点上に特定の画像を表示させるように制御してもよい。   FIG. 11 is a diagram showing a functional configuration of an information processing apparatus 20A according to a modification of the present invention. The information processing apparatus 20A shown in the figure is configured to display an image displayed on the display screen 30a based on the detected position of the light emitting element 40 instead of (or in addition to) the gaze point calculation function in the information processing apparatus 20. It has a function to control the position. Specifically, the image generation unit 23A shown in the figure specifies the position of the display screen 30a based on the detected position of the light emitting element 40, and displays an image corresponding to the position on the display screen 30a. The display device 30 is controlled as described above. For example, control is performed so that a specific image is displayed at a position close to the subject A on the display screen 30a of the display. Furthermore, when it has the detection function of the gazing point of the subject A on the display screen 30a, it may be controlled to display a specific image on the gazing point.

上記のような変形例では、ディスプレイ装置３０の代わりにプロジェクタ装置用のスクリーンや任意の立体物を位置検出の対象としてもよい。このような場合には、情報処理装置２０Ａは、計算した発光素子４０の位置を基にその対象物の位置を特定し、その位置に対応した画像を対象物に向けて投影する。これにより、対象物の位置に応じて対象物上に適切な画像を表示させることができる。   In the above modification, instead of the display device 30, a screen for a projector device or an arbitrary three-dimensional object may be used as a position detection target. In such a case, the information processing apparatus 20A specifies the position of the target object based on the calculated position of the light emitting element 40, and projects an image corresponding to the position toward the target object. Thereby, an appropriate image can be displayed on the object according to the position of the object.

１…注視点検出装置、１０，１０Ｌ，１０Ｒ…カメラ、１３，１３Ｌ，１３Ｒ…光源、１３ａ，１３ｂ…発光素子、２０，２０Ａ…情報処理装置、２２…位置計算部（情報処理部）、２３…注視点計算部、２３Ａ…画像生成部、３０…ディスプレイ装置、３０ａ…表示画面、４０…発光素子（発光体）、Ａ…対象者、Ｃ，ＣＲ，ＣＬ…角膜球、ＬＣ１，ＬＣ２…直線、ＬＩ１，ＬＩ２…交線、ＰＬ１，ＰＬ２，ＰＬ３，ＰＬ４…平面、Ｒ１，Ｒ２…反射点。 1 ... gaze point detection device, 10, 10 L, 10 R ... camera, 13, 13 L, 13 R ... light source, 13a, 13b ... light emitting element, 20, 20A ... information processing apparatus, 22 ... position calculating section (information processing Part), 23 ... gazing point calculation part, 23A ... image generation part, 30 ... display device, 30a ... display screen, 40 ... light emitting element (illuminant), A ... subject, C, C R , C L ... corneal sphere , LC 1 , LC 2 ... straight line, LI 1 , LI 2 ... intersection line, PL 1 , PL 2 , PL 3 , PL 4 ... plane, R 1 , R 2 ... reflection point.

Claims (10)

発光体が取り付けられた検出対象の位置を検出する位置検出装置であって、
前記検出対象に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、
前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、
前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
を備える位置検出装置。 A position detection device for detecting a position of a detection target to which a light emitter is attached,
First and second cameras for imaging a reflector having a convex surface arranged toward the detection target;
First and second light sources whose positions relative to each of the first and second cameras are known;
Based on the first and second images captured by the first and second cameras, respectively, the three-dimensional position of the reflector is calculated by stereo matching, and each of the first and second images is calculated. An inclination of a line connecting the reflection point of the light emitter and the reflection points of the first and second light sources is specified, and based on the three-dimensional position of the reflector and the inclination in the first and second images. An information processing unit for calculating the position of the light emitter;
A position detection device comprising: 前記第１及び第２の光源は、それぞれ、前記反射体上の反射点が前記第１及び第２のカメラのピンホールと前記反射体とを結ぶ直線上に現れる程度において、前記第１及び第２のカメラの近傍に位置するように配置されている、
請求項１記載の位置検出装置。 The first and second light sources have the first and second light sources as long as a reflection point on the reflector appears on a straight line connecting the pinholes of the first and second cameras and the reflector. It is arranged so that it is located in the vicinity of 2 cameras.
The position detection device according to claim 1. 前記情報処理部は、前記発光体の三次元位置と第１の画像における前記傾きとを基に、前記第１の光源と前記反射体と前記発光体とを通る第１の平面を特定し、前記発光体の三次元位置と第２の画像における前記傾きとを基に、前記第２の光源と前記反射体と前記発光体とを通る第２の平面を特定した後に、前記第１及び第２の平面の交線を基に前記発光体の位置を計算する、
請求項１又は２記載の位置検出装置。 The information processing unit specifies a first plane passing through the first light source, the reflector, and the light emitter based on the three-dimensional position of the light emitter and the inclination in the first image, Based on the three-dimensional position of the light emitter and the inclination in the second image, after specifying the second plane passing through the second light source, the reflector, and the light emitter, the first and first Calculating the position of the light emitter based on the intersection of two planes;
The position detection device according to claim 1 or 2. 前記第１及び第２のカメラは、位置が変更された１つ以上の前記反射体を連続的に２回以上撮像する方法、位置の異なる２つ以上の前記反射体を撮像する方法のいずれかの方法を用いるように動作し、
前記情報処理部は、前記第１及び第２のカメラによって撮像された画像を基に、前記第１の光源と前記反射体と前記発光体とを通る第３の平面を特定し、前記第２の光源と前記反射体と前記発光体とを通る第４の平面を特定した後に、前記第１及び第２の平面の交線と前記第３及び第４の交線とを基に前記発光体の位置を計算する、
請求項３記載の位置検出装置。 The first and second cameras are either a method of continuously imaging one or more reflectors whose positions have been changed twice or more, or a method of imaging two or more reflectors having different positions. Work to use the method of
The information processing unit specifies a third plane that passes through the first light source, the reflector, and the light emitter based on images captured by the first and second cameras, and the second After the fourth plane passing through the light source, the reflector and the light emitter is specified, the light emitter based on the intersection line of the first and second planes and the third and fourth intersection line Calculate the position of the
The position detection device according to claim 3. 前記第１及び第２の光源は、それぞれ、前記第１及び第２のカメラの開口部近傍に設けられ、
前記情報処理部は、前記第１及び第２の画像における前記第１及び第２の光源の反射点の位置を基に前記反射体の三次元位置をステレオマッチングにより計算する、
請求項１〜４のいずれか１項に記載の位置検出装置。 The first and second light sources are provided in the vicinity of openings of the first and second cameras, respectively.
The information processing unit calculates a three-dimensional position of the reflector by stereo matching based on the positions of reflection points of the first and second light sources in the first and second images;
The position detection apparatus of any one of Claims 1-4. 前記反射体は球面体であり、前記反射体の三次元位置は前記球面体の中心である、
請求項１〜５のいずれか１項に記載の位置検出装置。 The reflector is a spherical body, and the three-dimensional position of the reflector is the center of the spherical body;
The position detection apparatus of any one of Claims 1-5. 前記反射体は、人間の角膜である、
請求項１〜６のいずれか１項に記載の位置検出装置。 The reflector is a human cornea;
The position detection apparatus of any one of Claims 1-6. 発光体が取り付けられた検出対象の位置を検出する位置検出方法であって、
第１及び第２のカメラが、前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源を点灯させた状態で、前記検出対象に向けて配置された凸面を有する反射体を撮像するステップと、
情報処理部が、前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算するステップと、
を備える位置検出方法。 A position detection method for detecting a position of a detection target to which a light emitter is attached,
The first and second cameras have convex surfaces arranged toward the detection target in a state where the first and second light sources whose positions relative to the first and second cameras are known are turned on. Imaging a reflector;
The information processing unit calculates the three-dimensional position of the reflector by stereo matching based on the first and second images captured by the first and second cameras, respectively, and the first and second The inclination of the line connecting the reflection point of the light emitter and the reflection point of the first and second light sources in each of the two images is specified, and the three-dimensional position of the reflector and the first and second images Calculating the position of the light emitter based on the tilt;
A position detection method comprising: 発光体が取り付けられた表示画面上の対象者の注視点を検出する注視点検出装置であって、
前記対象者の角膜球を撮像する第１及び第２のカメラと、
前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、
前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記角膜球の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記角膜球の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
前記情報処理部によって計算された前記発光体の位置を基に前記表示画面の位置を特定し、前記表示画面の位置を用いて前記注視点を検出する注視点計算部と、
を備える注視点検出装置。 A gaze point detection device for detecting a gaze point of a subject on a display screen to which a light emitter is attached,
First and second cameras for imaging the corneal sphere of the subject;
First and second light sources whose positions relative to each of the first and second cameras are known;
Based on the first and second images captured by each of the first and second cameras, the three-dimensional position of the corneal sphere is calculated by stereo matching, and each of the first and second images is calculated. The inclination of the line connecting the reflection point of the luminous body and the reflection point of the first and second light sources is specified, and the three-dimensional position of the corneal sphere and the inclination in the first and second images are determined. An information processing unit for calculating the position of the light emitter;
A gazing point calculation unit that identifies the position of the display screen based on the position of the light emitter calculated by the information processing unit, and detects the gazing point using the position of the display screen;
A gazing point detection device. 発光体が取り付けられた表示画面上に画像を表示させる画像生成装置であって、
前記検出対象に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、
前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、
前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
前記情報処理部によって計算された前記発光体の位置を基に前記表示画面の位置を特定し、前記表示画面の位置を用いて前記表示画面上に画像を表示させる画像生成部と、
を備える画像生成装置。 An image generation device that displays an image on a display screen to which a light emitter is attached,
First and second cameras for imaging a reflector having a convex surface arranged toward the detection target;
First and second light sources whose positions relative to each of the first and second cameras are known;
Based on the first and second images captured by the first and second cameras, respectively, the three-dimensional position of the reflector is calculated by stereo matching, and each of the first and second images is calculated. An inclination of a line connecting the reflection point of the light emitter and the reflection points of the first and second light sources is specified, and based on the three-dimensional position of the reflector and the inclination in the first and second images. An information processing unit for calculating the position of the light emitter;
An image generation unit that specifies the position of the display screen based on the position of the light emitter calculated by the information processing unit, and displays an image on the display screen using the position of the display screen;
An image generation apparatus comprising:
JP2014262787A 2014-12-25 2014-12-25 Position detection apparatus, position detection method, gazing point detection apparatus, and image generation apparatus Active JP6430813B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014262787A JP6430813B2 (en) 2014-12-25 2014-12-25 Position detection apparatus, position detection method, gazing point detection apparatus, and image generation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014262787A JP6430813B2 (en) 2014-12-25 2014-12-25 Position detection apparatus, position detection method, gazing point detection apparatus, and image generation apparatus

Publications (2)

Publication Number Publication Date
JP2016122380A true JP2016122380A (en) 2016-07-07
JP6430813B2 JP6430813B2 (en) 2018-11-28

Family

ID=56327444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014262787A Active JP6430813B2 (en) 2014-12-25 2014-12-25 Position detection apparatus, position detection method, gazing point detection apparatus, and image generation apparatus

Country Status (1)

Country Link
JP (1) JP6430813B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020095747A1 (en) * 2018-11-05 2020-05-14 京セラ株式会社 Controller, position determination device, position determination system, display system, program, and recording medium
US20210223022A1 (en) * 2020-01-16 2021-07-22 Kabushiki Kaisha Toshiba System and method
CN114820513A (en) * 2022-04-25 2022-07-29 深圳市迪佳医疗智能科技有限公司 Vision detection method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02134130A (en) * 1988-11-16 1990-05-23 A T R Tsushin Syst Kenkyusho:Kk Non-contact sight line detector
US20060038881A1 (en) * 2004-08-19 2006-02-23 Microsoft Corporation Stereoscopic image display
WO2012077713A1 (en) * 2010-12-08 2012-06-14 国立大学法人静岡大学 Method for detecting point of gaze and device for detecting point of gaze
WO2013176265A1 (en) * 2012-05-25 2013-11-28 国立大学法人静岡大学 Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02134130A (en) * 1988-11-16 1990-05-23 A T R Tsushin Syst Kenkyusho:Kk Non-contact sight line detector
US20060038881A1 (en) * 2004-08-19 2006-02-23 Microsoft Corporation Stereoscopic image display
WO2012077713A1 (en) * 2010-12-08 2012-06-14 国立大学法人静岡大学 Method for detecting point of gaze and device for detecting point of gaze
WO2013176265A1 (en) * 2012-05-25 2013-11-28 国立大学法人静岡大学 Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
福元清剛ほか３名: ""遠隔注視点検出装置における真の瞳孔−角膜反射ペアーの決定法とその有効性"", ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集 ［ＣＤ−ＲＯＭ］, JPN6018031932, 11 June 2014 (2014-06-11), JP, pages 2 - 33, ISSN: 0003902702 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020095747A1 (en) * 2018-11-05 2020-05-14 京セラ株式会社 Controller, position determination device, position determination system, display system, program, and recording medium
JP2020077055A (en) * 2018-11-05 2020-05-21 京セラ株式会社 Controller, position determination device, position determination system, display system, program, and storage medium
JP7173836B2 (en) 2018-11-05 2022-11-16 京セラ株式会社 Controller, position determination device, position determination system, display system, program, and recording medium
US11551375B2 (en) 2018-11-05 2023-01-10 Kyocera Corporation Controller, position determination device, position determination system, and display system for determining a position of an object point in a real space based on cornea images of a first eye and a second eye of a user in captured image
US20210223022A1 (en) * 2020-01-16 2021-07-22 Kabushiki Kaisha Toshiba System and method
CN114820513A (en) * 2022-04-25 2022-07-29 深圳市迪佳医疗智能科技有限公司 Vision detection method

Also Published As

Publication number Publication date
JP6430813B2 (en) 2018-11-28

Similar Documents

Publication Publication Date Title
JP5858433B2 (en) Gaze point detection method and gaze point detection device
JP6631951B2 (en) Eye gaze detection device and eye gaze detection method
JP5467303B1 (en) Gaze point detection device, gaze point detection method, personal parameter calculation device, personal parameter calculation method, program, and computer-readable recording medium
JP6963820B2 (en) Line-of-sight detector
US9959678B2 (en) Face and eye tracking using facial sensors within a head-mounted display
US8885177B2 (en) Medical wide field of view optical tracking system
US10499808B2 (en) Pupil detection system, gaze detection system, pupil detection method, and pupil detection program
JP5915981B2 (en) Gaze point detection method and gaze point detection device
JP2019141620A (en) Fixation point determination method and device on three-dimensional object
CN108354585B (en) Computer-implemented method for detecting corneal vertex
EP3252566A1 (en) Face and eye tracking and facial animation using facial sensors within a head-mounted display
US10430988B2 (en) Facial animation using facial sensors within a head-mounted display
JP6560463B1 (en) Face and eye tracking and facial animation using face sensors in head mounted displays
JP7030317B2 (en) Pupil detection device and pupil detection method
EP3542308B1 (en) Method and device for eye metric acquisition
JP5818233B2 (en) Gaze measurement apparatus and method
JP6430813B2 (en) Position detection apparatus, position detection method, gazing point detection apparatus, and image generation apparatus
JP2016099759A (en) Face detection method, face detection device, and face detection program
JP7046347B2 (en) Image processing device and image processing method
JP6288770B2 (en) Face detection method, face detection system, and face detection program
JP6780161B2 (en) Line-of-sight detection device and line-of-sight detection method
JP2012029940A (en) Method and apparatus for measuring visual axis
JP4055858B2 (en) Gaze detection system
JP2016057906A (en) Measurement method and system of viewpoint position
JP2002017677A (en) Convergence angle measurement instrument

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181101

R150 Certificate of patent or registration of utility model

Ref document number: 6430813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250