KR101739768B1 - Gaze tracking system at a distance using stereo camera and narrow angle camera - Google Patents

Gaze tracking system at a distance using stereo camera and narrow angle camera Download PDF

Info

Publication number
KR101739768B1
KR101739768B1 KR1020130043956A KR20130043956A KR101739768B1 KR 101739768 B1 KR101739768 B1 KR 101739768B1 KR 1020130043956 A KR1020130043956 A KR 1020130043956A KR 20130043956 A KR20130043956 A KR 20130043956A KR 101739768 B1 KR101739768 B1 KR 101739768B1
Authority
KR
South Korea
Prior art keywords
user
camera
stereo camera
information
eye
Prior art date
Application number
KR1020130043956A
Other languages
Korean (ko)
Other versions
KR20130133127A (en
Inventor
이희경
이인재
김현철
차지훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20130133127A publication Critical patent/KR20130133127A/en
Application granted granted Critical
Publication of KR101739768B1 publication Critical patent/KR101739768B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

스테레오 카메라와 협각 카메라를 이용한 원거리 시선추적 시스템을 제공한다. 시선 추적 시스템은 사용자의 3차원 위치를 계산하기 위한 스테레오 카메라, 상기 스테레오 카메라를 이용하여 계산된 3차원 위치 정보를 기초로 상기 사용자의 눈 영상을 획득하는 협각 카메라 및 상기 획득한 눈 영상을 기초로 상기 사용자의 시선 정보를 계산하고 상기 계산된 시선 정보를 이용하여 상기 사용자의 시선을 추적하는 제어기를 포함할 수 있다.And provides a long-distance line-of-sight tracking system using a stereo camera and a narrow-angle camera. The line-of-sight tracking system includes a stereo camera for calculating a user's three-dimensional position, a narrow-angle camera for acquiring the user's eye image based on the three-dimensional position information calculated using the stereo camera, And a controller for calculating the gaze information of the user and tracking the gaze of the user using the calculated gaze information.

Description

스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템{GAZE TRACKING SYSTEM AT A DISTANCE USING STEREO CAMERA AND NARROW ANGLE CAMERA}TECHNICAL FIELD [0001] The present invention relates to a distance tracking system using a stereo camera and a narrow-angle camera,

본 발명의 실시예들은 스테레오 카메라와 협각 카메라를 이용하여 사용자의 시선을 추적하는 시스템에 관한 것이다.Embodiments of the present invention are directed to a system for tracking a user's gaze using a stereo camera and a coarse-angle camera.

현재, 넓은 영역에서 눈의 위치를 찾기 위한 광각(wide view field) 카메라와 찾아진 눈의 위치로 팬(Pan)-틸트(Tilt)-포커싱(Focusing)하여 고화질의 눈 영상을 획득하기 위한 협각(narrow view field) 카메라를 이용한 시선 추적 방법이 제공되고 있다.Currently, a wide view field camera is used to find the position of the eye in a large area, and a pan (tilt) focus to obtain a high-quality eye image by pan- narrow view field) is provided.

일 예로, 한국공개특허공보 제10-2009-0108792호(공개일 2009년 10월 12일) "광각 카메라를 사용한 타인 인증용 홍채 인식 장치 및 방법"에는 조명부를 이용하여 정보 제공자의 안구를 향해 적외선을 조명한 후 협각 영상 수집부를 이용하여 조명된 안구의 영상을 수집하고, 광각 영상 수집부를 이용하여 조명된 안구를 포함하는 얼굴 전체의 영상을 수집하여 수집한 영상들을 표시하고, 협각 영상 수집부가 수집한 영상을 통해 홍채 인식을 수행하는 것이 기재되어 있다.For example, Korean Patent Laid-Open No. 10-2009-0108792 (published on October 12, 2009) entitled " Irregularly recognizing iris recognition apparatus and method using a wide-angle camera " The illuminated eye image is collected using a narrow image acquiring unit, the collected images are collected by collecting images of the entire face including the illuminated eye using the wide angle image acquiring unit, And performing iris recognition through one image.

그러나, 이와 같이 단일 광각 카메라를 사용할 경우 사용자의 위치 정보를 획득하는 과정에 한계가 있어 협각 카메라의 팬-틸트 시 협각 카메라가 엉뚱한 위치의 영상을 획득하거나, 포커싱을 자주 놓쳐 시선 추적이 끊기거나 정확도가 떨어지는 문제가 발생한다.However, when a single wide-angle camera is used, there is a limitation in acquiring position information of the user. Therefore, when the pan-tilt camera of the narrow-angle camera acquires an image of an incorrect position, often misses focusing, There arises a problem of falling.

따라서, 보다 정확하고 안정적으로 사용자의 시선을 추적할 수 있는 방법이 요구되고 있다.Therefore, there is a need for a method that can more accurately and stably track the user's gaze.

본 발명의 기술적 과제는 스테레오 카메라와 협각 카메라를 이용한 시선 추적을 통해 보다 정확하고 안정적인 사용자의 시선 변이 정보를 획득할 수 있는 스테레오 카메라와 협각 카메라를 이용한 원거리 시선추적 시스템을 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a long-distance line-of-sight tracking system using a stereo camera and a coarse-angle camera capable of obtaining accurate and stable user's line of sight information through line-

본 발명의 일 양태에 따르면, 시선 추적 시스템은 사용자의 3차원 위치를 계산하기 위한 스테레오 카메라, 상기 스테레오 카메라를 이용하여 계산된 3차원 위치 정보를 기초로 상기 사용자의 눈 영상을 획득하는 협각 카메라 및 상기 획득한 눈 영상을 기초로 상기 사용자의 시선 정보를 계산하고 상기 계산된 시선 정보를 이용하여 상기 사용자의 시선을 추적하는 제어기를 포함할 수 있다.According to an aspect of the present invention, a gaze tracking system includes a stereo camera for calculating a three-dimensional position of a user, a narrow-angle camera for acquiring the user's eye image based on three-dimensional position information calculated using the stereo camera, And a controller for calculating gaze information of the user based on the acquired gaze image and tracking the gaze of the user using the gaze information calculated.

일 실시예로서, 상기 제어기는 상기 스테레오 카메라로부터 입력되는 영상과 상기 협각 카메라로부터 입력되는 영상을 기초로 상기 스테레오 카메라의 캘리브레이션과 랙티피케이션 및 상기 스테레오 카메라와 상기 협각 카메라 간의 캘리브레이션을 수행할 수 있다.In one embodiment, the controller may perform calibration of the stereo camera, and a calibration between the stereo camera and the narrow-angle camera based on an image input from the stereo camera and an image input from the narrow-angle camera .

다른 실시예로서, 상기 제어기는 상기 스테레오 카메라로부터 입력된 영상 각각에서 상기 사용자의 눈 영역을 검출하고, 상기 검출된 눈 영역의 2차원 좌표와 상기 스테레오 카메라의 캘리브레이션을 통해 획득한 상기 사용자의 위치 정보를 기초로 상기 사용자의 눈 영역에 대한 3차원 위치 정보를 계산할 수 있다.In another embodiment, the controller detects the eye area of the user in each of the images input from the stereo camera, and detects the position of the user based on the two-dimensional coordinates of the detected eye area and the position information of the user obtained through the calibration of the stereo camera Dimensional position information on the eye region of the user based on the three-dimensional position information.

또 다른 실시예로서, 상기 제어기는 상기 3차원 위치 정보를 기초로 상기 협각 카메라를 제어하여 상기 눈 영상을 획득하고, 상기 눈 영상으로부터 동공 중심을 검출하고 적외선 조명에 의해 눈에 반사된 각막 반사광을 검출하며, 상기 동공 중심에 대한 정보와 상기 각막 반사광에 대한 정보를 기초로 상기 사용자의 시선 정보를 계산할 수 있다.In another embodiment, the controller controls the narrow-angle camera based on the three-dimensional position information to acquire the eye image, detects the pupil center from the eye image, and reflects the cornea reflection light reflected by the eye by infrared light And calculate gaze information of the user based on the information on the pupil center and the information on the cornea reflection light.

또 다른 실시예로서, 상기 스테레오 카메라는 상기 협각 카메라로부터 분리되어 상기 시선 정보를 제공받는 디스플레이 장치에 포함될 수 있다.In another embodiment, the stereo camera may be included in a display device that is separated from the narrow-angle camera and receives the gaze information.

또 다른 실시예로서, 상기 스테레오 카메라는 상기 디스플레이 장치에 외장 또는 내장된 형태의 모션 추적 장치에 포함될 수 있다.In another embodiment, the stereo camera may be included in a motion tracking device in the form of an external or built-in display device.

또 다른 실시예로서, 상기 스테레오 카메라는 적어도 두 개의 깊이 카메라를 포함할 수 있다.In yet another embodiment, the stereo camera may include at least two depth cameras.

또 다른 실시예로서, 상기 스테레오 카메라는 듀얼 광각 카메라일 수 있다.In another embodiment, the stereo camera may be a dual wide angle camera.

스테레오 카메라와 협각 카메라를 이용하여 시선을 추적함으로써 보다 정확하고 안정적인 사용자의 시선 정보 획득이 가능하며, 획득한 시선 정보는 웹페이지 UI, 광고 및 상품에 대한 사용자 심리 분석을 통해 마케팅 분야에 활용 가능하다. 또한 의료, 운전, TV 메뉴 제어 등 새로운 사용자 경험을 제공할 수 있는 서비스에도 활용 가능하다.It is possible to acquire more precise and stable user's gaze information by tracking the gaze using stereo camera and coarse camera, and acquired gaze information can be utilized in marketing field through user's psychological analysis of web page UI, advertisement and product . It can also be used for services that can provide new user experiences such as medical, driving, and TV menu control.

도 1은 본 발명의 일실시예에 있어서, 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 시선 추적 시스템이 사용자의 시선을 추적하는 과정을 나타내는 도면이다.
도 3 내지 도 5는 본 발명에 따른 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추척 시스템을 나타내는 예시도이다.1 is a block diagram illustrating a long-range line-of-sight tracking system using a stereo camera and a coarse-grained camera in one embodiment of the present invention.
FIG. 2 is a diagram illustrating a process in which a gaze tracking system tracks a user's gaze in an embodiment of the present invention. FIG.
3 to 5 are diagrams showing an example of a long distance line tracking system using a stereo camera and a narrow angle camera according to the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "???quot; 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Furthermore, the terms " ??? ", etc. in the specification mean units for processing at least one function or operation, and may be implemented by hardware or software or a combination of hardware and software.

도 1은 본 발명의 일실시예에 있어서, 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템을 나타내는 블록도이다.1 is a block diagram illustrating a long-range line-of-sight tracking system using a stereo camera and a coarse-grained camera in one embodiment of the present invention.

본 발명의 일 실시예에 따른 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템(100)은 보다 정확하고 안정적인 사용자의 시선 정보를 획득하기 위하여 도 1에 도시된 것과 같이 스테레오 카메라(110), 협각 카메라(120) 및 제어기(130)를 포함한다.1, a remote eye tracking system 100 using a stereo camera and a narrow camera according to an embodiment of the present invention includes a stereo camera 110, a narrow- (120) and a controller (130).

스테레오 카메라(110)는 사용자의 3차원 위치를 계산하기 위한 것으로 일 예로 적어도 두 개의 깊이 카메라를 포함할 수 있다.The stereo camera 110 is for calculating the three-dimensional position of the user and may include at least two depth cameras as an example.

협각 카메라(120)는 스테레오 카메라(110)를 이용하여 계산된 3차원 위치 정보를 기초로 사용자의 눈 영상을 획득한다.The coarse angle camera 120 acquires the user's eye image based on the three-dimensional position information calculated using the stereo camera 110.

이를 위하여 제어기(130)는 스테레오 카메라(110)의 캘리브레이션을 통해 사용자의 정확한 3차원 위치 정보를 계산하는 한편, 스테레오 카메라(110)로부터 입력되는 영상에서 사용자의 얼굴 영역 및 눈 영역을 검출한다. 이 때, 제어기(130)는 스테레오 카메라(110)로부터 입력되는 영상들을 기초로 스테레오 카메라(110)의 캘리브레이션(Calibration)과 랙티피케이션(Rectification)을 수행할 수 있다. 한편, 제어기(130)는 스테레오 카메라(110)와 협각 카메라(120)로부터 입력되는 영상들을 기초로 스테레오 카메라(110)와 협각 카메라(120) 간의 캘리브레이션을 수행할 수 있다.For this, the controller 130 calculates the accurate three-dimensional position information of the user through the calibration of the stereo camera 110, and detects the face region and the eye region of the user from the image input from the stereo camera 110. At this time, the controller 130 can perform calibration and rectification of the stereo camera 110 based on the images input from the stereo camera 110. The controller 130 may perform calibration between the stereo camera 110 and the coarse angle camera 120 based on the images input from the stereo camera 110 and the coarse angle camera 120.

사용자의 3차원 위치 정보와 사용자의 눈 영역이 검출되면, 제어기(130)는 상기 사용자의 3차원 위치 정보와 상기 눈 영역에 대한 정보를 기초로 협각 카메라(120)가 팬, 틸트, 포커스를 수행하도록 제어함으로써 이를 통해 고화질의 눈 영상을 획득한다.When the user's three-dimensional position information and the user's eye region are detected, the controller 130 performs pan, tilt, and focus on the three-dimensional position information of the user and information on the eye region Thereby acquiring a high-quality eye image.

이와 같은 과정을 통해 사용자의 눈 영상이 획득되면, 제어기(130)는 획득한 눈 영상을 기초로 눈의 동공 중심과 조명 반사광을 검출하여 사용자의 시선 정보를 계산하고, 계산된 시선 정보를 이용하여 사용자의 시선을 추적한다.
When the eye image of the user is obtained through the above process, the controller 130 calculates the eye line information of the user by detecting the pupil center of the eye and the illumination reflection light on the basis of the acquired eye image, Track the user's gaze.

도 2는 본 발명의 일실시예에 있어서, 시선 추적 시스템이 사용자의 시선을 추적하는 과정을 나타내는 도면이다.FIG. 2 is a diagram illustrating a process in which a gaze tracking system tracks a user's gaze in an embodiment of the present invention. FIG.

본 발명에 따른 시선 추적 시스템은 시선 추적을 시작하기 전에 먼저 스테레오 카메라의 캘리브레이션과 랙티피케이션을 수행하고, 스테레오 카메라와 협각 카메라 간의 캘리브레이션을 수행하며, 사용자 캘리브레이션을 수행할 수 있다.The line-of-sight tracking system according to the present invention may perform the calibration and the rack-tipting of the stereo camera, the calibration between the stereo camera and the narrow-angle camera, and perform the user calibration before starting the line-

시선 추적 시스템은 각 캘리브레이션의 수행이 완료되면, 스테레오 카메라로부터 영상들을 입력 받고 입력된 각 영상들에서 얼굴 영역 및 눈 영역을 검출할 수 있다. 상기 과정은 시선을 추적하는 과정 중에 지속적으로 수행될 수 있다.The eye tracking system can receive the images from the stereo camera and detect the face area and the eye area in each input image when the calibration is completed. This process can be continuously performed during the process of tracking the eyes.

이후, 시선 추적 시스템은 검출해 낸 눈의 2차원 좌표와 캘리브레이션을 통해 획득한 사용자 위치 정보(예를 들어, 랙티피케이션 맵, 재투영 행렬 등)를 기반으로 해당 사용자의 눈 영역에 대한 3차원 위치 정보를 계산한다.Thereafter, the eye tracking system detects three-dimensional (3D) images of the eye area of the user based on the detected two-dimensional coordinates of the eye and user position information (for example, a rack mapping map, a rear projection matrix, Calculate location information.

시선 추적 시스템은 계산된 눈 영역에 대한 3차원 위치 정보를 기반으로 협각 카메라에 대한 패닝(Panning), 틸팅(Tilting), 오토포커스(Auto-Focus)를 수행하고, 이를 통해 고화질의 눈 영상을 획득한다. 그리고, 획득된 고화질의 눈 영상으로부터 동공 중심을 검출하고, 적외선 조명에 의해 눈에 반사된 각막 반사광을 검출한다.The gaze tracking system performs panning, tilting, and auto-focusing on the coarse camera based on the calculated three-dimensional position information on the eye area, thereby obtaining a high-quality eye image do. Then, the center of the pupil is detected from the obtained high-quality eye image, and the reflected light of the cornea reflected by the eye is detected by infrared illumination.

시선 추적 시스템은 이와 같은 과정을 통해 검출된 동공 중심에 대한 정보와 각막 반사광에 대한 정보로부터 시선 위치 정보를 계산해 낼 수 있다.
The gaze tracking system can calculate gaze position information from the information on the pupil center detected through the above process and information on the corneal reflection.

도 3 내지 도 5는 본 발명에 따른 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추척 시스템을 나타내는 예시도이다.3 to 5 are diagrams showing an example of a long distance line tracking system using a stereo camera and a narrow angle camera according to the present invention.

본 발명에 따른 시선 추적 시스템에서 스테레오 카메라는 도 3 내지 도 5에 도시된 것과 같이 다양한 형태로 구현될 수 있다. 도 3에는 일 예로, 스테레오 카메라(320)가 시선 추적 시스템(300)으로부터 분리되어 TV, 모니터 등과 같이 시선 정보를 제공 받는 디스플레이 장치(310)에 거치된 형태가 도시되어 있다. 이 경우, 본 발명에 따른 시선 추적 시스템(300)의 길이(크기)는 최소화될 수 있다. 또한, Z축 방향 오차가 4mm로 높은 정확도를 낼 수 있다. 그러나, 이 경우 디스플레이 장치(310)의 팬, 틸트 등으로 인하여 디스플레이 장치(310)에 거치된 스테레오 카메라(320)의 위치가 변화되면 캘리브레이션의 재수행이 필요하다.In the line-of-sight tracking system according to the present invention, the stereo camera may be implemented in various forms as shown in FIGS. In FIG. 3, a stereoscopic camera 320 is detached from the eye-tracking system 300 and is mounted on a display device 310 receiving visual information such as a TV, a monitor, and the like. In this case, the length (size) of the eye tracking system 300 according to the present invention can be minimized. In addition, the error in the Z-axis direction is as high as 4 mm. However, in this case, if the position of the stereo camera 320 mounted on the display device 310 is changed due to the panning, tilting, or the like of the display device 310, calibration again is required.

도 3에는 일 예로 스테레오 카메라(320)가 디스플레이 장치(310)에 거치된 형태가 도시되어 있으나, 스테레오 카메라(320)는 디스플레이 장치(310)에 내장될 수도 있다.3, the stereoscopic camera 320 is mounted on the display device 310, but the stereoscopic camera 320 may be embedded in the display device 310. FIG.

한편, 도 4에는 본 발명에 따른 시선 추적 시스템(400)의 스테레오 카메라가 디스플레이 장치(410)와 연결된 키넥트(Kinect)와 같은 사용자의 깊이를 인식하고 모션을 추적하는 장치로 대체되는 경우가 도시되어 있다. 이 경우, 본 발명에 따른 시선 추적 시스템(400)은 시선 추적 인터페이스와 모션 추적 장치로부터 제공되는 제스처 인터페이스를 이용하여 멀티모달 인터페이스(Multimodal interface)를 제공할 수 있다. 그러나, 이 경우, Z축 방향의 정확도 오차가 1cm 정도로 커질 수 있다.4 shows a case in which a stereo camera of the eye tracking system 400 according to the present invention is replaced by a device for recognizing the depth of a user and tracking motion such as a Kinect connected to the display device 410 . In this case, the gaze tracking system 400 according to the present invention can provide a multimodal interface using a gaze tracking interface and a gesture interface provided from a motion tracking device. However, in this case, the accuracy error in the Z-axis direction can be increased to about 1 cm.

따라서, 본 발명에 따른 시선 추적 시스템은 도 5에 도시된 것과 같이 스테레오 카메라가 듀얼 광각 카메라로 시선 추적 시스템(500)에 일체형으로 구현될 수 있다. 이 때, 각 광각 카메라는 사용자의 위치를 정확하게 계산하기 위하여 기 설정된 거리만큼 이격될 수 있다. 또한, 상기 스테레오 카메라는 외장 또는 내장된 형태의 임의의 깊이 카메라로 대체될 수 있다.Therefore, the eye tracking system according to the present invention can be implemented integrally in the eye tracking system 500 with a dual wide angle camera as shown in FIG. At this time, each wide angle camera may be spaced by a predetermined distance in order to accurately calculate the position of the user. In addition, the stereo camera may be replaced by any depth camera in the form of an exterior or built-in.

이 경우, z축 방향의 오차가 4mm로 정확도가 높으며 주변의 다른 장치에 영향을 받지 않고도 자체적으로 시선을 추적할 수 있다. 시선 추적 시스템(500)에 의해 추적된 시선에 대한 정보는 디스플레이 장치(510)로 제공될 수 있다.In this case, the error in the z-axis direction is as high as 4 mm, and the eye can be tracked on its own without being affected by other peripheral devices. Information on the line of sight tracked by the line-of-sight tracking system 500 may be provided to the display device 510.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

100: 시선 추적 시스템
110: 스테레오 카메라
120: 협각 카메라
130: 제어기100: Eye tracking system
110: Stereo camera
120: coarse camera
130:

Claims (10)

사용자의 3차원 위치를 계산하기 위한 스테레오 카메라;
상기 스테레오 카메라를 이용하여 계산된 3차원 위치 정보를 기초로 상기 사용자의 눈 영상을 획득하는 협각 카메라; 및
상기 획득한 눈 영상을 기초로 상기 사용자의 시선 정보를 계산하고 상기 계산된 시선 정보를 이용하여 상기 사용자의 시선을 추적하는 제어기
를 포함하고,
상기 스테레오 카메라는,
상기 협각 카메라로부터 분리되어 상기 시선 정보를 제공받는 디스플레이 장치에 포함되거나, 외장 또는 내장된 형태의 모션 추적 장치 또는 깊이 카메라로 대체되거나, 듀얼 광각 카메라로 구성되고,
상기 제어기는,
상기 스테레오 카메라로부터 입력된 영상 각각에서 상기 사용자의 눈 영역을 검출하고, 상기 검출된 눈 영역의 2차원 좌표와 상기 스테레오 카메라의 캘리브레이션을 통해 획득한 사용자 위치 정보를 기초로 상기 사용자의 눈 영역에 대한 3차원 위치 정보를 계산하고, 상기 3차원 위치 정보를 기초로 상기 협각 카메라를 제어하여 상기 사용자의 눈 영상을 획득하고, 상기 눈 영상으로부터 동공 중심을 검출하고 적외선 조명에 의해 눈에 반사된 각막 반사광을 검출하며, 상기 동공 중심에 대한 정보와 상기 각막 반사광에 대한 정보를 기초로 상기 사용자의 시선을 추적하되,
상기 사용자 위치 정보는 랙티피케이션 맵 및 재투영 행렬 중 적어도 하나를 포함하는 것을 특징으로 하는 시선 추적 시스템.A stereo camera for calculating a three-dimensional position of the user;
A narrow-angle camera for acquiring the eye image of the user based on the three-dimensional position information calculated using the stereo camera; And
A controller for calculating gaze information of the user based on the obtained eye image and tracking the gaze of the user using the gaze information calculated;
Lt; / RTI >
The stereo camera includes:
A motion picture tracking device or a depth camera in an external or internal form, or a dual wide-angle camera, which is included in the display device separated from the coarse camera and is provided with the visual information,
The controller comprising:
And a controller for detecting the eye area of the user in each of the images input from the stereo camera and detecting the user's eye area based on the two-dimensional coordinates of the detected eye area and the user position information obtained through the calibration of the stereo camera Calculating the three-dimensional position information, controlling the narrow-angle camera based on the three-dimensional position information to obtain the eye image of the user, detecting the pupil center from the eye image, And tracking the user's gaze based on information on the pupil center and information on the reflected light of the cornea,
Wherein the user location information comprises at least one of a rackiness map and a re-projection matrix. 제1항에 있어서,
상기 제어기는,
상기 스테레오 카메라로부터 입력되는 영상과 상기 협각 카메라로부터 입력되는 영상을 기초로 상기 스테레오 카메라의 캘리브레이션과 랙티피케이션 및 상기 스테레오 카메라와 상기 협각 카메라 간의 캘리브레이션을 수행하는 것을 특징으로 하는 시선 추적 시스템.The method according to claim 1,
The controller comprising:
Wherein the calibration of the stereo camera and the calibration of the stereo camera and the calibration between the stereo camera and the narrow angle camera are performed on the basis of the image input from the stereo camera and the image input from the narrow angle camera. 삭제delete 삭제delete 제1항에 있어서,
상기 스테레오 카메라는,
적어도 두 개의 깊이 카메라를 포함하는 것을 특징으로 하는 시선 추적 시스템.The method according to claim 1,
The stereo camera includes:
Wherein the at least one depth camera comprises at least two depth cameras. 시선 추적 방법에 있어서,
스테레오 카메라로부터 입력된 영상 각각에서 사용자의 눈 영역을 검출하는 단계;
상기 검출된 눈 영역의 2차원 좌표와 상기 스테레오 카메라의 캘리브레이션을 통해 상기 사용자의 위치 정보를 획득하는 단계;
상기 사용자의 위치 정보를 기초로 상기 사용자의 눈 영역에 대한 3차원 위치 정보를 계산하는 단계;
상기 3차원 위치 정보를 기초로 협각 카메라를 이용하여 상기 사용자의 눈 영상을 획득하는 단계;
상기 눈 영상으로부터 동공 중심을 검출하고 적외선 조명에 의해 눈에 반사된 각막 반사광을 검출하는 단계;
상기 동공 중심에 대한 정보와 상기 각막 반사광에 대한 정보를 기초로 상기 사용자의 시선 정보를 계산하는 단계; 및
상기 계산된 시선 정보를 이용하여 상기 사용자의 시선을 추적하는 단계
를 포함하고,
상기 스테레오 카메라는,
상기 협각 카메라로부터 분리되어 상기 시선 정보를 제공받는 디스플레이 장치에 포함되거나, 외장 또는 내장된 형태의 모션 추적 장치 또는 깊이 카메라로 대체되거나, 듀얼 광각 카메라로 구성되되,
상기 사용자의 위치 정보는 랙티피케이션 맵 및 재투영 행렬 중 적어도 하나를 포함하는 것을 특징으로 하는 시선 추적 방법.In the gaze tracking method,
Detecting a user's eye region in each of the images input from the stereo camera;
Acquiring position information of the user through two-dimensional coordinates of the detected eye region and calibration of the stereo camera;
Calculating three-dimensional position information on the eye region of the user based on the position information of the user;
Acquiring the eye image of the user using the narrow-angle camera based on the three-dimensional position information;
Detecting a center of the pupil from the eye image and detecting reflected corneal light from the eye by infrared illumination;
Calculating eye line information of the user based on information on the pupil center and information on the reflected light of the cornea; And
And tracking the user's gaze using the calculated gaze information
Lt; / RTI >
The stereo camera includes:
A motion picture tracking device or a depth camera in an external or internal form, or a dual wide-angle camera, which is included in the display device separated from the coarse camera and is provided with the visual information,
Wherein the location information of the user includes at least one of a rackiness map and a re-projection matrix. 제6항에 있어서,
상기 3차원 위치 정보를 계산하는 단계는,
상기 스테레오 카메라로부터 입력되는 영상과 상기 협각 카메라로부터 입력되는 영상을 기초로 상기 스테레오 카메라의 캘리브레이션과 랙티피케이션 및 상기 스테레오 카메라와 상기 협각 카메라 간의 캘리브레이션을 수행하는 단계를 포함하는 것을 특징으로 하는 시선 추적 방법.The method according to claim 6,
Wherein the step of calculating the three-
And performing calibration between the stereo camera and the rack based on the image input from the stereo camera and the image input from the narrow-angle camera, and performing calibration between the stereo camera and the narrow-angle camera. Way. 삭제delete 삭제delete 제6항에 있어서,
상기 스테레오 카메라는,
적어도 두 개의 깊이 카메라를 포함하는 것을 특징으로 하는 시선 추적 방법.The method according to claim 6,
The stereo camera includes:
Characterized in that it comprises at least two depth cameras.
KR1020130043956A 2012-05-24 2013-04-22 Gaze tracking system at a distance using stereo camera and narrow angle camera KR101739768B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120055566 2012-05-24
KR20120055566 2012-05-24

Publications (2)

Publication Number Publication Date
KR20130133127A KR20130133127A (en) 2013-12-06
KR101739768B1 true KR101739768B1 (en) 2017-05-26

Family

ID=49981287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130043956A KR101739768B1 (en) 2012-05-24 2013-04-22 Gaze tracking system at a distance using stereo camera and narrow angle camera

Country Status (1)

Country Link
KR (1) KR101739768B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102209613B1 (en) 2014-01-15 2021-02-01 주식회사 아이리시스 The iris acquisition apparatus and its method using the second camera in mobile device
KR102219739B1 (en) * 2014-01-29 2021-02-24 엘지이노텍 주식회사 Camera module
CN105138215B (en) * 2014-05-26 2018-12-14 联想(北京)有限公司 A kind of information processing method and electronic equipment
KR102526544B1 (en) * 2016-01-29 2023-04-27 한국전자통신연구원 Apparatus and method for eye tracking based on multi array
KR102469273B1 (en) * 2016-02-01 2022-11-22 한국전자통신연구원 Gaze tracking apparatus and gaze tracking method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123051A (en) 2009-11-12 2011-06-23 Canon Inc Three-dimensional measurement method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123051A (en) 2009-11-12 2011-06-23 Canon Inc Three-dimensional measurement method

Also Published As

Publication number Publication date
KR20130133127A (en) 2013-12-06

Similar Documents

Publication Publication Date Title
US9967475B2 (en) Head-mounted displaying of magnified images locked on an object of interest
US10165176B2 (en) Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
US9785233B2 (en) Systems and methods of eye tracking calibration
CN107004275B (en) Method and system for determining spatial coordinates of a 3D reconstruction of at least a part of a physical object
US9961335B2 (en) Pickup of objects in three-dimensional display
JP6020923B2 (en) Viewer having variable focus lens and video display system
CN111194423A (en) Head mounted display tracking system
WO2013179427A1 (en) Display device, head-mounted display, calibration method, calibration program, and recording medium
KR101739768B1 (en) Gaze tracking system at a distance using stereo camera and narrow angle camera
KR20120057033A (en) Gaze tracking system and method for controlling internet protocol tv at a distance
WO2015035823A1 (en) Image collection with increased accuracy
KR20160094190A (en) Apparatus and method for tracking an eye-gaze
KR20130107981A (en) Device and method for tracking sight line
US20160247322A1 (en) Electronic apparatus, method and storage medium
US20160170482A1 (en) Display apparatus, and control method for display apparatus
CN101273880A (en) Method for examining opto-kinetic reflex and ocular kinetic reflex using virtual vision target
KR101526557B1 (en) Apparatus and method for gaze tracking based on multiple camera
CN110895433A (en) Method and apparatus for user interaction in augmented reality
Lee et al. Auto-focusing method for remote gaze tracking camera
KR101817436B1 (en) Apparatus and method for displaying contents using electrooculogram sensors
KR20140014868A (en) Gaze tracking apparatus and method
CN107884930B (en) Head-mounted device and control method
CN110377158B (en) Eyeball tracking calibration method based on variable field range and electronic equipment
WO2013179425A1 (en) Display device, head-mounted display, calibration method, calibration program, and recording medium
EP3139586B1 (en) Image shooting processing method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant