KR101094766B1 - Apparatus and mehtod for tracking eye - Google Patents

Apparatus and mehtod for tracking eye Download PDF

Info

Publication number
KR101094766B1
KR101094766B1 KR1020100026005A KR20100026005A KR101094766B1 KR 101094766 B1 KR101094766 B1 KR 101094766B1 KR 1020100026005 A KR1020100026005 A KR 1020100026005A KR 20100026005 A KR20100026005 A KR 20100026005A KR 101094766 B1 KR101094766 B1 KR 101094766B1
Authority
KR
South Korea
Prior art keywords
pupil
coordinates
user
center
detected
Prior art date
Application number
KR1020100026005A
Other languages
Korean (ko)
Other versions
KR20110038568A (en
Inventor
박민식
박강령
이희경
조철우
이의철
이한규
홍진우
이지우
Original Assignee
동국대학교 산학협력단
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단, 한국전자통신연구원 filed Critical 동국대학교 산학협력단
Publication of KR20110038568A publication Critical patent/KR20110038568A/en
Application granted granted Critical
Publication of KR101094766B1 publication Critical patent/KR101094766B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 시선 위치 추적 장치 및 방법에 관한 것으로, 보다 구체적으로 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적하는 시선 위치 추적 장치 및 방법에 관한 것이다.
본 발명의 일 실시 에에 따른 시선 방향을 추적하는 장치는, 카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 수신부; 상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공 위치를 검출하고, 상기 검출된 동공 위치를 이용하여 상기 조명 반사광의 좌표와 상기 동공의 중심 좌표를 검출하는 검출부; 및 상기 검출된 조명 반사광의 좌표를 이용하여 상기 사용자의 얼굴 움직임 보정 값을 계산하고, 상기 동공의 이동 영역의 좌표와 상기 사용자가 응시하는 모니터의 좌표를 이용하여 상기 사용자의 시선 위치를 산출하는 계산부를 포함한다.
The present invention relates to a gaze position tracking device and method, and more particularly to a gaze position tracking device and method for tracking the gaze position of the user by correcting the face movement according to the distance between the illumination light included in the eye image.
According to an aspect of the present invention, an apparatus for tracking a gaze direction includes a receiver configured to receive an eye image of a user including an illumination reflection light captured by a camera; A detector configured to detect a pupil position from the received eye image using a predetermined method, and detect a coordinate of the illumination reflected light and a center coordinate of the pupil using the detected pupil position; And calculating a face motion correction value of the user using the detected coordinates of the reflected light, and calculating a gaze position of the user using the coordinates of the movement area of the pupil and the coordinates of the monitor stared by the user. Contains wealth.

Description

시선 위치 추적 장치 및 방법{APPARATUS AND MEHTOD FOR TRACKING EYE}Gaze position tracking device and method {APPARATUS AND MEHTOD FOR TRACKING EYE}

본 발명은 시선 위치 추적 장치 및 방법에 관한 것으로, 보다 구체적으로 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적하는 시선 위치 추적 장치 및 방법에 관한 것이다.
The present invention relates to a gaze position tracking device and method, and more particularly to a gaze position tracking device and method for tracking the gaze position of the user by correcting the face movement according to the distance between the illumination light included in the eye image.

오늘날 디지털 기술이 발전함에 따라 영상 정보를 분석하여 특정 영역 또는 특정 부분으로 구분할 수 있는 기술이 개발되고 있다. 이러한, 분석 기술 중에 얼굴 인식 기술은 디지털 카메라뿐만 아니라, 보안 기술을 수행하는 장치 등에 접목 되는 기술로써, 다양한 방식으로 다각도로 연구 및 개발되고 있는 실정이다.As digital technology develops today, a technology for analyzing image information and dividing it into specific regions or portions is being developed. Among the analysis techniques, the face recognition technique is a technology that is applied not only to a digital camera but also to a device that performs a security technique, and is being researched and developed in various ways in various ways.

또한, 유전자 형질, 지문, 목소리, 정맥, 얼굴 생김새, 눈동자 홍채 등의 생물학적 특징을 이용하여 개개인의 신원을 인증하는 시스템에 대하여 활발한 연구가 진행되고 있다. 이중에서, 홍채 인식 분야는 높은 인식률과 위조의 불가성, 데이터량이 많은 패턴 특성, 변화 요인이 없다는 점 등의 장점으로 인하여, 보안시스템에 있어서 향후 가장 많이 사용될 것으로 전망된다.In addition, active research is being conducted on a system for authenticating an individual using biological characteristics such as genetic traits, fingerprints, voices, veins, facial features, and eye irises. Among them, the iris recognition field is expected to be used most in the future due to the advantages of high recognition rate, impossibility of counterfeiting, pattern data with a large amount of data, and no change factor.

홍채(Iris)란, 동공과 흰 부위 사이에 존재하는 영역을 의미하는데, 빗살 무늬의 인대, 붉은색의 섬유질, 속눈썹 모양의 돌기, 혈관계 형태, 링 형태의 조직, 동공을 둘러싸는 코로나모양의 인대, 홍채 고유의 색, 얼룩점 등의 고유 특성을 가지고 있으므로 홍채를 이용하면 개개인을 식별할 수 있다.The iris (Iris) refers to the area between the pupil and the white area, which is comb-like ligaments, red fibers, cilia-like protrusions, vascular forms, ring-shaped tissues, and corona-shaped ligaments surrounding the pupil. Because of its unique characteristics such as color, spot color, etc., the iris can be used to identify individuals.

데이터 연산량을 감소시키기 위하여, 홍채를 인식하기 전에 눈 위치를 찾는 전처리 과정이 수행되는데, 이러한 과정은 여러 가지 방법으로 진행될 수 있다. 종래에는, 눈의 위치를 찾기 위해서 눈의 형태에 따른 영상 정보를 이용하거나 동공에 의하여 나타나는 반사 잡음을 이용하는 방법 등이 있다.In order to reduce the amount of data computation, a preprocessing process for finding the eye position is performed prior to recognizing the iris, which can be done in various ways. Conventionally, in order to find the position of the eye, there is a method of using image information according to the shape of the eye or using reflected noise represented by the pupil.

여기서, 반사 잡음은 빛이 동공에 반사되는 경우에 나타나는 잡음 성분으로 크기와 패턴에 규칙적인 특징을 가진다. 이렇게 하여 눈의 위치를 찾게 되면, 피인증자의 눈과 카메라의 렌즈가 광학적으로 일치되도록 홍채인식시스템이 정밀하게 구동되고, 홍채를 정교하게 촬영하여 홍채 인식 과정을 처리하게 된다.Here, the reflected noise is a noise component that appears when light is reflected by the pupil and has regular characteristics in size and pattern. In this way, when the position of the eye is found, the iris recognition system is precisely driven so that the subject's eye and the lens of the camera are optically matched, and the iris is precisely photographed to process the iris recognition process.

그러나, 눈의 형태를 이용하여 눈의 위치를 찾는 경우, 화장, 인공 눈썹 등의 요인에 의하여 눈의 형태가 달라지거나 개인의 특성에 따라 눈의 형태가 다른 점, 컨텍트 렌즈나 안경의 착용으로 인하여 눈의 형태가 다르게 인지될 수 있는 점 등 장애적인 요소가 많으므로 영상 처리를 통하여 눈이라는 영상 객체를 일률적으로 검출하는 것은 기술적으로 많은 어려움이 따른다.However, in case of finding the position of the eye by using the shape of the eye, the shape of the eye varies depending on factors such as makeup and artificial eyebrows, or the shape of the eye varies according to the characteristics of the individual, or due to wearing contact lenses or glasses. Since there are many obstacles such as the shape of the eye can be perceived differently, it is technically difficult to detect the image object called the eye uniformly through image processing.

또한, 안구 영역을 촬영한 영상에는 반사 잡음을 비롯하여 여러 가지 잡음 성분들이 나타나게 되며, 이러한 잡음 성분들은 눈의 일부를 가림으로써 눈의 형태를 인지할 수 없게 하므로 종래의 방법으로는 눈의 위치를 찾을 수 없는 경우가 종종 발생된다.
In addition, various noise components, including reflection noise, appear in the image of the eyeball area, and these noise components cover part of the eye so that the shape of the eye cannot be recognized. Sometimes it can't be.

따라서, 본 발명의 목적은, 시선 위치 추적 장치 및 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide a gaze position tracking device and method.

또한, 본 발명의 목적은, 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적하는 시선 위치 추적 장치 및 방법을 제공함에 있다.
It is also an object of the present invention to provide a gaze position tracking device and method for tracking a gaze position of a user by correcting a face movement according to a distance between illumination lights included in an eye image.

상기한 목적들을 해결하기 위해 본 발명의 일 실시 예에 따른 시선 위치 추적 장치는, 카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 수신부; 상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공 위치를 검출하고, 상기 검출된 동공 위치를 이용하여 상기 조명 반사광의 좌표와 상기 동공의 중심 좌표를 검출하는 검출부; 상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 추출된 동공의 중심 좌표에 소정의 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 제 1 계산부; 및 상기 보정된 동공 중심 좌표를 이용하여 상기 동공의 이동영역을 정의하고, 상기 동공의 이동영역과 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 제 2 계산부를 포함한다.In order to solve the above objects, an apparatus for tracking gaze position according to an exemplary embodiment of the present invention may include: a receiver configured to receive an eye image of a user including illumination reflected light captured by a camera; A detector configured to detect a pupil position from the received eye image using a predetermined method, and detect a coordinate of the illumination reflected light and a center coordinate of the pupil using the detected pupil position; Calculating a distance between the reflected light by using the detected coordinates of the reflected light, and correcting the center coordinates of the pupil by applying a predetermined weight and the distance between the reflected light to the center coordinates of the extracted pupil; A calculator; And a second calculator configured to define a movement area of the pupil using the corrected pupil center coordinates, and calculate a gaze position of the user by using a relationship between a coordinate system between the movement area of the pupil and a monitor stared by the user. do.

본 발명의 일 실시 예에 따른 시선 위치 추적 방법은, 카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 단계; 상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공 위치를 검출하고, 상기 검출된 동공 위치를 이용하여 상기 조명 반사광의 좌표와 상기 동공의 중심 좌표를 검출하는 단계; 상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 추출된 동공의 중심 좌표에 소정의 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 단계; 및In accordance with another aspect of the present invention, a method for tracking a gaze position includes: receiving an eye image of a user including an illumination reflection light captured by a camera; Detecting a pupil position from the received eye image using a predetermined method, and detecting a coordinate of the illumination reflection light and a center coordinate of the pupil using the detected pupil position; Calculating a distance between the illumination reflected light using the detected coordinates of the illumination reflected light, and correcting the center coordinates of the pupil by applying a predetermined weight and the distance between the illumination reflected light to the center coordinates of the extracted pupil; And

상기 보정된 동공 중심 좌표를 이용하여 상기 동공의 이동영역을 정의하고, 상기 동공의 이동영역과 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 단계를 포함한다.
Defining a moving area of the pupil using the corrected pupil center coordinates, and calculating a gaze position of the user using a relationship between a coordinate system between the moving area of the pupil and a monitor stared by the user.

본 발명은, 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적할 수 있다. 또한, 본 발명은, 사용자의 시선 위치를 추적하여 다양한 분야에 활용함으로써 사용자의 편의성이 증대된다.
The present invention can track a user's gaze position by correcting a face movement according to a distance between illumination lights included in an eye image. In addition, the present invention increases the convenience of the user by tracking the gaze position of the user and utilizing it in various fields.

도 1은 본 발명의 실시 예에 따른 시선 추적 장치의 구조를 개략적으로 도시한 도면,
도 2는 본 발명의 실시 예에 따른 시선 추적 장치의 눈 영상 취득용 카메라를 도시하면 도면,
도 3은 본 발명의 실시 예에 따른 시선 추적 장치의 적외선 LED를 장착한 모니터를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 시선 추적 장치의 검출부(102)가 원형 검출 방법을 이용하여 초기 동공 위치를 추출하고, 이진화 과정, 라벨링 과정, 모폴로지 과정을 거쳐 최종 동공 위치를 추출하는 과정을 도시한 도면,
도 5는 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상을 도시한 도면,
도 6은 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상에 포함된 조명 반사광 사이의 길이를 도시한 도면,
도 7은 본 발명의 실시 예에 따른 캘리브레이션 수행을 위한 기하학적 변환 방법을 도시한 도면,
도 8은 본 발명의 실시 예에 따른 시선 추적 시스템의 도시한 도면,
도 9는 본 발명의 실시 예에 따른 시선 추적 과정을 개략적으로 도시한 도면이다.
1 is a view schematically showing the structure of a gaze tracking device according to an embodiment of the present invention;
2 is a diagram illustrating an eye image acquisition camera of a gaze tracking device according to an exemplary embodiment of the present invention;
3 is a view showing a monitor equipped with an infrared LED of the gaze tracking device according to an embodiment of the present invention,
4 is a process of detecting the initial pupil position by the detection unit 102 of the eye tracking apparatus according to an embodiment of the present invention using a circular detection method, and extracts the final pupil position through a binarization process, a labeling process, and a morphology process. Figure,
5 is a view showing an eye image received by the receiver 101 of the eye tracking apparatus according to the embodiment of the present invention;
6 is a view showing the length between the reflected light reflected in the eye image received by the receiver 101 of the gaze tracking device according to an embodiment of the present invention,
7 is a view showing a geometric transformation method for performing calibration according to an embodiment of the present invention;
8 is a view illustrating a gaze tracking system according to an exemplary embodiment of the present invention;
9 is a diagram schematically illustrating a gaze tracking process according to an exemplary embodiment of the present invention.

본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. In describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

그러면 먼저 시선 추적 방법이 사용되고 있는 예들을 살펴보기로 하자. 시선 위치 추적 방법은 크게 스킨 전극(Skin Electrodes) 기반 방법, 콘텍트 렌즈(Contact Lens) 기반 방법, 두부 장착형 디스플레이(Head Mounted Display) 부착 기반 방법, 원격 팬&틸트(Remote Pan&Tilting) 장치 기반 방법으로 나누어져 있다.Let's first look at examples of how eye tracking is used. The gaze tracking method is divided into Skin Electrodes based method, Contact Lens based method, Head Mounted Display attachment based method, and Remote Pan & Tilting device based method. have.

상기 스킨 전극 기반 방법은 사용자 눈 주변에 전극(electrode)을 부착하여 망막(retina)과 각막(cornea) 사이의 전위차를 측정하고, 측정된 전위차를 통해 응시 위치를 계산하는 방법이다. 상기 스킨 전극 기반 방법은 양 눈의 응시위치를 모두 파악할 수 있으며, 가격이 저렴하며 사용 방법이 간편하다는 장점이 있다. 하지만, 스킨 전극 기반 방법은 가로세로 방향의 움직임이 제한적이어서 정확성이 떨어진다. The skin electrode-based method is a method of measuring an electric potential difference between a retina and a cornea by attaching an electrode around a user's eye, and calculating a gaze position based on the measured electric potential difference. The skin electrode-based method can grasp the gaze position of both eyes, has the advantage of low cost and easy to use. However, the skin electrode based method is less accurate because the movement in the horizontal and vertical direction is limited.

상기 콘텍트 렌즈 기반 방법은 각막에 미끄러지지 않는 렌즈를 부착하고 이곳에 자기장 코일이나 거울을 부착하여 응시위치를 계산하는 방법이다. 상기 콘텍트 렌즈 기반 방법은 정확히 응시위치를 계산할 수 있다. 하지만, 사용이 불편하고 눈의 깜박거림이 자유롭지 못하며, 계산이 가능한 범위가 제한되어 있다.The contact lens-based method is a method of calculating a gaze position by attaching a non-slip lens to the cornea and attaching a magnetic field coil or mirror to the cornea. The contact lens based method can accurately calculate the gaze position. However, it is inconvenient to use, the blinking of the eye is not free, and the calculation range is limited.

상기 두부 장착형 디스플레이 부착 기반 방법은 헤드밴드 또는 헬멧 밑에 장착된 작은 카메라를 이용하여 응시위치를 계산한다. 두부 장착형 디스플레이 부착 기반 방법은 사용자의 머리 움직임에 관계없이 응시위치를 계산할 수 있다. 그러나, 카메라가 사용자 눈높이보다 아래에 기울어져 있어 눈의 상하 움직임에 민감하지 못하여, 두부 장착형 디스플레이에만 적용된다. The head mounted display attachment based method calculates the gaze position using a small camera mounted under the headband or helmet. The head mounted display attachment based method can calculate the gaze position regardless of the user's head movement. However, because the camera is tilted below the user's eye level, the camera is not sensitive to the vertical movement of the eye, so it is applied only to the head mounted display.

원격 팬&틸트 장치 기반 방법은 모니터 주변에 팬&틸트가 되는 카메라와 조명을 장치하여 응시위치를 계산하는 방법이다. 원격 팬&틸트 장치 기반 방법은 응시위치 계산이 정확하고 빠르며, 그 적용이 쉬운 장점을 가지나, 머리의 움직임을 추적하기 위해 2대 이상의 고가 스테레오 카메라 장치와 복잡한 알고리즘을 요구하며, 추가로 카메라와 모니터간의 복잡한 캘리브레이션을 요구한다. 그러면 여기서, 도 1을 참조하여 본 발명의 실시 예에 따른 시선 추적 장치의 내부구조를 보다 구체적으로 설명하기로 한다.The remote pan & tilt device-based method calculates the gaze position by installing a pan & tilt camera and light around the monitor. Remote pan-and-tilt device-based methods have the advantages of accurate and fast gaze position calculations and ease of application, but require more than two expensive stereo camera devices and complex algorithms to track head movements. Requires complex calibration of the liver. Next, the internal structure of the eye tracking apparatus according to the exemplary embodiment of the present invention will be described in more detail with reference to FIG. 1.

도 1은 본 발명의 실시 예에 따른 시선 추적 장치의 구조를 개략적으로 도시한 도면이다.1 is a view schematically showing the structure of a gaze tracking device according to an exemplary embodiment of the present invention.

상기 시선 추적 장치는 다양한 형태의 동영상 재생기, 예컨대 IPTV(Internet Protocol Television) 시스템, TV, 컴퓨터, 게임기 등과 같은 다양한 응용 분야에 적용될 수 있다. 그러면 이하에서는, 설명의 편의를 위해서 IPTV 시스템을 예를 들어 설명하기로 한다.The eye tracking apparatus may be applied to various application fields such as a video player of various types, for example, an Internet Protocol Television (IPTV) system, a TV, a computer, a game machine, and the like. Next, an IPTV system will be described as an example for convenience of explanation.

삭제delete

여기서, 사용자는 눈 영상을 촬영하기 위한 영상촬영기기가 장착된 안경을 착용하고 두 개의 적외선 LED를 포함하는 모니터를 응시하고 있으며, 사용자의 얼굴 움직임을 검출하기 위하여 소정의 시간 간격으로 사용자의 눈 영상을 촬영하여 IPTV 시스템으로 유선 또는 무선, 예컨대 블루투스, 적외선 등으로 전송한다고 가정하여 설명하기로 한다. Here, the user wears glasses equipped with an image photographing device for capturing an eye image, stares at a monitor including two infrared LEDs, and the eye image of the user at predetermined time intervals to detect a user's face movement. It will be described on the assumption that photographing and transmitting to the IPTV system by wire or wireless, such as Bluetooth, infrared.

또한, 상기 눈 영상 촬영용 영상촬영기기는 카메라뿐만 아니라 영상을 촬영할 수 있는 다른 기기를 포함하고, 여기서는 설명의 편의를 위해서 카메라로 칭하여 설명하기로 한다. 상기 카메라는 안경, 보안경 헬맷형 기기, 또는 기타 고정할 수 있는 지지대 등에 부착되어 사용자 눈 영상을 촬영한다. 그리고, 상기 촬영된 눈 영상에 포함된 조명 반사광을 조명하는 장치는 상기 적외선 LED 뿐만 아니라 할로겐(Halogen), 크세논 램프(Xenon Lamp), 백열등 등으로 구성되어 사용자 눈에 적외선을 조명하는 기능을 수행한다. In addition, the image capturing apparatus for eye image capturing includes not only a camera but also other apparatuses capable of capturing images, which will be described as a camera for convenience of description. The camera is attached to glasses, goggles helmet-type device, or other support that can be fixed to take an image of the user's eyes. In addition, the device for illuminating the light reflected light included in the photographed eye image is composed of a halogen (Halogen), xenon lamp (incandescent lamp), incandescent lamp, etc. as well as the infrared LED to perform the function of illuminating the infrared light to the user's eyes. .

도 1을 참조하면, 상기 시선 추적 장치는 수신부(101), 검출부(102), 계산부(103), 및 제어부(104)를 포함한다. 상기 계산부(103)는 얼굴 움직임 계산부(113)와 시선위치 계산부(123)를 포함한다. 상기 수신부(101)는 카메라로부터 촬영된 눈 영상을 소정의 시간 간격으로 수신한다. Referring to FIG. 1, the eye tracking apparatus includes a receiver 101, a detector 102, a calculator 103, and a controller 104. The calculator 103 includes a face motion calculator 113 and a gaze position calculator 123. The receiver 101 receives an eye image photographed from a camera at predetermined time intervals.

상기 눈 영상에는 적외선 LED(Light Emitteng Diode)로부터 조명된 조명 반사광을 포함한다. 그러면 여기서, 도 2 및 도 3을 참조하여 상기 카메라와 적외선 LED의 구조를 보다 구체적으로 설명하기로 한다. The eye image includes illumination reflected light illuminated from an infrared light emitting diode (LED). Next, the structure of the camera and the infrared LED will be described in more detail with reference to FIGS. 2 and 3.

도 2은 본 발명의 실시 예에 따른 눈 영상 취득용 카메라(201)가 장착된 안경의 예시도이고, 도 3는 본 발명의 실시 예에 따른 상기 적외선 LED(301, 302)가 장착된 모니터의 예시도이다.2 is an exemplary view of glasses equipped with an eye image acquisition camera 201 according to an embodiment of the present invention, Figure 3 is a monitor of the infrared LED (301, 302) is mounted according to an embodiment of the present invention It is an illustration.

도 2 및 도 3을 참조하면, 사용자는 도 2와 같은 눈 영상 취득용 카메라(201)가 장착된 안경을 착용하고 도 3과 같은 적외선 LED(301, 302)를 장착한 모니터를 응시한다. 상기 눈 영상 취득용 카메라(201)는 사용자의 오른쪽 눈 하단에 설치되어 눈 영상을 촬영한다. 2 and 3, a user wears glasses equipped with an eye image acquisition camera 201 as shown in FIG. 2 and stares at a monitor equipped with infrared LEDs 301 and 302 as shown in FIG. 3. The eye image acquisition camera 201 is installed at a lower right eye of the user to take an eye image.

이때, 도 3의 모니터에 장착된 적외선 LED(301, 302)는 사용자의 눈에 적외선을 조명함으로써, 얼굴 움직임 보정 및 동공과 홍채의 경계가 구분된 눈 영상을 촬영할 수 있다. 그리고, 카메라의 렌즈에 부착된 적외선 차단 필터를 제거하고 적외선 투과, 예컨대 가시광산 차단 필터를 부착하여 적외선에 의해 조사된 물체만을 영상으로 취득할 수 있도록 한다. In this case, the infrared LEDs 301 and 302 mounted on the monitor of FIG. 3 may illuminate infrared rays in a user's eyes, thereby capturing facial motion and capturing an eye image in which a boundary between a pupil and an iris is divided. Then, the infrared cut filter attached to the lens of the camera is removed, and infrared transmission, for example, a visible light cut filter is attached so that only an object irradiated by infrared light can be acquired as an image.

또한 카메라의 렌즈 대신 고배울 렌즈를 부착하여 사용자의 시야를 가리지 않는 범위에서 시선 추적에 적합한 크기의 동공을 포함한 눈 영상을 취득할 수 있도록 한다. 여기서, 상기 눈 영상 취득용 카메라는 안경, 보안경 헬맷형 기기, 또는 기타 고정할 수 있는 지지대 등에 부착되어 사용자 눈 영상을 촬영한다. In addition, by attaching a high-learning lens instead of the lens of the camera, it is possible to obtain an eye image including a pupil of a size suitable for eye tracking within a range of the user's field of view. Here, the eye image acquisition camera is attached to glasses, goggles helmet-type device, or other support that can be fixed to capture the user's eye image.

그리고, 상기 촬영된 눈 영상에 포함된 조명 반사광을 조명하는 장치는 상기 적외선 LED 뿐만 아니라 할로겐(Halogen), 크세논 램프(Xenon Lamp), 백열등 등으로 구성되어 사용자 눈에 적외선을 조명하는 기능을 수행한다. In addition, the device for illuminating the light reflected light included in the photographed eye image is composed of a halogen (Halogen), xenon lamp (incandescent lamp), incandescent lamp, etc. as well as the infrared LED performs a function to illuminate the infrared light to the user's eyes. .

여기서, 적외선 조명은 사용자의 얼굴이 움직임에 따라 발생하는 시선 위치 오차를 보정해주기 위해서 사용되며, 화면상에 2개 이상의 적외선 조명을 설치하여 사용자의 얼굴 움직임에 따른 오차를 계산할 수 있다.Here, the infrared light is used to correct the gaze position error generated by the movement of the user's face, it is possible to calculate the error according to the movement of the user's face by installing two or more infrared lights on the screen.

상기 눈 영상에 포함된 동공의 모양은 원의 형태로 단순화 하기에는 불규칙적인 모양을 가지고 있으며, 카메라 위치를 중심으로 동공의 위치에 따라 타원의 형태로 관찰될 수 있다. 또한 조명의 반사광이 동공의 경계에 위치할 때에는 동공의 중심 위치가 정확하게 추출될 수 없다. 그러면 여기서, 도 4를 참조하여 상기 검출부(102)가 상기 수신부(101)로부터 수신한 눈 영상에서 동공 위치를 결정하는 과정을 보다 구체적으로 설명하기로 한다.The shape of the pupil included in the eye image has an irregular shape in order to simplify the shape of a circle, and can be observed in the form of an ellipse according to the position of the pupil around the camera position. In addition, when the reflected light of the illumination is located at the boundary of the pupil, the center position of the pupil cannot be accurately extracted. Next, the process of determining the pupil position in the eye image received by the detector 102 from the receiver 101 will be described in more detail with reference to FIG. 4.

도 4는 본 발명의 실시 예에 따른 시선 추적 장치의 검출부(102)가 원형 검출 방법을 이용하여 초기 동공 위치를 추출하고, 이진화 과정, 라벨링 과정, 모폴로지 과정을 거쳐 최종 동공 위치를 추출하는 과정을 도시한 도면이다.4 is a process of detecting the initial pupil position by the detection unit 102 of the eye tracking apparatus according to an embodiment of the present invention using a circular detection method, and extracts the final pupil position through a binarization process, a labeling process, and a morphology process. Figure is shown.

도 4를 참조하면, 상기 검출부(102)는 원형 검출 방법을 이용하여 내부원(401a)과 외부원(401b)으로 구성되는 원형 검출 템플릿을 동공 영역(401c)으로 이동시킨다(401). 그리고, 원형 검출 템플릿의 내부원(402a)과 외부원(401b)의 그레이 레벨 차의 합이 가장 큰 부분을 검출하여 동공 영역(402)을 결정한다. 즉, 상기 원형 검출 템플릿의 내부원과 외부원의 반지름 및 원의 중심 위치를 변경해가면서 중심 위치 기준 내부원 둘레의 샘플위치와 외부원 둘레의 샘플위치에서의 그레이 레벨의 차를 구하고, 모든 샘플위치에서의 그레이 레벨 차를 합하여, 그레이 레벨 차의 합이 가장 클 때의 중심 위치 및 반지름을 1차 동공 중심 및 반지름으로 결정한다.Referring to FIG. 4, the detector 102 moves the circular detection template including the inner circle 401a and the outer circle 401b to the pupil area 401c by using a circular detection method (401). The pupil area 402 is determined by detecting a portion where the sum of the gray level differences between the inner circle 402a and the outer circle 401b of the circular detection template is the largest. That is, while changing the radius of the inner circle and the outer circle of the circular detection template and the center position of the circle, the difference between the gray level at the sample position around the center circle based on the center position and the sample position around the outer circle is obtained, and all the sample positions are obtained. By summing the gray level differences in, the center position and radius when the sum of gray level differences is largest is determined as the primary pupil center and radius.

그런 다음, 상기 검출부(102)는 상기 동공 영역을 중심으로 지역 이진화(403)를 수행한다. 여기서, 이진화 방법은 영상 내에 원하는 객체의 정보, 예컨대 위치, 크기, 모양 등을 얻기 위해서 영상의 픽셀 값을 0 또는 255로 만드는 방법이다. Then, the detector 102 performs local binarization 403 around the pupil area. Here, the binarization method is a method of making a pixel value of an image 0 or 255 in order to obtain information of a desired object, such as a position, a size, and a shape, in an image.

이진화 방법은 전역적 이진화 방법과 지역적 이진화 방법으로 나누어진다. 전역적 이진화 방법은 영상 전체 픽셀에 대하여 하나의 임계값을 사용하여 이진화를 수행하는 방법이다. 지역적 이진화 방법은 영상을 여러 개의 구역으로 분할하여 각 구역마다 다른 임계값을 사용하여 이진화를 수행하는 방법이다.Binarization is divided into global binarization and local binarization. The global binarization method is a method of performing binarization using one threshold for all pixels of an image. The local binarization method divides an image into several zones and performs binarization using different threshold values for each zone.

상기 검출부(102)는 상기 동공 영역을 중심으로 미리 결정된 거리만큼 이격된 정사각형 모양(403a)의 구역을 형성하고, 구역에 포함되는 영상의 픽셀을 255, 예컨대 검은색(403)으로 만든다. 그리고, 상기 검출부(102)는 이진화된 영역 중 어두운 영역의 무게중심을 구하기 위하여 모폴로지 연산을 수행(404)한다.The detector 102 forms an area of a square shape 403a spaced apart by a predetermined distance from the pupil area, and makes a pixel of an image included in the area 255, for example, a black color 403. The detector 102 performs a morphology operation 404 to obtain the center of gravity of the dark region of the binarized region.

이와 같이 상기 검출부(102)는, 동공의 중심점을 정확하게 획득하기 위하여 원형검출 알고리즘과 더불어 지역적 이진화(403)를 수행하고, 이진화된 영역 중 어두운 영역의 무게중심을 구하기 위하여 모폴로지 연산을 수행(404)하고, 이진화된 영역 중 어두운 부분을 동공 영역으로 판단하여 어두운 영역에 대한 무게중심(405)을 사용자 동공의 실질적인 중심점(406)으로 판단할 수 있다.As described above, the detection unit 102 performs a local binarization 403 together with a circular detection algorithm to accurately obtain the center point of the pupil, and performs a morphology calculation to obtain the center of gravity of the dark area among the binarized areas (404). In addition, the dark part of the binarized area may be determined as the pupil area, so that the center of gravity 405 of the dark area may be determined as the substantial center point 406 of the user pupil.

상기 검출부(102)는 상기 동공 중심점을 이용하여 조명 반사광 좌표와 동공 중심 좌표를 검출한다. 그리고, 상기 검출부(102)는 상기 검출된 조명 반사광 좌표를 얼굴 움직임 계산부(113)로 전송하고, 상기 검출된 동공 중심 좌표를 시선위치 계산부(123)로 전송한다.The detector 102 detects an illumination reflection light coordinate and a pupil center coordinate by using the pupil center point. The detector 102 transmits the detected illumination reflected light coordinates to the face motion calculator 113, and transmits the detected pupil center coordinates to the gaze position calculator 123.

상기 얼굴 움직임 계산부(113)는 상기 검출부(102)로부터 조명 반사광 좌표를 수신하고, 상기 수신한 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산한다. 여기서, 소정의 시간 간격으로 수신된 눈 영상의 조명 반사광을 이용하여 계산된 조명 반사광 사이의 거리들을 이용하여 상기 검출된 동공 중심 좌표를 보정할 수 있다.The face motion calculator 113 receives the illumination reflection light coordinates from the detection unit 102 and calculates the distance between the illumination reflection light using the received coordinates of the illumination reflection light. Here, the detected pupil center coordinates may be corrected by using distances between the illumination reflection lights calculated using the illumination reflection light of the eye image received at predetermined time intervals.

사용자가 IPTV, 컴퓨터, 게임기 등과 같은 동영상 재생기를 이용할 시, 고정된 위치에서만 상기 동영상 재생기를 응시하지 않으므로, 상기 얼굴 움직임 계산부(113)는 소정의 시간 간격으로 눈 영상을 수신하고, 눈 영상의 조명 반사광을 이용하여 계산된 조명 반사광 사이의 거리들을 이용하여 상기 검출된 동공 중심 좌표를 보정한다.When the user uses a video player such as an IPTV, a computer, or a game machine, the face motion calculator 113 receives an eye image at predetermined time intervals and does not stare at the fixed position. The detected pupil center coordinates are corrected using the distances between the illumination reflections calculated using the illumination reflections.

보다 구체적으로, 상기 얼굴 움직임 계산부(113)는 사용자의 동공에 형성된 조명의 거리가 멀어지면 사용자의 얼굴이 화면과 가까워지고, 사용자의 동공에 형성된 조명의 거리가 좁아지면 사용자의 얼굴이 화면과 멀어진다는 것을 이용하여 최초에 구한 시선 위치에 일정한 가중치와 조명 반사광 사이의 거리를 곱하여 상기 검출된 동공 중심 좌표를 보정한다. More specifically, the face motion calculating unit 113 is closer to the screen of the user when the distance of the illumination formed in the user's pupil is closer to the screen, and when the distance of the illumination formed in the user's pupil is narrower the user's face and the screen The distance from the first gaze position obtained by using the distance is multiplied by a distance between the constant weight and the reflected light to correct the detected pupil center coordinates.

그러면 여기서, 상기 얼굴 움직임 계산부(113)가 하기 <수학식1>을 이용하여 조명 반사광 거리에 따라 사용자의 얼굴 움직임 보정 값을 계산하는 과정을 보다 구체적으로 설명하기로 한다.
Then, the process of calculating the face motion correction value of the user according to the illumination reflection light distance using the following Equation 1 will be described in more detail.

Figure 112010018443218-pat00001
Figure 112010018443218-pat00001

상기 <수학식 1>을 참조하면, X와 Y는 각각 X축, Y축을 나타내며 wx는 동공이 X축으로 이동된 가중치를 나타내고, wy는 동공이 X축으로 이동된 가중치를 나타낸다. 그리고, gx 및gy는 각각 동공의 실제 응시위치를 X축, Y축으로 나타낸 것이다. 그리고,

Figure 112010018443218-pat00002
는 조명 반사광 사이의 길이를 나타낸다. 그리면 여기서, 도 5 및 도 6를 참조하여, 상기 조명 반사광 및 조명 반사광 사이의 길이를 설명하기로 한다.Referring to Equation 1, X and Y represent X and Y axes, w x represents a weight of the pupil moved to the X axis, and w y represents a weight of the pupil moved to the X axis. And g x And g y represent the actual gaze positions of the pupils on the X and Y axes, respectively. And,
Figure 112010018443218-pat00002
Represents the length between the illumination reflected light. 5 and 6, the length between the illumination reflection light and the illumination reflection light will be described.

도 5는 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상을 도시한 도면이고, 도 6은 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상에 포함된 조명 반사광 사이의 길이를 도시한 도면이다. 5 is a view illustrating an eye image received by the receiver 101 of the gaze tracking device according to an exemplary embodiment of the present invention, and FIG. 6 is a view of the receiver 101 of the gaze tracking apparatus according to an exemplary embodiment of the present invention. FIG. 7 illustrates the lengths between the reflected light and the light included in the eye image.

도 5 및 도 6을 참조하면, 상기 수신부(101)는 카메라로부터 촬영된 도 5와 같은 눈 영상을 수신하고, 상기 도 5의 눈 영상은 적외선 LED(Light Emitteng Diode)로부터 조명된 조명 반사광(501, 502)을 포함한 눈 영상을 포함한다. 상기 검출부(102)는 상기 눈 영상에서 최종 동공 위치를 검색하고, 상기 최종 동공 위치를 이용하여 조명 반사광 좌표와 동공 중심 좌표를 검출한다. 5 and 6, the receiver 101 receives an eye image of FIG. 5 taken from a camera, and the eye image of FIG. 5 is an illumination reflection light 501 illuminated from an infrared light emitting diode (LED). , 502), including eye images. The detector 102 searches for the final pupil position in the eye image, and detects the illumination reflected light coordinates and the pupil center coordinates using the final pupil position.

그리고, 상기 얼굴 움직임 계산부(113)는 상기 조명 반사광(501, 502) 좌표를 이용하여 조명 반사광 사이의 거리(503), 예컨대

Figure 112010018443218-pat00003
를 계산하고, 상기 조명 반사광 거리에 따라 사용자의 얼굴 움직임 보정 값을 계산한다.In addition, the face motion calculator 113 uses the coordinates of the illumination reflection light 501 and 502 to determine the distance 503 between the illumination reflection light, for example.
Figure 112010018443218-pat00003
Calculate the user's face motion correction value according to the illumination reflection light distance.

그리고 얼굴 움직임 계산부(113)는 상기 계산한 얼굴 움직임 보정 값을 상기 시선위치 계산부(123)로 전송한다. 상기 시선위치 계산부(123)는 상기 얼굴 움직임 계산부(113)로부터 수신한 얼굴 움직임 보정 값과 상기 검출부(102)로부터 수신한 동공 중심 좌표를 이용하여 사용자의 관심 시선 위치 좌표를 계산한다. The face motion calculator 113 transmits the calculated face motion correction value to the gaze position calculator 123. The gaze position calculator 123 calculates an eye gaze position coordinate of the user by using the face motion correction value received from the face motion calculator 113 and the pupil center coordinates received from the detector 102.

즉, 상기 시선위치 계산부(123)는 화면의 네 점을 응시하는 사용자 캘리브레이션 과정을 통해 동공의 이동영역을 정의하고 동공의 이동영역과 화면 좌표계간의 관계를 기하학적 변환(Geometric Transform)을 사용하여 동공 위치에 따른 시선 위치를 계산한다. That is, the gaze position calculator 123 defines a moving area of the pupil through a user calibration process that gazes at four points on the screen, and uses the geometric transform to determine the relationship between the moving area of the pupil and the screen coordinate system. Calculate the line of sight based on your location.

상기 변환함수는, 선형 보간, 기하학적 또는 복비 변환함수 중 적어도 하나이다. 그러면 여기서, 도 7을 참조하여 본 발명의 실시 예에 따른 캘리브레이션 수행을 위한 기하학적 변환 방법을 보다 구체적으로 설명하기로 한다.The transform function is at least one of linear interpolation, geometric or complex ratio transform function. Next, the geometric transformation method for performing calibration according to an embodiment of the present invention will be described in more detail with reference to FIG. 7.

도 7은 본 발명의 실시 예에 따른 캘리브레이션 수행을 위한 기하학적 변환 방법을 도시한 도면이다. 7 is a diagram illustrating a geometric transformation method for performing calibration according to an embodiment of the present invention.

도 7을 참조하면, 상기 검출부(102)가 눈 영상 취득용 카메라가 장착된 안경을 착용한 사용자가 도 3의 모니터의 좌측 상단, 우측 상단, 우측 하단, 좌측 하단을 각각 응시할 경우의 눈 영상을 순차적으로 수신하고, 상기 검출부(102)가 도 4의 과정을 거쳐 동공 중심 좌표를 계산한 후, 시선위치 계산부(123)는 하기 <수학식 2>의 기하학적 변환함수를 이용하여 각 상기 검출부(102)에서 검출된 동공 중심 좌표에 대응되는 실제 평면(S2)의 좌표를 계산할 수 있다.Referring to FIG. 7, the detection unit 102 shows an eye image when a user wearing glasses equipped with an eye image acquisition camera stares at the upper left, upper right, lower right and lower left portions of the monitor of FIG. 3. After receiving sequentially, the detector 102 calculates the pupil center coordinates through the process of FIG. 4, the gaze position calculator 123 uses the geometric transformation function of Equation 2 below. The coordinates of the actual plane S 2 corresponding to the pupil center coordinates detected at 102 may be calculated.

먼저, 상기 시선위치 계산부(123)는 눈 영상 취득용 카메라가 장착된 안경을 착용한 사용자가 도 3의 모니터의 좌측 상단, 우측 상단, 우측 하단, 좌측 하단을 각각 응시 할 경우의 동공 중심 좌표를 이용하여 사용자 동공의 이동 영역(S1)을 정의한다. First, the gaze position calculation unit 123 is a coordinate of the pupil center when a user wearing glasses equipped with an eye image acquisition camera gazes at the upper left, upper right, lower right and lower left of the monitor of FIG. 3, respectively. Define the moving region (S 1 ) of the user pupil using.

상기 사용자 동공의 이동 영역(S1)의 좌표는 좌측상단 좌표(X1, Y1), 우측상단 좌표(X2, Y2), 좌측하단 좌표(X4, Y4), 우측하단 좌표(X3, Y3)를 포함한다. 상기 시선위치 계산부(123)는 상기 사용자 동공의 이동 영역(S1)의 좌표와 기하학적 변환함수를 이용하여 각 동공의 이동 영역(S1)의 좌표에 대응되는 실제 평면(S2)의 좌표, 예컨대 좌측상단 좌표(X1, Y1)', 우측상단 좌표(X2, Y2)', 좌측하단 좌표(X4, Y4)', 우측하단 좌표(X3, Y3)'를 산출한다. The coordinates of the movement area S 1 of the user pupil are upper left coordinates (X 1 , Y 1 ), upper right coordinates (X 2 , Y 2 ), lower left coordinates (X 4 , Y 4 ), and lower right coordinates ( X 3 , Y 3 ). The gaze position calculator 123 uses coordinates of the movement area S 1 of the user pupil and coordinates of an actual plane S 2 corresponding to the coordinates of the movement area S 1 of each pupil. For example, the upper left coordinates (X 1 , Y 1 ) ', the upper right coordinates (X 2 , Y 2 )', the lower left coordinates (X 4 , Y 4 ) ', and the lower right coordinates (X 3 , Y 3 )' Calculate.

여기서, 평면(S2)의 좌표는 상기 사용자가 응시하는 모니터의 좌표를 나타낸다. 그러면 여기서, <수학식 2>를 참조하여 눈 영상 취득용 카메라가 장착된 안경을 착용한 사용자가 도 3의 모니터의 임의의 위치를 응시할 때, 사용자 동공 중심에 대응되는 모니터 평면 위치를 산출하는 과정을 보다 구체적으로 설명하기로 한다.
Here, the coordinates of the plane S 2 represent the coordinates of the monitor stared by the user. Then, when a user wearing glasses equipped with an eye image acquisition camera stares at an arbitrary position of the monitor of FIG. 3, referring to Equation 2, a process of calculating a monitor plane position corresponding to the center of the pupil of the user is calculated. It will be described in more detail.

Figure 112010018443218-pat00004
Figure 112010018443218-pat00004

상기 <수학식 2>를 참조하면, S1은 동공의 이동 영역(S1)의 좌표를 행렬로 표시한 것이며, S2는 실제 평면(S2)의 좌표를 행렬로 표시한 것이다. T는 기하학적 변환함수를 행렬로 표시한 것이다. 상기 시선위치 계산부(123)는 동공의 이동 영역(S1)의 좌표의 행렬과 기하학적 변환함수 행렬을 연산하여 각 동공의 이동 영역의 좌표에 대응되는 실제 평면(S2)의 좌표를 산출한다. 그리고 상기 시선위치 계산부(123)는 하기 <수학식 3>을 이용하여 사용자의 실제 응시위치를 계산한다.
Referring to the <Equation 2>, S 1 will display the coordinates of the moving region (S 1) of the pupil in a matrix, S 2 will display the coordinates of the actual plane (S 2) to the matrix. T is a matrix of geometric transformation functions. The gaze position calculating unit 123 calculates the coordinates of the actual plane (S 2) corresponding to the coordinates of the moving region of each pupil by calculating the matrix and geometric transformation function matrix of the coordinates of the moving region (S 1) of the pupil . The gaze position calculator 123 calculates the actual gaze position of the user by using Equation 3 below.

Figure 112010018443218-pat00005
Figure 112010018443218-pat00005

상기 <수학식 3>을 참조하면, G는 사용자의 실제 응시위치를 나타낸 행렬이고, W는 사용자가 응시하는 순간 추출된 동공의 위치를 나타낸 행렬이다. 또한, T는 기하학적 변환함수를 행렬로 표시한 것이다.Referring to Equation 3, G is a matrix representing the actual gaze position of the user, and W is a matrix representing the location of the pupil extracted when the user gazes. T is a matrix of geometric transformation functions.

즉, 상기 시선위치 계산부(123)는 상기 <수학식 2>를 이용하여 사용자가 모니터의 임의의 위치를 응시할 때, 사용자 동공 중심에 대응되는 모니터 평면 위치를 계산하고, <수학식 3>을 이용하여 사용자의 실제 응시위치, 예컨대 사용자의 관심 시선 위치를 계산한다. That is, the gaze position calculation unit 123 calculates the monitor plane position corresponding to the center of the user pupil when the user gazes at an arbitrary position of the monitor using Equation 2, and calculates Equation 3 below. To calculate the actual gaze position of the user, eg, the gaze position of the user.

그리고, 상기 시선위치 계산부(123)는 상기 얼굴 움직임 계산부(113)로부터 수신한 얼굴 움직임 보정 값을 이용하여 상기 사용자의 최종 관심 시선 위치를 계산한다. 상기 계산된 최종 관심 시선 위치는 제어부(104)로 유선 또는 무선으로 전송된다.The gaze position calculator 123 calculates the gaze position of the user's final interest using the face motion correction value received from the face motion calculator 113. The calculated final gaze position of interest is transmitted to the controller 104 by wire or wirelessly.

상기 제어부(104)는 소정의 시간 간격으로 상기 계산부(103)로부터 사용자의 최종 관심 시선 위치를 수신한다. 상기 제어부(104)는 도 1에는 도시되어 있지 않지만 타이머를 포함할 수 있다. 상기 제어부(104)는 타이머를 이용하여 소정의 시간 동안 상기 계산부(103)로부터 수신한 사용자의 최종 관심 시선 위치가 일정하다고 판단되면, 사용자의 최종 관심 시선 위치에 존재하는 메뉴 등을 활성화한다. The controller 104 receives a user's final gaze position from the calculator 103 at predetermined time intervals. Although not illustrated in FIG. 1, the controller 104 may include a timer. If it is determined that the user's final gaze position received from the calculator 103 is constant for a predetermined time using a timer, the controller 104 activates a menu or the like that exists at the user's last gaze position.

상기와 같이 본 발명의 실시 예에 따른 시선 추적 장치를 IPTV 시스템에 적용함으로써, 손을 사용하지 못하는 장애인도 리모컨 등의 장치의 조작 없이 IPTV 시스템에서 제공되는 기능을 제어할 수 있다. 또한, IPTV 시스템을 통해서 양방향 화상회의, 실시가 문건 구매 등의 기능을 실행하는 버튼 및 다이얼을 리모컨에 포함시키지 않고도 사용자에게 해당 서비스를 서비스를 제공할 수 있다. By applying the gaze tracking device according to the embodiment of the present invention to the IPTV system as described above, even a disabled person who cannot use his or her hand can control a function provided by the IPTV system without the operation of a device such as a remote controller. In addition, an IPTV system can provide a service to a user without including a button and a dial for executing a function such as two-way video conferencing, purchase of a document, and the like on the remote controller.

또한, 상기 시선 추적 장치를 컴퓨터에 적용함으로써, 키보드, 마우스 등의 조작 없이 사용자가 요구하는 소프트웨어 등을 실행시킬 수 있다. 상기 시선 추적 장치를 게임기 등에 적용함으로써, 조이스틱의 조작 없이 사용자의 시선을 추적하여 게임을 실행 및 정지할 수 있다.In addition, by applying the gaze tracking device to a computer, it is possible to execute the software required by the user without the operation of the keyboard, mouse and the like. By applying the gaze tracking device to a game machine or the like, the gaze of the user can be tracked without manipulating the joystick to start and stop the game.

삭제delete

도 8은 본 발명의 실시 예에 따른 시선 추적 시스템의 시뮬레이션 화면을 도시한 도면이다. 그러면 여기서, 도 9를 참조하여 본 발명의 실시 예에 따른 시선 추적 과정을 보다 구체적으로 설명하기로 한다.8 is a diagram illustrating a simulation screen of a gaze tracking system according to an exemplary embodiment of the present invention. Next, the eye tracking process according to the exemplary embodiment of the present invention will be described in more detail with reference to FIG. 9.

삭제delete

도 9는 본 발명의 실시 예에 따른 시선 추적 과정을 개략적으로 도시한 도면이다. 9 is a diagram schematically illustrating a gaze tracking process according to an exemplary embodiment of the present invention.

도 9를 참조하면, 상기 시선 추적 장치는 900단계에서 카메라로부터 촬영된 눈 영상을 수신하고, 상기 눈 영상에 포함된 조명 반사광을 이용하여 동공 위치를 검출한다. 상기 시선 추적 장치는 901단계에서 상기 900단계에서 검출된 동공 위치를 이용하여 조명 반사광 위치와 동공 중심 좌표를 검출한다.Referring to FIG. 9, in operation 900, the eye tracking apparatus receives an eye image photographed from a camera, and detects a pupil position using an illumination reflection light included in the eye image. The gaze tracking device detects an illumination reflection light position and a pupil center coordinate by using the pupil position detected in operation 900 in operation 901.

보다 구체적으로, 상기 시선 추적 장치는 901단계에서 원형 검출 방법을 이용하여 초기 동공 위치를 추출하고, 초기 동공 위치를 기반으로 이진화 과정, 라벨링 과정, 모폴로지 과정을 거쳐 최종 동공 위치를 추출한다. 그리고, 상기 최종 동공 위치를 이용하여 조명 반사광 좌표와 동공 중심 좌표를 검출한다.More specifically, the eye tracking apparatus extracts an initial pupil position using a circular detection method in step 901 and extracts a final pupil position through a binarization process, a labeling process, and a morphology process based on the initial pupil position. Then, the illumination reflected light coordinates and the pupil center coordinates are detected using the final pupil position.

다음으로, 상기 시선 추적 장치는 902단계에서 상기 조명 반사광을 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 계산된 조명 반사광 사이의 거리를 이용하여 사용자의 얼굴 움직임 보정 값을 계산한다. 그리고, 상기 시선 추적 장치는 903단계에서 상기 검출된 동공 중심 좌표와 상기 보정된 사용자의 얼굴 움직임 보정 값을 이용하여 사용자의 최종 관심 시선 위치 좌표를 계산한다.In operation 902, the gaze tracking device calculates a distance between the illumination reflection light using the illumination reflection light, and calculates a face motion correction value of the user using the calculated distance between the illumination reflection light. In operation 903, the gaze tracking device calculates a final gaze position coordinate of the user using the detected pupil center coordinates and the corrected face motion correction value of the user.

그런 다음, 상기 시선 추적 장치는 904단계에서 상기 사용자의 최종 관심 시선 위치 좌표를 시스템으로 전송하고, 사용자가 일정시간 같은 곳을 응시할 경우 메뉴를 활성화한다.In operation 904, the gaze tracking device transmits the coordinates of the final gaze position of the user to the system, and activates a menu when the user gazes at a certain place.

한편, 본 발명의 상세한 설명에서는 IPTV 시스템, 컴퓨터, 게임기 등의 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
Meanwhile, in the detailed description of the present invention, specific embodiments of an IPTV system, a computer, a game machine, etc. have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the scope of the following claims, but also by the equivalents of the claims.

삭제delete

101: 수신부
102: 검출부
103: 계산부
104: 제어부
201: 눈 영상 촬영용 카메라
301 및 302 : 적외선 LED
101: receiver
102: detector
103: calculation unit
104: control unit
201: Camera for snow video shooting
301 and 302: Infrared LEDs

Claims (15)

시선 위치 추적 장치에 있어서,
카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 수신부;
상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공의 중심 위치를 검출하고, 상기 검출된 동공의 중심 위치를 이용하여 조명 반사광의 좌표와 동공의 중심 좌표를 검출하는 검출부;
상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 검출된 동공의 중심 좌표에 상기 동공의 이동에 따른 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 제 1 계산부; 및
상기 보정된 동공의 중심 좌표를 이용하여 사용자 캘리브레이션에 따라 상기 동공의 이동영역 좌표를 정의하고, 상기 동공의 이동영역 좌표와 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 제 2 계산부를 포함함을 특징으로 하는 시선 추적 장치.
In the eye position tracking device,
A receiver configured to receive an eye image of a user including illumination reflected light captured by a camera;
A detector for detecting a center position of the pupil from the received eye image by using a predetermined method and detecting a coordinate of the illumination reflection light and a center coordinate of the pupil using the detected center position of the pupil;
The distance between the illumination reflection light is calculated using the detected coordinates of the illumination reflection light, and the center coordinates of the pupil is applied by applying the weight between the movement of the pupil and the distance between the illumination reflection light to the detected center coordinates of the pupil. A first calculating unit to correct; And
Define the pupil's movement area coordinates according to user calibration using the corrected pupil's center coordinates, and calculate the gaze position of the user using the relationship between the pupil's movement area coordinates and the coordinate system between the monitor stared by the user. Eye tracking device comprising a second calculation unit.
제 1 항에 있어서,
상기 산출된 사용자의 시선 위치가 미리 결정된 시간 동안 한 곳에 위치할 경우에는 상기 사용자의 시선 위치에 해당하는 메뉴를 활성화 하는 제어부를 더 포함함을 특징으로 하는 시선 추적 장치.
The method of claim 1,
And a controller for activating a menu corresponding to the gaze position of the user when the calculated gaze position of the user is located at one location for a predetermined time.
삭제delete 삭제delete 제 1 항에 있어서, 상기 검출부는,
상기 검출된 동공 영역을 중심으로 지역적 이진화를 수행하고, 모폴로지 연산을 통해 상기 이진화된 영역 중 어두운 영역의 무게중심을 구해, 상기 구해진 어두운 영역의 무게중심을 상기 동공 중심 위치로 판단하는 시선 추적 장치.
The method of claim 1, wherein the detection unit,
Performing local binarization around the detected pupil area, obtaining a center of gravity of a dark area of the binarized area through a morphology operation, and determining the center of gravity of the obtained dark area as the pupil center position.
제 1 항에 있어서, 상기 제 2 계산부는,
상기 동공이 좌측 상단, 우측 상단, 좌측 하단 및 우측 하단에 위치할 경우에 검출된 동공의 중심 좌표를 이용하여 동공의 이동영역 좌표를 정의함을 특징으로 하는 시선 추적 장치.
The method of claim 1, wherein the second calculation unit,
An eye gaze tracking device, characterized in that a movement area coordinate of the pupil is defined using the center coordinates of the pupil detected when the pupil is located at the upper left, upper right, lower left and lower right.
제 1 항에 있어서, 상기 제 2 계산부는,
상기 동공의 이동 영역의 좌표를 선형보간, 기하학적 또는 복비 변환함수 중 적어도 어느 하나를 이용하여 상기 사용자가 응시하는 모니터에 매핑하여 상기 모니터의 좌표를 계산하는 것을 특징으로 하는 시선 추적 장치.
The method of claim 1, wherein the second calculation unit,
And calculating coordinates of the monitor by mapping the coordinates of the movement area of the pupil to a monitor stared by the user by using at least one of linear interpolation, geometrical, and complex ratio conversion functions.
삭제delete 시선 위치 추적 방법에 있어서,
카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 단계;
상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공의 중심 위치를 검출하고, 상기 검출된 동공의 중심 위치를 이용하여 조명 반사광의 좌표와 동공의 중심 좌표를 검출하는 단계;
상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 검출된 동공의 중심 좌표에 상기 동공의 이동에 따른 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 단계;
상기 보정된 동공의 중심 좌표를 이용하여 사용자 캘리브레이션에 따라 상기 동공의 이동영역 좌표를 정의하고, 상기 동공의 이동영역 좌표와 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 단계를 포함함을 특징으로 하는 시선 위치 추적 방법.
In the gaze position tracking method,
Receiving an eye image of a user including illumination reflected light captured by a camera;
Detecting a center position of the pupil from the received eye image using a predetermined method, and detecting a coordinate of the illumination reflection light and a center coordinate of the pupil using the detected center position of the pupil;
The distance between the illumination reflection light is calculated using the detected coordinates of the illumination reflection light, and the center coordinates of the pupil is applied by applying the weight between the movement of the pupil and the distance between the illumination reflection light to the detected center coordinates of the pupil. Correcting;
Define the pupil's movement area coordinates according to user calibration using the corrected pupil's center coordinates, and calculate the gaze position of the user using the relationship between the pupil's movement area coordinates and the coordinate system between the monitor stared by the user. Eye position tracking method characterized in that it comprises a step.
삭제delete 삭제delete 제 9 항에 있어서,
상기 조명 반사광의 좌표와 동공의 중심 좌표를 검출하는 단계는,
원형 동공 템플릿의 내부원과 외부원의 그레이 레벨차의 합을 이용하여 동공 영역을 검출하는 단계;
상기 검출된 동공 영역을 중심으로 지역적 이진화를 수행하고, 모폴로지 연산을 통해 상기 이진화된 영역 중 어두운 영역의 무게중심을 구해, 상기 구해진 어두운 영역의 무게중심을 상기 동공 중심 위치로 판단하는 단계;
상기 동공 중심 위치를 이용해 조명 반사광의 좌표와 동공의 중심 좌표를 검출하는 단계를 포함하는 시선 추적 방법.
The method of claim 9,
Detecting the coordinates of the illumination reflected light and the center coordinates of the pupil,
Detecting the pupil area using the sum of the gray level difference between the inner circle and the outer circle of the circular pupil template;
Performing local binarization around the detected pupil region, obtaining a center of gravity of the dark region of the binarized region through a morphology operation, and determining the center of gravity of the obtained dark region as the pupil center position;
Detecting the coordinates of the reflected light and the center coordinates of the pupil using the pupil center position.
삭제delete 삭제delete 삭제delete
KR1020100026005A 2009-10-08 2010-03-23 Apparatus and mehtod for tracking eye KR101094766B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090095857 2009-10-08
KR1020090095857 2009-10-08

Publications (2)

Publication Number Publication Date
KR20110038568A KR20110038568A (en) 2011-04-14
KR101094766B1 true KR101094766B1 (en) 2011-12-20

Family

ID=44065197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100026005A KR101094766B1 (en) 2009-10-08 2010-03-23 Apparatus and mehtod for tracking eye

Country Status (1)

Country Link
KR (1) KR101094766B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869713B1 (en) 2016-12-30 2018-06-21 (주)씽크포비엘 Method and apparatus for usability test based on brain wave
KR20190056642A (en) 2017-11-17 2019-05-27 포인드 주식회사 Eye Tracking Method Using Movement of Pupil and Gap between Eyes and Edge of Face
KR20220109902A (en) * 2021-01-29 2022-08-05 원텍 주식회사 Measuring device of microsaccade
WO2022215952A1 (en) 2021-04-08 2022-10-13 주식회사 이모코그 Machine-learning-based eye tracking device and method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR101438948B1 (en) 2012-12-12 2014-09-11 현대자동차주식회사 Apparatus and method for gaze tracking control
KR102181897B1 (en) * 2013-05-09 2020-11-23 에스케이플래닛 주식회사 Device and method for mobile tooltip using eye detecting
KR101492933B1 (en) * 2014-05-23 2015-02-12 동국대학교 산학협력단 Apparatus and method for periocular recognition
KR101582890B1 (en) * 2014-06-20 2016-01-08 한국표준과학연구원 Smart glasses with character recognition fuction and character recognition using the smart glasses
KR20170084900A (en) * 2016-01-13 2017-07-21 한국전자통신연구원 Apparatus for providing additional information of eye tracking way and method using the same
KR101643724B1 (en) * 2016-04-29 2016-07-29 세종대학교산학협력단 Method and Apparatus for identifying eyeball position, Method and Apparatus for tracking eyeball position
KR102469762B1 (en) 2018-11-16 2022-11-22 한국전자통신연구원 Pupil tracking device and pupil tracking method measuring pupil center position and proximity depth between object and pupil moving by optokinetic reflex
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097376A (en) 1996-09-20 1998-04-14 Canon Inc Operation device for line of sight

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097376A (en) 1996-09-20 1998-04-14 Canon Inc Operation device for line of sight

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869713B1 (en) 2016-12-30 2018-06-21 (주)씽크포비엘 Method and apparatus for usability test based on brain wave
KR20190056642A (en) 2017-11-17 2019-05-27 포인드 주식회사 Eye Tracking Method Using Movement of Pupil and Gap between Eyes and Edge of Face
KR20220109902A (en) * 2021-01-29 2022-08-05 원텍 주식회사 Measuring device of microsaccade
KR102483010B1 (en) * 2021-01-29 2022-12-30 원텍 주식회사 Measuring device of microsaccade
WO2022215952A1 (en) 2021-04-08 2022-10-13 주식회사 이모코그 Machine-learning-based eye tracking device and method

Also Published As

Publication number Publication date
KR20110038568A (en) 2011-04-14

Similar Documents

Publication Publication Date Title
KR101094766B1 (en) Apparatus and mehtod for tracking eye
KR100850357B1 (en) System and method for tracking gaze
EP3453316B1 (en) Eye tracking using eyeball center position
US9924866B2 (en) Compact remote eye tracking system including depth sensing capacity
US10032074B2 (en) Systems and methods for high-resolution gaze tracking
EP2710516B1 (en) Systems and methods for identifying gaze tracking scene reference locations
JP4783018B2 (en) Method and apparatus for detecting and tracking the eye and its gaze direction
US20190235624A1 (en) Systems and methods for predictive visual rendering
US7380938B2 (en) Apparatus to detect and measure saccade and pupilary changes
US7819525B2 (en) Automatic direct gaze detection based on pupil symmetry
KR100949743B1 (en) Apparatus and method for wearable eye tracking having goggle typed
KR20120057033A (en) Gaze tracking system and method for controlling internet protocol tv at a distance
KR101471488B1 (en) Device and Method for Tracking Sight Line
US20180336720A1 (en) Systems and Methods For Generating and Using Three-Dimensional Images
US20110170060A1 (en) Gaze Tracking Using Polarized Light
JP6631951B2 (en) Eye gaze detection device and eye gaze detection method
CN114025659A (en) Ametropia determination of an eye
US20220148218A1 (en) System and method for eye tracking
KR20210122271A (en) Eye tracking devices and methods
CN109964230A (en) Method and apparatus for eyes measurement acquisition
JP5818233B2 (en) Gaze measurement apparatus and method
CN105380590B (en) A kind of equipment and its implementation with eye position detection function
KR20200089204A (en) Eye tracking system for mild cognitive impairment
JP2002000567A (en) Method of measuring pupil center position and method of detecting view point position
JP7228885B2 (en) Pupil detector

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141208

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161206

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 9