KR101094766B1 - Apparatus and mehtod for tracking eye - Google Patents
Apparatus and mehtod for tracking eye Download PDFInfo
- Publication number
- KR101094766B1 KR101094766B1 KR1020100026005A KR20100026005A KR101094766B1 KR 101094766 B1 KR101094766 B1 KR 101094766B1 KR 1020100026005 A KR1020100026005 A KR 1020100026005A KR 20100026005 A KR20100026005 A KR 20100026005A KR 101094766 B1 KR101094766 B1 KR 101094766B1
- Authority
- KR
- South Korea
- Prior art keywords
- pupil
- coordinates
- user
- center
- detected
- Prior art date
Links
- 210000001747 pupil Anatomy 0.000 claims abstract description 93
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000005286 illumination Methods 0.000 claims abstract description 52
- 230000033001 locomotion Effects 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 238000012937 correction Methods 0.000 abstract description 8
- 210000001508 eye Anatomy 0.000 description 77
- 230000008569 process Effects 0.000 description 22
- 210000000554 iris Anatomy 0.000 description 10
- 239000011521 glass Substances 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 241000287181 Sturnus vulgaris Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 229910052736 halogen Inorganic materials 0.000 description 4
- 150000002367 halogens Chemical class 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 210000003041 ligament Anatomy 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 시선 위치 추적 장치 및 방법에 관한 것으로, 보다 구체적으로 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적하는 시선 위치 추적 장치 및 방법에 관한 것이다.
본 발명의 일 실시 에에 따른 시선 방향을 추적하는 장치는, 카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 수신부; 상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공 위치를 검출하고, 상기 검출된 동공 위치를 이용하여 상기 조명 반사광의 좌표와 상기 동공의 중심 좌표를 검출하는 검출부; 및 상기 검출된 조명 반사광의 좌표를 이용하여 상기 사용자의 얼굴 움직임 보정 값을 계산하고, 상기 동공의 이동 영역의 좌표와 상기 사용자가 응시하는 모니터의 좌표를 이용하여 상기 사용자의 시선 위치를 산출하는 계산부를 포함한다.The present invention relates to a gaze position tracking device and method, and more particularly to a gaze position tracking device and method for tracking the gaze position of the user by correcting the face movement according to the distance between the illumination light included in the eye image.
According to an aspect of the present invention, an apparatus for tracking a gaze direction includes a receiver configured to receive an eye image of a user including an illumination reflection light captured by a camera; A detector configured to detect a pupil position from the received eye image using a predetermined method, and detect a coordinate of the illumination reflected light and a center coordinate of the pupil using the detected pupil position; And calculating a face motion correction value of the user using the detected coordinates of the reflected light, and calculating a gaze position of the user using the coordinates of the movement area of the pupil and the coordinates of the monitor stared by the user. Contains wealth.
Description
본 발명은 시선 위치 추적 장치 및 방법에 관한 것으로, 보다 구체적으로 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적하는 시선 위치 추적 장치 및 방법에 관한 것이다.
The present invention relates to a gaze position tracking device and method, and more particularly to a gaze position tracking device and method for tracking the gaze position of the user by correcting the face movement according to the distance between the illumination light included in the eye image.
오늘날 디지털 기술이 발전함에 따라 영상 정보를 분석하여 특정 영역 또는 특정 부분으로 구분할 수 있는 기술이 개발되고 있다. 이러한, 분석 기술 중에 얼굴 인식 기술은 디지털 카메라뿐만 아니라, 보안 기술을 수행하는 장치 등에 접목 되는 기술로써, 다양한 방식으로 다각도로 연구 및 개발되고 있는 실정이다.As digital technology develops today, a technology for analyzing image information and dividing it into specific regions or portions is being developed. Among the analysis techniques, the face recognition technique is a technology that is applied not only to a digital camera but also to a device that performs a security technique, and is being researched and developed in various ways in various ways.
또한, 유전자 형질, 지문, 목소리, 정맥, 얼굴 생김새, 눈동자 홍채 등의 생물학적 특징을 이용하여 개개인의 신원을 인증하는 시스템에 대하여 활발한 연구가 진행되고 있다. 이중에서, 홍채 인식 분야는 높은 인식률과 위조의 불가성, 데이터량이 많은 패턴 특성, 변화 요인이 없다는 점 등의 장점으로 인하여, 보안시스템에 있어서 향후 가장 많이 사용될 것으로 전망된다.In addition, active research is being conducted on a system for authenticating an individual using biological characteristics such as genetic traits, fingerprints, voices, veins, facial features, and eye irises. Among them, the iris recognition field is expected to be used most in the future due to the advantages of high recognition rate, impossibility of counterfeiting, pattern data with a large amount of data, and no change factor.
홍채(Iris)란, 동공과 흰 부위 사이에 존재하는 영역을 의미하는데, 빗살 무늬의 인대, 붉은색의 섬유질, 속눈썹 모양의 돌기, 혈관계 형태, 링 형태의 조직, 동공을 둘러싸는 코로나모양의 인대, 홍채 고유의 색, 얼룩점 등의 고유 특성을 가지고 있으므로 홍채를 이용하면 개개인을 식별할 수 있다.The iris (Iris) refers to the area between the pupil and the white area, which is comb-like ligaments, red fibers, cilia-like protrusions, vascular forms, ring-shaped tissues, and corona-shaped ligaments surrounding the pupil. Because of its unique characteristics such as color, spot color, etc., the iris can be used to identify individuals.
데이터 연산량을 감소시키기 위하여, 홍채를 인식하기 전에 눈 위치를 찾는 전처리 과정이 수행되는데, 이러한 과정은 여러 가지 방법으로 진행될 수 있다. 종래에는, 눈의 위치를 찾기 위해서 눈의 형태에 따른 영상 정보를 이용하거나 동공에 의하여 나타나는 반사 잡음을 이용하는 방법 등이 있다.In order to reduce the amount of data computation, a preprocessing process for finding the eye position is performed prior to recognizing the iris, which can be done in various ways. Conventionally, in order to find the position of the eye, there is a method of using image information according to the shape of the eye or using reflected noise represented by the pupil.
여기서, 반사 잡음은 빛이 동공에 반사되는 경우에 나타나는 잡음 성분으로 크기와 패턴에 규칙적인 특징을 가진다. 이렇게 하여 눈의 위치를 찾게 되면, 피인증자의 눈과 카메라의 렌즈가 광학적으로 일치되도록 홍채인식시스템이 정밀하게 구동되고, 홍채를 정교하게 촬영하여 홍채 인식 과정을 처리하게 된다.Here, the reflected noise is a noise component that appears when light is reflected by the pupil and has regular characteristics in size and pattern. In this way, when the position of the eye is found, the iris recognition system is precisely driven so that the subject's eye and the lens of the camera are optically matched, and the iris is precisely photographed to process the iris recognition process.
그러나, 눈의 형태를 이용하여 눈의 위치를 찾는 경우, 화장, 인공 눈썹 등의 요인에 의하여 눈의 형태가 달라지거나 개인의 특성에 따라 눈의 형태가 다른 점, 컨텍트 렌즈나 안경의 착용으로 인하여 눈의 형태가 다르게 인지될 수 있는 점 등 장애적인 요소가 많으므로 영상 처리를 통하여 눈이라는 영상 객체를 일률적으로 검출하는 것은 기술적으로 많은 어려움이 따른다.However, in case of finding the position of the eye by using the shape of the eye, the shape of the eye varies depending on factors such as makeup and artificial eyebrows, or the shape of the eye varies according to the characteristics of the individual, or due to wearing contact lenses or glasses. Since there are many obstacles such as the shape of the eye can be perceived differently, it is technically difficult to detect the image object called the eye uniformly through image processing.
또한, 안구 영역을 촬영한 영상에는 반사 잡음을 비롯하여 여러 가지 잡음 성분들이 나타나게 되며, 이러한 잡음 성분들은 눈의 일부를 가림으로써 눈의 형태를 인지할 수 없게 하므로 종래의 방법으로는 눈의 위치를 찾을 수 없는 경우가 종종 발생된다.
In addition, various noise components, including reflection noise, appear in the image of the eyeball area, and these noise components cover part of the eye so that the shape of the eye cannot be recognized. Sometimes it can't be.
따라서, 본 발명의 목적은, 시선 위치 추적 장치 및 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide a gaze position tracking device and method.
또한, 본 발명의 목적은, 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적하는 시선 위치 추적 장치 및 방법을 제공함에 있다.
It is also an object of the present invention to provide a gaze position tracking device and method for tracking a gaze position of a user by correcting a face movement according to a distance between illumination lights included in an eye image.
상기한 목적들을 해결하기 위해 본 발명의 일 실시 예에 따른 시선 위치 추적 장치는, 카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 수신부; 상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공 위치를 검출하고, 상기 검출된 동공 위치를 이용하여 상기 조명 반사광의 좌표와 상기 동공의 중심 좌표를 검출하는 검출부; 상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 추출된 동공의 중심 좌표에 소정의 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 제 1 계산부; 및 상기 보정된 동공 중심 좌표를 이용하여 상기 동공의 이동영역을 정의하고, 상기 동공의 이동영역과 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 제 2 계산부를 포함한다.In order to solve the above objects, an apparatus for tracking gaze position according to an exemplary embodiment of the present invention may include: a receiver configured to receive an eye image of a user including illumination reflected light captured by a camera; A detector configured to detect a pupil position from the received eye image using a predetermined method, and detect a coordinate of the illumination reflected light and a center coordinate of the pupil using the detected pupil position; Calculating a distance between the reflected light by using the detected coordinates of the reflected light, and correcting the center coordinates of the pupil by applying a predetermined weight and the distance between the reflected light to the center coordinates of the extracted pupil; A calculator; And a second calculator configured to define a movement area of the pupil using the corrected pupil center coordinates, and calculate a gaze position of the user by using a relationship between a coordinate system between the movement area of the pupil and a monitor stared by the user. do.
본 발명의 일 실시 예에 따른 시선 위치 추적 방법은, 카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 단계; 상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공 위치를 검출하고, 상기 검출된 동공 위치를 이용하여 상기 조명 반사광의 좌표와 상기 동공의 중심 좌표를 검출하는 단계; 상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 추출된 동공의 중심 좌표에 소정의 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 단계; 및In accordance with another aspect of the present invention, a method for tracking a gaze position includes: receiving an eye image of a user including an illumination reflection light captured by a camera; Detecting a pupil position from the received eye image using a predetermined method, and detecting a coordinate of the illumination reflection light and a center coordinate of the pupil using the detected pupil position; Calculating a distance between the illumination reflected light using the detected coordinates of the illumination reflected light, and correcting the center coordinates of the pupil by applying a predetermined weight and the distance between the illumination reflected light to the center coordinates of the extracted pupil; And
상기 보정된 동공 중심 좌표를 이용하여 상기 동공의 이동영역을 정의하고, 상기 동공의 이동영역과 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 단계를 포함한다.
Defining a moving area of the pupil using the corrected pupil center coordinates, and calculating a gaze position of the user using a relationship between a coordinate system between the moving area of the pupil and a monitor stared by the user.
본 발명은, 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적할 수 있다. 또한, 본 발명은, 사용자의 시선 위치를 추적하여 다양한 분야에 활용함으로써 사용자의 편의성이 증대된다.
The present invention can track a user's gaze position by correcting a face movement according to a distance between illumination lights included in an eye image. In addition, the present invention increases the convenience of the user by tracking the gaze position of the user and utilizing it in various fields.
도 1은 본 발명의 실시 예에 따른 시선 추적 장치의 구조를 개략적으로 도시한 도면,
도 2는 본 발명의 실시 예에 따른 시선 추적 장치의 눈 영상 취득용 카메라를 도시하면 도면,
도 3은 본 발명의 실시 예에 따른 시선 추적 장치의 적외선 LED를 장착한 모니터를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 시선 추적 장치의 검출부(102)가 원형 검출 방법을 이용하여 초기 동공 위치를 추출하고, 이진화 과정, 라벨링 과정, 모폴로지 과정을 거쳐 최종 동공 위치를 추출하는 과정을 도시한 도면,
도 5는 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상을 도시한 도면,
도 6은 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상에 포함된 조명 반사광 사이의 길이를 도시한 도면,
도 7은 본 발명의 실시 예에 따른 캘리브레이션 수행을 위한 기하학적 변환 방법을 도시한 도면,
도 8은 본 발명의 실시 예에 따른 시선 추적 시스템의 도시한 도면,
도 9는 본 발명의 실시 예에 따른 시선 추적 과정을 개략적으로 도시한 도면이다.1 is a view schematically showing the structure of a gaze tracking device according to an embodiment of the present invention;
2 is a diagram illustrating an eye image acquisition camera of a gaze tracking device according to an exemplary embodiment of the present invention;
3 is a view showing a monitor equipped with an infrared LED of the gaze tracking device according to an embodiment of the present invention,
4 is a process of detecting the initial pupil position by the
5 is a view showing an eye image received by the
6 is a view showing the length between the reflected light reflected in the eye image received by the
7 is a view showing a geometric transformation method for performing calibration according to an embodiment of the present invention;
8 is a view illustrating a gaze tracking system according to an exemplary embodiment of the present invention;
9 is a diagram schematically illustrating a gaze tracking process according to an exemplary embodiment of the present invention.
본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. In describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
그러면 먼저 시선 추적 방법이 사용되고 있는 예들을 살펴보기로 하자. 시선 위치 추적 방법은 크게 스킨 전극(Skin Electrodes) 기반 방법, 콘텍트 렌즈(Contact Lens) 기반 방법, 두부 장착형 디스플레이(Head Mounted Display) 부착 기반 방법, 원격 팬&틸트(Remote Pan&Tilting) 장치 기반 방법으로 나누어져 있다.Let's first look at examples of how eye tracking is used. The gaze tracking method is divided into Skin Electrodes based method, Contact Lens based method, Head Mounted Display attachment based method, and Remote Pan & Tilting device based method. have.
상기 스킨 전극 기반 방법은 사용자 눈 주변에 전극(electrode)을 부착하여 망막(retina)과 각막(cornea) 사이의 전위차를 측정하고, 측정된 전위차를 통해 응시 위치를 계산하는 방법이다. 상기 스킨 전극 기반 방법은 양 눈의 응시위치를 모두 파악할 수 있으며, 가격이 저렴하며 사용 방법이 간편하다는 장점이 있다. 하지만, 스킨 전극 기반 방법은 가로세로 방향의 움직임이 제한적이어서 정확성이 떨어진다. The skin electrode-based method is a method of measuring an electric potential difference between a retina and a cornea by attaching an electrode around a user's eye, and calculating a gaze position based on the measured electric potential difference. The skin electrode-based method can grasp the gaze position of both eyes, has the advantage of low cost and easy to use. However, the skin electrode based method is less accurate because the movement in the horizontal and vertical direction is limited.
상기 콘텍트 렌즈 기반 방법은 각막에 미끄러지지 않는 렌즈를 부착하고 이곳에 자기장 코일이나 거울을 부착하여 응시위치를 계산하는 방법이다. 상기 콘텍트 렌즈 기반 방법은 정확히 응시위치를 계산할 수 있다. 하지만, 사용이 불편하고 눈의 깜박거림이 자유롭지 못하며, 계산이 가능한 범위가 제한되어 있다.The contact lens-based method is a method of calculating a gaze position by attaching a non-slip lens to the cornea and attaching a magnetic field coil or mirror to the cornea. The contact lens based method can accurately calculate the gaze position. However, it is inconvenient to use, the blinking of the eye is not free, and the calculation range is limited.
상기 두부 장착형 디스플레이 부착 기반 방법은 헤드밴드 또는 헬멧 밑에 장착된 작은 카메라를 이용하여 응시위치를 계산한다. 두부 장착형 디스플레이 부착 기반 방법은 사용자의 머리 움직임에 관계없이 응시위치를 계산할 수 있다. 그러나, 카메라가 사용자 눈높이보다 아래에 기울어져 있어 눈의 상하 움직임에 민감하지 못하여, 두부 장착형 디스플레이에만 적용된다. The head mounted display attachment based method calculates the gaze position using a small camera mounted under the headband or helmet. The head mounted display attachment based method can calculate the gaze position regardless of the user's head movement. However, because the camera is tilted below the user's eye level, the camera is not sensitive to the vertical movement of the eye, so it is applied only to the head mounted display.
원격 팬&틸트 장치 기반 방법은 모니터 주변에 팬&틸트가 되는 카메라와 조명을 장치하여 응시위치를 계산하는 방법이다. 원격 팬&틸트 장치 기반 방법은 응시위치 계산이 정확하고 빠르며, 그 적용이 쉬운 장점을 가지나, 머리의 움직임을 추적하기 위해 2대 이상의 고가 스테레오 카메라 장치와 복잡한 알고리즘을 요구하며, 추가로 카메라와 모니터간의 복잡한 캘리브레이션을 요구한다. 그러면 여기서, 도 1을 참조하여 본 발명의 실시 예에 따른 시선 추적 장치의 내부구조를 보다 구체적으로 설명하기로 한다.The remote pan & tilt device-based method calculates the gaze position by installing a pan & tilt camera and light around the monitor. Remote pan-and-tilt device-based methods have the advantages of accurate and fast gaze position calculations and ease of application, but require more than two expensive stereo camera devices and complex algorithms to track head movements. Requires complex calibration of the liver. Next, the internal structure of the eye tracking apparatus according to the exemplary embodiment of the present invention will be described in more detail with reference to FIG. 1.
도 1은 본 발명의 실시 예에 따른 시선 추적 장치의 구조를 개략적으로 도시한 도면이다.1 is a view schematically showing the structure of a gaze tracking device according to an exemplary embodiment of the present invention.
상기 시선 추적 장치는 다양한 형태의 동영상 재생기, 예컨대 IPTV(Internet Protocol Television) 시스템, TV, 컴퓨터, 게임기 등과 같은 다양한 응용 분야에 적용될 수 있다. 그러면 이하에서는, 설명의 편의를 위해서 IPTV 시스템을 예를 들어 설명하기로 한다.The eye tracking apparatus may be applied to various application fields such as a video player of various types, for example, an Internet Protocol Television (IPTV) system, a TV, a computer, a game machine, and the like. Next, an IPTV system will be described as an example for convenience of explanation.
삭제delete
여기서, 사용자는 눈 영상을 촬영하기 위한 영상촬영기기가 장착된 안경을 착용하고 두 개의 적외선 LED를 포함하는 모니터를 응시하고 있으며, 사용자의 얼굴 움직임을 검출하기 위하여 소정의 시간 간격으로 사용자의 눈 영상을 촬영하여 IPTV 시스템으로 유선 또는 무선, 예컨대 블루투스, 적외선 등으로 전송한다고 가정하여 설명하기로 한다. Here, the user wears glasses equipped with an image photographing device for capturing an eye image, stares at a monitor including two infrared LEDs, and the eye image of the user at predetermined time intervals to detect a user's face movement. It will be described on the assumption that photographing and transmitting to the IPTV system by wire or wireless, such as Bluetooth, infrared.
또한, 상기 눈 영상 촬영용 영상촬영기기는 카메라뿐만 아니라 영상을 촬영할 수 있는 다른 기기를 포함하고, 여기서는 설명의 편의를 위해서 카메라로 칭하여 설명하기로 한다. 상기 카메라는 안경, 보안경 헬맷형 기기, 또는 기타 고정할 수 있는 지지대 등에 부착되어 사용자 눈 영상을 촬영한다. 그리고, 상기 촬영된 눈 영상에 포함된 조명 반사광을 조명하는 장치는 상기 적외선 LED 뿐만 아니라 할로겐(Halogen), 크세논 램프(Xenon Lamp), 백열등 등으로 구성되어 사용자 눈에 적외선을 조명하는 기능을 수행한다. In addition, the image capturing apparatus for eye image capturing includes not only a camera but also other apparatuses capable of capturing images, which will be described as a camera for convenience of description. The camera is attached to glasses, goggles helmet-type device, or other support that can be fixed to take an image of the user's eyes. In addition, the device for illuminating the light reflected light included in the photographed eye image is composed of a halogen (Halogen), xenon lamp (incandescent lamp), incandescent lamp, etc. as well as the infrared LED to perform the function of illuminating the infrared light to the user's eyes. .
도 1을 참조하면, 상기 시선 추적 장치는 수신부(101), 검출부(102), 계산부(103), 및 제어부(104)를 포함한다. 상기 계산부(103)는 얼굴 움직임 계산부(113)와 시선위치 계산부(123)를 포함한다. 상기 수신부(101)는 카메라로부터 촬영된 눈 영상을 소정의 시간 간격으로 수신한다. Referring to FIG. 1, the eye tracking apparatus includes a
상기 눈 영상에는 적외선 LED(Light Emitteng Diode)로부터 조명된 조명 반사광을 포함한다. 그러면 여기서, 도 2 및 도 3을 참조하여 상기 카메라와 적외선 LED의 구조를 보다 구체적으로 설명하기로 한다. The eye image includes illumination reflected light illuminated from an infrared light emitting diode (LED). Next, the structure of the camera and the infrared LED will be described in more detail with reference to FIGS. 2 and 3.
도 2은 본 발명의 실시 예에 따른 눈 영상 취득용 카메라(201)가 장착된 안경의 예시도이고, 도 3는 본 발명의 실시 예에 따른 상기 적외선 LED(301, 302)가 장착된 모니터의 예시도이다.2 is an exemplary view of glasses equipped with an eye
도 2 및 도 3을 참조하면, 사용자는 도 2와 같은 눈 영상 취득용 카메라(201)가 장착된 안경을 착용하고 도 3과 같은 적외선 LED(301, 302)를 장착한 모니터를 응시한다. 상기 눈 영상 취득용 카메라(201)는 사용자의 오른쪽 눈 하단에 설치되어 눈 영상을 촬영한다. 2 and 3, a user wears glasses equipped with an eye
이때, 도 3의 모니터에 장착된 적외선 LED(301, 302)는 사용자의 눈에 적외선을 조명함으로써, 얼굴 움직임 보정 및 동공과 홍채의 경계가 구분된 눈 영상을 촬영할 수 있다. 그리고, 카메라의 렌즈에 부착된 적외선 차단 필터를 제거하고 적외선 투과, 예컨대 가시광산 차단 필터를 부착하여 적외선에 의해 조사된 물체만을 영상으로 취득할 수 있도록 한다. In this case, the
또한 카메라의 렌즈 대신 고배울 렌즈를 부착하여 사용자의 시야를 가리지 않는 범위에서 시선 추적에 적합한 크기의 동공을 포함한 눈 영상을 취득할 수 있도록 한다. 여기서, 상기 눈 영상 취득용 카메라는 안경, 보안경 헬맷형 기기, 또는 기타 고정할 수 있는 지지대 등에 부착되어 사용자 눈 영상을 촬영한다. In addition, by attaching a high-learning lens instead of the lens of the camera, it is possible to obtain an eye image including a pupil of a size suitable for eye tracking within a range of the user's field of view. Here, the eye image acquisition camera is attached to glasses, goggles helmet-type device, or other support that can be fixed to capture the user's eye image.
그리고, 상기 촬영된 눈 영상에 포함된 조명 반사광을 조명하는 장치는 상기 적외선 LED 뿐만 아니라 할로겐(Halogen), 크세논 램프(Xenon Lamp), 백열등 등으로 구성되어 사용자 눈에 적외선을 조명하는 기능을 수행한다. In addition, the device for illuminating the light reflected light included in the photographed eye image is composed of a halogen (Halogen), xenon lamp (incandescent lamp), incandescent lamp, etc. as well as the infrared LED performs a function to illuminate the infrared light to the user's eyes. .
여기서, 적외선 조명은 사용자의 얼굴이 움직임에 따라 발생하는 시선 위치 오차를 보정해주기 위해서 사용되며, 화면상에 2개 이상의 적외선 조명을 설치하여 사용자의 얼굴 움직임에 따른 오차를 계산할 수 있다.Here, the infrared light is used to correct the gaze position error generated by the movement of the user's face, it is possible to calculate the error according to the movement of the user's face by installing two or more infrared lights on the screen.
상기 눈 영상에 포함된 동공의 모양은 원의 형태로 단순화 하기에는 불규칙적인 모양을 가지고 있으며, 카메라 위치를 중심으로 동공의 위치에 따라 타원의 형태로 관찰될 수 있다. 또한 조명의 반사광이 동공의 경계에 위치할 때에는 동공의 중심 위치가 정확하게 추출될 수 없다. 그러면 여기서, 도 4를 참조하여 상기 검출부(102)가 상기 수신부(101)로부터 수신한 눈 영상에서 동공 위치를 결정하는 과정을 보다 구체적으로 설명하기로 한다.The shape of the pupil included in the eye image has an irregular shape in order to simplify the shape of a circle, and can be observed in the form of an ellipse according to the position of the pupil around the camera position. In addition, when the reflected light of the illumination is located at the boundary of the pupil, the center position of the pupil cannot be accurately extracted. Next, the process of determining the pupil position in the eye image received by the
도 4는 본 발명의 실시 예에 따른 시선 추적 장치의 검출부(102)가 원형 검출 방법을 이용하여 초기 동공 위치를 추출하고, 이진화 과정, 라벨링 과정, 모폴로지 과정을 거쳐 최종 동공 위치를 추출하는 과정을 도시한 도면이다.4 is a process of detecting the initial pupil position by the
도 4를 참조하면, 상기 검출부(102)는 원형 검출 방법을 이용하여 내부원(401a)과 외부원(401b)으로 구성되는 원형 검출 템플릿을 동공 영역(401c)으로 이동시킨다(401). 그리고, 원형 검출 템플릿의 내부원(402a)과 외부원(401b)의 그레이 레벨 차의 합이 가장 큰 부분을 검출하여 동공 영역(402)을 결정한다. 즉, 상기 원형 검출 템플릿의 내부원과 외부원의 반지름 및 원의 중심 위치를 변경해가면서 중심 위치 기준 내부원 둘레의 샘플위치와 외부원 둘레의 샘플위치에서의 그레이 레벨의 차를 구하고, 모든 샘플위치에서의 그레이 레벨 차를 합하여, 그레이 레벨 차의 합이 가장 클 때의 중심 위치 및 반지름을 1차 동공 중심 및 반지름으로 결정한다.Referring to FIG. 4, the
그런 다음, 상기 검출부(102)는 상기 동공 영역을 중심으로 지역 이진화(403)를 수행한다. 여기서, 이진화 방법은 영상 내에 원하는 객체의 정보, 예컨대 위치, 크기, 모양 등을 얻기 위해서 영상의 픽셀 값을 0 또는 255로 만드는 방법이다. Then, the
이진화 방법은 전역적 이진화 방법과 지역적 이진화 방법으로 나누어진다. 전역적 이진화 방법은 영상 전체 픽셀에 대하여 하나의 임계값을 사용하여 이진화를 수행하는 방법이다. 지역적 이진화 방법은 영상을 여러 개의 구역으로 분할하여 각 구역마다 다른 임계값을 사용하여 이진화를 수행하는 방법이다.Binarization is divided into global binarization and local binarization. The global binarization method is a method of performing binarization using one threshold for all pixels of an image. The local binarization method divides an image into several zones and performs binarization using different threshold values for each zone.
상기 검출부(102)는 상기 동공 영역을 중심으로 미리 결정된 거리만큼 이격된 정사각형 모양(403a)의 구역을 형성하고, 구역에 포함되는 영상의 픽셀을 255, 예컨대 검은색(403)으로 만든다. 그리고, 상기 검출부(102)는 이진화된 영역 중 어두운 영역의 무게중심을 구하기 위하여 모폴로지 연산을 수행(404)한다.The
이와 같이 상기 검출부(102)는, 동공의 중심점을 정확하게 획득하기 위하여 원형검출 알고리즘과 더불어 지역적 이진화(403)를 수행하고, 이진화된 영역 중 어두운 영역의 무게중심을 구하기 위하여 모폴로지 연산을 수행(404)하고, 이진화된 영역 중 어두운 부분을 동공 영역으로 판단하여 어두운 영역에 대한 무게중심(405)을 사용자 동공의 실질적인 중심점(406)으로 판단할 수 있다.As described above, the
상기 검출부(102)는 상기 동공 중심점을 이용하여 조명 반사광 좌표와 동공 중심 좌표를 검출한다. 그리고, 상기 검출부(102)는 상기 검출된 조명 반사광 좌표를 얼굴 움직임 계산부(113)로 전송하고, 상기 검출된 동공 중심 좌표를 시선위치 계산부(123)로 전송한다.The
상기 얼굴 움직임 계산부(113)는 상기 검출부(102)로부터 조명 반사광 좌표를 수신하고, 상기 수신한 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산한다. 여기서, 소정의 시간 간격으로 수신된 눈 영상의 조명 반사광을 이용하여 계산된 조명 반사광 사이의 거리들을 이용하여 상기 검출된 동공 중심 좌표를 보정할 수 있다.The
사용자가 IPTV, 컴퓨터, 게임기 등과 같은 동영상 재생기를 이용할 시, 고정된 위치에서만 상기 동영상 재생기를 응시하지 않으므로, 상기 얼굴 움직임 계산부(113)는 소정의 시간 간격으로 눈 영상을 수신하고, 눈 영상의 조명 반사광을 이용하여 계산된 조명 반사광 사이의 거리들을 이용하여 상기 검출된 동공 중심 좌표를 보정한다.When the user uses a video player such as an IPTV, a computer, or a game machine, the
보다 구체적으로, 상기 얼굴 움직임 계산부(113)는 사용자의 동공에 형성된 조명의 거리가 멀어지면 사용자의 얼굴이 화면과 가까워지고, 사용자의 동공에 형성된 조명의 거리가 좁아지면 사용자의 얼굴이 화면과 멀어진다는 것을 이용하여 최초에 구한 시선 위치에 일정한 가중치와 조명 반사광 사이의 거리를 곱하여 상기 검출된 동공 중심 좌표를 보정한다. More specifically, the face
그러면 여기서, 상기 얼굴 움직임 계산부(113)가 하기 <수학식1>을 이용하여 조명 반사광 거리에 따라 사용자의 얼굴 움직임 보정 값을 계산하는 과정을 보다 구체적으로 설명하기로 한다.
Then, the process of calculating the face motion correction value of the user according to the illumination reflection light distance using the following Equation 1 will be described in more detail.
상기 <수학식 1>을 참조하면, X와 Y는 각각 X축, Y축을 나타내며 wx는 동공이 X축으로 이동된 가중치를 나타내고, wy는 동공이 X축으로 이동된 가중치를 나타낸다. 그리고, gx 및gy는 각각 동공의 실제 응시위치를 X축, Y축으로 나타낸 것이다. 그리고, 는 조명 반사광 사이의 길이를 나타낸다. 그리면 여기서, 도 5 및 도 6를 참조하여, 상기 조명 반사광 및 조명 반사광 사이의 길이를 설명하기로 한다.Referring to Equation 1, X and Y represent X and Y axes, w x represents a weight of the pupil moved to the X axis, and w y represents a weight of the pupil moved to the X axis. And g x And g y represent the actual gaze positions of the pupils on the X and Y axes, respectively. And, Represents the length between the illumination reflected light. 5 and 6, the length between the illumination reflection light and the illumination reflection light will be described.
도 5는 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상을 도시한 도면이고, 도 6은 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상에 포함된 조명 반사광 사이의 길이를 도시한 도면이다. 5 is a view illustrating an eye image received by the
도 5 및 도 6을 참조하면, 상기 수신부(101)는 카메라로부터 촬영된 도 5와 같은 눈 영상을 수신하고, 상기 도 5의 눈 영상은 적외선 LED(Light Emitteng Diode)로부터 조명된 조명 반사광(501, 502)을 포함한 눈 영상을 포함한다. 상기 검출부(102)는 상기 눈 영상에서 최종 동공 위치를 검색하고, 상기 최종 동공 위치를 이용하여 조명 반사광 좌표와 동공 중심 좌표를 검출한다. 5 and 6, the
그리고, 상기 얼굴 움직임 계산부(113)는 상기 조명 반사광(501, 502) 좌표를 이용하여 조명 반사광 사이의 거리(503), 예컨대 를 계산하고, 상기 조명 반사광 거리에 따라 사용자의 얼굴 움직임 보정 값을 계산한다.In addition, the
그리고 얼굴 움직임 계산부(113)는 상기 계산한 얼굴 움직임 보정 값을 상기 시선위치 계산부(123)로 전송한다. 상기 시선위치 계산부(123)는 상기 얼굴 움직임 계산부(113)로부터 수신한 얼굴 움직임 보정 값과 상기 검출부(102)로부터 수신한 동공 중심 좌표를 이용하여 사용자의 관심 시선 위치 좌표를 계산한다. The
즉, 상기 시선위치 계산부(123)는 화면의 네 점을 응시하는 사용자 캘리브레이션 과정을 통해 동공의 이동영역을 정의하고 동공의 이동영역과 화면 좌표계간의 관계를 기하학적 변환(Geometric Transform)을 사용하여 동공 위치에 따른 시선 위치를 계산한다. That is, the
상기 변환함수는, 선형 보간, 기하학적 또는 복비 변환함수 중 적어도 하나이다. 그러면 여기서, 도 7을 참조하여 본 발명의 실시 예에 따른 캘리브레이션 수행을 위한 기하학적 변환 방법을 보다 구체적으로 설명하기로 한다.The transform function is at least one of linear interpolation, geometric or complex ratio transform function. Next, the geometric transformation method for performing calibration according to an embodiment of the present invention will be described in more detail with reference to FIG. 7.
도 7은 본 발명의 실시 예에 따른 캘리브레이션 수행을 위한 기하학적 변환 방법을 도시한 도면이다. 7 is a diagram illustrating a geometric transformation method for performing calibration according to an embodiment of the present invention.
도 7을 참조하면, 상기 검출부(102)가 눈 영상 취득용 카메라가 장착된 안경을 착용한 사용자가 도 3의 모니터의 좌측 상단, 우측 상단, 우측 하단, 좌측 하단을 각각 응시할 경우의 눈 영상을 순차적으로 수신하고, 상기 검출부(102)가 도 4의 과정을 거쳐 동공 중심 좌표를 계산한 후, 시선위치 계산부(123)는 하기 <수학식 2>의 기하학적 변환함수를 이용하여 각 상기 검출부(102)에서 검출된 동공 중심 좌표에 대응되는 실제 평면(S2)의 좌표를 계산할 수 있다.Referring to FIG. 7, the
먼저, 상기 시선위치 계산부(123)는 눈 영상 취득용 카메라가 장착된 안경을 착용한 사용자가 도 3의 모니터의 좌측 상단, 우측 상단, 우측 하단, 좌측 하단을 각각 응시 할 경우의 동공 중심 좌표를 이용하여 사용자 동공의 이동 영역(S1)을 정의한다. First, the gaze
상기 사용자 동공의 이동 영역(S1)의 좌표는 좌측상단 좌표(X1, Y1), 우측상단 좌표(X2, Y2), 좌측하단 좌표(X4, Y4), 우측하단 좌표(X3, Y3)를 포함한다. 상기 시선위치 계산부(123)는 상기 사용자 동공의 이동 영역(S1)의 좌표와 기하학적 변환함수를 이용하여 각 동공의 이동 영역(S1)의 좌표에 대응되는 실제 평면(S2)의 좌표, 예컨대 좌측상단 좌표(X1, Y1)', 우측상단 좌표(X2, Y2)', 좌측하단 좌표(X4, Y4)', 우측하단 좌표(X3, Y3)'를 산출한다. The coordinates of the movement area S 1 of the user pupil are upper left coordinates (X 1 , Y 1 ), upper right coordinates (X 2 , Y 2 ), lower left coordinates (X 4 , Y 4 ), and lower right coordinates ( X 3 , Y 3 ). The
여기서, 평면(S2)의 좌표는 상기 사용자가 응시하는 모니터의 좌표를 나타낸다. 그러면 여기서, <수학식 2>를 참조하여 눈 영상 취득용 카메라가 장착된 안경을 착용한 사용자가 도 3의 모니터의 임의의 위치를 응시할 때, 사용자 동공 중심에 대응되는 모니터 평면 위치를 산출하는 과정을 보다 구체적으로 설명하기로 한다.
Here, the coordinates of the plane S 2 represent the coordinates of the monitor stared by the user. Then, when a user wearing glasses equipped with an eye image acquisition camera stares at an arbitrary position of the monitor of FIG. 3, referring to Equation 2, a process of calculating a monitor plane position corresponding to the center of the pupil of the user is calculated. It will be described in more detail.
상기 <수학식 2>를 참조하면, S1은 동공의 이동 영역(S1)의 좌표를 행렬로 표시한 것이며, S2는 실제 평면(S2)의 좌표를 행렬로 표시한 것이다. T는 기하학적 변환함수를 행렬로 표시한 것이다. 상기 시선위치 계산부(123)는 동공의 이동 영역(S1)의 좌표의 행렬과 기하학적 변환함수 행렬을 연산하여 각 동공의 이동 영역의 좌표에 대응되는 실제 평면(S2)의 좌표를 산출한다. 그리고 상기 시선위치 계산부(123)는 하기 <수학식 3>을 이용하여 사용자의 실제 응시위치를 계산한다.
Referring to the <Equation 2>, S 1 will display the coordinates of the moving region (S 1) of the pupil in a matrix, S 2 will display the coordinates of the actual plane (S 2) to the matrix. T is a matrix of geometric transformation functions. The gaze
상기 <수학식 3>을 참조하면, G는 사용자의 실제 응시위치를 나타낸 행렬이고, W는 사용자가 응시하는 순간 추출된 동공의 위치를 나타낸 행렬이다. 또한, T는 기하학적 변환함수를 행렬로 표시한 것이다.Referring to
즉, 상기 시선위치 계산부(123)는 상기 <수학식 2>를 이용하여 사용자가 모니터의 임의의 위치를 응시할 때, 사용자 동공 중심에 대응되는 모니터 평면 위치를 계산하고, <수학식 3>을 이용하여 사용자의 실제 응시위치, 예컨대 사용자의 관심 시선 위치를 계산한다. That is, the gaze
그리고, 상기 시선위치 계산부(123)는 상기 얼굴 움직임 계산부(113)로부터 수신한 얼굴 움직임 보정 값을 이용하여 상기 사용자의 최종 관심 시선 위치를 계산한다. 상기 계산된 최종 관심 시선 위치는 제어부(104)로 유선 또는 무선으로 전송된다.The
상기 제어부(104)는 소정의 시간 간격으로 상기 계산부(103)로부터 사용자의 최종 관심 시선 위치를 수신한다. 상기 제어부(104)는 도 1에는 도시되어 있지 않지만 타이머를 포함할 수 있다. 상기 제어부(104)는 타이머를 이용하여 소정의 시간 동안 상기 계산부(103)로부터 수신한 사용자의 최종 관심 시선 위치가 일정하다고 판단되면, 사용자의 최종 관심 시선 위치에 존재하는 메뉴 등을 활성화한다. The
상기와 같이 본 발명의 실시 예에 따른 시선 추적 장치를 IPTV 시스템에 적용함으로써, 손을 사용하지 못하는 장애인도 리모컨 등의 장치의 조작 없이 IPTV 시스템에서 제공되는 기능을 제어할 수 있다. 또한, IPTV 시스템을 통해서 양방향 화상회의, 실시가 문건 구매 등의 기능을 실행하는 버튼 및 다이얼을 리모컨에 포함시키지 않고도 사용자에게 해당 서비스를 서비스를 제공할 수 있다. By applying the gaze tracking device according to the embodiment of the present invention to the IPTV system as described above, even a disabled person who cannot use his or her hand can control a function provided by the IPTV system without the operation of a device such as a remote controller. In addition, an IPTV system can provide a service to a user without including a button and a dial for executing a function such as two-way video conferencing, purchase of a document, and the like on the remote controller.
또한, 상기 시선 추적 장치를 컴퓨터에 적용함으로써, 키보드, 마우스 등의 조작 없이 사용자가 요구하는 소프트웨어 등을 실행시킬 수 있다. 상기 시선 추적 장치를 게임기 등에 적용함으로써, 조이스틱의 조작 없이 사용자의 시선을 추적하여 게임을 실행 및 정지할 수 있다.In addition, by applying the gaze tracking device to a computer, it is possible to execute the software required by the user without the operation of the keyboard, mouse and the like. By applying the gaze tracking device to a game machine or the like, the gaze of the user can be tracked without manipulating the joystick to start and stop the game.
삭제delete
도 8은 본 발명의 실시 예에 따른 시선 추적 시스템의 시뮬레이션 화면을 도시한 도면이다. 그러면 여기서, 도 9를 참조하여 본 발명의 실시 예에 따른 시선 추적 과정을 보다 구체적으로 설명하기로 한다.8 is a diagram illustrating a simulation screen of a gaze tracking system according to an exemplary embodiment of the present invention. Next, the eye tracking process according to the exemplary embodiment of the present invention will be described in more detail with reference to FIG. 9.
삭제delete
도 9는 본 발명의 실시 예에 따른 시선 추적 과정을 개략적으로 도시한 도면이다. 9 is a diagram schematically illustrating a gaze tracking process according to an exemplary embodiment of the present invention.
도 9를 참조하면, 상기 시선 추적 장치는 900단계에서 카메라로부터 촬영된 눈 영상을 수신하고, 상기 눈 영상에 포함된 조명 반사광을 이용하여 동공 위치를 검출한다. 상기 시선 추적 장치는 901단계에서 상기 900단계에서 검출된 동공 위치를 이용하여 조명 반사광 위치와 동공 중심 좌표를 검출한다.Referring to FIG. 9, in
보다 구체적으로, 상기 시선 추적 장치는 901단계에서 원형 검출 방법을 이용하여 초기 동공 위치를 추출하고, 초기 동공 위치를 기반으로 이진화 과정, 라벨링 과정, 모폴로지 과정을 거쳐 최종 동공 위치를 추출한다. 그리고, 상기 최종 동공 위치를 이용하여 조명 반사광 좌표와 동공 중심 좌표를 검출한다.More specifically, the eye tracking apparatus extracts an initial pupil position using a circular detection method in
다음으로, 상기 시선 추적 장치는 902단계에서 상기 조명 반사광을 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 계산된 조명 반사광 사이의 거리를 이용하여 사용자의 얼굴 움직임 보정 값을 계산한다. 그리고, 상기 시선 추적 장치는 903단계에서 상기 검출된 동공 중심 좌표와 상기 보정된 사용자의 얼굴 움직임 보정 값을 이용하여 사용자의 최종 관심 시선 위치 좌표를 계산한다.In
그런 다음, 상기 시선 추적 장치는 904단계에서 상기 사용자의 최종 관심 시선 위치 좌표를 시스템으로 전송하고, 사용자가 일정시간 같은 곳을 응시할 경우 메뉴를 활성화한다.In operation 904, the gaze tracking device transmits the coordinates of the final gaze position of the user to the system, and activates a menu when the user gazes at a certain place.
한편, 본 발명의 상세한 설명에서는 IPTV 시스템, 컴퓨터, 게임기 등의 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
Meanwhile, in the detailed description of the present invention, specific embodiments of an IPTV system, a computer, a game machine, etc. have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the scope of the following claims, but also by the equivalents of the claims.
삭제delete
101: 수신부
102: 검출부
103: 계산부
104: 제어부
201: 눈 영상 촬영용 카메라
301 및 302 : 적외선 LED101: receiver
102: detector
103: calculation unit
104: control unit
201: Camera for snow video shooting
301 and 302: Infrared LEDs
Claims (15)
카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 수신부;
상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공의 중심 위치를 검출하고, 상기 검출된 동공의 중심 위치를 이용하여 조명 반사광의 좌표와 동공의 중심 좌표를 검출하는 검출부;
상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 검출된 동공의 중심 좌표에 상기 동공의 이동에 따른 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 제 1 계산부; 및
상기 보정된 동공의 중심 좌표를 이용하여 사용자 캘리브레이션에 따라 상기 동공의 이동영역 좌표를 정의하고, 상기 동공의 이동영역 좌표와 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 제 2 계산부를 포함함을 특징으로 하는 시선 추적 장치.
In the eye position tracking device,
A receiver configured to receive an eye image of a user including illumination reflected light captured by a camera;
A detector for detecting a center position of the pupil from the received eye image by using a predetermined method and detecting a coordinate of the illumination reflection light and a center coordinate of the pupil using the detected center position of the pupil;
The distance between the illumination reflection light is calculated using the detected coordinates of the illumination reflection light, and the center coordinates of the pupil is applied by applying the weight between the movement of the pupil and the distance between the illumination reflection light to the detected center coordinates of the pupil. A first calculating unit to correct; And
Define the pupil's movement area coordinates according to user calibration using the corrected pupil's center coordinates, and calculate the gaze position of the user using the relationship between the pupil's movement area coordinates and the coordinate system between the monitor stared by the user. Eye tracking device comprising a second calculation unit.
상기 산출된 사용자의 시선 위치가 미리 결정된 시간 동안 한 곳에 위치할 경우에는 상기 사용자의 시선 위치에 해당하는 메뉴를 활성화 하는 제어부를 더 포함함을 특징으로 하는 시선 추적 장치.
The method of claim 1,
And a controller for activating a menu corresponding to the gaze position of the user when the calculated gaze position of the user is located at one location for a predetermined time.
상기 검출된 동공 영역을 중심으로 지역적 이진화를 수행하고, 모폴로지 연산을 통해 상기 이진화된 영역 중 어두운 영역의 무게중심을 구해, 상기 구해진 어두운 영역의 무게중심을 상기 동공 중심 위치로 판단하는 시선 추적 장치.
The method of claim 1, wherein the detection unit,
Performing local binarization around the detected pupil area, obtaining a center of gravity of a dark area of the binarized area through a morphology operation, and determining the center of gravity of the obtained dark area as the pupil center position.
상기 동공이 좌측 상단, 우측 상단, 좌측 하단 및 우측 하단에 위치할 경우에 검출된 동공의 중심 좌표를 이용하여 동공의 이동영역 좌표를 정의함을 특징으로 하는 시선 추적 장치.
The method of claim 1, wherein the second calculation unit,
An eye gaze tracking device, characterized in that a movement area coordinate of the pupil is defined using the center coordinates of the pupil detected when the pupil is located at the upper left, upper right, lower left and lower right.
상기 동공의 이동 영역의 좌표를 선형보간, 기하학적 또는 복비 변환함수 중 적어도 어느 하나를 이용하여 상기 사용자가 응시하는 모니터에 매핑하여 상기 모니터의 좌표를 계산하는 것을 특징으로 하는 시선 추적 장치. The method of claim 1, wherein the second calculation unit,
And calculating coordinates of the monitor by mapping the coordinates of the movement area of the pupil to a monitor stared by the user by using at least one of linear interpolation, geometrical, and complex ratio conversion functions.
카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 단계;
상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공의 중심 위치를 검출하고, 상기 검출된 동공의 중심 위치를 이용하여 조명 반사광의 좌표와 동공의 중심 좌표를 검출하는 단계;
상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 검출된 동공의 중심 좌표에 상기 동공의 이동에 따른 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 단계;
상기 보정된 동공의 중심 좌표를 이용하여 사용자 캘리브레이션에 따라 상기 동공의 이동영역 좌표를 정의하고, 상기 동공의 이동영역 좌표와 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 단계를 포함함을 특징으로 하는 시선 위치 추적 방법.
In the gaze position tracking method,
Receiving an eye image of a user including illumination reflected light captured by a camera;
Detecting a center position of the pupil from the received eye image using a predetermined method, and detecting a coordinate of the illumination reflection light and a center coordinate of the pupil using the detected center position of the pupil;
The distance between the illumination reflection light is calculated using the detected coordinates of the illumination reflection light, and the center coordinates of the pupil is applied by applying the weight between the movement of the pupil and the distance between the illumination reflection light to the detected center coordinates of the pupil. Correcting;
Define the pupil's movement area coordinates according to user calibration using the corrected pupil's center coordinates, and calculate the gaze position of the user using the relationship between the pupil's movement area coordinates and the coordinate system between the monitor stared by the user. Eye position tracking method characterized in that it comprises a step.
상기 조명 반사광의 좌표와 동공의 중심 좌표를 검출하는 단계는,
원형 동공 템플릿의 내부원과 외부원의 그레이 레벨차의 합을 이용하여 동공 영역을 검출하는 단계;
상기 검출된 동공 영역을 중심으로 지역적 이진화를 수행하고, 모폴로지 연산을 통해 상기 이진화된 영역 중 어두운 영역의 무게중심을 구해, 상기 구해진 어두운 영역의 무게중심을 상기 동공 중심 위치로 판단하는 단계;
상기 동공 중심 위치를 이용해 조명 반사광의 좌표와 동공의 중심 좌표를 검출하는 단계를 포함하는 시선 추적 방법.
The method of claim 9,
Detecting the coordinates of the illumination reflected light and the center coordinates of the pupil,
Detecting the pupil area using the sum of the gray level difference between the inner circle and the outer circle of the circular pupil template;
Performing local binarization around the detected pupil region, obtaining a center of gravity of the dark region of the binarized region through a morphology operation, and determining the center of gravity of the obtained dark region as the pupil center position;
Detecting the coordinates of the reflected light and the center coordinates of the pupil using the pupil center position.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20090095857 | 2009-10-08 | ||
KR1020090095857 | 2009-10-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110038568A KR20110038568A (en) | 2011-04-14 |
KR101094766B1 true KR101094766B1 (en) | 2011-12-20 |
Family
ID=44065197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100026005A KR101094766B1 (en) | 2009-10-08 | 2010-03-23 | Apparatus and mehtod for tracking eye |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101094766B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101869713B1 (en) | 2016-12-30 | 2018-06-21 | (주)씽크포비엘 | Method and apparatus for usability test based on brain wave |
KR20190056642A (en) | 2017-11-17 | 2019-05-27 | 포인드 주식회사 | Eye Tracking Method Using Movement of Pupil and Gap between Eyes and Edge of Face |
KR20220109902A (en) * | 2021-01-29 | 2022-08-05 | 원텍 주식회사 | Measuring device of microsaccade |
WO2022215952A1 (en) | 2021-04-08 | 2022-10-13 | 주식회사 이모코그 | Machine-learning-based eye tracking device and method |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8929589B2 (en) * | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
KR101438948B1 (en) | 2012-12-12 | 2014-09-11 | 현대자동차주식회사 | Apparatus and method for gaze tracking control |
KR102181897B1 (en) * | 2013-05-09 | 2020-11-23 | 에스케이플래닛 주식회사 | Device and method for mobile tooltip using eye detecting |
KR101492933B1 (en) * | 2014-05-23 | 2015-02-12 | 동국대학교 산학협력단 | Apparatus and method for periocular recognition |
KR101582890B1 (en) * | 2014-06-20 | 2016-01-08 | 한국표준과학연구원 | Smart glasses with character recognition fuction and character recognition using the smart glasses |
KR20170084900A (en) * | 2016-01-13 | 2017-07-21 | 한국전자통신연구원 | Apparatus for providing additional information of eye tracking way and method using the same |
KR101643724B1 (en) * | 2016-04-29 | 2016-07-29 | 세종대학교산학협력단 | Method and Apparatus for identifying eyeball position, Method and Apparatus for tracking eyeball position |
KR102469762B1 (en) | 2018-11-16 | 2022-11-22 | 한국전자통신연구원 | Pupil tracking device and pupil tracking method measuring pupil center position and proximity depth between object and pupil moving by optokinetic reflex |
US11630639B2 (en) | 2020-12-08 | 2023-04-18 | Samsung Electronics Co., Ltd. | Control method of electronic device using a plurality of sensors and electronic device thereof |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1097376A (en) | 1996-09-20 | 1998-04-14 | Canon Inc | Operation device for line of sight |
-
2010
- 2010-03-23 KR KR1020100026005A patent/KR101094766B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1097376A (en) | 1996-09-20 | 1998-04-14 | Canon Inc | Operation device for line of sight |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101869713B1 (en) | 2016-12-30 | 2018-06-21 | (주)씽크포비엘 | Method and apparatus for usability test based on brain wave |
KR20190056642A (en) | 2017-11-17 | 2019-05-27 | 포인드 주식회사 | Eye Tracking Method Using Movement of Pupil and Gap between Eyes and Edge of Face |
KR20220109902A (en) * | 2021-01-29 | 2022-08-05 | 원텍 주식회사 | Measuring device of microsaccade |
KR102483010B1 (en) * | 2021-01-29 | 2022-12-30 | 원텍 주식회사 | Measuring device of microsaccade |
WO2022215952A1 (en) | 2021-04-08 | 2022-10-13 | 주식회사 이모코그 | Machine-learning-based eye tracking device and method |
Also Published As
Publication number | Publication date |
---|---|
KR20110038568A (en) | 2011-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101094766B1 (en) | Apparatus and mehtod for tracking eye | |
KR100850357B1 (en) | System and method for tracking gaze | |
EP3453316B1 (en) | Eye tracking using eyeball center position | |
US9924866B2 (en) | Compact remote eye tracking system including depth sensing capacity | |
US10032074B2 (en) | Systems and methods for high-resolution gaze tracking | |
EP2710516B1 (en) | Systems and methods for identifying gaze tracking scene reference locations | |
JP4783018B2 (en) | Method and apparatus for detecting and tracking the eye and its gaze direction | |
US20190235624A1 (en) | Systems and methods for predictive visual rendering | |
US7380938B2 (en) | Apparatus to detect and measure saccade and pupilary changes | |
US7819525B2 (en) | Automatic direct gaze detection based on pupil symmetry | |
KR100949743B1 (en) | Apparatus and method for wearable eye tracking having goggle typed | |
KR20120057033A (en) | Gaze tracking system and method for controlling internet protocol tv at a distance | |
KR101471488B1 (en) | Device and Method for Tracking Sight Line | |
US20180336720A1 (en) | Systems and Methods For Generating and Using Three-Dimensional Images | |
US20110170060A1 (en) | Gaze Tracking Using Polarized Light | |
JP6631951B2 (en) | Eye gaze detection device and eye gaze detection method | |
CN114025659A (en) | Ametropia determination of an eye | |
US20220148218A1 (en) | System and method for eye tracking | |
KR20210122271A (en) | Eye tracking devices and methods | |
CN109964230A (en) | Method and apparatus for eyes measurement acquisition | |
JP5818233B2 (en) | Gaze measurement apparatus and method | |
CN105380590B (en) | A kind of equipment and its implementation with eye position detection function | |
KR20200089204A (en) | Eye tracking system for mild cognitive impairment | |
JP2002000567A (en) | Method of measuring pupil center position and method of detecting view point position | |
JP7228885B2 (en) | Pupil detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20141208 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20161206 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20171204 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20191128 Year of fee payment: 9 |