KR20110100987A - User interface method using eye-gaze tracking and terminal thereof - Google Patents

User interface method using eye-gaze tracking and terminal thereof Download PDF

Info

Publication number
KR20110100987A
KR20110100987A KR1020100020103A KR20100020103A KR20110100987A KR 20110100987 A KR20110100987 A KR 20110100987A KR 1020100020103 A KR1020100020103 A KR 1020100020103A KR 20100020103 A KR20100020103 A KR 20100020103A KR 20110100987 A KR20110100987 A KR 20110100987A
Authority
KR
South Korea
Prior art keywords
gaze
user
terminal
tracking
display unit
Prior art date
Application number
KR1020100020103A
Other languages
Korean (ko)
Inventor
홍상우
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020100020103A priority Critical patent/KR20110100987A/en
Publication of KR20110100987A publication Critical patent/KR20110100987A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 시선 추적을 이용한 사용자 인터페이스 방법 및 이를 적용한 단말에 관한 것이다. 본 발명에 따른 단말에 있어서, 표시부는 시각적으로 표현되는 정보를 표시한다. 그 동안, 카메라부는 사용자의 눈을 포함하는 사용자 영상을 촬영한다. 그리고 제어부가 상기 카메라부에 의해 촬영된 사용자 영상으로부터 특정 색상이나 발광 물질을 포함하는 콘택트 렌즈를 착용한 사용자의 눈을 인식하여 상기 사용자의 시선 궤적을 추적하고, 상기 시선 궤적의 추적 중에 단말 조작을 위한 시선 집중이 감지되면, 상기 표시부 상에서 시선이 집중된 시선 집중 위치를 산출한 후, 상기 시선 집중 위치를 기준으로 상기 표시되는 정보를 설정된 비율로 확대한다.The present invention relates to a user interface method using gaze tracking and a terminal to which the same is applied. In the terminal according to the present invention, the display unit displays information visually represented. In the meantime, the camera unit captures a user image including the eyes of the user. The control unit recognizes the eye of the user wearing a contact lens including a specific color or a light emitting material from the user image photographed by the camera unit to track the gaze trajectory of the user, and performs the terminal operation during the tracking of the gaze trajectory. When the eye gaze concentration is detected, the gaze concentration position where the gaze is concentrated on the display unit is calculated, and then the displayed information is enlarged at a set ratio based on the gaze concentration position.

Description

시선 추적을 이용한 사용자 인터페이스 방법 및 이를 적용한 단말{User interface method using eye-gaze tracking and terminal thereof}User interface method using eye tracking and terminal applying the same

본 발명은 시선 추적을 이용한 사용자 인터페이스 방법 및 이를 적용한 단말에 관한 것으로서, 더욱 상세하게는 단말을 통해 임의의 정보를 표시하는데 있어서, 사용자가 손을 사용하지 않고 시선의 집중만으로 원하는 부분을 확대하여 볼 수 있도록 하는 시선 추적을 이용한 사용자 인터페이스 방법 및 이를 적용한 단말에 관한 것이다.The present invention relates to a user interface method using gaze tracking and a terminal to which the present invention is applied. More particularly, in displaying arbitrary information through a terminal, the user can enlarge and view a desired part only by focusing eyes without using a hand. The present invention relates to a user interface method using gaze tracking and a terminal to which the same is applied.

핸드폰이나 PDA(Portable Data Assistant) 등과 같은 휴대 단말은 사용자가 휴대 가능한 형태로 구현되어 시간 및 장소에 구애 받지 않고 사용 가능한 것으로서, 휴대가 용이하도록 하기 위하여 그 크기 및 무게 등에 제약을 받게 된다. 따라서, 휴대 단말에서는 화면의 크기를 크게 하는데 한계가 있다.A portable terminal such as a mobile phone or a portable data assistant (PDA) is implemented in a portable form and can be used regardless of time and place, and is limited in size and weight in order to make it easy to carry. Therefore, there is a limit in increasing the size of the screen in the mobile terminal.

이에 반하여, 2.3GHz 휴대인터넷, Wireless LAN, WCDMA, 위성 및 DMB와 같은 다양한 형태의 무선 네트워크가 출현하면서, 이러한 무선 네트워크에서 활용 가능하도록 휴대 단말이 고성능 및 고기능화 되어가면서, 상기 휴대 단말에서 화면을 통해 출력할 정보의 양은 점차 더 많아지고 있다. On the contrary, with the emergence of various types of wireless networks such as 2.3 GHz portable Internet, Wireless LAN, WCDMA, satellite, and DMB, portable terminals become high performance and high functionality to be utilized in such wireless networks. The amount of information to be printed is increasing.

따라서, 휴대 단말에서는 화면의 크기에 맞추어 영상, 텍스트 등과 같은 정보를 작게 표시한 후, 사용자가 필요한 부분을 선택하여 자세히 볼 수 있도록 하는 확대 기능을 제공한다.Therefore, the portable terminal displays a small information such as an image, text, etc. in accordance with the size of the screen, and then provides a magnification function for the user to select the necessary portion to view in detail.

이를 위해서, 사용자는 키패드, 키보드, 마우스, 조이스틱과 같이 휴대 단말에 구비된 입력 수단을 손으로 조작하여, 휴대 단말의 화면에서 필요한 부분을 선택하고, 확대 명령을 지시하여야 한다.To this end, the user must manipulate the input means provided in the portable terminal, such as a keypad, a keyboard, a mouse, and a joystick, by hand to select a necessary portion on the screen of the portable terminal and instruct an enlargement command.

이와 같이 종래의 단말은 사용자가 표시된 정보 중에서 특정 영역을 확대하기 위해서 입력 수단을 손으로 여러 번 조작해야 하기 때문에, 사용이 불편하다. 특히, 휴대 단말의 경우, 사용자가 휴대 단말을 손으로 지지하고 있는 상태에서 입력 수단을 조작하여야 하기 때문에, 손으로 입력 수단을 조작하기가 어렵고, 그에 따라서 사용자 불편이 가중된다.As such, the conventional terminal is inconvenient to use because the user has to manipulate the input means several times by hand in order to enlarge a specific area among the displayed information. In particular, in the case of a portable terminal, since the user must operate the input means while the user is supporting the portable terminal by hand, it is difficult to operate the input means by hand, thereby increasing user inconvenience.

본 발명은 사용자가 단말을 조작하는데 있어서의 불편함을 해소하기 위한 것으로서, 특히 단말을 통해 임의의 정보를 표시하는데 있어서, 특정 색상이나 발광 물질이 포함된 콘택트 렌즈를 착용한 사용자의 시선 궤적을 추적함으로써 쉽게 사용자의 시선을 추적하여 시선이 집중된 부분을 확대하는 시선 추적을 이용한 사용자 인터페이스 방법 및 이를 적용한 단말을 제공하고자 한다.The present invention is to solve the user's inconvenience in operating the terminal, in particular, in displaying arbitrary information through the terminal, tracking the eye trace of the user wearing a contact lens containing a specific color or light emitting material By providing a user interface method using a gaze tracking to easily track the gaze of the user to enlarge the area where the gaze is concentrated, and a terminal to which the same is applied.

본 발명은 상기 과제를 해결하기 위한 수단으로서, 카메라부와, 표시부와, 제어부를 포함하는 단말을 제공한다.The present invention provides a terminal including a camera unit, a display unit, and a control unit as a means for solving the above problems.

상기 단말에 있어서, 상기 카메라부는 사용자의 눈을 포함하는 사용자 영상을 촬영한다. 상기 표시부는 시각적으로 표현되는 정보를 표시한다. 상기 제어부는 상기 표시부를 통해 정보가 표시되는 동안, 상기 카메라부에 의해 촬영된 사용자 영상으로부터 특정 색상이나 발광 물질을 포함하는 콘택트 렌즈를 착용한 사용자의 눈을 인식하여 상기 사용자의 시선 궤적을 추적하고, 상기 시선 궤적의 추적 중에 단말 조작을 위한 시선 집중이 감지되면, 상기 표시부 상에서 시선이 집중된 시선 집중 위치를 산출하여, 상기 시선 집중 위치를 기준으로 상기 표시되는 정보를 설정된 비율로 확대한다.In the terminal, the camera unit captures a user image including the eyes of the user. The display unit displays information that is visually represented. While the information is displayed through the display unit, the control unit recognizes the eye of the user wearing a contact lens including a specific color or light emitting material from the user image photographed by the camera unit to track the gaze trajectory of the user. When the gaze concentration for the terminal operation is detected during the tracking of the gaze trajectory, the gaze concentration position where the gaze is concentrated on the display unit is calculated, and the displayed information is enlarged at a set ratio based on the gaze concentration position.

본 발명에 따른 단말은, 시선 궤적의 추적을 위하여 상기 사용자의 눈에 착용되며, 특정 색상이나 발광 물질을 포함하는 콘택트 렌즈를 더 포함하며, 상기 콘택트 렌즈는 시선의 방향을 표시하기 위한 하나 이상의 기준 패턴을 구비하는 것을 특징으로 한다.The terminal according to the present invention further includes a contact lens worn on the eye of the user for tracking the gaze trajectory and including a specific color or light emitting material, wherein the contact lens includes one or more criteria for indicating the direction of the gaze. It is characterized by including a pattern.

상기 제어부는, 상기 카메라부가 촬영한 사용자 영상으로부터, 특정 색상이나 발광물질을 포함하는 콘택트 렌즈를 착용한 사용자의 눈을 인식하여 시선의 궤적을 추적하고, 상기 시선 궤적의 추적을 통하여 상기 단말 조작을 위한 시선 집중을 감지하는 시선 추적 모듈과, 상기 시선 추적 모듈에서 단말 조작을 위한 시선 집중을 감지하면, 상기 표시부 상에서 사용자의 시선이 집중된 시선 집중 위치를 산출하는 위치 산출 모듈과, 상기 표시부로 정보를 표시하는 중에, 상기 시선 추적 모듈에서 단말 조작을 위한 시선 집중을 감지하면, 상기 위치 산출 모듈에서 산출한 시선 집중 위치를 기준으로 상기 표시한 정보를 확대하는 브라우징 모듈을 포함한다.The control unit recognizes eyes of a user wearing a contact lens including a specific color or a light emitting material from the user image photographed by the camera unit to track the trajectory of the gaze, and performs the terminal operation through the tracking of the gaze trajectory. A gaze tracking module for detecting gaze concentration for detecting, a gaze tracking module for calculating a gaze concentration at which the user's gaze is concentrated on the display unit when the gaze tracking module detects gaze concentration for a terminal operation; During the display, when the gaze tracking module detects the gaze concentration for the terminal operation, the browsing module may be configured to enlarge the displayed information based on the gaze concentration position calculated by the location calculation module.

상기 제어부는, 상기 시선 집중 위치를 기준으로 설정된 크기의 영역을 상기 설정된 비율로 확대하거나, 상기 시선 집중 위치를 기준으로 상기 표시부에 표시된 정보의 전체를 확대한다.The controller enlarges an area having a size set based on the gaze concentration position at the set ratio, or enlarges the entirety of the information displayed on the display unit based on the gaze concentration position.

상기 제어부는, 상기 사용자의 시선이 기준 시간 이상 일정 위치에 고정되는 경우를 상기 단말 조작을 위한 시선 집중으로 감지한다.The controller detects a case in which the gaze of the user is fixed at a predetermined position for a reference time or more by focusing the gaze for the terminal operation.

더하여, 상기 과제를 해결하기 위한 다른 수단으로서, 본 발명은 단말이, 표시부를 통해 시각적으로 표현되는 정보를 표시하는 동안, 사용자의 눈을 포함하는 사용자 영상을 촬영하는 단계; 상기 사용자 영상으로부터 특정 색상이나 발광 물질을 포함하는 콘택트 렌즈의 인식을 통해 사용자의 눈에서 동공의 중심을 인식하여, 사용자의 시선 궤적을 추적하는 단계; 상기 시선 궤적의 추적에 의해, 단말 조작을 위한 시선 집중을 감지하는 단계; 상기 단말 조작을 위한 시선 집중을 감지하면, 표시부 상에서 시선이 집중된 시선 집중 위치를 산출하는 단계; 및 상기 산출한 시선 집중 위치를 기준으로 상기 표시부에 표시된 정보를 설정 비율로 확대하는 단계;를 포함하는 시선 추적을 이용한 사용자 인터페이스 방법을 제공한다.In addition, as another means for solving the above problems, the present invention comprises the steps of photographing the user image including the eyes of the user, while the terminal displays the information visually represented through the display; Recognizing the center of the pupil in the user's eye by recognizing a contact lens including a specific color or a luminescent material from the user image to track the user's gaze trajectory; Detecting eye focus for terminal manipulation by tracking the eye trace; Calculating a gaze concentration position where the gaze is concentrated on the display unit when the gaze concentration for the terminal manipulation is sensed; And expanding the information displayed on the display unit at a set ratio based on the calculated gaze concentration position.

본 발명에 의한 시선 추적을 이용한 사용자 인터페이스 방법에 있어서, 상기 사용자의 시선 궤적을 추적하는 단계는, 상기 인식한 특정 색상이나 발광 물질을 포함하는 콘택트 렌즈에 표시되어 방향을 표시하는 기준 패턴을 추출하여, 상기 기준 패턴의 형상 및 위치에 근거하여 상기 사용자의 시선의 방위를 판별하는 것을 특징으로 한다.In the user interface method using gaze tracking according to the present invention, the tracking of the gaze trajectory of the user may include extracting a reference pattern displayed on a contact lens including the recognized specific color or light emitting material and indicating a direction. The orientation of the gaze of the user may be determined based on the shape and the position of the reference pattern.

상기 표시된 정보를 설정 비율로 확대하는 단계는, 상기 시선 집중 위치를 기준으로 설정된 크기의 영역을 상기 설정된 비율로 확대하는 단계이거나, 상기 시선 집중 위치를 기준으로 상기 표시부에 의해 표시되는 정보의 전체를 확대하는 단계일 수 있다.The step of enlarging the displayed information at a set ratio may include enlarging an area having a size set based on the gaze concentration position at the set ratio, or enlarge the entire information displayed by the display unit based on the gaze concentration position. It may be a step of enlarging.

상기 단말 조작을 위한 시선 집중을 감지하는 단계는, 상기 사용자의 시선이 기준 시간 이상 일정 위치에 고정되는 지를 감지하는 단계인 것을 특징으로 한다.The detecting the gaze concentration for the terminal operation may include detecting whether the gaze of the user is fixed at a predetermined position for a reference time or more.

본 발명은, 단말이 임의의 정보를 표시하는데 있어서, 특정 색상이나 발광 물질이 포함된 콘택트 렌즈를 착용한 사용자의 시선 궤적을 추적하여, 사용자의 시선이 집중된 부분을 검출하고, 검출된 부분을 확대함으로써, 사용자의 시선 집중 여부 및 시선이 집중된 위치를 용이하게 파악할 수 있다. 또한, 이를 이용하여 사용자가 시선 집중만으로 단말을 조작하여 원하는 부분의 확대할 수 있도록 함으로써, 단말 조작시의 사용자 편의성을 향상시킬 수 있다.According to the present invention, when the terminal displays arbitrary information, the line of sight of the user wearing a contact lens including a specific color or light emitting material is traced to detect a portion where the line of sight of the user is concentrated, and enlarge the detected portion. Thus, it is possible to easily determine whether the user's eyes are concentrated and the position where the eyes are concentrated. In addition, by using this to allow the user to operate the terminal by focusing attention only to enlarge the desired portion, it is possible to improve user convenience during terminal operation.

도 1a는 본 발명에 따른 단말의 구성을 나타낸 블럭도이다.
도 1b는 본 발명에서 이용되는 콘택트 렌즈를 예시한 도면이다.
도 2는 본 발명에 따른 시선 추적을 이용한 사용자 인터페이스 방법을 나타낸 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 단말의 시선 추적을 이용한 사용자 인터페이스 과정을 보인 예시도이다.
도 4는 본 발명의 다른 실시 예에 따른 단말의 시선 추적을 이용한 사용자 인터페이스 과정을 보인 예시도이다.Figure 1a is a block diagram showing the configuration of a terminal according to the present invention.
1B is a diagram illustrating a contact lens used in the present invention.
2 is a flowchart illustrating a user interface method using gaze tracking according to the present invention.
3 is an exemplary view illustrating a user interface process using gaze tracking of a terminal according to an exemplary embodiment of the present disclosure.
4 is an exemplary view illustrating a user interface process using gaze tracking of a terminal according to another exemplary embodiment of the present disclosure.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in the following description and the accompanying drawings, detailed descriptions of well-known functions or configurations that may obscure the subject matter of the present invention will be omitted. In addition, it should be noted that like elements are denoted by the same reference numerals as much as possible throughout the drawings.

도 1a는 본 발명에 따른 단말의 상세 구성을 보인 블럭도이다.Figure 1a is a block diagram showing a detailed configuration of a terminal according to the present invention.

도 1a를 참조하면, 본 발명에 따른 단말(10)은 카메라부(11)와, 표시부(12)와, 제어부(13)를 포함하여 이루어진다. 더하여, 본 발명에서는, 시선 추적을 위하여 상기 단말(10)의 사용자의 눈에 착용하는 콘택트 렌즈(20)를 포함한다.Referring to FIG. 1A, the terminal 10 according to the present invention includes a camera unit 11, a display unit 12, and a controller 13. In addition, the present invention includes a contact lens 20 worn on the eyes of the user of the terminal 10 for eye tracking.

도 1b는 본 발명에서 시선 추적에 이용되는 콘택트 렌즈(20)에 대한 예시도이다.1B is an exemplary view of a contact lens 20 used for eye tracking in the present invention.

도 1b를 참조하면, 상기 콘택트 렌즈(20)는 시선 추적을 위한 사용자의 눈 영역의 검출이 용이하도록, 특정 색상이나 발광 물질로 이루어진다. 더하여, 상기 콘택트 렌즈(20)는, 시선의 방위를 검출하기 위한 하나 이상의 기준 패턴(21)을 포함한다.Referring to FIG. 1B, the contact lens 20 is made of a specific color or a light emitting material to facilitate detection of an eye region of a user for eye gaze tracking. In addition, the contact lens 20 includes one or more reference patterns 21 for detecting the orientation of the gaze.

일반적으로, 사람이 화면의 특정 점을 주시할 때, 상기 특정 점의 영상이 망막의 중심에 위치하도록 안구가 조절된다. 즉, 안구의 중심, 더 구체적으로 동공의 중심과 상기 특정 점이 일직선 상에 위치하게 된다. 따라서, 시선 추적을 위해서는, 사용자 눈, 특히 동공 영역을 검출하고, 이어서 상기 동공 영역의 중심점을 검출하며, 카메라 좌표계와 화면의 좌표계 사이의 관계에 근거하여, 상기 검출된 동공의 중심점의 위치를 화면상에 대응하는 주시점의 좌표로 변환한다. 이러한 과정에서, 본 발명은, 콘택트 렌즈(20)에 포함된 특정 색상이나 발광 물질을 기준으로 상기 사용자의 눈 영역, 특히 동공 영역을 검출함으로써, 별도의 추가 장치없이 하나의 카메라만으로 사용자의 동공 영역을 쉽게 검출할 수 있다. 더하여, 시선의 방위, 즉, 시선의 방향을 검출하는데 있어서, 상기 콘택트 렌즈(20)에 구비된 하나 이상의 기준 패턴(21)을 이용한다. 더 구체적으로는, 안구가 움직임에 따라서, 카메라부(11)로 촬영된 영상에서 나타나는 사용자의 눈 영역상에서 상기 하나 이상의 기준 패턴(21)과 동공의 중심점(22)의 위치 관계가 달라지며, 본 발명에서는 이러한 관계에 근거하여 시선의 방향을 산출할 수 있다.In general, when a person looks at a specific point on the screen, the eye is adjusted so that the image of the specific point is located at the center of the retina. That is, the center of the eyeball, more specifically, the center of the pupil and the specific point are located on a straight line. Therefore, for eye tracking, a user's eye, in particular, a pupil area is detected, and then a center point of the pupil area is detected, and based on the relationship between the camera coordinate system and the coordinate system of the screen, the position of the detected center point of the pupil is displayed. Converts to coordinates of the gaze point corresponding to the image. In this process, the present invention, by detecting the eye area, in particular the pupil area of the user based on a specific color or a light emitting material included in the contact lens 20, the pupil area of the user with only one camera without any additional device Can be easily detected. In addition, one or more reference patterns 21 provided in the contact lens 20 are used to detect the direction of the eye, that is, the direction of the eye. More specifically, as the eyeball moves, the positional relationship between the one or more reference patterns 21 and the center point 22 of the pupil changes on the eye region of the user that appears in the image captured by the camera unit 11. In the present invention, the direction of the gaze can be calculated based on this relationship.

상기 카메라부(11)는, 상기 표시부(12)에 표시된 정보를 보는 사용자의 눈, 더 구체적으로는 상기 콘택트 렌즈(20)를 착용한 사용자의 눈 영상을 촬영한다. 이를 위하여, 상기 카메라부(11)는, 상기 표시부(12)가 형성된 단말(10)의 전면(前面)에서, 그 전방의 영상을 촬영하도록 형성된다. 특히, 상기 카메라부(11)는, 사용자가 단말(10)의 표시부(12)를 보고 있을 때, 사용자의 눈을 포함하는 사용자 영상이 촬영 범위에 들어오도록 형성되는 것이 바람직하다. 일반적으로 사용자가 단말(10)의 표시부(12)를 주시하는 경우, 화면이 모두 시야각 범위에 들어오기 때문에, 사용자는 주로 눈동자만을 움직이게 된다. 따라서, 상기 하나의 카메라부(11)를 통해 사용자의 눈 영역을 촬영하는 것만으로, 시선 추적이 가능하다.The camera unit 11 captures an image of an eye of a user who views information displayed on the display unit 12, more specifically, an eye of a user wearing the contact lens 20. To this end, the camera unit 11 is formed to take an image of the front of the terminal 10 on which the display unit 12 is formed. In particular, the camera unit 11, when the user is looking at the display unit 12 of the terminal 10, it is preferable that the user image including the user's eyes to enter the shooting range. In general, when the user looks at the display unit 12 of the terminal 10, since the screens are all within the viewing angle range, the user mainly moves only the pupils. Therefore, the eye gaze tracking is possible only by photographing the eye region of the user through the one camera unit 11.

상기 표시부(12)는, 상기 제어부(13)의 제어에 따라서, 시각적으로 표현되는 정보를 표시한다. 상기 정보는 동영상, 텍스트, 사진 및 웹 페이지 등뿐만 아니라, 단말(10)에서 실행할 수 있는 기능을 알려주는 메뉴까지 포함할 수 있다. 또한, 상기 표시부(12)는, 상기 제어부(13)의 제어에 따라서, 상기 표시하고 있는 정보의 특정 부분을 확대하여 표시한다. 이러한 표시부(12)로는, LCD(Liquid Crystal Display)나 터치스크린 등 다양한 형태의 디스플레이 수단이 사용될 수 있다.The display unit 12 displays information visually represented under the control of the control unit 13. The information may include not only a video, text, a photo, a web page, and the like, but also a menu indicating a function that can be executed in the terminal 10. In addition, the display unit 12 enlarges and displays a specific portion of the displayed information under the control of the control unit 13. As the display unit 12, various types of display means such as an LCD (Liquid Crystal Display) or a touch screen may be used.

상기 제어부(13)는, 상기 카메라부(11)에서 촬영된 사용자 영상을 이용하여 사용자의 시선 궤적을 추적하고, 상기 시선 궤적의 추적을 통해 단말 조작을 위한 시선 집중이 인식되면 상기 시선이 집중되는 표시부(12) 상의 위치(이하, 시선 집중 위치라 한다)를 산출하여, 상기 시선 집중 위치를 기준으로 표시부(12)에 표시되는 정보를 확대한다. The controller 13 tracks the gaze trajectory of the user by using the user image photographed by the camera unit 11, and when the gaze concentration for the terminal operation is recognized through the tracking of the gaze trajectory, the gaze is concentrated. The position on the display unit 12 (hereinafter referred to as the gaze concentration position) is calculated to enlarge the information displayed on the display unit 12 based on the gaze concentration position.

이를 위하여, 상기 제어부(13)는, 시선 추적 모듈(131)과, 위치 산출 모듈(132)과, 브라우징 모듈(133)을 포함한다.To this end, the controller 13 includes a gaze tracking module 131, a position calculation module 132, and a browsing module 133.

상기 시선 추적 모듈(131)은, 상기 표시부(12)를 통해 특정 정보를 표시하는 중에, 이미지 프로세싱을 통하여 상기 카메라부(11)에서 촬영된 사용자 영상으로부터, 특정 색상이나 발광물질을 포함하는 콘택트 렌즈를 착용한 사용자의 눈동자 영역을 검출하고, 이로부터 사용자의 시선 움직임을 검출하고, 시간의 경과에 따른 시선의 움직임을 연결하여 사용자의 시선의 궤적을 추적한다. 이때, 상기 시선 추적 모듈(131)은 촬영된 영상에서 특정 색상이나 발광 물질이 나타나는 영역을 추출함으로써, 사용자의 눈을 보다 쉽게 인식할 수 있다. 더하여, 상기 검출된 눈 영역에서, 상기 콘택트 렌즈(20)에 표시된 하나 이상의 기준 패턴(21)과 동공의 중심점의 위치를 추출하고, 이 들간의 기하학적인 위치 관계를 확인함으로써, 시선의 방향을 산출한다.The eye tracking module 131 may include a contact lens including a specific color or a light emitting material from a user image photographed by the camera unit 11 through image processing while displaying specific information through the display unit 12. Detects the eye area of the user who wears the eye, detects the eye movement of the user from the eye, and tracks the trajectory of the eye of the user by connecting the movement of the eye over time. In this case, the gaze tracking module 131 extracts an area in which a specific color or a light emitting material appears in the captured image, thereby making it easier to recognize the user's eyes. In addition, in the detected eye region, the direction of the gaze is calculated by extracting the positions of the one or more reference patterns 21 displayed on the contact lens 20 and the center point of the pupil, and confirming the geometric positional relationship therebetween. do.

그리고, 상기 시선 추적 모듈(131)은, 상기 시선 궤적의 추적을 통해서, 단말 조작을 위한 시선 집중을 검출한다. 상기 단말 조작을 위한 시선 집중은, 사용자의 시선이 기준 시간 이상 일정 위치에 고정되어 있는 상태를 의미하며, 상기 기준 시간은 일상적인 사용자의 시선 움직임을 구별할 수 있도록 설정되는 것이 바람직하다. 다만, 상기 기준 시간에 비례하여, 사용자가 단말 조작을 위해 화면에 시선을 고정해야 하는 시간이 길어지므로, 사용자의 불편을 최소화할 수 있는 시간 범위 내에서 기준 시간을 설정하는 것이 바람직하다. The gaze tracking module 131 detects gaze concentration for terminal operation through tracking the gaze trajectory. The gaze concentration for the terminal operation refers to a state in which the gaze of the user is fixed at a predetermined position for more than a reference time, and the reference time is preferably set to distinguish the gaze movement of the user. However, since the time for the user to fix the gaze on the screen for the terminal operation becomes longer in proportion to the reference time, it is preferable to set the reference time within a time range that can minimize the inconvenience of the user.

상기에서 단말 조작을 위한 시선 집중이 검출되면, 상기 위치 산출 모듈(132)이 표시부(12)에 의해 정보가 표시되는 화면상에서 상기 시선 집중 위치를 산출한다. 상기 시선 집중 위치는, 영상의 좌표계와 표시부(12)로 표시되는 화면 상의 좌표계를 매핑함에 의해 이루어질 수 있다. When the line of sight concentration for the terminal operation is detected, the position calculating module 132 calculates the line of sight line concentration on the screen on which information is displayed by the display unit 12. The gaze concentration position may be achieved by mapping a coordinate system of an image and a coordinate system on a screen displayed by the display unit 12.

그리고, 상기 브라우징 모듈(133)은, 상기 임의의 정보를 표시부(12)에 표시하는 중에, 상기 단말 조작을 위한 시선 집중이 검출되면, 상기 검출된 시선 집중 위치를 기준으로 상기 표시된 정보를 확대한다. 여기서, 정보의 확대는, 상기 시선 집중 위치를 기준으로 일정 영역의 정보만을 설정된 비율로 확대하거나, 상기 시선 집중 위치를 기준으로 상기 표시부(12)의 화면 전체를 확대할 수 있다. 또한, 상기 비율은 디폴트 값으로 설정될 수도 있고, 사용자가 임의의 값으로 설정하도록 할 수도 있다.The browsing module 133 enlarges the displayed information based on the detected gaze concentration position when the gaze concentration for the terminal operation is detected while displaying the arbitrary information on the display unit 12. . In this case, the enlargement of the information may be performed by expanding only the information of a predetermined region on the basis of the gaze concentration position, or may enlarge the entire screen of the display unit 12 based on the gaze concentration position. In addition, the ratio may be set to a default value or may be set by the user to an arbitrary value.

도 2는 본 발명에 따른 단말에서의 시선 추적을 이용한 사용자 인터페이스 방법을 나타낸 순서도이다.2 is a flowchart illustrating a user interface method using gaze tracking in a terminal according to the present invention.

도 2를 참조하면, 단말(10)은 임의의 정보를 표시부(12)에 표시한다(S201). 상기 정보는 표시부(12)를 통해 사용자에게 시각적인 이미지나 글자로 제공되는 정보로서, 앞서 설명한 바와 같이, 사진, 동영상, 텍스트 및 웹페이지뿐만 아니라 단말의 기능을 시각적으로 나타낸 메뉴 등 상기 표시부(12)를 통해 제공되는 모든 시각 정보를 포함할 수 있다.Referring to FIG. 2, the terminal 10 displays arbitrary information on the display unit 12 (S201). The information is provided as a visual image or text to the user through the display unit 12. As described above, the display unit 12, such as a menu that visually shows the functions of the terminal as well as photos, videos, texts, and web pages. It can include all visual information provided through).

상기와 같이 임의의 정보가 표시부(12)에 표시되는 동안, 카메라부(11)는 단말(10)의 전면에서 상기 표시된 정보를 확인하는 사용자의 영상, 특히 사용자의 눈을 포함하는 사용자 영상을 연속으로 촬영하고, 제어부(13)가 이미지 프로세싱을 통하여 상기 연속으로 촬영된 영상으로부터 사용자의 시선 궤적을 추적한다(S202). 더 구체적으로는, 상기 촬영된 사용자의 영상에서, 상기 콘택트 렌즈(20)에 의해 나타나는 특정 색상이나 발광 물질을 검출하여, 사용자의 눈, 즉, 동공 영역을 검출한다. 그리고, 상기 동공의 중심점(22)을 검출한다. 더하여, 본 발명에서는 상기 콘택트 렌즈(20)에 구비된 하나 이상의 기준 패턴(21)을 검출한다. 그리고, 상기 검출된 동공의 중심점(22)과 하나 이상의 기준 패턴(21)간의 위치 관계를 분석하여, 시선 방향을 검출하고, 시간적으로 변화하는 시선 방향을 연결함으로써, 시선의 궤적을 추적한다.While the arbitrary information is displayed on the display unit 12 as described above, the camera unit 11 continues the image of the user confirming the displayed information on the front of the terminal 10, in particular, the user image including the user's eyes. In step S202, the controller 13 tracks the gaze trajectory of the user from the continuously photographed images through image processing. More specifically, the user's eyes, that is, the pupil area, are detected by detecting a specific color or a light emitting material represented by the contact lens 20 in the captured user's image. Then, the center point 22 of the pupil is detected. In addition, the present invention detects one or more reference patterns 21 provided in the contact lens 20. Then, by analyzing the positional relationship between the detected center point 22 of the pupil and one or more reference patterns 21, the direction of the eye is detected and the path of the eye is tracked by connecting the direction of the eye changing in time.

그리고, 상기 시선 궤적의 추적을 통해서 사용자의 시선이 일정 방향으로 기준 시간 이상 고정되는 단말 조작을 위한 시선 집중이 있는 지를 판단한다(S203). 상기 기준 시간은 임의로 설정될 수 있으나, 일상적인 사용자의 시선 움직임과 단말 조작을 위한 시선 집중을 구분할 수 있도록 설정되는 것이 바람직하며, 또한, 사용자 불편을 최소화한 시간 범위 내에서 설정되는 것이 바람직하다.Then, the tracking of the gaze trajectory determines whether there is a gaze concentration for the terminal operation in which the gaze of the user is fixed for a predetermined time or more in a predetermined direction (S203). The reference time may be arbitrarily set, but it is preferable that the reference time is set so as to distinguish the gaze movement of the daily user from the gaze concentration for the terminal operation. Also, the reference time may be set within a time range that minimizes user inconvenience.

상기에서, 단말 조작을 위한 시선 집중이 발생하면, 즉, 사용자가 기준 시간 이상 일정 방향으로 시선을 고정하는 경우, 상기 정보가 표시되는 표시부(12) 상에서 사용자의 시선이 고정된 시선 집중 위치를 산출한다(S204). 더 구체적으로, 상기 시선 집중 위치는, 카메라부(11)에 의해 촬영된 영상의 좌표계와, 표시부(12)의 화면의 좌표계의 기하학적 관계로부터 상기 동공의 위치를 화면의 좌표로 매핑함에 의해 산출될 수 있다. 그리고, 본 발명은 상기 산출된 시선 집중 위치를 기준으로, 상기 표시된 정보를 설정된 비율로 확대한다(S205). 더 구체적으로는, 상기 산출된 시선 집중 위치를 기준으로 일정 크기의 영역을 설정된 비율로 확대하거나, 상기 산출된 시선 집중 위치를 기준으로 화면 전체를 설정된 비율로 확대한다.In the above, when the gaze concentration for the terminal operation occurs, that is, when the user fixes the gaze in a predetermined direction for more than a reference time, the gaze concentration position where the gaze of the user is fixed is calculated on the display unit 12 on which the information is displayed. (S204). More specifically, the gaze concentration position may be calculated by mapping the position of the pupil to the coordinates of the screen from the geometric relationship between the coordinate system of the image photographed by the camera unit 11 and the coordinate system of the screen of the display unit 12. Can be. In addition, the present invention enlarges the displayed information at a set ratio based on the calculated gaze concentration position (S205). More specifically, an area of a predetermined size is enlarged at a set ratio based on the calculated gaze concentration position, or the entire screen is enlarged at a set ratio based on the calculated gaze concentration position.

도 3은 본 발명의 일 실시 예에 따른 휴대 단말에서의 사용자 인터페이스 과정을 예시한 도면이다.3 is a diagram illustrating a user interface process in a mobile terminal according to an embodiment of the present invention.

사용자가 휴대 단말(30)에서 앨범 기능을 선택할 경우, 도 3의 (a)에 도시된 바와 같이, 휴대 단말(30)의 표시부(31)에 임의의 정보로서 다수의 사진이 표시된다. 이때 상기 휴대 단말(30)의 크기 제약으로 인하여, 상기 다수의 사진은 작은 크기로 표시될 수 밖에 없다. 따라서, 사용자는 상기 표시된 다수의 사진을 대략적으로만 훑어 볼 수 있으며, 특정 사진을 자세히 보고자 할 경우, 해당 사진을 선택하여 확대를 지시하여야 한다. 이 경우, 본 발명에서는, 사용자가 특정 색상이나 발광 물질을 포함한 콘택트 렌즈를 착용한 상태에서 표시부(31)에 표시된 다수의 사진을 훑어보고, 그 중 확대를 원하는 특정 사진에 시선을 기준 시간 이상 고정한다. 그러면, 상기 휴대 단말(30)이 카메라(33)를 이용하여 상기 특정 색상이나 발광 물질을 포함한 콘택트 렌즈를 착용한 사용자의 눈을 검출하여 사용자의 시선 궤적을 추적하다가, 상기 사용자가 기준 시간 이상 시선을 고정하는 단말 조작을 위한 시선 집중을 감지하면, 도 3의 (b)와 같이 상기 시선 집중 위치에 해당하는 특정 사진을 설정된 비율로 확대하여 표시한다.When the user selects the album function in the portable terminal 30, as shown in Fig. 3A, a plurality of photos are displayed on the display unit 31 of the portable terminal 30 as arbitrary information. At this time, due to the size constraints of the mobile terminal 30, the plurality of photos can only be displayed in a small size. Therefore, the user can only glance through the plurality of pictures displayed above, and if the user wants to see a specific picture in detail, the user should select the picture to instruct the enlargement. In this case, in the present invention, a user scans a plurality of pictures displayed on the display unit 31 while wearing a contact lens including a specific color or a light emitting material, and fixes the gaze to a specific picture to be enlarged therein for a reference time or more. do. Then, the mobile terminal 30 tracks the gaze trajectory of the user by detecting the eye of the user wearing the contact lens including the specific color or the light emitting material using the camera 33, and the user gazes for more than a reference time. When detecting the gaze concentration for the terminal operation to fix the, as shown in (b) of Figure 3 is enlarged and displayed a specific picture corresponding to the gaze concentration position at a set ratio.

도 4는 본 발명의 다른 실시 예에 따른 휴대 단말에서의 사용자 인터페이스 과정을 예시한 도면이다.4 is a diagram illustrating a user interface process in a mobile terminal according to another embodiment of the present invention.

사용자가 휴대 단말(40)의 텍스트 뷰어 기능을 실행하여 임의의 문서를 보는 경우, 도 4의 (a)에 도시된 바와 같이, 휴대 단말(40)의 표시부(41) 상에 선택된 텍스트 파일의 내용이 표시된다. 이때, 상기 텍스트는 상기 휴대 단말(40)의 크기 제약으로 인하여, 작은 크기로 축소되어 표시된다. 상기 상태에서, 사용자가 특정 색상이나 발광 물질을 포함한 콘택트 렌즈를 눈에 착용한 상태로 상기 텍스트를 보다가 특정 부분에 기준 시간 이상 시선을 고정시킨다. 그러면, 상기 휴대 단말(40)이 카메라(43)를 이용하여 상기 콘택트 렌즈를 착용한 눈을 움직임을 촬영하고, 상기 촬영된 영상으로부터 사용자의 시선 궤적을 추적하여, 사용자의 시선이 기준 시간 이상 일정 위치에 고정됨을 감지한다. 그리면, 도 4의 (b)와 같이, 상기 기준 시간 이상 시선이 고정된 시선 집중 위치를 기준으로 상기 텍스트 전체를 설정 비율로 확대하여 표시한다.When the user executes the text viewer function of the mobile terminal 40 to view an arbitrary document, as shown in FIG. 4A, the contents of the text file selected on the display unit 41 of the mobile terminal 40. Is displayed. In this case, the text is reduced to a small size and displayed due to the size constraints of the mobile terminal 40. In this state, the user looks at the text while wearing a contact lens including a specific color or a light emitting material on the eye, and fixes the gaze to the specific portion for a reference time or more. Then, the mobile terminal 40 captures the movement of the eye wearing the contact lens by using the camera 43 and tracks the gaze trajectory of the user from the captured image, so that the user's gaze is constant for a reference time or more. Detect lock in position Then, as shown in (b) of FIG. 4, the entire text is enlarged and displayed at a set ratio based on the gaze concentration position where the gaze is fixed for the reference time or more.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be apparent to those skilled in the art. In addition, although specific terms are used in the specification and the drawings, they are only used in a general sense to easily explain the technical contents of the present invention and to help the understanding of the present invention, and are not intended to limit the scope of the present invention.

본 발명은 단말이 임의의 정보를 표시하는데 있어서, 특정 색상이나 발광 물질이 포함된 콘택트 렌즈를 착용한 사용자의 시선 궤적을 추적함으로써, 사용자의 눈에 대한 식별력을 더 강화시켜 사용자의 단말 조작을 위한 시선 집중을 보다 용이하고 정확하게 검출할 수 있다. 이를 이용하여 시선이 집중된 부분을 기준으로 상기 표시된 정보를 확대함으로써, 다양한 종류의 사용자 단말, 특히, 휴대폰이나 PDA 등과 같이 사이즈에 제약을 갖는 휴대 단말에 적용되어, 사용자 편의성을 향상시킬 수 있으며, 이를 통하여 제품 경쟁력을 더 향상시킬 수 있다.In the present invention, when the terminal displays arbitrary information, by tracking the gaze trajectory of the user wearing a contact lens including a specific color or a light emitting material, the user's eyes can be further strengthened for the user's operation of the terminal. Eye focus can be detected more easily and accurately. By using this information, the displayed information is enlarged based on the focused portion, and applied to various types of user terminals, especially mobile terminals having a limitation in size, such as a mobile phone or a PDA, thereby improving user convenience. Through this, the product competitiveness can be further improved.

10: 단말
11: 카메라부
12: 표시부
13: 제어부
131: 시선 추적 모듈
132: 위치 산출 모듈
133: 브라우징 모듈10: terminal
11: camera
12: display unit
13: control unit
131: eye tracking module
132: position calculation module
133: browsing module

Claims (12)

사용자의 눈을 포함하는 사용자 영상을 촬영하는 카메라부;
시각적으로 표현되는 정보를 표시하는 표시부; 및
상기 표시부를 통해 정보가 표시되는 동안, 상기 카메라부에 의해 촬영된 사용자 영상으로부터 특정 색상이나 발광 물질을 포함하는 콘택트 렌즈를 착용한 사용자의 눈을 인식하여 상기 사용자의 시선 궤적을 추적하고, 상기 시선 궤적의 추적 중에 단말 조작을 위한 시선 집중이 감지되면, 상기 표시부 상에서 시선이 집중된 시선 집중 위치를 산출하여, 상기 시선 집중 위치를 기준으로 상기 표시되는 정보를 설정된 비율로 확대하는 제어부;
를 포함하는 단말.A camera unit for photographing a user image including a user's eyes;
A display unit for displaying visually expressed information; And
While the information is displayed through the display unit, the eye of the user wearing a contact lens including a specific color or light emitting material is recognized from the user image photographed by the camera unit to track the gaze trajectory of the user. A control unit configured to calculate a gaze-focused position where gaze is concentrated on the display unit, and to enlarge the displayed information at a set ratio based on the gaze-concentrated position when the gaze concentration for the terminal operation is detected during tracking of the locus;
. 제1항에 있어서,
시선 궤적의 추적을 위하여 상기 사용자의 눈에 착용되며, 특정 색상이나 발광 물질을 포함하는 콘택트 렌즈를 더 포함하는 것을 특징으로 하는 단말.The method of claim 1,
And a contact lens worn on the eye of the user for tracking the gaze trajectory and including a specific color or a light emitting material. 제2항에 있어서, 상기 콘택트 렌즈는
시선의 방향을 표시하기 위한 하나 이상의 기준 패턴을 구비하는 것을 특징으로 하는 단말.The method of claim 2, wherein the contact lens
And at least one reference pattern for displaying the direction of the gaze. 제1항에 있어서, 상기 제어부는
상기 카메라부가 촬영한 사용자 영상으로부터, 특정 색상이나 발광물질을 포함하는 콘택트 렌즈를 착용한 사용자의 눈을 인식하여 시선의 궤적을 추적하고, 상기 시선 궤적의 추적을 통하여 상기 단말 조작을 위한 시선 집중을 감지하는 시선 추적 모듈;
상기 시선 추적 모듈에서 단말 조작을 위한 시선 집중을 감지하면, 상기 표시부 상에서 사용자의 시선이 집중된 시선 집중 위치를 산출하는 위치 산출 모듈; 및
상기 표시부로 정보를 표시하는 중에, 상기 시선 추적 모듈에서 단말 조작을 위한 시선 집중을 감지하면, 상기 위치 산출 모듈에서 산출한 시선 집중 위치를 기준으로 상기 표시하는 정보를 확대하는 브라우징 모듈;
을 포함하는 것을 특징으로 하는 단말.The method of claim 1, wherein the control unit
From the user image captured by the camera unit, the eye of the user wearing a contact lens including a specific color or a light emitting material is recognized to track the trajectory of the gaze, and through the tracking of the gaze trajectory, the gaze concentration for the terminal operation is tracked. Detecting a gaze tracking module;
A position calculation module configured to calculate a gaze concentration position where the gaze of the user is concentrated on the display unit when the gaze tracking module detects gaze concentration for terminal manipulation; And
A browsing module that enlarges the displayed information based on the gaze concentration position calculated by the position calculating module when the gaze tracking module detects gaze concentration for the terminal operation while displaying the information on the display unit;
Terminal comprising a. 제1항에 있어서, 상기 제어부는
상기 시선 집중 위치를 기준으로 설정된 크기의 영역을 상기 설정된 비율로 확대하는 것을 특징으로 하는 단말.The method of claim 1, wherein the control unit
And an area having a size set based on the gaze concentration position at the set ratio. 제1항에 있어서, 상기 제어부는
상기 시선 집중 위치를 기준으로 상기 표시부에 의해 표시되는 정보의 전체를 확대하는 것을 특징으로 하는 단말.The method of claim 1, wherein the control unit
And the entirety of the information displayed by the display unit on the basis of the gaze concentration position. 제1항에 있어서, 상기 제어부는
상기 사용자의 시선이 기준 시간 이상 일정 위치에 고정되는 경우를 상기 단말 조작을 위한 시선 집중으로 감지하는 것을 특징으로 하는 단말.The method of claim 1, wherein the control unit
And a case in which the gaze of the user is fixed at a predetermined position for a reference time or more by detecting a line of sight for the terminal operation. 단말에서의 시선 추적을 이용한 사용자 인터페이스 방법에 있어서, 상기 단말이,
표시부를 통해 시각적으로 표현되는 정보를 표시하는 동안, 사용자의 눈을 포함하는 사용자 영상을 촬영하는 단계;
상기 사용자 영상으로부터 특정 색상이나 발광 물질을 포함하는 콘택트 렌즈의 인식을 통해 사용자의 눈에서 동공의 중심을 인식하고, 사용자의 시선 궤적을 추적하는 단계;
상기 시선 궤적의 추적에 의해, 단말 조작을 위한 시선 집중을 감지하는 단계;
상기 단말 조작을 위한 시선 집중을 감지하면, 표시부 상에서 시선이 집중된 시선 집중 위치를 산출하는 단계; 및
상기 산출한 시선 집중 위치를 기준으로 상기 표시부에 표시된 정보를 설정 비율로 확대하는 단계;
를 포함하는 시선 추적을 이용한 사용자 인터페이스 방법.In the user interface method using eye tracking in the terminal, the terminal,
Photographing a user image including an eye of a user while displaying information visually represented through a display unit;
Recognizing the center of the pupil in the user's eyes by recognizing a contact lens including a specific color or light emitting material from the user image, and tracking the user's gaze trajectory;
Detecting eye focus for terminal manipulation by tracking the eye trace;
Calculating a gaze concentration position where the gaze is concentrated on the display unit when the gaze concentration for the terminal manipulation is sensed; And
Enlarging the information displayed on the display unit at a set ratio based on the calculated gaze concentration position;
User interface method using a gaze tracking comprising a. 제8항에 있어서, 상기 사용자의 시선 궤적을 추적하는 단계는
상기 인식한 특정 색상이나 발광 물질을 포함하는 콘택트 렌즈에 표시되어 방향을 표시하는 기준 패턴을 추출하여, 상기 기준 패턴의 형상 및 위치에 근거하여 상기 사용자의 시선의 방위를 판별하는 것을 특징으로 하는 시선 추적을 이용한 사용자 인터페이스 방법.The method of claim 8, wherein the tracking of the gaze trajectory of the user is performed.
Extracting a reference pattern displayed on a contact lens including the recognized specific color or light emitting material and indicating a direction, and determining an orientation of the user's gaze based on a shape and a position of the reference pattern User interface method using tracing. 제8항에 있어서, 상기 표시된 정보를 설정 비율로 확대하는 단계는
상기 시선 집중 위치를 기준으로 설정된 크기의 영역을 상기 설정된 비율로 확대하는 단계인 것을 특징으로 하는 시선 추적을 이용한 사용자 인터페이스 방법.The method of claim 8, wherein the expanding of the displayed information by a preset ratio comprises:
And expanding a region having a size set based on the gaze concentration position at the set ratio. 제8항에 있어서, 상기 표시된 정보를 설정 비율로 확대하는 단계는
상기 시선 집중 위치를 기준으로 상기 표시부에 의해 표시되는 정보의 전체를 확대하는 단계인 것을 특징으로 하는 시선 추적을 이용한 사용자 인터페이스 방법.The method of claim 8, wherein the expanding of the displayed information by a preset ratio comprises:
And expanding the entirety of the information displayed by the display unit based on the gaze concentration position. 제8항에 있어서, 상기 단말 조작을 위한 시선 집중을 감지하는 단계는
상기 사용자의 시선이 기준 시간 이상 일정 위치에 고정되는 지를 감지하는 단계인 것을 특징으로 하는 시선 추적을 이용한 사용자 인터페이스 방법.The method of claim 8, wherein the detecting of the gaze concentration for the terminal manipulation is performed.
And detecting whether the user's gaze is fixed at a predetermined position for a reference time or more.
KR1020100020103A 2010-03-05 2010-03-05 User interface method using eye-gaze tracking and terminal thereof KR20110100987A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100020103A KR20110100987A (en) 2010-03-05 2010-03-05 User interface method using eye-gaze tracking and terminal thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100020103A KR20110100987A (en) 2010-03-05 2010-03-05 User interface method using eye-gaze tracking and terminal thereof

Publications (1)

Publication Number Publication Date
KR20110100987A true KR20110100987A (en) 2011-09-15

Family

ID=44953232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100020103A KR20110100987A (en) 2010-03-05 2010-03-05 User interface method using eye-gaze tracking and terminal thereof

Country Status (1)

Country Link
KR (1) KR20110100987A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102084565B1 (en) * 2018-10-30 2020-04-20 (주)오픈웍스 Security Management Apparatus Customized at Site and Driving Method Thereof
KR102506037B1 (en) 2022-08-12 2023-03-06 주식회사 아이트 Pointing method and pointing system using eye tracking based on stereo camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102084565B1 (en) * 2018-10-30 2020-04-20 (주)오픈웍스 Security Management Apparatus Customized at Site and Driving Method Thereof
KR102506037B1 (en) 2022-08-12 2023-03-06 주식회사 아이트 Pointing method and pointing system using eye tracking based on stereo camera

Similar Documents

Publication Publication Date Title
US10591729B2 (en) Wearable device
CN109683716B (en) Visibility improvement method based on eye tracking and electronic device
KR101347232B1 (en) Image Recognition Apparatus, Operation Determining Method, and Computer-Readable Medium
EP2214079B1 (en) Display apparatus, display control method, and display control program
US9857589B2 (en) Gesture registration device, gesture registration program, and gesture registration method
EP2879020B1 (en) Display control method, apparatus, and terminal
EP2866123A2 (en) Screen operation apparatus and screen operation method
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
US10642348B2 (en) Display device and image display method
EP2685366A2 (en) Tablet device, and operation receiving method
US20060001647A1 (en) Hand-held display device and method of controlling displayed content
CN108154864B (en) Display screen processing method, first electronic device and second electronic device
US9544556B2 (en) Projection control apparatus and projection control method
JP2012137970A (en) Information processing device and method, and program
JP2006345529A (en) Method and system of red-eye correction using user-adjustable threshold
JP2012238293A (en) Input device
JP2011243108A (en) Electronic book device and electronic book operation method
JPWO2020080107A1 (en) Information processing equipment, information processing methods, and programs
KR20110100987A (en) User interface method using eye-gaze tracking and terminal thereof
TW201915662A (en) Electronic device with eyeball tracking function and control method thereof
JP2014010227A (en) Portable electronic apparatus, control method therefor and program
CN112333395B (en) Focusing control method and device and electronic equipment
JP6161244B2 (en) Portable terminal device, program, and input method
US20200221021A1 (en) Electronic device, control device, and control method
JP2017033195A (en) Transmission type wearable terminal, data processing unit, and data processing system

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application