KR101098687B1

KR101098687B1 - Operation execution method for mobile communication using eye tracking

Info

Publication number: KR101098687B1
Application number: KR1020040076632A
Authority: KR
Inventors: 노병남
Original assignee: 엘지전자 주식회사
Priority date: 2004-09-23
Filing date: 2004-09-23
Publication date: 2011-12-23
Also published as: KR20060027717A

Abstract

본 발명은 사용자의 정보 입력과 출력 방법을 시각적으로 수행하도록 함으로써, 손이나 손가락이 불편한 사람에게도 편리하고 아무런 제약없이 사용하도록 하는 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법에 관한 것으로, 단말기의 기능 선택 모드를 눈동자 추적 선택 방식으로 설정하는 단계와; 상기 눈동자 추적에 의한 기능 선택 모드가 설정된 경우, 폴더를 오픈함과 아울러 단말기는 카메라를 통해 눈동자를 추적하는 단계와; 상기 눈동자의 위치를 추적하던 중 사용자의 눈동자를 이용한 지시에 의해 선택하고자 하는 기능 메뉴를 판단하는 단계와; 상기 사용자가 실행하고자 하는 기능 메뉴가 판단되면 해당 기능을 즉시 실행하는 단계를 포함하여 이루어짐으로써 달성할 수 있다.The present invention relates to a method of executing a function using eye tracking of a mobile communication terminal, which allows a user to visually perform a method of inputting and outputting a user's information, so that it can be used conveniently and without restrictions by a hand or finger. Setting the selection mode to a pupil tracking selection method; When the function selection mode by eye tracking is set, opening a folder and tracking the pupil through the camera; Determining a function menu to be selected by an instruction using a pupil of the user while tracking the position of the pupil; If it is determined that the function menu to be executed by the user is achieved by including the step of immediately executing the function.

Description

How to execute function using eye tracking of mobile terminal {OPERATION EXECUTION METHOD FOR MOBILE COMMUNICATION USING EYE TRACKING}

도 1은 본 발명에 따른 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법을 보인 순서도.1 is a flow chart illustrating a function execution method using eye tracking of a mobile communication terminal according to the present invention.

도 2는 본 발명에 따른 이동 통신 단말기의 눈동자 추적 방법을 설명하기 위한 예시도.2 is an exemplary view for explaining a pupil tracking method of a mobile communication terminal according to the present invention.

도 3은 본 발명에 의한 눈동자 추적 방법에 의한 사운드 설정 과정을 보인 화면 예시도.Figure 3 is an exemplary view showing a sound setting process by the pupil tracking method according to the present invention.

본 발명은 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법에 관한 것으로, 특히 사용자의 정보 입력과 출력 방법을 시각적으로 수행하도록 함으로써, 손이나 손가락이 불편한 사람에게도 편리하고 아무런 제약없이 사용하도록 하는 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법에 관한 것이다.The present invention relates to a method of executing a function using eye tracking of a mobile communication terminal, and in particular, by visually performing a method of inputting and outputting information of a user, a mobile communication that can be used conveniently and without restrictions by a person who has a hand or a finger is inconvenient. The present invention relates to a function execution method using eye tracking of a terminal.

현재 출시되는 모든 이동 통신 단말기는 기능을 실행하기 위해서, 키 패드의 버튼을 누르거나 LCD(터치패드형 엘시디)를 눌러야 한다. All mobile communication terminals currently on the market must press a button on the keypad or press an LCD (touch pad LCD) to execute a function.

이러한 동작 방식은 사용자가 정보(메뉴 정보)를 시각적으로 받아들인 후, 수행하고자 하는 동작을 판단한 다음, 손(손가락)을 이용하여 원하는 메뉴에 해당하는 번호를 키 패드에서 누르거나, 터치패드형 엘시디의 경우 직접 화면을 눌러 선택하였다.In this operation method, the user visually receives information (menu information), determines the operation to be performed, and then uses a hand (finger) to press a number corresponding to the desired menu on the keypad, or to use a touch pad LCD. In the case of direct selection by pressing the screen.

즉, 상기와 같은 메뉴 조작 방식은 손가락이 불편한 사용자들에게는 오류를 자주 유발시키게 되고, 입력 방법(메뉴 정보를 사용자의 시각으로 입력)과 출력 방법(선택하고자 하는 메뉴 번호를 누름)의 차이로 인해 사용자의 동작 에러를 유발할 수 있는 문제점이 있다.That is, the menu operation method as described above frequently causes errors to users who are uncomfortable with fingers, and due to the difference between an input method (entering menu information from the user's perspective) and an output method (pressing a menu number to be selected). There is a problem that may cause an operation error of the user.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창출한 것으로, 사용자의 정보 입력과 출력 방법을 시각적으로 수행하도록 함으로써, 손이나 손가락이 불편한 사람에게도 편리하고 아무런 제약없이 사용하도록 하는 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법을 제공함에 그 목적이 있다.Accordingly, the present invention has been created to solve the above-mentioned conventional problems, and by performing a user's information input and output method visually, the mobile communication to be used conveniently and without restrictions for people with inconvenient hands or fingers. An object of the present invention is to provide a function execution method using eye tracking of a terminal.

이와 같은 목적을 달성하기 위한 본 발명은, 단말기의 기능 선택 모드를 눈동자 추적 선택 방식으로 설정하는 단계와; 상기 눈동자 추적에 의한 기능 선택 모드가 설정된 경우, 폴더를 오픈함과 아울러 단말기는 카메라를 통해 눈동자를 추적하는 단계와; 상기 눈동자의 위치를 추적하던 중 사용자의 눈동자를 이용한 지시에 의해 선택하고자 하는 기능 메뉴를 판단하는 단계와; 상기 사용자가 실행하고자 하는 기능 메뉴가 판단되면 해당 기능을 즉시 실행하는 단계를 포함하여 이루어진 것을 특징으로 한다.The present invention for achieving the above object comprises the steps of setting the function selection mode of the terminal to the eye tracking selection method; When the function selection mode by eye tracking is set, opening a folder and tracking the pupil through the camera; Determining a function menu to be selected by an instruction using a pupil of the user while tracking the position of the pupil; If it is determined that the function menu to be executed by the user is characterized in that it comprises the step of immediately executing the function.

본 발명은 눈동자의 움직임을 체크해서 현재 사용자가 단말기의 어느 곳을 응시하고 있는지 파악하여, 일정시간 시간 동일한 지점을 응시하고 있거나, 눈 깜박임을 검출하여 선택한 기능을 실행할 수 있도록 하는 방법의 제공을 요지로 한다.The present invention is to provide a method of checking the movement of the eyes to determine where the user is staring at the current terminal, to stare at the same point for a certain time, or to detect the blink of the eye to execute the selected function. Shall be.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

우선, 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.First of all, in adding reference numerals to the components of each drawing, it should be noted that the same components have the same reference numerals as much as possible even if displayed on different drawings.

또한, 하기의 설명에서 구체적인 처리흐름과 같은 많은 특정 상세들은 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있으며, 이들 특정 상세들 없이 본 발명이 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게는 자명할 것이다.Also, in the following description, numerous specific details, such as specific processing flows, are set forth in order to provide a more general understanding of the invention, and it is to be understood that the invention may be practiced without these specific details. It will be obvious to them.

그리고, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.In addition, detailed description of well-known functions and structures which are determined to unnecessarily obscure the subject matter of the present invention will be omitted.

도1은 본 발명에 따른 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법을 보인 순서도로서, 단말기의 기능 선택 모드를 직접 선택 방식(키패드 또는 엘시디 누름)에서 눈동자 추적 선택 방식으로 설정한 경우, 폴더를 오픈함과 아울러 단말기는 카메라를 통해 눈동자를 추적하게 된다. 1 is a flowchart illustrating a method of executing a function using pupil tracking of a mobile communication terminal according to the present invention. When a function selection mode of the terminal is set from a direct selection method (by pressing a keypad or LCD) to a pupil tracking selection method, a folder is set. In addition to being open, the terminal tracks the pupils through the camera.

물론, 이때 카메라는 전면을 향하도록 해야 하며, 도2에 도시된 바와 같이 단말기를 들고 있는 방식에 관계없이, 사용자는 반드시 단말기 화면에 표시된 메뉴(또는 키패드)를 보게 되므로, 카메라와는 항상 일정한 각도(θ)를 유지하게 되어 있다.Of course, at this time, the camera should face the front, and regardless of the way the user is holding the terminal as shown in Figure 2, the user will always see the menu (or keypad) displayed on the terminal screen, so that the angle always with the camera (θ) is to be maintained.

다음, 상기와 같이 눈동자의 위치를 추적한 단말기는 사용자가 해당 지점을 지정된 시간 이상 응시하고 있거나, 눈을 깜박이는 동작에 의해 해당 기능(응시하고 있는 지점의 기능 메뉴)을 선택하는지 판단한다.Next, the terminal that tracks the position of the pupil as described above determines whether the user stares at the corresponding point for a predetermined time or selects the corresponding function (the function menu of the staring point) by blinking the eyes.

이때, 단말기는 상기와 같이 사용자의 눈동자를 추적할 때, 소정 모양의 아이콘을 화면에 표시함으로써, 정확한 눈동자 추적이 이루어지고 있는지 사용자가 확인할 수 있도록 하고, 사용자가 바라보는 정확한 지점이 아닐 경우 보정 할 수 있도록 한다.At this time, when the user tracks the eyes of the user as described above, by displaying an icon of a predetermined shape on the screen, the user can check whether the correct eye tracking is made, and if the user does not see the correct point to correct To help.

다음, 상기와 같이 사용자가 실행하고자 하는 메뉴 기능의 선택이 판단되면 해당 기능을 즉시 실행한다.Next, if it is determined that the user selects a menu function to be executed, the function is immediately executed.

도3은 본 발명에 의한 눈동자 추적 방법에 의한 사운드 설정 과정을 보인 화면 예시도로서, 사용자가 키패드의 메뉴 버튼을 누르거나 메뉴 버튼을 시각적으로 선택한 경우, 도3의 (a)와 같이 메뉴 리스트가 출력되고, 사용자가 시각적으로 4번의 사운드 설정 메뉴를 응시하고 있으면, 해당 메뉴가 선택된 것으로 판단한 단말기는 도3의 (b)와 같이 서브 메뉴 리스트를 출력한다.FIG. 3 is an exemplary view illustrating a sound setting process according to an eye tracking method according to the present invention. When a user presses a menu button on a keypad or visually selects a menu button, a menu list is displayed as shown in FIG. If the user visually stares at the fourth sound setting menu, the terminal determines that the menu is selected, and outputs a sub-menu list as shown in FIG.

이에 따라, 사용자는 그 서브 메뉴 리스트에서 원하는 메뉴를 소정시간 응시(또는 눈 깜박임)하여 선택하고, 동일한 방식으로 눈동자 추적에 의해 최종 기능을 선택하여 실행한다.Accordingly, the user gazes (or blinks) a desired menu from the sub-menu list for a predetermined time, and selects and executes the final function by eye tracking in the same manner.

상기와 같이 본 발명은 단말기의 기능 실행(메뉴 선택)을 위한 입력과 출력 방식을 일치시킴으로써, 일반 사용자들(손/손가락이 부자유한 사용자들)에게 오류를 자주 유발하는 문제점을 제거하였으며, 일반 사용자에게도 메뉴 선택의 편의성을 제공하는 특징이 있다.As described above, the present invention eliminates the problem of frequently causing errors to general users (hands or fingers inconvenient users) by matching the input and output methods for function execution (menu selection) of the terminal. There is also a feature that provides the convenience of menu selection.

이상에서 설명한 바와 같이 본 발명 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법은 사용자의 정보 입력과 출력 방법을 시각적으로 수행하도록 함으로써, 손이나 손가락이 불편한 사람에게도 편리하고 아무런 제약없이 사용하도록 하는 효과가 있다.As described above, the function execution method using the eye tracking of the mobile communication terminal of the present invention enables the user to visually perform the information input and output method, so that it is convenient and convenient for people with inconvenient hands or fingers without any restrictions. have.

Claims

In the camera-type mobile terminal having a touch pad LCD (LCD),

Displaying a virtual keyboard including visual keys on the touch pad type LCD (LCD);

Setting an input signal of the visual keys to be input by a pupil when the information input mode to the terminal is set to a pupil tracking input mode;

Detecting the pupil through the camera when the terminal is activated in the pupil tracking input mode;

Tracking a specific visual key corresponding to the specific point by using a specific point viewed by the eye and a predetermined angle θ formed by the camera based on the detected pupil;

And generating an input signal corresponding to the specific visual key when the tracked specific visual key stares at the time set by the pupil.

delete