KR101270558B1 - Portable terminal possible control-working to iris recognition and a method for excuting the system - Google Patents

Portable terminal possible control-working to iris recognition and a method for excuting the system Download PDF

Info

Publication number
KR101270558B1
KR101270558B1 KR1020120117082A KR20120117082A KR101270558B1 KR 101270558 B1 KR101270558 B1 KR 101270558B1 KR 1020120117082 A KR1020120117082 A KR 1020120117082A KR 20120117082 A KR20120117082 A KR 20120117082A KR 101270558 B1 KR101270558 B1 KR 101270558B1
Authority
KR
South Korea
Prior art keywords
iris
mouse pointer
value
pointer
image frame
Prior art date
Application number
KR1020120117082A
Other languages
Korean (ko)
Inventor
김선욱
Original Assignee
김선욱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김선욱 filed Critical 김선욱
Priority to KR1020120117082A priority Critical patent/KR101270558B1/en
Application granted granted Critical
Publication of KR101270558B1 publication Critical patent/KR101270558B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

PURPOSE: A portable terminal executing and selecting a specific function by controlling the operation of a mouse pointer through iris recognition and a method thereof are provided to perform a specific function of a portable terminal by generating a mouse pointer through the iris recognition. CONSTITUTION: An iris photographing unit(100) photographs an iris of a user to generate an image frame. An iris position detecting unit(200) compares a pixel value of the image frame with a position value of the iris to extract a coordinate value of the iris. A pointer generating unit(300) determines the position value of the iris as a position value of a mouse pointer. A pointer control unit(400) controls the operation of the mouse pointer in responses to the position value of the iris. A memory unit(500) stores the position value of the iris set to extract the position value of the mouse pointer. [Reference numerals] (100) Iris photographing unit; (200) Iris position detecting unit; (300) Pointer generating unit; (400) Pointer control unit; (500) Memory unit

Description

홍채 인식을 통해 마우스 포인터의 동작을 제어하여 특정 기능을 선택 및 실행하는 휴대 단말기 및 그 방법{PORTABLE TERMINAL POSSIBLE CONTROL-WORKING TO IRIS RECOGNITION AND A METHOD FOR EXCUTING THE SYSTEM}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a portable terminal and a method of controlling the operation of a mouse pointer by iris recognition,

본 발명은 홍채 인식을 통해 커서를 생성하여 휴대 단말기의 특정 기능을 수행하기 위한 어플리케이션을 선택, 실행, 제어하는 홍채 인식을 통해 동작 제어가 가능한 휴대 단말기 및 그 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a portable terminal capable of performing an operation control by iris recognition for selecting, executing, and controlling an application for performing a specific function of a portable terminal by generating a cursor through iris recognition.

일반적으로 휴대 단말기는 사용자가 자신이 사용하고 있는 단말기로 기지국을 포함하는 네트워크에 접속하여 시간과 장소에 상관 없이 통화, 업무 처리, 인터넷 등을 할 수 있는 장치를 말한다. 이러한 사용상의 편리성으로 휴대 단말기는 움직이는 컴퓨터 단말기로 일컬어지고 있으며, PDA, 스마트폰 등이 대표적이다. 현재 국내에서 휴대 단말기를 사용하는 인구 수는 약 3천만명에 이르는 것으로 알려지고 있다.2. Description of the Related Art Generally, a mobile terminal is a device that allows a user to access a network including a base station using his / her terminal and perform communication, processing, and the Internet regardless of time and place. For convenience of use, the portable terminal is referred to as a moving computer terminal, and PDA, smart phone, and the like are representative. Currently, the number of people using mobile phones in Korea is estimated to reach 30 million people.

한편, 모바일 단말기는 터치패드에 사용자가 신체적으로 접촉하여 제어되거나, 또는 음성 인식을 통해 제어된다. 그러나, 모바일 단말기의 사용자가 신체가 불편하거나 또는 정확한 음성을 양산해낼 수 없는 사용자(예: 장애인)인 경우 모바일 단말기의 활용 범위는 매우 제한적이다. On the other hand, the mobile terminal is controlled by the user in physical contact with the touch pad or is controlled through voice recognition. However, when the user of the mobile terminal is a user inconvenient or unable to mass-produce the accurate voice (for example, a disabled person), the utilization range of the mobile terminal is very limited.

홍채 인식 기술은 이러한 종래의 문제점을 해결하는데 매우 유용하다. 홍채 인식 기술과 관련하여 공개특허 10-2007-0115403호(이하, 공개 특허)는 “다초점 영상 시퀀스를 이용한 홍채인식 시스템 및 방법”에 대해 개시하고 있다.The iris recognition technology is very useful for solving such conventional problems. Open No. 10-2007-0115403 (hereinafter referred to as " Open Patent ") discloses an iris recognition system and method using a multifocus image sequence in connection with iris recognition technology.

간략히 설명하면, 공개 특허는 거리 센서를 이용하여 영상획득장치와 사용자와의 거리정보를 계산하여 일정 거리 내에서 사용자의 눈으로부터 균등한 시간 간격으로 변화된 초점 정보를 가지고 있는 다초점 눈 영상 시퀀스를 상기 영상획득장치를 이용하여 입력받게 되는 눈 영상 입력부와, 상기 눈 영상 입력부에서 입력된 다초점 눈 영상 시퀀스에 대하여 퍼지 엔트로피를 계산하여 다양한 초점 레벨의 눈 영상 정보를 효과적으로 표현할수 있는 N개의 눈 영상을 선택하고, 선택된 눈 영상에 대하여 특징 벡터의 구성에 불필요한 영역을 제거한 다양한 홍채 패턴을 갖는 동공(Pupil)과 자율 신경환(Collarette) 사이의 홍태 영상을 분리하여 다초점 홍채영상 시퀀스를 추출하는 눈 영상 전처리부와, 상기 눈 영상 전처리부에서 추출된 다초점 홍채영상 시퀀스를 다중분할하고, 그 다중 분할된 영상으로부터 저주파 영역만을 포함하는 서브밴드를 이용하여 웨이블릿 특징 벡터를 구성하고, 판별능력이 높은 차원으로 축소된 웨이블릿 특징 벡터 및 차원 축소 변환함수 P를 생성하는 특징벡터추출부와, 상기 특징벡터추출부로부터 추출된 특징 벡터와 기 등록된 특징 벡터의 비유사도를 측정하여 사용자의 진위 여부를 판별하는 인식부와, 상기 특징벡터추출부로부터 추출된 축소된 웨이블릿 특징 벡터와 차원축소 변환함수 P를 저장부에 등로하는 등록부와, 차원축소 변환함수 P와, 축소된 웨이블릿 특징 벡터를 저장하는 저장부를 포함하여 구성된 것을 특징으로 하는 다초점 영상 시퀀스를 이용한 홍채인식 시스템에 대해 개시하고 있다. 공개특허는 이러한 구성을 통해 고해상도 이미지와 포커스가 잘 맞는 영상 뿐만 아니라 저해상도 이미지와 포커스가 맞지 않는 영상도 효과적으로 인식할 수 있고, 웨이블릿 및 직접 선형판별 분석기법을 이용하여 판별력이 우수한 특징을 추출하는 동시에 특징 벡터의 차원을 효과적으로 줄여 저장장치의 효율을 개선함은 물론, 심플한 인식부만을 사용하더라도 인식오류를 최소화할 수 있다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other features and advantages of the present invention will become more apparent by describing in detail exemplary embodiments thereof with reference to the attached drawings in which: An eye image input unit that receives input using an image acquisition device, and N eye images that can effectively express eye image information of various focus levels by calculating fuzzy entropy for a multi-focal eye image sequence input from the eye image input unit And preprocessing an eye image extracting a multifocus iris image sequence by separating the Hongtae image between the pupil (Pupil) and the autonomic nerve ring (Collarette) having various iris patterns, which eliminates unnecessary regions in the feature vector construction for the selected eye image And a multifocus iris image sequence extracted from the eye image preprocessing unit A wavelet feature vector which is reduced to a dimension having a high discriminant ability, and a feature vector which generates a reduced wavelet feature vector and a dimension reduction conversion function P are used to construct a wavelet feature vector using subbands including only a low frequency region from the multi- A recognition unit for determining whether the user is true or false by measuring a non-derivation of a feature vector extracted from the feature vector extraction unit and a previously registered feature vector; And a storage unit for storing the reduced size wavelet feature vector, and a storage unit for storing the reduced size wavelet feature vector and the reduced size reduction function P in the storage unit, a dimension reduction conversion function P, and a storage unit for storing the reduced wavelet feature vector. . With this configuration, not only high-resolution images and focused images but also low-resolution images and non-focused images can be effectively recognized, and features having superior discriminative power can be extracted using wavelet and direct linear discriminant analysis techniques It is possible to effectively reduce the dimension of the feature vector to improve the efficiency of the storage device and minimize the recognition error even if only a simple recognition part is used.

그러나, 공개특허는 홍채 인식 기술로서 홍채 인식을 통해 휴대 단말기의 특정 기능을 선택, 실행, 제어하기 위한 별도의 모듈을 포함하지 않는다. 따라서, 공개특허는 홍채 인식을 통해 휴대 단말기의 특정 기능을 선택, 실행, 제어하는데 상당한 제약이 있다.
However, the disclosed patent does not include a separate module for selecting, executing, and controlling a specific function of the portable terminal through iris recognition as iris recognition technology. Accordingly, the disclosed patent has a considerable limitation in selecting, executing, and controlling a specific function of the portable terminal through iris recognition.

본 발명은 종래의 문제점을 해결하기 위한 홍채 인식을 통해 동작 제어가 가능한 휴대 단말기 및 그 방법에 관한 것으로서,The present invention relates to a portable terminal capable of performing an operation control through iris recognition and a method thereof for solving the conventional problems,

홍채 인식을 통해 마우스 포인터를 생성하여 휴대 단말기의 특정 기능(선택, 실행, 제어)을 수행하는 것을 목적으로 한다.
And to perform a specific function (selection, execution, and control) of the portable terminal by generating a mouse pointer through iris recognition.

본 발명은 상기의 과제를 해결하기 위한 홍채 인식을 통해 마우스 포인터의 동작을 제어하여 특정 기능을 선택 및 실행하는 휴대 단말기 및 그 방법에 관한 것으로서, 사용자의 홍채를 촬상하여 이미지 프레임(Image flame data)을 생성하는 홍채 촬상부,이미지 프레임의 픽셀 값으로부터 홍채의 시선 좌표 값(x, y)을 추출하는 홍채 위치 검출부, 홍채의 시선 좌표 값에 대응하여 마우스 포인터(Pointer)의 위치 값을 생성하는 포인터 생성부, 및 홍채의 위치 값에 대응하여 마우스 포인터의 동작을 제어하는 포인터 제어부를 포함한다.An object of the present invention is to provide a portable terminal for selecting and executing a specific function by controlling an operation of a mouse pointer through iris recognition and a method thereof. An iris position detection unit for extracting a sight line coordinate value (x, y) of the iris from the pixel value of the image frame, a pointer for generating a position value of a mouse pointer in accordance with the eye line coordinate value of the iris, And a pointer control unit for controlling the operation of the mouse pointer in accordance with the position value of the iris.

일 양태로서 본 발명에 따른 휴대 단말기는 홍채의 시선 좌표 값에 대응하여 마우스 포인터(Pointer)의 위치 값을 추출하기 위한 기설정된 위치 값을 저장하는 메모리부를 더 포함한다.According to an aspect of the present invention, the portable terminal further includes a memory unit for storing a predetermined position value for extracting a position value of a mouse pointer corresponding to the eye coordinate value of the iris.

홍채 위치 검출부는 이미지 프레임의 픽셀 값과 이미지 프레임에 대응하여 기설정된 위치 값을 비교하여 홍채의 시선 좌표 값을 추출한다.The iris position detector compares the pixel value of the image frame with a preset position value corresponding to the image frame to extract the eye coordinate value of the iris.

포인터 생성부는 홍채의 시선 좌표 값에 대응하여 기설정된 위치 값을 마우스 포인터(Pointer)의 위치 값으로 결정한다.The pointer generating unit determines a predetermined position value as a position value of a mouse pointer corresponding to the eye coordinate value of the iris.

본 발명의 일 양태에 따른 홍채 인식을 통해 휴대 단말기의 동작을 제어하는 방법은 사용자의 홍채를 촬상하여 이미지 프레임(Image flame data)을 생성하는 (A) 단계, 이미지 프레임의 픽셀 값으로부터 홍채의 시선 좌표 값(x, y)을 추출하는 (B) 단계, 홍채의 시선 좌표 값에 대응하여 마우스 포인터(Pointer)의 위치 값을 생성하는 (C) 단계, 및 홍채의 위치 값에 대응하여 마우스 포인터의 동작을 제어하는 (D) 단계를 포함한다.A method for controlling an operation of a portable terminal through iris recognition according to an embodiment of the present invention includes the steps of (A) generating an image frame (image flame data) by imaging an iris of a user, (B) extracting a coordinate value (x, y), (C) generating a position value of a mouse pointer in accordance with the eye coordinate value of the iris, and And (D) controlling the operation.

일 양태로서 본 발명에 따른 방법은 홍채의 시선 좌표 값에 대응하여 마우스 포인터(Pointer)의 위치 값을 추출하기 위한 기설정된 위치 값을 메모리에 저장하는 단계를 더 포함한다.According to an aspect of the present invention, the method further includes storing in a memory a predetermined position value for extracting a position value of a mouse pointer corresponding to the eye coordinate value of the iris.

(B) 단계는 이미지 프레임의 픽셀 값과 이미지 프레임에 대응하여 기설정된 위치 값을 비교하여 홍채의 시선 좌표 값을 추출하는 단계를 포함한다.The step (B) includes a step of comparing the pixel value of the image frame with a predetermined position value corresponding to the image frame to extract eye-gaze coordinate values of the iris.

(C) 단계는 홍채의 시선 좌표 값에 대응하여 기설정된 위치 값을 마우스 포인터(Pointer)의 위치 값으로 결정하는 단계를 포함한다.The step (C) includes a step of determining a predetermined position value as a position value of a mouse pointer corresponding to the eye coordinate value of the iris.

본 발명의 일 양태에 따른 디지털 증거수집 방법은 프로그램을 기록한 컴퓨터 판독 가능 기록매체에서 동작한다.
A digital evidence collection method according to an aspect of the present invention operates on a computer-readable recording medium on which a program is recorded.

본 발명은 홍채 인식을 통해 마우스 포인터를 생성하여 휴대 단말기의 특정 기능(선택, 실행, 제어)을 수행하는 효과가 있다.
The present invention has the effect of performing a specific function (selection, execution, and control) of a portable terminal by generating a mouse pointer through iris recognition.

도 1은 본 발명의 일 양태에 따른 홍채 인식을 통해 동작 제어가 가능한 휴대 단말기의 블록도이고,
도 2는 본 발명의 일 양태에 따른 홍채 인식을 통해 휴대 단말기의 동작을 제어하는 흐름도이고,
도 3은 본 발명의 일 양태에 따른 홍채의 시선 이동 방향(x, y)을 중심으로 휴대 단말기(디스플레이)의 시선 영역을 구분한 예시이다.FIG. 1 is a block diagram of a portable terminal capable of operation control through iris recognition according to an embodiment of the present invention.
2 is a flowchart illustrating an operation of a portable terminal through iris recognition according to an embodiment of the present invention,
FIG. 3 is a view illustrating an example in which a line-of-sight region of a portable terminal (display) is divided centering on a line-of-sight movement direction (x, y) of an iris according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to facilitate a person skilled in the art to which the present invention pertains. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification. And a detailed description thereof will be omitted to omit descriptions of portions that can be readily understood by those skilled in the art.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification and claims, when a section is referred to as " including " an element, it is understood that it does not exclude other elements, but may include other elements, unless specifically stated otherwise.

본 발명을 설명하기 위하여 명세서에 언급되는 기술적 용어는 본 발명이 속하는 기술 분야에서 통상적으로 사용되는 광의적 의미로 정의 및 해석된다. 예를 들어, 본 명세서에 휴대 단말기가 언급되는 경우, 그 휴대 단말기는 휴대 전화기에 한정되지 않으며, 통신 기능, 카메라 기능 및 이미지 편집 기능을 가지는 휴대 가능한 모든 기기를 통칭하는 것으로 해석된다. 그러나, 통상의 기술적 용어일지라도, 본 명세서에 별도로 의미가 부여된 경우는 그러하지 아니하다.
The technical terms referred to in the description for describing the present invention are defined and interpreted in a broad sense as commonly used in the technical field to which the present invention belongs. For example, when a portable terminal is referred to in the present specification, the portable terminal is not limited to a cellular phone, and is understood to be collectively referred to as all portable devices having a communication function, a camera function, and an image editing function. However, even if it is a usual technical term, the case where the meaning is given separately in this specification is not so.

이하, “포인터(Pointer)”는 휴대 단말기의 특정 기능을 수행하기 위한 어플리케이션을 선택, 실행, 제어하기 위하여 커서를 이동한다. 포인터는 컴퓨터 단말기에 접속되어 동작하는 마우스의 포인터와 동등한 기능을 수행한다.
Hereinafter, the " Pointer " moves the cursor to select, execute and control an application for performing a specific function of the portable terminal. The pointer performs a function equivalent to a pointer of a mouse connected to the computer terminal.

본 발명은 홍채 인식을 통해 커서를 생성하여 휴대 단말기의 특정 기능을 수행하기 위한 어플리케이션을 선택, 실행, 제어하는 홍채 인식을 통한 마우스 포인터의 동작 제어 시스템 및 그 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a mouse pointer operation control system and method for iris recognition, which selects, executes, and controls an application for performing a specific function of a portable terminal by generating a cursor through iris recognition.

도 1은 본 발명의 일 양태에 따른 홍채 인식을 통해 마우스 포인터의 동작을 제어하여 특정 기능을 선택 및 실행하는 휴대 단말기의 블록도이다.1 is a block diagram of a mobile terminal for controlling the operation of a mouse pointer through iris recognition according to an embodiment of the present invention to select and execute a specific function.

도 1을 참조하면, 본 발명의 휴대 단말기(1000)는 홍채 촬상부(100), 홍채 위치 검출부(200), 포인터 생성부(300), 포인터 제어부(400)를 포함한다. 본 발명의 일 양태로서 휴대 단말기(1000)는 메모리부(500)를 더 포함할 수 있다. Referring to FIG. 1, the portable terminal 1000 of the present invention includes an iris image sensing unit 100, an iris position sensing unit 200, a pointer generating unit 300, and a pointer control unit 400. The portable terminal 1000 may further include a memory unit 500 as an aspect of the present invention.

홍채 촬상부(100)는 사용자의 홍채를 촬상하여 이미지 프레임(Image flame data)을 생성한다. 홍채 촬상부(100)는 휴대 단말기에 탑재된 촬상 매체일 수 있다.The iris image pickup section 100 picks up an iris of a user and generates an image frame (Image flame data). The iris image sensing unit 100 may be an image sensing medium mounted on a portable terminal.

홍채 위치 검출부(200)는 촬상된 이미지 프레임의 픽셀 값으로부터 홍채의 시선 좌표 값(x, y)을 추출한다. 홍채 위치 검출부(200)는 이미지 프레임의 픽셀 값에 대응하여 메모리부(500)에 저장된 홍채 위치 값과 상기 이미지 프레임의 픽셀 값을 비교하여 시선 좌표 값을 추출한다.The iris position detection unit 200 extracts the eye coordinate value (x, y) of the iris from the pixel value of the captured image frame. The iris position detecting unit 200 compares the iris position value stored in the memory unit 500 with the pixel value of the image frame corresponding to the pixel value of the image frame, and extracts the eye coordinate value.

포인터 생성부(300)는 홍채의 시선 좌표 값에 대응하여 마우스 포인터(Pointer)의 위치 값을 생성한다. 포인터 생성부(300)는 홍채의 시선 좌표 값에 대응하여 메모리부(500)에 저장된 마우스 포인터의 위치 값과 상기 홍채의 시선 좌표 값을 비교하여 마우스 포인터의 위치 값을 추출한다.The pointer generating unit 300 generates a position value of a mouse pointer in accordance with the eye coordinate value of the iris. The pointer generating unit 300 compares the position of the mouse pointer stored in the memory unit 500 with the eye coordinate value of the iris corresponding to the eye coordinate value of the iris and extracts the position value of the mouse pointer.

포인터 제어부(400)는 홍채의 시선 좌표 값에 대응하여 마우스 포인터의 이동 및 동작을 제어한다.The pointer control unit 400 controls the movement and operation of the mouse pointer in accordance with the eye coordinate value of the iris.

도 2는 본 발명의 일 양태에 따른 홍채 인식을 통해 마우스 포인터의 동작을 제어하여 휴대 단말기의 특정 기능을 선택 및 실행하는 방법을 도시한 흐름도이다.2 is a flowchart illustrating a method for selecting and executing a specific function of a mobile terminal by controlling an operation of a mouse pointer through iris recognition according to an embodiment of the present invention.

사용자의 홍채를 촬상하여 이미지 프레임(Image flame data)을 생성한다(s210). 홍채 촬상부(100)는 휴대 단말기에 탑재된 촬상 매체일 수 있다.The image of the user's iris is imaged to generate an image frame (s210). The iris image sensing unit 100 may be an image sensing medium mounted on a portable terminal.

상기 촬상된 이미지 프레임의 픽셀 값으로부터 홍채의 시선 좌표 값(x, y)을 추출한다(s220). 시선 좌표 값은 이미지 프레임의 픽셀 값에 대응하여 메모리부(500)에 저장된 홍채 위치 값과 상기 이미지 프레임의 픽셀 값을 비교하여 추출될 수 있다. 도 3을 참조하면, 촬상된 이미지 프레임은 홍채의 시선 이동 방향(x, y)을 중심으로 시선 영역이 구분된다. 홍채가 위치하는 각 시선 영역의 특정 구간에는 홍채의 시선 좌표 값(x, y)이 설정되어 메모리부(500)에 저장된다. The eye coordinate value (x, y) of the iris is extracted from the pixel value of the captured image frame (s220). The gaze coordinate value may be extracted by comparing the iris position value stored in the memory unit 500 with the pixel value of the image frame in correspondence with the pixel value of the image frame. Referring to FIG. 3, the captured image frame is divided into eye lines around the eye movement direction (x, y) of the iris. (X, y) of the iris is set and stored in the memory unit 500 in a specific section of each sight line region where the iris is located.

바람직한 실시예를 위하여 휴대 단말기(디스플레이부)의 시선 영역을 제1 영역 내지 제4 영역으로 구분하였으나, 이미지 프레임의 영역을 보다 세분화할 경우 보다 정확한 홍채 위치 값을 추출할 수 있다.For the preferred embodiment, the visual field of the portable terminal (display unit) is divided into the first to fourth regions. However, more accurate iris position values can be extracted when the image frame region is further subdivided.

홍채의 시선 좌표 값에 대응하여 마우스 포인터(Pointer)의 위치 값을 생성한다(s230). 마우스 포인터의 위치 값은 홍채의 시선 좌표 값에 대응하여 메모리부(500)에 저장된 마우스 포인터의 위치 값과 상기 홍채의 시선 좌표 값을 비교하여 추출된다. A position value of a mouse pointer is generated corresponding to the eye coordinate value of the iris (s230). The position value of the mouse pointer is extracted by comparing the position value of the mouse pointer stored in the memory unit 500 with the eye coordinate value of the iris corresponding to the eye coordinate value of the iris.

바람직한 실시예를 위하여 마우스 포인터 위치 값이 홍채의 시선 좌표 값에 대응하여 별도의 테이블로부터 추출되는 것으로 설명하였으나, 별도의 테이블을 구비함 없이 홍채의 시선 좌표 값으로부터 마우스 포인터의 위치 값을 추출할 수 있다. Although the mouse pointer position value is extracted from a separate table corresponding to the eye coordinate value of the iris for the preferred embodiment, the position value of the mouse pointer can be extracted from the eye coordinate value of the iris without having a separate table have.

포인터(Pointer)의 위치 값에 대응하여 마우스 포인터를 생성하고(s240), 홍채의 이미지 프레임으로부터 연속적으로 추출된 시선의 포인트 위치에 대응하여 마우스 포인터를 이동한다(s250).A mouse pointer is created corresponding to the position value of the pointer (s240), and the mouse pointer is moved corresponding to the point position of the line of sight continuously extracted from the image frame of the iris (s250).

이상에서는 본 발명의 바람직한 실시예를 통해 홍채를 인식을 통해 포인터를 생성하고, 이동하는 과정에 대해서 설명하였다. 그러나, 촬상된 이미지 프레임의 픽셀 값으로부터 홍채의 시선 좌표 값(x, y)이 검출되지 않은 경우 휴대 단말기에서 특정 기능을 선택, 및 실행하는 명령으로 인식하여 동작할 수 있다. The process of generating and moving the pointer through the recognition of the iris through the preferred embodiment of the present invention has been described above. However, if the eye coordinate value (x, y) of the iris is not detected from the pixel value of the captured image frame, the portable terminal can recognize and operate as a command to select and execute a specific function.

이상에서 설명한 본 발명의 일 양태에 따른 방법 실시예들은 프로그램 명령으로 구현되어 컴퓨터 판독 가능 기록 매체에서 실행된다. The method embodiments according to one aspect of the invention described above are implemented as program instructions and executed on a computer readable recording medium.

컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magnetro-Optical Media, 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The computer-readable recording medium may be any type of optical storage media such as magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs and DVDs, magnetic-optical media such as floppy disks, And a hardware device specifically configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.

프로그램 명령은 본 발명의 방법 실시예를 구현하기 위하여 특별히 설계, 구성되거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 기계어 코드 뿐만 아니라 인터프리터 를 통해 컴퓨터에서 실행되는 고급 언어 코드를 포함한다.The program instructions may be specially designed, configured, or otherwise available to those skilled in the computer software to implement the method embodiments of the present invention. Program instructions include machine code generated by the compiler as well as high-level language code that is executed on the computer via an interpreter.

이상에서 설명한 본 발명의 일 양태에 따른 시스템 및 방법 실시예는 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 이러한 실시예에 한정되지 아니한다. 일례로, 방법 실시예의 경우 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.While the system and method embodiments according to one aspect of the present invention described above are described on the basis of a flowchart as a series of steps or blocks, the present invention is not limited to these embodiments. For example, in the case of a method embodiment, some steps may occur in a different order or in a different order than the steps described above. It will also be understood by those skilled in the art that the steps shown in the flowchart are not exclusive and that other steps may be included or that one or more steps in the flowchart may be deleted without affecting the scope of the invention.

이상에서 설명한 본 발명의 실시예는 다양한 양태의 예시들을 포함한다. 해당 기술 분야에서 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
The embodiments of the invention described above include examples of various aspects. Those of ordinary skill in the art will recognize that other combinations are possible. Accordingly, it is intended that the invention include all alternatives, modifications and variations that fall within the scope of the following claims.

100 : 홍채 촬상부, 200 : 홍채 위치 검출부,
300 : 포인터 생성부, 400 : 포인터 제어부,
500 : 메모리부100: iris imaging unit, 200: iris position detection unit,
300: pointer generating unit, 400: pointer control unit,
500: memory unit

Claims (9)

홍채 인식을 통해 마우스 포인터의 동작을 제어하여 특정 기능을 선택 및 실행하는 휴대 단말기에 있어서,
사용자의 홍채를 촬상하여 이미지 프레임(Image flame data)을 생성하는 홍채 촬상부;
상기 이미지 프레임의 픽셀 값과 상기 이미지 프레임에 대응하여 기설정된 홍채의 위치 값을 비교하여 홍채의 시선 좌표 값(x, y)을 추출하는 홍채 위치 검출부;
상기 홍채의 시선 좌표 값(x, y)에 대응하여 기설정된 홍채의 위치 값을 마우스 포인터(Pointer)의 위치 값으로 결정하는 포인터 생성부;
상기 홍채의 위치 값에 대응하여 마우스 포인터의 동작을 제어하는 포인터 제어부; 및
상기 홍채의 시선 좌표 값(x, y)에 대응하여 마우스 포인터(Pointer)의 위치 값을 추출하기 위한 기설정된 홍채의 위치 값을 저장하는 메모리부
를 포함하되,
상기 포인터 제어부는 상기 촬상된 이미지 프레임의 픽셀 값으로부터 홍채의 시선 좌표 값(x, y)이 검출되지 않은 경우 마우스 포인터를 통해 상기 휴대 단말기의 특정 기능을 선택 및 실행하고,
상기 이미지 프레임은 홍채의 시선 이동 방향을 중심으로 시선 영역이 구분되되, 홍채가 위치하는 상기 시선 영역의 특정 구간에 홍채의 시선 좌표 값(x, y)이 설정되어 상기 메모리부에 저장되는 것을 특징으로 하는 홍채 인식을 통해 마우스 포인터의 동작을 제어하여 특정 기능을 선택 및 실행하는 휴대 단말기.A portable terminal for controlling an operation of a mouse pointer through iris recognition to select and execute a specific function,
An iris capturing unit for capturing an image of a user's iris and generating an image frame (Image flame data);
An iris position detecting unit for comparing the pixel value of the image frame with a predetermined position value of the iris corresponding to the image frame to extract the eye coordinate value (x, y) of the iris;
A pointer generating unit for determining the position value of a predetermined pointer of the iris corresponding to the eye coordinate value (x, y) of the iris as a position value of a mouse pointer;
A pointer control unit for controlling the operation of the mouse pointer according to the position value of the iris; And
A memory unit for storing a position value of a predetermined iris for extracting a position value of a mouse pointer corresponding to the eye coordinate value (x, y) of the iris;
, ≪ / RTI &
Wherein the pointer control unit selects and executes a specific function of the portable terminal through a mouse pointer when the eye coordinate value (x, y) of the iris is not detected from the pixel value of the sensed image frame,
The image frame is characterized in that the eye area is divided around the eye movement direction of the iris and the eye coordinate value (x, y) of the iris is set in a specific section of the eye area where the iris is located and stored in the memory And controlling the operation of the mouse pointer through iris recognition to select and execute a specific function. 삭제delete 삭제delete 삭제delete 홍채 인식을 통해 마우스 포인터의 동작을 제어하여 휴대 단말기의 특정 기능을 선택 및 실행하는 방법에 있어서,
사용자의 홍채를 촬상하여 이미지 프레임(Image flame data)을 생성하는 단계;
상기 이미지 프레임의 픽셀 값과 상기 이미지 프레임에 대응하여 기설정된 홍채의 위치 값을 비교하여 홍채의 시선 좌표 값(x, y)을 추출하는 단계;
상기 홍채의 시선 좌표 값(x, y)에 대응하여 기설정된 홍채의 위치 값을 마우스 포인터(Pointer)의 위치 값으로 결정하는 단계; 및
상기 홍채의 위치 값에 대응하여 마우스 포인터의 동작을 제어하는 단계
를 포함하되,
상기 홍채의 시선 좌표 값(x, y)에 대응하여 마우스 포인터(Pointer)의 위치 값을 추출하기 위한 기설정된 홍채의 위치 값을 저장하는 단계;
상기 촬상된 이미지 프레임의 픽셀 값으로부터 홍채의 시선 좌표 값(x, y)이 검출되지 않은 경우 마우스 포인터를 통해 상기 휴대 단말기의 특정 기능을 선택 및 실행하는 단계
를 더 포함하고,
상기 이미지 프레임은 홍채의 시선 이동 방향을 중심으로 시선 영역이 구분되되, 홍채가 위치하는 상기 시선 영역의 특정 구간에 홍채의 시선 좌표 값(x, y)이 설정되는 것을 특징으로 하는 홍채 인식을 통해 마우스 포인터의 동작을 제어하여 휴대 단말기의 특정 기능을 선택 및 실행하는 방법.A method for selecting and executing a specific function of a mobile terminal by controlling an operation of a mouse pointer through iris recognition,
Imaging an iris of a user to generate an image frame (Image flame data);
Extracting eye coordinate values (x, y) of the iris by comparing pixel values of the image frame with predetermined position values of the iris corresponding to the image frame;
Determining a position value of a predetermined pointer of the iris corresponding to the eye coordinate value (x, y) of the iris as a position value of a mouse pointer; And
Controlling an operation of the mouse pointer in accordance with the position value of the iris
, ≪ / RTI &
Storing a position value of a predetermined iris for extracting a position value of a mouse pointer corresponding to the eye coordinate value (x, y) of the iris;
Selecting and executing a specific function of the portable terminal through a mouse pointer when the eye coordinate value (x, y) of the iris is not detected from the pixel value of the sensed image frame
Further comprising:
Wherein the image frame is divided into a visual line region around the eye movement direction of the iris and a visual axis coordinate value (x, y) of the iris is set in a specific section of the visual line region in which the iris is located. And controlling the operation of the mouse pointer to select and execute a specific function of the portable terminal. 삭제delete 삭제delete 삭제delete 제5 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.A computer-readable recording medium recording a program for performing the method of claim 5.
KR1020120117082A 2012-10-22 2012-10-22 Portable terminal possible control-working to iris recognition and a method for excuting the system KR101270558B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120117082A KR101270558B1 (en) 2012-10-22 2012-10-22 Portable terminal possible control-working to iris recognition and a method for excuting the system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120117082A KR101270558B1 (en) 2012-10-22 2012-10-22 Portable terminal possible control-working to iris recognition and a method for excuting the system

Publications (1)

Publication Number Publication Date
KR101270558B1 true KR101270558B1 (en) 2013-06-07

Family

ID=48866060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120117082A KR101270558B1 (en) 2012-10-22 2012-10-22 Portable terminal possible control-working to iris recognition and a method for excuting the system

Country Status (1)

Country Link
KR (1) KR101270558B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030928A (en) * 2017-09-15 2019-03-25 한동대학교 산학협력단 System for alternative computer access using eye-tracking and voice recognition and operating method having the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030022537A (en) * 2001-09-11 2003-03-17 김태용 Position Data Input System Using Eye Tracking Camera And Method Thereof
KR20040033496A (en) * 2002-10-14 2004-04-28 현대모비스 주식회사 Method for controlling an input key for a display device using an eye tracking
KR20070115403A (en) * 2006-06-02 2007-12-06 연세대학교 산학협력단 Iris recognizing system and method using multifocus image sequence
KR101004930B1 (en) 2008-07-10 2010-12-28 성균관대학교산학협력단 Full browsing method using gaze detection and handheld terminal performing the method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030022537A (en) * 2001-09-11 2003-03-17 김태용 Position Data Input System Using Eye Tracking Camera And Method Thereof
KR20040033496A (en) * 2002-10-14 2004-04-28 현대모비스 주식회사 Method for controlling an input key for a display device using an eye tracking
KR20070115403A (en) * 2006-06-02 2007-12-06 연세대학교 산학협력단 Iris recognizing system and method using multifocus image sequence
KR101004930B1 (en) 2008-07-10 2010-12-28 성균관대학교산학협력단 Full browsing method using gaze detection and handheld terminal performing the method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030928A (en) * 2017-09-15 2019-03-25 한동대학교 산학협력단 System for alternative computer access using eye-tracking and voice recognition and operating method having the same
KR102083372B1 (en) * 2017-09-15 2020-03-02 한동대학교 산학협력단 System for alternative computer access using eye-tracking and voice recognition and operating method having the same

Similar Documents

Publication Publication Date Title
US10616475B2 (en) Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium
EP2374089B1 (en) Method, apparatus and computer program product for providing hand segmentation for gesture analysis
JP6123694B2 (en) Information processing apparatus, information processing method, and program
US9952667B2 (en) Apparatus and method for calibration of gaze detection
JP5709228B2 (en) Information processing apparatus, information processing method, and program
CN108259758B (en) Image processing method, image processing apparatus, storage medium, and electronic device
JP6007682B2 (en) Image processing apparatus, image processing method, and program
CN104487915A (en) Maintaining continuity of augmentations
KR20160126979A (en) Method of controlling an electronic device
US20130250086A1 (en) Automatic magnification of data on display screen based on eye characteristics of user
CN108830219B (en) Target tracking method and device based on man-machine interaction and storage medium
CN107463903B (en) Face key point positioning method and device
TW202006630A (en) Payment method, apparatus, and system
CN105068646A (en) Terminal control method and system
EP4095744A1 (en) Automatic iris capturing method and apparatus, computer-readable storage medium, and computer device
CN112987933A (en) Device control method, device, electronic device and storage medium
CN104348969A (en) Method for operating mobile phone by stare of line of sight
CN107357424B (en) Gesture operation recognition method and device and computer readable storage medium
CN104063041A (en) Information processing method and electronic equipment
KR101270558B1 (en) Portable terminal possible control-working to iris recognition and a method for excuting the system
CN104219371A (en) Method and device for telephone dialing using lip reading technique
KR20150005094A (en) Electronic device and method for detection eye region in electronic device
JPWO2013145874A1 (en) Information processing apparatus, information processing method, and program
CN109040604A (en) Shoot processing method, device, storage medium and the mobile terminal of image
KR20150108575A (en) Apparatus identifying the object based on observation scope and method therefor, computer readable medium having computer program recorded therefor

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161109

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 5

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20180621

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190423

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200309

Year of fee payment: 8