KR20110077210A - Eye detection method from face image - Google Patents

Eye detection method from face image Download PDF

Info

Publication number
KR20110077210A
KR20110077210A KR1020090133708A KR20090133708A KR20110077210A KR 20110077210 A KR20110077210 A KR 20110077210A KR 1020090133708 A KR1020090133708 A KR 1020090133708A KR 20090133708 A KR20090133708 A KR 20090133708A KR 20110077210 A KR20110077210 A KR 20110077210A
Authority
KR
South Korea
Prior art keywords
eye
region
area
recognizing
recognition
Prior art date
Application number
KR1020090133708A
Other languages
Korean (ko)
Other versions
KR101051434B1 (en
Inventor
송혁
이철동
최병호
박상현
민수영
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020090133708A priority Critical patent/KR101051434B1/en
Publication of KR20110077210A publication Critical patent/KR20110077210A/en
Application granted granted Critical
Publication of KR101051434B1 publication Critical patent/KR101051434B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

PURPOSE: An eye detection method from a face image is provided to perform eye detection without using an additional device. CONSTITUTION: A face region is detected from a face image(S110). A region of interest is selected from the face region(S120). A left side separation eye area and a right side separation eye area are acknowledged from the region of interest(S130). An identical area between the left side separation eye area and the right side separation eye area is recognized as a overall eye area(S160).

Description

얼굴영상으로부터 안구영역을 인식하는 안구인식방법{Eye detection method from face image}Eye detection method for recognizing eye region from face image {Eye detection method from face image}

본 발명은 얼굴영상으로부터 안구영역을 인식하는 안구인식방법에 관한 것으로서, 더욱 상세하게는, 저비용으로 보다 정확한 안구인식이 가능하여 높은 안구인식률을 나타내는 안구인식방법에 관한 것이다. The present invention relates to an eye recognition method for recognizing an eyeball area from a face image. More particularly, the present invention relates to an eye recognition method showing high eye recognition rate by enabling accurate eye recognition at low cost.

카메라로부터 입력되는 영상 정보를 이용한 인식 시스템은 다양한 분야에서 널리 사용되고 있는데, 그 분야는 보안, 교육, 국방 또는 엔터테인먼트 등과 같이 광범위하다. 이러한 영상을 이용한 인식 시스템의 성능은 주변 환경에 따라 차이가 있다. Recognition systems using image information input from cameras are widely used in various fields, such as security, education, defense or entertainment. The performance of the recognition system using these images is different depending on the surrounding environment.

영상 정보는 태양광, 실내광 또는 주위의 반사광 등 조명의 영향을 크게 받으며 그 차이로 인하여 인식률의 차이로 인하여 사용 환경이 상당히 제한적이다. 예를 들어, 얼굴영상에 반사광이 존재할 경우에는 반사광의 영향으로 인하여 안구영역을 정확히 찾지 못할 수 있다. 따라서, 안구영역 주변의 눈썹이나 안구영역 하 단의 피부, 또는 어긋난 안구영역을 안구로 잘못 판단함으로 인하여 응용 프로그램에서 추가적으로 진행하는 인식을 제대로 수행하지 못하는 경우가 발생한다. 만약, 차량에서 안구영역을 이용하여 졸음방지시스템이 작동하고 있는 경우로 가정하면, 안구영역이 부정확한 경우 졸음상태인지를 정확히 판단할 수 없어서 차량운행의 위험성이 높아질 수 있다. Image information is greatly influenced by illumination such as sunlight, indoor light or ambient reflected light, and due to the difference, the use environment is very limited due to the difference in recognition rate. For example, when reflected light is present in the face image, the eyeball area may not be accurately found due to the influence of the reflected light. As a result, the application program may not properly perform further recognition because the eyebrows around the eyeball area, the skin below the eyeball area, or the misaligned eyeball area are incorrectly determined as the eyeball. If it is assumed that the drowsiness prevention system is operating by using the eyeball area in the vehicle, if the eyeball area is inaccurate, it may not be possible to accurately determine whether it is drowsy.

이러한 문제점을 해결하기 위하여 주변환경의 영향을 제거하기 위한 부가적인 장치가 요구되고 그 결과로 시스템의 제조비용이 높아지는 문제점이 있다. 따라서 실제 환경에서의 정보를 분석하여 실환경에서 발생하는 정보를 분석하고 그에 맞는 알고리즘을 채용함으로 불필요한 시스템의 부가 장치를 없애고 단순화하고자 하는 기술의 개발이 요청된다. In order to solve this problem, an additional device is required to remove the influence of the surrounding environment, and as a result, the manufacturing cost of the system is high. Therefore, by analyzing the information generated in the real environment by analyzing the information generated in the real environment and adopting an algorithm corresponding thereto, it is required to develop a technology to eliminate and simplify the additional equipment of the unnecessary system.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 저비용으로 보다 정확한 안구인식이 가능하여 높은 안구인식률을 나타내는 얼굴영상으로부터 안구영역을 인식하는 안구인식방법을 제공하는데 있다. The present invention is to solve the above-described problems, an object of the present invention is to provide an eye recognition method for recognizing the eye area from the face image showing a high eye recognition rate can be more accurate eye recognition at low cost.

이상과 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 얼굴영상으로부터 안구영역을 인식하는 안구인식방법은, 얼굴영상으로부터 얼굴영역을 인식하는 얼굴영역인식단계; 얼굴영역에서 관심영역을 설정하는 관심영역설정단계; 관심영역으로부터 좌측분리안구영역 및 우측분리안구영역을 각각 인식하는 좌우분리영역인식단계; 및 관심영역 중 좌측분리안구영역 및 우측분리안구영역과 일치하는 영역을 전체안구영역으로 인식하는 전체안구영역인식단계;를 포함한다. According to an aspect of the present invention, an eye recognition method for recognizing an eyeball area from a face image includes: a face area recognition step of recognizing a face area from a face image; A region of interest setting step of setting a region of interest in the face region; A left and right separation region recognition step of recognizing a left separation eye region and a right separation eye region from a region of interest, respectively; And a total eye region recognition step of recognizing a region corresponding to a left separated eye region and a right separated eye region among the regions of interest as the whole eye region.

또한, 관심영역으로부터 상측분리안구영역 및 하측분리안구영역을 각각 인식하는 단계;를 더 포함할 수 있어서, 전체안구영역인식단계는, 관심영역 중 좌측분리안구영역, 우측분리안구영역, 상측분리안구영역 및 하측분리안구영역과 일치하는 영역을 전체안구영역으로 인식하여 수행될 수 있다. The method may further include recognizing an upper separation eye region and a lower separation eye region from the region of interest, wherein the entire eye region recognition step may include a left separation eye region, a right separation eye region, and an upper separation eye region of the region of interest. It can be performed by recognizing the region corresponding to the region and the lower divided eye region as the whole eye region.

여기서, 좌측분리안구영역 및 우측분리안구영역은, 반사광이 형성된 부분을 제외하고 인식될 수 있고, 좌측분리안구영역 및 우측분리안구영역은, 안구 중 동공부분을 제외하고 인식될 수 있으며, 좌측분리안구영역 및 우측분리안구영역은, 안구 중 홍채부분을 제외하고 인식될 수 있다. Here, the left separation eye area and the right separation eye area may be recognized except for the portion where the reflected light is formed, and the left separation eye area and the right separation eye area may be recognized except the pupil part of the eye, and the left separation eye area may be recognized. The eyeball area and the right separate eyeball area can be recognized except for the iris portion of the eyeball.

얼굴영역인식단계는, 얼굴영상으로부터 색상, 패턴 또는 얼굴구조를 이용하여 얼굴영역을 인식할 수 있다. In the face area recognition step, the face area may be recognized using a color, a pattern, or a face structure from the face image.

관심영역을 설정하는 단계는, 전체 얼굴영역을 기준으로 하여 길이방향으로 하단으로부터 50% 내지 85% 사이의 영역 중 일부의 영역으로 설정될 수 있다. The setting of the ROI may be set to a part of an area between 50% and 85% from the bottom in the longitudinal direction with respect to the entire face area.

전체안구영역인식단계는, 좌측분리안구영역 및 우측분리안구영역과 관심영역의 상관도를 추출하여 일치하는지 여부를 판단하여 수행될 수 있다. The whole eyeball area recognition step may be performed by extracting a correlation between the left eyeball area, the right eyeball area, and the region of interest.

또한, 전체안구영역인식단계 후에, 기준안구영역을 이용하여 검증하는 단계;를 더 포함할 수 있다. The method may further include verifying by using the reference eye region after the whole eye region recognition step.

본 발명에 따르면, 얼굴영상으로부터 안구영역을 인식할 때, 외부환경의 영향을 최소로 할 수 있어서 보다 정확한 안구영역을 인식할 수 있어 신뢰성 높은 안구인식방법을 수행할 수 있는 효과가 있다. 또한, 외부환경요인을 감소시키기 위한 부가적인 장치 추가없이 안구인식이 가능하므로 제조비용절감의 효과가 있다. According to the present invention, when recognizing the eyeball area from the face image, it is possible to minimize the influence of the external environment to recognize the more accurate eyeball area, it is possible to perform a reliable eye recognition method. In addition, since eye recognition is possible without adding an additional device to reduce external environmental factors, manufacturing cost is reduced.

이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나, 본 발명의 실시형태는 여러가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. However, embodiments of the present invention may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art.

도 1은 본 발명의 일실시예에 따른 안구인식방법의 설명에 제공되는 흐름도이다. 본 발명에 따른 얼굴영상으로부터 안구영역을 인식하는 안구인식방법은, 얼굴영상으로부터 얼굴영역을 인식하는 얼굴영역인식단계; 얼굴영역에서 관심영역을 설정하는 관심영역설정단계; 관심영역으로부터 좌측분리안구영역 및 우측분리안구영역을 각각 인식하는 좌우분리영역인식단계; 및 관심영역 중 좌측분리안구영역 및 우측분리안구영역과 일치하는 영역을 전체안구영역으로 인식하는 전체안구영역인식단계;를 포함한다. 1 is a flow chart provided in the description of the eye recognition method according to an embodiment of the present invention. In the present invention Eye recognition method for recognizing the eye region from the face image according to the face image recognition step of recognizing the face region from the face image; A region of interest setting step of setting a region of interest in the face region; A left and right separation region recognition step of recognizing a left separation eye region and a right separation eye region from a region of interest, respectively; And a total eye region recognition step of recognizing a region corresponding to a left separated eye region and a right separated eye region among the regions of interest as the whole eye region.

본 발명에 따라 얼굴영상으로부터 안구영역을 인식하기 위하여는 먼저 얼굴영상으로부터 얼굴영역을 인식한다(S110). 도 3a에는 얼굴영상으로부터 인식된 얼굴영역(300)이 나타나있다. 얼굴영상으로부터 얼굴영역(300)을 인식하는 방법으로 는 색상을 이용한 방법, 패턴을 이용한 방법 또는 얼굴의 구조를 이용한 방법이 있다. In order to recognize the eyeball area from the face image according to the present invention, the face area is first recognized from the face image (S110). 3A illustrates a face region 300 recognized from a face image. As a method of recognizing the face region 300 from the face image, there is a method using a color, a method using a pattern, or a method using a face structure.

얼굴영역(300)이 인식되면, 얼굴영역(300)으로부터 안구를 인식하여야 한다. 먼저 정확한 안구의 위치를 찾기 보다 안구가 위치할 만한 영역을 설정할 필요가 있다. 얼굴에서 안구의 위치는 일반적으로 얼굴의 하단(C1)으로부터 약 50%위치(C2)에서부터 85%(C3) 위치에 존재한다. 따라서, 이 영역을 안구가 위치할 만한 영역인 관심영역으로 설정(S120)한 후에 이 영역에서 안구를 찾을 수 있다. 도 3b에는 안구가 위치하고 있는 관심영역(310)이 도시되어 있다. When the face area 300 is recognized, the eyeball should be recognized from the face area 300. First, rather than finding the exact position of the eyeball, it is necessary to set the area where the eyeball is located. The position of the eyeball in the face is generally at about 50% position (C 2 ) to 85% (C 3 ) position from the bottom of the face (C 1 ). Therefore, the eye can be found in this area after setting the area to the ROI, which is an area where the eyeball can be placed (S120). 3b shows the region of interest 310 in which the eyeball is located.

도 3b와 같이 관심영역(310)이 설정되면, 그 중 하나의 안구를 먼저 선택한다. 도 3c에는 도 3b의 관심영역(310) 중 임의로 선택된 왼쪽안구(320)가 도시되어 있다. 눈은 눈주위의 피부, 눈 상단의 눈썹, 눈영역 및 피부영역의 경계에 위치한 속눈썹 등이 있고, 내부에는 정면에서 보아 가장 가장자리에 위치하는 백색부분인 공막부분(321), 홍채부분(322), 및 가장 안쪽에 위치하는 동공부분(323)으로 구분되는 안구(320)가 위치한다. If the ROI 310 is set as shown in FIG. 3B, one eye of the eye region 310 is first selected. FIG. 3C illustrates a left eye 320 selected arbitrarily from the region of interest 310 of FIG. 3B. The eyes include the skin around the eyes, the eyebrows at the top of the eyes, the eyelashes located at the border of the eye area and the skin area, etc. Inside, the sclera part 321, the iris part 322, which is the white part located at the edge of the front view. Eyeball 320 is divided into, and the innermost pupil portion 323 is located.

관심영역(310) 이 설정되면, 관심영역(310)으로부터 좌측분리안구영역 및 우측분리안구영역을 각각 인식한다. 도 4a 및 도 4b에서는 도 3c의 왼쪽안구(320)를 C4 로 절단한 좌측 및 우측분리안구영역이 각각 도시되어 있다. 왼쪽안구(320)에 대한 분리안구영역을 인식한 후 나머지 안구에 대하여도 각각의 분리안구영역을 인식한다. When the ROI 310 is set, the left separation eye area and the right separation eye area are respectively recognized from the ROI 310. 4A and 4B, left and right separate eye regions in which the left eye 320 of FIG. 3C is cut by C 4 are shown. After recognizing the separated eye area for the left eye 320, each separated eye area is also recognized for the remaining eye.

좌측분리안구영역(410) 및 우측분리안구영역(420)을 인식하면, 이를 이용하여 관심영역과의 상관도(corelation)을 추출한다(S140). 상관도를 추출하여 좌측분리안구영역(410) 및 우측분리안구영역(420)이 결합되는 영역에 위치하는 영역과 일치하면(S150: Y) 이 영역을 하나의 안구에 대한 전체안구영역으로 인식한다. 즉, 관심영역(310) 중 좌측분리안구영역(410) 및 우측분리안구영역(420)과 일치하는 영역을 전체안구영역으로 인식한다(S160). 즉 만약, 영역이 일치하지 않으면(S150: N), 다시 좌측분리안구영역(410) 및 우측분리안구영역(420)을 인식하는 단계(S130)로 돌아간다. 안구영역을 좌측 및 우측으로 분리하여 인식하였기 때문에 전체 안구영역을 하나로 인식한 후 상관도를 추출하는 경우보다 각각에 대하여 상관도를 추출하므로 더욱 정확한 전체안구영역인식이 가능하다. When the left eyeball area 410 and the right eyeball area 420 are recognized, the correlation with the region of interest is extracted using the left eyeball area 410 (S140). If the correlation is extracted to match the region located in the region where the left eyeball area 410 and the right eyeball area 420 are combined (S150: Y), the area is recognized as a total eye area for one eye. . That is, the region corresponding to the left eyeball area 410 and the right eyeball area 420 of the ROI 310 is recognized as an entire eyeball area (S160). That is, if the regions do not match (S150: N), the process returns to the step S130 of recognizing the left separated eye region 410 and the right separated eye region 420 again. Since the eyeballs are separated and recognized to the left and the right, it is possible to recognize the whole eyeball area more accurately since the correlations are extracted for each than the case of recognizing the whole eyeball as one and then extracting the correlation.

전체안구영역인식단계 후에, 일반적인 눈형태를 나타내는 기준안구영역을 이용하여 본 발명에 따른 안구인식방법을 검증하여 오류를 최소화하는 것이 바람직하다. After the whole eye area recognition step, it is desirable to minimize the error by verifying the eye recognition method according to the present invention using the reference eye area representing the general eye shape.

도 2는 본 발명의 일실시예에 따른 안구인식방법의 설명에 제공되는 흐름도이다. 도 2에서 얼굴영역인식단계(S210), 관심영역설정단계(S220), 좌측 및 우측분리안구영역인식단계(S230), 상관도 추출단계(S240) 및 일치여부판단단계(S250: Y)에 대하여는 도 1과 관련하여 전술한 바와 동일하므로 그 설명은 생략하기로 한다. 2 is a flowchart provided to explain the eye recognition method according to an embodiment of the present invention. For the face area recognition step (S210), the ROI setting step (S220), the left and right separate eyeball area recognition step (S230), the correlation extraction step (S240) and the match determination step (S250: Y) in FIG. 1 and the description thereof will be omitted.

좌측분리안구영역(410) 및 우측분리안구영역(420)을 인식한 후, 상관도를 추출하여 일치하는지 판단하였을 때, 일치하지 않는 경우(S250: N)에는 관심영역(310)으로부터 상측분리안구영역(430) 및 하측분리안구영역(440)을 각각 인식한다. 도 4c 및 도 4d에서는 도 3c의 왼쪽안구(320)를 C5로 절단한 상측분리안구영역(430) 및 하측분리안구영역(440)이 각각 도시되어 있다. After recognizing the left separation eye region 410 and the right separation eye region 420, and determining whether the correlation is extracted by the correlation, if it does not match (S250: N), the upper separation eye from the region of interest 310 Recognize the area 430 and the lower separation eye area 440, respectively. 4C and 4D, the upper separation eye region 430 and the lower separation eye region 440, respectively, in which the left eye 320 of FIG. 3C is cut into C 5 , is illustrated.

상측분리안구영역(430) 및 하측분리안구영역(440)을 이용하는 이유는, 좌측분리안구영역(410) 및 우측분리안구영역(420)만으로 상관도를 추출하였을 때 일치하지 않은 경우, 도 1에서와 같이 다시 좌측분리안구영역(410) 및 우측분리안구영역(420)을 인식하도록 하여 상관도를 재추출할 수 있지만, 이와 다른 상측분리안구영역(430) 및 하측분리안구영역(440)을 더 이용하여 오류를 감소시키기 위한 것이다. 따라서, 관심영역(310) 중 좌측분리안구영역(410), 우측분리안구영역(420), 상측분리안구영역(430), 및 하측분리안구영역(440)과 일치하는 영역을 전체안구영역으로 찾으면 보다 오류를 줄여 정확한 안구인식이 가능하다. The reason for using the upper-separated eyeball area 430 and the lower-separated eyeball area 440 is that when the correlation is extracted only with the left-separated eyeball area 410 and the right-separated eyeball area 420, the result of FIG. As shown in FIG. 2, the left separation eye region 410 and the right separation eye region 420 may be reextracted to re-extract the correlation. However, another upper separation eye region 430 and a lower separation eye region 440 may be further extracted. To reduce errors. Therefore, if the region matching the left eyeball area 410, the right eyeball area 420, the top eyeball area 430, and the bottom eyeball area 440 is found as the whole eye area of the ROI 310. More error can be reduced and accurate eye recognition is possible.

도 5a는 실제 차량에서 촬영된 얼굴영상 중 눈영역을 나타내는 도면이다. 도 5a의 눈에는 홍채나 동공 부분에 반사광이 있는 것을 알 수 있다. 영상 데이터는 주변 환경에 위치한 광원의 영향을 받는다. 광원으로서는 태양광, 실내조명등, 또는 주변 구조물에 반사된 빛 등이 있다. 그러한 광원으로부터 발생하는 광선은 눈영역에 반사되어 영상정보를 획득하는 카메라에 입력된다. 그 결과로서 도 5a에서와 같이 눈에 반사광이 위치한다. 5A illustrates an eye region of a face image photographed in an actual vehicle. It can be seen that the eye of FIG. 5A has reflected light in the iris or pupil part. Image data is affected by light sources located in the surrounding environment. The light source may be sunlight, indoor lighting, or light reflected by surrounding structures. Light rays generated from such light sources are reflected to the eye area and input to a camera which acquires image information. As a result, the reflected light is located in the eye as in FIG. 5A.

도 5a에서 빛을 반사하지 않는 눈 주위의 피부 영역 및 눈 영역 내에서 가장 밝은 눈 영역 내에 위치한 공막의 백색영역에서는 반사광이 보이지 않는다. 반사광은 눈 영역에서 가장 어두운 영역인 홍채 영역 및 동공 영역에서 발생한다. 가장 어두운 영역에서 반사광이 발생함으로 나오는 결과는 눈 영역을 추출하는데 사용되는 유사도 방법, 또는 확률을 이용하는 방법에서 기본이 되는 눈 구조물과의 비교값에서 큰 오차를 발생시킨다. 이러한 오차는 반사가 적은 피부 영역에서의 반사광 또는 밝은 영역에서 더 밝은 반사광에서 발생하는 것보다, 어두운 영역이 밝아짐으로 발생하는 오차값이 계산식에 있어 매우 큰 영향을 미친다. In FIG. 5A, the reflected light is not visible in the skin region around the eye which does not reflect light and in the white region of the sclera located in the brightest eye region in the eye region. The reflected light is generated in the iris region and the pupil region, which are the darkest regions in the eye region. The result of the reflected light in the darkest area generates a large error in the comparison with the eye structure that is the basis of the similarity method used to extract the eye area, or the method using probability. This error is much more influenced by the calculation of the error value caused by the brightening of the dark area than the reflection light in the less-reflected skin area or the brighter reflected light in the bright area.

따라서, 좌측분리안구영역 및 우측분리안구영역은, 반사광이 형성된 부분을 제외하고 인식될 수 있거나, 안구 중 동공부분을 제외하고 인식되거나 또는 안구 중 홍채부분을 제외하고 인식될 수 있다. 도 5b는 반사광이 형성된 부분(Ar)을 제외하고 좌측분리안구영역(511) 및 우측분리안구영역(521)을 인식한 것을 나타내는 도면이고, 도 5c는 홍채부분(Ai)을 제외하고 좌측분리안구영역(512) 및 우측분리안구영역(522)을 인식한 것을 나타내는 도면이며, 도 5d는 동공부분(Ap)을 제외하고 좌측분리안구영역(513) 및 우측분리안구영역(523)을 인식한 것을 나타내는 도면이다. 반사광이 형성된 부분(Ar), 홍채부분(Ai), 및 동공부분(Ap)은 눈에 형성되는 반사광영역이나 홍채, 동공의 위치를 통계적으로 설정하여 제외시킨다. Therefore, the left separation eye region and the right separation eye region may be recognized except for the portion where the reflected light is formed, or may be recognized except the pupil portion of the eye, or may be recognized except the iris portion of the eye. FIG. 5B is a view illustrating recognizing the left separating eye region 511 and the right separating eye region 521 except for the portion A r on which the reflected light is formed, and FIG. 5C is the left side except for the iris portion A i . FIG. 5D illustrates the left eyeball area 513 and the right eyeball area 523 excluding the pupil part A p . It is a figure which shows what was recognized. The portion A r , the iris portion A i , and the pupil portion A p on which the reflected light is formed are statistically set to exclude the positions of the reflected light region, iris, and pupil formed in the eye.

도 5b에서와 같이 반사광이 형성되는 영역을 제외시킨 좌측분리안구영역(511) 및 우측분리안구영역(521)을 이용하여 상관도를 추출하고 전체 안구영역을 인식하는 경우, 상관도 추출에서의 오차발생을 감소시킬 수 있기 때문에 더욱 정확한 안구영역의 인식이 가능하다. 아울러, 도 5c나 도 5d와 같이 반사광이 형성되는 영역 대신 반사광이 잘 형성되는 어두운 부분인 홍채나 동공부분 또는 도시되지는 않았으나 양자 모두를 제외시키는 경우에도 별도의 부가적인 장치없이도 더욱 정확한 안구영역의 인식이 가능하다. As shown in FIG. 5B, when the correlation is extracted using the left separation eye region 511 and the right separation eye region 521 excluding the region where the reflected light is formed, and the entire eye region is recognized, an error in the correlation extraction Since the occurrence can be reduced, more accurate eye area recognition is possible. In addition, as shown in FIG. 5C or FIG. 5D, the iris or the pupil part, which is a dark part where the reflected light is well formed, instead of the area where the reflected light is formed, is not shown, but even if both are excluded, a more accurate eye area may be obtained without additional devices. Recognition is possible.

본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니라, 첨부된 청구범위에 의해 해석되어야 한다. 또한, 본 발명에 대하여 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변 형 및 변경이 가능하다는 것은 당해 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.The invention is not to be limited by the foregoing embodiments and the accompanying drawings, but should be construed by the appended claims. In addition, it will be apparent to those skilled in the art that various forms of substitution, modification, and alteration are possible with respect to the present invention without departing from the technical spirit of the present invention described in the claims.

도 1은 본 발명의 일실시예에 따른 안구인식방법의 설명에 제공되는 흐름도이다. 1 is a flow chart provided in the description of the eye recognition method according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 따른 안구인식방법의 설명에 제공되는 흐름도이다. 2 is a flowchart provided to explain the eye recognition method according to an embodiment of the present invention.

도 3a는 얼굴영역이고, 도 3b는 관심영역이며, 도 3c는 도 3c의 관심영역 중 왼쪽안구를 나타낸 도면이다. 3A is a face region, FIG. 3B is a region of interest, and FIG. 3C is a view showing a left eye of the region of interest of FIG. 3C.

도 4a는 도 3c에 도시된 눈의 좌측분리안구영역이고, 도 4b는 우측분리안구영역이고, 도 4c는 상측분리안구영역이며, 도 4d는 하측분리안구영역이다. FIG. 4A is a left separation eye region of the eye shown in FIG. 3C, FIG. 4B is a right separation eye region, FIG. 4C is an upper separation eye region, and FIG. 4D is a lower separation eye region.

도 5a는 실제 차량에서 촬영된 얼굴영상 중 눈영역을 나타내는 도면이다. 5A illustrates an eye region of a face image photographed in an actual vehicle.

도 5b는 반사광이 형성된 부분을 제외하고 좌측 및 우측분리안구영역을 인식한 것을 나타내는 도면이고, 도 5c는 홍채부분을 제외하고 좌측 및 우측분리안구영역을 인식한 것을 나타내는 도면이며, 도 5d는 동공부분을 제외하고 좌측 및 우측분리안구영역을 인식한 것을 나타내는 도면이다. FIG. 5B is a view illustrating recognizing left and right separated eye regions except for a portion where reflected light is formed, and FIG. 5C is a view illustrating recognizing left and right separated eye regions except an iris portion, and FIG. 5D is a pupil. Except for the part, the figure shows recognition of the left and right separate eye regions.

Claims (9)

얼굴영상으로부터 얼굴영역을 인식하는 얼굴영역인식단계;Face region recognition step of recognizing a face region from a face image; 상기 얼굴영역에서 관심영역을 설정하는 관심영역설정단계;A region of interest setting step of setting a region of interest in the face region; 상기 관심영역으로부터 좌측분리안구영역 및 우측분리안구영역을 각각 인식하는 좌우분리영역인식단계; 및A left and right separation region recognition step of recognizing a left separation eye region and a right separation eye region from the ROI; And 상기 관심영역 중 상기 좌측분리안구영역 및 상기 우측분리안구영역과 일치하는 영역을 전체안구영역으로 인식하는 전체안구영역인식단계;를 포함하는 얼굴영상으로부터 안구영역을 인식하는 안구인식방법.A whole eye region recognition step of recognizing a region corresponding to the left separated eye region and the right separated eye region of the region of interest as a whole eye region; and an eye region recognition from the face image. 제 1항에 있어서, The method of claim 1, 상기 관심영역으로부터 상측분리안구영역 및 하측분리안구영역을 각각 인식하는 단계;를 더 포함하고, Recognizing an upper separated eye region and a lower separated eye region, respectively, from the region of interest; 상기 전체안구영역인식단계는, 상기 관심영역 중 상기 좌측분리안구영역, 상기 우측분리안구영역, 상기 상측분리안구영역 및 상기 하측분리안구영역과 일치하는 영역을 상기 전체안구영역으로 인식하는 단계인 것을 특징으로 하는 얼굴영상으로부터 안구영역을 인식하는 안구인식방법.Recognizing the whole ocular region is a step of recognizing a region corresponding to the left divided eye region, the right divided eye region, the upper divided eye region and the lower divided eye region of the region of interest as the total eye region. Eye recognition method for recognizing eyeball area from facial image. 제 1항에 있어서, The method of claim 1, 상기 좌측분리안구영역 및 상기 우측분리안구영역은, 반사광이 형성된 부분 을 제외하고 인식되는 것을 특징으로 하는 얼굴영상으로부터 안구영역을 인식하는 안구인식방법.The left separation eye area and the right separation eye area, the eye recognition method for recognizing the eye area from the face image, characterized in that the recognition except for the portion where the reflected light is formed. 제 1항에 있어서,The method of claim 1, 상기 좌측분리안구영역 및 상기 우측분리안구영역은, 안구 중 동공부분을 제외하고 인식되는 것을 특징으로 하는 얼굴영상으로부터 안구영역을 인식하는 안구인식방법.The left separation eye area and the right separation eye area, eyeball recognition method for recognizing the eyeball area from the facial image, characterized in that the pupil portion of the eyeball is recognized. 제 1항에 있어서,The method of claim 1, 상기 좌측분리안구영역 및 상기 우측분리안구영역은, 안구 중 홍채부분을 제외하고 인식되는 것을 특징으로 하는 얼굴영상으로부터 안구영역을 인식하는 안구인식방법.The left separation eye area and the right separation eye area, eyeball recognition method for recognizing the eyeball area from the face image, characterized in that the recognition except for the iris portion of the eyeball. 제 1항에 있어서, The method of claim 1, 상기 얼굴영역인식단계는, 상기 얼굴영상으로부터 색상, 패턴 또는 얼굴구조를 이용하여 얼굴영역을 인식하는 단계인 것을 특징으로 하는 얼굴영상으로부터 안구영역을 인식하는 안구인식방법.The facial region recognition step, the eye recognition method for recognizing the eye region from the face image, characterized in that the step of recognizing the face region using the color, pattern or face structure from the face image. 제 1항에 있어서, The method of claim 1, 상기 관심영역을 설정하는 단계는, 전체 얼굴영역을 기준으로 하여 길이방향 으로 하단으로부터 50% 내지 85% 사이의 영역으로 설정되는 것을 특징으로 하는 얼굴영상으로부터 안구영역을 인식하는 안구인식방법.The setting of the ROI is an eye recognition method for recognizing an eyeball area from a face image, wherein the eyeball area is set to an area between 50% and 85% from the bottom in the longitudinal direction with respect to the entire face area. 제 1항에 있어서, The method of claim 1, 상기 전체안구영역인식단계는, 상기 좌측분리안구영역 및 상기 우측분리안구영역과 상기 관심영역의 상관도를 추출하여 상기 일치하는지 여부를 판단하는 것을 특징으로 하는 얼굴영상으로부터 안구영역을 인식하는 안구인식방법.The whole eye region recognition step includes extracting a correlation between the left separated eye region and the right separated eye region and the region of interest to determine whether the eye region is recognized from the face image. Way. 제 1항에 있어서, The method of claim 1, 상기 전체안구영역인식단계 후에, 기준안구영역을 이용하여 검증하는 단계;를 더 포함하는 것을 특징으로 하는 얼굴영상으로부터 안구영역을 인식하는 안구인식방법.And after the whole eye region recognition step, verifying using the reference eye region. The eye recognition method of recognizing an eye region from a face image.
KR1020090133708A 2009-12-30 2009-12-30 Eye Recognition Method for Recognizing Eye Region from Face Image KR101051434B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090133708A KR101051434B1 (en) 2009-12-30 2009-12-30 Eye Recognition Method for Recognizing Eye Region from Face Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090133708A KR101051434B1 (en) 2009-12-30 2009-12-30 Eye Recognition Method for Recognizing Eye Region from Face Image

Publications (2)

Publication Number Publication Date
KR20110077210A true KR20110077210A (en) 2011-07-07
KR101051434B1 KR101051434B1 (en) 2011-07-22

Family

ID=44916817

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090133708A KR101051434B1 (en) 2009-12-30 2009-12-30 Eye Recognition Method for Recognizing Eye Region from Face Image

Country Status (1)

Country Link
KR (1) KR101051434B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102464368B1 (en) 2017-11-07 2022-11-07 삼성전자주식회사 Meta projector and electronic apparatus including the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100552709B1 (en) * 2004-05-21 2006-02-20 삼성전자주식회사 Apparatus and method for detecting eyes
KR100734849B1 (en) * 2005-11-26 2007-07-03 한국전자통신연구원 Method for recognizing face and apparatus thereof
KR100903096B1 (en) * 2007-06-27 2009-06-16 포항공과대학교 산학협력단 Eye detection method using eye verification and correction

Also Published As

Publication number Publication date
KR101051434B1 (en) 2011-07-22

Similar Documents

Publication Publication Date Title
JP6630999B2 (en) Image recognition device, image recognition method, and image recognition program
JP6322986B2 (en) Image processing apparatus, image processing method, and image processing program
US10891479B2 (en) Image processing method and system for iris recognition
Boehnen et al. A fast multi-modal approach to facial feature detection
EP2584525B1 (en) Determining ambient light reflection
JP5776323B2 (en) Corneal reflection determination program, corneal reflection determination device, and corneal reflection determination method
US11651624B2 (en) Iris authentication device, iris authentication method, and recording medium
US20180174309A1 (en) Eye Motion Detection Method, Program, Program Storage Medium, and Eye Motion Detection Device
US20230394778A1 (en) Iris recognition system, iris recognition method, and storage medium
EP2639743A2 (en) Image processing device, image processing program, and image processing method
US20200372272A1 (en) Living-body detection method and apparatus for face, and computer readable medium
US10163009B2 (en) Apparatus and method for recognizing iris
US20190320890A1 (en) Eyelid detection device, drowsiness determination device, and eyelid detection method
EP3676793A1 (en) Iris recognition system, iris recognition method, and storage medium
US11636711B2 (en) Image processing system, image processing method, and storage medium
KR101051434B1 (en) Eye Recognition Method for Recognizing Eye Region from Face Image
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
JP2012068719A (en) Image processing program and image processing device
US20230162534A1 (en) Liveliness detection using a device comprising an illumination source
JP5957996B2 (en) Corneal reflection detection apparatus, corneal reflection detection program, and corneal reflection detection method
US20210097713A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee