KR20210129398A - Face recognition device using deep learning - Google Patents

Face recognition device using deep learning Download PDF

Info

Publication number
KR20210129398A
KR20210129398A KR1020200047311A KR20200047311A KR20210129398A KR 20210129398 A KR20210129398 A KR 20210129398A KR 1020200047311 A KR1020200047311 A KR 1020200047311A KR 20200047311 A KR20200047311 A KR 20200047311A KR 20210129398 A KR20210129398 A KR 20210129398A
Authority
KR
South Korea
Prior art keywords
unit
image
learning
interest
face recognition
Prior art date
Application number
KR1020200047311A
Other languages
Korean (ko)
Inventor
장우석
여병상
Original Assignee
주식회사딜루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사딜루션 filed Critical 주식회사딜루션
Priority to KR1020200047311A priority Critical patent/KR20210129398A/en
Publication of KR20210129398A publication Critical patent/KR20210129398A/en

Links

Images

Classifications

    • G06K9/00221
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06K9/3233
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06T5/009
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

According to an embodiment of the present invention, a face recognition device includes: a reference image input unit for receiving a reference image; a region of interest setting unit for generating an image of interest by setting a region of interest corresponding to the reference image; a learning image generating unit for generating a plurality of learning images based on the image of interest; a learning unit for generating a recognition model by learning using the plurality of learning images; and a face recognition unit for recognizing a face from an input image using the recognition model. Accordingly, a recognition rate can be improved in various recognition situations.

Description

딥러닝을 이용하는 얼굴 인식 장치{FACE RECOGNITION DEVICE USING DEEP LEARNING}Face recognition device using deep learning {FACE RECOGNITION DEVICE USING DEEP LEARNING}

본 발명의 실시예는 딥러닝을 이용하는 얼굴 인식 장치, 특히 기준 이미지를 이용하여 복수의 학습 이미지들을 생성하고, 복수의 학습 이미지들을 학습시켜 다양한 인식 상황에서 인식율을 향상시킬 수 있는 얼굴 인식 장치에 관한 것이다.An embodiment of the present invention relates to a face recognition apparatus using deep learning, in particular, a face recognition apparatus capable of generating a plurality of learning images using a reference image and learning the plurality of learning images to improve the recognition rate in various recognition situations. will be.

얼굴 검출(Face Detection) 이란, 입력된 이미지에서 사람의 얼굴을 검출하는 기술을 의미한다. Face detection refers to a technology for detecting a human face from an input image.

얼굴 인식(Face Recognition) 이란, 입력된 이미지에서 사람의 얼굴을 검출하고, DB(Database)에 저장된 얼굴들과 비교하여 특정한 얼굴 또는 사람을 찾는 기술을 의미한다. Face recognition refers to a technology that detects a human face from an input image and finds a specific face or person by comparing it with faces stored in a database (DB).

최근, 얼굴 검출 및 얼굴 인식은 다양한 분야에서 널리 사용되고 있다. 예컨대, 보안 시스템에 접근을 제어하기 위한 보안 시스템 분야 또는 잠재적 고객들에 대하여 사람에 따라 적절한 마케팅 서비스를 제공하는 마케팅 분야에서, 얼굴 검출 및 얼굴 인식 시스템이 이용되고 있다. Recently, face detection and face recognition have been widely used in various fields. For example, in the field of a security system for controlling access to a security system or in the field of marketing that provides appropriate marketing services according to people to potential customers, face detection and face recognition systems are being used.

얼굴 검출 및 얼굴 인식은 CCTV 등의 별도의 카메라뿐만 아니라, 휴대폰, 스마트폰, 태블릿 PC, 노트북 등을 이용해서 구현되고 있다. Face detection and face recognition are being implemented using not only separate cameras such as CCTV, but also mobile phones, smartphones, tablet PCs, and laptops.

종래의 얼굴 인식 기술은, 처리해야할 데이터 양 및 연산양이 방대하여 실시간 처리가 힘든 문제가 있다. The conventional face recognition technology has a problem in that real-time processing is difficult because the amount of data to be processed and the amount of computation are huge.

또한, 다양한 얼굴 인식 상황들(예컨대, 조도가 낮은 상황, 표정이 있는 상황, 특정 색상의 조명이 얼굴을 비추는 상황, 카메라를 정면으로 바라보지 않는 상황 등)에서, 종래의 얼굴 인식 기술은 얼굴 인식률이 떨어지는 한계가 존재한다.In addition, in various face recognition situations (eg, a situation in which illumination is low, a situation in which there is an expression, a situation in which a light of a specific color illuminates a face, a situation in which the camera is not viewed directly, etc.), the conventional face recognition technology has a face recognition rate There is a limit to this falling.

그리고, 얼굴 인식에 이용되는 이미지의 해상도는 날로 커지고 있다. 예를 들어, 입력되는 이미지는 SD, HD, FULL HD, 4K 등으로 고해상도를 갖게 되어 그 용량이 커지고 있다. 따라서, 얼굴 인식의 실시간 처리를 위해서는, 더 많은 컴퓨팅 파워를 요구되고 있다. And, the resolution of the image used for face recognition is increasing day by day. For example, the input image has a high resolution such as SD, HD, FULL HD, 4K, etc., and the capacity thereof is increasing. Therefore, for real-time processing of face recognition, more computing power is required.

한국등록특허 제10-2016082호 '딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치'(2019.08.23. 공개)Korean Patent No. 10-2016082 'Deep learning-based facial recognition method and device robust to pose change' (published on Aug. 23, 2019) 한국등록특허 제10-1962875호 '저해상도 영상에서 얼굴 인식을 위한 특징 생성 장치 및 방법'(2017.06.30. 공개)Korean Patent Registration No. 10-1962875 'A device and method for generating features for face recognition in low-resolution images' (published on June 30, 2017)

본 발명의 목적은 다양한 인식 상황에서 인식률을 향상시킬 수 있는 얼굴 인식 장치를 제공하는 데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a face recognition apparatus capable of improving a recognition rate in various recognition situations.

본 발명의 다른 목적은 동일한 크기의 이미지가 입력되어도 보다 적은 컴퓨팅 파워를 요구하는 얼굴 인식 장치를 제공하는 데 있다.Another object of the present invention is to provide a face recognition device that requires less computing power even when an image of the same size is input.

본 발명의 또 다른 목적은 사람 얼굴의 측면부 이미지 만으로 정확하게 얼굴을 인식할 수 있는 얼굴 인식 장치를 제공하는 데 있다.Another object of the present invention is to provide a face recognition apparatus capable of accurately recognizing a face only with a side image of a human face.

본 발명의 실시예에 따른, 얼굴 인식 장치는, 기준 이미지를 입력받기 위한 기준 이미지 입력부; 상기 기준 이미지에 대응하는 관심 영역을 설정하여 관심 이미지를 생성하기 위한 관심 영역 설정부; 상기 관심 이미지를 기초로 복수의 학습 이미지들을 생성하기 위한 학습 이미지 생성부; 상기 복수의 학습 이미지들을 이용하여 학습하여 인식 모델을 생성하기 위한 학습부; 및 상기 인식 모델을 이용하여, 입력 영상으로부터 얼굴을 인식하기 위한 얼굴 인식부를 포함하는 것을 특징으로 한다. According to an embodiment of the present invention, a face recognition apparatus includes: a reference image input unit for receiving a reference image; a region of interest setting unit for generating an image of interest by setting a region of interest corresponding to the reference image; a learning image generator for generating a plurality of learning images based on the image of interest; a learning unit for generating a recognition model by learning using the plurality of training images; and a face recognition unit for recognizing a face from an input image by using the recognition model.

본 발명에서, 상기 학습 이미지 생성부는, 상기 관심 이미지의 각도를 단위 각도에 따라 적어도 1회 이상 회전시켜 복수의 학습 이미지들을 생성하기 위한 각도 변경부를 포함하는 것을 특징으로 한다. In the present invention, the learning image generating unit is characterized in that it includes an angle changing unit for generating a plurality of learning images by rotating the angle of the image of interest at least once according to a unit angle.

본 발명에서, 상기 단위 각도는, 5도 내지 15도 범위에 속하는 것을 특징으로 한다. In the present invention, the unit angle is characterized in that it belongs to the range of 5 degrees to 15 degrees.

본 발명에서, 상기 학습 이미지 생성부는, 상기 관심 이미지의 밝기를 단위 밝기에 따라 설정함으로써 복수의 학습 이미지들을 생성하기 위한 밝기 변경부를 더 포함하는 것을 특징으로 한다. In the present invention, the training image generating unit is characterized in that it further comprises a brightness changing unit for generating a plurality of training images by setting the brightness of the image of interest according to the unit brightness.

본 발명에서, 상기 밝기 변경부는, 상기 관심 이미지의 밝기를 기준으로 +100% 내지 -100% 범위에서 상기 단위 밝기에 따라 상기 복수의 학습 이미지들을 생성하고, 상기 단위 밝기는, 5% 내지 10% 범위에 속하는 것을 특징으로 한다.In the present invention, the brightness changing unit generates the plurality of training images according to the unit brightness in a range of +100% to -100% based on the brightness of the image of interest, and the unit brightness is 5% to 10% It is characterized in that it falls within the range.

본 발명에서, 상기 학습 이미지 생성부는, 상기 관심 이미지의 명암을 단위 명암에 따라 설정함으로써 복수의 학습 이미지들을 생성하기 위한 명암 변경부를 더 포함하는 것을 특징으로 한다. In the present invention, the training image generator may further include a contrast changer configured to generate a plurality of training images by setting the contrast of the image of interest according to the unit intensity.

본 발명에서, 상기 명암 변경부는, 상기 관심 이미지의 명암을 기준으로 +100% 내지 -100% 범위에서 상기 단위 명암에 따라 복수의 학습 이미지들을 생성하고, 상기 단위 명암은, 5% 내지 10% 범위에 속하는 것을 특징으로 한다.In the present invention, the contrast change unit generates a plurality of training images according to the unit contrast in a range of +100% to -100% based on the contrast of the image of interest, and the unit contrast is in the range of 5% to 10% It is characterized by belonging to

본 발명에서, 상기 학습 이미지 생성부는, 상기 관심 이미지의 색상을 복수의 단위 색상 채널들에 따라 추출함으로써 복수의 학습 이미지들을 생성하기 위한 색상 변경부를 더 포함하는 것을 특징으로 한다. In the present invention, the training image generator may further include a color changer configured to generate a plurality of training images by extracting the color of the image of interest according to a plurality of unit color channels.

본 발명에서, 상기 복수의 단위 색상 채널들은, 레드 채널, 그린 채널 및 블루 채널을 포함하는 것을 특징으로 한다. In the present invention, the plurality of unit color channels includes a red channel, a green channel, and a blue channel.

본 발명에서, 상기 복수의 단위 색상 채널들은, 사이언 채널, 마젠타 채널, 옐로우 채널 및 블랙 채널을 포함하는 것을 특징으로 한다. In the present invention, the plurality of unit color channels includes a cyan channel, a magenta channel, a yellow channel, and a black channel.

본 발명에서, 상기 학습 이미지 생성부는, 상기 관심 이미지의 외곽선 선명도를 조절함으로써 복수의 학습 이미지들을 생성하기 위한 선명도 조절부를 더 포함하는 것을 특징으로 한다. In the present invention, the learning image generating unit may further include a sharpness adjusting unit for generating a plurality of learning images by adjusting the sharpness of the outline of the image of interest.

본 발명에서, 상기 학습 이미지 생성부는, 상기 관심 이미지가 얼굴의 측면부를 나타내는 경우, 좌우 반전 및 이미지 결합을 통해 정면 이미지를 생성하기 위한 정면 이미지 생성부를 더 포함하는 것을 특징으로 한다. In the present invention, the learning image generating unit, when the image of interest represents the side part of the face, characterized in that it further comprises a front image generating unit for generating a front image through left and right inversion and image combination.

본 발명에서, 상기 정면 이미지 생성부는, 상기 정면 이미지를 상기 각도 변경부, 상기 밝기 변경부, 상기 명암 변경부, 상기 색상 변경부 및 상기 선명도 조절부로 제공하는 것을 특징으로 한다. In the present invention, the front image generating unit provides the front image to the angle changing unit, the brightness changing unit, the contrast changing unit, the color changing unit, and the sharpness adjusting unit.

본 발명에서, 상기 관심 영역 설정부는, 상기 기준 이미지에서 얼굴 또는 사람의 형태를 검출함으로써, 상기 관심 이미지를 생성하는 것을 특징으로 한다. In the present invention, the ROI setting unit generates the ROI by detecting a shape of a face or a person from the reference image.

본 발명에서, 상기 학습부는, 상기 복수의 학습 이미지들 중에서 기준 해상도 이하의 이미지들을 제거하기 위한 필터부; 상기 복수의 학습 이미지들의 특징점을 추출하기 위한 추출부; 및 상기 특징점에 기초하여 상기 인식 모델을 생성하기 위한 모델 관리부를 포함하는 것을 특징으로 한다. In the present invention, the learning unit, a filter unit for removing images having a reference resolution or less from among the plurality of training images; an extraction unit for extracting feature points of the plurality of learning images; and a model manager for generating the recognition model based on the feature point.

본 발명의 얼굴 인식 장치는 다양한 인식 상황에서 인식률을 향상시킬 수 있는 효과가 있다. The face recognition apparatus of the present invention has an effect of improving the recognition rate in various recognition situations.

또한, 본 발명의 얼굴 인식 장치는 동일한 크기의 이미지가 입력되어도 보다 적은 컴퓨팅 파워를 요구하는 효과가 있다. In addition, the face recognition apparatus of the present invention has the effect of requiring less computing power even when an image of the same size is input.

또한, 본 발명의 얼굴 인식 장치는 사람 얼굴의 측면부 이미지 만으로 정확하게 얼굴을 인식할 수 있는 효과가 있다. In addition, the face recognition apparatus of the present invention has an effect of accurately recognizing a face only with a side image of a human face.

도 1은 본 발명의 실시예에 따른 얼굴 인식 장치를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 관심 영역 설정부의 동작을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 학습 이미지 생성부를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 각도 변경부의 동작을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 정면 이미지 생성부의 동작을 나타내는 도면이다.
도 6는 본 발명의 실시예에 따른 학습부를 나타내는 도면이다.
1 is a diagram illustrating a face recognition apparatus according to an embodiment of the present invention.
2 is a diagram illustrating an operation of a region of interest setting unit according to an embodiment of the present invention.
3 is a diagram illustrating a learning image generator according to an embodiment of the present invention.
4 is a diagram illustrating an operation of an angle changing unit according to an embodiment of the present invention.
5 is a diagram illustrating an operation of a front image generator according to an embodiment of the present invention.
6 is a diagram illustrating a learning unit according to an embodiment of the present invention.

본 발명을 더욱 상세히 설명한다.The present invention will be described in more detail.

이하 첨부한 도면을 참고하여 본 발명의 실시예 및 그 밖에 당업자가 본 발명의 내용을 쉽게 이해하기 위하여 필요한 사항에 대하여 상세히 기재한다. 다만, 본 발명은 청구범위에 기재된 범위 안에서 여러 가지 상이한 형태로 구현될 수 있으므로 하기에 설명하는 실시예는 표현 여부에 불구하고 예시적인 것에 불과하다.Hereinafter, embodiments of the present invention and other matters necessary for those skilled in the art to easily understand the contents of the present invention will be described in detail with reference to the accompanying drawings. However, since the present invention can be embodied in various different forms within the scope of the claims, the embodiments described below are merely exemplary regardless of whether they are expressed or not.

동일한 도면부호는 동일한 구성요소를 지칭한다. 또한, 도면들에 있어서, 구성요소들의 두께, 비율, 및 치수는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. "및/또는"은 연관된 구성들이 정의할 수 있는 하나 이상의 조합을 모두 포함할 수 있다.Like reference numerals refer to like elements. In addition, in the drawings, thicknesses, ratios, and dimensions of components are exaggerated for effective description of technical content. “And/or” may include any combination of one or more that the associated configurations may define.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. The singular expression may include the plural expression unless the context clearly dictates otherwise.

또한, "아래에", "하측에", "위에", "상측에" 등의 용어는 도면에 도시된 구성들의 연관관계를 설명하기 위해 사용된다. 상기 용어들은 상대적인 개념으로, 도면에 표시된 방향을 기준으로 설명된다.In addition, terms such as "below", "below", "above", "upper" and the like are used to describe the relationship between the components shown in the drawings. The above terms are relative concepts, and are described based on directions indicated in the drawings.

"포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms such as “comprise” or “have” are intended to designate that a feature, number, step, action, component, part, or combination thereof described in the specification is present, and includes one or more other features, numbers, or steps. , it should be understood that it does not preclude the possibility of the existence or addition of , operation, components, parts, or combinations thereof.

즉, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 이하의 설명에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함할 수 있다. 또한, 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. That is, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and in the following description, when a part is connected to another part, it is directly connected In addition, it may include a case in which another element is electrically connected therebetween. In addition, it should be noted that the same elements in the drawings are denoted by the same reference numbers and symbols as much as possible even though they are indicated in different drawings.

도 1은 본 발명의 실시예에 따른 얼굴 인식 장치(10)를 나타내는 도면이다. 1 is a diagram illustrating a face recognition apparatus 10 according to an embodiment of the present invention.

도 1을 참조하면, 얼굴 인식 장치(10)는, 기준 이미지 입력부(100), 관심 영역 설정부(200), 학습 이미지 생성부(300), 학습부(400) 및 얼굴 인식부(500)를 포함할 수 있다. Referring to FIG. 1 , the face recognition apparatus 10 includes a reference image input unit 100 , a region of interest setting unit 200 , a training image generating unit 300 , a learning unit 400 , and a face recognition unit 500 . may include

기준 이미지 입력부(100)는, 기준 이미지를 입력받을 수 있다. 예컨대, 기준 이미지는 별도의 촬영 장치에 의해 촬영된 이미지 또는 저장 매체에 저장된 이미지일 수 있다. 기준 이미지는 사람의 얼굴 또는 사람의 신체를 촬영한 이미지일 수 있다. The reference image input unit 100 may receive a reference image. For example, the reference image may be an image photographed by a separate photographing device or an image stored in a storage medium. The reference image may be an image obtained by photographing a human face or a human body.

관심 영역 설정부(200)는, 기준 이미지에 대응하는 관심 영역을 설정하여 관심 이미지를 생성할 수 있다. 예컨대, 관심 영역 설정부(200)는 기준 이미지에서 얼굴 또는 사람의 형상을 검출할 수 있다. 관심 영역 설정부(200)는 얼굴 영역의 좌표를 설정하고, 설정된 좌표에 대응하는 이미지를 크롭(crop)함으로써 별도의 관심 이미지를 생성할 수 있다. 이때, 관심 이미지는 사람의 얼굴을 나타낼 수 있다. The region of interest setting unit 200 may generate an image of interest by setting a region of interest corresponding to the reference image. For example, the region of interest setting unit 200 may detect a shape of a face or a person from the reference image. The region of interest setting unit 200 may generate a separate image of interest by setting coordinates of the face region and cropping an image corresponding to the set coordinates. In this case, the image of interest may represent a human face.

학습 이미지 생성부(300)는, 관심 이미지를 기초로 복수의 학습 이미지들을 생성할 수 있다. 예컨대, 학습 이미지 생성부(300)는 관심 이미지를 기초로 다양한 상황(예컨대, 조명, 색상, 선명도, 밝기, 명암 등)에서의 이미지들을 재생성함으로써, 복수의 학습 이미지들을 생성할 수 있다. 또한, 학습 이미지 생성부(300)는 관심 이미지가 사람 얼굴의 측면부를 나타내는 경우, 이미지 반전 및 이미지 결합 기술을 이용하여 정면 이미지를 산출하고, 정면 이미지를 이용하여, 복수의 학습 이미지들을 생성할 수 있다. The training image generator 300 may generate a plurality of training images based on the image of interest. For example, the training image generator 300 may generate a plurality of training images by regenerating images in various situations (eg, lighting, color, sharpness, brightness, contrast, etc.) based on the image of interest. In addition, when the image of interest represents a side part of a human face, the learning image generating unit 300 calculates a front image by using image inversion and image combining technology, and using the front image, it is possible to generate a plurality of learning images. have.

학습부(400)는, 복수의 학습 이미지들을 이용하여 학습하여 인식 모델을 생성할 수 있다. 예컨대, 학습부(400)는 학습 이미지 생성부에 의해 생성된 복수의 학습 이미지들을 활용하여 다양한 상황에서 사람의 얼굴을 인식할 수 있는 인식 모델을 생성할 수 있다. The learning unit 400 may generate a recognition model by learning using a plurality of learning images. For example, the learning unit 400 may generate a recognition model capable of recognizing a human face in various situations by using a plurality of training images generated by the training image generator.

실시예에 따라, 학습부(400)는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등의 학습 모델로 구현될 수 있다. CNN은 이미지를 인식하는 데 주로 사용되는 학습 모델로서, 같은 이미지라 하더라도 위치가 변하거나 방향이 바뀌거나 이미지가 왜곡되는 등 다양한 경우가 있을 수 있고, 이러한 변화에 관계없이 인식하기 위해 컨벌루션(Convolution)과 풀링(Pooling)과정을 반복 적용하여 이미지에서 추상화된 정보를 추출하는 학습 모델을 의미한다. 컨벌루션은, 여러가지 필터(filter)를 사용하여 이미지의 특징을 도출하는 방법을 의미하고, 풀링은 이미지의 특징은 유지하면서 차원(dimension)을 줄이는 방법을 의미한다. RNN은 순차적인(Sequential) 정보를 인식하는 데 사용되는 학습 모델로서, 음성 또는 글자 인식에 주로 사용된다. According to an embodiment, the learning unit 400 may be implemented as a learning model such as a Convolutional Neural Network (CNN) or a Recurrent Neural Network (RNN). CNN is a learning model mainly used to recognize images, and even for the same image, there may be various cases such as a change of position, a change of direction, or an image distortion. It refers to a learning model that extracts abstracted information from images by repeatedly applying and pooling processes. Convolution refers to a method of deriving image features using various filters, and pooling refers to a method of reducing dimensions while maintaining image features. RNN is a learning model used to recognize sequential information, and is mainly used for speech or character recognition.

얼굴 인식부(500)는 학습부에 의해 생성된 인식 모델을 이용하여, 입력된 영상으로부터 얼굴을 인식할 수 있다. The face recognition unit 500 may recognize a face from an input image by using the recognition model generated by the learning unit.

예컨대, 얼굴 인식부(500)는, 형상 기반 방법(appearance based method)을 이용하여 얼굴을 인식할 수 있다. 형상 기반 방법은 영상을 2차원 배열 또는 벡터로 표현하고 픽셀의 밝기값들의 통계적인 정보를 이용하여 얼굴을 인식하는 방법으로서, 아이겐페이스(Eigenface), 피셔페이스(Fisherface), DCV(Discriminant Common Vector; 판별 공통 벡터)을 비롯하여 이들을 확장(extended), 변형(variant)한 다양한 방법들을 포함한다. 예컨대, 그밖에 다양한 방법들로는, Direct LDA(Direct Linear Discriminant Analysis), ERE(Eigenfeature Regularization and Extraction), 그리고 MFA(Marginal Fisher Analysis) 등이 있다. 본 발명이 이에 한정되는 것은 아니며, 실시예에 따라 얼굴 인식부(500)는 다양한 방식의 얼굴 인식 방법을 이용하여 얼굴을 인식할 수 있다. For example, the face recognition unit 500 may recognize a face using an appearance based method. The shape-based method expresses an image as a two-dimensional array or vector and uses statistical information of brightness values of pixels to recognize a face. Eigenface, Fisherface, Discriminant Common Vector (DCV); discriminant common vectors), and various methods that extend and transform them. For example, various other methods include Direct Linear Discriminant Analysis (LDA), Eigenfeature Regularization and Extraction (ERE), and Marginal Fisher Analysis (MFA). The present invention is not limited thereto, and according to embodiments, the face recognition unit 500 may recognize a face using various face recognition methods.

도 2는 본 발명의 실시예에 따른 관심 영역 설정부(200)의 동작을 나타내는 도면이다. 2 is a diagram illustrating an operation of the region of interest setting unit 200 according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 관심 영역 설정부(200)는 기준 이미지(RIM)에 대응하는 관심 영역을 설정하여 관심 이미지(IIM)를 생성할 수 있다. 예컨대, 관심 영역 설정부(200)는 기준 이미지(RIM)에서 얼굴 또는 사람의 형상을 검출할 수 있다. 즉, 관심 영역 설정부(200)는 얼굴 영역(FC)을 검출할 수 있다. 관심 영역 설정부(200)는 얼굴 영역(FC)의 좌표를 설정하고, 설정된 좌표에 대응하는 이미지를 크롭(crop)함으로써 별도의 관심 이미지(IIM)를 생성할 수 있다. 이때, 관심 이미지는 사람의 얼굴 영역(FC)을 나타낼 수 있다. As shown in FIG. 2 , the region of interest setting unit 200 may generate an image of interest IIM by setting a region of interest corresponding to the reference image RIM. For example, the region of interest setting unit 200 may detect a shape of a face or a person from the reference image RIM. That is, the region of interest setting unit 200 may detect the face region FC. The region of interest setting unit 200 may set the coordinates of the face region FC, and may generate a separate image of interest IIM by cropping an image corresponding to the set coordinates. In this case, the image of interest may represent a human face region FC.

실시예에 따라, 관심 영역 설정부(200)는 딥러닝 알고리즘을 이용하여 기준 이미지(RIM)에서 얼굴 영역(FC)을 검출할 수 있다. 딥러닝 알고리즘은 머신 러닝(machine learning) 기법의 일종으로, 복수개의 은닉층을 포함하는 인공신경망(artificial neural network) 알고리즘을 의미한다. 딥러닝 알고리즘을 이용하기 위해 딥러닝 알고리즘 모델은 여러 다양한 얼굴 포즈를 포함하는 이미지들을 이용한 학습 단계가 선행되어야 하며, 이하의 설명에서는 본 명세서에서 언급되는 딥러닝 알고리즘이 이러한 학습단계를 완료하였다고 전제한다. 실시예에 따라, 관심 영역 설정부(200)는 도 1에 도시된 학습부(400)에 의해 생성된 인식 모델을 이용하여 얼굴을 인식할 수 있다. According to an embodiment, the region of interest setting unit 200 may detect the face region FC from the reference image RIM by using a deep learning algorithm. The deep learning algorithm is a kind of machine learning technique, and refers to an artificial neural network algorithm including a plurality of hidden layers. In order to use the deep learning algorithm, the deep learning algorithm model must be preceded by a learning step using images including various face poses, and the following description assumes that the deep learning algorithm mentioned in this specification has completed this learning step. . According to an embodiment, the region of interest setting unit 200 may recognize a face using the recognition model generated by the learning unit 400 shown in FIG. 1 .

관심 영역 설정부(200)는 기준 이미지(RIM)에서 얼굴 영역(FC)을 검출하고, 검출된 얼굴 영역에 관한 좌표를 포함한 얼굴 영역 정보를 생성할 수 있다. 여기서, 얼굴 영역 정보는 기준 이미지(RIM) 내에서의 얼굴 영역(FC)의 x 좌표, y 좌표, 폭(width), 및 높이(height) 정보 중 적어도 하나를 포함할 수 있다. 이때 x 좌표와 y 좌표는, 얼굴 영역(FC)의 중심점의 좌표 또는 모든 이미지 화소의 좌표일 수도 있다.The region of interest setting unit 200 may detect the face region FC from the reference image RIM and generate face region information including coordinates regarding the detected face region. Here, the face region information may include at least one of x-coordinate, y-coordinate, width, and height information of the face region FC in the reference image RIM. In this case, the x-coordinate and the y-coordinate may be coordinates of the center point of the face region FC or coordinates of all image pixels.

실시예에 따라, 관심 영역 설정부(200)는 얼굴 영역(FC)에 따라 다양한 형상(예컨대, 사각형, 삼각형, 원형, 타원형, 반원 등)의 관심 이미지(IIM)를 생성할 수 있다. According to an embodiment, the region of interest setting unit 200 may generate the image of interest IIM having various shapes (eg, a rectangle, a triangle, a circle, an oval, a semicircle, etc.) according to the face region FC.

또한, 관심 영역 설정부(200)는 관심 이미지(IIM)를 정규화할 수 있다. 예컨대, 관심 영역 설정부(200)는 관심 이미지(IIM)를 기설정된 크기의 이미지로 설정하거나, 색상 분포를 고르게함으로써, 정규화 처리를 수행할 수 있다. Also, the region of interest setting unit 200 may normalize the image of interest IIM. For example, the region of interest setting unit 200 may perform a normalization process by setting the image of interest IIM to an image having a preset size or by evening color distribution.

도 3은 본 발명의 실시예에 따른 학습 이미지 생성부(300)를 나타내는 도면이다. 3 is a diagram illustrating a learning image generating unit 300 according to an embodiment of the present invention.

도 3을 참조하면, 학습 이미지 생성부(300)는 각도 변경부(310), 밝기 변경부(320), 명암 변경부(330), 색상 변경부(340), 선명도 조절부(350) 및 정면 이미지 생성부(360)를 포함할 수 있다. Referring to FIG. 3 , the learning image generating unit 300 includes an angle change unit 310 , a brightness change unit 320 , a contrast change unit 330 , a color change unit 340 , a sharpness adjuster 350 , and a front surface. It may include an image generator 360 .

각도 변경부(310)는 관심 이미지의 각도를 단위 각도에 따라 적어도 1회 이상 회전시켜 복수의 학습 이미지들을 생성할 수 있다. The angle changer 310 may generate a plurality of learning images by rotating the angle of the image of interest at least once according to a unit angle.

예컨대, 각도 변경부(310)는 관심 이미지를 시계 방향 또는 반시계 방향을 따라 단위 각도 만큼 적어도 1회 회전시켜 복수의 학습 이미지를 생성할 수 있다. 실시예에 따라, 단위 각도는 5도 내지 15도 범위에 속할 수 있다. For example, the angle changer 310 may generate a plurality of learning images by rotating the image of interest at least once by a unit angle in a clockwise or counterclockwise direction. According to an embodiment, the unit angle may be in a range of 5 degrees to 15 degrees.

실시예에 따라, 각도 변경부(310)는 관심 이미지에서 사람의 포즈를 인식할 수 있다. 그리고, 각도 변경부(310)는 관심 이미지의 포즈를 기준으로 하여, 관심 이미지를 3차원으로 확장시키고, 요(yaw), 피치(pitch) 및 롤(roll) 중 적어도 하나의 축을 따라 단위 각도 만큼 적어도 1회 이상 회전시켜 복수의 학습 이미지를 생성할 수 있다. According to an embodiment, the angle changer 310 may recognize a pose of a person in the image of interest. Then, the angle changer 310 expands the image of interest in three dimensions based on the pose of the image of interest, and by a unit angle along at least one axis of yaw, pitch, and roll. A plurality of learning images may be generated by rotating at least once or more.

밝기 변경부(320)는 관심 이미지의 밝기(brightness)를 단위 밝기에 따라 설정하여 복수의 학습 이미지들을 생성할 수 있다. 예컨대, 밝기 변경부(320)는 관심 이미지의 밝기를 기준으로 하여, +100% 내지 -100% 범위에서 단위 밝기에 따라 설정함으로써 복수의 학습 이미지들을 생성할 수 있다. 이때, 단위 밝기는 5% 내지 10% 범위에 속할 수 있다. 이를 통하여, 본 발명의 실시예에 따른 얼굴 인식 장치(10)는, 다양한 조명 상황에서 얼굴 인식률을 향상시킬 수 있다. The brightness changer 320 may generate a plurality of learning images by setting the brightness of the image of interest according to the unit brightness. For example, the brightness changing unit 320 may generate a plurality of learning images by setting the brightness of the image of interest in the range of +100% to -100% according to the unit brightness based on the brightness. In this case, the unit brightness may be in the range of 5% to 10%. Through this, the face recognition apparatus 10 according to an embodiment of the present invention may improve the face recognition rate in various lighting situations.

명암 변경부(330)는 관심 이미징의 명암(contrast)을 단위 명암에 따라 설정하여 복수의 학습 이미지들을 생성할 수 있다. 예컨대, 명암 변경부(330)는 관심 이미지의 명암을 기준으로 하여, +100% 내지 -100% 범위에서 단위 명암에 따라 설정함으로써 복수의 학습 이미지들을 생성할 수 있다. 이때, 단위 명암은 5% 내지 10% 범위에 속할 수 있다. 이를 통하여, 본 발명의 실시예에 따른 얼굴 인식 장치(10)는, 다양한 조명 상황에서 얼굴 인식률을 향상시킬 수 있다.The contrast changer 330 may generate a plurality of learning images by setting the contrast of the imaging of interest according to the unit contrast. For example, the contrast changer 330 may generate a plurality of learning images by setting the intensity of the image of interest in the range of +100% to -100% according to the unit intensity based on the intensity. In this case, the unit contrast may be in the range of 5% to 10%. Through this, the face recognition apparatus 10 according to an embodiment of the present invention may improve the face recognition rate in various lighting situations.

실시예에 따라, 명암 변경부(330)는 명암 변경을 통하여, 명암 대비를 극대화시킬 수 있다. 즉, 명암 변경부(330)는 관심 이미지를 복수의 영역들로 분할하고, 영역별 평균 밝기 및 명암을 조절하여, 명암 대비를 극대화시킬 수 있다. According to an embodiment, the contrast changing unit 330 may maximize the contrast by changing the contrast. That is, the contrast changer 330 may maximize the contrast by dividing the image of interest into a plurality of regions and adjusting the average brightness and contrast for each region.

색상 변경부(340)는 관심 이미지의 색상들 복수의 단위 색상 채널들에 따라 추출함으로써, 복수의 학습 이미지들을 생성할 수 있다. 예컨대, 복수의 단위 색상 채널들은, 레드 채널, 그린 채널 및 블루 채널을 포함할 있다. 그러나, 본 발명이 이에 한정되는 것은 아니며, 실시예에 따라, 복수의 단위 색상 채널들은, 사이언 채널, 마젠타 채널, 옐로우 채널 및 블랙 채널을 포함할 수 있다. 이를 통하여, 본 발명의 실시예에 따른 얼굴 인식 장치(10)는, 다양한 조명 색상 상황에서 얼굴 인식률을 향상시킬 수 있다.The color changer 340 may generate a plurality of learning images by extracting colors of the image of interest according to a plurality of unit color channels. For example, the plurality of unit color channels may include a red channel, a green channel, and a blue channel. However, the present invention is not limited thereto, and according to embodiments, the plurality of unit color channels may include a cyan channel, a magenta channel, a yellow channel, and a black channel. Through this, the face recognition apparatus 10 according to an embodiment of the present invention may improve the face recognition rate in various lighting color situations.

선명도 조절부(350)는 관심 이미지의 외곽선 선명도를 조절함으로써 복수의 학습 이미지들을 생성할 수 있다. 예컨대, 선명도 조절부(350)는 관심 이미지의 외곽선을 검출하고, 외곽선이 보다 선명하게 드러나도록, 선명도를 조절할 수 있다. The sharpness adjusting unit 350 may generate a plurality of learning images by adjusting the sharpness of the outline of the image of interest. For example, the sharpness adjusting unit 350 may detect an outline of the image of interest and adjust the sharpness so that the outline is more clearly revealed.

정면 이미지 생성부(360)는, 관심 이미지가 얼굴의 측면부를 나타내는 경우, 좌우 반전 및 이미지 결합을 통해 정면 이미지를 생성할 수 있다. 그리고, 정면 이미지 생성부(360)는 정면 이미지를 각도 변경부(310), 밝기 변경부(320), 명암 변경부(330), 색상 변경부(340) 및 선명도 조절부(350)로 제공할 수 있다. 이에 따라, 각도 변경부(310), 밝기 변경부(320), 명암 변경부(330), 색상 변경부(340) 및 선명도 조절부(350) 각각은 관심 이미지에 대한 상술한 동작을 수행할 수 있다. The front image generator 360 may generate a front image through left-right inversion and image combination when the image of interest represents the side part of the face. In addition, the front image generator 360 provides the front image to the angle changer 310 , the brightness changer 320 , the contrast changer 330 , the color changer 340 , and the sharpness adjuster 350 . can Accordingly, each of the angle changer 310, the brightness changer 320, the contrast changer 330, the color changer 340, and the sharpness adjuster 350 may perform the above-described operation on the image of interest. have.

예컨대, 정면 이미지 생성부(360)는 관심 이미지가 얼굴의 우측면을 나타내는 경우, 관심 이미지를 반전시켜 좌측면을 나타내는 이미지를 생성하고, 두 이미지를 결합시킴으로써, 정면 이미지를 생성할 수 있다. 또한, 정면 이미지 생성부(360)는 관심 이미지를 기초로 3D 모델링을 수행하고, 이를 통해 정면 이미지를 추출할 수 있다. For example, when the image of interest represents the right side of the face, the front image generator 360 may generate an image representing the left side by inverting the image of interest, and may generate the front image by combining the two images. Also, the front image generator 360 may perform 3D modeling based on the image of interest and extract the front image through this.

도 4는 본 발명의 실시예에 따른 각도 변경부(310)의 동작을 나타내는 도면이다. 4 is a diagram illustrating an operation of the angle changing unit 310 according to an embodiment of the present invention.

도 4를 참조하면, 각도 변경부(310)는 관심 이미지를 단위 각도에 따라 적어도 1회 이상 회전시켜 복수의 학습 이미지(LIM)들을 생성할 수 있다. Referring to FIG. 4 , the angle changer 310 may generate a plurality of learning images LIM by rotating an image of interest at least once according to a unit angle.

설명의 편의를 위하여, 도 4에서는 관심 이미지가 시계 방향을 따라 90도 회전하는 내용을 도시하나, 본 발명이 이에 한정되는 것은 아니다. 실시예에 따라, 관심 이미지는 360도 회전할 수 있다. For convenience of explanation, FIG. 4 shows the contents of the image of interest rotated by 90 degrees in the clockwise direction, but the present invention is not limited thereto. According to an embodiment, the image of interest may be rotated 360 degrees.

각도 변경부(310)는 관심 이미지를 시계 방향을 따라 단위 각도 만큼 적어도 1회 회전시켜 복수의 학습 이미지(LIM)들을 생성할 수 있다. 단위 각도는 5도 내지 15도 범위에 속할 수 있다. 이를 통해, 본 발명의 실시예에 따른 얼굴 인식 장치는 다양한 각도로 회전된 이미지들을 이용하여 학습을 수행하고, 이에 따라 도출된 모델을 이용하여 얼굴 인식을 수행함으로써, 얼굴 인식률을 향상시킬 수 있다. The angle changer 310 may generate a plurality of learning images LIM by rotating the image of interest at least once by a unit angle in the clockwise direction. The unit angle may be in the range of 5 degrees to 15 degrees. Through this, the face recognition apparatus according to an embodiment of the present invention may improve the face recognition rate by performing learning using images rotated at various angles and performing face recognition using the model derived accordingly.

실시예에 따라, 각도 변경부(310)는 관심 이미지에서 사람의 자세를 인식할 수 있다. 그리고, 각도 변경부(310)는 사람의 자세를 기준으로 하여, 관심 이미지를 3차원으로 확장시키고, 요(yaw), 피치(pitch) 및 롤(roll) 중 적어도 하나의 축을 따라, 도 4에 도시된 바와 유사하게 단위 각도 만큼 적어도 1회 이상 회전시켜 복수의 학습 이미지를 생성할 수 있다. According to an embodiment, the angle changer 310 may recognize a posture of a person from the image of interest. In addition, the angle change unit 310 expands the image of interest in three dimensions based on the posture of the person, and along at least one axis of yaw, pitch, and roll, as shown in FIG. A plurality of learning images may be generated by rotating at least one time or more by a unit angle similarly as illustrated.

도 5는 본 발명의 실시예에 따른 정면 이미지 생성부(360)의 동작을 나타내는 도면이다. 5 is a diagram illustrating an operation of the front image generator 360 according to an embodiment of the present invention.

도 5를 참조하면 정면 이미지 생성부(360)는 관심 이미지가 얼굴의 측면부를 나타내는 경우, 좌우 반전 및 이미지 결합을 통해 정면 이미지(IIM')를 생성할 수 있다. 그리고, 정면 이미지 생성부(360)는 정면 이미지(IIM')를 각도 변경부(310), 밝기 변경부(320), 명암 변경부(330), 색상 변경부(340) 및 선명도 조절부(350)로 제공할 수 있다. 이에 따라, 각도 변경부(310), 밝기 변경부(320), 명암 변경부(330), 색상 변경부(340) 및 선명도 조절부(350) 각각은 관심 이미지에 대한 상술한 동작을 정면 이미지(IIM')에 대하여 수행할 수 있다. Referring to FIG. 5 , when the image of interest represents the side part of the face, the front image generator 360 may generate the front image IIM′ through left-right inversion and image combination. In addition, the front image generator 360 converts the front image IIM' into the angle changer 310 , the brightness changer 320 , the contrast changer 330 , the color changer 340 , and the sharpness adjuster 350 . ) can be provided. Accordingly, each of the angle changer 310, the brightness changer 320, the contrast changer 330, the color changer 340, and the sharpness adjuster 350 performs the above-described operation for the image of interest in the front image ( IIM').

예컨대, 정면 이미지 생성부(360)는 관심 이미지가 얼굴의 좌측면을 나타내는 경우, 좌측면 이미지(IIML)를 기준으로, 좌우 반전시켜 우측면 이미지(IIMR)를 생성할 수 있다. 그리고, 정면 이미지 생성부(360)는 좌측면 이미지(IIML) 및 우측면 이미지(IIMR)를 결합시킴으로써, 정면 이미지(IIM')를 생성할 수 있다. For example, when the image of interest represents the left side of the face, the front image generator 360 may generate the right side image IIMR by inverting the left side image IIML based on the left side. In addition, the front image generator 360 may generate the front image IIM' by combining the left side image IIML and the right side image IIMR.

실시예에 따라, 정면 이미지 생성부(360)는 관심 이미지를 기초로 3D 모델링을 수행하고, 이를 통해 정면 이미지를 추출할 수 있다. According to an embodiment, the front image generator 360 may perform 3D modeling based on the image of interest and extract the front image through this.

도 6는 본 발명의 실시예에 따른 학습부(400)를 나타내는 도면이다. 6 is a diagram illustrating a learning unit 400 according to an embodiment of the present invention.

도 6을 참조하면, 학습부(400)는 필터부(410), 추출부(420) 및 모델 관리부(430)를 포함할 수 있다. Referring to FIG. 6 , the learning unit 400 may include a filter unit 410 , an extraction unit 420 , and a model management unit 430 .

필터부(410)는 복수의 학습 이미지들 중에서 기준 해상도 이하의 이미지들을 제거할 수 있다. 예컨대, 필터부(410)는 학습의 정확도 및 효율성을 향상시키기 위하여, 기준 해상도 이하의 이미지를 제거할 수 있다. 실시예에 따라, 기준 해상도는 다양한 값으로 설정될 수 있고 사용자의 입력에 따라 변경될 수 있다. 이때, 기준 해상도는 가로 또는 세로 축의 화소수가 200인 것을 나타낼 수 있다. 또는 기준 해상도는 가로 및 세로의 상대 비율을 의미할 수 있다. 즉, 필터부(410)는 과도하게 해상도가 낮거나, 이미지의 비율이 부정확한 경우, 해당하는 이미지를 제거하여 학습 효율성을 증가시킬 수 있다. The filter unit 410 may remove images having a reference resolution or less from among the plurality of training images. For example, the filter unit 410 may remove an image having a resolution lower than or equal to a reference resolution in order to improve learning accuracy and efficiency. According to an embodiment, the reference resolution may be set to various values and may be changed according to a user input. In this case, the reference resolution may indicate that the number of pixels on a horizontal or vertical axis is 200. Alternatively, the reference resolution may mean a relative ratio of horizontal and vertical. That is, when the resolution is excessively low or the ratio of the image is incorrect, the filter unit 410 may remove the corresponding image to increase learning efficiency.

추출부(420)는 복수의 학습 이미지들의 특징점을 추출할 수 있다. 예컨대, 추출부(420)는 필터부(410)에 의해 필터링된 복수의 학습 이미지들에 대하여 특징점을 추출할 수 있다. 실시예에 따라, 이미지의 특징점 추출과 관련된 공지된 다양한 방법이 활용될 수 있다. The extractor 420 may extract feature points of a plurality of learning images. For example, the extraction unit 420 may extract a feature point from the plurality of training images filtered by the filter unit 410 . According to an embodiment, various known methods related to extracting feature points of an image may be utilized.

모델 관리부(430)는 특징점들에 기초하여 인식 모델을 생성할 수 있다. 예컨대, 모델 관리부(430)는 특징점들에 기초하여 학습을 진행함으로써, 인식 모델을 생성하고 관리할 수 있다. The model manager 430 may generate a recognition model based on the feature points. For example, the model manager 430 may generate and manage a recognition model by performing learning based on the feature points.

상술한 방식을 통하여, 본 발명의 얼굴 인식 장치는 다양한 인식 상황에서 인식률을 향상시킬 수 있는 효과가 있다. Through the above-described method, the face recognition apparatus of the present invention has an effect of improving the recognition rate in various recognition situations.

또한, 본 발명의 얼굴 인식 장치는 동일한 크기의 이미지가 입력되어도 보다 적은 컴퓨팅 파워를 요구하는 효과가 있다. In addition, the face recognition apparatus of the present invention has the effect of requiring less computing power even when an image of the same size is input.

또한, 본 발명의 얼굴 인식 장치는 사람 얼굴의 측면부 이미지 만으로 정확하게 얼굴을 인식할 수 있는 효과가 있다. In addition, the face recognition apparatus of the present invention has an effect of accurately recognizing a face only with a side image of a human face.

이상 본 명세서에서 설명한 기능적 동작과 본 주제에 관한 실시형태들은 본 명세서에서 개시한 구조들 및 그들의 구조적인 등가물을 포함하여 디지털 전자 회로나 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 또는 이들 중 하나 이상이 조합에서 구현 가능하다. The functional operations described herein and the embodiments related to the present subject matter are implemented in digital electronic circuits or computer software, firmware or hardware, including the structures disclosed herein and structural equivalents thereof, or in a combination of one or more of these possible.

본 명세서에서 기술하는 주제의 실시형태는 하나 이상이 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치에 의한 실행을 위하여 또는 그 동작을 제어하기 위하여 유형의 프로그램 매체 상에 인코딩되는 컴퓨터 프로그램 명령에 관한 하나 이상이 모듈로서 구현될 수 있다. 유형의 프로그램 매체는 전파형 신호이거나 컴퓨터로 판독 가능한 매체일 수 있다. 전파형 신호는 컴퓨터에 의한 실행을 위하여 적절한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위하여 생성되는 예컨대 기계가 생성한 전기적, 광학적 또는 전자기 신호와 같은 인공적으로 생성된 신호이다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조합 또는 이들 중 하나 이상이 조합일 수 있다.Embodiments of the subject matter described herein relate to one or more computer program products, ie one or more computer program instructions encoded on a tangible program medium for execution by or for controlling the operation of a data processing device. It can be implemented as a module. A tangible program medium may be a radio wave signal or a computer-readable medium. A radio wave signal is an artificially generated signal, such as, for example, a machine-generated electrical, optical or electromagnetic signal, that is generated to encode information for transmission to an appropriate receiver device for execution by a computer. The computer-readable medium may be a machine-readable storage device, a machine-readable storage substrate, a memory device, a combination of materials that affect a machine-readable radio wave signal, or a combination of one or more of these.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 또는 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 또는 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 또는 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. A computer program (also known as a program, software, software application, script or code) may be written in any form of any programming language, including compiled or interpreted language or a priori or procedural language, as a stand-alone program or module; It can be deployed in any form, including components, subroutines, or other units suitable for use in a computer environment.

컴퓨터 프로그램은 파일 장치의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 또는 다중의 상호 작용하는 파일(예컨대, 하나 이상이 모듈, 하위 프로그램 또는 코드의 일부를 저장하는 파일) 내에, 또는 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상이 스크립트) 내에 저장될 수 있다. A computer program does not necessarily correspond to a file on a file device. A program may be in a single file provided to the requested program, or in multiple interacting files (eg, files storing one or more modules, subprograms, or portions of code), or in files holding other programs or data. It may be stored within some (eg, one or more scripts stored within a markup language document).

컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.The computer program may be deployed to be executed on a single computer or multiple computers located at one site or distributed over a plurality of sites and interconnected by a communication network.

부가적으로, 본 특허문헌에서 기술하는 논리 흐름과 구조적인 블록도는 개시된 구조적인 수단의 지원을 받는 대응하는 기능과 단계의 지원을 받는 대응하는 행위 및/또는 특정한 방법을 기술하는 것으로, 대응하는 소프트웨어 구조와 알고리즘과 그 등가물을 구축하는 데에도 사용 가능하다. Additionally, the logic flows and structural block diagrams described in this patent document describe corresponding acts and/or specific methods supported by corresponding functions and steps supported by the disclosed structural means, and corresponding It can also be used to build software structures and algorithms and their equivalents.

본 명세서에서 기술하는 프로세스와 논리 흐름은 입력 데이터 상에서 동작하고 출력을 생성함으로써 기능을 수행하기 위하여 하나 이상이 컴퓨터 프로그램을 실행하는 하나 이상이 프로그래머블 프로세서에 의하여 수행 가능하다.The processes and logic flows described herein may be performed by one or more programmable processors executing one or more computer programs to perform functions by operating on input data and generating outputs.

컴퓨터 프로그램의 실행에 적합한 프로세서는, 예컨대 범용 및 특수 목적의 마이크로프로세서 양자 및 어떤 형태의 디지털 컴퓨터의 어떠한 하나 이상이 프로세서라도 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 또는 양자로부터 명령어와 데이터를 수신할 것이다. Processors suitable for the execution of computer programs include, for example, both general and special purpose microprocessors and any one or more processors of any form of digital computer. Typically, the processor will receive instructions and data from read-only memory or random access memory or both.

컴퓨터의 핵심적인 요소는 명령어와 데이터를 저장하기 위한 하나 이상이 메모리 장치 및 명령을 수행하기 위한 프로세서이다. 또한, 컴퓨터는 일반적으로 예컨대 자기, 자기 광학 디스크나 광학 디스크와 같은 데이터를 저장하기 위한 하나 이상이 대량 저장 장치로부터 데이터를 수신하거나 그것으로 데이터를 전송하거나 또는 그러한 동작 둘 다를 수행하기 위하여 동작가능 하도록 결합되거나 이를 포함할 것이다. 그러나, 컴퓨터는 그러한 장치를 가질 필요가 없다.A key component of a computer is one or more memory devices for storing instructions and data and a processor for executing instructions. In addition, a computer is generally configured to be operable to receive data from, transfer data to, or perform both operations on one or more mass storage devices for storing data, such as, for example, magnetic, magneto-optical disks or optical disks. combined or will include. However, the computer need not have such a device.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. The present description sets forth the best mode of the invention, and provides examples to illustrate the invention, and to enable any person skilled in the art to make or use the invention. This written specification does not limit the present invention to the specific terms presented.

이상에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면, 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the preferred embodiment of the present invention, those skilled in the art or those having ordinary knowledge in the technical field will not depart from the spirit and technical scope of the present invention described in the claims to be described later. It will be understood that various modifications and variations of the present invention can be made without departing from the scope of the present invention.

따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.Accordingly, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.

10: 얼굴 인식 장치 100: 기준 이미지 입력부
200: 관심 영역 설정부 300: 학습 이미지 생성부
310: 각도 변경부 320: 밝기 변경부
330: 명암 변경부 340: 색상 변경부
350: 선명도 조절부 360: 정면 이미지 생성부
400: 학습부 410: 필터부
420: 추출부 430: 모델 관리부
500: 얼굴 인식부
10: face recognition device 100: reference image input unit
200: region of interest setting unit 300: learning image generating unit
310: angle change unit 320: brightness change unit
330: contrast change unit 340: color change unit
350: sharpness control unit 360: front image generation unit
400: learning unit 410: filter unit
420: extraction unit 430: model management unit
500: face recognition unit

Claims (15)

기준 이미지를 입력받기 위한 기준 이미지 입력부;
상기 기준 이미지에 대응하는 관심 영역을 설정하여 관심 이미지를 생성하기 위한 관심 영역 설정부;
상기 관심 이미지를 기초로 복수의 학습 이미지들을 생성하기 위한 학습 이미지 생성부;
상기 복수의 학습 이미지들을 이용하여 학습하여 인식 모델을 생성하기 위한 학습부; 및
상기 인식 모델을 이용하여, 입력 영상으로부터 얼굴을 인식하기 위한 얼굴 인식부를 포함하는 것을 특징으로 하는,
얼굴 인식 장치.
a reference image input unit for receiving a reference image;
a region of interest setting unit for generating an image of interest by setting a region of interest corresponding to the reference image;
a learning image generator for generating a plurality of learning images based on the image of interest;
a learning unit for generating a recognition model by learning using the plurality of training images; and
Using the recognition model, characterized in that it comprises a face recognition unit for recognizing a face from the input image,
face recognition device.
제1항에 있어서,
상기 학습 이미지 생성부는,
상기 관심 이미지의 각도를 단위 각도에 따라 적어도 1회 이상 회전시켜 복수의 학습 이미지들을 생성하기 위한 각도 변경부를 포함하는 것을 특징으로 하는,
얼굴 인식 장치.
According to claim 1,
The learning image generation unit,
It characterized in that it comprises an angle changer for generating a plurality of learning images by rotating the angle of the image of interest at least once according to the unit angle,
face recognition device.
제2항에 있어서,
상기 단위 각도는, 5도 내지 15도 범위에 속하는 것을 특징으로 하는,
얼굴 인식 장치.
3. The method of claim 2,
The unit angle, characterized in that it belongs to the range of 5 degrees to 15 degrees,
face recognition device.
제2항에 있어서,
상기 학습 이미지 생성부는,
상기 관심 이미지의 밝기를 단위 밝기에 따라 설정함으로써 복수의 학습 이미지들을 생성하기 위한 밝기 변경부를 더 포함하는 것을 특징으로 하는,
얼굴 인식 장치.
3. The method of claim 2,
The learning image generation unit,
Characterized in that it further comprises a brightness changing unit for generating a plurality of learning images by setting the brightness of the image of interest according to the unit brightness,
face recognition device.
제4항에 있어서,
상기 밝기 변경부는, 상기 관심 이미지의 밝기를 기준으로 +100% 내지 -100% 범위에서 상기 단위 밝기에 따라 상기 복수의 학습 이미지들을 생성하고,
상기 단위 밝기는, 5% 내지 10% 범위에 속하는 것을 특징으로 하는,
얼굴 인식 장치.
5. The method of claim 4,
The brightness changing unit generates the plurality of learning images according to the unit brightness in a range of +100% to -100% based on the brightness of the image of interest,
The unit brightness is characterized in that it belongs to the range of 5% to 10%,
face recognition device.
제4항에 있어서,
상기 학습 이미지 생성부는,
상기 관심 이미지의 명암을 단위 명암에 따라 설정함으로써 복수의 학습 이미지들을 생성하기 위한 명암 변경부를 더 포함하는 것을 특징으로 하는,
얼굴 인식 장치.
5. The method of claim 4,
The learning image generation unit,
Characterized in that it further comprises a contrast change unit for generating a plurality of learning images by setting the contrast of the image of interest according to the unit contrast,
face recognition device.
제6항에 있어서,
상기 명암 변경부는, 상기 관심 이미지의 명암을 기준으로 +100% 내지 -100% 범위에서 상기 단위 명암에 따라 복수의 학습 이미지들을 생성하고,
상기 단위 명암은, 5% 내지 10% 범위에 속하는 것을 특징으로 하는,
얼굴 인식 장치.
7. The method of claim 6,
The contrast change unit generates a plurality of learning images according to the unit contrast in a range of +100% to -100% based on the contrast of the image of interest,
The unit contrast, characterized in that it belongs to the range of 5% to 10%,
face recognition device.
제6항에 있어서,
상기 학습 이미지 생성부는,
상기 관심 이미지의 색상을 복수의 단위 색상 채널들에 따라 추출함으로써 복수의 학습 이미지들을 생성하기 위한 색상 변경부를 더 포함하는 것을 특징으로 하는,
얼굴 인식 장치.
7. The method of claim 6,
The learning image generation unit,
Characterized in that it further comprises a color changer for generating a plurality of learning images by extracting the color of the image of interest according to a plurality of unit color channels,
face recognition device.
제8항에 있어서,
상기 복수의 단위 색상 채널들은, 레드 채널, 그린 채널 및 블루 채널을 포함하는 것을 특징으로 하는,
얼굴 인식 장치.
9. The method of claim 8,
wherein the plurality of unit color channels include a red channel, a green channel, and a blue channel,
face recognition device.
제8항에 있어서,
상기 복수의 단위 색상 채널들은, 사이언 채널, 마젠타 채널, 옐로우 채널 및 블랙 채널을 포함하는 것을 특징으로 하는,
얼굴 인식 장치.
9. The method of claim 8,
wherein the plurality of unit color channels include a cyan channel, a magenta channel, a yellow channel, and a black channel.
face recognition device.
제8항에 있어서,
상기 학습 이미지 생성부는,
상기 관심 이미지의 외곽선 선명도를 조절함으로써 복수의 학습 이미지들을 생성하기 위한 선명도 조절부를 더 포함하는 것을 특징으로 하는,
얼굴 인식 장치.
9. The method of claim 8,
The learning image generation unit,
Characterized in that it further comprises a sharpness adjusting unit for generating a plurality of learning images by adjusting the sharpness of the outline of the image of interest,
face recognition device.
제11항에 있어서,
상기 학습 이미지 생성부는,
상기 관심 이미지가 얼굴의 측면부를 나타내는 경우, 좌우 반전 및 이미지 결합을 통해 정면 이미지를 생성하기 위한 정면 이미지 생성부를 더 포함하는 것을 특징으로 하는,
얼굴 인식 장치.
12. The method of claim 11,
The learning image generation unit,
When the image of interest indicates the side part of the face, characterized in that it further comprises a front image generating unit for generating a front image through left and right inversion and image combination,
face recognition device.
제12항에 있어서,
상기 정면 이미지 생성부는, 상기 정면 이미지를 상기 각도 변경부, 상기 밝기 변경부, 상기 명암 변경부, 상기 색상 변경부 및 상기 선명도 조절부로 제공하는 것을 특징으로 하는,
얼굴 인식 장치.
13. The method of claim 12,
wherein the front image generating unit provides the front image to the angle changing unit, the brightness changing unit, the contrast changing unit, the color changing unit and the sharpness adjusting unit,
face recognition device.
제1항에 있어서,
상기 관심 영역 설정부는, 상기 기준 이미지에서 얼굴 또는 사람의 형태를 검출함으로써, 상기 관심 이미지를 생성하는 것을 특징으로 하는,
얼굴 인식 장치.
According to claim 1,
The region of interest setting unit, characterized in that by detecting the shape of a face or a person in the reference image, to generate the image of interest,
face recognition device.
제14항에 있어서,
상기 학습부는,
상기 복수의 학습 이미지들 중에서 기준 해상도 이하의 이미지들을 제거하기 위한 필터부;
상기 복수의 학습 이미지들의 특징점을 추출하기 위한 추출부; 및
상기 특징점에 기초하여 상기 인식 모델을 생성하기 위한 모델 관리부를 포함하는 것을 특징으로 하는,
얼굴 인식 장치.
15. The method of claim 14,
The learning unit,
a filter unit for removing images of a reference resolution or less from among the plurality of training images;
an extraction unit for extracting feature points of the plurality of learning images; and
Characterized in that it comprises a model management unit for generating the recognition model based on the feature point,
face recognition device.
KR1020200047311A 2020-04-20 2020-04-20 Face recognition device using deep learning KR20210129398A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200047311A KR20210129398A (en) 2020-04-20 2020-04-20 Face recognition device using deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200047311A KR20210129398A (en) 2020-04-20 2020-04-20 Face recognition device using deep learning

Publications (1)

Publication Number Publication Date
KR20210129398A true KR20210129398A (en) 2021-10-28

Family

ID=78232675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200047311A KR20210129398A (en) 2020-04-20 2020-04-20 Face recognition device using deep learning

Country Status (1)

Country Link
KR (1) KR20210129398A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102500252B1 (en) * 2022-01-20 2023-02-17 (주)에이아이매틱스 Machine learning database construction system using face privacy protection technology

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101962875B1 (en) 2015-12-22 2019-03-27 단국대학교 산학협력단 Apparatus and method for generating feature for face recognition from low resolution image
KR102016082B1 (en) 2018-02-01 2019-08-29 고려대학교 산학협력단 Method and apparatus for pose-invariant face recognition based on deep learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101962875B1 (en) 2015-12-22 2019-03-27 단국대학교 산학협력단 Apparatus and method for generating feature for face recognition from low resolution image
KR102016082B1 (en) 2018-02-01 2019-08-29 고려대학교 산학협력단 Method and apparatus for pose-invariant face recognition based on deep learning

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102500252B1 (en) * 2022-01-20 2023-02-17 (주)에이아이매틱스 Machine learning database construction system using face privacy protection technology

Similar Documents

Publication Publication Date Title
Kumar et al. Face detection techniques: a review
US11107232B2 (en) Method and apparatus for determining object posture in image, device, and storage medium
JP6629513B2 (en) Liveness inspection method and apparatus, and video processing method and apparatus
CN110136229B (en) Method and equipment for real-time virtual face changing
EP4154511A1 (en) Maintaining fixed sizes for target objects in frames
US10708525B2 (en) Systems and methods for processing low light images
CN112052831B (en) Method, device and computer storage medium for face detection
TWI766201B (en) Methods and devices for biological testing and storage medium thereof
EP3816929B1 (en) Method and apparatus for restoring image
WO2019133403A1 (en) Multi-resolution feature description for object recognition
US10275641B2 (en) Methods and systems for extracting feature descriptors for an image
KR20190053602A (en) Face verifying method and apparatus
CN108416291B (en) Face detection and recognition method, device and system
WO2022199419A1 (en) Facial detection method and apparatus, and terminal device and computer-readable storage medium
KR20140095333A (en) Method and apparratus of tracing object on image
CN112052830B (en) Method, device and computer storage medium for face detection
CN112052832A (en) Face detection method, device and computer storage medium
Katramados et al. Real-time visual saliency by division of gaussians
Xiao et al. Face detection based on occlusion area detection and recovery
WO2022199395A1 (en) Facial liveness detection method, terminal device and computer-readable storage medium
KR20210129398A (en) Face recognition device using deep learning
Tasson et al. FPGA-based pedestrian detection under strong distortions
Shigeki et al. Directional characteristics evaluation of silhouette-based gait recognition
Zhou et al. Improved YOLOv7 models based on modulated deformable convolution and swin transformer for object detection in fisheye images
Feng et al. A gesture recognition method based on binocular vision system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application