KR102560372B1 - Selective and automatic face mosaic method and apparatus based on face recognition - Google Patents

Selective and automatic face mosaic method and apparatus based on face recognition Download PDF

Info

Publication number
KR102560372B1
KR102560372B1 KR1020210112605A KR20210112605A KR102560372B1 KR 102560372 B1 KR102560372 B1 KR 102560372B1 KR 1020210112605 A KR1020210112605 A KR 1020210112605A KR 20210112605 A KR20210112605 A KR 20210112605A KR 102560372 B1 KR102560372 B1 KR 102560372B1
Authority
KR
South Korea
Prior art keywords
face
mosaic
feature vector
facial feature
registered
Prior art date
Application number
KR1020210112605A
Other languages
Korean (ko)
Other versions
KR20230030416A (en
Inventor
고병철
곽수영
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020210112605A priority Critical patent/KR102560372B1/en
Publication of KR20230030416A publication Critical patent/KR20230030416A/en
Application granted granted Critical
Publication of KR102560372B1 publication Critical patent/KR102560372B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 얼굴 인식 기반의 선택적 얼굴 모자이크 방법에 관한 것으로서, 보다 구체적으로는 얼굴 모자이크 방법으로서, 영상 내의 얼굴을 인식해 선택적으로 얼굴 모자이크를 하는 얼굴 모자이크 장치에서 각 단계가 수행되며, (1) 모자이크에서 제외되는 얼굴의 인식을 위한 등록 얼굴 영상으로부터 CNN(Convolutional Neural Network) 기반으로 등록 얼굴 특징 벡터를 추출하는 단계; (2) 상기 단계 (1)에서 추출한 등록 얼굴 특징 벡터를 얼굴 데이터베이스에 저장하는 단계; (3) 입력 영상에서 얼굴 영역을 검출하고 상기 단계 (1)의 CNN 기반으로 입력 얼굴 특징 벡터를 추출해, 상기 얼굴 데이터베이스에 저장된 등록 얼굴 특징 벡터와 비교하여 얼굴을 인식하는 단계; 및 (4) 상기 입력 영상에서 검출된 얼굴 영역 중에서, 상기 단계 (3)에서 인식되지 않은 얼굴을 식별하고 모자이크 처리하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 얼굴 인식 기반의 선택적 얼굴 모자이크 장치에 관한 것으로서, 보다 구체적으로는 영상 내의 얼굴을 인식해 선택적으로 얼굴 모자이크를 하는 얼굴 모자이크 장치로서, 모자이크에서 제외되는 얼굴의 인식을 위한 등록 얼굴 영상으로부터 CNN(Convolutional Neural Network) 기반으로 등록 얼굴 특징 벡터를 추출하는 얼굴 등록부; 상기 얼굴 등록부에서 추출한 등록 얼굴 특징 벡터를 저장하는 얼굴 데이터베이스; 입력 영상에서 얼굴 영역을 검출하고 상기 얼굴 등록부에서 사용한 상기 CNN 기반으로 입력 얼굴 특징 벡터를 추출해, 상기 얼굴 데이터베이스에 저장된 등록 얼굴 특징 벡터와 비교하여 얼굴을 인식하는 얼굴 인식부; 및 상기 입력 영상에서 검출된 얼굴 영역 중에서, 상기 얼굴 인식부에서 인식되지 않은 얼굴을 식별하고 모자이크 처리하는 모자이크 처리부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치에 따르면, 입력 영상에서 추출한 입력 얼굴 특징을 얼굴 데이터베이스에 저장된 등록 얼굴 특징과 비교해 얼굴 인식을 수행하며, 인식되지 않은 얼굴을 식별해 모자이크 처리함으로써, 얼굴 검출 및 얼굴 인식 기술을 사용해 영상 내의 등록되지 않은 얼굴을 선택적으로 자동 모자이크 처리하여, 번거로운 작업 없이 효율적으로 영상에 모자이크 처리를 할 수 있다.The present invention relates to a selective face mosaic method based on face recognition, and more specifically, as a face mosaic method, each step is performed in a face mosaic device that recognizes a face in an image and selectively performs face mosaic, (1) extracting a registered face feature vector based on a convolutional neural network (CNN) from a registered face image for recognition of a face excluded from the mosaic; (2) storing the registered facial feature vector extracted in step (1) in a face database; (3) recognizing a face by detecting a face region from an input image, extracting an input facial feature vector based on the CNN of step (1), and comparing it with a registered face feature vector stored in the face database; and (4) identifying a face not recognized in step (3) among the face regions detected in the input image and performing mosaic processing.
In addition, the present invention relates to a selective face mosaic device based on face recognition, and more specifically, to a face mosaic device that recognizes a face in an image and selectively performs face mosaic, A face registration unit that extracts a registered face feature vector based on a CNN (Convolutional Neural Network) from a registered face image for recognition of a face excluded from the mosaic; a face database for storing registered facial feature vectors extracted from the face registration unit; a face recognition unit that detects a face region from an input image, extracts an input facial feature vector based on the CNN used in the face registration unit, and compares the input facial feature vector with the registered facial feature vector stored in the face database to recognize a face; and a mosaic processing unit for identifying and mosaic-processing a face that is not recognized by the face recognition unit among the face regions detected in the input image.
According to the face recognition-based selective face mosaic method and apparatus proposed in the present invention, face recognition is performed by comparing input facial features extracted from an input image with registered facial features stored in a face database, and unrecognized faces are identified and mosaic-processed. By using face detection and face recognition technology, unregistered faces in an image are selectively and automatically mosaic-processed, and the image can be efficiently mosaic-processed without cumbersome work.

Description

얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치{SELECTIVE AND AUTOMATIC FACE MOSAIC METHOD AND APPARATUS BASED ON FACE RECOGNITION}Selective face mosaic method and apparatus based on face recognition {SELECTIVE AND AUTOMATIC FACE MOSAIC METHOD AND APPARATUS BASED ON FACE RECOGNITION}

본 발명은 얼굴 모자이크 방법 및 장치에 관한 것으로서, 보다 구체적으로는 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치에 관한 것이다.The present invention relates to a face mosaic method and apparatus, and more particularly, to a selective face mosaic method and apparatus based on face recognition.

소셜 미디어가 큰 인기를 얻고 있는 가운데, 최근 페이스북(Facebook), 인스타그램(Instagram), 카카오 스토리(kakao story), 유튜브(YouTube) 등의 소셜 미디어를 통한 동영상이나 실시간 라이브 방송의 인기가 높아지고 있다. 이에 따라 얼굴이 포함된 영상 및 동영상을 게시하거나 인터넷 라이브 방송에 대한 초상권 침해 문제가 발생하고 있다.While social media is gaining great popularity, the popularity of videos or real-time live broadcasting through social media such as Facebook, Instagram, kakao story, and YouTube is increasing recently. As a result, there is a problem of portrait rights infringement on posting videos and videos containing faces or live broadcasting on the Internet.

원하지 않게 배경에 포함되었거나, 같이 촬영된 사람이라도 소셜 미디어에 게시되고 싶지 않은 사람의 경우 일일이 포토샵 등으로 얼굴 부분을 모자이크 처리해야 하지만, 이러한 작업은 매우 손이 많이 가고 번거로운 작업이다. 또한, 정지된 이미지가 아니라 얼굴이 계속 움직이는 동영상의 경우 편집이 불가능한 때도 있다.In the case of people who are undesirably included in the background or who do not want to be posted on social media, even if they are photographed together, they have to mosaic the face part with Photoshop, etc., but this is a very laborious and cumbersome task. In addition, there are times when editing is not possible in the case of a video with a moving face rather than a still image.

이러한 얼굴 공개는 초상권 침해뿐 아니라 사생활 노출 위험이 있고, 경우에 따라서는 범죄의 표적이 될 가능성이 있다는 점에서, 효율적으로 얼굴을 쉽게 모자이크할 수 있는 기술의 개발이 필요한 실정이다.Such face disclosure not only infringes on portrait rights, but also poses a risk of privacy exposure and, in some cases, a possibility of becoming a target of a crime. Therefore, it is necessary to develop a technology that can efficiently and easily mosaic faces.

종래 얼굴 모자이크 처리를 수행하는 애플리케이션으로, Momera, KSH Mosaic Camera, Facepixelizer 등이 있으나, 이러한 애플리케이션 또는 기술은 얼굴 인식 없이 검출된 얼굴에 대해 모자이크 처리를 수행하는 것으로, 모든 얼굴 영역을 모자이크 처리하거나 사용자가 선택한 얼굴만 모자이크를 수행한다. 따라서 종래 기술에 따르면, 사용자가 모자이크 처리할 얼굴과 노출할 얼굴을 하나하나 선택해야 하므로 작업량이 많아 효율적이지 못한 한계가 있다.Examples of conventional applications that perform face mosaic processing include Momera, KSH Mosaic Camera, and Facepixelizer. However, these applications or technologies perform mosaic processing on detected faces without face recognition, and perform mosaic processing on all face regions or mosaic only faces selected by the user. Therefore, according to the prior art, since the user has to select a face to be mosaic-processed and a face to be exposed one by one, the amount of work is large and thus inefficient.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 입력 영상에서 추출한 입력 얼굴 특징을 얼굴 데이터베이스에 저장된 등록 얼굴 특징과 비교해 얼굴 인식을 수행하며, 인식되지 않은 얼굴을 식별해 모자이크 처리함으로써, 얼굴 검출 및 얼굴 인식 기술을 사용해 영상 내의 등록되지 않은 얼굴을 선택적으로 자동 모자이크 처리하여, 번거로운 작업 없이 효율적으로 영상에 모자이크 처리를 할 수 있는, 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치를 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, and an object of the present invention is to provide a selective face mosaic method and apparatus based on face recognition, which perform face recognition by comparing input facial features extracted from an input image with registered facial features stored in a face database, identify unrecognized faces and perform mosaic processing, selectively and automatically mosaic unregistered faces in an image using face detection and face recognition technology, and efficiently perform mosaic processing without cumbersome work.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법은,The selective face mosaic method based on face recognition according to the features of the present invention for achieving the above object is,

얼굴 모자이크 방법으로서,As a face mosaic method,

영상 내의 얼굴을 인식해 선택적으로 얼굴 모자이크를 하는 얼굴 모자이크 장치에서 각 단계가 수행되며,Each step is performed in the face mosaic device that recognizes the face in the video and selectively performs face mosaic.

(1) 모자이크에서 제외되는 얼굴의 인식을 위한 등록 얼굴 영상으로부터 CNN(Convolutional Neural Network) 기반으로 등록 얼굴 특징 벡터를 추출하는 단계;(1) extracting a registered facial feature vector based on a convolutional neural network (CNN) from a registered face image for recognizing a face excluded from the mosaic;

(2) 상기 단계 (1)에서 추출한 등록 얼굴 특징 벡터를 얼굴 데이터베이스에 저장하는 단계;(2) storing the registered facial feature vector extracted in step (1) in a face database;

(3) 입력 영상에서 얼굴 영역을 검출하고 상기 단계 (1)의 CNN 기반으로 입력 얼굴 특징 벡터를 추출해, 상기 얼굴 데이터베이스에 저장된 등록 얼굴 특징 벡터와 비교하여 얼굴을 인식하는 단계; 및(3) recognizing a face by detecting a face region from an input image, extracting an input facial feature vector based on the CNN of step (1), and comparing it with a registered face feature vector stored in the face database; and

(4) 상기 입력 영상에서 검출된 얼굴 영역 중에서, 상기 단계 (3)에서 인식되지 않은 얼굴을 식별하고 모자이크 처리하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.(4) Among the face regions detected in the input image, a step of identifying a face not recognized in step (3) and performing mosaic processing is included.

바람직하게는, 상기 CNN은,Preferably, the CNN,

얼굴 영상으로부터 얼굴 특징 벡터를 추출하는 복수의 레이어로 구성된 모델로서, 마지막 출력 레이어의 출력에 시그모이드 함수를 적용해 다차원의 얼굴 특징 벡터를 추출할 수 있다.It is a model composed of multiple layers that extracts facial feature vectors from face images, and multi-dimensional facial feature vectors can be extracted by applying a sigmoid function to the output of the last output layer.

바람직하게는, 상기 입력 영상은,Preferably, the input image,

정지 영상 또는 동영상일 수 있다.It may be a still image or a moving image.

더욱 바람직하게는, 상기 단계 (3)에서는,More preferably, in the step (3),

상기 입력 영상이 동영상이면, 상기 동영상을 구성하는 프레임별로 얼굴 영역을 검출 및 인식하며, 이전 프레임과 현재 프레임에서 검출된 얼굴 영역의 위치 및 크기를 이용해 얼굴을 추적하고,If the input image is a video, face regions are detected and recognized for each frame constituting the video, and the face is tracked using the position and size of the face region detected in the previous frame and the current frame,

상기 단계 (4)에서는,In the step (4),

상기 단계 (3)에서 인식되지 않은 얼굴을 추적하면서 모자이크 처리할 수 있다.Mosaic processing can be performed while tracking the face not recognized in step (3).

바람직하게는, 상기 단계 (3)은,Preferably, the step (3) is,

(3-1) 입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역을 상기 단계 (1)의 CNN 기반으로 입력 얼굴 특징 벡터를 추출하는 단계;(3-1) detecting a face region from an input image and extracting an input facial feature vector based on the detected face region CNN of step (1);

(3-2) 상기 단계 (3-1)에서 추출된 입력 얼굴 특징 벡터와 상기 얼굴 데이터베이스에 저장된 등록 얼굴 특징 벡터 사이의 유사성 매트릭스를 생성하는 단계; 및(3-2) generating a similarity matrix between the input facial feature vector extracted in step (3-1) and the registered facial feature vector stored in the face database; and

(3-3) 상기 생성한 유사성 매트릭스에서 가장 큰 값을 갖는 등록 얼굴 특징 벡터에 대응하는 얼굴과 상기 입력 영상에서 검출된 얼굴을 매칭해 인식하는 단계를 포함할 수 있다.(3-3) matching and recognizing a face corresponding to a registered facial feature vector having the largest value in the generated similarity matrix with a face detected in the input image.

더욱 바람직하게는, 상기 단계 (3-2)에서는,More preferably, in the step (3-2),

상기 입력 얼굴 특징 벡터와 상기 등록 얼굴 특징 벡터를 내적(dot product) 하여 상기 유사성 매트릭스를 생성할 수 있다.The similarity matrix may be generated by performing a dot product of the input facial feature vector and the registered facial feature vector.

바람직하게는, 상기 단계 (4)에서는,Preferably, in the step (4),

복수의 모자이크 형태 중에서 미리 선택된 모자이크 형태로 식별된 얼굴을 자동으로 모자이크 처리할 수 있다.A face identified as a previously selected mosaic type among a plurality of mosaic types may be automatically mosaic-processed.

더욱 바람직하게는, 상기 단계 (4)에서는,More preferably, in the step (4),

모자이크, 블러링, 크로핑(cropping) 및 스티커 부착 중 어느 하나의 형태로 상기 식별된 얼굴을 식별 불가능하게 처리할 수 있다.The identified face may be processed to be unidentifiable in any one form of mosaic, blurring, cropping, and sticker attachment.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 장치는,A selective face mosaic device based on face recognition according to the features of the present invention for achieving the above object is,

영상 내의 얼굴을 인식해 선택적으로 얼굴 모자이크를 하는 얼굴 모자이크 장치로서,As a face mosaic device that recognizes faces in an image and selectively performs face mosaic,

모자이크에서 제외되는 얼굴의 인식을 위한 등록 얼굴 영상으로부터 CNN(Convolutional Neural Network) 기반으로 등록 얼굴 특징 벡터를 추출하는 얼굴 등록부;a face registration unit extracting a registration face feature vector based on a convolutional neural network (CNN) from a registration face image for recognizing a face excluded from the mosaic;

상기 얼굴 등록부에서 추출한 등록 얼굴 특징 벡터를 저장하는 얼굴 데이터베이스;a face database for storing registered facial feature vectors extracted from the face registration unit;

입력 영상에서 얼굴 영역을 검출하고 상기 얼굴 등록부에서 사용한 상기 CNN 기반으로 입력 얼굴 특징 벡터를 추출해, 상기 얼굴 데이터베이스에 저장된 등록 얼굴 특징 벡터와 비교하여 얼굴을 인식하는 얼굴 인식부; 및a face recognition unit that detects a face region from an input image, extracts an input facial feature vector based on the CNN used in the face registration unit, and compares the input facial feature vector with the registered facial feature vector stored in the face database to recognize a face; and

상기 입력 영상에서 검출된 얼굴 영역 중에서, 상기 얼굴 인식부에서 인식되지 않은 얼굴을 식별하고 모자이크 처리하는 모자이크 처리부를 포함하는 것을 그 구성상의 특징으로 한다.It is characterized in that it includes a mosaic processing unit for identifying and mosaic-processing a face not recognized by the face recognition unit among the face regions detected in the input image.

바람직하게는, 상기 CNN은,Preferably, the CNN,

얼굴 영상으로부터 얼굴 특징 벡터를 추출하는 복수의 레이어로 구성된 모델로서, 마지막 출력 레이어의 출력에 시그모이드 함수를 적용해 다차원의 얼굴 특징 벡터를 추출할 수 있다.It is a model composed of multiple layers that extracts facial feature vectors from face images, and multi-dimensional facial feature vectors can be extracted by applying a sigmoid function to the output of the last output layer.

바람직하게는, 상기 입력 영상은,Preferably, the input image,

정지 영상 또는 동영상일 수 있다.It may be a still image or a moving image.

더욱 바람직하게는, 상기 얼굴 인식부는,More preferably, the face recognition unit,

상기 입력 영상이 동영상이면, 상기 동영상을 구성하는 프레임별로 얼굴 영역을 검출 및 인식하며, 이전 프레임과 현재 프레임에서 검출된 얼굴 영역의 위치 및 크기를 이용해 얼굴을 추적하고,If the input image is a video, face regions are detected and recognized for each frame constituting the video, and the face is tracked using the position and size of the face region detected in the previous frame and the current frame,

상기 모바일 처리부는,The mobile processing unit,

상기 얼굴 인식부에서 인식되지 않은 얼굴을 추적하면서 모자이크 처리할 수 있다.A mosaic process may be performed while tracking a face not recognized by the face recognition unit.

바람직하게는, 상기 얼굴 인식부는,Preferably, the face recognition unit,

입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역을 상기 CNN 기반으로 입력 얼굴 특징 벡터를 추출하는 특징 추출 모듈;a feature extraction module that detects a face region from an input image and extracts an input facial feature vector based on the detected face region;

상기 특징 추출 모듈에서 추출된 입력 얼굴 특징 벡터와 상기 얼굴 데이터베이스에 저장된 등록 얼굴 특징 벡터 사이의 유사성 매트릭스를 생성하는 유사도 측정 모듈; 및a similarity measurement module generating a similarity matrix between the input facial feature vector extracted by the feature extraction module and the registered facial feature vector stored in the face database; and

상기 생성한 유사성 매트릭스에서 가장 큰 값을 갖는 등록 얼굴 특징 벡터에 대응하는 얼굴과 상기 입력 영상에서 검출된 얼굴을 매칭해 인식하는 얼굴 인식 모듈을 포함할 수 있다.and a face recognition module for matching and recognizing a face corresponding to a registered facial feature vector having the largest value in the generated similarity matrix and a face detected in the input image.

더욱 바람직하게는, 상기 단계 유사도 측정 모듈은,More preferably, the step similarity measurement module,

상기 입력 얼굴 특징 벡터와 상기 등록 얼굴 특징 벡터를 내적(dot product) 하여 상기 유사성 매트릭스를 생성할 수 있다.The similarity matrix may be generated by performing a dot product of the input facial feature vector and the registered facial feature vector.

바람직하게는, 상기 모자이크 처리부는,Preferably, the mosaic processing unit,

복수의 모자이크 형태 중에서 미리 선택된 모자이크 형태로 식별된 얼굴을 자동으로 모자이크 처리할 수 있다.A face identified as a previously selected mosaic type among a plurality of mosaic types may be automatically mosaic-processed.

더욱 바람직하게는, 상기 모자이크 처리부는,More preferably, the mosaic processing unit,

모자이크, 블러링, 크로핑(cropping) 및 스티커 부착 중 어느 하나의 형태로 상기 식별된 얼굴을 식별 불가능하게 처리할 수 있다.The identified face may be processed to be unidentifiable in any one form of mosaic, blurring, cropping, and sticker attachment.

본 발명에서 제안하고 있는 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치에 따르면, 입력 영상에서 추출한 입력 얼굴 특징을 얼굴 데이터베이스에 저장된 등록 얼굴 특징과 비교해 얼굴 인식을 수행하며, 인식되지 않은 얼굴을 식별해 모자이크 처리함으로써, 얼굴 검출 및 얼굴 인식 기술을 사용해 영상 내의 등록되지 않은 얼굴을 선택적으로 자동 모자이크 처리하여, 번거로운 작업 없이 효율적으로 영상에 모자이크 처리를 할 수 있다.According to the face recognition-based selective face mosaic method and apparatus proposed in the present invention, face recognition is performed by comparing input facial features extracted from an input image with registered facial features stored in a face database, and unrecognized faces are identified and mosaic-processed. By using face detection and face recognition technology, unregistered faces in an image are selectively and automatically mosaic-processed, and the image can be efficiently mosaic-processed without cumbersome work.

도 1은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치를 설명하기 위해 도시한 도면.
도 2는 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치에 의한 모자이크 처리 영상을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 장치의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 장치에서, 얼굴 인식부의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S110을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S120을 설명하기 위해 도시한 도면.
도 8은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법에서, 단계 S130의 세부적인 흐름을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S130을 설명하기 위해 도시한 도면.
도 10은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S140을 설명하기 위해 도시한 도면.1 is a diagram for explaining a selective face mosaic method and apparatus based on face recognition according to an embodiment of the present invention.
FIG. 2 is a diagram showing, for example, a mosaic-processed image by a selective face mosaic method and apparatus based on face recognition according to an embodiment of the present invention.
3 is a diagram showing the configuration of a selective face mosaic device based on face recognition according to an embodiment of the present invention.
4 is a diagram showing a detailed configuration of a face recognition unit in a selective face mosaic device based on face recognition according to an embodiment of the present invention.
5 is a flow diagram illustrating a selective face mosaic method based on face recognition according to an embodiment of the present invention.
6 is a diagram for explaining step S110 of a selective face mosaic method based on face recognition according to an embodiment of the present invention.
FIG. 7 is a diagram for explaining step S120 of a selective face mosaic method based on face recognition according to an embodiment of the present invention.
8 is a diagram showing a detailed flow of step S130 in the selective face mosaic method based on face recognition according to an embodiment of the present invention.
9 is a diagram for explaining step S130 of a face recognition-based selective face mosaic method according to an embodiment of the present invention.
10 is a diagram for explaining step S140 of a face recognition-based selective face mosaic method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those skilled in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and actions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is said to be 'connected' to another part, this includes not only the case where it is 'directly connected', but also the case where it is 'indirectly connected' with another element in between. In addition, 'including' a certain component means that other components may be further included, rather than excluding other components unless otherwise specified.

도 1은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치(100)를 설명하기 위해 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치(100)에 의한 모자이크 처리 영상을 예를 들어 도시한 도면이다. 도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치는, 영상에서 얼굴 영역을 추출하는 얼굴 검출(detection)과 검출된 얼굴 영역 중에서 등록된 얼굴과 매칭되는 얼굴을 식별하는 얼굴 인식(face recognition)을 결합해 얼굴 데이터베이스(120)에 등록되지 않은 얼굴을 모자이크 처리하는 것으로, 정지영상이나 동영상에서 얼굴을 인식하고 자동으로 등록된 사람들의 얼굴을 보존하고 나머지 얼굴은 모자이크 처리하여, 초상권 침해 등의 문제가 발생할 수 있는 얼굴을 효율적으로 모자이크 처리할 수 있다.1 is a diagram illustrating a face recognition-based selective face mosaic method and apparatus 100 according to an embodiment of the present invention, and FIG. 2 is a face recognition-based selective face mosaic method and apparatus 100 according to an embodiment of the present invention. As shown in FIGS. 1 and 2, the face recognition-based selective face mosaic method and apparatus according to an embodiment of the present invention combine face detection for extracting a face region from an image and face recognition for identifying a face that matches a registered face among the detected face regions to perform mosaic processing on faces not registered in the face database 120, recognizing faces in still images or videos, automatically preserving the faces of registered people, and mosaicking the remaining faces, thereby infringing on portrait rights, etc. It is possible to efficiently mosaic faces that may cause problems of

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치(100)는, 전자 장치에 얼굴 모자이크를 위한 애플리케이션 등 프로그램을 설치 및 실행하여 구현될 수 있다. 이때, 프로그램은 모바일 기기용 또는 PC용으로 각각 개발될 수 있는데, 모바일 기기용 애플리케이션은 얼굴 인식을 최대한 단순한 딥 러닝 알고리즘을 사용해 구현하여 기기 내에서 빠르게 동작하도록 할 수 있다. 또한, PC용 응용 프로그램은 정밀한 얼굴 인식이 가능하도록 복잡한 딥 러닝 알고리즘을 사용해 얼굴 인식율을 향상시켜, TV 방송, 인터넷 라이브 방송 등에도 적용 가능하도록 구현할 수 있다.As shown in FIG. 1 , the selective face mosaic method and device 100 based on face recognition according to an embodiment of the present invention may be implemented by installing and executing a program such as an application for face mosaic in an electronic device. At this time, the program may be developed for either a mobile device or a PC, and the application for the mobile device may implement face recognition using a deep learning algorithm as simple as possible so as to operate quickly within the device. In addition, the PC application program can be implemented to be applicable to TV broadcasting and Internet live broadcasting by improving the face recognition rate by using a complex deep learning algorithm to enable precise face recognition.

여기서, 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리 착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 전술한 기기들에 한정되지는 않으며, 전술한 다양한 장치 중 둘 이상의 조합일 수 있다.Here, the electronic device may include at least one of a smartphone, a tablet PC (personal computer), a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, a server, a personal digital assistant (PDA), a media box, a game console, an electronic dictionary, or a wearable device. , an anklet, a necklace, glasses, a contact lens, or a head-mounted device (HMD), a fabric or clothing integral type (eg, electronic clothing), a body attachable type (eg, a skin pad or tattoo), or a bio-implantable circuit. In various embodiments, the electronic device is not limited to the above devices, and may be a combination of two or more of the above various devices.

도 3은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 장치(100)의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 장치(100)는, 모자이크에서 제외되는 얼굴의 인식을 위한 등록 얼굴 영상으로부터 CNN(Convolutional Neural Network) 기반으로 등록 얼굴 특징 벡터를 추출하는 얼굴 등록부(110); 얼굴 등록부(110)에서 추출한 등록 얼굴 특징 벡터를 저장하는 얼굴 데이터베이스(120); 입력 영상에서 얼굴 영역을 검출하고 얼굴 등록부(110)에서 사용한 CNN 기반으로 입력 얼굴 특징 벡터를 추출해, 얼굴 데이터베이스(120)에 저장된 등록 얼굴 특징 벡터와 비교하여 얼굴을 인식하는 얼굴 인식부(130); 및 입력 영상에서 검출된 얼굴 영역 중에서, 얼굴 인식부(130)에서 인식되지 않은 얼굴을 식별하고 모자이크 처리하는 모자이크 처리부(140)를 포함하여 구성될 수 있다.3 is a diagram showing the configuration of a selective face mosaic device 100 based on face recognition according to an embodiment of the present invention. As shown in FIG. 3, the selective face mosaic device 100 based on face recognition according to an embodiment of the present invention includes a face registration unit 110 that extracts a registered facial feature vector based on a convolutional neural network (CNN) from a registered face image for recognizing a face excluded from the mosaic; a face database 120 that stores the registered face feature vectors extracted from the face registration unit 110; a face recognition unit 130 that detects a face region in an input image, extracts an input facial feature vector based on a CNN used in the face registration unit 110, compares the input facial feature vector with the registered facial feature vector stored in the face database 120, and recognizes the face; and a mosaic processing unit 140 that identifies faces not recognized by the face recognition unit 130 from among the face regions detected in the input image and performs mosaic processing.

도 4는 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 장치(100)에서, 얼굴 인식부(130)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 장치(100)의 얼굴 인식부(130)는, 입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역을 CNN 기반으로 입력 얼굴 특징 벡터를 추출하는 특징 추출 모듈(131); 특징 추출 모듈(131)에서 추출된 입력 얼굴 특징 벡터와 얼굴 데이터베이스(120)에 저장된 등록 얼굴 특징 벡터 사이의 유사성 매트릭스를 생성하는 유사도 측정 모듈(132); 및 생성한 유사성 매트릭스에서 가장 큰 값을 갖는 등록 얼굴 특징 벡터에 대응하는 얼굴과 입력 영상에서 검출된 얼굴을 매칭해 인식하는 얼굴 인식 모듈(133)을 포함하여 구성될 수 있다.4 is a diagram showing a detailed configuration of the face recognition unit 130 in the selective face mosaic device 100 based on face recognition according to an embodiment of the present invention. As shown in FIG. 4, the face recognition unit 130 of the face recognition-based selective face mosaic device 100 according to an embodiment of the present invention detects a face region from an input image, and uses the detected face region as a feature extraction module 131 for extracting an input facial feature vector based on a CNN; a similarity measurement module 132 generating a similarity matrix between the input facial feature vector extracted by the feature extraction module 131 and the registered facial feature vector stored in the face database 120; and a face recognition module 133 for matching and recognizing the face detected in the input image with the face corresponding to the registered facial feature vector having the largest value in the generated similarity matrix.

도 5는 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법은, 등록 얼굴 영상으로부터 CNN 기반으로 등록 얼굴 특징 벡터를 추출하는 단계(S110), 등록 얼굴 특징 벡터를 얼굴 데이터베이스(120)에 저장하는 단계(S120), 입력 영상에서 얼굴 영역을 검출하고 CNN 기반으로 입력 얼굴 특징 벡터를 추출해 등록 얼굴 특징 벡터와 비교하여 얼굴을 인식하는 단계(S130) 및 입력 영상에서 인식되지 않은 얼굴을 식별하고 모자이크 처리하는 단계(S140)를 포함하여 구현될 수 있다.5 is a flow diagram illustrating a selective face mosaic method based on face recognition according to an embodiment of the present invention. As shown in FIG. 5 , in the selective face mosaic method based on face recognition according to an embodiment of the present invention, extracting a registered facial feature vector based on CNN from a registered face image (S110), storing the registered facial feature vector in a face database 120 (S120), detecting a face region from an input image, extracting the input facial feature vector based on CNN, and recognizing a face by comparing the input facial feature vector with the registered facial feature vector (S130), and identifying and mosaicking a face that is not recognized in the input image. It may be implemented including the step (S140) of doing.

단계 S110에서는, 얼굴 등록부(110)가, 모자이크에서 제외되는 얼굴의 인식을 위한 등록 얼굴 영상으로부터 CNN(Convolutional Neural Network) 기반으로 등록 얼굴 특징 벡터를 추출할 수 있다. 즉, 단계 S110에서는, 컨볼루션 레이어를 포함하여 얼굴 특징 벡터를 검출하도록 학습된 CNN을 사용해, 얼굴 등록을 위한 등록 얼굴 영상에서 얼굴 특징 벡터를 검출하며, 이를 등록 얼굴 특징 벡터로 할 수 있다.In step S110, the face registration unit 110 may extract a registered face feature vector based on a convolutional neural network (CNN) from a registered face image for recognizing a face excluded from the mosaic. That is, in step S110, a facial feature vector may be detected from a registered face image for face registration using a CNN learned to detect a face feature vector including a convolution layer, and this may be used as a registered face feature vector.

도 6은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S110을 설명하기 위해 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S110에서는, 등록 얼굴 영상의 방향을 정렬하는 등 전처리를 한 후에 인코더 CNN(Encoder CNN)에 입력하여 얼굴 특징 벡터를 추출할 수 있다.6 is a diagram for explaining step S110 of the selective face mosaic method based on face recognition according to an embodiment of the present invention. As shown in FIG. 6, in step S110 of the selective face mosaic method based on face recognition according to an embodiment of the present invention, after preprocessing such as aligning the direction of the registered face image, the facial feature vector can be extracted by inputting it to an encoder CNN.

여기서, CNN은, 얼굴 영상으로부터 얼굴 특징 벡터를 추출하는 복수의 레이어로 구성된 모델로서, 마지막 출력 레이어의 출력에 시그모이드 함수를 적용해 다차원의 얼굴 특징 벡터를 추출할 수 있다. 이때, 얼굴 특징 벡터의 차원은 미리 N차원으로 설정될 수 있다.Here, CNN is a model composed of a plurality of layers that extracts facial feature vectors from face images, and can extract multi-dimensional face feature vectors by applying a sigmoid function to the output of the last output layer. In this case, the dimension of the facial feature vector may be set to N-dimensional in advance.

단계 S120에서는, 단계 S110에서 추출한 등록 얼굴 특징 벡터를 얼굴 데이터베이스(120)에 저장할 수 있다. 즉, 얼굴 데이터베이스(120)는, 모자이크에서 제외할 즉, 노출되어도 되는 얼굴을 저장해 등록한 것이다.In step S120, the registered facial feature vector extracted in step S110 may be stored in the face database 120. That is, the face database 120 stores and registers faces to be excluded from the mosaic, that is, to be exposed.

도 7은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S120을 설명하기 위해 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S120에서는, 얼굴 데이터베이스(120)에 단계 S110에서 추출한 얼굴 특징 벡터를 저장하여, 모자이크 처리를 위한 얼굴 인식 시에 다시 등록 얼굴 영상을 처리하거나 다시 벡터를 추출할 필요 없이, 빠르게 얼굴 인식을 할 수 있다.7 is a diagram for explaining step S120 of the selective face mosaic method based on face recognition according to an embodiment of the present invention. As shown in FIG. 7 , in step S120 of the selective face mosaic method based on face recognition according to an embodiment of the present invention, the facial feature vector extracted in step S110 is stored in the face database 120, and face recognition can be performed quickly without the need to process the registered face image again or extract the vector again during face recognition for mosaic processing.

단계 S130에서는, 얼굴 인식부(130)가, 입력 영상에서 얼굴 영역을 검출하고 단계 S110의 CNN 기반으로 입력 얼굴 특징 벡터를 추출해, 얼굴 데이터베이스(120)에 저장된 등록 얼굴 특징 벡터와 비교하여 얼굴을 인식할 수 있다. 즉, 단계 S130에서는, 단계 S110에서 사용된 동일한 인코더 CNN을 사용해 얼굴 인식을 수행할 수 있다.In step S130, the face recognition unit 130 detects a face region in the input image, extracts the input facial feature vector based on the CNN of step S110, compares it with the registered facial feature vector stored in the face database 120, and recognizes the face. That is, in step S130, face recognition may be performed using the same encoder CNN used in step S110.

도 8은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법에서, 단계 S130의 세부적인 흐름을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S130은, 입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역을 CNN 기반으로 입력 얼굴 특징 벡터를 추출하는 단계(S131), 입력 얼굴 특징 벡터와 얼굴 데이터베이스(120)에 저장된 등록 얼굴 특징 벡터 사이의 유사성 매트릭스를 생성하는 단계(S132) 및 생성한 유사성 매트릭스에서 가장 큰 값을 갖는 등록 얼굴 특징 벡터에 대응하는 얼굴과 입력 영상에서 검출된 얼굴을 매칭해 인식하는 단계(S133)를 포함하여 구현될 수 있다.8 is a diagram showing a detailed flow of step S130 in the selective face mosaic method based on face recognition according to an embodiment of the present invention. As shown in FIG. 8 , the step S130 of the face recognition-based selective face mosaic method according to an embodiment of the present invention includes detecting a face region from an input image, extracting an input facial feature vector based on the detected face region based on a CNN (S131), generating a similarity matrix between the input facial feature vector and the registered facial feature vector stored in the face database 120 (S132), and a face corresponding to the registered facial feature vector having the largest value in the generated similarity matrix and the input image It can be implemented including a step of matching and recognizing the face detected in (S133).

도 9는 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S130을 설명하기 위해 도시한 도면이다. 이하에서는, 도 8 및 도 9를 참조하여 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S130을 구성하는 각 단계에 대해 상세히 설명하도록 한다.9 is a diagram for explaining step S130 of the selective face mosaic method based on face recognition according to an embodiment of the present invention. Hereinafter, each step constituting step S130 of the selective face mosaic method based on face recognition according to an embodiment of the present invention will be described in detail with reference to FIGS. 8 and 9 .

단계 S131에서는, 특징 추출 모듈(131)이, 입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역을 단계 S110의 CNN 기반으로 입력 얼굴 특징 벡터를 추출할 수 있다. 즉, 단계 S131에서는, 얼굴 등록 여부와 관계없이 전체 입력 영상에서 얼굴을 검출하고, 검출된 얼굴 각각에서 입력 얼굴 특징 벡터를 추출할 수 있다. 이때, 단계 S110에서 사용한 인코더 CNN을 사용해 얼굴 특징 벡터를 추출하고, 이를 입력 얼굴 특징 벡터로 하기 때문에, 이하에서 상세히 설명할 단계 S132에서 등록 얼굴 특징 벡터와의 비교 결과에 대한 신뢰도를 높일 수 있다.In step S131, the feature extraction module 131 may detect a face region from the input image and extract an input facial feature vector based on the detected face region CNN of step S110. That is, in step S131, a face may be detected from all input images regardless of whether a face is registered, and an input facial feature vector may be extracted from each detected face. At this time, since the facial feature vector is extracted using the encoder CNN used in step S110 and used as the input facial feature vector, reliability of the comparison result with the registered facial feature vector in step S132, which will be described in detail below, can be increased.

단계 S132에서는, 유사도 측정 모듈(132)이, 단계 S131에서 추출된 입력 얼굴 특징 벡터와 얼굴 데이터베이스(120)에 저장된 등록 얼굴 특징 벡터 사이의 유사성 매트릭스(Affinity Matrix)를 생성할 수 있다. 보다 구체적으로, 단계 S132에서는, 입력 얼굴 특징 벡터와 등록 얼굴 특징 벡터를 내적(dot product) 하여 유사성 매트릭스를 생성할 수 있다. 도 9에 도시된 바와 같이, 유사성 매트릭스는 입력 얼굴 특징 벡터와 얼굴 데이터베이스(120)에 저장된 N개의 등록 얼굴 특징 벡터를 각각 내적한 값으로 구성되는 1×N의 매트릭스일 수 있다.In step S132, the similarity measuring module 132 may generate an affinity matrix between the input facial feature vector extracted in step S131 and the registered facial feature vector stored in the face database 120. More specifically, in step S132, a similarity matrix may be generated by performing a dot product between the input facial feature vector and the registered facial feature vector. As shown in FIG. 9 , the similarity matrix may be a 1×N matrix composed of a dot product of an input facial feature vector and N registered facial feature vectors stored in the face database 120, respectively.

단계 S133에서는, 얼굴 인식 모듈(133)이, 생성한 유사성 매트릭스에서 가장 큰 값을 갖는 등록 얼굴 특징 벡터에 대응하는 얼굴과 입력 영상에서 검출된 얼굴을 매칭해 인식할 수 있다. 즉, 도 9에 도시된 바와 같이, 해당 얼굴 영역을 유사성 매트릭스에서 가장 큰 값을 갖는 원소의 계산에 사용된 등록 얼굴 특징 벡터에 대응하는 얼굴로 인식할 수 있다. 이때, 가장 큰 값을 특정할 수 없거나 가장 큰 값이 임계값 미만이면 얼굴 인식에 실패한 것으로, 얼굴 데이터베이스(120)에 등록되지 않은 얼굴로 판단할 수 있다.In step S133, the face recognition module 133 may match and recognize a face corresponding to a registered facial feature vector having the largest value in the generated similarity matrix and a face detected in the input image. That is, as shown in FIG. 9 , the face region may be recognized as a face corresponding to the registered facial feature vector used in calculating the element having the largest value in the similarity matrix. At this time, if the largest value cannot be specified or the largest value is less than the threshold value, it may be determined that face recognition has failed and that the face is not registered in the face database 120 .

단계 S140에서는, 모자이크 처리부(140)가, 입력 영상에서 검출된 얼굴 영역 중에서, 단계 S130에서 인식되지 않은 얼굴을 식별하고 모자이크 처리할 수 있다. 도 10은 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법의 단계 S140을 설명하기 위해 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 기반의 선택적 얼굴 모자이크 방법에서는, 입력 영상에서 사람으로 검출된 객체 영역에서 얼굴 영역을 검출하고, 얼굴 영역이 등록된 얼굴인지 얼굴 인식을 하며(도 10의 왼쪽), 단계 S140에서는 인식되지 않은 얼굴을 모자이크 처리할 수 있다(도 10의 오른쪽)In step S140, the mosaic processing unit 140 may identify a face not recognized in step S130 from among the face regions detected in the input image and perform mosaic processing. 10 is a diagram for explaining step S140 of the selective face mosaic method based on face recognition according to an embodiment of the present invention. As shown in FIG. 10, in the face recognition-based selective face mosaic method according to an embodiment of the present invention, a face region is detected in an object region detected as a person in an input image, face recognition is performed to determine whether the face region is a registered face (left side of FIG. 10), and unrecognized faces can be mosaic-processed in step S140 (right side of FIG. 10).

실시예에 따라서, 단계 S140에서는, 복수의 모자이크 형태 중에서 미리 선택된 모자이크 형태로 식별된 얼굴을 자동으로 모자이크 처리할 수 있다. 보다 구체적으로, 단계 S140에서는, 모자이크, 블러링, 크로핑(cropping) 및 스티커 부착 중 어느 하나의 형태로 얼굴을 식별 불가능하게 처리할 수 있다.Depending on the embodiment, in step S140, the face identified in a pre-selected mosaic form among a plurality of mosaic forms may be automatically mosaic-processed. More specifically, in step S140, the face may be processed to be unidentifiable in any one form among mosaic, blurring, cropping, and sticker attachment.

한편, 입력 영상은, 정지 영상 또는 동영상일 수 있다. 단계 S130에서는, 입력 영상이 동영상이면, 동영상을 구성하는 프레임별로 얼굴 영역을 검출 및 인식하며, 이전 프레임과 현재 프레임에서 검출된 얼굴 영역의 위치 및 크기를 이용해 얼굴을 추적하고, 단계 S140에서는, 단계 S130에서 인식되지 않은 얼굴을 추적하면서 모자이크 처리할 수 있다.Meanwhile, the input image may be a still image or a moving image. In step S130, if the input image is a video, face regions are detected and recognized for each frame constituting the video, and the face is tracked using the position and size of the face region detected in the previous frame and the current frame.

전술한 바와 같이, 본 발명에서 제안하고 있는 얼굴 인식 기반의 선택적 얼굴 모자이크 방법 및 장치에 따르면, 입력 영상에서 추출한 입력 얼굴 특징을 얼굴 데이터베이스(120)에 저장된 등록 얼굴 특징과 비교해 얼굴 인식을 수행하며, 인식되지 않은 얼굴을 식별해 모자이크 처리함으로써, 얼굴 검출 및 얼굴 인식 기술을 사용해 영상 내의 등록되지 않은 얼굴을 선택적으로 자동 모자이크 처리하여, 번거로운 작업 없이 효율적으로 영상에 모자이크 처리를 할 수 있다.As described above, according to the face recognition-based selective face mosaic method and apparatus proposed in the present invention, face recognition is performed by comparing input facial features extracted from an input image with registered facial features stored in the face database 120, and unrecognized faces are identified and mosaic-processed. By using face detection and face recognition technology, unregistered faces in an image are selectively and automatically mosaic-processed, and the image can be efficiently mosaic-processed without cumbersome work.

한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Meanwhile, the present invention may include a computer-readable medium including program instructions for performing operations implemented in various communication terminals. For example, computer-readable media may include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD_ROM and DVD, magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program instructions such as ROM, RAM, and flash memory.

이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Such computer-readable media may include program instructions, data files, data structures, etc. alone or in combination. At this time, program instructions recorded on a computer-readable medium may be specially designed and configured to implement the present invention, or may be known and usable to those skilled in computer software. For example, it may include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes generated by a compiler.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be variously modified or applied by those skilled in the art to which the present invention belongs, and the scope of the technical idea according to the present invention should be defined by the claims below.

100: 본 발명의 특징에 따른 얼굴 모자이크 장치
110: 얼굴 등록부
120: 얼굴 데이터베이스
130: 얼굴 인식부
131: 특징 추출 모듈
132: 유사도 측정 모듈
133: 얼굴 인식 모듈
140: 모자이크 처리부
S110: 등록 얼굴 영상으로부터 CNN 기반으로 등록 얼굴 특징 벡터를 추출하는 단계
S120: 등록 얼굴 특징 벡터를 얼굴 데이터베이스에 저장하는 단계
S130: 입력 영상에서 얼굴 영역을 검출하고 CNN 기반으로 입력 얼굴 특징 벡터를 추출해 등록 얼굴 특징 벡터와 비교하여 얼굴을 인식하는 단계
S131: 입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역을 CNN 기반으로 입력 얼굴 특징 벡터를 추출하는 단계
S132:입력 얼굴 특징 벡터와 얼굴 데이터베이스에 저장된 등록 얼굴 특징 벡터 사이의 유사성 매트릭스를 생성하는 단계
S133: 생성한 유사성 매트릭스에서 가장 큰 값을 갖는 등록 얼굴 특징 벡터에 대응하는 얼굴과 입력 영상에서 검출된 얼굴을 매칭해 인식하는 단계
S140: 입력 영상에서 인식되지 않은 얼굴을 식별하고 모자이크 처리하는 단계100: face mosaic device according to the features of the present invention
110: face register
120: face database
130: face recognition unit
131: feature extraction module
132: similarity measurement module
133: face recognition module
140: mosaic processing unit
S110: Extracting a registered facial feature vector based on CNN from the registered face image
S120: Step of storing registered facial feature vectors in face database
S130: Recognizing a face by detecting a face region from an input image, extracting an input facial feature vector based on a CNN, and comparing it with a registered face feature vector
S131: Detecting a face region from an input image and extracting an input facial feature vector based on the detected face region CNN
S132: generating a similarity matrix between the input facial feature vector and the registered facial feature vector stored in the face database
S133: Matching and recognizing a face corresponding to a registered facial feature vector having the largest value in the generated similarity matrix with a face detected in an input image
S140: Step of identifying and mosaicking unrecognized faces in the input image

Claims (16)

얼굴 모자이크 방법으로서,
영상 내의 얼굴을 인식해 선택적으로 얼굴 모자이크를 하는 얼굴 모자이크 장치(100)에서 각 단계가 수행되며,
(1) 모자이크에서 제외되는 얼굴의 인식을 위한 등록 얼굴 영상으로부터 CNN(Convolutional Neural Network) 기반으로 등록 얼굴 특징 벡터를 추출하는 단계;
(2) 상기 단계 (1)에서 추출한 등록 얼굴 특징 벡터를 얼굴 데이터베이스(120)에 저장하는 단계;
(3) 동영상인 입력 영상에서 얼굴 영역을 검출하고 상기 단계 (1)의 CNN 기반으로 입력 얼굴 특징 벡터를 추출해, 상기 얼굴 데이터베이스(120)에 저장된 등록 얼굴 특징 벡터와 비교하여 얼굴을 인식하는 단계; 및
(4) 상기 입력 영상에서 검출된 얼굴 영역 중에서, 상기 단계 (3)에서 인식되지 않은 얼굴을 식별하고 모자이크 처리하는 단계를 포함하며,
상기 CNN은,
얼굴 영상으로부터 얼굴 특징 벡터를 추출하는 복수의 레이어로 구성된 모델로서, 마지막 출력 레이어의 출력에 시그모이드 함수를 적용해 다차원의 얼굴 특징 벡터를 추출하며,
상기 단계 (3)은,
(3-1) 입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 상기 단계 (1)의 CNN 기반으로 입력 얼굴 특징 벡터를 추출하는 단계;
(3-2) 상기 단계 (3-1)에서 추출된 입력 얼굴 특징 벡터와 상기 얼굴 데이터베이스(120)에 저장된 등록 얼굴 특징 벡터 사이의 유사성 매트릭스를 생성하는 단계; 및
(3-3) 상기 생성한 유사성 매트릭스에서 가장 큰 값을 갖는 등록 얼굴 특징 벡터에 대응하는 얼굴과 상기 입력 영상에서 검출된 얼굴을 매칭해 인식하는 단계를 포함하며,
상기 단계 (3-2)에서는,
상기 입력 얼굴 특징 벡터와 상기 등록 얼굴 특징 벡터를 내적(dot product)하여 상기 유사성 매트릭스를 생성하되, 상기 유사성 매트릭스는 상기 입력 얼굴 특징 벡터와 상기 얼굴 데이터베이스(120)에 저장된 N개의 등록 얼굴 특징 벡터를 각각 내적한 값으로 구성되는 1×N의 매트릭스이며,
상기 단계 (3-3)에서는,
상기 유사성 매트릭스에서 가장 큰 값을 특정할 수 없거나 가장 큰 값이 임계값 미만이면 상기 얼굴 데이터베이스(120)에 등록되지 않은 얼굴로 판단하며,
상기 단계 (3)에서는,
상기 입력 영상이 동영상이고, 상기 동영상을 구성하는 프레임별로 얼굴 영역을 검출 및 인식하며, 이전 프레임과 현재 프레임에서 검출된 얼굴 영역의 위치 및 크기를 이용해 얼굴을 추적하고,
상기 단계 (4)에서는,
상기 단계 (3)에서 인식되지 않은 얼굴을 추적하면서 모자이크 처리하는 것을 특징으로 하는, 얼굴 인식 기반의 선택적 얼굴 모자이크 방법.
As a face mosaic method,
Each step is performed in the face mosaic device 100 that recognizes the face in the image and selectively performs face mosaic,
(1) extracting a registered facial feature vector based on a convolutional neural network (CNN) from a registered face image for recognizing a face excluded from the mosaic;
(2) storing the registered facial feature vector extracted in step (1) in the face database 120;
(3) recognizing a face by detecting a face region from an input video, extracting an input facial feature vector based on the CNN of step (1), comparing it with a registered face feature vector stored in the face database 120; and
(4) identifying a face not recognized in step (3) among the face regions detected in the input image and performing mosaic processing;
The CNN,
A model composed of multiple layers that extracts facial feature vectors from face images. A sigmoid function is applied to the output of the last output layer to extract multi-dimensional face feature vectors,
In the step (3),
(3-1) detecting a face region in the input image and extracting an input facial feature vector based on the CNN of step (1) from the detected face region;
(3-2) generating a similarity matrix between the input facial feature vector extracted in step (3-1) and the registered facial feature vector stored in the face database 120; and
(3-3) matching and recognizing a face corresponding to a registered facial feature vector having the largest value in the generated similarity matrix and a face detected in the input image;
In the step (3-2),
The similarity matrix is generated by performing a dot product of the input facial feature vector and the registered facial feature vector, wherein the similarity matrix is a 1×N matrix composed of values obtained by dot products of the input facial feature vector and N registered facial feature vectors stored in the face database 120, respectively;
In the step (3-3),
If the largest value in the similarity matrix cannot be specified or the largest value is less than a threshold value, it is determined that the face is not registered in the face database 120;
In the step (3),
The input image is a video, face regions are detected and recognized for each frame constituting the video, and the face is tracked using the position and size of the face region detected in the previous frame and the current frame,
In the step (4),
A selective face mosaic method based on face recognition, characterized in that mosaic processing is performed while tracking the face that is not recognized in step (3).
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서, 상기 단계 (4)에서는,
복수의 모자이크 형태 중에서 미리 선택된 모자이크 형태로 식별된 얼굴을 자동으로 모자이크 처리하는 것을 특징으로 하는, 얼굴 인식 기반의 선택적 얼굴 모자이크 방법.
The method of claim 1, wherein in step (4),
A selective face mosaic method based on face recognition, characterized by automatically mosaic-processing a face identified in a mosaic form preselected from among a plurality of mosaic forms.
 제7항에 있어서, 상기 단계 (4)에서는,
모자이크, 블러링, 크로핑(cropping) 및 스티커 부착 중 어느 하나의 형태로 상기 식별된 얼굴을 식별 불가능하게 처리하는 것을 특징으로 하는, 얼굴 인식 기반의 선택적 얼굴 모자이크 방법.
The method of claim 7, wherein in step (4),
A selective face mosaic method based on face recognition, characterized in that the identified face is processed to be unidentifiable in any one of mosaic, blurring, cropping and sticker attachment.
 영상 내의 얼굴을 인식해 선택적으로 얼굴 모자이크를 하는 얼굴 모자이크 장치(100)로서,
모자이크에서 제외되는 얼굴의 인식을 위한 등록 얼굴 영상으로부터 CNN(Convolutional Neural Network) 기반으로 등록 얼굴 특징 벡터를 추출하는 얼굴 등록부(110);
상기 얼굴 등록부(110)에서 추출한 등록 얼굴 특징 벡터를 저장하는 얼굴 데이터베이스(120);
동영상인 입력 영상에서 얼굴 영역을 검출하고 상기 얼굴 등록부(110)에서 사용한 상기 CNN 기반으로 입력 얼굴 특징 벡터를 추출해, 상기 얼굴 데이터베이스(120)에 저장된 등록 얼굴 특징 벡터와 비교하여 얼굴을 인식하는 얼굴 인식부(130); 및
상기 입력 영상에서 검출된 얼굴 영역 중에서, 상기 얼굴 인식부(130)에서 인식되지 않은 얼굴을 식별하고 모자이크 처리하는 모자이크 처리부(140)를 포함하며,
상기 CNN은,
얼굴 영상으로부터 얼굴 특징 벡터를 추출하는 복수의 레이어로 구성된 모델로서, 마지막 출력 레이어의 출력에 시그모이드 함수를 적용해 다차원의 얼굴 특징 벡터를 추출하며,
상기 얼굴 인식부(130)는,
입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 상기 CNN 기반으로 입력 얼굴 특징 벡터를 추출하는 특징 추출 모듈(131);
상기 특징 추출 모듈(131)에서 추출된 입력 얼굴 특징 벡터와 상기 얼굴 데이터베이스(120)에 저장된 등록 얼굴 특징 벡터 사이의 유사성 매트릭스를 생성하는 유사도 측정 모듈(132); 및
상기 생성한 유사성 매트릭스에서 가장 큰 값을 갖는 등록 얼굴 특징 벡터에 대응하는 얼굴과 상기 입력 영상에서 검출된 얼굴을 매칭해 인식하는 얼굴 인식 모듈(133)을 포함하며,
상기 유사도 측정 모듈(132)은,
상기 입력 얼굴 특징 벡터와 상기 등록 얼굴 특징 벡터를 내적(dot product)하여 상기 유사성 매트릭스를 생성하되, 상기 유사성 매트릭스는 상기 입력 얼굴 특징 벡터와 상기 얼굴 데이터베이스(120)에 저장된 N개의 등록 얼굴 특징 벡터를 각각 내적한 값으로 구성되는 1×N의 매트릭스이며,
상기 얼굴 인식 모듈(133)은,
상기 유사성 매트릭스에서 가장 큰 값을 특정할 수 없거나 가장 큰 값이 임계값 미만이면 상기 얼굴 데이터베이스(120)에 등록되지 않은 얼굴로 판단하며,
상기 얼굴 인식부(130)는,
상기 입력 영상이 동영상이고, 상기 동영상을 구성하는 프레임별로 얼굴 영역을 검출 및 인식하며, 이전 프레임과 현재 프레임에서 검출된 얼굴 영역의 위치 및 크기를 이용해 얼굴을 추적하고,
상기 모자이크 처리부(140)는,
상기 얼굴 인식부(130)에서 인식되지 않은 얼굴을 추적하면서 모자이크 처리하는 것을 특징으로 하는, 얼굴 인식 기반의 선택적 얼굴 모자이크 장치(100).
As a face mosaic device 100 that recognizes faces in an image and selectively performs face mosaic,
a face registration unit 110 that extracts a registered face feature vector based on a convolutional neural network (CNN) from a registered face image for recognizing a face excluded from the mosaic;
a face database (120) for storing the registered face feature vectors extracted from the face registration unit (110);
A face recognition unit 130 that detects a face region from an input image that is a moving image, extracts an input facial feature vector based on the CNN used in the face registration unit 110, compares it with the registered facial feature vector stored in the face database 120, and recognizes the face; and
A mosaic processing unit 140 for identifying and mosaic-processing faces not recognized by the face recognition unit 130 among the face regions detected in the input image;
The CNN,
A model composed of multiple layers that extracts facial feature vectors from face images. A sigmoid function is applied to the output of the last output layer to extract multi-dimensional face feature vectors,
The face recognition unit 130,
a feature extraction module 131 for detecting a face region in an input image and extracting an input facial feature vector based on the CNN from the detected face region;
a similarity measurement module 132 generating a similarity matrix between the input facial feature vector extracted by the feature extraction module 131 and the registered facial feature vector stored in the face database 120; and
A face recognition module 133 for matching and recognizing a face corresponding to a registered facial feature vector having the largest value in the generated similarity matrix and a face detected in the input image;
The similarity measurement module 132,
The similarity matrix is generated by performing a dot product of the input facial feature vector and the registered facial feature vector, wherein the similarity matrix is a 1×N matrix composed of values obtained by dot products of the input facial feature vector and N registered facial feature vectors stored in the face database 120, respectively;
The face recognition module 133,
If the largest value in the similarity matrix cannot be specified or the largest value is less than a threshold value, it is determined that the face is not registered in the face database 120;
The face recognition unit 130,
The input image is a video, face regions are detected and recognized for each frame constituting the video, and the face is tracked using the position and size of the face region detected in the previous frame and the current frame,
The mosaic processing unit 140,
A selective face mosaic device (100) based on face recognition, characterized in that mosaic processing is performed while tracking a face not recognized by the face recognition unit (130).
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제9항에 있어서, 상기 모자이크 처리부(140)는,
복수의 모자이크 형태 중에서 미리 선택된 모자이크 형태로 식별된 얼굴을 자동으로 모자이크 처리하는 것을 특징으로 하는, 얼굴 인식 기반의 선택적 얼굴 모자이크 장치(100).
The method of claim 9, wherein the mosaic processing unit 140,
A selective face mosaic device (100) based on face recognition, characterized in that automatically mosaic processing of a face identified in a mosaic form preselected from among a plurality of mosaic forms.
 제15항에 있어서, 상기 모자이크 처리부(140)는,
모자이크, 블러링, 크로핑(cropping) 및 스티커 부착 중 어느 하나의 형태로 상기 식별된 얼굴을 식별 불가능하게 처리하는 것을 특징으로 하는, 얼굴 인식 기반의 선택적 얼굴 모자이크 장치(100).The method of claim 15, wherein the mosaic processing unit 140,
A selective face mosaic device (100) based on face recognition, characterized in that the identified face is processed to be unidentifiable in any one form of mosaic, blurring, cropping, and sticker attachment.
KR1020210112605A 2021-08-25 2021-08-25 Selective and automatic face mosaic method and apparatus based on face recognition KR102560372B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210112605A KR102560372B1 (en) 2021-08-25 2021-08-25 Selective and automatic face mosaic method and apparatus based on face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210112605A KR102560372B1 (en) 2021-08-25 2021-08-25 Selective and automatic face mosaic method and apparatus based on face recognition

Publications (2)

Publication Number Publication Date
KR20230030416A KR20230030416A (en) 2023-03-06
KR102560372B1 true KR102560372B1 (en) 2023-07-27

Family

ID=85510026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210112605A KR102560372B1 (en) 2021-08-25 2021-08-25 Selective and automatic face mosaic method and apparatus based on face recognition

Country Status (1)

Country Link
KR (1) KR102560372B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102123248B1 (en) * 2020-01-30 2020-06-16 김선진 Real-time image processing system based on face recognition for protecting privacy

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100445800B1 (en) * 2001-01-05 2004-08-25 학교법인 인하학원 Face-image recognition method of similarity measure using correlation
KR20210036609A (en) * 2019-09-26 2021-04-05 주식회사 엘지유플러스 Apparatus and method for processing image
KR20210045229A (en) * 2019-10-16 2021-04-26 삼성전자주식회사 A computing apparatus and a method of operating the computing apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102123248B1 (en) * 2020-01-30 2020-06-16 김선진 Real-time image processing system based on face recognition for protecting privacy

Also Published As

Publication number Publication date
KR20230030416A (en) 2023-03-06

Similar Documents

Publication Publication Date Title
CN107832700A (en) A kind of face identification method and system
Yu et al. Anchor cascade for efficient face detection
Eroglu Erdem et al. BAUM-2: A multilingual audio-visual affective face database
Barbu An automatic face detection system for RGB images
Gupta et al. An efficient descriptor for gait recognition using spatio-temporal cues
Mahmoud et al. Automatic detection of naturalistic hand-over-face gesture descriptors
Tathe et al. Human face detection and recognition in videos
Aly et al. Arabic sign language recognition using spatio-temporal local binary patterns and support vector machine
EP2998928B1 (en) Apparatus and method for extracting high watermark image from continuously photographed images
Eid et al. Development of Iris Security System Using Adaptive Quality-Based Template Fusion
Ren et al. Face and facial expressions recognition and analysis
KR102560372B1 (en) Selective and automatic face mosaic method and apparatus based on face recognition
Rodrigues et al. A simple approach for biometrics: Finger-knuckle prints recognition based on a sobel filter and similarity measures
Thabet et al. Algorithm of local features fusion and modified covariance-matrix technique for hand motion position estimation and hand gesture trajectory tracking approach
Stawska et al. Algorithms and methods used in skin and face detection suitable for mobile applications
Sreenivas et al. Modified deep belief network based human emotion recognition with multiscale features from video sequences
Monisha et al. A real-time embedded system for human action recognition using template matching
Faizi Robust face detection using template matching algorithm
Shukla et al. Face Recognition Using LBPH and CNN
Salins et al. Person identification from arm’s hair patterns using CT-twofold Siamese network in forensic psychiatric hospitals
Rehman et al. Hybrid model with margin-based real-time face detection and tracking
KR102647320B1 (en) Apparatus and method for tracking object
Warjri et al. Study and analysis of different face recognition techniques based on graph
Jin et al. Real-Time Face Attendance Marking System in Non-cooperative Environments
Marciniak et al. Fast face localisation using adaboost algorithm and identification with matrix decomposition methods

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant