KR102500516B1 - A protection method of privacy using contextual blocking - Google Patents
A protection method of privacy using contextual blocking Download PDFInfo
- Publication number
- KR102500516B1 KR102500516B1 KR1020210109962A KR20210109962A KR102500516B1 KR 102500516 B1 KR102500516 B1 KR 102500516B1 KR 1020210109962 A KR1020210109962 A KR 1020210109962A KR 20210109962 A KR20210109962 A KR 20210109962A KR 102500516 B1 KR102500516 B1 KR 102500516B1
- Authority
- KR
- South Korea
- Prior art keywords
- blocking
- image
- personal information
- region
- target
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 230000000903 blocking effect Effects 0.000 title claims abstract description 77
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 4
- 238000007796 conventional method Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 38
- 238000001514 detection method Methods 0.000 description 26
- 238000013135 deep learning Methods 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000002474 experimental method Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000003628 erosive effect Effects 0.000 description 7
- 230000010339 dilation Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
입력되는 여러 가지의 컬러 영상으로부터 배경(background) 부분을 제외하고 개인 정보를 포함하고 있는 대상 영역을 강인하게 검출한 다음, 주변의 상황에 적합한 블로킹(blocking) 방법으로 검출된 대상 영역을 보호하는, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 관한 것으로서, (a) 상기 입력 영상에서 목표 영역을 검출하는 단계; 및, (b) 상기 목표 영역을 블러링하여 블로킹하되, 상기 목표 영역의 상황 복잡도에 따라 블러링 정도를 달리하는 단계를 포함하는 구성을 마련하여, 영상 데이터에서 배경 부분을 제거하고 개인 정보를 포함하고 있는 대상 영역만을 검출하고 주변 상황에 적합한 블록킹을 수행함으로써, 기존의 방법에 비해 보다 정확하게 블로킹할 수 있고, 이를 통해, 개인 정보가 외부에 노출되는 것을 보호할 수 있다.Robustly detects a target area containing personal information excluding the background part from various input color images, and then protects the detected target area with a blocking method suitable for the surrounding situation. A personal information protection method using context-adaptive blocking, comprising: (a) detecting a target region in the input image; and (b) blurring and blocking the target region, but varying the degree of blurring according to the situational complexity of the target region, removing a background part from image data and including personal information. By detecting only the target area being played and performing blocking suitable for the surrounding situation, it is possible to perform blocking more accurately than conventional methods, and through this, it is possible to protect personal information from being exposed to the outside.
Description
본 발명은 입력되는 여러 가지의 컬러 영상으로부터 배경(background) 부분을 제외하고 개인 정보를 포함하고 있는 대상 영역을 강인하게 검출한 다음, 주변의 상황에 적합한 블로킹(blocking) 방법으로 검출된 대상 영역을 보호하는, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 관한 것이다.The present invention robustly detects a target area containing personal information from various input color images excluding the background portion, and then detects the detected target area by a blocking method suitable for the surrounding situation. It relates to a method of protecting personal information using context-adaptive blocking.
특히, 본 발명은 영상 데이터로부터 배경 부분을 제거하고 개인 정보를 포함하고 있는 대상 영역만을 사람의 피부 색상을 기반으로 강인하게 분할하고, 주변의 상황에 적합하게 해당 영역의 블러링(blurring)을 적응적으로 선택하여 검출된 대상 영역을 효과적으로 블로킹함으로써 개인 정보가 외부에 노출되는 것을 보호하는, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 관한 것이다.In particular, the present invention removes a background part from image data, robustly divides only a target region containing personal information based on a person's skin color, and adapts the blurring of the corresponding region to suit the surrounding situation. A personal information protection method using context-adaptive blocking, which protects personal information from being exposed to the outside by effectively blocking a detected target region by selectively selecting it.
초고속의 유무선 네트워크 기능이 제공되어 발달된 인터넷은 많은 사람들에게 필요한 여러 가지의 정보를 언제 어디서나 손쉽게 제공해 주는 중요한 데이터 저장소의 역할을 수행한다[비특허문헌 1]. 따라서 사용자들은 인터넷을 통해 본인이 원하는 그림, 동영상, 텍스트, 음악 파일, 웹 문서 등을 용이하게 획득할 수 있게 되었다. 이처럼 인터넷은 사람들에게 유용한 기능을 제공하므로, 관련된 응용 분야에서 없어서는 안 되는 소중한 기술 중의 하나이다[비특허문헌 2]. 더욱이, 정보통신 기술이 급속히 발전하는 최근의 우리의 생활은 인터넷을 제외하고는 이야기할 수 없을 정도로 중요한 요인이 되었다.The Internet, developed by providing high-speed wired and wireless network functions, serves as an important data repository that easily provides various information needed by many people anytime, anywhere [Non-Patent Document 1]. Accordingly, users can easily obtain desired pictures, videos, texts, music files, and web documents through the Internet. As such, since the Internet provides useful functions to people, it is one of the indispensable and valuable technologies in related application fields [Non-Patent Document 2]. Moreover, our recent life, in which information and communication technology develops rapidly, has become an important factor that cannot be discussed except for the Internet.
그러나 사람의 얼굴, 주민등록번호, 아이디(ID), 패스워드, 통장계좌번호, 핸드폰 연락처 등과 같이 개인의 사적인 정보를 포함하고 있는 영상 콘텐츠도 인터넷을 통해서 손쉽게 획득될 수 있으므로 많은 사회적인 문제를 발생시킬 수 있다. 예를 들어, 본인의 의사와 무관하게 자신의 얼굴 영역이 촬영된 영상들이 유튜브에 업로드되어 배포될 수 있다. 또한, 자동차 유리창에 적힌 핸드폰 연락처가 촬영된 영상들이 자동으로 수집되어 스팸 문자 발송에 활용될 수도 있다.However, since video content including personal information such as a person's face, resident registration number, ID, password, bank account number, cell phone contact number, etc. can be easily obtained through the Internet, it can cause many social problems. For example, regardless of the person's intention, images of the person's face area may be uploaded to YouTube and distributed. In addition, images of mobile phone contact information written on the windshield of a car are automatically collected and used to send spam text messages.
그러므로 입력되는 다양한 종류의 영상 콘텐츠로부터 개인 정보가 포함된 영역을 자동으로 검출한 다음, 검출된 영역을 블러링이나 모자이크(mosaic) 처리와 같은 영상처리 기법을 사용하여 효과적으로 블로킹(blocking)하는 기술이 필요하다[비특허문헌 3]. 다시 말해, 이런 연구를 통해 일반인들에게까지 노출 가능한 특정인의 개인 정보를 효과적으로 보호할 수 있다.Therefore, there is a technology that automatically detects areas containing personal information from various types of input video content and then effectively blocks the detected areas using image processing techniques such as blurring or mosaic processing. It is necessary [Non-Patent Document 3]. In other words, through such research, it is possible to effectively protect the personal information of a specific person that can be exposed to the general public.
입력되는 컬러 영상으로부터 목표로 하는 대상 영역을 검출하거나 블로킹하기 위한 기존의 기술은 관련된 문헌에서 확인할 수 있다. [비특허문헌 4]에서는 사전에 학습을 통해 생성한 타원형의 피부 모델을 사용해 받아들인 영상 데이터로부터 사람의 피부 영역만을 강건하게 추출하였다. 그리고 추출된 피부 영역의 형태 및 내부에 위치한 화소 값들의 분포를 분석하여 해당하는 영역이 노출된 신체의 부위인지를 판정하였다.Conventional techniques for detecting or blocking a target region from an input color image can be found in related literature. In [Non-Patent Document 4], only the human skin region was robustly extracted from the received image data using an elliptical skin model generated through learning in advance. In addition, by analyzing the shape of the extracted skin area and the distribution of pixel values located therein, it was determined whether the corresponding area was an exposed body part.
[비특허문헌 5]에서는 영상에서 블로킹 되어 있는 영역을 검출하기 위해 퍼지 군집화 기법을 사용하였다. 기존의 블록 기반의 모자이크 감지 알고리즘은 한자를 실제 모자이크 블록과 구별할 수 없다. 이를 해결하기 위해 해당 방법에서는 퍼지 c-평균 군집화 알고리즘을 기반으로 모자이크 블록을 검출하는 모자이크 블록 검출 방법을 제안하였다.In [Non-Patent Document 5], a fuzzy clustering technique was used to detect a region that is blocked in an image. Existing block-based mosaic detection algorithms cannot distinguish Chinese characters from actual mosaic blocks. To solve this problem, the method proposed a mosaic block detection method that detects mosaic blocks based on a fuzzy c-means clustering algorithm.
[비특허문헌 6]에서는 전역적이고 지역적인 특징을 사용해 실시간으로 얼굴을 감지하기 위해 제안(proposal) 생성 가속화 프레임워크를 소개하였다. 이 방법에서는 컨볼루션 뉴럴 네트워크 캐스케이드를 베이스 라인으로 사용하고, 추론 시간을 가속화하기 위한 가속 체계를 개발하였다.[Non-Patent Document 6] introduced a proposal generation acceleration framework to detect faces in real time using global and local features. In this method, a convolutional neural network cascade is used as a baseline and an acceleration scheme is developed to accelerate the inference time.
[비특허문헌 7]에서는 조명 및 환경 조건을 고려한 상황에서 색상 정보를 이용하여 입력되는 컬러 영상으로부터 여러 가지의 색상 공간에서 인체의 피부 영역을 감지한다. 그런 다음, 검출된 피부 영역만을 선택적으로 암호화하여 영상에 표출함으로써 노출된 피부 영역이 외부로부터 보호될 수 있다. 앞에서 설명한 기법들 이외에도 목표로 하는 영역을 검출하거나 블로킹하기 위한 새로운 시도들이 계속해서 제안되고 있다[비특허문헌 8,9].In [Non-Patent Document 7], a human skin region is sensed in various color spaces from an input color image using color information in a situation in which lighting and environmental conditions are considered. Then, the exposed skin area can be protected from the outside by selectively encoding only the detected skin area and displaying the image. In addition to the techniques described above, new attempts to detect or block a target region are continuously proposed [Non-Patent Documents 8 and 9].
하지만 앞에서 기술된 기존의 방법들은 하나의 블로킹 방법만을 사용하여 목표 영역을 가린다. 따라서 주변의 상황을 전혀 고려하지 않고 블록 단위의 모자이크를 생성하여 목표 영역을 단순히 가리므로 부자연스러운 결과를 산출한다. 그리고 목표 영역을 블로킹하는 기존의 방법들은 다른 연구 방법들과 비교할 때 상대적으로 개수가 적다.However, the existing methods described above cover the target area using only one blocking method. Therefore, it produces an unnatural result by simply covering the target area by creating a block-by-block mosaic without considering the surrounding situation. In addition, the number of existing methods for blocking the target region is relatively small compared to other research methods.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 영상 데이터로부터 배경 부분을 제거하고 개인 정보를 포함하고 있는 대상 영역만을 사람의 피부 색상을 기반으로 강인하게 분할하고, 주변의 상황에 적합하게 해당 영역의 블러링(blurring)을 적응적으로 수행하여 검출된 대상 영역을 블로킹 하는, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법을 제공하는 것이다.An object of the present invention is to solve the above problems, remove a background part from image data, and robustly segment only a target area containing personal information based on a person's skin color, suitable for the surrounding situation. An object of the present invention is to provide a personal information protection method using context-adaptive blocking in which a detected target area is blocked by adaptively performing blurring of a corresponding area.
즉, 발명의 목적은 입력되는 여러 가지의 컬러 영상으로부터 전경이 아닌 배경 부분을 제외하고 개인정보를 포함하고 있는 대상 영역을 강인하게 검출한 다음, 주변의 상황에 적합한 블로킹 방법으로 검출된 목표 영역을 적응적으로 보호하는, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법을 제공하는 것이다.That is, an object of the present invention is to robustly detect a target region containing personal information excluding a background portion other than a foreground from various input color images, and then detect a target region detected by a blocking method suitable for the surrounding situation. It is to provide a personal information protection method using context-adaptive blocking that is adaptively protected.
상기 목적을 달성하기 위해 본 발명은 입력영상을 대상으로 목표 영역을 블로킹하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 관한 것으로서, (a) 상기 입력 영상에서 목표 영역을 검출하는 단계; 및, (b) 상기 목표 영역을 블러링하여 블로킹하되, 상기 목표 영역의 상황 복잡도에 따라 블러링 정도를 달리하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention relates to a method for protecting personal information using context-adaptive blocking for blocking a target region of an input image, comprising: (a) detecting a target region in the input image; and (b) blocking the target region by blurring it, and varying the degree of blurring according to the situational complexity of the target region.
또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (a)단계는, (a1) 상기 입력 영상에서 피부 영역을 분할하는 단계; (a2) 오검출된 피부 영역에 대하여 후처리를 수행하는 단계; (a3) 상기 피부 영역에서 목표 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.In addition, in the personal information protection method using context-adaptive blocking, the step (a) includes: (a1) segmenting a skin region from the input image; (a2) performing post-processing on the erroneously detected skin area; (a3) detecting a target area in the skin area.
또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (a1)단계에서, 상기 입력 영상의 RGB 컬러 공간에서 YCbCr 컬러 공간으로 변환하고, 변환된 YCbCr 컬러 공간을 대상으로, 타원 기반의 사람의 피부 색상 모델을 사용하여, 상기 입력 영상으로부터 배경 부분을 제외하고 인간의 피부 분포 영역을 검출하는 것을 특징으로 한다.In addition, in the personal information protection method using adaptive blocking, the present invention converts the RGB color space of the input image to the YCbCr color space in the step (a1), and uses the converted YCbCr color space as an ellipse and detecting a human skin distribution area excluding a background portion from the input image using the based human skin color model.
또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (a3)단계에서, 상기 피부 영역을 대상으로 서브 윈도우를 설정하고, 상기 서브 윈도우를 CNN 신경망에 입력하여 해당 서브 윈도우에 대해 얼굴 영역 여부를 탐지하되, 상기 입력 영상에서 설정되는 모든 서브 윈도우 각각에 대하여, 각 서브 윈도우를 신경망에 입력하여 해당 서브 윈도우가 얼굴 영역인지를 판단하는 것을 특징으로 한다.In addition, in the personal information protection method using context-adaptive blocking, the present invention sets a sub-window for the skin region in the step (a3), inputs the sub-window to a CNN neural network, and Detects whether or not the face area exists for the input image, and determines whether the corresponding sub-window is the face area by inputting each sub-window to a neural network for each of all sub-windows set in the input image.
또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (b)단계에서, 가우시안 함수를 이용하여, 상기 목표 영상에 대하여 블러링을 수행하되, 가우시안 함수의 표준편차를 상기 목표 영역의 상황 복잡도에 따라 설정하는 것을 특징으로 한다.In addition, in the personal information protection method using adaptive blocking, the present invention performs blurring on the target image using a Gaussian function in step (b), and the standard deviation of the Gaussian function is It is characterized in that it is set according to the situation complexity of the area.
또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 상황 복잡도는 상기 입력 영상의 밝기 특징과, 상기 목표 영상의 거리 특징의 가중화된 합을 이용하여 설정되는 것을 특징으로 한다.In addition, in the personal information protection method using context-adaptive blocking, the present invention is characterized in that the context complexity is set using a weighted sum of a brightness feature of the input image and a distance feature of the target image. .
또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 상황 복잡도 Φ(α,β:t)는 다음 [수식 1]에 의해 설정하는 것을 특징으로 한다.In addition, in the personal information protection method using context-adaptive blocking, the present invention is characterized in that the context complexity Φ(α,β:t) is set by the following [Equation 1].
[수식 1][Equation 1]
단, α와 β는 사전에 정해지는 가중치이고, M과 N은 입력 영상의 가로와 세로의 길이이고, Y는 YCbCr 색상 공간의 Y 요소를 의미하고, MERwidth와 MERheight는 목표 영역의 가로와 세로의 길이이고, t는 시점을 나타냄.However, α and β are pre-determined weights, M and N are the width and height of the input image, Y is the Y element of the YCbCr color space, and MER width and MER height are the width and height of the target area. is the length of the vertical, and t represents the starting point.
또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (b)단계에서, 상기 상황 복잡도의 크기에 반비례하여 상기 가우시안 함수의 표준편차를 설정하는 것을 특징으로 한다.In addition, in the personal information protection method using context-adaptive blocking, the present invention is characterized in that, in the step (b), the standard deviation of the Gaussian function is set in inverse proportion to the magnitude of the context complexity.
또, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 있어서, 상기 (b)단계에서, 상기 상황 복잡도가 사전에 정해진 제2 임계치 이상일 경우에는 사전에 정해진 제1 표준편차로 설정하고, 상기 상황 복잡도가 사전에 정해진 제1 임계치 이상이고 상기 제2 임계치 미만일 경우 사전에 정해진 제2 표준편차로 설정하고, 상기 복잡도가 상기 제1 임계치 미만일 경우 사전에 정해진 제3 표준편차로 설정하고, 상기 제2 임계치는 상기 제1 임계치 보다 크고, 상기 제3 표준편차는 상기 제2 표준편차 보다 크고, 상기 제2 표준편차는 상기 제1 표준편차 보다 크도록, 설정되는 것을 특징으로 한다.In addition, in the personal information protection method using situation adaptive blocking, the present invention sets a first standard deviation when the situation complexity is greater than or equal to a predetermined second threshold in the step (b), and When the situation complexity is greater than or equal to a first predefined threshold and less than the second threshold, a predefined second standard deviation is set, and when the complexity is less than the first threshold, a predefined third standard deviation is set. The second threshold is set to be greater than the first threshold, the third standard deviation to be greater than the second standard deviation, and the second standard deviation to be greater than the first standard deviation.
또한, 본 발명은 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.In addition, the present invention relates to a computer-readable recording medium on which a program for performing a personal information protection method using context-adaptive blocking is recorded.
상술한 바와 같이, 본 발명에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 의하면, 영상 데이터에서 배경 부분을 제거하고 개인 정보를 포함하고 있는 대상 영역만을 검출하고 주변 상황에 적합한 블록킹을 수행함으로써, 기존의 방법에 비해 보다 정확하게 블로킹할 수 있고, 이를 통해, 개인 정보가 외부에 노출되는 것을 보호할 수 있는 효과가 얻어진다.As described above, according to the personal information protection method using context-adaptive blocking according to the present invention, by removing a background part from image data, detecting only a target region containing personal information, and performing blocking suitable for the surrounding situation, Compared to the existing method, blocking can be performed more accurately, and through this, an effect of protecting personal information from being exposed to the outside is obtained.
특히, 인터넷을 통해 자료를 업로드하고 다운로드하는 것이 보편화되면서 개인 정보를 포함한 자료도 사용자들에게 쉽게 노출되고 있는 실정이다. 본 발명에 따른 방법은 영상 보안, 비디오 감시, 대상 물체 커버링 등과 같은 영상처리와 연관된 많은 유사한 분야에서 실제적으로 활용될 수 있다.In particular, as uploading and downloading data through the Internet has become commonplace, data including personal information is also easily exposed to users. The method according to the present invention can be practically utilized in many similar fields related to image processing, such as video security, video surveillance, object covering, and the like.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법을 설명하는 흐름도.
도 3은 본 발명의 일실시예에 따른 피부 영역의 서브 윈도우에 대한 예시도.
도 4는 본 발명의 일실시예에 따른 NMS(non maximum suppression)를 적용하여 객체를 검출하는 방식을 예시한 도면.
도 5는 본 발명의 일실시예에 따른 서로 다른 시그마(σ)를 가지는 가우시안 함수들의 비교 그래프.
도 6는 본 발명의 일실시예에 따른 2차원 가우시안 함수에 대한 3차원 그래프.
도 7은 본 발명의 일실시예에 따른 주변의 상황에 따른 블러링의 강도 선택을 예시한 표.
도 8은 본 발명의 제1 실시예의 실험에 따른 목표 영역 검출(object detection)에 대한 예시도로서, (a) 입력 영상(Input image), (b) 피부 영역 영상(Skin pixel image), (c) 모폴로지 연산 적용 영상(Morphological operation), (d) 검출된 얼굴 영역(Detected face region)에 대한 예시도.
도 9는 본 발명의 제1 실시예의 실험에 따른 표준편차에 따른 영상 블러링(Image blurring)에 대한 예시도로서, (a) 입력 영상(Input image) (b) σ=1.0인 블러링(Blurring) 영상 (c) σ=3.0인 블러링(Blurring) 영상 (d) σ=5.0인 블러링(Blurring) 영상에 대한 예시도.
도 10은 본 발명의 제1 실시예의 실험에 따른 조명과 거리 특징에 따른 블러링의 강도 설정을 나타낸 표.
도 11은 본 발명의 제1 실시예의 실험에 따른 보호 방법의 정확도 척도를 나타낸 그래프로서, 정확도 비율(precision rate)에 대한 그래프.
도 12는 본 발명의 제1 실시예의 실험에 따른 보호 방법의 정확도 척도를 나타낸 그래프로서, 리콜 비율(recall rate)에 대한 그래프.
도 13은 본 발명의 제2 실시예의 실험에 따른 목표 영역 검출(object detection)에 대한 예시도로서, (a) 피부 영역 영상(Skin pixel image), (b) 검출된 얼굴 영역(Detected face region)에 대한 예시도.
도 14은 본 발명의 제2 실시예의 실험에 따른 영상 블러링(Image blurring)에 대한 예시도로서, (a) 입력 영상(Input image) (b) σ=0.5인 블러링(Blurring) 영상 (c) σ=1.0인 블러링(Blurring) 영상 (d) σ=2.0인 블러링(Blurring) 영상에 대한 예시도.
도 15은 본 발명의 제2 실시예의 실험에 따른 보호 방법의 성능 평가(Performance evaluation)를 나타낸 그래프.1 is a diagram showing the configuration of an entire system for implementing the present invention.
2 is a flowchart illustrating a personal information protection method using context-adaptive blocking according to an embodiment of the present invention.
3 is an exemplary view of a sub-window of a skin area according to an embodiment of the present invention;
4 is a diagram illustrating a method of detecting an object by applying non-maximum suppression (NMS) according to an embodiment of the present invention;
5 is a comparison graph of Gaussian functions having different sigmas (σ) according to an embodiment of the present invention.
6 is a three-dimensional graph of a two-dimensional Gaussian function according to an embodiment of the present invention.
7 is a table illustrating intensity selection of blurring according to surrounding conditions according to an embodiment of the present invention.
8 is an exemplary view of object detection according to the experiment of the first embodiment of the present invention, including (a) an input image, (b) a skin pixel image, (c) ) Example of Morphological operation, (d) Detected face region.
9 is an exemplary view of image blurring according to standard deviation according to an experiment of the first embodiment of the present invention, (a) an input image (b) blurring with σ = 1.0 ) Image (c) Blurred image with σ = 3.0 (d) Example diagram for a blurred image with σ = 5.0.
10 is a table showing intensity settings of blurring according to lighting and distance characteristics according to an experiment of the first embodiment of the present invention.
11 is a graph showing the accuracy scale of the protection method according to the experiment of the first embodiment of the present invention, and a graph for the precision rate.
Figure 12 is a graph showing the accuracy scale of the protection method according to the experiment of the first embodiment of the present invention, a graph for the recall rate (recall rate).
13 is an exemplary diagram for object detection according to an experiment of a second embodiment of the present invention, including (a) skin pixel image, (b) detected face region example for.
14 is an exemplary view of image blurring according to an experiment of a second embodiment of the present invention, (a) an input image (b) a blurring image with σ=0.5 (c) ) Blurred image with σ = 1.0 (d) Example of a blurred image with σ = 2.0.
15 is a graph showing the performance evaluation of the protection method according to the experiment of the second embodiment of the present invention.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.Hereinafter, specific details for the implementation of the present invention will be described according to the drawings.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.In addition, in explaining the present invention, the same reference numerals are assigned to the same parts, and the repeated explanation thereof is omitted.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.First, examples of the configuration of the entire system for carrying out the present invention will be described with reference to FIG. 1 .
도 1에서 보는 바와 같이, 본 발명에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법은 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)에 대하여 개인정보 영역 검출 및 블록킹을 수행하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 물체 영역 보호 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.As shown in FIG. 1, the personal information protection method using context-adaptive blocking according to the present invention receives a video (or image) 10 and detects and blocks a personal information area for the video (or image). It may be implemented as a program system on the
한편, 다른 실시예로서, 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 입력 영상에서 개인정보 영역 검출 및 블록킹만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 보호 시스템(30)이라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.On the other hand, as another embodiment, a method of protecting personal information using adaptive blocking may be implemented by being composed of a single electronic circuit such as an application specific integrated circuit (ASIC) in addition to being composed of a program and operating in a general-purpose computer. Alternatively, it may be developed as a
한편, 영상(10)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다.On the other hand, the
다음으로, 본 발명의 일실시예에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법을 도 2를 참조하여 설명한다. 도 2는 본 발명에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법에 대한 전체적인 흐름도를 보여준다.Next, a personal information protection method using context-adaptive blocking according to an embodiment of the present invention will be described with reference to FIG. 2 . 2 shows an overall flow chart of a personal information protection method using context-adaptive blocking according to the present invention.
도 2에서 보는 바와 같이, 본 발명에 따른 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법은 입력 영상에서 목표 영역을 추출하는 단계(S10)와, 목표 영역에 블로킹을 하는 단계(S20)로 크게 구분된다.As shown in FIG. 2, the personal information protection method using context-adaptive blocking according to the present invention is largely divided into a step of extracting a target region from an input image (S10) and a step of blocking the target region (S20). .
세부적으로, 목표 영역 추출 단계(S10)는 입력 영상에서 피부 영역을 분할하는 단계(S11), 후처리를 수행하는 단계(S12), 피부 영역에서 목표 영역을 검출하는 단계(S13)로 구분된다. 또한, 블로킹 단계(S20)는 목표 영역의 상황 복잡도를 산출하는 단계(S21), 표준편차를 선택하는 단계(S22), 및, 목표 영상을 블로킹 하는 단계(S23)로 구성된다.In detail, the target region extraction step (S10) is divided into a step of segmenting a skin region from an input image (S11), a step of performing post-processing (S12), and a step of detecting a target region from the skin region (S13). In addition, the blocking step (S20) is composed of a step of calculating the situational complexity of the target region (S21), a step of selecting a standard deviation (S22), and a step of blocking the target image (S23).
즉, 본 발명에 따른 방법에서는 먼저 입력되는 컬러 영상으로부터 배경 영역을 제외하고 개인 정보를 포함하고 있는 목표 영역만을 사람의 피부 색상과 딥러닝 방식을 기반으로 강인하게 분할한다(S10). 그런 다음, 주변의 상황에 적합하게 영상 블러링(blurring) 기법을 적응적으로 선택하여 검출된 목표 영역을 효과적으로 블로킹 한다(S20). 이를 통해 개인 정보가 외부에 노출되는 것을 보호할 수 있다. That is, in the method according to the present invention, only the target region including personal information is strongly segmented based on the human skin color and the deep learning method except for the background region from the first input color image (S10). Then, the detected target region is effectively blocked by adaptively selecting an image blurring technique suitable for the surrounding situation (S20). Through this, it is possible to protect personal information from being exposed to the outside.
먼저, 개인정보 영역(또는 목표 영역)을 추출하는 단계(S10)를 설명한다.First, the step of extracting the personal information area (or target area) (S10) will be described.
본 발명에서는 컬러 영상으로부터 배경에 해당하는 영역을 제외하고 사람의 피부 색상 영역만을 검출한다. 그런 다음, 검출된 피부 색상 영역으로부터 개인 정보를 가장 대표하는 사람의 얼굴 영역을 강인하게 추출한다. 따라서 입력 영상으로부터 얼굴 영역을 직접 검출하는 것보다, 피부 영역을 먼저 검출한 다음 검출된 피부 영역으로부터 얼굴 영역을 검출하는 것이 보다 안정적이며 효율적이다.In the present invention, only the human skin color region is detected from the color image, excluding the region corresponding to the background. Then, a face region of a person most representative of personal information is strongly extracted from the detected skin color region. Therefore, it is more stable and efficient to first detect the skin region and then detect the face region from the detected skin region, rather than directly detecting the face region from the input image.
먼저, 사람의 피부 색상 분포 영역은 얼굴과 같이 개인 정보를 포함하는 신체의 구성요소를 검출하는데 매우 유용한 정보를 제공하므로, 대상 객체의 블로킹에 관한 기술에서는 반드시 포함되어야 하는 요소기술 중의 하나이다. 즉, 영상 데이터에 들어있는 얼굴 영역은 영상에 중요한 의미를 제공할 수 있는 개인 정보에 해당하므로, 입력된 영상으로부터 개인 정보를 대표하는 인간의 얼굴 부분을 강인하게 검출한다. 그런 다음, 검출된 얼굴 영역을 정확하게 블로킹하는 기술이 필요하다. 보통 사람의 피부 영역을 검출하는 처리는 영상의 내부에 존재하는 객체에 대한 분할과 인식에 관한 딥러닝(deep learning) 기술이 발전되고 있음에도 불구하고 해결하기 매우 힘든 분야이다.First, since the human skin color distribution area provides very useful information for detecting body components including personal information such as a face, it is one of the element technologies that must be included in the blocking technology of a target object. That is, since the face region included in the image data corresponds to personal information that can provide important meaning to the image, a human face representing personal information is robustly detected from the input image. Then, a technique for accurately blocking the detected face region is required. The process of detecting an ordinary human skin region is a field that is very difficult to solve despite the development of deep learning technology for segmentation and recognition of objects existing inside an image.
구체적으로, 입력 영상에서 피부 영역을 분할하는 단계(S11)를 설명한다.Specifically, the step of segmenting the skin region from the input image (S11) will be described.
RGB 색상 공간으로 형성된 입력 영상을 피부 색상 추출에 적합하다고 알려진 YCbCr 색상 공간으로 변경한다[비특허문헌 10]. YCbCr 색상 공간은 최신 디스플레이 장치의 영상 시스템에서 사용되는 색상 공간으로, RGB 정보를 인코딩하는 방식 중의 하나이다. RGB 컬러 공간을 YCbCr 컬러 공간으로 변환하기 위해서는 스케일링과 오프셋 조정(감마 조정) 단계를 거치는데, 수학식 1을 사용해 변환 가능하다.An input image formed in RGB color space is changed to YCbCr color space known to be suitable for skin color extraction [Non-Patent Document 10]. The YCbCr color space is a color space used in an image system of a modern display device and is one of the methods for encoding RGB information. In order to convert the RGB color space to the YCbCr color space, scaling and offset adjustment (gamma adjustment) steps are performed, and the conversion can be performed using
[수학식 1][Equation 1]
수학식 1에서 Y의 값은 광원의 단위 면적에서 단위 입체각으로 발산하는 빛의 양, 다시 말해 광원의 단위 면적당 광도인 휘도이며, Cb와 Cr은 채널 색도 위도에 대응하여 색상과 포화도로 구분되는 크로마(chrominance)로, Cb는 파란색에서 밝기를 뺀 성분이고, Cr은 빨간색에서 밝기를 뺀 성분 값이다.In
여기서 KB, KR, KG의 합은 1이 되며 ITU-R BT.709 표준을 8비트 기준으로 변경하면 KB는 0.144, KR은 0.299, KG는 0.587로 정의될 수 있다. KB, KR, KG은 각각 색상 B(blue)대한 가중치, 색상 R(red)대한 가중치, 색상 G(green)대한 가중치이다.Here, the sum of K B , KR , and KG is 1, and when the ITU-R BT.709 standard is changed to an 8-bit standard, KB can be defined as 0.144, KR as 0.299, and KG as 0.587. K B , K R , and K G are weights for color B (blue), weights for color R (red), and weights for color G (green), respectively.
또한, R, G, B는 각각 RGB 컬러 공간이다. 수학식 1에서 프라임(') 기호는 비선형 전달 함수를 이용하여 빛의 신호를 비선형적으로 변형해 주는 감마 보정이 되었다는 것을 의미한다. 수학식 1을 사용하여 RGB 컬러 공간을 YCbCr 컬러 공간으로 변환하면 Y의 값은 16~255, 그리고 Cb와 Cr 값은 16~240 사이의 값을 갖는다.Also, R, G, and B are RGB color spaces, respectively. In
입력 영상의 색상 공간을 YCbCr으로 변경한 다음에는 사전에 학습을 통해 정의된 타원형의 모델(elliptical model)을 사용해 만든 인간의 피부 색상 분포 모델을 이용한다. 즉, 타원 기반의 사람의 피부 색상 모델을 사용해, 입력 영상으로부터 배경 영역을 제외하고 인간의 피부 분포 영역만을 정확하게 검출한다. 즉, 피부 색상 분포 화소들만을 강인하게 추출한다.After changing the color space of the input image to YCbCr, a human skin color distribution model created using an elliptical model defined through pre-learning is used. That is, by using the ellipse-based human skin color model, only the distribution region of the human skin is accurately detected from the input image excluding the background region. That is, only skin color distribution pixels are robustly extracted.
다음으로, 오 검출된 영역에 대한 후처리를 수행한다(S12). 보통 오 검출된 영역은 비슷한 색상을 가지거나 완벽하게 제거되지 않은 다수의 잡음으로 인해 발생할 수 있는데, 본 발명에서는 열림(opening) 모폴로지(morphological) 연산자[비특허문헌 11]를 적용하여 제거하거나 축소시킨다.Next, post-processing is performed on the erroneously detected region (S12). Usually, falsely detected areas may be caused by a number of noises that have similar colors or are not completely removed. In the present invention, an opening morphological operator [Non-Patent Document 11] is applied to remove or reduce it. .
침식(erosion) 연산자는 일정 영역 안에 있는 화소의 값들을 비교하여, 이중 제일 작은 값으로 나머지 영역을 채우는 연산자를 의미하는데, 해당 연산자는 식 2와 같이 동작한다. 그리고 확장(dilation) 연산자는 침식(erosion) 연산자와 완전히 반대로 동작한다. 즉, 일정 영역 안에 있는 화소의 값들을 비교하여 그중 제일 큰 값으로 나머지 영역을 채운다. 확장(dilation) 연산자는 식 3과 같이 동작한다. An erosion operator refers to an operator that compares pixel values within a certain area and fills the remaining area with the smallest value among them, and the corresponding operator operates as shown in
수학식 2와 3은 열림 연산에 필요한 침식(erosion) 연산과 확장(dilation) 연산을 나타낸다.
[수학식 2][Equation 2]
[수학식 3][Equation 3]
수학식 2와 3에서, src(x,y)와 dst(x,y)는 각각 소스(source) 영상 및, 결과 영상(목적 영상)을 나타낸다. 특히, src(x+x',y+y')은 침식(erosion) 연산과 확장(dilation) 연산을 적용할 영상의 해당 영역을 나타낸다.In
x, y는 소스 영상의 (x, y) 좌표를 나타내는 인덱스이고, (x',y')은 모폴로지 연산을 수행하기 위해 사용되는 구조화 요소 element(x',y')의 구성요소이다. ≠0은 구조화 요소의 구성요소의 값이 0이 아니라 1이라는 의미한다.x, y are indices representing the (x, y) coordinates of the source image, and (x', y') is a component of the structuring element element (x', y') used to perform the morphological operation. ≠0 means that the value of the component of the structuring element is 1, not 0.
그리고 min 연산은 소스 영상의 (x, y) 위치의 값과 구조화요소의 (x', y') 위치의 값이 모두 1일 때 목표 영상의 값이 1이 된다는 의미이다. 여기에서 구조화 요소는 일반적인 영상처리에서 마스크 또는 윈도우와 유사하게 이동하면서 동작한다.And the min operation means that the value of the target image becomes 1 when both the value of the (x, y) position of the source image and the value of the (x', y') position of the structuring element are 1. Here, the structuring element operates while moving similarly to a mask or window in general image processing.
또한, max 연산은 소스 영상의 (x, y) 위치의 값과 구조화 요소의 (x', y') 위치의 값에 하나라도 1이 있다면 목표 영상의 값이 1이 된다는 것을 의미한다.In addition, the max operation means that the value of the target image becomes 1 if at least one of the (x, y) position value of the source image and the (x', y') position value of the structuring element is 1.
열림 연산자는 이 두 연산자를 결합한 연산자로 침식(erosion) 연산자를 적용한 다음 확장(dilation) 연산자를 적용한다. 다시 말해, 피부 영역이 검출된 이진 영상에서 잡음과 오 검출된 영역은 비교적 작은 공간을 차지한다. 이때 침식(erosion) 연산자를 통해 해당 영역을 0으로 채워준다. 보통 침식(erosion) 연산자를 적용한 후에는 원래 피부 영역도 축소가 되는데 이 부분을 확장(dilation) 연산자를 통해 복구한다. 마지막으로, 열림 모폴로지 연산자가 적용된 결과 영상을 레이블링(labeling)[비특허문헌 12]하여 최종적인 사람의 피부 색상 영역을 추출한다.The open operator is an operator that combines these two operators. The erosion operator is applied followed by the dilation operator. In other words, in the binary image in which the skin region is detected, noise and erroneously detected regions occupy a relatively small space. At this time, the corresponding area is filled with 0 through the erosion operator. Usually, after applying the erosion operator, the original skin area is also reduced, and this part is restored through the dilation operator. Finally, the resulting image to which the open morphology operator is applied is labeled (Non-Patent Document 12) to extract the final human skin color region.
다음으로, 피부 영역에서 목표 영역을 검출하는 단계(S13)를 설명한다.Next, the step of detecting the target area in the skin area (S13) will be described.
입력된 컬러 영상으로부터 피부 색상 분포 영역을 검출한 다음에는, 검출된 피부 영역으로부터 인공적인 심층 신경망(deep neural network)[비특허문헌 13]을 사용해 사람의 얼굴 영역만을 강인하게 추출한다. 본 발명에서는 CNN(convolutional neural network) [비특허문헌 14] 기반의 딥러닝 알고리즘을 사용한다.After detecting the skin color distribution area from the input color image, only the human face area is robustly extracted from the detected skin area using an artificial deep neural network [Non-Patent Document 13]. In the present invention, a deep learning algorithm based on a convolutional neural network (CNN) [Non-Patent Document 14] is used.
이때, 도 3에서 보는 바와 같이, 피부 영역을 대상으로 서브 윈도우를 설정하고, 서브 윈도우를 CNN 신경망에 입력하여 해당 서브 윈도우에 대해 얼굴 영역 여부를 탐지한다. 입력 영상에서 설정되는 모든 서브 윈도우 각각에 대하여, 각 서브 윈도우를 신경망에 입력하여, 해당 서브 윈도우가 얼굴 영역인지를 판단한다.At this time, as shown in FIG. 3, a sub-window is set for the skin area, and the sub-window is input to the CNN neural network to detect whether or not the sub-window is a face area. For each of all sub-windows set in the input image, each sub-window is input to the neural network to determine whether the corresponding sub-window is a face area.
본 발명에서 사용하는 CNN 모델은 특징 맵을 생성하는 전처리 단계가 성능에 중요한 영향을 주기 때문에, 전처리 단계에서 가장 좋은 특징 맵을 추출하는 콘볼루션(convolution) 필터를 학습하는 모델을 만드는 것이 핵심이다. 그리고 실시간으로 입력되는 영상에서 빠른 속도로 목표 객체를 검출할 수 있도록 학습 단계에서 영상을 피라미드 구조로 입력하여 학습을 진행한다.In the CNN model used in the present invention, since the preprocessing step of generating a feature map has a significant effect on performance, the key is to create a model that learns a convolution filter that extracts the best feature map in the preprocessing step. Then, in the learning step, the image is input in a pyramid structure so that the target object can be detected at high speed from the input image in real time, and learning is performed.
본 발명에서 사용하는 CNN 기반의 알고리즘에서 영상 피라미드는 6단계로 형성되고, 마지막으로 검출할 때에는 피라미드 단계별로 각각의 검출 결과를 합산하여 최종적인 결과물을 산출한다. 다시 말해, 영상 피라미드에서 수준 0은 원래의 입력 영상(또는 컬러 영상)을 의미하고, 수준이 높아질수록 1/2n 배로 영상의 해상도가 줄어든다. 그리고 활성화(activation) 함수는 시그모이드(sigmoid) 함수 대신 ReLU(Rectified Linear Unit) 함수[비특허문헌 15]를 이용한다.In the CNN-based algorithm used in the present invention, an image pyramid is formed in 6 steps, and when it is finally detected, the final result is calculated by summing up the detection results for each pyramid step. In other words,
본 발명에서 이용하는 딥러닝 모델에서 어파린(affine) 레이어는 이전 레이어의 각 뉴런들이 현재 레이어의 각 뉴런들에 연결되어 있다는 것을 의미한다. 어파인 레이어는 CNN의 가장 상위 출력단에서 최종적인 예측을 수행하기 이전에 추가되어진다[비특허문헌 16]. 보통, 어파인 레이어는 y=f(Wx+b)의 형태로 표현되는데, f는 비선형 활성화 함수, W는 가중치, x는 입력 레이어, b는 바이어스를 의미한다.In the deep learning model used in the present invention, an affine layer means that each neuron of the previous layer is connected to each neuron of the current layer. The affine layer is added before final prediction is performed at the top output stage of the CNN [Non-Patent Document 16]. Usually, an affine layer is expressed in the form of y=f(Wx+b), where f is a nonlinear activation function, W is a weight, x is an input layer, and b is a bias.
즉, 본 발명의 CNN 모델에서 MMOD(max-margin object detection)는 서브 샘플링을 수행하지 않고, 모든 서브 윈도우를 최적화한다. 즉, 모든 서브 윈도우에 대해 윈도우 스코어링(scoring) 함수인 F(x, y)를 적용하여 객체를 검출한다[비특허문헌 17].That is, in the CNN model of the present invention, max-margin object detection (MMOD) optimizes all subwindows without performing subsampling. That is, an object is detected by applying a window scoring function, F(x, y), to all subwindows [Non-Patent Document 17].
[수학식 4][Equation 4]
여기서, y*은 딥러닝을 사용해 추출한 최종적인 대상 객체를 나타내는 라벨(labels)을 의미한다. 즉, 가장 큰 점수(score)를 가진 이동하는 윈도우 위치(sliding window positions)의 집합을 나타낸다. Y는 전체적인 라벨(label) 집합을 나타내며, y는 이 중에서 하나의 라벨(label)을 나타내는 인덱스이다. φ는 영상 x의 이동하는 윈도우 위치 r로부터 추출된 특징 벡터이다. w는 가중치(weight) 벡터로서 학습을 통해서 오 검출을 감소시키는 역할을 수행한다.Here, y * means labels indicating the final target object extracted using deep learning. That is, it represents the set of sliding window positions with the highest score. Y represents the entire set of labels, and y is an index representing one label among them. φ is a feature vector extracted from the moving window position r of the image x. w is a weight vector and serves to reduce false detection through learning.
수학식 4를 적용하면 검출 점수(detection score)에 해당하는 결과를 획득한다. 마지막으로 피라미드 영상에서 가장 높은 점수를 산출한 영역을 합산하여 최종적인 객체 검출의 위치를 획득한다.When
검출 점수(detection score)는 CNN의 최종 손실 레이어(LOSS layer)에서 부여되고, 위의 식은 각 윈도우별로 나오는 점수(score)가 있을텐데, NMS(non maximum suppression)를 적용하여 최종적인 객체(object)를 검출하는 방식이다. 예를 들어, 도 4에서 가운데 윈도우(7)를 남기고 양옆의 윈도우(6)를 제거하여 최종 객체(object)를 검출한다.The detection score is given in the final loss layer (LOSS layer) of the CNN, and the above equation will have a score for each window. NMS (non maximum suppression) is applied to obtain the final object. method of detection. For example, in FIG. 4 , a final object is detected by removing the
다음으로, 상황 적응적 객체 블로킹 단계(S20)를 설명한다.Next, the context adaptive object blocking step (S20) will be described.
본 발명에서는 이전 단계에서 타원형의 피부 색상 분포 모델과 인공적인 심층(deep) 신경망 학습을 통해서 강인하게 검출한 개인 정보를 포함한 목표 영역을 효과적으로 가리기 위해서 영상 블러링 기법을 주어진 상황에 따라 선택적으로 적용하여 해당 영역을 블로킹한다. 따라서 다양한 종류의 컬러 영상 콘텐츠 내에 포함된, 사람의 얼굴과 같이 본인이 원하지 않는 특정인의 개인 정보가 인터넷을 통해 자유롭게 노출되고 배포되는 것을 효과적으로 방지할 수 있다.In the present invention, in order to effectively cover the target area including personal information robustly detected through an elliptical skin color distribution model and artificial deep neural network learning in the previous step, an image blurring technique is selectively applied according to a given situation. Block that area. Accordingly, it is possible to effectively prevent personal information of a specific person, such as a person's face, from being freely exposed and distributed through the Internet, which is included in various types of color image content.
먼저, 본 발명에서는 가우시안 함수를 이용하여 개인 정보에 해당하는 영역을 블러링한다. 보통 블러링이나 저주파 공간 필터링은 한 영상의 세세한 부분을 제거한다. 이 방식은 여러 가지의 응용 분야에서 매우 많이 사용되고 있으며, 때로는 카메라의 초점을 흐리게 하거나 배경을 약화시키고자 할 때 사용된다.First, in the present invention, a region corresponding to personal information is blurred using a Gaussian function. Usually, blurring or low-frequency spatial filtering removes details from an image. This method is very popular in many applications, and is sometimes used to defocus the camera or weaken the background.
영상 블러링은 회선(convolution)을 통해 수행된다. 일반적인 블러링 마스크에서의 모든 회선 계수들은 같은 값을을 가진다. 예를 들어, 3×3 마스크에서의 모든 원소들은 1/9의 값을 가지며, 5×5 마스크에서는 1/25로 동일한 값을 가진다. 블러링은 이웃 화소들과 평균한 결과라는 것을 회선 마스크가 가진 가중치로부터 쉽게 알 수 있다. 블러링에 사용되는 마스크가 크면 클수록 블러링의 효과는 커지며 계산 시간도 증가한다. 영상에서 블러링을 사용하는데 있어서의 단점은 물체의 경계 부분이 모호해진다는 것이다.Image blurring is performed through convolution. All convolutional coefficients in a general blurring mask have the same value. For example, all elements in a 3x3 mask have a value of 1/9, and in a 5x5 mask, all elements have the same value of 1/25. It is easy to see from the weights of the convolution mask that the blurring is the result of averaging with neighboring pixels. The larger the mask used for blurring, the larger the blurring effect and the longer the calculation time. A disadvantage of using blurring in an image is that the boundary of an object becomes ambiguous.
본 발명에서 사용하는 가우시안 함수를 이용한 블러링[비특허문헌 18]은 대표적인 영상 블로킹 방법 중의 하나이다. 일반적으로 가우시안(Gaussian) 함수는 현재의 화소 값과 주변에 이웃하고 있는 화소 값들의 가중적인 평균을 이용하여 현재 화소의 값을 대체한다. 따라서 개인 정보가 노출된 목표 영역에 가우시안 함수를 이용한 영상 블러링을 적용하면 목표 영역 주변에 위치한 영역과 이질감이 비교적 적은 블로킹 결과를 얻을 수 있다.Blurring using a Gaussian function used in the present invention [Non-Patent Document 18] is one of the representative image blocking methods. In general, a Gaussian function replaces a current pixel value by using a weighted average of the current pixel value and neighboring pixel values. Accordingly, when image blurring using a Gaussian function is applied to a target area where personal information is exposed, a blocking result having relatively little difference with the area located around the target area can be obtained.
보통 가우시안 분포(또는 가우시안 함수)는 평균을 중심으로 좌우 대칭인 종 모양의 형태로 분포가 줄어드는 형태를 취한다. 평균이 0이고, 표준편차가 σ인 1차원의 가우시안 분포를 함수식으로 나타내면 수학식 5와 같다.Usually, the Gaussian distribution (or Gaussian function) takes the form of a bell-shaped distribution that is symmetrical about the mean and decreases. A one-dimensional Gaussian distribution with a mean of 0 and a standard deviation of σ is expressed as a function formula as shown in Equation 5.
[수학식 5][Equation 5]
그리고 표준편차인 σ가 각각 0.5와 2.0인 경우의 가우시안 그래프는 도 5와 같은 형태를 취한다. 평균이 0인 가우시안 함수이기 때문에 x가 0인 위치에서 가우시안의 값이 가장 크게 나타나며, x가 0에서 멀어질수록 가우시안 함수의 값이 점점 감소한다. 또한 가우시안 함수의 표준편차 값이 작을수록 그래프가 보다 뾰족한 곡선을 이루고, 가우시안 함수의 표준편차가 증가할수록 그래프가 보다 완만한 곡선을 구성한다.In addition, the Gaussian graph when the standard deviation σ is 0.5 and 2.0, respectively, takes the form shown in FIG. 5. Since it is a Gaussian function with an average of 0, the Gaussian value appears the largest at the position where x is 0, and the value of the Gaussian function gradually decreases as x moves away from 0. In addition, as the standard deviation value of the Gaussian function decreases, the graph forms a sharper curve, and as the standard deviation of the Gaussian function increases, the graph forms a more gentle curve.
또한, 영상에 적용할 2차원의 좌표 공간에서 평균이 (0, 0)인 가우시안 함수는 수학식 6과 같이 정의된다.In addition, a Gaussian function having an average of (0, 0) in a two-dimensional coordinate space to be applied to an image is defined as in
[수학식 6][Equation 6]
도 6은 σ가 1인 경우의 2차원 가우시안 함수 그래프이다. 도 6에서 확인할 수 있듯이, 2차원 가우시안 함수의 그래프도 1차원 가우시안 함수와 마찬가지로 (0, 0)에서 평균이 가장 큰 값을 가지고 있으며, (0, 0)에서 멀어질수록 종 모양으로 점차 감소하는 곡선의 형태를 이루고 있다.6 is a two-dimensional Gaussian function graph when σ is 1. As can be seen in FIG. 6, the graph of the two-dimensional Gaussian function, like the one-dimensional Gaussian function, has the largest average value at (0, 0), and gradually decreases in a bell shape as it moves away from (0, 0). It has the shape of a curve.
식 6에서 σ는 가우시안 블러링 마스크의 폭을 조절하는 파라미터 역할을 수행한다. 그러므로 σ의 값은 마스크의 크기에 영향을 미친다. 일반적으로 마스크는 0이 아닌 값을 포함하기 위해 충분히 클 필요가 있다. 예를 들어, σ가 2일 때 15×15 화소 크기의 마스크가 필요하며, σ가 3일 때 23×23 화소 크기의 마스크가 요구된다.In
회선(convolution) 마스크에 대한 블러링 함수를 변환하기 위해서는 마스크의 중심을 0으로 하고 좌표를 계산한다. 예를 들어, 3×3 마스크에 대해서는 x, y축의 좌표로서 (-1,-1), (0,-1), (1,-1), (-1,0), (0,0), (1,0), (-1,1), (0,1), (1,1)을 사용한다.To transform the blurring function for a convolution mask, set the center of the mask to 0 and calculate the coordinates. For example, for a 3×3 mask, (-1,-1), (0,-1), (1,-1), (-1,0), (0,0) as the coordinates of the x and y axes , (1,0), (-1,1), (0,1), (1,1) are used.
따라서 위와 같은 마스크에 대해 (x, y) 위치별로 수학식 6에 (x, y)를 대입하여 마스크 내의 요소의 값(해당 가우시안 함수의 값)들을 각각 계산한다. 그런 다음, 계산된 가우시안 마스크를 블러링하고자 하는 해당 얼굴 영역의 색상 (r, g, b) 값들과 회선(convolution)하여 새로운 (r, g, b) 값을 산출하면 블러링 효과를 발생시킬 수 있다.Therefore, for each (x, y) position of the above mask, (x, y) is substituted into
한편, 본 발명에서는 목표 영역에 대한 블러링 적용시 고정된 표준편차를 사용한 가우시안 함수를 적용하지 않고, 주변의 상황에 따라 표준편차를 가변적으로 적용한 가우시안 함수를 적용한다.Meanwhile, in the present invention, when blurring is applied to a target region, a Gaussian function using a fixed standard deviation is not applied, but a Gaussian function with a standard deviation variably applied according to surrounding conditions is applied.
가변적으로 적용하는 방식은 다음 2가지이다.There are two ways to apply variable:
먼저, 1번째 방식의 실시예(제1 실시예)에 대하여 설명한다.First, an embodiment of the first method (first embodiment) will be described.
본 발명에서는 목표 영역에 대한 블러링 적용시 고정된 표준편차를 사용하는 가우시안 함수를 적용하지 않고, 주변의 상황에 따라 표준편차를 가변적으로 설정하는 가우시안 함수를 적용한다. 이를 위해, 본 발명에서는 식 7과 같은 주변 상황의 복잡도 척도를 밝기 특징과 거리 특징의 가중화된 합을 이용하여 정의한다. 특히, 상황 복잡도는 입력 영상의 밝기 특징과, 목표 영상의 거리 특징의 가중화된 합을 이용하여 설정된다.In the present invention, when blurring is applied to a target region, a Gaussian function that uses a fixed standard deviation is not applied, but a Gaussian function that variably sets a standard deviation according to surrounding conditions is applied. To this end, in the present invention, the complexity measure of the surrounding situation as shown in
[수학식 7][Equation 7]
수학식 7에서, Fbright는 영상의 밝기 특징을 나타내고, Fdepth는 목표 영역이 카메라로부터 위치한 거리 특징을 나타낸다. 본 발명에서 Fbright와 Fdepth는 모두 0에서 1사이의 값으로 정규화되어 정의된다. 또한, ∥∥는 Fbright()의 최대 크기를 계산하는 연산자를 나타낸다.In
α와 β는 각 항의 중요한 정도를 의미하는 가중치 요소를 나타낸다. M과 N은 입력 영상의 가로와 세로의 길이를 나타내며, Y는 YCbCr 색상 공간의 Y 요소를 의미한다.α and β represent weighting factors that indicate the importance of each term. M and N represent the horizontal and vertical lengths of the input image, and Y represents the Y element of the YCbCr color space.
그리고 MERwidth와 MERheight는 검출된 목표 영역 MER(minimum enclosing rectnagle)의 가로와 세로의 길이를 의미한다. 본 발명에서는 목표 객체가 위치한 정확한 위치를 측정하기가 현실적으로 어려우므로, 검출된 목표 영역의 넓이를 계산하여 거리 정보로 활용한다. 다시 말해, 만일 검출된 목표 영역의 면적이 크면 카메라로부터 목표 영역까지의 거리가 멀다고 해석하고, 목표 영역의 면적이 작으면 거리가 가깝다고 해석한다.And, MER width and MER height mean the horizontal and vertical lengths of the detected target area MER (minimum enclosing rectnagle). In the present invention, since it is practically difficult to measure the exact position where the target object is located, the area of the detected target area is calculated and used as distance information. In other words, if the area of the detected target region is large, it is interpreted that the distance from the camera to the target region is long, and if the area of the target region is small, it is interpreted that the distance is short.
또한, t는 시점 t를 나타낸다. 영상은 시간상 연속된 영상일 수 있다. t는 연속된 영상에서의 시점을 나타낸다.Also, t represents a time point t. The image may be a continuous image in time. t represents a viewpoint in consecutive images.
[수학식 8][Equation 8]
여기서, TH1, TH2는 사전에 정해진 제1 및 제2 임계치이고, TH2는 TH1 보다 크도록 설정된다.Here, TH1 and TH2 are predetermined first and second threshold values, and TH2 is set to be greater than TH1.
본 발명에서는 식 7을 이용해 주변 상황의 복잡도 척도를 추출한 다음에는, 식 8과 같은 규칙을 정의해 목표 영역을 블러링할 강도를 적응적으로 선택한다. 즉, Φ(α,β:t)가 TH2 이상일 경우에는 약한 블러링이 수행되고, Φ(α,β:t)가 TH1 이상이고 TH2 미만일 경우에는 중간 블러링이 수행되며, Φ(α,β:t)가 TH1 미만일 경우에는 강한 블러링이 수행된다. 그리고 본 발명에서 Φ(α,β:t)를 정의하기 위해 사용된 가중치 요소 α와 β의 값은 반복적인 실험을 통해 경험적으로 결정된다.In the present invention, after extracting the complexity measure of the surrounding
한편, 다른 실시예로서, 상기 상황 복잡도의 크기에 반비례하여 상기 가우시안 함수의 표준편차를 설정할 수 있다.Meanwhile, as another embodiment, the standard deviation of the Gaussian function may be set in inverse proportion to the size of the situation complexity.
주변 상황의 복잡도 척도와 임계치를 이용하여 정의된 규칙을 통해 블러링의 강도를 적응적으로 설정하는 방식은, 도 7의 표와 같이, 추출된 두 가지 특징의 많고 적음에 따라서 해당하는 블러링의 강도를 선택하는 방식으로도 유사하게 설명될 수 있다. 예를 들어, 목표 물체가 카메라로부터 멀리 떨어져 있을 경우에는 물체의 윤곽이 분명하게 보이지 않으므로 약한 블러링을 적용해도 괜찮지만, 반대로 물체가 카메라 가까이에 위치할 경우에는 물체의 윤곽이 선명하게 보이므로 강한 블러링을 적용하여 개인 정보를 효과적으로 보호하고자 한다. 본 발명에서 약한 블러링, 중간 블러링, 강한 블러링은 가우시안 함수의 σ가 각각 1.0, 3.0, 5.0인 경우를 의미한다.The method of adaptively setting the intensity of blurring through a rule defined using the complexity scale and threshold of the surrounding situation, as shown in the table of FIG. The method of selecting intensity can be similarly explained. For example, if the target object is far away from the camera, the outline of the object is not clearly visible, so it is okay to apply weak blurring. We want to effectively protect personal information by applying blurring. In the present invention, weak blurring, medium blurring, and strong blurring mean cases in which σ of the Gaussian function is 1.0, 3.0, and 5.0, respectively.
다음으로, 2번째 방식의 실시예(제2 실시예)는 목표 영역의 크기에 따라 달리 설정한다.Next, in the embodiment of the second method (the second embodiment), settings are made differently according to the size of the target area.
즉, 가우시안 함수의 표준편차를 목표 영역의 크기에 따라 설정한다. 바람직하게는, 상기 표준편차 σ를 목표 영역의 크기에 비례하여 설정한다. 보통, 목표 물체가 카메라로부터 멀리 떨어져있는 경우에는 검출되는 물체의 크기가 비교적 작으며, 물체가 명확하게 보이지 않으므로 σ값을 줄여 블러링한다. 즉, 물체가 멀리 있어서 상대적으로 분명하게 보이지 않으므로 상대적으로 약하게 블러링(또는 왜곡)하여도 목표 물체가 노출되지 않는다. 반대로, 목표 물체가 카메라로부터 근접하게 위치한 경우에는 검출되는 물체의 크기가 비교적 크며, 물체가 명확하게 보이므로, σ값을 상대적으로 높여 블러링한다. 즉, 물체가 가까이에 있어서 상대적으로 분명하게 보이므로 상대적으로 강하게 블러링(또는 왜곡)하여야 목표 물체가 노출되지 않는다.That is, the standard deviation of the Gaussian function is set according to the size of the target region. Preferably, the standard deviation σ is set in proportion to the size of the target region. Usually, when the target object is far from the camera, the size of the detected object is relatively small, and since the object is not clearly visible, the σ value is reduced to blur. That is, since the object is distant and cannot be seen relatively clearly, the target object is not exposed even with relatively weak blurring (or distortion). Conversely, when the target object is located close to the camera, the size of the detected object is relatively large and the object is clearly visible, so the σ value is relatively increased to blur. That is, since the object is relatively clear because it is close, relatively strong blurring (or distortion) is required so that the target object is not exposed.
본 발명에서는 고정된 값이 아닌 검출된 개인 정보를 포함한 영역의 크기 Pw에 따라서 수학식 9를 통해 가변적으로 적용된다. 즉, 본 발명에서는 검출된 목표 영역의 크기가 커질수록 보다 큰 값을 사용하며, 목표 영역의 크기가 작아질수록 보다 작은 값(가우시안 함수의 표준편차 σ)을 사용해 영상 블러링을 수행한다.In the present invention, Equation 9 is applied variably according to the size P w of the area including the detected personal information rather than a fixed value. That is, in the present invention, as the size of the detected target region increases, a larger value is used, and as the size of the target region decreases, a smaller value (standard deviation σ of the Gaussian function) is used to perform image blurring.
[수학식 9][Equation 9]
여기서, Pw는 목표 영역인 검출된 얼굴 영역의 가로 화소 수, 즉 폭(width)을 의미한다. α는 사전에 정해진 상수로서, 바람직하게는, 영상을 이용한 반복적인 실험을 통해서 결정된다. α는 적용되는 환경이나 도메인에 맞게 조절될 수 있는 파라미터이다. 바람직하게는, α를 0.1로 설정한다.Here, P w means the number of horizontal pixels, that is, the width, of the detected face region, which is the target region. α is a predetermined constant, and is preferably determined through repetitive experiments using images. α is a parameter that can be adjusted according to the environment or domain to which it is applied. Preferably, α is set to 0.1.
다시 말해, 대상 물체가 카메라로부터 멀리 떨어져있는 경우에는 물체가 명확하게 보이지 않으므로 σ값을 줄여 블러링하고, 대상 물체가 카메라로부터 근접하게 위치할 경우에는 물체가 명확하게 보이므로 σ값을 높여서 강하게 블러링함으로써 물체 영역을 효과적으로 보호할 수 있다.In other words, if the target object is far from the camera, the object is not clearly visible, so reduce the σ value to blur it, and if the target object is located close to the camera, the object is clearly visible, so increase the σ value to blur strongly. By ringing, the object area can be effectively protected.
또한, 딥러닝 신경망의 출력으로 나오는 사각형 영역에 대해 블러링을 수행한다. 즉, 딥러닝을 통해 찾아진 얼굴에 해당하는 사각형 영역에 대해 블러링한다.In addition, blurring is performed on the rectangular area that comes out as the output of the deep learning neural network. That is, a rectangular area corresponding to a face found through deep learning is blurred.
다음으로, 실험을 통한 본 발명의 제1 실시예의 효과를 도 8 내지 도 12를 참조하여 보다 구체적으로 설명한다.Next, the effects of the first embodiment of the present invention through experiments will be described in more detail with reference to FIGS. 8 to 12 .
본 발명의 제1 실시예에 대한 실험을 위해 이용한 개인용 컴퓨터는 인텔 Core(TM) i7-6700 3.4 GHz의 CPU와 16GB의 메인 메모리, 256GB인 SSD, 그리고 NVIDIA의 GPU GP104가 장착된 갤럭시 Geforce GTX 1080 Ti 그래픽 카드를 장착하고 있다. 그리고 사용된 컴퓨터에는 마이크로소프트사의 윈도우 10 운영체제(operating system)가 설치되었다. 또한, 통합 개발 환경으로는 마이크로소프트사의 비주얼 스튜디오(Microsoft Visual Studio) 버전 2015가 이용되었으며, OpenCV 오픈 소스 컴퓨터 비전 라이브러리 및 Dlib C++ 라이브러리를 이용해 제안된 블로킹 알고리즘을 개발하였다. 본 발명에서는 개인 정보가 노출된 여러 가지 종류의 정지 및 동영상 데이터를 수집하여 제안된 알고리즘의 성능을 비교 평가하는데 사용하였다.The personal computer used for the experiment on the first embodiment of the present invention was an Intel Core(TM) i7-6700 3.4 GHz CPU, 16GB main memory, a 256GB SSD, and a Galaxy Geforce GTX 1080 equipped with NVIDIA's GPU GP104. Ti graphics card installed. In addition, Microsoft's
본 발명의 딥러닝 알고리즘에서 설정된 러닝 레이트(learning rate)는 0.1에서 시작하여 0.0001까지 순차적으로 감소시켜 이용하였다. 그리고 딥러닝 모델의 레이어 개수는 21개를 사용하였으며, 얼굴 정규화 크기는 40×40 화소를 이용하였다. 또한 활성 함수(activation function)은 ReLU를 사용하였으며, 6단계의 영상 피라미드를 생성하여 제안된 딥러닝 기반의 객체 검출 알고리즘의 입력으로 이용하였다.The learning rate set in the deep learning algorithm of the present invention was used by starting at 0.1 and sequentially decreasing to 0.0001. In addition, the number of layers of the deep learning model was 21, and the face normalization size was 40 × 40 pixels. In addition, ReLU was used as an activation function, and a 6-step image pyramid was created and used as an input for the proposed deep learning-based object detection algorithm.
도 8(a)는 개인 정보를 대표하는 사람의 얼굴 영역이 포함된 입력된 컬러 영상의 한 예를 보여준다. 도 8(b)는 사전에 학습된 타원형의 피부 색상 분포 모델을 이용해 입력된 영상으로부터 피부 색상 화소만을 검출한 결과를 보여준다. 도 8(c)는 검출된 피부 영역에 모폴로지(morphological) 연산을 적용하여 잡음을 제거한 다음 획득한 영상을 보여준다. 도 8(d)는 추출된 피부 영역으로부터 딥러닝을 적용하여 최종적으로 추출한 사람의 얼굴 영역을 보여준다. 도 8(d)에서 사각형의 박스는 검출된 얼굴 영역을 표시하고 있는데, 본 발명에 따른 방법이 비교적 정확하게 얼굴 영역을 검출했음을 확인할 수 있다.8(a) shows an example of an input color image including a face region of a person representing personal information. 8(b) shows the result of detecting only skin color pixels from an input image using a previously learned elliptical skin color distribution model. 8(c) shows an image acquired after removing noise by applying morphological operation to the detected skin region. 8(d) shows a human face region finally extracted by applying deep learning from the extracted skin region. In FIG. 8(d), the rectangular box indicates the detected face area, and it can be confirmed that the method according to the present invention relatively accurately detected the face area.
도 9는 다른 입력 영상을 제안된 방법에 적용한 결과를 보여준다. 도 9(a)는 사람의 얼굴 영역이 포함된 입력 영상을 보여준다. 도 9(b)는 입력된 영상으로부터 딥러닝을 적용하여 얼굴 영역을 검출한 다음, 검출된 얼굴 영역만을 σ를 1로 설정하여 가우시안 블러링 처리한 결과를 보여준다. 도 9(c)와 도 9(d)는 σ를 3과 5로 설정하여 생성한 가우시안 블러링을 검출된 얼굴 영역에 각각 적용하여 개인 정보에 해당하는 영역을 블로킹한 결과 영상의 예를 보여준다.9 shows the results of applying the proposed method to other input images. 9(a) shows an input image including a human face region. 9(b) shows the result of Gaussian blurring processing by detecting a face region by applying deep learning from an input image and then setting σ to 1 for only the detected face region. 9(c) and 9(d) show examples of images obtained by blocking areas corresponding to personal information by applying Gaussian blurring generated by setting σ to 3 and 5 to detected face areas, respectively.
도 10의 표는 주변의 상황에 존재하는 조명과 거리의 정도에 따라서 제안된 목표 영역 블로킹 알고리즘이 적응적으로 선택하는 블러링의 종류를 전체적으로 보여준다. 도 10의 표에서 WB는 약한 블러링을, MB는 중간 블러링을, 그리고 SB는 강한 블러링을 나타낸다.The table of FIG. 10 shows the types of blurring adaptively selected by the proposed target region blocking algorithm according to the degree of illumination and distance existing in the surrounding situation. In the table of FIG. 10, WB indicates weak blurring, MB indicates medium blurring, and SB indicates strong blurring.
본 발명에서는 제안된 인공적인 딥러닝 알고리즘을 사용하여 개인 정보를 포함하고 있는 대상 객체의 주변 상황에 따른 블록킹 방법의 성능을 정략적으로 비교 및 평가하기 위해서 식 10 및 식 11과 같은 정확도 척도를 사용하였다. 식 10 및 식 11에서 OTP는 정확하게 블로킹한 대상 객체 영역의 개수를 나타내고, OFP는 대상 객체 영역은 아니지만 대상 객체 영역이라고 잘못 블로킹한 대상 영역의 개수를 나타하며, OFN은 대상 객체 영역이 존재하는데 블로킹하지 못한 객체 영역의 개수를 나타낸다. 그리고 식 10에서 Φprecision은 입력 영상으로부터 검출된 전체 대상 객체 영역 중에서 정확하게 블로킹된 객체 영역의 상대적인 비율을 의미한다. 식 11에서 Φrecall은 입력 영상에 실제로 존재하는 전체 대상 객체 영역 중에서 정확하게 블로킹된 객체 영역의 상대적인 비율을 의미한다.In the present invention, accuracy measures such as
[수학식 10][Equation 10]
[수학식 11][Equation 11]
본 발명에서는 개인 정보가 노출된 대상 객체 블로킹 방법의 성능을 정확도 측면에서 비교 평가하기 위해서 기존의 피부 색상 분포 모델 기반의 블로킹 방법, 일반적인 학습 기반의 단일 레벨 블로킹 방법, 그리고 딥러닝 기반의 제안된 다단계 블로킹 방법을 평가하였다.In the present invention, in order to compare and evaluate the performance of the target object blocking method with personal information exposed in terms of accuracy, the existing skin color distribution model-based blocking method, general learning-based single-level blocking method, and deep learning-based proposed multi-level blocking method The blocking method was evaluated.
도 11과 도 12는 식 10와 식 11을 통해서 얻은 제안된 블로킹 방법의 정확도 측정 결과를 그래프로 보여주고 있다. 도 11과 도 12에서 확인할 수 있듯이 딥러닝을 기반으로 대상 객체 영역을 블로킹하는 본 발명의 방법이 오 검출을 줄여주므로 보다 정확하게 개인정보 영역을 블로킹한다는 것을 확인할 수 있다. 그리고 본 발명에 따른 방법은 주변의 상황에 적합하게 대상 객체 영역을 다단계로 블로킹하므로 보다 유연하게 동작한다.11 and 12 show graphs of accuracy measurement results of the proposed blocking method obtained through
위에서 언급한 세 가지의 방법 중에서 사람의 피부 색상 분포 모델만을 이용하는 기존의 블로킹 방법은 상대적으로 정확도가 가장 낮았는데, 다른 특징을 고려하지 않고 색상 특징만을 사용하여 대상 물체를 검출하므로 오 검출이 많이 발생하였다. 즉, 잡음이나 조명이 변화하는 실내외의 다양한 환경에서 촬영된 입력 영상에서 물체 영역을 색상 특징만을 사용하여 강인하게 검출하기에는 한계가 존재하였다. 일반적인 학습 기반의 단일 수준 블로킹 방법은 학습이 충분히 수행되지 않아 대상 물체 검출에 오류가 일부 발생하였으나 첫 번째 방법보다는 정확도 성능이 다소 우수하였다. 그러나 하나의 블록킹 방법만을 사용하여 개인 정보 영역을 가리므로 블로킹의 유연성이 상대적으로 낮았다. 마지막으로, 본 발명에 따른 방법은 딥러닝을 기반으로 대상 물체를 검출하므로 물체 검출 알고리즘의 정확도가 가장 높았다. 그리고 제안된 방법은 검출된 객체 영역을 단일 단계가 아니라 다단계로 블로킹하므로 블로킹의 유연성 및 효과성이 세 가지의 방법 중에서 가장 높았다. 그러나 제안된 방법도 조명의 갑작스러운 변화가 발생할 경우에는 물체 검출에 오류가 일부 발생하였다.Among the three methods mentioned above, the existing blocking method using only the human skin color distribution model has relatively the lowest accuracy, but since it detects a target object using only color features without considering other features, many false detections occur. did That is, there is a limit to robustly detecting an object region using only color features in an input image captured in various indoor and outdoor environments where noise or lighting changes. In the general learning-based single-level blocking method, some errors occurred in target object detection because learning was not sufficiently performed, but the accuracy performance was slightly better than the first method. However, since only one blocking method is used to cover the personal information area, the flexibility of blocking is relatively low. Finally, since the method according to the present invention detects a target object based on deep learning, the accuracy of the object detection algorithm is the highest. Also, since the proposed method blocks the detected object area in multiple steps rather than a single step, the flexibility and effectiveness of blocking are the highest among the three methods. However, even in the proposed method, some errors occurred in object detection when a sudden change in illumination occurred.
다음으로, 실험을 통한 본 발명의 제2 실시예의 효과를 도 13 내지 도 15를 참조하여 보다 구체적으로 설명한다.Next, the effects of the second embodiment of the present invention through experiments will be described in more detail with reference to FIGS. 13 to 15 .
본 발명에서 실험을 수행하기 위해 이용한 PC는 인텔 Core(TM) i7-6700 3.4 GHz의 CPU, 16GB의 메모리, 256GB인 SSD, NVIDIA GPU GP104가 설치된 Galaxy Geforce GTX 1080 Ti 그래픽 카드로 이루어져 있다. 그리고 개인용 컴퓨터에는 윈도우 10 운영체제가 설치되었다. 또한, 응용 프로그램의 개발 도구로는 비주얼 C++ 버전 2015가 이용되었으며, 본 발명에서 제시된 알고리즘을 구현하기 위해 OpenCV 컴퓨터 비전 라이브러리가 사용되었다.The PC used to conduct the experiment in the present invention consists of an Intel Core(TM) i7-6700 3.4 GHz CPU, 16 GB of memory, a 256 GB SSD, and a Galaxy Geforce GTX 1080 Ti graphics card with NVIDIA GPU GP104 installed. And the personal computer was installed with the
도 13(a)는 입력된 영상으로부터 피부 색상 화소를 추출한 결과 영상의 예를 보여준다. 그리고 도 13(b)는 추출된 피부 영역으로부터 얼굴 영역을 찾고, 찾아진 영역의 MER를 보여주고 있다.13(a) shows an example of an image resulting from extracting skin color pixels from an input image. And FIG. 13(b) shows the MER of the face region found from the extracted skin region.
도 14(a)는 얼굴 영역이 노출되어 있는 사람을 포함하고 있는 장면을 촬영한 입력 영상의 한 예를 보여준다. 도 14(b)는 타원형의 피부 색상 분포 모델과 인공적인 심층 신경 학습을 이용하여 사람의 얼굴 영역을 강인하게 검출하고, 검출된 얼굴 영역을 σ를 0.5로 설정한 다음 블러링을 사용하여 효과적으로 블로킹한 결과 영상을 보여준다. 도 14(c)과 도 14(d)는 σ=1과 σ=2인 경우의 가우시안 블러링을 수행한 결과를 각각 보여준다.14(a) shows an example of an input image obtained by capturing a scene including a person whose face region is exposed. 14(b) robustly detects a human face region using an elliptical skin color distribution model and artificial deep neural learning, sets σ to 0.5 for the detected face region, and then effectively blocks it using blurring A video of the result is shown. 14(c) and 14(d) respectively show the results of Gaussian blurring when σ=1 and σ=2.
본 발명에서는 제시된 목표 영역의 다단계 블로킹 방법의 성능을 정확도 측면에서 정량적으로 분석하였다. 본 발명에서는 받아들인 영상에서 강인하게 추출되고 영상 블러링된 목표 영역들의 개수와, 전체 영상 콘텐츠에 포함되어 있는 목표 영역과의 개수와의 비율로 정의된 수학식 12와 같은 척도를 이용하였다.In the present invention, the performance of the proposed multi-step blocking method of the target region was quantitatively analyzed in terms of accuracy. In the present invention, a scale such as Equation 12, which is defined as a ratio between the number of target regions that are robustly extracted and image-blurred from the received image, and the number of target regions included in the entire image content, is used.
[수학식 12][Equation 12]
수학식 12에서 TARGETblocking은 제시된 방법을 이용해서 올바르게 블로킹된 목표 영역들의 개수를 의미한다. 그리고 TARGETall은 테스트하는 영상 콘텐츠에 들어있는 개인 정보를 포함한 목표 영역들의 전체적인 개수를 의미한다. 본 발명에서 정의한 정량적인 척도는 백분율로 표현된다.In Equation 12, TARGET blocking means the number of correctly blocked target regions using the proposed method. And TARGET all means the total number of target areas including personal information included in the video content to be tested. A quantitative measure as defined herein is expressed as a percentage.
도 15은 정확성 측면에서 목표 영역의 다단계 블로킹 방법의 성능 측정 결과를 그래프로 보여주고 있다. 본 발명에서는 216개의 컬러 영상을 사용하여 제안된 방법을 테스트하였다. 도 15에서 확인 가능하듯이 본 발명에 따른 방법이 보다 효과적으로 개인 정보를 포함한 목표 영역을 블로킹한다.15 is a graph showing performance measurement results of the multi-step blocking method of the target area in terms of accuracy. In the present invention, the proposed method was tested using 216 color images. As can be seen in FIG. 15, the method according to the present invention more effectively blocks the target area including personal information.
즉, 인간의 피부 색상 분포에 대한 범위를 사전 학습을 통해 정의한 고정적인 피부 색상 모델, 그리고 최근에 심층 학습으로 알려진 딥러닝이 아닌 일반적인 인공 신경망을 사용하는 기존의 방법은 모델이 충분히 학습되지 않아서 목표 영역의 오 검출이 상대적으로 많이 발생하였다. 그리고 블록 기반의 모자이크 처리라는 한 가지의 방법만을 이용하여 목표 영역을 블로킹하므로 시스템이 유연하지 않았다.In other words, the existing method using a fixed skin color model that defined the range of human skin color distribution through pre-learning and a general artificial neural network rather than deep learning, which is recently known as deep learning, is not sufficiently trained. A relatively large number of false detections occurred in the region. In addition, the system was not flexible because the target area was blocked using only one method of block-based mosaic processing.
이에 비해, 본 발명에 따른 방법은 피부 색상 모델과 인공적인 심층 학습을 수행하여 개인 정보가 포함된 목표 영역을 보다 정확하게 검출하고, 검출된 영역을 다단계로 블로킹하므로 보다 효과적인 성능을 보여주었다. 특히, 여러 개의 블로킹 기법을 중에서 상황에 적합한 기법을 선택하여 사용하므로 보다 적응적인 블로킹 시스템이 구축되었다. 또한, 본 발명에 따른 방법은 인종별로 피부 색상 분포의 차이가 존재하는 것을 극복하기 위해서 여러 인종을 포함한 영상 데이터를 사용해 피부 모델의 학습을 수행한다.In contrast, the method according to the present invention performs more accurate detection of a target region including personal information by performing artificial deep learning with a skin color model, and shows more effective performance because the detected region is blocked in multiple stages. In particular, a more adaptive blocking system was built by selecting and using a technique suitable for the situation among several blocking techniques. In addition, the method according to the present invention performs learning of a skin model using image data including various races in order to overcome the difference in skin color distribution by race.
요약하면, 본 발명에서는 입력되는 여러 가지의 컬러 영상으로부터 전경이 아닌 배경 부분을 제외하고 개인 정보를 포함하고 있는 대상 영역을 강인하게 검출한 다음, 주변의 상황에 적합한 블로킹 방법으로 검출된 대상 객체 영역을 효과적으로 보호하는 방법을 제시하고 있다. 본 발명에 따른 방법에서는 먼저 입력되는 컬러 영상으로부터 개인정보를 포함하고 있는 대상 객체 영역만을 사람의 피부 색상을 기반으로 강인하게 분할한다. 다시 말해, 사전에 학습된 타원형의 피부 색상 분포 모델을 영상에 적용하여 다른 영역들은 제거하고 피부 색상 화소만을 선택한다. 그리고 선택된 피부 화소 영상에 모폴로지 연산을 적용해 잡음을 제거하고, 레이블링을 수행하여 개별적인 피부 영역들을 추출한다. 그런 다음, 추출된 피부 영역으로부터 딥러닝 기반의 객체 검출 알고리즘을 사용해 사람의 얼굴 영역만을 강인하게 검출한다. 그런 다음, 주변의 상황에 적합한 블로킹 방법을 선택하여 검출된 얼굴 영역을 효과적으로 가림으로써 개인정보가 외부에 노출되는 것을 보호할 수 있다.In summary, the present invention robustly detects a target region containing personal information from various input color images, excluding the foreground, but not the background, and then detects the target object region by a blocking method suitable for the surrounding situation. provides an effective way to protect In the method according to the present invention, only the target object region containing personal information is robustly segmented from an input color image based on a person's skin color. In other words, by applying the previously learned elliptical skin color distribution model to the image, other areas are removed and only skin color pixels are selected. Then, noise is removed by applying morphology operation to the selected skin pixel image, and individual skin regions are extracted by performing labeling. Then, only the human face region is robustly detected from the extracted skin region using a deep learning-based object detection algorithm. Then, it is possible to protect personal information from being exposed to the outside by effectively covering the detected face area by selecting a blocking method suitable for the surrounding situation.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.In the above, the invention made by the present inventors has been specifically described according to the above embodiments, but the present invention is not limited to the above embodiments, and various changes can be made without departing from the gist of the present invention.
10 : 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템10: image 20: computer terminal
30: program system
Claims (10)
(a) 상기 입력 영상에서 목표 영역을 검출하는 단계; 및,
(b) 상기 목표 영역을 블러링하여 블로킹하되, 상기 목표 영역의 상황 복잡도에 따라 블러링 정도를 달리하는 단계를 포함하고,
상기 (b)단계에서, 가우시안 함수를 이용하여, 상기 목표 영상에 대하여 블러링을 수행하되, 가우시안 함수의 표준편차를 상기 목표 영역의 상황 복잡도에 따라 설정하고,
상기 상황 복잡도는 상기 입력 영상의 밝기 특징과, 상기 목표 영상의 거리 특징의 가중화된 합을 이용하여 설정되고,
상기 (b)단계에서, 상기 상황 복잡도가 사전에 정해진 제2 임계치 이상일 경우에는 사전에 정해진 제1 표준편차로 설정하고, 상기 상황 복잡도가 사전에 정해진 제1 임계치 이상이고 상기 제2 임계치 미만일 경우 사전에 정해진 제2 표준편차로 설정하고, 상기 복잡도가 상기 제1 임계치 미만일 경우 사전에 정해진 제3 표준편차로 설정하고,
상기 제2 임계치는 상기 제1 임계치 보다 크고, 상기 제3 표준편차는 상기 제2 표준편차 보다 크고, 상기 제2 표준편차는 상기 제1 표준편차 보다 크도록, 설정되는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
In the personal information protection method using context-adaptive blocking for blocking a target region of an input image,
(a) detecting a target region in the input image; and,
(b) blurring and blocking the target region, and varying the degree of blurring according to the situational complexity of the target region;
In the step (b), blurring is performed on the target image using a Gaussian function, and a standard deviation of the Gaussian function is set according to the situational complexity of the target region;
The context complexity is set using a weighted sum of a brightness feature of the input image and a distance feature of the target image;
In step (b), when the situation complexity is equal to or greater than a predetermined second threshold, a predetermined first standard deviation is set, and when the situation complexity is equal to or greater than the first predetermined threshold and less than the second threshold, the set to a second standard deviation determined in , and set to a pre-determined third standard deviation when the complexity is less than the first threshold,
The second threshold is set to be greater than the first threshold, the third standard deviation is greater than the second standard deviation, and the second standard deviation is greater than the first standard deviation. Privacy protection method using blocking.
(a1) 상기 입력 영상에서 피부 영역을 분할하는 단계;
(a2) 오검출된 피부 영역에 대하여 후처리를 수행하는 단계;
(a3) 상기 피부 영역에서 목표 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
The method of claim 1, wherein the (a) step,
(a1) segmenting a skin region from the input image;
(a2) performing post-processing on the erroneously detected skin area;
(a3) a step of detecting a target region in the skin region.
상기 (a1)단계에서, 상기 입력 영상의 RGB 컬러 공간에서 YCbCr 컬러 공간으로 변환하고, 변환된 YCbCr 컬러 공간을 대상으로, 타원 기반의 사람의 피부 색상 모델을 사용하여, 상기 입력 영상으로부터 배경 부분을 제외하고 인간의 피부 분포 영역을 검출하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
According to claim 2,
In the step (a1), the RGB color space of the input image is converted to the YCbCr color space, and an ellipse-based human skin color model is used for the converted YCbCr color space to obtain a background portion from the input image. A personal information protection method using context-adaptive blocking, characterized in that it detects a human skin distribution area except for the exception.
상기 (a3)단계에서, 상기 피부 영역을 대상으로 서브 윈도우를 설정하고, 상기 서브 윈도우를 CNN 신경망에 입력하여 해당 서브 윈도우에 대해 얼굴 영역 여부를 탐지하되, 상기 입력 영상에서 설정되는 모든 서브 윈도우 각각에 대하여, 각 서브 윈도우를 신경망에 입력하여 해당 서브 윈도우가 얼굴 영역인지를 판단하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
According to claim 2,
In the step (a3), a subwindow is set for the skin region, and the subwindow is input to a CNN neural network to detect whether or not the subwindow is a face region for each of the subwindows set in the input image. For, a personal information protection method using context-adaptive blocking, characterized in that each sub-window is input to a neural network and it is determined whether the corresponding sub-window is a face area.
상기 상황 복잡도 Φ(α,β:t)는 다음 [수식 1]에 의해 설정하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
[수식 1]
단, α와 β는 사전에 정해지는 가중치이고, M과 N은 입력 영상의 가로와 세로의 길이이고, Y는 YCbCr 색상 공간의 Y 요소를 의미하고, MERwidth와 MERheight는 목표 영역의 가로와 세로의 길이이고, t는 시점을 나타냄.
According to claim 1,
The context complexity Φ (α, β: t) is set by the following [Equation 1]. Personal information protection method using context-adaptive blocking.
[Equation 1]
However, α and β are pre-determined weights, M and N are the width and height of the input image, Y is the Y element of the YCbCr color space, and MER width and MER height are the width and height of the target area. is the length of the vertical, and t represents the starting point.
상기 (b)단계에서, 상기 상황 복잡도의 크기에 반비례하여 상기 가우시안 함수의 표준편차를 설정하는 것을 특징으로 하는 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법.
According to claim 1,
In the step (b), the standard deviation of the Gaussian function is set in inverse proportion to the size of the situation complexity.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20200108794 | 2020-08-27 | ||
| KR1020200108794 | 2020-08-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220027769A KR20220027769A (en) | 2022-03-08 |
| KR102500516B1 true KR102500516B1 (en) | 2023-02-17 |
Family
ID=80813324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210109962A KR102500516B1 (en) | 2020-08-27 | 2021-08-20 | A protection method of privacy using contextual blocking |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102500516B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230376633A1 (en) * | 2022-05-19 | 2023-11-23 | Deeping Source Inc. | Method for de-identifying privacy-related region within image and de-identifying device using the same |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016012752A (en) * | 2014-06-27 | 2016-01-21 | 株式会社 日立産業制御ソリューションズ | Video monitoring device, video monitoring system, and video monitoring method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6959099B2 (en) * | 2001-12-06 | 2005-10-25 | Koninklijke Philips Electronics N.V. | Method and apparatus for automatic face blurring |
| EP3564900B1 (en) * | 2018-05-03 | 2020-04-01 | Axis AB | Method, device and system for a degree of blurring to be applied to image data in a privacy area of an image |
-
2021
- 2021-08-20 KR KR1020210109962A patent/KR102500516B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016012752A (en) * | 2014-06-27 | 2016-01-21 | 株式会社 日立産業制御ソリューションズ | Video monitoring device, video monitoring system, and video monitoring method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220027769A (en) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nonaka et al. | Evaluation report of integrated background modeling based on spatio-temporal features | |
| US9158985B2 (en) | Method and apparatus for processing image of scene of interest | |
| CN116018616A (en) | Maintaining a fixed size of a target object in a frame | |
| Ishikura et al. | Saliency detection based on multiscale extrema of local perceptual color differences | |
| EP3644599B1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
| Azab et al. | A new technique for background modeling and subtraction for motion detection in real-time videos | |
| Sengar et al. | Detection of moving objects based on enhancement of optical flow | |
| CN108416291B (en) | Face detection and recognition method, device and system | |
| Reddy et al. | Adaptive patch-based background modelling for improved foreground object segmentation and tracking | |
| Kristensen et al. | Background segmentation beyond RGB | |
| JP5489340B2 (en) | Face masking apparatus and method | |
| Lee et al. | Low-complexity background subtraction based on spatial similarity | |
| CN110796041B (en) | Principal identification method and apparatus, electronic device, and computer-readable storage medium | |
| JP5578816B2 (en) | Image processing device | |
| CN115035581A (en) | Facial expression recognition method, terminal device and storage medium | |
| KR102500516B1 (en) | A protection method of privacy using contextual blocking | |
| CN111183630B (en) | Photo processing method and processing device of intelligent terminal | |
| ES2880462T3 (en) | Video processing method | |
| Yang et al. | Dust particle detection in surveillance video using salient visual descriptors | |
| Su et al. | Moving object segmentation using improved running gaussian average background model | |
| Lin et al. | Face detection based on skin color segmentation and SVM classification | |
| Barbu | Novel approach for moving human detection and tracking in static camera video sequences | |
| Shafie et al. | Smart objects identification system for robotic surveillance | |
| Taha et al. | Moving shadow removal for multi-objects tracking in outdoor environments | |
| Chen et al. | Background subtraction in video using recursive mixture models, spatio-temporal filtering and shadow removal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |