KR101470939B1 - A system and the method for detecting face using CCTV - Google Patents

A system and the method for detecting face using CCTV Download PDF

Info

Publication number
KR101470939B1
KR101470939B1 KR1020130018290A KR20130018290A KR101470939B1 KR 101470939 B1 KR101470939 B1 KR 101470939B1 KR 1020130018290 A KR1020130018290 A KR 1020130018290A KR 20130018290 A KR20130018290 A KR 20130018290A KR 101470939 B1 KR101470939 B1 KR 101470939B1
Authority
KR
South Korea
Prior art keywords
microphone
face detection
area
detection algorithm
region
Prior art date
Application number
KR1020130018290A
Other languages
Korean (ko)
Other versions
KR20140104289A (en
Inventor
정연모
김태완
박형수
조재식
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020130018290A priority Critical patent/KR101470939B1/en
Publication of KR20140104289A publication Critical patent/KR20140104289A/en
Application granted granted Critical
Publication of KR101470939B1 publication Critical patent/KR101470939B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법에 관한 것으로서, 더욱 상세하게는 전면부에 구비된 마이크로폰 어레이를 통해 감시영역을 촬영함과 동시에 감시영역에서 발생된 음원의 방향을 산출하여 촬영된 영상에서 얼굴 검출 알고리즘을 우선 적용할 영역을 지정하는 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법을 제공함으로써, 촬영 영상 전체에 얼굴 검출 알고리즘을 적용할 필요가 없어 종래에 비해 더욱 신속하고 정확하게 얼굴 검출이 가능하며, HD급 이상의 고해상도 영상에서도 별도의 해상도를 낮추는 과정 없이 신속하게 얼굴 검출이 가능한 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법에 관한 것이다.
본 발명은, 카메라를 통해 감시영역을 촬영하는 카메라 모듈, 상기 카메라 전면부에 구비되는 마이크로폰 어레이, 및 상기 마이크로폰 어레이를 이용한 음원 국지화 기술을 통해 영상화면을 분할하여 검출된 음원방향에 따라 얼굴 검출 알고리즘을 적용할 영역의 우선순위를 지정하는 제어모듈을 포함하여 구성되는 감시카메라를 제공한다.The present invention relates to a surveillance camera, a face detection system and a face detection method using the surveillance camera, and more particularly, to a surveillance camera that photographs a surveillance region through a microphone array provided in a front portion thereof, It is unnecessary to apply the face detection algorithm to the entire photographed image by providing the surveillance camera which designates the area to which the face detection algorithm is applied first in the photographed image and the face detection system and the face detection method using the same, And more particularly, to a surveillance camera capable of quickly detecting a face without lowering the resolution even in a high-resolution image of HD class or higher, and a face detection system and a face detection method using the surveillance camera.
According to the present invention, there is provided an image processing apparatus including a camera module that photographs a surveillance region through a camera, a microphone array provided on a front surface of the camera, and a face detection algorithm And a control module for specifying a priority of an area to which the image is to be applied.

Description

감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법{A system and the method for detecting face using CCTV}Technical Field [0001] The present invention relates to a surveillance camera, a face detection system and a face detection method using the surveillance camera,

본 발명은 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법에 관한 것으로서, 더욱 상세하게는 카메라의 전면부에 구비된 마이크로폰 어레이를 통해 감시영역을 촬영함과 동시에 감시영역에서 발생된 음원의 방향을 산출하여, 촬영된 영상화면에서 얼굴 검출 알고리즘을 우선 적용할 영역을 지정하는 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법을 제공함으로써, 촬영 영상화면 전체에 얼굴 검출 알고리즘을 적용할 필요가 없어 종래에 비해 더욱 신속하고 정확하게 얼굴 검출이 가능하며, HD급 이상의 고해상도 영상에서도 별도의 해상도를 낮추는 과정 없이 신속하게 얼굴 검출이 가능한 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법에 관한 것이다.The present invention relates to a surveillance camera, a face detection system and a face detection method using the surveillance camera. More particularly, the present invention relates to a surveillance camera, a surveillance area through a microphone array provided on a front surface of the camera, A surveillance camera that designates an area to which a face detection algorithm is applied in a captured image screen, a face detection system using the same, and a face detection method are provided, And a face detection system and a face detection method using the surveillance camera capable of detecting a face quickly without reducing the resolution even in a high resolution image of HD class or higher.

얼굴 검출은 컴퓨터비전 분야의 생체인식 분야에서 매우 중요하게 다루어지는 문제들 중 하나로 오랜 기간에 걸쳐 연구되어 왔다. 그 결과 얼굴 검출 기술의 수준은 매우 높은 수준으로 향상되었고 디지털카메라의 자동초점, 감시시스템, 영상 및 동영상 처리 등 얼굴검출을 수행할 수 있는 많은 상업적 시스템들이 개발되었다. 특히 몇몇 알고리즘들은 실시간의 구현까지 가능하게 하였고 이러한 얼굴검출에 있어서의 최근의 발전된 기술들은 보행자, 자동차 등의 물체인식 분야에도 많은 기여를 하고 있다.Face detection has been studied over a long period of time as one of the most important issues in the field of biometrics in the field of computer vision. As a result, the level of face detection technology has been improved to a very high level, and many commercial systems have been developed to perform face detection such as auto focus, surveillance system, image processing and video processing of digital cameras. Especially, several algorithms are possible to real - time realization. Recent advanced technologies in face detection have contributed to the field of object recognition such as pedestrian and automobile.

이러한, 얼굴 검출 기술을 이용하는 시스템에서 근본적으로 해결되어야 할 과제는 주어진 영상에서 얼굴 영역의 위치를 정확히 추정하고, 나아가 눈, 코, 입과 같은 얼굴 구성 정보의 위치와 포즈 등의 추가적인 정보들을 정확히 추출해야 하는 것이다. 또한, 대부분의 얼굴 검출 기술을 이용하는 시스템들은 온라인에서 동작하거나 수초내의 처리 결과를 요구하므로 이러한 정보 추출 작업은 실시간으로 이루어져야 한다. 이것은 얼굴 검출 기술을 이용하는 시스템의 성능을 좌우하는 매우 중요한 요인이 되며, 이로 인해 정확하고 빠른 얼굴 검출 및 얼굴 구성 정보 추출에 관한 연구는 매우 중요하며 필수적이다.In this system, it is necessary to accurately estimate the position of a face region in a given image and to accurately extract additional information such as the position and pose of the face configuration information such as eyes, nose, and mouth It should. In addition, since systems using most face detection technologies operate online or require processing results within a few seconds, this information extraction operation must be performed in real time. This is a very important factor that determines the performance of the system using the face detection technology. Therefore, accurate and quick face detection and face configuration information extraction are very important and essential.

그러나 종래의 얼굴 검출이 필요한 CCTV 시스템에서는 디스플레이 되는 혹은 가져오는 영상 데이터의 모든 부분에 얼굴검출 알고리즘을 적용시켜야 했기 때문에 처리속도가 느리며, 200만 화소 이상의 HD급 고해상도에서는 적용이 힘든 문제점이 있었다. 특히 해상도가 올라가면 얼굴 검출에 따른 소요시간이 비례함에 따라 얼굴 검출 영상을 저화질로 다운시킨 뒤 얼굴 검출을 수행하였으나, 화질이 내려갈수록 얼굴검출이 용이하지 않아, 영상 데이터에 얼굴검출 알고리즘을 적용시켰음에도 얼굴을 검출하지 못하는 문제점이 빈번하였다.However, in the conventional CCTV system in which face detection is required, the face detection algorithm must be applied to all parts of the image data to be displayed or imported. Therefore, the processing speed is slow, and it is difficult to apply the method at a high resolution of 2,000,000 pixels or more. Especially, when the resolution is increased, the face detection is reduced to a lower quality and the face detection is performed as the time required for face detection is proportional. However, since the face detection is not easy as the image quality is lowered, The problem of not detecting the face was frequently encountered.

본 발명의 상기한 종래 기술에 따른 문제점을 해결하기 위한 것이다. 즉 본 발명의 목적은 카메라 전면부에 구비된 마이크로폰 어레이를 통해 감시영역을 촬영함과 동시에 감시영역에서 발생된 음원의 방향을 산출하여 촬영된 영상에서 얼굴 검출 알고리즘을 우선 적용할 영역을 지정하는 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법을 제공하는 것이다.And solves the problems of the prior art of the present invention. That is, an object of the present invention is to provide a method and apparatus for photographing a surveillance region through a microphone array provided on a front surface of a camera and simultaneously detecting a direction of a sound source generated in the surveillance region, A camera, a face detection system using the camera, and a face detection method.

상기의 목적을 달성하기 위한 기술적 사상으로서 본 발명은, 카메라를 통해 감시영역을 촬영하는 카메라 모듈, 상기 카메라 전면부에 구비되는 마이크로폰 어레이, 및 상기 마이크로폰 어레이를 이용한 음원 국지화 기술을 통해 영상화면을 분할하여 검출된 음원방향에 따라 얼굴 검출 알고리즘을 적용할 영역의 우선순위를 지정하는 제어모듈을 포함하여 구성되는 감시카메라를 제공한다.Technical Solution In order to accomplish the above object, the present invention provides a camera module for capturing a surveillance region through a camera, a microphone array provided on a front surface of the camera, and a sound source localization technique using the microphone array, And a control module for specifying a priority of a region to which the face detection algorithm is to be applied according to the detected sound source direction.

또한, 본 발명은 카메라 전면부에 마이크로폰 어레이를 구비하여 음원 국지화 기술을 통해 촬영된 영상화면을 분할하여 음원방향에 따라 얼굴 검출 알고리즘을 적용할 영역의 우선순위를 지정하는 감시카메라, 상기 감시카메라를 통해 촬영된 영상데이터 및 촬영된 영상 화면에서 얼굴 검출 알고리즘을 우선 적용할 영역이 지정된 정보를 함께 전송받아 해당 영역에서 얼굴 검출을 수행하는 얼굴검출 서버 및 상기 감시카메라를 통해 전송받은 영상데이터 및 상기 얼굴검출 서버에서 검출된 얼굴정보를 저장하는 데이터베이스를 포함하여 구성되는 얼굴 검출 시스템을 제공한다.According to another aspect of the present invention, there is provided a surveillance camera including a microphone array on a front side of a camera, the surveillance camera dividing an image screen shot through a sound source localization technique and designating a priority of a region to which a face detection algorithm is applied according to a sound source direction, A face detection server for receiving face detection in the corresponding region by receiving image data captured through the face detection unit and information specifying an area to which the face detection algorithm is to be preferentially applied, And a database for storing face information detected by the detection server.

더불어, 본 발명은 감시카메라가 마이크로폰 어레이를 통해 감시영역에서 음성신호가 발생되는지 판단하는 단계와, 음성신호가 발생된 경우 음원의 방향을 검출하는 단계와, 촬영된 영상화면을 분할하여 상기 검출된 음원방향에 해당하는 영상화면 영역을 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하는 단계 및 얼굴검출 서버가 상기 감시카메라를 통해 촬영된 영상 및 얼굴 검출 알고리즘을 우선 적용할 영역 정보를 함께 전송받아 해당 영역의 얼굴 검출을 수행하는 단계를 포함하여 구성되는 얼굴 검출 방법을 제공한다.According to another aspect of the present invention, a surveillance camera includes a step of determining whether a voice signal is generated in a surveillance area through a microphone array, a step of detecting a direction of a sound source when a voice signal is generated, A step of designating an image screen area corresponding to a sound source direction as an area to which a face detection algorithm is to be applied first and a face detection server receiving area information to be applied to an image and a face detection algorithm which are photographed through the surveillance camera together, And performing face detection of the face image.

본 발명에 따른 감시카메라와 이를 이용한 얼굴 검출 시스템 및 이를 이용한 얼굴 검출 방법은, 촬영 영상 전체에 얼굴 검출 알고리즘을 적용할 필요가 없어 종래에 비해 더욱 신속하고 정확하게 얼굴 검출이 가능하며, HD급 이상의 고해상도 영상에서도 별도의 해상도를 낮추는 과정 없이 신속하게 얼굴 검출이 가능하다. 또한, 다수개의 마이크로폰을 통해 동영상 촬영 시 보다 입체적으로 음향을 획득할 수 있게 된다.The surveillance camera according to the present invention, the face detection system using the same, and the face detection method using the surveillance camera according to the present invention do not need to apply the face detection algorithm to the entire shot image, It is possible to detect the face quickly without reducing the resolution of the image. In addition, it is possible to acquire sound more three-dimensionally when shooting a moving picture through a plurality of microphones.

도 1은 본 발명의 일실시예에 따른 감시카메라의 내부 구성도.
도 2는 도 1에 도시된 감시카메라의 외부 사시도.
도 3은 본 발명의 일실시예에 따른 촬영 영상 화면의 영역 분할 예시도.
도 4는 본 발명의 일실시예에 따른 음원방향 산출에 따라 얼굴 검출 알고리즘을 우선 적용할 영역이 지정된 예시도.
도 5는 본 발명의 일실시예에 따른 얼굴 검출 시스템의 개략적인 구성도.
도 6은 본 발명의 일실시예에 따른 얼굴 검출 방법을 순차적으로 도시한 순서도.1 is an internal configuration view of a surveillance camera according to an embodiment of the present invention;
2 is an external perspective view of the surveillance camera shown in Fig.
3 is a diagram illustrating an example of area division of a photographed image screen according to an embodiment of the present invention.
FIG. 4 is an exemplary diagram in which a region to which a face detection algorithm is applied according to a sound source direction calculation according to an exemplary embodiment of the present invention is designated; FIG.
5 is a schematic configuration diagram of a face detection system according to an embodiment of the present invention;
6 is a flowchart sequentially showing a face detection method according to an embodiment of the present invention;

이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 감시카메라의 내부 구성도이며, 도 2는 도 1에 도시된 감시카메라의 외부 사시도이다.FIG. 1 is an internal configuration view of a surveillance camera according to an embodiment of the present invention, and FIG. 2 is an external perspective view of the surveillance camera shown in FIG.

도 1에 도시된 바와 같이, 본 발명에 따른 감시카메라는 카메라를 통해 감시영역을 촬영하는 카메라 모듈(120), 상기 카메라 전면부에 구비되는 마이크로폰 어레이(110), 상기 마이크로폰 어레이(110)를 이용한 음원 국지화 기술을 통해 촬영된 영상화면을 분할하여 얼굴 검출 알고리즘을 적용할 영역의 우선순위를 지정하는 제어모듈(130)을 포함하여 구성된다.1, the surveillance camera according to the present invention includes a camera module 120 for photographing a surveillance region through a camera, a microphone array 110 provided on the front surface of the camera, and a microphone array 110 using the microphone array 110 And a control module 130 for dividing an image screen shot through a sound source localization technique and designating a priority order of areas to which the face detection algorithm is applied.

마이크로폰 어레이(110)는 감시영역에서 발생되는 소리를 인지하여 소리가 발생된 지점의 음원 방향을 검출하기 위한 수단으로서, 제어모듈(130)은 음성인식 기술 및 음원국지화 기술을 이용하여 마이크로폰 어레이(110)를 통해 들어온 신호를 분석하여 외부인의 출현 및 음원의 방향을 검출한다. 이러한 음성인식 기술 및 음원국지화 기술은, 이미 넓게 쓰이고 있는 음성 인지 기술로서 여기에서는 그에 대한 상세한 설명은 생략하기로 한다.The microphone array 110 is a means for detecting a sound source direction at a point where a sound is generated by recognizing a sound generated in a surveillance region. The control module 130 controls the microphone array 110 ) To detect the appearance of the outsider and the direction of the sound source. The speech recognition technology and the localization technique for the localization of speech are already widely used speech recognition technologies, and a detailed description thereof will be omitted here.

본 발명에서는 마이크로폰 어레이(110)를 통해 감시영역에서의 외부인의 출현을 인식히고, 인식한 외부인의 음원 방향을 검출하는데, 이를 위해 감시영역을 촬영하는 카메라의 전면부에 다수개의 마이크로폰이 설치된다. 본 발명의 마이크로폰의 설치는 음원방향에 따른 영상화면 분할 갯수에 따라 설치될 수 있는데, 예를 들어 2개의 마이크로폰을 설치할 경우에는 영상화면을 좌/우로 나누어 얼굴검출 알고리즘을 적용할 영역의 우선순위를 지정할 수 있게 되며, 4개의 마이크로폰을 설치할 경우에는 영상화면을 4개 또는 8개의 영역으로 나누어 얼굴검출 알고리즘을 적용할 영역의 우선순위를 지정할 수 있게 된다.In the present invention, the appearance of the outside person in the surveillance area is recognized through the microphone array 110, and the direction of the sound source of the recognized outside person is detected. To this end, a plurality of microphones are installed in the front part of the camera. For example, when two microphones are installed, the priority of the area to which the face detection algorithm is applied is divided into left and right sides by dividing the image screen into left and right sides. When four microphones are installed, the image screen can be divided into four or eight areas, and the priority of the area to which the face detection algorithm is applied can be specified.

본 발명의 실시예에서는 도 2에 도시된 바와 같이, 카메라의 렌즈를 중심으로 4개의 마이크로폰을 십자 형상으로 렌즈의 상·하·좌·우에 배치함으로써, 감시영역을 4개의 마이크로폰을 이용하여 인식할 수 있도록 구현하며, 촬영영상 화면을 4개의 영역으로 나누어 산출된 음원방향에 따라 얼굴 검출 알고리즘을 적용할 영역의 우선순위를 지정한다. In the embodiment of the present invention, as shown in FIG. 2, four microphones are arranged on the top, bottom, left, and right of the lens in a cross shape around the lens of the camera so that the surveillance region can be recognized using four microphones And the priorities of the regions to which the face detection algorithm is to be applied are designated according to the calculated sound source directions by dividing the photographed image screen into four regions.

제어모듈(130)은 마이크로폰 어레이(110)를 이용한 음성인식 기술을 통해 감시영역에서 음성신호가 발생되는지를 판단하고, 음성신호가 발생된 경우 각각의 마이크에 도달하는 음성신호의 시간차를 알아낸 후 이를 계산하여 음원의 방향을 검출함으로써, 촬영영상 화면에서 얼굴 검출 알고리즘을 적용할 영역의 우선순위를 지정한다. The control module 130 determines whether a voice signal is generated in the surveillance area through the voice recognition technology using the microphone array 110. If the voice signal is generated, the control module 130 determines the time difference of the voice signal arriving at the respective microphones By calculating this, the direction of the sound source is detected, and the priority of the area to which the face detection algorithm is to be applied is designated on the photographed image screen.

본 발명의 실시예에서는 도 3에 도시된 바와 같이, 카메라렌즈를 중심으로 전방 마이크로폰(MF), 후방 마이크로폰(MB), 좌측 마이크로폰(ML), 우측 마이크로폰(MR)이 위치할 경우, 촬영영상 영역을 4개로 나누어 산출된 음원방향에 따라 얼굴 검출 알고리즘을 우선 적용할 영역을 지정한다. 즉, 전방 마이크로폰과 우측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우에는 제1영역이 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정되며, 전방 마이크로폰과 좌측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우에는 제2영역이 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정되고, 후방 마이크로폰과 좌측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우에는 제3영역이 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정되며, 후방 마이크로폰과 우측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우에는 제4영역이 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정한다.3, when the front microphone MF, the rear microphone MB, the left microphone ML, and the right microphone MR are positioned around the camera lens, And the area to which the face detection algorithm is applied is designated according to the sound source direction. That is, when the front microphone and the right microphone first recognize the voice signal, the first area is designated as a region to which the face detection algorithm is applied first. If the front microphone and the left microphone recognize the voice signal first, The area is designated as an area to which the face detection algorithm is applied first, and when the rear microphone and the left microphone recognize the voice signal first, the third area is designated as an area to which the face detection algorithm is applied first, and the rear microphone and the right microphone If the speech signal is recognized first, the fourth region is designated as a region to which the face detection algorithm is applied first.

도 3에 도시된 바와 같이, 전방 마이크로폰과 우측 마이크로폰이 가장 먼저 음성신호를 인지하였다고 판단되면, 제어모듈은 제1영역을 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하며, 도 4에 도시된 바와 같이 촬영영상 화면에서 제1영역에 해당하는 화면영역에 얼굴 검출 알고리즘을 우선 적용하게 된다. 이에 따라, 얼굴 검출을 적용시킬 범위가 기존에 비해 1/4로 줄어들게 되며, 산술적으로는 4배의 속도향상을 가져올 수 있게 된다.
As shown in FIG. 3, if it is determined that the front microphone and the right microphone recognize the voice signal first, the control module designates the first area as an area to which the face detection algorithm is applied first, The face detection algorithm is first applied to the screen area corresponding to the first area on the photographed image screen. Accordingly, the range of applying the face detection is reduced to 1/4 of that of the conventional one, and arithmetically, the speed can be improved by 4 times.

도 5는 도 1에 도시된 감시카메라를 이용한 얼굴 검출 시스템의 개략적인 구성도이다.5 is a schematic block diagram of a face detection system using the surveillance camera shown in FIG.

도 5에 도시된 바와 같이, 본 발명에 따른 얼굴 검출 시스템은, 카메라 전면부에 마이크로폰 어레이(110)를 구비하여, 음원국지화 기술을 통해 촬영된 영상화면을 분할하여, 얼굴 검출 알고리즘을 우선 적용할 영역을 지정하여 이를 통신모듈(140)을 통해 전송하는 감시카메라(100)가 적어도 한개 이상 구비되며, 유/무선 통신망을 통해 상기 감시카메라(100)와 연결되어 감시카메라(100)로부터 촬영된 영상 및 촬영된 영상화면에서 얼굴 검출 알고리즘을 우선 적용할 영역이 지정된 정보를 함께 전송받아 얼굴 검출을 수행하고, 전송받은 영상화면 및 검출된 얼굴정보를 데이터베이스(220)에 저장하거나 검출된 얼굴정보를 데이터베이스(220)에 기 저장된 얼굴정보와 비교하는 얼굴검출 서버(210)를 포함하여 구성된다. As shown in FIG. 5, the face detection system according to the present invention includes a microphone array 110 on a front face of a camera, and divides an image screen shot through a sound source localization technique to apply a face detection algorithm first And a surveillance camera 100 connected to the surveillance camera 100 through a wired / wireless communication network to transmit the surveillance camera 100 to the surveillance camera 100, And transmits the received image screen and the detected face information to the database 220 or transmits the detected face information to the database 220. [ And a face detection server 210 for comparing the face information stored in the face information storage unit 220 with the face information stored in advance.

또한, 얼굴검출 서버(210)는 검출된 얼굴정보를 데이터베이스(220)에 기 저장된 얼굴 정보와 비교하여 데이터베이스(220)에 등록되지 않은 외부인의 출현 또는 데이터베이스(220)에 위험인물로 지정된 인물의 출현이라고 판단된 경우, 이에 따른 대응을 수행할 수 있도록 경비업체 서버(300)와 유/무선 통신망을 통해 연결될 수도 있다.The face detection server 210 compares the detected face information with the face information previously stored in the database 220 to determine whether an outsider is registered in the database 220 or an appearance of a person designated as a dangerous person in the database 220 It may be connected to the security company server 300 through a wired / wireless communication network so that the security server 300 can perform a corresponding response.

이에 따라, 얼굴검출 서버(210)는 감시영역을 촬영한 영상과 촬영된 영상화면에서 얼굴 검출 알고리즘을 우선 적용할 영역이 지정된 정보를 함께 전송받음으로써, 촬영 영상 전체에 얼굴 검출 알고리즘을 적용할 필요가 없어 종래에 비해 더욱 신속하고 정확하게 얼굴 검출이 가능하며, HD급 이상의 고해상도 영상에서도 별도의 해상도를 낮추는 과정 없이 촬영영상에서 신속하게 얼굴을 검출할 수 있게 된다.
Accordingly, the face detection server 210 needs to apply the face detection algorithm to the entire photographed image by receiving the image of the surveillance region and the information of the region to which the face detection algorithm is to be preferentially applied together So that face detection can be performed more quickly and accurately than in the past, and even in a high-resolution image of HD class or higher, it is possible to quickly detect a face in a shot image without reducing the resolution.

도 6은 본 발명의 일실시예에 따른 얼굴 검출 방법을 나타내는 순서도이다.6 is a flowchart illustrating a face detection method according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 본 발명에 따른 얼굴 검출 방법은 감시카메라를 통해 감시영역을 촬영한 영상을 실시간 또는 기 설정된 간격으로 전송받는다. 이때, 감시카메라는 마이크로폰 어레이를 통해 감시영역에서 음성신호가 발생되는지 판단하고(S610), 음성신호가 발생된 경우 각각의 마이크에 도달하는 음성신호의 시간차를 알아낸 후 이를 계산하여 음원의 방향을 검출함으로써(S620), 촬영화면을 분할하고 얼굴 검출 알고리즘을 적용할 영역의 우선순위를 지정하여 이를 함께 전송한다(S630).As shown in FIG. 6, a face detection method according to the present invention receives an image of a surveillance region photographed through a surveillance camera at real time or at predetermined intervals. At this time, the surveillance camera determines whether a voice signal is generated in the surveillance area through the microphone array (S610). When the voice signal is generated, the surveillance camera calculates the time difference of the voice signal reaching each microphone, (Step S620). Then, the photographed image is divided and the priorities of the areas to which the face detection algorithm is applied are specified and transmitted together (S630).

예를 들어, 카메라렌즈를 중심으로 전방 마이크로폰(MF), 후방 마이크로폰(MB), 좌측 마이크로폰(ML), 우측 마이크로폰(MR)이 위치할 경우, 촬영영상 영역을 4개로 나누어 산출된 음원방향에 따라 얼굴 검출 알고리즘을 우선 적용할 영역을 지정한다. 즉, 전방 마이크로폰과 우측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우에는 제1영역이 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정되며, 전방 마이크로폰과 좌측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우에는 제2영역이 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정되고, 후방 마이크로폰과 좌측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우에는 제3영역이 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정되며, 후방 마이크로폰과 우측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우에는 제4영역이 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정한다.For example, when a front microphone (MF), a rear microphone (MB), a left microphone (ML), and a right microphone (MR) are positioned centering on a camera lens, the photographed image region is divided into four regions Specifies the area to which the face detection algorithm is applied first. That is, when the front microphone and the right microphone first recognize the voice signal, the first area is designated as a region to which the face detection algorithm is applied first. If the front microphone and the left microphone recognize the voice signal first, The area is designated as an area to which the face detection algorithm is applied first, and when the rear microphone and the left microphone recognize the voice signal first, the third area is designated as an area to which the face detection algorithm is applied first, and the rear microphone and the right microphone If the speech signal is recognized first, the fourth region is designated as a region to which the face detection algorithm is applied first.

이어서, 얼굴검출 서버는 감시카메라로부터 전송받은 촬영 영상 및 촬영 영상화면에서 얼굴 검출 알고리즘을 우선 적용할 영역이 지정된 정보를 통해 얼굴검출을 수행하며(S640), 검출된 얼굴정보를 데이터베이스에 저장하거나 데이터베이스에 기 저장된 얼굴 정보와 비교하여 데이터베이스에 등록되지 않은 외부인의 출현 또는 데이터베이스에 위험인물로 지정된 인물의 출현이라고 판단된 경우, 경비업체 서버에 이를 통보함으로써 그에 따른 신속한 대처가 가능하도록 수행한다.
Then, the face detection server performs face detection through the information that the area to which the face detection algorithm is to be applied is designated in the shot image and the shot image transmitted from the surveillance camera (S640), stores the detected face information in the database, If it is determined that an outsider who is not registered in the database or a person designated as a dangerous person appears in the database, the security server server is notified of the appearance of the person, so that quick response can be performed.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 취한, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. It will be obvious to those of ordinary skill in the art.

100 : 감시카메라 110 : 마이크로폰 어레이
120 : 카메라 모듈 130 : 제어모듈
140 : 통신모듈 210 : 얼굴검출 서버
220 : 데이터베이스 300 : 경비업체 서버100: surveillance camera 110: microphone array
120: camera module 130: control module
140: communication module 210: face detection server
220: database 300: guard company server

Claims (12)

카메라를 통해 감시영역을 촬영하여 영상을 획득하는 카메라 모듈;
전방 마이크로폰과 후방 마이크로폰, 좌측 마이크로폰과 우측 마이크로폰이 십자형상으로 배치되어 상기 카메라의 렌즈를 중심으로 전방, 후방, 좌측 및 우측에 구비된 마이크로폰 어레이; 및
상기 영상의 화면을 서로 중첩하지 않는 제1영역 내지 제4영역으로 분할하고, 상기 제1영역 내지 제4영역 중 상기 전방 마이크로폰과 후방 마이크로폰, 좌측 마이크로폰과 우측 마이크로폰에 도달하는 음성신호의 시간 차이로 검출된 음원방향과 대응되는 영역에 얼굴 검출 알고리즘을 우선적으로 적용하는 제어모듈;을 포함하고,
상기 제어모듈은, 전방 마이크로폰과 우측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제1영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하며, 전방 마이크로폰과 좌측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제2영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하고, 후방 마이크로폰과 좌측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제3영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하며, 후방 마이크로폰과 우측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제4영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하는 것을 특징으로 하는 감시카메라.
A camera module for photographing a surveillance region through a camera to acquire an image;
A microphone array having a front microphone, a rear microphone, a left microphone and a right microphone disposed in a cruciform shape and disposed at front, rear, left, and right sides of the lens of the camera; And
Wherein the image of the image is divided into a first region to a fourth region that do not overlap with each other, and a time difference between a sound signal reaching the front microphone, the rear microphone, the left microphone and the right microphone among the first region to the fourth region And a control module for preferentially applying a face detection algorithm to a region corresponding to the detected sound source direction,
The control module designates the face detection algorithm as a region to be applied first to the first area when the front microphone and the right microphone recognize the voice signal first. When the front microphone and the left microphone recognize the voice signal first, The face detection algorithm is designated as an area to be applied first, and when the rear microphone and the left microphone recognize the voice signal first, the face detection algorithm is designated as the area to be applied first in the third area, and the rear microphone and the right microphone Wherein when the first recognition unit recognizes the voice signal, the face detection algorithm is designated as the first area to be applied to the fourth area.
삭제delete 삭제delete 삭제delete 삭제delete 제 1항에 있어서,
상기 감시카메라는,
유/무선 통신을 수행하는 통신모듈이 추가로 구비되는 것을 특징으로 하는 감시카메라.
The method according to claim 1,
The surveillance camera includes:
And a communication module for performing wired / wireless communication is additionally provided.
적어도 한개 이상의 감시카메라와 유/무선 통신망을 통해 연결되어 실시간 또는 기 설정된 간격으로 촬영된 영상을 전송받는 얼굴 검출 시스템에 있어서,
상기 카메라를 통해 감시영역을 촬영하여 영상을 획득하는 카메라 모듈,
전방 마이크로폰과 후방 마이크로폰, 좌측 마이크로폰과 우측 마이크로폰이 십자형상으로 배치되어 상기 카메라의 렌즈를 중심으로 전방, 후방, 좌측 및 우측에 구비된 마이크로폰 어레이, 및
상기 영상의 화면을 서로 중첩하지 않는 제1영역 내지 제4영역으로 분할하고, 상기 제1영역 내지 제4영역 중 상기 전방 마이크로폰과 후방 마이크로폰, 좌측 마이크로폰과 우측 마이크로폰에 도달하는 음성신호의 시간 차이로 검출된 음원방향과 대응되는 영역에 얼굴 검출 알고리즘을 우선적으로 적용하는 제어모듈을 포함하고,
상기 제어모듈은, 전방 마이크로폰과 우측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제1영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하며, 전방 마이크로폰과 좌측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제2영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하고, 후방 마이크로폰과 좌측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제3영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하며, 후방 마이크로폰과 우측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제4영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하는 감시카메라;
상기 감시카메라를 통해 촬영된 영상 및 촬영된 영상 화면에서 얼굴 검출 알고리즘을 우선 적용할 영역이 지정된 정보를 함께 전송받아 해당 영역에서 얼굴 검출을 수행하는 얼굴검출 서버; 및
상기 감시카메라를 통해 전송받은 영상 및 상기 얼굴검출 서버에서 검출된 얼굴정보를 저장하는 데이터베이스;
를 포함하는 것을 특징으로 하는 얼굴 검출 시스템.
A face detection system connected to at least one surveillance camera via a wired / wireless communication network and receiving an image photographed in real time or at predetermined intervals,
A camera module for photographing a surveillance region through the camera to acquire an image,
A microphone array having a front microphone, a rear microphone, a left microphone and a right microphone disposed in a cruciform shape and disposed at front, rear, left, and right sides of the lens of the camera,
Wherein the image of the image is divided into a first region to a fourth region that do not overlap with each other, and a time difference between a sound signal reaching the front microphone, the rear microphone, the left microphone and the right microphone among the first region to the fourth region And a control module for preferentially applying a face detection algorithm to an area corresponding to the detected sound source direction,
The control module designates the face detection algorithm as a region to be applied first to the first area when the front microphone and the right microphone recognize the voice signal first. When the front microphone and the left microphone recognize the voice signal first, The face detection algorithm is designated as an area to be applied first, and when the rear microphone and the left microphone recognize the voice signal first, the face detection algorithm is designated as the area to be applied first in the third area, and the rear microphone and the right microphone A surveillance camera for designating a face detection algorithm as an area to be first applied to the fourth area when the voice signal is recognized first;
A face detection server for receiving the image photographed by the surveillance camera and the information to which the face detection algorithm is to be applied in the taken image screen together and performing face detection in the corresponding area; And
A database for storing the image transmitted through the surveillance camera and the face information detected by the face detection server;
And a face detection unit for detecting a face of the face.
삭제delete 제 7항에 있어서,
상기 얼굴검출 서버는,
검출된 얼굴 정보를 상기 데이터베이스에 기 저장된 얼굴 정보와 비교하여, 비상상황이 발생되었다고 판단된 경우 이를 통보할 수 있도록 경비업체 서버와 유/무선 통신망을 통해 연결되어 있는 것을 특징으로 하는 얼굴 검출 시스템.
8. The method of claim 7,
The face detection server includes:
Wherein the facial information is compared with face information previously stored in the database and is connected to a security company server through a wired / wireless communication network so that an emergency can be notified.
적어도 한개 이상의 감시카메라와 유/무선 통신망을 통해 연결되어 실시간 또는 기 설정된 간격으로 촬영된 영상을 전송받는 얼굴 검출 시스템을 이용한 얼굴 검출 방법에 있어서,
전방 마이크로폰과 후방 마이크로폰, 좌측 마이크로폰과 우측 마이크로폰이 십자형상으로 배치되어 상기 감시카메라의 렌즈를 중심으로 전방, 후방, 좌측 및 우측에 구비된 마이크로폰 어레이를 통해 감시영역에서 음성신호가 발생되는지 판단하는 단계와;
음성신호가 발생된 경우 상기 전방 마이크로폰과 후방 마이크로폰, 좌측 마이크로폰과 우측 마이크로폰에 도달하는 음성신호의 시간 차이로 음원의 방향을 검출하는 단계와;
촬영된 영상화면을 서로 중첩하지 않는 제1영역 내지 제4영역으로 분할하고, 전방 마이크로폰과 우측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제1영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하며, 전방 마이크로폰과 좌측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제2영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하고, 후방 마이크로폰과 좌측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제3영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하며, 후방 마이크로폰과 우측 마이크로폰이 가장 먼저 음성신호를 인지하였을 경우 제4영역에 얼굴 검출 알고리즘을 우선 적용할 영역으로 지정하는 단계; 및
얼굴검출 서버가 상기 감시카메라를 통해 촬영된 영상 및 얼굴 검출 알고리즘을 우선 적용할 영역 정보를 함께 전송받아 해당 영역의 얼굴 검출을 수행하는 단계;
를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
A face detection method using a face detection system, which is connected to at least one surveillance camera through a wired / wireless communication network and receives an image captured in real time or at predetermined intervals,
Determining whether a voice signal is generated in the surveillance region through the microphone array disposed at the front, rear, left, and right sides of the lens of the surveillance camera with the front microphone, the rear microphone, the left microphone and the right microphone arranged in a cross shape Wow;
Detecting a direction of a sound source based on a time difference between a sound signal arriving at the front microphone, a rear microphone, a left microphone and a right microphone when a voice signal is generated;
A face detection algorithm is divided into a first area and a fourth area which are not overlapped with each other, and when a front microphone and a right microphone first recognize a voice signal, When the front microphone and the left microphone first recognize the voice signal, the face detection algorithm is designated as the first area to be applied to the second area. If the rear microphone and the left microphone recognize the voice signal first, the face detection Designating an area to which a face detection algorithm is to be applied first, designating a face detection algorithm as an area to be applied first in a fourth area when a rear microphone and a right microphone first recognize a voice signal; And
The face detection server receiving the image photographed through the surveillance camera and the area information to which the face detection algorithm is applied first together and performing face detection of the corresponding area;
And a face detection step of detecting a face of the face.
삭제delete 제 10항에 있어서,
상기 얼굴검출 서버는,
검출된 얼굴 정보를 데이터베이스에 기 저장된 얼굴 정보와 비교하여, 비상상황이 발생되었다고 판단된 경우 이를 경비업체 서버에 통보하는 단계를 추가로 구비하는 것을 특징으로 하는 얼굴 검출 방법.
11. The method of claim 10,
The face detection server includes:
Comparing the detected face information with the face information stored in the database, and notifying the security company server of the occurrence of an emergency situation.
KR1020130018290A 2013-02-20 2013-02-20 A system and the method for detecting face using CCTV KR101470939B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130018290A KR101470939B1 (en) 2013-02-20 2013-02-20 A system and the method for detecting face using CCTV

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130018290A KR101470939B1 (en) 2013-02-20 2013-02-20 A system and the method for detecting face using CCTV

Publications (2)

Publication Number Publication Date
KR20140104289A KR20140104289A (en) 2014-08-28
KR101470939B1 true KR101470939B1 (en) 2014-12-09

Family

ID=51748213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130018290A KR101470939B1 (en) 2013-02-20 2013-02-20 A system and the method for detecting face using CCTV

Country Status (1)

Country Link
KR (1) KR101470939B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102090879B1 (en) * 2018-10-25 2020-03-18 주식회사 서브 Remote face recognition on long distance and multi channel monitoring system
CN112578338B (en) * 2019-09-27 2024-05-14 阿里巴巴集团控股有限公司 Sound source positioning method, device, equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060083883A (en) * 2005-01-17 2006-07-21 소니 가부시끼 가이샤 Camera control apparatus, camera system, electronic conference system, and camera control method
KR20110095113A (en) * 2010-02-16 2011-08-24 윤재민 Digital video recorder system displaying sound fields and application method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060083883A (en) * 2005-01-17 2006-07-21 소니 가부시끼 가이샤 Camera control apparatus, camera system, electronic conference system, and camera control method
KR20110095113A (en) * 2010-02-16 2011-08-24 윤재민 Digital video recorder system displaying sound fields and application method thereof

Also Published As

Publication number Publication date
KR20140104289A (en) 2014-08-28

Similar Documents

Publication Publication Date Title
KR101647370B1 (en) road traffic information management system for g using camera and radar
WO2018101247A1 (en) Image recognition imaging apparatus
KR101530255B1 (en) Cctv system having auto tracking function of moving target
KR101496390B1 (en) System for Vehicle Number Detection
EP3641298B1 (en) Method and device for capturing target object and video monitoring device
US10019624B2 (en) Face recognition system and face recognition method
KR101916467B1 (en) Apparatus and method for detecting obstacle for Around View Monitoring system
JP2009143722A (en) Person tracking apparatus, person tracking method and person tracking program
CN107111764B (en) Events triggered by the depth of an object in the field of view of an imaging device
EP2309454A2 (en) Apparatus and method for detecting motion
KR101492473B1 (en) Context-aware cctv intergrated managment system with user-based
EP3018902B1 (en) Monitoring camera system
KR20140076415A (en) Apparatus and method for providing information of blind spot
CN111160220B (en) Deep learning-based parcel detection method and device and storage medium
US20180276452A1 (en) Face authentication device having database with small storage capacity
KR20200027149A (en) Method and apparatus for estimating moving velocity of vehicle
JP6617150B2 (en) Object detection method and object detection apparatus
KR101470939B1 (en) A system and the method for detecting face using CCTV
JP2017167608A (en) Object recognition device, object recognition method, and object recognition program
JP2008165595A (en) Obstacle detection method, obstacle detection device, and obstacle detection system
KR101285127B1 (en) Apparatus for monitoring loading material of vehicle
JP2019027882A (en) Object distance detector
JP2008182459A (en) Passage monitoring system
JP2018201146A (en) Image correction apparatus, image correction method, attention point recognition apparatus, attention point recognition method, and abnormality detection system
KR101669885B1 (en) method of detecting pedestrian collision and IoT apparatus thereof

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 5