KR101448392B1

KR101448392B1 - People counting method

Info

Publication number: KR101448392B1
Application number: KR1020130071761A
Authority: KR
Inventors: 고기남; 문남미; 이용섭; 김경록
Original assignee: 호서대학교 산학협력단
Priority date: 2013-06-21
Filing date: 2013-06-21
Publication date: 2014-10-13

Abstract

The present invention relates to a people counting method capable of counting the number of visitors by classifying the number of people entering a building according to each age group by using image data photographed by a plurality of depth image cameras. The people counting method includes a step of inputting an upper image and a front image through an upper camera and a front camera installed on the upper end and the front side of an entrance, respectively; a step of extracting a head object and a face object, respectively from the inputted upper image and front image; a step of classifying a face age of the extracted face object by using predefined age classification data; and a step of counting the number of visitors for each age by using head object information for the extracted upper image and the classified face age information.

Description

People counting method

본 발명은 피플(People) 카운팅 방법에 관한 것으로서, 특히 복수개의 깊이(Depth) 영상 카메라를 통해 촬영된 영상 데이터를 이용하여 출입하는 사람들의 수를 나이대별로 각각 분류하여 카운팅할 수 있도록 한 피플 카운팅 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method of counting people, and more particularly, to a method and apparatus for counting people by using image data shot through a plurality of depth video cameras, .

최근 디지털 카메라, 웹캠 등과 같은 영상 센서의 보급으로 인해 영상 센서에서 획득한 영상에서 인간의 신체 및 특징, 행동, 다양한 사물을 인식하는 연구의 필요성이 빠르게 증가하고 있다. 또한, 인간의 얼굴이 포함된 영상에서 다양한 영상 처리 기법들을 활용하여 얼굴 정보를 자동으로 인식하기 위한 연구도 활발히 진행되고 있다.Recently, the necessity of research for recognizing human body, characteristics, behavior, and various objects in images acquired by image sensors due to the spread of image sensors such as digital cameras and webcams is rapidly increasing. In addition, researches for automatically recognizing facial information using various image processing techniques in an image including a human face are being actively carried out.

기존의 피플 카운팅 시스템은 적외선 센서, 온도 센서 등을 사용하는 비영상 시스템과 영상 센서(카메라)를 사용하는 영상 시스템으로 분류할 수 있다. 비영상 시스템의 경우 영상 시스템에 비해 계수의 정확도는 높으나 단순 계수만이 가능하고, 사람 이외에 움직이는 물체를 구분하기 어려운 단점을 가지고 있다. 또한 기존의 영상 시스템은 단일 영상 센서를 활용하는 시스템이 대부분이며, 이로 인해 필수적으로 발생하는 사람의 겹침 및 가림 현상으로 계수의 정확성이 저하되는 문제점을 가지고 있다. Conventional people counting systems can be classified into non-imaging systems using infrared sensors, temperature sensors, and imaging systems using image sensors (cameras). In the case of non-image system, the accuracy of the coefficient is higher than that of the image system, but only the simple coefficient is possible, and it is difficult to distinguish moving objects other than a human. In addition, most existing systems use a single image sensor, which causes the accuracy of the coefficients to be degraded due to overlapping and occlusion of human beings.

한편, 기존에는 단순히 출입자의 수만 카운팅할 뿐 출입자의 연령별 분류가 이루어지지 않아 출입자의 계수 카운팅 정보의 활용도가 한정될 수 밖에 없는 문제점을 가지고 있다.On the other hand, in the past, only the number of the passengers is counted, and since the passengers are not classified according to the age, the utilization count counting information of the passengers is limited.

이에, 복수의 깊이 카메라를 설치하여 움직이는 출입자, 겹침 및 가림 상태의 출입자도 정확하게 카운팅할 수 있는 연구와, 출입자의 수를 카운팅하는데 있어 추후 카운팅 정보의 활용도를 높일 수 있도록 출입자의 카운팅을 연령별로 각각 분류하여 카운팅할 수 있도록 하는 연구가 필요한 실정이다.
Therefore, it is possible to accurately count the number of passengers who are moving by installing a plurality of depth cameras, the number of passengers in the overlapping and occluded state, and the counting of the passengers so that the utilization of the counting information can be increased in counting the number of passengers. It is necessary to conduct research for classification and counting.

따라서, 본 발명의 목적은 복수개의 깊이(Depth)영상 카메라를 출입구의 정면과 상단에 각각 설치하여 각각의 깊이 카메라를 통해 촬영된 영상 데이터를 이용하여 출입하는 출입자의 수를 어떠한 환경에서도 정확하게 카운팅할 수 있도록 한 피플 카운팅 방법을 제공하는데 있다. Accordingly, an object of the present invention is to provide a video camera having a plurality of depth cameras installed at the front and the top of an entrance, respectively, and accurately counting the number of passengers entering and exiting using image data photographed through each depth camera To provide a method for counting people.

본 발명의 다른 목적은 상기한 출입자 카운팅을 수행하는데 있어서 출입자를 연령대 별로 각각 분류하여 출입자의 수를 카운팅할 수 있도록 한 피플 카운팅 방법을 제공하는데 있다. Another object of the present invention is to provide a method of counting people, which can count the number of passengers by classifying the passengers by age group in performing the above-mentioned passengers counting.

본 발명의 일 실시예에 따른 피플 카운팅 방법은, 출입구의 상단 및 정면에 각각 설치된 상단 카메라 및 정면 카메라를 통해 상단 영상 및 정면 영상을 입력하는 단계; 상기 입력되는 상단 영상과 정면 영상으로부터 각각 머리 객체와 얼굴 객체를 각각 추출하는 단계; 상기 추출된 얼굴 객체에 대하여 기 설정된 나이 분류 데이터를 이용하여 얼굴 나이를 분류하는 단계; 및 상기 추출된 상단 영상에 대한 머리 객체 정보와 상기 분류된 얼굴 나이 정보를 이용하여 출입자의 수를 나이별로 분류하여 카운팅하는 단계를 포함할 수 있다. The method of counting people according to an embodiment of the present invention includes steps of inputting a top image and a front image through an upper camera and a front camera respectively installed on an upper and a front of an entrance, Extracting a head object and a face object from the input top image and the front image, respectively; Classifying the face age using the predetermined age classification data for the extracted face object; And counting the number of the passengers by age using the head object information and the classified face age information for the extracted upper image.

상기 얼굴 나이 추출을 위한 나이분류 데이터와, 상기 나이별로 분류되어 카운팅되는 출입자의 카운팅 정보를 데이터베이스에 저장하는 단계를 더 포함한다. Storing the age classification data for extracting the face age and the counting information of the passengers classified and counted by the age into the database.

상기 입력되는 상단 영상과 정면 영상의 입력은 깊이 카메라를 이용한다. A depth camera is used to input the input upper image and the front image.

상기 객체를 추출하는 단계는, 상기 상단 카메라를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거하는 단계; 상기 배경이 제거된 전경 영상으로부터 전경 객체를 추출하는 단계; 상기 추출된 전경 객체에 대하여 객체 블랍을 지정하는 단계; 및 상기 지정된 블랍을 이용하여 머리 객체를 검출한 후, 검출된 머리 객체 정보를 검출하는 단계를 포함한다. The step of extracting the object may include: removing a background image from an RGBD image input through the upper camera; Extracting a foreground object from the foreground image from which the background is removed; Designating an object blob for the extracted foreground object; And detecting the head object using the designated blob, and detecting the detected head object information.

상기 배경 영상을 제거하는 단계에서, 배경 영상 제거는 차 연산 및 가우시안 혼합 모델링 방법을 통해 수행한다. In the step of removing the background image, the background image removal is performed through a difference operation and a Gaussian mixture modeling method.

상기 객체 블랍을 지정하는 단계에서, 전경객체에 대한 블랍 지정은 히스토그램 분석 및 레이블링 기법을 이용하고, 머리 객체 정보를 검출하는 단계에서 머리 객체의 검출은 레이블링 필터링을 통해 검출한다. In the step of designating the object blob, the blob designation for the foreground object uses the histogram analysis and labeling technique, and in the step of detecting the head object information, the detection of the head object is detected through the labeling filtering.

상기 객체를 추출하는 단계는, 상기 정면 카메라를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거하는 단계; 상기 배경이 제거된 전경 영상으로부터 전경 객체를 추출하는 단계; 및 상기 추출된 전경 영상으로부터 사람 객체를 검출하는 단계를 포함한다. The step of extracting the object may include: removing a background image from an RGBD image input through the front camera; Extracting a foreground object from the foreground image from which the background is removed; And detecting a human object from the extracted foreground image.

상기 객체를 검출하는 단계에서, 상기 추출된 전경 영상에서 깊이 정보를 이용한 관절 추적 방법을 이용하여 사람 객체를 검출한다. In detecting the object, a human object is detected using a joint tracking method using depth information in the extracted foreground image.

상기 얼굴 나이를 분류하는 단계, 상기 추출된 얼굴 객체 영역을 대상으로 깊이 데이터 기반 AAM(Active Appearance Models) 방법을 이용하여 얼굴을 인식하는 단계; 상기 인식된 얼굴 영상으로부터 121개의 얼굴 특징점을 추출하는 단계; 상기 추출된 121개의 얼굴 특징점들로부터 8개의 나이 특징점을 추출하는 단계; 상기 추출된 121개의 얼굴 특징점들로부터 9개의 주름 영역 보조점을 추출하는 단계; 상기 추출된 8개의 나이 특징점들로부터 7개의 얼굴 특징 비율을 측정하는 단계; 상기 추출된 9개의 주름 영역 보조점들과 상기 추출된 8개의 나이 특징점들로부터 4개의 주름 영역을 검출하는 단계; 상기 검출된 4개의 주름 영역에 대한 주름 밀도를 측정하는 단계; 및 상기 측정된 7개의 얼굴 특징 비율값과 상기 측정된 4개의 주름 밀도값을 입력벡터로 하여 설정된 나이 분류 데이터에 따라 얼굴 객체를 설정된 나이 그룹으로 분류하는 단계를 포함한다. Classifying the face age, recognizing a face using depth data based AAM (Active Appearance Models) method on the extracted face object area; Extracting 121 facial feature points from the recognized facial image; Extracting eight age feature points from the extracted 121 facial feature points; Extracting nine crease area auxiliary points from the extracted 121 facial feature points; Measuring seven facial feature ratios from the extracted eight age feature points; Detecting four corrugated regions from the extracted nine corrugated area auxiliary points and the extracted eight age minutiae; Measuring wrinkle density for the four detected wrinkle areas; And classifying the face objects into the set age group according to the set of the seven facial feature ratio values and the measured four fold density values as the input vector.

상기 나이 그룹으로 분류하는 단계에서, 나이 분류는 신경망 방법을 이용하여 객체의 나이를 분류한다. In the classification into the age group, the age classification classifies the age of the object using a neural network method.

상기 카운팅하는 단계는, 상기 추출된 머리 객체와 얼굴 객체 각각이 상호 동일한 사람에 대한 객체인지를 판별하는 단계; 상기 판별결과, 각각의 객체가 동일한 사람의 객체로 판별되는 경우, 각 객체에 대하여 객체별 고유 태그를 부여하는 단계; 상기 각 객체별로 부여된 태그 정보를 이용하여 객체를 추적하는 단계; 상기 추적된 객체 정보와 상기 추출된 얼굴 객체에 대한 얼굴 나이 정보를 이용하여 입장객의 수를 나이별로 카운팅하고, 상기 추적된 객체 정보를 이용하여 퇴장객의 수를 카운팅하는 단계를 포함한다. Wherein the counting step comprises: determining whether the extracted head object and the extracted face object are objects of the same person; Assigning a unique tag for each object to each object when each object is identified as an object of the same person as a result of the determination; Tracking an object using tag information assigned for each object; Counting the number of viewers by age using the tracked object information and face age information of the extracted face object, and counting the number of leaving guests by using the tracked object information.

상기 동일 객체를 판별하는 단계에서, 동일 객체 판별은 머리 객체 블랍의 중심점과 얼굴 객체 블랍의 중심점에 대한 거리를 매핑해 교차되는 지점의 객체를 동일객체로 판별한다. In the step of discriminating the same object, the same object discrimination is performed by mapping the center point of the head object blob and the center point of the face object blob to determine the object at the intersecting point as the same object.

상기 객체를 추적하는 단계에서, 객체 추적은 확장 칼만 필터(EKF) 알고리즘을 이용한다. In tracking the object, object tracking uses an extended Kalman filter (EKF) algorithm.

상기 카운팅하는 단계에서, 입장객과 퇴장객의 카운팅은 라인 드로잉기법을 이용하여 카운팅한다. In the counting step, the counting of the visitor and the exit visitor counts using a line drawing technique.

본 발명의 다른 실시예에 따른 피플 카운팅 방법은, 출입구의 상단 및 정면에 각각 설치된 제1,2 깊이 카메라를 통해 출입자의 영상을 각각 촬영한 후, 촬영된 RGBD 상단 영상 및 RGBD 정면영상을 각각 입력하는 단계; 상기 제1,2 깊이 카메라를 통해 각각 입력되는 RGBD 영상으로부터 배경 영상을 각각 제거하고, 배경이 제거된 제1,2 전경 영상으로부터 제1,2 전경 객체를 추출하는 단계; 상기 추출된 제1 전경 객체에 대하여 객체 블랍을 지정하고, 지정된 블랍을 이용하여 머리 객체를 검출하고, 상기 추출된 제2 전경 객체로부터 사람 객체를 검출하는 단계; 상기 각각의 객체가 상호 동일한 사람에 대한 객체인지를 판별하고, 동일한 사람의 객체로 판별되면, 각각 객체에 대하여 객체별 고유 태그를 부여하는 단계; 상기 각 객체별로 부여된 태그 정보를 이용하여 객체를 추적하는 단계; 및 상기 추적된 객체를 이용하여 입장객의 수를 카운팅하는 단계를 포함할 수 있다. In the method of counting people according to another embodiment of the present invention, the images of the passengers are photographed through the first and second depth cameras respectively installed at the upper and the front of the doorway, and then the photographed RGBD top image and the RGBD front image are inputted ; Removing background images from RGBD images input through the first and second depth cameras, respectively, and extracting first and second foreground objects from the first and second foreground images with background removed; Designating an object blob for the extracted first foreground object, detecting a head object using a designated blob, and detecting a human object from the extracted foreground object; Determining whether each of the objects is an object for the same person, and assigning a unique tag for each object to the object when the object is identified as an object of the same person; Tracking an object using tag information assigned for each object; And counting the number of visitors using the tracked object.

한편, 본 발명의 또 다른 실시예에 따른 얼굴 나이 판별방법은, 출입구의 정면에 설치된 깊이 카메라를 이용하여 출입자의 정면영상을 촬영한 후, 촬영된 정면영상에 대한 RGBD 영상데이터를 입력하는 단계; 상기 입력되는 RGBD 영상데이터로부터 배경 영상을 각각 제거하고, 배경이 제거된 전경 영상으로부터 전경 객체를 추출하는 단계; 상기 추출된 전경 객체로부터 얼굴 객체를 검출하는 단계; 상기 검출된 얼굴 객체 영역을 대상으로 깊이 데이터 기반 AAM(Active Appearance Models) 방법을 이용하여 얼굴을 인식하여 인식된 얼굴 영상으로부터 121개의 얼굴 특징점을 추출하는 단계; 상기 추출된 121개의 얼굴 특징점들로부터 8개의 나이 특징점을 추출하는 단계; 상기 추출된 121개의 얼굴 특징점들로부터 9개의 주름 영역 보조점을 추출하는 단계; 상기 추출된 8개의 나이 특징점들로부터 7개의 얼굴 특징 비율을 측정하는 단계; 상기 추출된 9개의 주름 영역 보조점들과 상기 추출된 8개의 나이 특징점들로부터 4개의 주름 영역을 검출하는 단계; 상기 검출된 4개의 주름 영역에 대한 주름 밀도를 측정하는 단계; 및 상기 측정된 7개의 얼굴 특징 비율값과 상기 측정된 4개의 주름 밀도값을 입력벡터로 하여 설정된 나이 분류 데이터에 따라 얼굴 객체를 설정된 나이 그룹으로 분류하는 단계를 포함할 수 있다. According to another aspect of the present invention, there is provided a face age determining method, comprising: capturing a front image of a person using a depth camera installed on a front face of an entrance; inputting RGBD image data of the front face image; Removing background images from the input RGBD image data and extracting foreground objects from the foreground images from which the background is removed; Detecting a face object from the extracted foreground object; Extracting 121 face feature points from the recognized face image by recognizing the face using the depth data based AAM (Active Appearance Models) method on the detected face object area; Extracting eight age feature points from the extracted 121 facial feature points; Extracting nine crease area auxiliary points from the extracted 121 facial feature points; Measuring seven facial feature ratios from the extracted eight age feature points; Detecting four corrugated regions from the extracted nine corrugated area auxiliary points and the extracted eight age minutiae; Measuring wrinkle density for the four detected wrinkle areas; And classifying the face objects into an established age group according to the set of age classification data set by using the measured seven face feature ratio values and the measured four wrinkle density values as input vectors.

본 발명에 따른 피플 카운팅 방법은, 복수개의 깊이(Depth)영상 카메라를 출입구의 정면과 상단에 각각 설치하여 각각의 깊이 영상 카메라를 통해 촬영된 영상 데이터를 이용하여 어떠한 환경(예를 들면, 조명의 변화, 출입자의 겹침, 가림현상)에서도 정확하게 출입자의 수를 카운팅하고, 카운팅되는 출입자를 연령대별로 각각 분류하여 카운팅할 수 있도록 한다. 따라서, 쇼핑몰, 공항 등과 같은 공공건물이 점차적으로 대형화되고 복합화되고 있는 추세에 따라 이러한 대형 건물에서 방문객의 수를 연령대별로 각각 분류하여 카운팅한 카운팅 정보를 마케팅, 안내, 건물 보안 등에 유용하게 활용할 수 있는 효과를 가지게 된다.
A person counting method according to the present invention is a method of counting people by providing a plurality of depth video cameras at the front and top of a doorway, respectively, and using any image data captured through each depth camera, The number of passengers is accurately counted, and the passengers who are counted can be classified and counted for each age group. Therefore, according to the tendency that public buildings such as shopping malls and airports are becoming larger and more complex, the counting information in which the number of visitors is counted by age group in such a large building can be utilized for marketing, guidance, Effect.

도 1은 본 발명의 일 실시예에 따른 피플 카운팅 시스템의 개략적 블록 구성을 나타낸 도면.
도 2는 도 1에 도시된 제1 객체 추출부에 대한 상세 블록 구성을 나타낸 도면.
도 3은 도 2에 도시된 배경 제거부에서 가우시안 혼합 모델을 이용하여 입력 영상으로부터 배경 영상을 제거한 후, 전격 객체를 추출하는 방법에 대한 영상화면의 일 예를 나타낸 도면.
도 4는 도 2에 도시된 객체 블랍 지정부에서 레이블링 기법을 이용하여 전경 객체에 대하여 블랍을 지정하는 방법의 일 예를 나타낸 도면.
도 5는 도 4의 레이블링 기법으로 객체 블랍을 지정한 블랍 적용 영상의 일 예를 나타낸 도면.
도 6은 도 5의 블랍 적용 영상으로부터 특정개체(머리개체)만을 검출한 영상의 일 예를 나타낸 도면.
도 7은 도 1에 도시된 제2 객체 추출부에 대한 상세 블록 구성을 나타낸 도면.
도 8은 도 1에 도시된 피플 카운팅부(500)에 대한 상세 블록 구성을 나타낸 도면.
도 9a와 도 9b는 도 1에 도시된 제1 객체 추출부(300)와 제2 객체 추출부(400)에서 추출된 각 객체에 대해 태그 정보를 부여한 영상의 일 예를 나타낸 도면.
도 10은 도 8에 도시된 객체 추적부에서 확장 칼만 필터 알고리즘을 적용한 객체의 좌표 추적 결과를 나타낸 도면.
도 11은 도 10에서의 객체 좌표 추적 결과에 따른 객체 추적 영상의 일 예를 나타낸 도면이다.
도 12는 도 1에 도시된 얼굴 나이 분류부에 대한 상세 블록 구성을 나타낸 도면.
도 13은 도 12에 도시된 얼굴 특징점 추출부에서의 얼굴 특징점 추출 영상의 일 예를 나타낸 도면.
도 14는 도 12에 도시된 나이 특징점 추출부에서의 추출되는 8개의 나이 특징점 위치 영상의 일 예를 나타낸 도면.
도 15는 도 12에 도시된 주름 영역 보조점 추출부에서 추출된 9개의 주름 영역 보조점 위치 영상의 일 예를 나타낸 도면.
도 16은 도 12의 나이 특징점 추출부에서의 나이 특징점 교정 과정을 나타낸 도면.
도 17은 도 12에 도시된 주름 영역 검출부에서 검출된 4개의 주름 영역을 표시한 영상의 일 예를 나타낸 도면.
도 18은 도 17에 도시된 4개의 주름 영역의 원본 영상과 주름(엣지) 추출 영상의 일 예를 나타낸 도면.
도 19는 도 12에 도시된 나이 그룹 분류부에서 나이 분류를 위해 신경망 방법을 통해 나이 분류가 이루어지는 과정을 나타낸 도면.
도 20은 도 1에 도시된 데이터베이스의 상세 블록 구성을 나타낸 도면.
도 21은 도 8에 도시된 카운팅부에서 피플 카운팅을 위한 가상의 기준선과 출입 카운트를 수행하는 영상의 일 예를 나타낸 도면.
도 22는 본 발명에 따른 피플 카운팅 방법에 대한 동작 플로우챠트를 나타낸 도면.1 shows a schematic block configuration of a people counting system according to an embodiment of the present invention.
FIG. 2 is a detailed block diagram of the first object extracting unit shown in FIG. 1. FIG.
3 is a view showing an example of an image screen for a method of removing a background image from an input image using a Gaussian mixture model in the background removal shown in FIG. 2, and then extracting a lightning object.
FIG. 4 illustrates an example of a method for designating a blob for a foreground object using the labeling technique in the object-blindspecifier shown in FIG.
FIG. 5 illustrates an example of a blob applied image in which an object blob is designated by the labeling technique of FIG.
FIG. 6 is a view showing an example of an image in which only a specific entity (head entity) is detected from the bloat application image of FIG. 5;
FIG. 7 is a detailed block diagram of the second object extracting unit shown in FIG. 1. FIG.
8 is a detailed block diagram of the person counting unit 500 shown in FIG. 1. FIG.
9A and 9B are views showing an example of an image to which tag information is assigned for each object extracted from the first object extracting unit 300 and the second object extracting unit 400 shown in FIG.
10 is a diagram showing a coordinate tracking result of an object to which an extended Kalman filter algorithm is applied in the object tracking unit shown in FIG.
FIG. 11 is a diagram illustrating an example of an object tracking image according to the object coordinate tracking result in FIG.
FIG. 12 is a detailed block diagram of the face age classifying unit shown in FIG. 1; FIG.
13 is a view showing an example of a facial feature point extraction image in the facial feature point extraction unit shown in Fig.
FIG. 14 is a view showing an example of eight age minutia position images extracted by the age minutiae point extracting unit shown in FIG. 12; FIG.
FIG. 15 is a view showing an example of nine crease area auxiliary point position images extracted by the crease area auxiliary point extraction unit shown in FIG. 12; FIG.
FIG. 16 is a view showing an age minutiae calibration process in the age minutiae extracting unit of FIG. 12. FIG.
17 is a view showing an example of an image in which four corrugated regions detected by the corrugated region detecting unit shown in FIG. 12 are displayed.
FIG. 18 is a view showing an example of an original image and a corrugated (edge) extracted image of the four corrugated regions shown in FIG. 17; FIG.
FIG. 19 is a diagram illustrating a process in which the age classification is performed by the neural network method for the age classification in the age group classification unit shown in FIG. 12;
20 is a detailed block diagram of the database shown in Fig.
FIG. 21 is a view showing an example of an image for performing a virtual reference line and an access count for counting a person in the counting unit shown in FIG. 8; FIG.
22 is a flowchart of an operation for a people counting method according to the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms and should be construed in a sense and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are included. Therefore, It is to be understood that equivalents and modifications are possible.

이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 피플 카운팅 시스템의 개략적 블록 구성을 나타낸 도면이다. 1 is a schematic block diagram of a people counting system according to an embodiment of the present invention.

도 1에 도시된 바와 같이 본 발명에 따른 피플 카운팅 시스템은 제1,2 영상 입력부(100, 200), 제1,2 객체 추출부(300, 400), 피플 카운팅부(500), 얼굴 나이 분류부(600) 및 데이터베이스(700)를 포함한다. 1, the subject counting system according to the present invention includes first and second image input units 100 and 200, first and second object extracting units 300 and 400, a person counting unit 500, A part 600 and a database 700. [

제1,2 영상 입력부(100, 200)은 각각 깊이 영상 카메라일 수 있으며, 제1 영상 입력부(100)는 출입구의 상단에 설치되어 출입자를 촬영하여 촬영된 영상 신호를 제1 객체 추출부(300)로 제공하고, 제2 영상 입력부(200)는 출입구의 정면에 설치되어 출입자를 촬영하여 촬영된 영상신호를 제2 객체 추출부(400)로 제공한다. The first and second image input units 100 and 200 may each be a depth image camera. The first image input unit 100 is installed at the upper end of the entrance, captures the entrance and transmits the captured image signal to the first object extracting unit 300 And the second image input unit 200 is installed in front of the entrance to capture the entrance and provide the captured image signal to the second object extraction unit 400. [

제1 객체 추출부(300)는 제1 영상 입력부(100)로부터 제공되는 영상신호로부터 출입자의 머리 부분에 대한 객체를 추출하여 추출된 머리부분 객체 영상신호를 피플 카운팅부(500)로 제공한다. The first object extraction unit 300 extracts an object of a head part of a visitor from the image signal provided from the first image input unit 100 and provides the extracted head part object image signal to the person counting unit 500.

제2 객체 추출부(300)는 제2 영상 입력부(200)로부터 제공되는 영상신호로부터 출입자의 얼굴 부분에 대한 객체를 추출하여 추출된 객체 얼굴부분 영상신호를 피플 카운팅부(500) 및 얼굴 나이 분류부(600)로 각각 제공한다. The second object extracting unit 300 extracts the object of the face part of the user from the image signal provided from the second image input unit 200 and outputs the extracted object face part image signal to the person counting unit 500 and the face age classification (600), respectively.

얼굴 나이 분류부(600)는 제2 객체 추출부(400)에서 추출된 객체 즉, 출입자의 얼굴 영상으로부터 나이 분류를 위한 특징점들을 각각 추출하고, 추출된 각각의 특징점들과 데이터베이스(700)에 저장된 나이 그룹 분류 데이터들을 비교하여 출입자의 얼굴 나이를 분류한 후, 분류된 나이 정보를 피플 카운팅부(500)로 제공한다. The face age classifier 600 extracts feature points for classifying the age from the object extracted from the second object extractor 400, that is, the face image of the user, and stores the extracted feature points in the database 700 The age group classification data is compared to classify the face age of the passer, and the classified age information is provided to the person counting unit 500.

피플 카운팅부(500)는 제1 객체 추출부(300)에서 제공되는 객체 정보와 제2 객체 추출부(400)에서 제공되는 객체 정보가 상호 동일한 객체인지를 판별한 후, 객체 정보가 동일한 출입자의 객체라고 판단되는 경우 얼굴 나이 분류부(600)에서 제공되는 해당 객체의 나이 정보와 데이터베이스(700)에 기 저장된 나이별 입장객 카운팅 정보를 비교하여 입장객을 나이별로 각각 카운팅하여 데이터베이스(700)에 카운팅 정보로서 저장한다.The person counting unit 500 determines whether the object information provided by the first object extracting unit 300 and the object information provided by the second object extracting unit 400 are identical to each other, If it is determined that the object is an object, the age information of the object provided in the face age classifying unit 600 is compared with the visitor counting information of each age previously stored in the database 700, .

한편, 피플 카운팅부(500)는 상기 객체 정보의 동일성 여부 판별결과, 상호 동일한 객체가 아니라고 판단되는 경우 해당 객체는 퇴장하는 퇴장객이라 판단하여 이를 카운팅한 후, 카운팅 정보를 데이터베이스에 퇴장객 정보로서 저장한다. On the other hand, if it is determined that the object information is not the same object as the object information, the person counting unit 500 determines that the object is an exit person who is leaving and counts the object, .

이와 같은 피플 카운팅 시스템의 각각의 구성요소 및 그 구성요소에 대한 동작에 대하여 첨부한 도면을 참조하여 상세하게 설명해 보기로 하자.The operation of each component of the above-mentioned people counting system and its components will be described in detail with reference to the accompanying drawings.

먼저, 도 1에 도시된 제1 객체 추출부(300)의 상세 구성 및 동작에 대하여 도 2를 참조하여 설명한다. First, the detailed configuration and operation of the first object extracting unit 300 shown in FIG. 1 will be described with reference to FIG.

도 2를 참조하면, 제1 객체 추출부(300)는 배경 제거부(310), 전경 객체 추출부(320), 객체 블랍 지정부(330) 및 객체 검출부(340)를 포함할 수 있다. Referring to FIG. 2, the first object extracting unit 300 may include a background removing unit 310, a foreground object extracting unit 320, an object buffer specification unit 330, and an object detecting unit 340.

상기 배경 제거부(10)는 출입구 상단에 설치된 제1 영상 입력부(100)를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거한다. 배경 제거를 위해 두 가지 방법을 이용하게 되는데 첫 째, 차 연산을 이용하고, 둘째, 가우시안 혼합모델을 이용한다. The background removing unit 10 removes the background image from the RGBD image input through the first image input unit 100 installed at the entrance. Two methods are used for background removal. First, we use the difference operation. Second, we use the Gaussian mixture model.

먼저, 차 연산을 통한 배경 제거는 상기 입력 영상의 초기 프레임(k)과 현재 프레임 간의 차 연산을 통해 수행되며, 이는 아래의 수학식 1과 같이 표현될 수 있다. First, the background removal through the difference operation is performed through a difference operation between the initial frame (k) of the input image and the current frame, which can be expressed as Equation 1 below.

여기서, depth(i,j)는 깊이 영상의 픽셀(Pixel)의 좌표값이고, k는 입력 영상의 초기 프레임의 개수이다.
즉, 수학식 1을 통해 k개의 배경 영상 프레임을 이용하여 순순한 배경 영상을 구하게 된다. 그리고, 현재 입력 영상과 수학식 1을 통해 구해진 순수한 배경 영상의 차 연산을 통해 배경이 제거된 영상을 얻게 된다.
Here, depth (i, j) is the coordinate value of the pixel of the depth image and k is the number of initial frames of the input image.
That is, k background image frames are obtained through Equation (1) to obtain a pure background image. Then, the background image is obtained by subtracting the current input image from the pure background image obtained through Equation (1).

한편, 상기한 입력 RGBD 영상으로부터 배경 제거 방식 중 가우시안 혼합 모델을 이용한 방식은 다음과 같은 방식으로 수행된다. On the other hand, a method using the Gaussian mixture model among the background removal methods from the input RGBD image is performed in the following manner.

먼저, 입력되는 영상은 시간에 따라 영상의 잡음, 조명이나 날씨의 변화, 물체들의 이동에 따라 변화 한다. 이러한 다양한 변화 속에서 배경만을 모델링하기 위해 자주 사용하는 방법이 확률적인 모델을 이용한 학습이다. 가우시안 혼합 모델은 이러한 확률적 모델을 이용한 학습에 가장 많이 사용되는 방법으로 영상의 각 픽셀들을 가우시안 혼합 확률분포를 이용해 모델링한다. First, the inputted image changes according to the time according to the noise of the image, the change of the illumination or the weather, and the movement of the objects. Among these various changes, the most frequently used method to model only the background is the learning using the probabilistic model. The Gaussian mixture model is the most widely used method for learning using this probabilistic model, and models each pixel of the image using Gaussian mixture probability distribution.

각 가우시안 혼합 분포를 이루는 가우시안들은 입력되는 색 정보를 학습해 나감으로 배경의 변화에 적응한다. Each Gaussian mixed Gaussian is adapted to the change of background by learning input color information.

가우시안 혼합 모델은 잡음에 강하며 나무 가지의 흔들림이나 파도 물결 등의 움직임을 나타내는 배경도 모델링할 수 있는 장점을 지닌다.The Gaussian mixture model is robust to noise and has the advantage of modeling the background representing the movement of tree branches or wave waves.

확률적 모델을 이용한 학습의 기본적인 가정은 배경의 색 정보를 모델링한 가우시안이 물체의 색 정보의 확률을 가진다는 것이다. 따라서 물체의 색 정보의 확률이 높아질수록 물체의 색 정보를 학습한 가우시안과 배경의 색 정보를 학습한 가우시안 사이에 구분이 모호하게 되고 결과적으로 배경 모델링의 정확도가 저하된다. 예를 들면 이동하는 물체가 정지하는 경우, 일정 시간이 지나면 기존 배경을 나타내는 확률보다 물체를 나타내는 확률이 높아진다. 물체의 색 정보를 배경의 색 정보로 학습하게 된다. 또한 물체가 자주 이동하는 경우에도 비록 물체가 멈춘 것은 아니지만 물체의 색 정보의 확률이 높아짐으로 물체 검출의 정확도가 저하된다.The basic assumption of learning using stochastic models is that Gaussian modeling the color information of the background has the probability of the color information of the object. Therefore, as the probability of the color information of the object increases, the distinction between the Gaussian learning the color information of the object and the Gaussian learning the background color information becomes blurred, and as a result, the accuracy of the background modeling lowers. For example, if a moving object is stopped, the probability of representing an object is higher than the probability of representing an existing background after a certain period of time. The color information of the object is learned by the color information of the background. Also, even if an object frequently moves, the accuracy of the object detection is lowered because the probability of color information of the object is higher, although the object is not stopped.

따라서, 도 2의 배경 제거부(310)는 입력되는 영상에서 깊이 데이터를 이용해 추출된 배경을 상기한 바와 같은 차 연산과 가우시안 혼합 모델 기법으로 배경 제거 및 객체를 인식한다. 여기서, 가우시안 혼합 모델 기법은 아래의 수학식 2와 같이 정리될 수 있다. Therefore, the background removal unit 310 of FIG. 2 recognizes backgrounds and objects by using a difference operation and a Gaussian mixture model as described above, using background data extracted from the depth data of the input image. Here, the Gaussian mixed model technique can be summarized as Equation (2) below.

즉, N개의 순수한 배경 영상을 이용하여 각 픽셀 별로 가우시안 혼합(MOG: Mixture of Gaussian) 방법에 의해 참조 배경을 모델링 하게 되고 각각의 픽셀은 K개의 가우시안 분포를 갖게 된다. 여기서 W는 입력영상, μ는 평균, t는 프레임(frame), ∑는 공분산, P()는 백분위(Percent), W_i,t는 i번째 입력영상의 프레임, η()는 교란, K는 입력영상의 개수를 나타낸다.That is, the reference background is modeled by a Mixture of Gaussian (MOG) method for each pixel using N pure background images, and each pixel has K Gaussian distributions. Where W is the input image, μ is the average, t is the frame, Σ is the covariance, P () is the Percentage, W _{i, t} is the frame of the ith input image, It represents the number of input images.

상기한 바와 같은 도 2의 배경 제거부(310)에서 차연산과 가우시안 혼합 모델링을 통해 입력되는 영상으로부터 배경이 제거되는 과정이 도 3에 나타나 있으며, 도 3에서 좌측 영상은 제1 영상 입력부(100)로부터 입력되는 원본 영상이고, 우측 영상은 가우시안 혼합 모델 방법을 적용하여 배경이 제거된 전경영상을 나타낸 것이다. FIG. 3 shows a process of removing a background from an input image through the difference operation and Gaussian mixture modeling in the background removal unit 310 of FIG. 2. As shown in FIG. 3, the left image is input to the first image input unit 100 ), And the right image is a foreground image in which the background is removed by applying the Gaussian mixture model method.

도 2의 전경 객체 추출부(320)는 배경 제거부(310)를 통해 배경 영상을 제거한 후, 전경 영상으로부터 전경 객체를 추출하게 되고, 추출된 전경 객체에 대하여 객체 블랍 지정부(330)에서 블랍을 지정한다. The foreground object extracting unit 320 of FIG. 2 removes the background image through the background removing unit 310 and then extracts the foreground object from the foreground image. The foreground object extractor 320 extracts the foreground object from the foreground image, .

이러한 동작을 좀 더 구체적으로서 설명하면, 먼저, 도 3에 도시된 바와 같이 배경 영상 제거된 영상에서 히스토그램 분석 및 레이블링 기법을 통해 각각의 객체를 블랍으로 지정한다. To describe this operation in more detail, first, as shown in FIG. 3, each object is designated as a blob through the histogram analysis and labeling technique in the background image-removed image.

다시 말해, 배경 제거 후에 남게 되는 객체들을 레이블링을 통해 블랍으로 지정되어 각각의 객체를 분리한다. 컬러영상을 그레이 스케일 영상 및 이진 영상으로 변환하고 레이블링 과정을 수행한다. In other words, objects that remain after background removal are labeled as blobs to separate each object. Converts the color image into a gray-scale image and a binary image, and performs a labeling process.

레이블링은 연결된 픽셀를 하나의 개체, 즉 레이블로 정의함으로써 가로폭, 세로높이, 면적, 면적 대비 픽셀의 개수를 나타내는 밀도 등의 정보를 설정할 수 있다. 이러한 정보는 문자와 영상을 분류할 수 있는 기준이 되며, 밝기 값 변화를 이용한 객체 후보군 추출 단계에서 객체의 잘못된 인식 문제를 최소화 한다.The labeling can define information such as width, height, area, and density indicating the number of pixels compared with area by defining connected pixels as one object, i.e., a label. This information is used as a criterion for classifying characters and images, and minimizes the problem of object misidentification in the object candidate group extraction step using the brightness value change.

레이블 필터링 단계는 사람 후보군을 추출하기 위해 전 미리 다른 영역을 분류하기 위한 과정으로 먼저 레이블의 크기정보를 이용한다. 일반적으로 사람과 이외의 것(물체)이 같이 혼합되어 있는 영상에서 레이블의 크기는 사람의 레이블보다 가로 또는 세로 길이가 비교적 크다. 이러한 특성을 고려하여 아래의 수학식 3과 같이 사람 이외의 레이블을 필터링 할 수 있는 가로, 세로의 각 길이에 대한 임계값을 설정한다.The label filtering step is a process for classifying different regions in order to extract a candidate group. The label size information is used first. Generally, the size of a label is relatively larger than a label of a person in a picture in which a person and a non-object (object) are mixed together. Considering these characteristics, a threshold value for each length of the horizontal and vertical lengths in which labels other than the human can be filtered is set as shown in Equation (3) below.

여기서, T_i는 레이블의 가로 또는 세로의 길이 임계값이며, minl, maxl, avrl은 각각 최소, 최대, 평균 길이를 나타낸다. Where T _i is the length or breadth of the length of the label, and minl, maxl, and avrl represent the minimum, maximum, and average length, respectively.

상기 수학식 3의 상위 항과 레이블의 평균 길이 avrl이 최소 및 최대 길이 minl , maxl의 평균값보다 작을 경우 임계값 T_i을 평균값에 좀 더 근접하게 설정하기 위하여 평균 길이 avrl에 2를 곱하여 가중치를 두었으며, 그 외의 경우는 하위 항과 같이 T_i을 평균길이 avrl과 최대 길이 maxl의 평균값으로 설정한 것이다. 두 경우 모두 임계값을 평균길이보다 높게 설정 하였는데, 이는 평균 길이에 가까운 레이블일수록 사람일 확률이 높고 최대 길이에 가까운 레이블일수록 사람이 아닐 확률이 높은 이유 때문이다.Equation (3) The average of the top, wherein the label on the length avrl is a minimum and maximum length minl, is less than the average value of the maxl threshold weight multiplied by 2 in the average length avrl to get closer to set T _i to the average two And in the other cases, T _i is set as an average value of the average length avrl and the maximum length maxl as in the sub-clause. In both cases, we set the threshold to be higher than the average length, because labels closer to the average length have a higher probability of being a person, and labels closer to the maximum length are more likely to be non-human.

이 후 레이블링을 이용해 인접 픽셀에 모두 같은 번호(Label)을 붙이고 연결되지 않은 다른 성분에는 다른 번호를 붙여 추출된 객체를 분리시킨다. 분리시킨 픽셀은 도 4와 같이 블랍으로 지정된다. 도 4는 레이블링 기법으로 블랍을 지정하는 과정을 나타낸 도면이다. 그리고, 도 5는 상기한 레이블링 기법을 영상에 적용한 예를 나타낸 도면이다. Then use labeling to label all the adjacent pixels with the same number (label) and separate the extracted objects by attaching different numbers to the other unconnected components. The separated pixels are designated as blobs as shown in Fig. 4 is a diagram illustrating a process of specifying a blob by a labeling technique. 5 is a diagram illustrating an example of applying the labeling technique to an image.

이어, 도 2에 도시된 객체 검출부(340)는 객체 블랍 지정부(330)에서 상기한 방법을 통해 분리된 객체 영상의 깊이 정보를 거리 정보로 변환하여 제1 영상 입력부(100) 즉, 출입구의 상단에 설치된 카메라로부터 대략 50-100Cm 떨어진 머리 형태의 객체를 검출하고, 검출된 객체정보를 도 1에 도시된 피플 카운팅부(500)로 제공한다. 여기서, 머리 형태의 객체를 검출한 영상의 일 예에 대해서는 도 6과 같다.The object detection unit 340 shown in FIG. 2 converts the depth information of the object image separated through the method described above into distance information by the object-blind designation unit 330 and outputs the depth information to the first image input unit 100, Detects an object in the form of a head which is approximately 50-100 cm away from the camera installed at the upper end, and provides the detected object information to the person counting unit 500 shown in FIG. Here, an example of an image in which a head-shaped object is detected is shown in FIG.

한편, 도 1에 도시된 제2 객체 추출부(400)의 상세 구성 및 동작에 대하여 도 7을 참조하여 상세하게 설명한다. The detailed configuration and operation of the second object extracting unit 400 shown in FIG. 1 will be described in detail with reference to FIG.

도 7은 도 1에 도시된 제2 객체 추출부(400)의 상세 블록 구성을 나타낸 도면이다. FIG. 7 is a detailed block diagram of the second object extracting unit 400 shown in FIG.

도 7을 참조하면, 제2 객체 추출부(400)는 배경 제거부(410), 전경 객체 추출부(420) 및 객체 검출부(430)을 포함할 수 있다. Referring to FIG. 7, the second object extracting unit 400 may include a background removing unit 410, a foreground object extracting unit 420, and an object detecting unit 430.

여기서, 배경 제거부(410)와 전경 객체 추출부(420)의 동작은 도 2에 도시된 제1 객체 추출부(300)의 배경 제거부(310) 및 전경 객체 추출부(320)의 동작과 동일한 것으로, 입력 영상만 그 차이가 존재한다. 즉, 제2 객체 추출부(400)의 배경 제거부(410)와 전경 객체 추출부(320)는 그 입력 영상이 출입구의 정면에 설치된 제2 영상 입력부(200)로부터 입력되는 정면 영상을 이용하는 것이고, 도 2에 도시된 제1 객체 추출부(300)의 배경 제거부(310)와 전경 객체 추출부(320)에서의 배경 제거와 전경 객체 추출동작은 출입구의 상단에 설치된 제1 영상 입력부(100)로부터 입력되는 영상을 이용하는 차이만 존재할 뿐 배경 제거 및 전경 객체 추출 동작은 실질적으로 동일하기 때문에 그 상세 설명은 생략하기로 한다. The operations of the background removal unit 410 and the foreground object extraction unit 420 are the same as those of the background removal unit 310 and foreground object extraction unit 320 of the first object extraction unit 300 shown in FIG. The same thing exists only in the input image. That is, the background removal unit 410 and the foreground object extraction unit 320 of the second object extraction unit 400 use the front image input from the second image input unit 200, the input image of which is provided in front of the doorway The background removing unit 310 and the foreground object extracting unit 320 of the first object extracting unit 300 shown in FIG. 2 perform background removal and foreground object extracting operations in the first image input unit 100 The background removal and the foreground object extraction operations are substantially the same, and thus the detailed description thereof will be omitted.

상기 전경 객체 추출부(420)에서 추출된 전경 영상은 객체 검출부(340)로 입력되는데, 객체 검출부(430)는 입력되는 전경 영상에서 깊이 정보를 활용한 관절 추적 방법을 적용하여 각각의 출입자의 신체 전체에 대한 객체를 검출한다. The foreground image extracted by the foreground object extraction unit 420 is input to the object detection unit 340. The object detection unit 430 applies the joint tracking method using the depth information in the foreground image input, And detects the entire object.

여기서, 상기한 객체 검출부(340)에서의 객체 검출 방법은 이미 발표된 공지의 논문 “마이크로소프트 키넥트 SDK 활용 : Real-Time Human Pose Recognition in Parts from Single Depth Image” 에 기재된 관절 추적 방법을 이용한 것으로 상세 설명은 생략하기로 한다. Here, the object detecting method in the object detecting unit 340 uses a joint tracking method described in a well-known paper "Using the Microsoft Kinect SDK: Real-Time Human Pose Recognition in Parts from Single Depth Image" The detailed description will be omitted.

이와 같이 검출된 출입자의 전신에 대한 객체 정보는 피플 카운팅부(500)로 제공된다. The object information on the whole body of the visitor thus detected is provided to the person counting unit 500.

이하, 도 1에 도시된 제1 객체 추출부(300) 및 제2 객체 추출부(400)으로부터 각각 추출된 객체 정보를 이용하여 출입자의 수를 계수하는 피플 카운팅부(500)의 구체적인 구성 및 동작에 대하여 첨부 도면을 참조하여 상세하게 설명한다. Hereinafter, the specific configuration and operation of the person counting unit 500 for counting the number of persons using the extracted object information from the first object extracting unit 300 and the second object extracting unit 400 shown in FIG. Will be described in detail with reference to the accompanying drawings.

도 8은 도 1에 도시된 피플 카운팅부(500)에 대한 상세 블록 구성을 나타낸 도면이다. FIG. 8 is a detailed block diagram of the person counting unit 500 shown in FIG. 1. Referring to FIG.

도 8을 참조하면, 피플 카운팅부(500)는 동일 객체 판별부(510), 객체별 고유태그 부여부(520), 객체 추적부(530) 및 카운팅부(540)를 포함할 수 있다. Referring to FIG. 8, the people counting unit 500 may include the same object discriminating unit 510, a unique tag assigning unit 520 for each object, an object tracking unit 530, and a counting unit 540.

동일 객체 판별부(510)는 먼저, 제1 객체 추출부(300)와 제2 객체 추출부(4000에서 추출된 각각의 객체에 대한 깊이 데이터의 해당 픽셀 기준으로 다음 픽셀을 왼쪽으로 8 비트를 시프트 한 후 OR 연산을 진행했고, 이를 이용해 해당 픽셀의 거리를 0∼255로 받아온다.The same object discrimination unit 510 first shifts the next pixel by 8 bits to the left based on the corresponding pixel of the depth data for each object extracted from the first object extraction unit 300 and the second object extraction unit 4000 After doing the OR operation, we use this to get the distance of the corresponding pixel from 0 to 255.

그리고, 깊이 데이터 연산을 통해 상단 카메라 및 정면 카메라에 위치에 따른 ROI를 설정한다. 그리고, 상단 시점 객체 블랍의 중심점과 정면카메라 블랍 상단 중심점의 거리를 매핑해 교차되는 지점의 객체를 동일객체로 판별한다. Then, ROI according to the position is set in the upper camera and the front camera through the depth data calculation. The distance between the center point of the upper viewpoint object blob and the center point of the upper end of the camera blob is mapped to determine the object at the intersecting point as the same object.

이렇게 동일한 객체로 판별되면, 피플 카운팅부(500)의 객체별 고유 태그 부여부(520)에서 판별된 각각의 객체에 대하여 태그를 부여하게 되는데 태그부여방법에 대하여 좀 더 구체적으로 살펴보기로 하자. If it is determined that the object is the same as the object, the tag is assigned to each object determined in the object-specific tag assigning unit 520 of the object counting unit 500, and a tag assigning method will be described in more detail.

먼저, 본 발명에서는 물체 각각을 분리하여 관리하는 것이 아니라, 움직이는 물체의 특징을 분석하여 결합되거나 분리된 물체에 대하여 태그 정보를 주어 지속적으로 갱신하는 방법을 이용하였고, 각 물체는 ROI로 들어와서 나갈 때까지 그 정보를 유지하고 최종적 판단 부분에서는 저장하고 있는 크기 정보와 함께 태그 정보를 이용하여 카운트 함으로써 추가적인 영상 처리 및 물체들 사이의 관계 분석 없이 빠르고 간단한 처리를 가능하게 하였다.First, in the present invention, instead of separating and managing each object, a method of continuously analyzing the characteristics of a moving object and continuously updating the tagged information of the combined or separated object is used. Each object enters the ROI In the final decision part, it is possible to perform fast and simple processing without additional image processing and relation analysis between objects by counting using tag information together with the stored size information.

그리고, 레이블링을 통합 블랍 지정에서 블랍이 생성된 순서대로 태그 정보를 부여해, ROI을 벗어날 때, 해제가 된다. 도 9a와 도 9b는 제1 객체 추출부(300)와 제2 객체 추출부(400)에서 추출된 각 객체에 대해 태그 정보를 부여한 것으로, 블랍 영역의 좌상단에 위치한 숫자가 부여된 태그의 번호이며, 지정되는 블랍의 사각형 영역의 외곽선의 색깔을 다르게 지정한다. Then, the labeling is released in the integrated blob designation when the blob is given the tag information in the order in which the blob is generated, and it is out of the ROI. FIGS. 9A and 9B show tag numbers given to the objects extracted from the first object extracting unit 300 and the second object extracting unit 400, respectively. , The color of the outline of the rectangular area of the designated blob is set differently.

이와 같이 각 객체에 대하여 태그가 부여된 상태에서 도 8의 객체 추적부(530)를 통해 객체를 추적한다. In this way, the object is traced through the object tracking unit 530 of FIG. 8 in a state where the tag is attached to each object.

좀 더 구체적으로 살펴보면, 객체 추적부(530)는 태그 정보가 부여된 객체 블랍을 지속적으로 추적하게 되는데 여기서, 객체 추적은 확장 칼만 필터(EKF) 알고리즘를 통해 이루어지는데, EKF는 선형적인 모델 뿐 아니라 비선형적인 모델도 적용시킬수 있는 특징을 가지고 있으며, 다양한 모델이 적용 가능하고, 적절한 모델 사용 시에 최고 성능, 높은 객체 추적 능력을 보인다는 장점이 있다. 여기서, 확장 칼만 필터 알고리즘은 아래의 수학식 4와 같이 표현될 수 있다. In more detail, the object tracking unit 530 continuously tracks the object blob to which the tag information is attached. Here, the object tracking is performed by an extended Kalman filter (EKF) algorithm. The EKF is a linear model, It can be applied to various models, and has the advantage of showing the highest performance and object tracking ability when using the appropriate model. Here, the extended Kalman filter algorithm can be expressed by Equation (4) below.

그리고, 상기한 확장 칼만 필터 알고리즘을 적용한 객체의 좌표 추적 결과는 도 10에 도시되어 있으며, 객체 추적 영상의 일예는 도 11에 도시되어 있다. The coordinate tracking result of the object using the extended Kalman filter algorithm is shown in FIG. 10, and an example of the object tracking image is shown in FIG.

이렇게 추적된 객체에 대하여 출입자의 입장객 수와 퇴장객 수를 Line Drawing 기법을 이용하여 카운팅하게 된다. 즉, 상단 카메라 영상의 해상도를 640 x 480 픽셀(Pixel)을 기준으로, 영상의 상단 및 하단으로부터 30픽셀 위치에 2개의 가상 기준선 A(내부), B(외부)를 생성하고, 추적한 객체가 B를 먼저 통과하고 A를 통과한 경우 입장(IN) 수를 계수하며, A를 먼저 통과하고 B를 통과한 경구 퇴장(OUT) 수를 각각 도 8에 도시된 카운팅부(540)에서 각각 카운팅한다. 여기서, 입장 카운팅의 경우 카운팅되는 입장객을 도 1에 도시된 얼굴 나이 분류부(600)에서 분류된 나이별로 각각 구분하여 카운팅한다. 즉, 입장객을 카운팅할 때 입장객의 나이대별로 각각 분류하여 입장객의 수를 카운팅한다. The number of visitors and the number of passengers are counted using Line Drawing method for the tracked objects. That is, two virtual reference lines A (inside) and B (outside) are generated at a position of 30 pixels from the upper and lower sides of the image, with the resolution of the upper camera image being 640 x 480 pixels (Pixel) The number of entries (IN) is counted if the first pass of B passes through A, and the number of outlets (OUT) passed first through A and passed through B are respectively counted by the counting unit 540 shown in FIG. 8 . Here, in the case of the entrance counting, the counted number of visitors is divided by the age classified by the face age classifying unit 600 shown in FIG. That is, when the visitors are counted, they are classified by the age of the visitors and the number of the visitors is counted.

따라서, 제1 영상 입력부(100)를 통해 입력되는 영상 즉, 출입자의 얼굴 인식을 통해 해당 출입자의 나이를 판별하는 구성 및 동작에 대하여 첨부한 도면을 참조하여 설명하기로 한다. The configuration and operation for determining the age of a person entering the first image input unit 100, that is, an image of a person through face recognition will be described with reference to the accompanying drawings.

도 12는 도 1에 도시된 얼굴 나이 분류부(600)에 대한 상세 블록 구성을 나타낸 도면이다. 12 is a detailed block diagram of the face age classifying unit 600 shown in FIG.

도 12를 참조하면, 얼굴 나이 분류부(600)는 얼굴 인식부(610), 얼굴 특징점 추출부(620), 나이 특징점 추출부(630), 얼굴 특징 비율 측정부(640), 주름 영역 보조점 추출부(650), 주름 영역 검출부(660), 주름 밀도 측정부(670) 및 나이 그룹 분류부(680)를 포함할 수 있다. 12, the face age classifying unit 600 includes a face recognizing unit 610, a facial feature point extracting unit 620, an age feature point extracting unit 630, a facial feature ratio measuring unit 640, An extracting unit 650, a corrugated region detecting unit 660, a corrugation density measuring unit 670, and an age group classifying unit 680.

얼굴 인식부(610)는 도 7에 도시된 제2 객체 추출부(400)의 객체 검출부(430)로부터 검출된 객체 즉, 출입자의 전신에 대한 객체 영상으로부터 얼굴을 인식한다. The face recognizing unit 610 recognizes a face from the object detected from the object detecting unit 430 of the second object extracting unit 400 shown in FIG. 7, that is, the object image of the whole body of the visitor.

얼굴 인식부(610)는 도 7에 도시된 제2 객체 추출부(400)의 객체 검출부(430)로부터 검출된 객체 즉, 출입자의 전신에 대한 객체 영상 즉, 출입구의 정면에 설치된 제2 영상 입력부(200)로부터 입력되는 영상의 사람 객체 영역을 대상으로 깊이 데이터 기반 AAM(Active Appearance Models)방법을 사용하여 얼굴영상을 인식한다. 여기서, 인식되는 얼굴 영상은 정면 얼굴 영상으로서, 상기 인식된 얼굴 영상은 얼굴 특징점 추출부(620)로 제공된다. The face recognizing unit 610 may detect an object detected from the object detecting unit 430 of the second object extracting unit 400 shown in FIG. 7, that is, an object image of the entire body of a visitor, that is, The face image is recognized using a depth data-based Active Appearance Models (AAM) method on a human object region of an image input from the input unit 200. Here, the recognized face image is a front face image, and the recognized face image is provided to the facial feature point extracting unit 620.

한편, 입력되는 얼굴 영상이 상하좌우로 약 20° 각도 이상 수직 회전(Pitch) 또는 수평 회전(Yaw)되어 있는 경우에 연령대 분류를 위한 충분한 특징점을 추출할 수 없다. 따라서 머리 위치가 추적되는 대상이 영상 영역에서 벗어날 때까지, 충분한 특징점을 추출하지 못한 경우에 얼굴 특징점을 선별하고 교정하는 과정을 지속적으로 수행한다.On the other hand, when the inputted face image is vertically rotated (Pitch) or horizontally rotated (Yaw) at an angle of about 20 degrees vertically and horizontally, sufficient feature points for the age group classification can not be extracted. Therefore, if enough feature points can not be extracted until the subject whose head position is tracked is out of the image area, the process of selecting and correcting facial feature points is continuously performed.

한편, 얼굴 특징점 추출부(620)는 상기 인식된 얼굴 영역으로부터 121개의 얼굴 특징점을 추출하고, 추출된 121개의 얼굴 특징점을 갖는 영상은 각각 나이 특징점 추출부(630)와 주름 영역 보조점 추출부(650)으로 제공된다. 여기서, 121개의 얼굴 특징점을 추출한 영상의 예는 도 13에 도시되어 있다. On the other hand, the facial feature point extracting unit 620 extracts 121 facial feature points from the recognized face region, and the extracted images having 121 facial feature points are respectively extracted by the age feature point extracting unit 630 and the corrugation area auxiliary point extracting unit 650). Here, an example of an image obtained by extracting 121 facial feature points is shown in Fig.

상기 나이 특징점 추출부(630)는 상기 얼굴 특징점 추출부(620)에서 제공되는 121개의 얼굴 특징점중 8개의 나이 특징점을 도 14와 같이 선별하고, 교정된다. 여기서, 도 14는 도 12에 도시된 얼굴 나이 분류부의 나이 특징점 추출부에서 추출된 8개의 나이 특징점 위치 영상을 나타낸 도면이다. The age feature point extracting unit 630 selects eight age feature points of 121 face feature points provided by the face feature point extracting unit 620 as shown in FIG. 14 and is corrected. FIG. 14 is a view showing eight age minutia position images extracted by the age minutiae extracting unit of the face age classifying unit shown in FIG.

또한, 주름 영역 보조점 추출부(650)는 얼굴 특징점 추출부(620)에서 제공되는 121개의 얼굴 특징점으로부터 도 15와 같이 9개의 주름 영역 보조점을 추출하게 된다. 여기서, 도 15는 도 12의 주름 영역 보조점 추출부(650)에서 추출된 9개의 주름 영역 보조점 위치 영상을 나타낸 도면이다. The corrugated area auxiliary point extraction unit 650 extracts nine corrugated area auxiliary points from 121 facial feature points provided by the facial feature point extraction unit 620 as shown in FIG. Here, FIG. 15 is a view showing nine crease area auxiliary point position images extracted by the crease area assist point extracting unit 650 of FIG.

상기한 나이 특징점 추출부(6300에서 8개의 나이 특징점 추출 동작과, 주름 영역 보조점 추출부(650)에서 9개의 주름 영역 보조점 추출 동작에 대하여 좀 더 구체적으로 살펴보기로 하자. The age minutiae point extracting unit 6300 of the above-described age minutiae point extraction operation and the nine wrinkle area auxiliary point extracting operations of the wrinkle region auxiliary point extracting unit 650 will be described in more detail.

먼저, 나이 특징점 추출부(630)는 상기 얼굴 특징점 추출부(620)에서 추출한 121개의 얼굴 특징점을 바탕으로 도 14에 도시된 바와 같이 TH(Top of Head, 머리의 제일 상단 부분), E_L(Left Eye, 좌측 눈의 중심점), E_R(Right Eye, 우측 눈의 중심점), N(Nose, 코의 중심점), L(Lip, 입술의 중심점), SF_L(Left Side of Face, 얼굴의 좌측), SF_R(Right Side of Face, 얼굴의 우측), C(Chin, 머리의 최하단 중앙점)로 이루어진 총 8개의 나이 특징점을 추출한다.
First, the age feature point extracting unit 630 extracts TH (Top of Head, top portion of the head) and E _L (as shown in FIG. 14) based on 121 facial feature points extracted from the facial feature point extracting unit 620 left eye, the center point of the left eye), E _R (right eye, the center of the right eye), N (nose, the center of the nose), L (lip, the center of the _{lips), SF L (left Side of} face, face the left side of the ), SF _R (Right Side of Face, right side of face), and C (Chin, lowermost point of head).

그리고, 주름 영역 보조점 추출부(650)는 상기 얼굴 특징점 추출부(620)에서 추출한 121개의 얼굴 특징점을 바탕으로 도 15에 도시된 바와 같이 9개의 주름 영역 보조점(p1-p9)을 추출한다. The corrugation area auxiliary point extraction unit 650 extracts nine corrugation area auxiliary points p1-p9 as shown in FIG. 15 based on the 121 facial feature points extracted by the face feature point extraction unit 620 .

상기 추출된 8개의 나이 특징점들은 도 12에 도시된 얼굴 특징 비율 특징부(640)에서 얼굴 특징 비율을 구하는데 활용되며, 상기 주름 영역 보조점 추출부(650)에서 추출한 9개의 주름 영역 보조점은 도 12에 도시된 주름 영역 검출부(660)에서의 4 개의 주름 영역의 빠르고 정확한 추출을 위해 보조하는 역할을 한다. The extracted eight age minutiae points are used to obtain facial feature ratios in the facial feature ratio feature part 640 shown in Fig. 12, and nine wrinkle area auxiliary points extracted from the wrinkle area auxiliary point extraction part 650 And serves to assist in fast and accurate extraction of the four corrugated regions in the corrugated region detection unit 660 shown in FIG.

한편, 상기 나이 특징점 추출부(630)이 정면 얼굴의 특징점 구조와 차이를 보이는 영상이 획득되는 경우 영상의 교정 작업을 수행하게 된다. 즉, 본 발명에서는 얼굴 영상이 좌측 또는 우측으로 기울어짐(Roll)이 존재할 경우에 좌우측 눈의 중심점인 E_L과 E_R의 좌표를 활용하여 측정한다. E_L의 y좌표가 E_R의 y좌표보다 상단에 위치한 경우, 아래의 수학식 5와 같이 기울어진 각도 θ를 측정한다. 반대의 경우에는 아래의 수학식 6과 같이 θ′를 측정한다. 이렇게 측정된 각도를 기준으로 이미지를 회전하여 정면 얼굴영상을 획득하도록 교정한다.On the other hand, when the age feature point extracting unit 630 acquires an image showing a difference from the feature point structure of the front face, the image is corrected. That is, in the present invention, when the facial image exists in the left or right direction, the coordinates of E _L and E _R , which are the center points of the left and right eyes, are used. When the y coordinate of E _L is located at the upper side of the y coordinate of E _R, the inclined angle? Is measured as shown in Equation (5) below. In the opposite case, θ 'is measured as shown in Equation (6) below. The image is then rotated based on the measured angle to correct the front face image.

인체측정학에 따르면 얼굴의 특징은 좌우가 대칭적으로 존재한다. 따라서 얼굴이 수평회전(Yaw)된 경우에는, 얼굴의 중심에 위치한 코의 중심점 N의 x축 좌표에서 SF_L과 SF_R은 서로 동일한 거리에 위치해 있도록 나이 특징점의 교정을 수행하고, E_L과 E_R의 거리 또한 N의 x축 좌표를 중심으로 서로 동일한 거리에 위치하도록 교정을 수행한다.According to anthropometry, facial features exist symmetrically on the left and right. Therefore, when the face is rotated in the horizontal direction, the age feature points are corrected so that SF _L and SF _R are located at the same distance in the x-axis coordinate of the nose center point N located at the center of the face, and E _L and E And the distance of _R is also located at the same distance from each other about the x-axis coordinate of N. [

하지만, 얼굴이 수직 회전(Pitch)되어 있는 경우, 얼굴 검출 및 특징점 추출이 이루어졌다면, 각 특징점의 좌표는 정면 얼굴에서의 좌표와 교정이 필요할만한 차이를 나타내지 않았지만, 일정 각도(사람의 목을 기준으로 약 15°) 이상 수직 회전한 경우에는 얼굴 검출이 불가능하다. 이러한 경우에는 얼굴 검출 및 특징점 추출에 적합한 상태가 아니기 때문에, 본 연구에서는 얼굴 검출 및 특징점의 추출이 가능한 시점까지 머리 위치 추적을 계속 수행한다.However, if the face is vertically rotated, face detection and feature point extraction are performed, the coordinates of each feature point do not show a necessary difference in correction from the coordinates in the front face, It is impossible to detect the face when it is rotated at a vertical angle of about 15 ° or more. In this case, since the state is not suitable for face detection and feature point extraction, in this study, the head position tracking is continuously performed until the face detection and feature point extraction are possible.

이러한 나이 특징점 교정 과정은 도 16과 같이 수행되고, 최종적으로 교정 완료된 얼굴 영상 및 특징점을 기반으로 나이 특징점을 추출한다. 여기서, 도 16은 나이 특징점 교정 과정을 나타낸 도면이다. The age feature point calibration process is performed as shown in FIG. 16, and finally the age feature points are extracted based on the corrected face images and feature points. Here, FIG. 16 is a diagram showing a process of age minutiae calibration.

그리고 도 12에 도시된 얼굴 특징 비율 측정부(640)는 상기한 나이 특징점 추출부(630)에서 추출된 8개의 나이 특징점을 이용하여 7개의 얼굴 특징 비율을 측정한다. The facial feature ratio measuring unit 640 shown in FIG. 12 measures seven facial feature ratios using the eight age feature points extracted from the age feature point extracting unit 630 described above.

즉, 상기한 바와 같이 나이 특징점 추출부(630)에서 선별 및 교정된 8개의 나이 특징점은 도 14와 같이 배치되어 있으며, 연령대 분류 알고리즘을 적용하여 일곱 개의 얼굴 특징 비율을 아래의 수학식 7 - 수학식 13을 이용하여 측정한다. ?That is, as described above, the eight age feature points selected and corrected by the age feature point extracting unit 630 are arranged as shown in FIG. 14, and the age feature classification algorithm is applied to calculate the seven face feature ratios according to the following equation Measure using Equation 13. ?

? 여기서, D(A,B)는 점 A와 B의 거리를 나타내고, ME(Middle of Eyes)는 양 쪽 눈 사이 거리의 중심점을 나타낸다.? Here, D (A, B) represents the distance between points A and B, and ME (Middle of Eyes) represents the center point of distance between both eyes.

한편, 도 12에 도시된 주름 영역 검출부(660)은 나이 특징점 추출부(630)에서 추출된 8개의 나이 특징점과, 주름 영역 보조점 추출부(650)에서 추출된 9개의 주름 영역 보조점을 이용하여 4개의 주름 영역을 추출한다. 12 uses the eight age minutiae points extracted by the age minutia extractor 630 and the nine wrinkle area auxiliary points extracted by the wrinkle area assistant point extractor 650 To extract four corrugated regions.

주름 영역 검출부(660)는 도 14에 도시된 8개의 나이 특징점과 도 15에 도시된 9개의 주름 영역 보조점, 미리 설정된 주름영역 위치를 활용하여 도 17에 도시된 바와 같이 SE_L(Side of Left Eye), SE_R(Side of Right Eye), SN_L(Left Side of Nose), SN_R(Right Side of Nose)의 총 4 개의 주름 영역을 추출한다. The corrugated area detection unit 660 utilizes the eight age feature points shown in FIG. 14 and the nine corrugated area auxiliary points shown in FIG. 15, and the predetermined corrugated area position to obtain SE _L (Side of Left Eye), SE _R (Side of Right Eye), SN _L (Left Side of Nose) and SN _R (Right Side of Nose).

좀 더 구체적으로 살펴보면, 도 18은 4개의 주름 영역의 원본 영상과 주름(엣지) 추출 영상을 나타낸 도면으로서, 도 18의 (a)는 SE_L 의 원본영상, (b)는 SE_R 의 원본 영상, (c)는 SN_L 의 원본영상, (d)는 SN_R 의 원본영상이고, (e)는 SE_L 의 주름 추출영상, (f)는 SE_R의 주름 추출 영상, (g)는 SN_L의 주름 추출 영상, (h)는 SN_R의 주름 추출영상이다.18 (a) is an original image of SE _L , (b) is an original image of SE _R , and FIG. 18 , (c) is the SN _L original image, (d) is the original image of the SN _R, (e) the folds extracted image of SE _L, (f) the wrinkle extraction image, (g) the SE _R is SN _L wrinkles extracted image, (h) is a wrinkle extracting image _R of the SN.

본 발명에서는 비교적 작은 크기의 얼굴 영상이 연령대 분류의 대상이 되기 때문에, 원본 얼굴 영상과 같이 작은 크기의 영상에서는 충분한 주름 영역 영상을 획득할 수 없다. 따라서 원본영상의 크기를 5배 확대한 얼굴 영상을 활용한다. 원본 얼굴 영상을 5배 이상 확대한 경우 확대 과정에서 불가피하게 발생하는 화질 저하 및 잡음 픽셀에 의해서 주름 영역의 신뢰성 저하 및 연령대 분류의 성능이 저하되는 현상 때문에 5배 확대한 크기의 얼굴 영상을 활용하였다. 5배 확대한 영상의 경우에도 확대 과정에서 불가피하게 발생하는 화질 저하로 인해 주름 추출을 위한 몇 가지 전 처리(Pre-processing) 과정이 필요하다. 첫 번째로 영상을 회색조(Grayscale) 영상으로 변환하고, 캐니 엣지 검출기(Canny Edge Detector)(미도시)를 사용하여 영상의 엣지(Edge)를 검출한다. 상기 캐니 엣지 검출기는 낮은 오류율을 보이며, 두개의 임계값(Threshold value)을 갖기 때문에 다른 엣지 검출기보다 높은 주름 검출률을 보이게 된다. In the present invention, since the face image of a relatively small size is subjected to the age group classification, it is not possible to acquire a sufficient wrinkle region image in a small-sized image such as the original face image. Therefore, the face image of the original image is enlarged 5 times. When the original face image is enlarged more than 5 times, facial images of 5 times magnification size are utilized because of deterioration of image quality inevitably caused by enlargement process, deterioration of reliability of wrinkle region due to noise pixels, and deterioration of age grouping performance . Even in the case of a 5x magnification image, there are some pre-processing steps for extracting wrinkles due to image quality inevitably occurring in the enlargement process. First, the image is converted into a grayscale image, and an edge of the image is detected using a Canny Edge Detector (not shown). The CannyEdge detector exhibits a low error rate and has two threshold values, thus exhibiting a wrinkle detection rate higher than that of the other edge detectors.

두 번째로 가우시안 필터(Gaussian Filter)를 적용하고, 히스토그램 평준화(Histogram Equalize)를 사용하여 얼굴의 굵은 주름 및 잔 주름을 더욱 강화시키고, 불필요하게 검출되는 주름이 아닌 노이즈(Noise) 픽셀을 제거한다.Secondly, a Gaussian filter is applied and the histogram equalization is used to further enhance the coarse wrinkles and wrinkles of the face and to remove noise pixels that are not unnecessarily detected.

상기와 같이 추출한 4개의 주름 추출 영상에서 주름 밀도(Wrinkle Densities)를 도 12의 주름 밀도 측정부(670)에서 측정하게 되는데, 주름 밀도 측정 과정에 대하여 상세하게 살펴보자. The wrinkle density measurement unit 670 of FIG. 12 measures the wrinkle density in the four extracted wrinkle images. The detail of the wrinkle density measurement process will now be described.

먼저, 주름 밀도 측정은 아래의 수학식 14와 같이 측정하며, 아래의 수학식 14에서 WD는 Wrinkle Densities, T_P는 전체 픽셀 수, W_P는 주름 픽셀의 수를 나타낸다.First, the wrinkle density measurement is performed as shown in Equation (14) below. In the following Equation (14), WD represents Wrinkle Densities, T _P represents the total number of pixels, and W _P represents the number of corrugation pixels.

주름 밀도는 나이 특징점과 마찬가지로, 실시간 시스템의 특성으로 인해, 좌우측의 주름 영역 크기에 큰 차이가 발생할 수 있다. 주름의 경우 좌우측이 대칭적으로 존재하지 않을 수도 있으며, 사람의 생활환경, 습관 등으로 인해 실제 연령대와 판이하게 다른 주름 밀도를 보일수도 있기 때문에, 얼굴 특징 비율과 같이 교정을 수행하는 것은 불가능하다. 본 제안 시스템은 검출한 얼굴을 화면에서 사라질 때 까지 지속적으로 추적하고 있기 때문에, 좌우측 각 주름 영역의 가로 길이가 2배 이상 차이가 나는 경우, 올바른 비율의 주름 영역을 추출할 수 있는 시점까지 얼굴 검출을 다시 수행한다.Similar to the age feature points, the wrinkle density can cause a large difference in the size of the right and left wrinkled regions due to the characteristics of the real-time system. In the case of wrinkles, the right and left sides may not exist symmetrically, and because of the human living environment, habits, etc., it may not be possible to perform calibration such as facial feature ratios because the wrinkle density may be different from the actual age. Since the proposed system continuously tracks the detected face until it disappears from the screen, when the width of the right and left corrugated areas is more than two times the width, the face detection is performed until the correct ratio of corrugated areas can be extracted Lt; / RTI >

상기한 바와 같이 주름 밀도가 측정된 후, 측정된 주름 밀도를 이용하여 도 12에 도시된 나이 그룹 분류부(680)에서 입력 영상에 대한 얼굴의 나이대를 분류한다. After the wrinkle density is measured as described above, the age group classification unit 680 shown in Fig. 12 classifies the face age with respect to the input image using the measured wrinkle density.

나이 그룹 분류부(680)는 도 12의 얼굴 특징 비율 측정부(640)에서 측정된 7개의 얼굴 특징 비율값과, 주름 밀도 측정부(670)에서 측정된 4개의 주름 밀도값을 입력 벡터로 하는 신경망 방법을 통하여 4개의 나이 그룹으로 분류한다. 여기서, 신경망 방법을 이용하기 위한 나이 그룹 분류 데이터는 도 20에 도시된 데이터베이스(700)의 나이그룹 데이터 저장 영역으로부터 제공받게 된다. 본원발명에서의 나이 분류를 위한 그룹은 AG1(0-19세), AG2(20-30세), AG3(31-50세), AG4(51세 이상)로 분류되며, 이러한 분류 데이터 역시 데이터베이스(700)에 저장되어 제공받게 된다. 여기서, 도 20은 도 1에 도시된 데이터베이스(700)에 대한 상세 블록 구성을 나타낸 도면으로서, 도 20을 참조하면, 데이터베이스(700)는 나이 분류를 위한 신경망 방법에 이용되는 나이 그룹 분류 데이터가 저장된 나이 그룹 분류 데이터 저장영역(710)과, 도 8에 도시된 카운팅부(540)에서 카운팅되는 입장객 카운팅 수를 나이대별로 각각 저장하는 나이 그룹별 입장 카운팅 데이터 저장영역(720) 및 퇴장객 카운팅 수를 각각 저장하는 퇴장 카운팅 데이터 저장 영역(730)으로 구성된다. The age group classifying unit 680 classifies the seven facial feature ratios measured by the facial feature ratio measuring unit 640 and the four wrinkle density values measured by the wrinkle density measuring unit 670 as input vectors It is classified into four age groups through neural network method. Here, the age group classification data for using the neural network method is provided from the age group data storage area of the database 700 shown in FIG. In the present invention, the group for age classification is classified into AG1 (ages 0-19), AG2 (ages 20-30), AG3 (ages 31-50), AG4 (ages 51 and above) 700). 20 is a block diagram showing a detailed block configuration of the database 700 shown in FIG. 1. Referring to FIG. 20, the database 700 stores age group classification data used in a neural network method for age classification An age group classification data storage area 710 and an age group entry counting data storage area 720 for storing the number of visitor counts counted by the counting unit 540 shown in FIG. And an exiting counting data storing area 730 for storing the exiting counting data.

상기한 신경망 방법을 이용하여 나이 그룹을 분리하는 방법은 도 19에 도시된 바와 같이 4개의 레이어를 가지고 있으며, 2개의 히든 레이어를 가지고 있다. 또한, 4개의 나이 그룹을 출력 벡터로 이루어진다. The method of separating the age group using the above-described neural network method has four layers as shown in FIG. 19, and has two hidden layers. Also, the four age groups are made up of output vectors.

일반적으로, 연령대를 분류하는 방법 중 기계 학습(Machine Learning)을 이용한 방법은 결정 트리(Decision Tree), Knn, 신경망, Naive-Bayes 등 여러 가지 방법이 있으며, 각각 서로 장단점이 존재한다. 그러나, 본 발명에서는 다른 방법들에 비해 비교적 높은 정확도로 빠르게 분류가 가능하고, 지속적으로 기계 학습이 가능한 신경망 방법을 이용한다. Generally, among the methods of classifying age groups, there are various methods such as Decision Tree, Knn, Neural Network, Naive-Bayes, and the like, which have advantages and disadvantages. However, according to the present invention, the neural network method capable of fast classification with relatively high accuracy and continuous machine learning is used compared with other methods.

가장 널리 사용되는 신경망 방법은 도 19에 도시된 바와 같이 4개의 층(Layers)을 사용한다. 본 발명에서도 이러한 신경망 방법을 사용하였으며, 입력 벡터(Input Vector)로 7개의 얼굴 특징 비율값과 4개의 주름 밀도값을 사용하며, 출력 층(OutputLayer)에는 AG1, AG2, AG3, AG4의 총 4개의 출력 벡터(Output Vector)를 가지고 있다. 여기서, 신경망 방법에 대해서는 이미 공지된 기술로서 구체적인 설명은 생략하기로 한다. The most widely used neural network method uses four layers (Layers) as shown in FIG. In the present invention, this neural network method is used. Seven face feature ratio values and four wrinkle density values are used as an input vector. In the output layer, a total of four AG1, AG2, AG3, and AG4 It has an output vector. Here, the neural network method is a known technique, and a detailed description thereof will be omitted.

이와 같이 도 12의 나이 그룹 분류부(680)에서 분류된 나이 분류 데이터는 도 8에 도시된 카운팅부(540)으로 제공된다. Thus, the age classification data classified by the age group classification unit 680 of FIG. 12 is provided to the counting unit 540 shown in FIG.

도 8에 도시된 카운팅부(540)는 도 8의 객체 추적부(530)로부터 제공되는 추적된 객체 정보와 도 12의 나이 그룹 분류부(680)에서 제공되는 분류된 입장객의 나이 그룹 별로 입장객의 수를 카운팅하여 도 20에 도시된 데이터베이스(700)의 나이 그룹별 입장 카운팅 데이터 저장 영역(720)에 저장하고, 퇴장객의 수는 퇴장 카운팅 데이터 저장영역(730)에 저장한다. The counting unit 540 shown in FIG. 8 counts the tracked object information provided from the object tracking unit 530 shown in FIG. 8 and the number of viewers classified by the age group of the classified viewers provided in the age group classifying unit 680 shown in FIG. And stores it in the entry counting data storage area 720 of each age group of the database 700 shown in FIG. 20, and stores the number of leaving guests in the exit counting data storage area 730.

여기서, 입장 카운팅 동작에 대하여 좀 더 구체적으로 살펴보면, 먼저 상단 카메라(제1 영상 입력부(100))의 해상도를 640 *480 픽셀을 기준으로 영상의 상단 및 하단으로부터 30 픽셀 위치에 도 21에 도신 바와 같이 2개의 가상 기준선 A(내부), B(외부)을 생성하고, 객체 추적부(530)에서 추적된 객체가 기준선 B를 먼저 통과하고 A를 통과한 경우 해당 객체를 입장객으로 카운팅하는데, 입장객의 카운팅시 상기 입장객에 대한 객체의 나이를 나이 그룹 분류부(680)에서 분류한 나이별 그룹으로 구분하여 데이터베이스(700)의 나이 그룹별 입장 카운팅 데이터 저장 영역(720)에 저장한다. First, the resolution of the upper camera (the first image input unit 100) is set at 30 pixels from the upper and lower ends of the image with reference to 640 * 480 pixels as shown in FIG. 21, If the object tracked by the object tracking unit 530 first passes through the reference line B and passes through A, the object is counted as an audience, In the counting, the age of the object for the visitor is divided into age groups classified by the age group classifying unit 680 and stored in the age-group entry counting data storing region 720 of the database 700.

그러나, 상기 추적한 객체가 만약, 도 21에 도시된 가상 기준선 A를 먼저 통과하여 기준선 B를 통과한 경우 해당 객체를 퇴장객에 대한 객체로 판단하여 계수한 후, 계수 데이터를 데이터베이스(700)의 퇴장 카운팅 데이터 저장영역(730)에 저장하게 되는 것입니다. However, if the tracked object passes through the virtual reference line A shown in FIG. 21 and passes through the reference line B, the object is judged as an object for the returning customer and counted. Then, And is stored in the exit counting data storage area 730.

좀 더 구체적으로 살펴보면, 사람의 머리에 대한 객체를 추적하여 추적된 객체가 도 20에 도시된 가상 기준선을 지날 때, 출입 카운트 여부가 결정 된다. 본 발명은 640 x 480의 이미지 해상도 기준으로 In: 30픽셀(pixel), Out: 450픽셀 높이에서 가상의 기준선을 설정하였으며, 이를 적용한 모습은 도 20과 같다. More specifically, when an object of a human head is traced and the tracked object passes the virtual reference line shown in FIG. 20, it is determined whether or not to count the access. In the present invention, a hypothetical reference line is set at an image size of In: 30 pixels (pixel) and an out size of 450 pixels (640 x 480).

그리고, 도 21에 도시된 좌상단과 우상하단의 문자는 가상의 기준선을 통과했을 때, 출입의 카운팅 수를 표시한다. The characters in the upper left corner and the upper left corner shown in Fig. 21 indicate the number of counts of entering and leaving when passing through a virtual baseline.

객체로 지정된 블랍은 중심점과 사각형 좌표를 가지고 있으며, 이를 이용해 가상의 기준선 통과 여부를 확인한다. 블랍이 생성 되었을 때(프레임에 입장 시) 시작 점을 부여하고, 중심점이 가상의 기준선 영역(In: 30픽셀, Out: 450픽셀)과 만난다면, 출입을 카운트 하는 방식이다. The blob assigned to the object has a center point and a rectangular coordinate, which is used to check whether a virtual baseline has passed. When the blob is created (when entering the frame), the start point is assigned, and if the center point meets the virtual baseline area (In: 30 pixels, Out: 450 pixels), the access is counted.

상기한 피플 카운팅 시스템의 동작과 대응되는 본 발명에 따른 피플 카운팅 방법에 대하여 도 22를 참조하여 단계적으로 설명해 보기로 한다. The method of counting people according to the present invention corresponding to the operation of the above-mentioned people counting system will be described step by step with reference to FIG.

도 22는 본 발명에 따른 피플 카운팅 방법에 대한 동작 플로우차트를 나타낸 도면이다. 22 is a flowchart illustrating an operation of the method for counting people according to the present invention.

도 22에 도시된 바와 같이, 먼저 출입구의 상단 및 정면에 각각 설치된 깊이 영상 카메라로부터 각각 촬영된 영상신호가 입력된다(S101, S201). 여기서, 상기 각각의 깊이 영상 카메라는 도 1에 도시된 제1, 2 영상 입력부(100, 220)에 해당된다. As shown in FIG. 22, the video signals photographed from the depth video cameras respectively installed at the upper and the front of the entrance are inputted (S101, S201). Here, each of the depth image cameras corresponds to the first and second image input units 100 and 220 shown in FIG.

먼저, 상단 카메라로부터 입력된 영상에 대한 객체 검출 동작에 대하여 살펴보면, 출입구 상단에 설치된 상단 카메라로를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거하여 전경 영상을 얻게 된다(S102). 여기서, 배경 제거를 위해서는 두 가지 방법을 이용하게 되는데 첫 째, 차 연산을 이용하고, 둘째, 가우시안 혼합모델을 이용하게 되는데 차 연산 및 가우시안 혼합 모델을 이용한 구체적인 방법에 대해서는 상기에서 구체적으로 설명하였기에 이를 생략하기로 한다. First, an object detection operation for an image input from an upper camera will be described. In operation S102, a foreground image is obtained by removing a background image from an RGBD image input through an upper camera installed at an upper end of an entrance. In this case, two methods are used for background removal. First, a difference operation is used. Second, a Gaussian mixture model is used. Concrete methods using a difference operation and a Gaussian mixture model have been described above in detail. It will be omitted.

이어, 상기 차연산과 가우시안 혼합 모델링을 통해 입력되는 영상으로부터 배경이 제거되어 전경 영상이 획득되면 획득된 전경영상으로부터 전경 객체를 추출하게 되고(S103), 추출된 전경 객체에 대하여 객체 블랍 지정부(330)에서 블랍을 지정하여 객체를 분리하게 된다(S104). 여기서, 전경 객체 추출과 블랍 지정에 대한 일예에 대해서는 도 4와 도 5에 도시되어 있으며, 전경 객체 추출 및 추출된 객체에 대한 블랍 지정 동작에 대해서는 상기에서 구체적으로 설명하였기에 이 역시 설명을 생략하기로 한다. Then, when the foreground image is obtained by removing the background from the input image through the difference calculation and Gaussian mixture modeling, the foreground object is extracted from the obtained foreground image (S103), and the foreground object 330) to specify the blob (S104). An example of the foreground object extraction and the blob designation is shown in FIGS. 4 and 5, and the foreground object extraction and the blob designation operation for the extracted object have been described above in detail, do.

이어, 상기 객체 블랍 지정을 통해 분리된 객체 영상의 깊이 정보를 거리 정보로 변환하여 상단 카메라로부터 대략 50-100Cm 떨어진 머리 형태의 객체를 검출한다(S105). 여기서, 머리 형태의 객체를 검출한 영상의 일예에 대해서는 도 6과 같다.Next, the depth information of the object image separated through the object blob designation is converted into distance information, and a head shape object which is separated from the upper camera by about 50-100 cm is detected (S105). Here, an example of an image in which a head-shaped object is detected is shown in FIG.

한편, 출입구의 정면에 설치된 정면 카메라로부터 입력된 영상에 대한 객체 검출 동작에 대하여 살펴보면, 출입구 정면에 설치된 정면 카메라로를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거하여 전경 영상을 얻게 된다(S202). 여기서, 정면 카메라에서의 배경 제거 방법 역시 상단 카메라에서의 방법과 같이 두 가지 방법을 이용한다. 첫 째, 차 연산을 이용하고, 둘째, 가우시안 혼합모델을 이용하게 되는데 차 연산 및 가우시안 혼합 모델을 이용한 구체적인 방법에 대해서는 상기에서 구체적으로 설명하였기에 이를 생략하기로 한다. In operation S202, the background image is removed from the RGBD image input through the front camera installed in the front of the doorway, and the foreground image is obtained. Here, the background removal method in the front camera also uses two methods like the method in the upper camera. First, a difference operation is used, and second, a Gaussian mixture model is used. Concrete methods using a difference operation and a Gaussian mixture model have been described in detail in the above, and therefore will be omitted.

이어, 상기 차연산과 가우시안 혼합 모델링을 통해 입력되는 영상으로부터 배경이 제거되어 전경 영상이 획득되면 획득된 전경영상으로부터 전경 객체를 추출한다(S203).Then, when the foreground image is obtained by removing the background from the input image through the difference calculation and Gaussian mixture modeling, the foreground object is extracted from the obtained foreground image (S203).

이어, 상기 추출된 전경 영상에서 깊이 정보를 활용한 관절 추적 방법을 적용하여 각각의 출입자의 신체 전체에 대한 객체를 검출한다(S204) 여기서, 상기한 객체 검출 방법은 이미 발표된 공지의 논문 “마이크로소프트 키넥트 SDK 활용 : Real-Time Human Pose Recognition in Parts from Single Depth Image” 에 기재된 관절 추적 방법을 이용한 것으로 상세 설명은 생략하기로 한다Next, an object of the entire body of each participant is detected by applying a joint tracking method using depth information in the extracted foreground image (S204). Here, the object detection method is described in a well-known article " Using the joint tracking method described in " SoftKnext SDK Application: Real-Time Human Pose Recognition in Parts from Single Depth Image ", and a detailed description thereof will be omitted

상기한 S101~S105단계의 동작과, S201-S204단계에 대하여 상기에서는 각각 분리하여 설명하였으나, 실질적으로는 동시에 이루어지는 동작의 단계들임을 이해해야 할 것이다. Although the operation of steps S101 to S105 and the steps S201 to S204 have been separately described above, it should be understood that they are substantially the same operational steps.

상기 S105단계 및 S204단계에서 각각 검출된 객체 즉, 머리 객체와 사람 전신에 대한 객체에 대한 영상정보는 피플 카운팅을 위한 정보로서 제공한다. The image information for the objects detected in steps S105 and S204, i.e., the head object and the human body, is provided as information for counting people.

파플 카운팅을 위해 상기 S105 단계 및 S204단계에서 각각 검출된 객체 즉, 머리 객체 및 사람 전신 객체 정보를 이용하여 상호 동일한 사람의 객체인지를 판단한다(S301). 즉, 추출된 각각의 객체에 대한 깊이 데이터의 해당 픽셀 기준으로 다음 픽셀을 왼쪽으로 8 비트를 시프트 한 후 OR 연산을 진행했고, 이를 이용해 해당 픽셀의 거리를 0∼255로 받아온다.In step S301, it is determined whether the object is the same person using the detected objects, i.e., the head object and the human body object information, in steps S105 and S204 for papel counting. That is, the next pixel is shifted to the left by 8 bits on the basis of the corresponding pixel of the depth data of each extracted object, and the OR operation is performed, and the distance of the corresponding pixel is received from 0 to 255 by using this.

그리고, 깊이 데이터 연산을 통해 상단 카메라 및 전면 카메라에 위치에 따른 ROI를 설정한 후, 상단 시점 객체 블랍의 중심점과 정면카메라 블랍 상단 중심점의 거리를 매핑하여 교차되는 지점의 객체를 동일객체로 판별한다. Then, the ROI according to the position is set in the upper camera and the front camera through the depth data calculation, and the object at the intersecting point is identified as the same object by mapping the center point of the upper viewpoint object blob and the distance of the center point of the upper end of the camera blob .

이렇게 동일한 객체로 판별되면, 판별된 각각의 객체에 대하여 태그를 부여하게 된다(S302). 각 객체에 대한 태그 부여는 도 9a 및 도 9b에 일 예로 도시하였으며, 구체적인 동작은 시스템 설명시 구체적으로 설명하였기에 생략하기로 한다. If the same object is identified, the tag is assigned to each identified object (S302). The tag assignment for each object is shown in FIG. 9A and FIG. 9B as an example, and the specific operation will be omitted because it has been described in detail in the system description.

이와 같이 각 객체에 대하여 태그가 부여된 상태에서 객체 추적이 이루어지게 된다(S304) . 즉, 태그 정보가 부여된 객체 블랍을 지속적으로 추적한다. 여기서, 객체 추적은 확장 칼만 필터(EKF) 알고리즘를 통해 이루어지고, EKF는 선형적인 모델 뿐 아니라 비선형적인 모델도 적용시킬 수 있는 특징을 가지고 있으며, 다양한 모델이 적용 가능하고, 적절한 모델 사용 시에 최고 성능, 높은 객체 추적 능력을 보인다는 장점이 있다. 여기서, 확장 칼만 필터 알고리즘은 상기한 수학식 4와 같이 표현될 수 있다. In this way, the object tracking is performed with the tag attached to each object (S304). That is, the object blob tag information is continuously tracked. Here, the object tracking is performed by an extended Kalman filter (EKF) algorithm. The EKF has features that can apply not only a linear model but also a nonlinear model, and various models can be applied. , And high object tracking capability. Here, the extended Kalman filter algorithm can be expressed as Equation (4).

그리고, 상기한 확장 칼만 필터 알고리즘을 적용한 객체의 좌표 추적 결과는 도 10에 도시되어 있으며, 객체 추적 영상의 일 예는 도 11에 도시되어 있다. The coordinate tracking result of the object using the extended Kalman filter algorithm is shown in FIG. 10, and an example of the object tracking image is shown in FIG.

이렇게 추적된 객체에 대하여 출입자의 입장객 수와 퇴장객 수를 Line Drawing 기법을 이용하여 카운팅한다(S501, S502). 즉, 상단 카메라 영상의 해상도를 640 x 480 픽셀(Pixel)을 기준으로, 영상의 상단 및 하단으로부터 30픽셀 위치에 2개의 가상 기준선 A(내부), B(외부)를 생성하고, 추적한 객체가 B를 먼저 통과하고 A를 통과한 경우 입장(IN) 수를 계수하며, A를 먼저 통과하고 B를 통과한 경구 퇴장(OUT) 수를 각각 각각 카운팅한다. 여기서, 입장 카운팅의 경우 카운팅되는 입장객을 나이별로 각각 구분하여 카운팅하게 된다. 즉, 입장객을 카운팅할 때 입장객의 나이대별로 각각 분류하여 입장객의 수를 카운팅한다. The traced object is counted by the line drawing technique (S501, S502). That is, two virtual reference lines A (inside) and B (outside) are generated at a position of 30 pixels from the upper and lower sides of the image, with the resolution of the upper camera image being 640 x 480 pixels (Pixel) If B passes first and passes A, count the number of entries (IN), and count the number of outgoing (OUT) passes first before passing through A and B, respectively. Here, in the case of the entrance counting, the visitors who are counted are classified according to the age. That is, when the visitors are counted, they are classified by the age of the visitors and the number of the visitors is counted.

이하, 입장 카운팅시 입장객의 나이를 분류하는 방법에 대하여 설명해 보기로 하자. Hereinafter, a method of classifying the age of the visitor at the entrance counting will be described.

먼저, S204단계에서 검출된 검출된 객체 즉, 출입자의 전신에 대한 객체 영상으로부터 얼굴을 인식한다(S401). First, the face is recognized from the detected object detected in step S204, that is, the object image of the entire body of the visitor (S401).

얼굴 인식은 상기 검출된 출입자의 전신에 대한 객체 영상 즉, 출입구의 정면에 설치된 정면 카메라로부터 입력되는 영상의 사람 객체 영역을 대상으로 깊이 데이터 기반 AAM(Active Appearance Models)방법을 사용하여 얼굴영상을 인식한다. The face recognition is performed by using a depth-based AAM (Active Appearance Models) method on an object image of the detected body of the user, that is, a human object region of an image input from a front camera installed in front of an entrance, do.

이어, 인식된 얼굴 영상의 얼굴 영역으로부터 기 설정된 얼굴 특징점 추출 마스크를 이용하여 121개의 얼굴 특징점을 추출한다(S402). 여기서, 121개의 얼굴 특징점을 추출한 영상의 예는 도 13에 도시되어 있다. Then, 121 facial feature points are extracted from the facial region of the recognized facial image using a predetermined facial feature point extraction mask (S402). Here, an example of an image obtained by extracting 121 facial feature points is shown in Fig.

상기 추출된 121개의 얼굴 특징점중 8개의 나이 특징점을 도 14와 같이 추출한다(S403). 즉, 도 14에 도시된 바와 같이 TH(Top of Head), E_L(Left Eye), E_R(Right Eye), N(Nose), L(Lip), SF_L(Left Side of Face), SF_R(Right Side of Face), C(Chin)로 이루어진 총 8개의 나이 특징점을 추출한다.8 age feature points of the extracted 121 facial feature points are extracted as shown in FIG. 14 (S403). That is, the (Top of Head) TH as shown in Fig. _{14 E L (Left Eye),} E R (Right Eye), N (Nose), L (Lip), SF L (Left Side of Face), SF _R (Right Side of Face), and C (Chin).

또한, 상기 추출된 121개의 얼굴 특징점으로부터 도 15와 같이 9개의 주름 영역 보조점(p1-p9)을 추출한다(S404).In addition, nine pleated area auxiliary points (p1-p9) are extracted from the extracted 121 facial feature points as shown in FIG. 15 (S404).

상기 S403단계에서 8개의 나이 특징점을 추출하는 동작과, S404단계에서 9개의 주름 영역 보조점을 추출하는 구체적인 동작은 도 12의 설명에서 구체적으로 설명하였기에 생략하기로 한다. The operation of extracting the eight age minutiae points in step S403 and the detailed operation of extracting the nine wrinkle area auxiliary points in step S404 have been described in detail with reference to FIG.

이어, 상기 S403단계에서 추출한 8개의 나이 특징점을 이용하여 7개의 얼굴 특징 비율을 측정하게 된다(S405). 즉, 7개의나이 특징 비율은 상기한 수학식 7-수학식 13에 도시된 방법을 이용하여 각각 측정한다. Then, seven facial feature ratios are measured using the eight age feature points extracted in step S403 (S405). That is, the seven age feature ratios are respectively measured using the method shown in Equation (7).

그리고, S403단계에서 추출된 추출된 8개의 나이 특징점과, S404단계에서 추출된 9개의 주름 영역 보조점을 이용하여 4개의 주름 영역을 추출한다(S406). 즉, 도 14에 도시된 8개의 나이 특징점과 도 15에 도시된 9개의 주름 영역 보조점, 미리 설정된 주름영역 위치를 활용하여 도 17에 도시된 바와 같이 SE_L(Side of Left Eye), SE_R(Side of Right Eye), SN_L(Left Side of Nose), SN_R(Right Side of Nose)의 총 4 개의 주름 영역을 추출한다. In step S406, four corrugated regions are extracted using the eight extracted mining points extracted in step S403 and nine corrugated area auxiliary points extracted in step S404. That is, by utilizing the eight age feature points shown in Fig. 14, the nine wrinkle area auxiliary points shown in Fig. 15, and the predetermined wrinkle area positions, SE _L (Side of Left Eye), SE _R (SN), SN _R (Right Side of Nose), SN _L (Side of Right Eye), SN _L (Left Side of Nose)

이어, S406단계에서 추출된 4개의 주름 영역에 대한 주름 밀도(Wrinkle Densities)를 상기한 수학식 14를 이용하여 각각 측정한다(S407).Next, the wrinkle densities of the four wrinkle areas extracted in step S406 are measured using the above-described equation (14) (step S407).

상기 4개의 주름 밀도는 나이 특징점과 마찬가지로, 실시간 시스템의 특성으로 인해, 좌우측의 주름 영역 크기에 큰 차이가 발생할 수 있다. 주름의 경우 좌우측이 대칭적으로 존재하지 않을 수도 있으며, 사람의 생활환경, 습관 등으로 인해 실제 연령대와 판이하게 다른 주름 밀도를 보일수도 있기 때문에, 얼굴 특징 비율과 같이 교정을 수행하는 것은 불가능하다. 본 제안 시스템은 검출한 얼굴을 화면에서 사라질 때까지 지속적으로 추적하고 있기 때문에, 좌우측 각 주름 영역의 가로 길이가 2배 이상 차이가 나는 경우, 올바른 비율의 주름 영역을 추출할 수 있는 시점까지 얼굴 검출을 다시 수행한다.As with the age minutiae, the four wrinkle densities can vary greatly in the size of the right and left wrinkle areas due to the characteristics of the real-time system. In the case of wrinkles, the right and left sides may not exist symmetrically, and because of the human living environment, habits, etc., it may not be possible to perform calibration such as facial feature ratios because the wrinkle density may be different from the actual age. Since the proposed system continuously tracks the detected face until it disappears from the screen, when the width of the right and left corrugated areas is more than two times the width of the corrugated area, Lt; / RTI >

상기한 바와 같이 4개의 주름 밀도가 측정되면, 측정된 4개의 주름 밀도 및 상기 S405단계에서 추출된 7개의 얼굴 특징 비율값 그리고 데이터베이스에 저장된 나이 그룹 분류 데이터를 이용하여 입력 영상에 대한 얼굴의 나이대를 분류하게 된다(S408). 여기서, 나이 분류 방법는 도 19에 도시된 바와 같은 신경망 방법을 이용하게 되는데 구체적인 방법에 대해서는 상술하였기에 생략하기로 한다. When the four wrinkle densities are measured as described above, the four face density values, the seven face feature ratio values extracted in step S405, and the age group classification data stored in the database are used to calculate the face age (S408). Here, the age classification method uses a neural network method as shown in FIG. 19, and a detailed method has been described in detail.

이어, 상기 S304단계에서 추적된 객체 정보와 상기 S408단계에서 분류된 입장객의 나이 그룹 별로 입장객의 수를 카운팅하여 데이터베이스(700)에 나이 그룹별 입장 카운팅 데이터로서 저장하고(S501), 퇴장객의 수는 데이터베이스(700)에 퇴장 카운팅 데이터로서 저장한다(S502). Then, the number of visitors is counted according to the object information tracked in the step S304 and the age group of the passengers classified in the step S408, and is stored as admission counting data for each age group in the database 700 (S501) And stores it as the exiting counting data in the database 700 (S502).

여기서, 상기 S501단계에서의 입장 카운팅 동작에 대하여 좀 더 구체적으로 살펴보면, 먼저 상단 카메라의 해상도를 640 *480 픽셀을 기준으로 영상의 상단 및 하단으로부터 30 픽셀 위치에 도 21에 도신 바와 같이 2개의 가상 기준선 A(내부), B(외부)을 생성하고, S304단계에서 추적된 객체가 기준선 B를 먼저 통과하고 A를 통과한 경우 해당 객체를 입장객으로 카운팅하게 되는데, 입장객의 카운팅시 상기 입장객에 대한 객체의 나이를 상기 S408단계에서 분류한 나이별 그룹으로 구분하여 데이터베이스의 나이 그룹별 입장 카운팅 데이터 저장 영역에 저장한다. As shown in FIG. 21, the entry counting operation in step S501 will be described in detail. First, the resolution of the upper camera is set to 30 pixels from the upper and lower sides of the image on the basis of 640 * 480 pixels. The object is counted as an audience when the object tracked in step S304 passes through the reference line B first and passes through A, and the object for the visitor is counted when the visitor counts And stores the age in the age-group-based entry counting data storage area of the database.

그러나, 상기 추적한 객체가 만약, 도 21에 도시된 가상 기준선 A를 먼저 통과하여 기준선 B를 통과한 경우 해당 객체를 최장객에 대한 객체로 판단하여 계수한 후, 계수 데이터를 데이터베이스의 퇴장 카운팅 데이터 저장영역에 저장한다.
However, if the tracked object passes through the virtual reference line A shown in FIG. 21 and passes through the reference line B, it is determined that the object is the object for the longest object, and then the coefficient data is outputted as the exit counting data And stores it in the storage area.

위에서 본 발명의 실시예들이 설명되었으며, 당해 기술 분야에 속한 통상의 지식을 가진 자는 이러한 실시예들은 발명을 한정하기 위한 것이 아니라 단지 예시적인 것임을 인식할 수 있고, 본 발명의 범위 또는 사상을 벗어나지 않고 변형, 수정 등이 가능함을 인식할 것이다. Having described the embodiments of the present invention above, those of ordinary skill in the art will recognize that these embodiments are illustrative rather than limiting, and that various changes and modifications may be made without departing from the scope or spirit of the invention Variations, and modifications may be made without departing from the scope of the present invention.

100, 200 : 제1,2 영상 입력부 300, 400 : 제1,2 객체 추출부
310, 410 : 배경 제거부 320, 420 : 전경객체 추출부
330 : 객체 블랍 지정부 340, 430 : 객체 검출부
500 : 피플 카운팅부 510 : 동일 객체 판단부
520 : 객체별 고유태그 부여부 530 : 객체 추적부
540 : 카운팅부 600 : 얼굴 나이 분류부
610 : 얼굴 인식부 620 : 얼굴 특징점 추출부
630 : 나이 특징점 추출부 640 : 얼굴 특징 비율 측정부
650 : 주름 영역 보조점 추출부 660 : 주름 영역 검출부
670 : 주름 밀도 측정부 680 : 나이 그룹 분류부100, 200: first and second image input units 300, 400:
310, 410: background removing unit 320, 420: foreground object extracting unit
330: Object bloc management unit 340, 430: Object detection unit
500: People counting unit 510:
520: Whether a unique tag is provided for each object 530:
540: counting unit 600: face age classifying unit
610: face recognition unit 620: facial feature point extraction unit
630: age feature point extraction unit 640: face feature ratio measurement unit
650: Crease area auxiliary point extracting part 660: Crease area detecting part
670: Wrinkle density measuring unit 680: Age group classification unit

Claims

In the person counting method,
Inputting a top image and a front image using an upper camera and a front camera respectively installed on an upper and a front of an entrance;
Extracting a head object and a face object from the input top image and the front image, respectively;
Classifying the face age using the predetermined age classification data for the extracted face object; And
And counting the number of the passengers by age using the head object information and the classified face age information for the extracted upper image.

delete

The method according to claim 1,
Wherein the step of extracting the object comprises:
Removing the background image from the RGBD image input through the upper camera;
Extracting a foreground object from the foreground image from which the background is removed;
Designating an object blob for the extracted foreground object; And
Detecting the head object using the designated blob, and detecting the detected head object information.

5. The method of claim 4,
Wherein the background image removal is performed through a difference calculation and a Gaussian mixture modeling method in the step of removing the background image.

6. The method of claim 5,
Wherein the Gaussian mixture modeling is performed using the following equation.

Where W is the input image, μ is the average, t is the frame, Σ is the covariance, P is the percentile, W _{i, t} is the frame of the ith input image, η () It represents the number of images.

6. The method of claim 5,
Wherein the step of designating the object blob uses a histogram analysis and labeling technique for blob designation of a foreground object, and the detection of a head object is detected through labeling filtering in a step of detecting head object information.

The method according to claim 1,
Wherein the step of extracting the object comprises:
Removing a background image from an RGBD image input through the front camera;
Extracting a foreground object from the foreground image from which the background is removed; And
And detecting a person object from the extracted foreground image.

9. The method of claim 8,
Detecting a human object by using a joint tracking method using depth information in the extracted foreground image.

The method according to claim 1,
The step of classifying the face age comprises:
Recognizing a face using the depth data based AAM (Active Appearance Models) method on the extracted face object area;
Extracting 121 facial feature points from the recognized facial image;
Extracting eight age feature points from the extracted 121 facial feature points;
Extracting nine crease area auxiliary points from the extracted 121 facial feature points;
Measuring seven facial feature ratios from the extracted eight age feature points;
Detecting four corrugated regions from the extracted nine corrugated area auxiliary points and the extracted eight age minutiae;
Measuring wrinkle density for the four detected wrinkle areas; And
And classifying the face objects into an established age group according to the set of age classification data set as the input vector of the measured seven facial feature ratio values and the measured four facial feature values.

11. The method of claim 10,
Wherein the seven facial feature ratios measured in the step of measuring the facial feature ratios are measured using the following equation.

ME is the center of the distance between the eyes, TH is the top of the head, E _L is the center of the left eye, E _R (A, B) is the center of the right eye, N is the center point of the nose, L is the center of the lips, C is the lowest of the head central point, SF _L is the left side of the face (left Side of face), SF R is the right side of the face (right Side of face ).

11. The method of claim 10,
Wherein in the step of measuring the wrinkle density, the wrinkle density is measured using the following equation.

Where WD is the Wrinkle Densities, T _P is the total number of pixels, and W _P is the number of corrugation pixels.

11. The method of claim 10,
In the step of classifying into the age group, the age classification classifies the age of the object using a neural network method.

The method according to claim 1,
Wherein the counting step comprises:
Determining whether the extracted head object and face object are objects of the same person;
Assigning a unique tag for each object to each object when each object is identified as an object of the same person as a result of the determination;
Tracking an object using tag information assigned for each object;
Counting the number of viewers by age using the tracked object information and face age information of the extracted face object, and counting the number of leaving guests by using the tracked object information.

15. The method of claim 14,
Wherein the same object discrimination is performed by mapping the center point of the head object blob and the center point of the face object blob to identify the object at the intersecting point as the same object.

15. The method of claim 14,
Wherein in tracking the object, object tracking uses an extended Kalman filter (EKF) algorithm.

15. The method of claim 14,
Wherein in the counting step, the counting of the visitor and the exit visitor is counted using a line drawing technique.

delete