KR101146417B1

KR101146417B1 - Apparatus and method for tracking salient human face in robot surveillance

Info

Publication number: KR101146417B1
Application number: KR1020050043724A
Authority: KR
Inventors: 고병철; 백승현
Original assignee: 삼성전자주식회사
Priority date: 2005-05-24
Filing date: 2005-05-24
Publication date: 2012-05-17
Also published as: KR20060121503A

Abstract

본 발명은 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법에 관한 것으로,카메라에 의해 촬영된 영상이 입력되면, 입력된 영상에 대한 색상 대비 맵과 모션 맵을 생성하고, 상기 색상 대비 맵과 모션 맵을 결합하여 중요 대비 맵을 생성하며, 입력된 영상에서 얼굴 영상과 유사한 얼굴 후보 영역을 검출한 후, 중요 대비 맵과 상기 얼굴 후보 영역을 결합하여 중요 얼굴 영역들을 검출하고, 상기 검출된 중요 얼굴 영역들 중 하나의 최종 중요 얼굴을 결정하여 최종 중요 얼굴을 추적한다. 따라서 본 발명은 본 발명은 입력 영상에 여러 사람이 존재하여도 특정 한 사람을 중요한 사람으로 인식하여 그 중요한 사람만을 추적할 수 있도록 하는 효과가 있다.The present invention relates to an apparatus and method for tracking an important face in an unmanned surveillance robot. When an image photographed by a camera is input, a color contrast map and a motion map for the input image are generated, and the color contrast map and the motion map are generated. Combine to generate an important contrast map, detect a face candidate region similar to the face image from the input image, and then combine the important contrast map and the face candidate region to detect important face regions, and detect the detected important face regions The final important face is tracked by determining one of the final important faces. Therefore, the present invention has the effect of recognizing a particular person as an important person and tracking only the important person even if several people exist in the input image.

무인 감시 로봇, 얼굴 검출, 중요 얼굴 검출, 중요 얼굴 추적 Unmanned surveillance robot, face detection, key face detection, key face tracking

Description

Significant face tracking device and method in unmanned surveillance robot {APPARATUS AND METHOD FOR TRACKING SALIENT HUMAN FACE IN ROBOT SURVEILLANCE}

도 1은 본 발명의 실시 예에 따른 중요 얼굴 추적 장치에 대한 블록 구성도1 is a block diagram of an important face tracking device according to an embodiment of the present invention

도 2는 본 발명의 실시 예에 따른 입력 영상에 대한 색상 대비 맵/모션 맵/얼굴 후보영역 검출 영상 일예도2 is a diagram illustrating an example of a color contrast map / motion map / face candidate region detection image of an input image according to an embodiment of the present invention.

도 3은 본 발명의 실시 예에 따른 중요 대비 맵 영상 일예도3 is an example of an important contrast map image according to an embodiment of the present invention

도 4는 본 발명의 실시 예에 따른 최종 중요 얼굴 선택화면 일예도4 is an example of the final important face selection screen according to an embodiment of the present invention

도 5는 본 발명의 실시 예에 따른 중요 얼굴 추적 장치의 동작 흐름도5 is an operation flowchart of an important face tracking device according to an exemplary embodiment of the present invention.

도 6은 본 발명의 실시 예에 따른 색상 대비 맵 생성 과정에 대한 흐름도6 is a flowchart illustrating a process of generating a color contrast map according to an embodiment of the present invention.

도 7은 본 발명의 실시 예에 따른 모션 맵 생성 과정에 대한 흐름도7 is a flowchart illustrating a process of generating a motion map according to an embodiment of the present invention.

도 8은 본 발명의 실시 예에 따른 얼굴 후보 영역 검출 과정에 대한 흐름도8 is a flowchart illustrating a process of detecting a face candidate region according to an embodiment of the present invention.

본 발명은 로봇에 관한 것으로, 특히 무인 감시 로봇 등과 같은 각종 로봇에 서 중요 얼굴 추적을 위한 장치 및 방법에 관한 것이다. The present invention relates to a robot, and more particularly, to an apparatus and a method for tracking an important face in various robots such as an unmanned surveillance robot.

최근 로봇에 대한 관심이 크게 증가하면서 로봇 비전에 대한 기술이 활발한 연구 대상이 되고 있으며, 로봇 비전 기술은 인공 지능과 연관되어 얼굴 검출 및 인식, 객체 추적, 표정 인식, 동작 인식 등으로 다양하게 연구되고 있다.Recently, as the interest in robots has increased greatly, the technology of robot vision has been actively studied, and robot vision technology has been studied in various ways such as face detection and recognition, object tracking, facial recognition, and motion recognition in connection with artificial intelligence. have.

그러나 상기한 바와 같은 로봇 비전 기술들은 기술의 현실적 응용의 어려움으로 인해 현재는 주로 얼굴 검출 및 추적 기술이 로봇에 제한적으로 적용되고 있는 실정이다.However, the robot vision technologies as described above are currently limited in the face detection and tracking technology to the robot due to the difficulty of the practical application of the technology.

종래 얼굴 검출 및 추적 기술은 대부분 입력 영상안에 한 개의 얼굴이 존재한다는 가정 하에 해당 얼굴을 추적한다. 따라서 입력 영상안에 여러개의 얼굴이 존재하는 경우 모든 얼굴들을 추적해야 한다. 그런데 한대의 감시 카메라를 통해 모든 얼굴을 다 추적할 수는 없으므로 이에 대한 대안이 필요하다.Conventional face detection and tracking techniques mostly track a face under the assumption that one face exists in the input image. Therefore, if multiple faces exist in the input image, all faces must be tracked. However, not all faces can be tracked through one surveillance camera, so we need an alternative.

최근 이에 대한 대안으로 입력 영상에서 인간의 시각적 특성을 이용하여 중요 객체만을 추출하고 중요 객체에서 사람의 얼굴 영역을 검출하는 방법들이 제안되고 있다.Recently, as an alternative to this, methods for extracting only an important object and detecting a human face region from the important image by using human visual characteristics have been proposed.

첫번째 방법은 휴머로이드 로봇(Humanoid Robot)에 적용하기 위한 목적으로 제안된 것으로, 입력 영상으로부터 피부 검출(skin detector), 색상 검출(color detector), 모션 검출(motion detector), 습관(habituation) 검출 각각에 의한 4가지 맵을 구성하고, 각 맵에 특정 가중치를 적용하여 하나의 맵으로 선형 조합한 뒤에 집충 처리(attention process)과정을 거쳐 맵에서 중요 얼굴에 해당하는 영역을 찾아내는 방법이다.The first method is proposed for the application to humanoid robots, and the skin detector, color detector, motion detector, and habituation detection, respectively, are detected from the input image. It consists of four maps, linearly combines them into a single map by applying specific weights to each map, and then finds the area of the important face in the map through an attention process.

또한 두번째 방법은 입력 영상에 대한 밝기 맵과 색상 맵을 생성하고, 밝기 맵과 색상 맵 중 대응되는 좌표의 성분값이 더 높은 영역을 취하여 새로운 맵(A)을 만든 후, 입력 영상에 대한 모션 맵을 생성하여 상기 A 맵과 비교하여 대응되는 좌표의 성분값이 더 높은 영역을 취하여 새로운 맵 B를 생성하며, 입력 영상에 대한 얼굴 맵 C를 생성하여 상기 B맵과 비교하여 대응 좌표값이 높은 영역을 취하여 최종 맵을 생성하는 방법으로, 최종 맵에는 중요 얼굴 영역들이 포함되게 된다.In addition, the second method generates a brightness map and a color map for the input image, creates a new map (A) by taking an area with higher component values of the corresponding coordinates among the brightness map and the color map, and then creates a motion map for the input image. To generate a new map B by taking an area with a higher component value of the corresponding coordinates in comparison with the A map, and generate a face map C for an input image and compare the B map with an area having a corresponding coordinate value. In this method, the final map includes important face regions.

그런데 상기한 첫번째 방법은 피부 맵, 색상 맵, 모션 맵, 습관 맵 등과 같은 모든 특징 맵을 사용하므로 정확한 성능을 보여줄 수는 있지만 많은 계산량으로 인해 중요 얼굴 검출 시간이 오래걸리는 문제점이 있다. 또한, 첫번째 방법은 각 맵들을 하나의 맵으로 선형 조합할 때 각 맵마다 가중치를 적용하므로 각 맵들의 가중치마다 성능이 크게 좌우될 수 있는 문제점이 있다.However, since the first method uses all the feature maps such as the skin map, the color map, the motion map, and the habit map, it can show accurate performance, but there is a problem that it takes a long time to detect important faces due to a large amount of computation. In addition, since the first method applies a weight to each map when linearly combining the maps into one map, the performance may greatly depend on the weight of each map.

그리고 두번째 방법은 각 단계마다 특징 맵을 만들고 최종 얼굴맵과 일치할 경우 중요 얼굴 영역으로 간주하여 중요 얼굴을 검출하긴 하지만 한 영상에 여러 얼굴이 존재할 경우 이들 중 가장 중요한 얼굴이 어떤 얼굴인지 구분할 수 없는 문제점이 있다.The second method detects important faces by creating feature maps at each stage and matching them to the final face map. However, if there are multiple faces in an image, it is impossible to distinguish which face is the most important of them. There is a problem.

따라서 본 발명의 목적은 적은 계산량으로 짧은 시간동안 중요 얼굴을 검출하여 추적하는 중요 얼굴 추적 장치 및 방법을 제공하는 데 있다.Accordingly, an object of the present invention is to provide an important face tracking apparatus and method for detecting and tracking an important face for a short time with a small amount of calculation.

또한 본 발명의 목적은 입력된 영상에 여러 얼굴이 존재할 경우 이들 중 어 떠한 얼굴이 중요한 얼굴인지 구분하여 중요 얼굴만 추적하는 중요 얼굴 추적 장치 및 방법을 제공하는 데 있다.It is also an object of the present invention to provide an important face tracking device and method that tracks only important faces by distinguishing which one among them is an important face when there are multiple faces in the input image.

상기의 목적을 달성하기 위한 본 발명은 무인 감시 로봇에서 중요 얼굴 추적 장치에 있어서, 소정 영상을 촬영하는 카메라와, 상기 촬영된 영상에 대한 색상 대비 맵과 모션 맵을 생성하고, 상기 색상 대비 맵과 모션 맵을 결합하여 중요 대비 맵을 생성하는 맵 생성부와, 상기 촬영된 영상 중 얼굴 영상과 유사한 얼굴 후보 영역을 검출하는 얼굴 후보 영역 검출부와, 상기 중요 대비 맵과 상기 얼굴 후보 영역을 결합하여 중요 얼굴 영역들을 검출하고, 상기 검출된 중요 얼굴 영역들 중 하나의 최종 중요 얼굴을 결정하는 중요 얼굴 검출부와, 상기 카메라를 제어하여 상기 결정된 최종 중요 얼굴을 추적하는 중요 얼굴 추적부를 포함한다.In order to achieve the above object, the present invention provides an apparatus for tracking an important face in an unmanned surveillance robot, comprising: a camera for photographing a predetermined image, a color contrast map and a motion map for the photographed image, and a color contrast map; A map generator for generating a significant contrast map by combining a motion map, a face candidate region detector for detecting a face candidate region similar to a face image among the photographed images, and a combination of the important contrast map and the face candidate region And an important face detection unit configured to detect face regions and determine a final important face of one of the detected important face regions, and an important face tracker configured to control the camera to track the determined final important face.

또한 본 발명은 무인 감시 로봇에서 중요 얼굴 추적 방법에 있어서, 카메라에 의해 촬영된 영상을 입력받는 과정과, 상기 입력된 영상에 대한 색상 대비 맵과 모션 맵을 생성하고, 상기 색상 대비 맵과 모션 맵을 결합하여 중요 대비 맵을 생성하는 과정과, 상기 입력된 영상에서 얼굴 영상과 유사한 얼굴 후보 영역을 검출하는 과정과, 상기 중요 대비 맵과 상기 얼굴 후보 영역을 결합하여 중요 얼굴 영역들을 검출하는 과정과, 상기 검출된 중요 얼굴 영역들 중 하나의 최종 중요 얼굴을 결정하는 과정과, 상기 카메라를 제어하여 상기 결정된 최종 중요 얼굴을 추적하는 과정을 포함한다.In another aspect, the present invention provides an important face tracking method in an unmanned surveillance robot, the process of receiving an image captured by the camera, generating a color contrast map and a motion map for the input image, the color contrast map and the motion map Generating a key contrast map by detecting a key, detecting a face candidate area similar to a face image from the input image, detecting a key face area by combining the key map with the face candidate area, and And determining a final important face of one of the detected important face areas, and controlling the camera to track the determined final important face.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다. 도면에서 동일한 구성 요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Note that the same components in the drawings are represented by the same reference numerals and symbols as much as possible even if shown in different drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

우선 본 발명을 개략적으로 설명하면, 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 인간의 시각 체계의 특성을 이용하여 중요 인물을 추적한다. 본 발명의 실시 예에 따른 중요 얼굴 추적 장치에서 이용되는 인간 시각 체계의 특성은 다음과 같다.First, the present invention will be described in brief. An important face tracking apparatus according to an exemplary embodiment of the present invention tracks an important person by using characteristics of a human visual system. Characteristics of the human visual system used in the important face tracking apparatus according to the embodiment of the present invention are as follows.

1. 인간은 주변과 두드러지는 색상(대비가 큰 색상)을 가지는 영역에 시선을 집중한다. 예를 들어 파란 하늘에 빨강색 풍선이 있을 경우 사람은 시선을 다른 주변 영역보다 빨간색 풍선에 집중할 확률이 높다.Humans focus their attention on areas that have a distinctive color (high contrast color). For example, if you have a red balloon in a blue sky, you are more likely to focus your attention on the red balloon than on other surrounding areas.

2. 인간은 정지되어 있는 물체보다는 움직이는 물체에 시선을 집중한다. 예를 들어 주차장에 주차되어 있는 자동차들 중 한대의 차량이 움직일 경우 사람은 시선을 정지되어 있는 차보다 움직이는 차에 집중할 확률이 높다.2. Humans focus their eyes on moving objects rather than stationary objects. For example, if one of the cars parked in a parking lot moves, a person is more likely to focus on a moving car than on a stationary car.

3. 사람은 일반 사물보다는 사람의 얼굴에 시선을 집중한다. 예를 들어 물건이 가득 차 있는 공간에 사람이 존재할 경우 사람은 시선을 물건보다는 사람에게 먼저 집중할 확률이 높다.3. People focus their attention on people's faces rather than on ordinary objects. For example, if a person exists in a space full of things, he is more likely to focus his attention on people than on things.

즉, 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 상기한 바와 같은 세가지 시각적 특징에 따라 입력된 영상에 존재하는 다양한 주변 객체들 중 중요한 객체를 인식하고 그 객체 중 가장 중요한 사람을 검출하여 추적한다.That is, the important face tracking apparatus according to an embodiment of the present invention recognizes an important object among various surrounding objects existing in the input image according to the three visual features as described above, and detects and tracks the most important person among the objects. .

이러한 본 발명의 실시 예에 따른 중요 얼굴 추적 장치의 구성을 상세히 설명하면, 도 1은 본 발명의 실시 예에 따른 중요 얼굴 추적 장치에 대한 블록 구성도이다. 도 1을 참조하면, 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 카메라(110), 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검출부(140), 중요 대비 맵 생성부(150), 중요 얼굴 검출부(160), 중요 얼굴 추적부(170)를 포함한다.Referring to the configuration of the critical face tracking device according to an embodiment of the present invention in detail, Figure 1 is a block diagram of a critical face tracking device according to an embodiment of the present invention. Referring to FIG. 1, an important face tracking apparatus according to an exemplary embodiment of the present invention may include a camera 110, a color contrast map generator 120, a motion map generator 130, a face candidate region detector 140, and an important contrast. The map generator 150, an important face detector 160, and an important face tracker 170 are included.

카메라(110)는 은행 또는 상가 건물 등과 같은 건물에 장착되어 해당 장소를 촬영하는 무인 감시 카메라 또는 로봇에 장착되어 로봇의 주변을 촬영하는 카메라 등이 될 수 있으며, 촬영된 영상 신호를 출력한다. The camera 110 may be an unmanned surveillance camera mounted on a building such as a bank or a mall building or a camera mounted on a robot to photograph the surroundings of the robot, and outputs the captured image signal.

카메라에 의해 촬영된 영상 신호는 각각 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검출부(140)로 제공된다.The image signals photographed by the camera are provided to the color contrast map generator 120, the motion map generator 130, and the face candidate region detector 140, respectively.

색상 대비 맵 생성부(120)는 색상 대비가 큰 영역에 시선을 집중하는 인간의 시각적 특징에 따라 카메라(110)에 의해 입력된 영상 신호를 이용하여 색상 대비 맵을 생성한다. 모션 맵 생성부(130)는 모션이 큰 영역에 시선을 집중하는 인간의 시각적 특징에 따라 카메라(110)에 의해 입력된 영상 신호를 이용하여 모션 맵을 생성한다. 얼굴 후보 영역 검출부(140)는 일반 사물보다는 사람의 얼굴에 시선을 집중하는 인간의 시각적 특징에 따라 카메라(110)에 의해 입력된 영상 신호를 이용하여 얼굴 후보 영역을 검출한다.The color contrast map generator 120 generates a color contrast map using an image signal input by the camera 110 according to a visual feature of a human who focuses the gaze on an area having large color contrast. The motion map generator 130 generates a motion map by using an image signal input by the camera 110 according to a visual feature of a human who focuses a gaze on a large motion region. The face candidate region detector 140 detects a face candidate region by using an image signal input by the camera 110 according to a visual feature of a human who focuses his / her eyes on a face of a person rather than a general object.

이러한 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검 출부(140)의 각각에 의해 생성된 맵 및 검출 영상이 도 2에 도시되어 있다.A map and a detection image generated by each of the color contrast map generator 120, the motion map generator 130, and the face candidate region detector 140 are illustrated in FIG. 2.

도 2는 본 발명의 실시 예에 따른 입력 영상에 대한 색상 대비 맵/모션 맵/얼굴 후보영역 검출 영상 일예도이다. 도 2의 (a)는 카메라(110)에 의한 입력 영상을 나타낸다. 도 2의 (b)는 색상 대비 맵 생성부(120)에 의해 생성된 색상 대비 맵 영상을 나타낸다. 도 2의 (c)는 모션 맵 생성부(130)에 의해 생성된 모션 맵 영상을 나타낸다. 도 2의 (d)는 얼굴 후보 영역 검출부(140)에 의해 검출된 얼굴 후보 영역 검출 영상을 나타낸다.2 is an example of a color contrast map / motion map / face candidate region detection image of an input image according to an embodiment of the present invention. 2A illustrates an input image by the camera 110. 2B illustrates a color contrast map image generated by the color contrast map generator 120. 2C illustrates a motion map image generated by the motion map generator 130. 2D illustrates a face candidate region detection image detected by the face candidate region detection unit 140.

색상 대비 맵 생성부(120)는 카메라(110)로부터 도 2의 (a)와 같은 영상이 입력되면 입력된 영상의 컬러 공간을 RGB 형식의 컬러 공간에서 CIE-LAB 형식의 컬러 공간으로 변환한다. 그리고 색상 대비 맵 생성부(120)는 CIE-LAB 컬러 공간으로 변환된 영상에서 밝기 성분 L을 제외한 A성분과 B성분을 이용하여 도 2의 (b)에 도시된 바와 같은 색상 대비 맵을 생성한다. 이때 RGB 형식은 ..CIE-LAB 형식은When the image as shown in FIG. 2A is input from the camera 110, the color contrast map generator 120 converts the color space of the input image from the color space of the RGB format to the color space of the CIE-LAB format. The color contrast map generator 120 generates a color contrast map as shown in FIG. 2 (b) by using the A component and the B component except the brightness component L in the image converted into the CIE-LAB color space. . The RGB format is ..CIE-LAB format.

모션 맵 생성부(130)는 카메라(110)로부터 도 2의 (a)와 같은 영상이 입력되면 이전 영상 신호 프레임과 현재 영상 프레임을 비교하여 이전 영상 프레임과 현재 영상 프레임 간의 모션 벡터를 산출한다. 그리고 모션 맵 생성부(130)는 모션 벡터의 크기값을 이용하여 도 2의 (c)와 같은 모션 맵을 생성한다.When the image as shown in FIG. 2A is input from the camera 110, the motion map generator 130 compares the previous image signal frame with the current image frame to calculate a motion vector between the previous image frame and the current image frame. The motion map generator 130 generates a motion map as shown in FIG. 2C by using the magnitude value of the motion vector.

얼굴 후보 영역 검출부(140)는 입력 영상에서 얼굴 색과 유사한 색상을 가지는 영역을 얼굴 후보 영역으로 검출한다. 이때 얼굴 후보 영역 검출부(140)는 얼굴과 유사한 색상은 처리 속도가 빠르고 얼굴 정면 뿐만 아니라 얼굴의 기울어짐, 얼굴의 좌우 회전등에 덜 민감한 색상 성분을 이용한다. 예컨대 얼굴 후보 영역 검출 부(140)는 카메라(110)로부터 도 2의 (a)와 같은 영상이 입력되면 입력된 영상을 입력된 영상 신호에 대한 RGB 형식의 컬러 공간을 YCbCr 형식의 컬러 공간으로 변환하고, Cb 및 Cr이 미리 정해진 얼굴 색상에 대한 임계값을 만족하는 영역을 얼굴 후보 영역으로 검출한다. 그리고 얼굴 후보 영역 검출부(140)는 검출된 얼굴 후보 영역을 모폴로지 열림 기법 등을 이용하여 보정하여 최종적으로 도 2의 (d)와 같은 얼굴 후보 영역을 검출한다.The face candidate region detector 140 detects a region having a color similar to the face color in the input image as the face candidate region. In this case, the face candidate region detector 140 uses a color component similar to a face and has a fast processing speed and a color component that is less sensitive to the face inclination, the inclination of the face, the left and right rotation of the face, and the like. For example, when the image as shown in FIG. 2A is input from the camera 110, the face candidate region detection unit 140 converts the input image into a color space in the RGB format for the input image signal in the YCbCr format. A region where Cb and Cr satisfies a threshold for a predetermined face color is detected as a face candidate region. The face candidate region detector 140 corrects the detected face candidate region by using a morphology opening technique, and finally detects the face candidate region as shown in FIG.

중요 대비 맵 생성부(150)는 색상 대비 맵 생성부(120)에 의해 생성된 색상 대비 맵과, 모션 맵 생성부(130)에 의해 생성된 모션 맵을 하나의 맵으로 결합하여 중요 대비 맵을 생성한다. The importance contrast map generator 150 combines the color contrast map generated by the color contrast map generator 120 and the motion map generated by the motion map generator 130 into a single map to form the importance contrast map. Create

중요 대비 맵 생성부(150)에 의해 생성된 중요 대비 맵에 대한 도면이 도 3에 도시되어 있다. 도 3은 본 발명의 실시 예에 따른 중요 대비 맵 영상 일예도이다. 도 3을 참조하면, 중요 대비 맵 생성부(150)는 도 2의 (b)에 도시된 바와 같은 색상 대비 맵과 도 2의 (c)에 도시된 바와 같은 모션 맵 각각에 가중치를 적용하고, 가중치 적용된 색상 대비 맵과 모션 맵을 선형 조합하여 도 3에 도시된 바와 같은 중요 대비 맵을 생성한다.3 is a diagram of the critical contrast map generated by the critical contrast map generator 150. 3 is an example of an important contrast map image according to an embodiment of the present invention. Referring to FIG. 3, the important contrast map generator 150 applies weights to each of the color contrast map as shown in FIG. 2B and the motion map as shown in FIG. 2C, The linear combination of the weighted color contrast map and the motion map produces an important contrast map as shown in FIG. 3.

중요 얼굴 검출부(160)는 중요 대비 맵 생성부(150)에 의해 생성된 중요 대비 맵과 얼굴 후보 영역 검출부(160)에 의해 검출된 최종 얼굴 후보 영역을 결합하여 중요 얼굴 영역을 검출하고, 중요 얼굴 영역들 중 최종 중요 얼굴을 선택한다. The important face detector 160 detects the important face region by combining the important contrast map generated by the important contrast map generator 150 with the final face candidate region detected by the face candidate region detector 160, and then detects the important face regions. Select the last significant face of the areas.

중요 얼굴 검출부(160)에 의해 검출된 중요 얼굴 영역 들중 최종 중요 얼굴을 선택하기 위한 화면이 도 4에 도시되어 있다.A screen for selecting a final important face among the important face areas detected by the important face detector 160 is illustrated in FIG. 4.

도 4는 본 발명의 실시 예에 따른 최종 중요 얼굴 선택화면 일예도이다. 도 4를 참조하면, 중요 얼굴 검출부(160)는 중요 대비 맵에서 미리 정해진 얼굴 후보 영역 임계값 이상인 영역에 대해서 최종 얼굴 후보 영역과 결합하여 중요 얼굴 영역들을 검출한다. 그리고 도 4에 도시된 바와 같이 검출된 중요 얼굴 영역들의 영역에 1, 2, 3과 같이 번호를 부여한다. 그리고 중요 얼굴 검출부(160)는 중요 얼굴 영역들 1,2, 3 중 미리 정해진 얼굴 조건을 만족하는 중요 얼굴 영역을 최종 얼굴 영역으로 판단한 후, 최종 얼굴 영역 중 중요 대비 맵값이 가장 큰 영역을 최종 중요 얼굴로 검출한다. 도 4에서는 1번 영역이 최종 중요 얼굴로 검출된 경우를 도시하고 있다.4 is an example of a final important face selection screen according to an embodiment of the present invention. Referring to FIG. 4, the important face detection unit 160 detects important face regions by combining the final face candidate region with respect to an area that is equal to or greater than a predetermined face candidate region threshold in the importance contrast map. As shown in FIG. 4, the areas of the detected critical face areas are numbered as 1, 2, and 3. The important face detection unit 160 determines an important face area that satisfies a predetermined face condition among the important face areas 1,2 and 3 as the final face area, and then finalizes the area having the largest map value of the important face among the final face areas. Detect by face. FIG. 4 illustrates a case where region 1 is detected as the final face.

중요 얼굴 추적부(170)는 상기 중요 얼굴 검출부(160)에 의해 검출된 최종 중요 얼굴에 대한 중심점과의 거리 측정을 통해 카메라(110)가 이동해야 할 이동거리를 측정하고, 그 이동 거리에 따라 카메라(110)가 이동하도록 제어하여 최종 중요 얼굴을 추적한다.The important face tracking unit 170 measures a moving distance that the camera 110 should move by measuring a distance from the center point of the last important face detected by the important face detecting unit 160, and according to the moving distance The camera 110 is controlled to move to track the final important face.

따라서 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 입력 영상 내의 여러 객체 중 가장 중요한 하나의 중요 얼굴을 검출하여 추적하므로, 로봇이나 무인감시 시스템에서 침입자 등과 같은 특정 사람을 검출 및 추적할 수 있다. Therefore, the critical face tracking apparatus according to an embodiment of the present invention detects and tracks the most important one of the various objects in the input image, and thus can detect and track a specific person such as an intruder in a robot or an unmanned surveillance system.

이하 전술한 바와 같이 구성된 중요 얼굴 추적 장치에서 중요 얼굴 추적 방법을 좀더 상세히 설명한다. 도 5는 본 발명의 실시 예에 따른 얼굴 추적 장치의 동작 흐름도이다. Hereinafter, an important face tracking method in the important face tracking device configured as described above will be described in more detail. 5 is an operation flowchart of a face tracking apparatus according to an exemplary embodiment of the present invention.

도 5를 참조하면, 도 5의 202단계에서 중요 얼굴 추적 장치는 카메라(110)를 통해 영상을 촬영하고, 촬영한 영상이 색상 대비 맵 생성부(120), 모션 맵 생성부(130), 얼굴 후보 영역 검출부(140)로 입력되도록 한다.Referring to FIG. 5, in operation 202 of FIG. 5, the important face tracking apparatus captures an image through the camera 110, and the captured image is a color contrast map generator 120, a motion map generator 130, and a face. It is input to the candidate region detector 140.

그리고 도 5의 210단계에서 중요 얼굴 추적 장치는 색상 대비 맵 생성부(120)를 통해 색상 대비 맵을 생성한다. 이러한 도 5의 210단계의 색상 대비 맵 생성 과정이 도 6에 상세히 도시되어 있다.In operation 210 of FIG. 5, the important face tracking apparatus generates a color contrast map through the color contrast map generator 120. The color contrast map generation process of step 210 of FIG. 5 is illustrated in detail in FIG. 6.

도 6은 본 발명의 실시 예에 따른 색상 대비 맵 생성 과정에 대한 흐름도이다. 도 6을 참조하면, 중요 얼굴 추적 장치는 212단계에서 입력 영상의 컬러 공간을 RGB 형식의 컬러 공간에서 CIE-LAB 형식의 컬러 공간으로 변환한다. 이때 CIE-LAB 컬러 공간으로 변환된 영상은 밝기 성분 L과 푸른 색상 성분인 A성분과 붉은 색상 성분인 B성분으로 구성된다. 즉, CIE-LAB 컬러 공간에서 A성분과 B성분은 밝기 성분이 제외된 순수한 색상 성분이므로 CIE-LAB 컬러 공간을 이용하면 색상 대비 맵을 생성할 수 있다. 6 is a flowchart illustrating a process of generating a color contrast map according to an embodiment of the present invention. Referring to FIG. 6, in operation 212, the important face tracking apparatus converts a color space of an input image from a color space of an RGB format to a color space of a CIE-LAB format. At this time, the image converted into the CIE-LAB color space is composed of the brightness component L, the blue component A component and the red component B component. That is, since the A component and the B component in the CIE-LAB color space are pure color components excluding the brightness component, a color contrast map can be generated using the CIE-LAB color space.

상기한 바와 같이 입력 영상의 컬러 공간을 CIE-LAB 컬러 공간으로 변환한 후, 중요 얼굴 추적 장치는 213단계에서 CIE-LAB 컬러 공간으로 변환된 영상 중 A색상에 대한 영상을 1/4크기로 다운 샘플링한다. 이는 A색상에 대한 영상 처리량을 축소하여 색상 대비 맵 생성 시간을 단축시키기 위함이다.After converting the color space of the input image into the CIE-LAB color space as described above, the critical face tracking device downsizes the image of the A color to 1/4 size among the images converted to the CIE-LAB color space in step 213. Sample. This is to reduce the color processing map generation time by reducing the image processing amount for the color A.

상기한 바와 같이 A 색상에 대한 영상을 다운 샘플링 한 후, 중요 얼굴 추적장치는 214단계에서 A색상에 대한 색상 대비 맵을 생성한다. 즉, 중요 얼굴 추적 장치는 1/4로 축소한 A 색상에 대한 영상에서 한 화소를 중심으로 N×N(예컨대 6×6, 7×7, 8×8 등) 크기의 필터들을 적용하여 A 색상에 대한 색상 대비 맵을 생성 한다. As described above, after downsampling an image for color A, the critical face tracking apparatus generates a color contrast map for color A in step 214. That is, the important face tracking device applies color filters of size N × N (for example, 6 × 6, 7 × 7, 8 × 8, etc.) centering on one pixel in an image of color A reduced to 1/4. Create a color contrast map for.

이러한 색상 대비맵 생성을 위한 식은 하기 수학식 1과 같다.The equation for generating the color contrast map is shown in Equation 1 below.

여기서, N×N은 필터의 크기, c는 필터의 중심점, b_i는 필터에 포함된 화소들, nc는 새로운 중심값이다.Here, N × N is the size of the filter, c is the center point of the filter, b _i is the pixels included in the filter, and nc is the new center value.

상기 수학식 1을 참조하면, 중요 얼굴 추적 장치는 중심점 c를 중심으로 N×N 크기의 필터에 포함된 화소들(b_i)과 차이를 구하고 그 차이의 합을 전체 화소의 합으로 나눈 값을 새로운 중심값 nc로 설정하는 과정을 각 화소마다 처리하여 A 색상에 대한 색상 대비맵을 생성한다.Referring to Equation 1, the important face tracking apparatus obtains a difference from pixels b _i included in an N × N size filter based on a center point c, and divides the sum of the differences by the sum of all pixels. The process of setting the new center value nc is processed for each pixel to generate a color contrast map for A color.

이때 중요 얼굴 추적 장치는 여러 개의 다른 크기의 필터를 적용하여 A 색상에 대한 색상 대비맵을 다수개 생성할 수 있다. 본 발명의 실시 예에서는 6×6, 7×7, 8×8 과 같은 3개의 필터를 적용하여 A 색상에 대한 색상 대비맵을 3개 생성한다.In this case, the important face tracking apparatus may generate a plurality of color contrast maps for the A color by applying a filter of different sizes. In an embodiment of the present invention, three color contrast maps for color A are generated by applying three filters such as 6 × 6, 7 × 7, and 8 × 8.

상기한 바와 같이 여러 개의 다른 크기의 필터들을 적용하는 경우 중요 얼굴 추적 장치는 여러 개 생성된 A의 색상 대비맵을 합하여 A 색상에 대한 색상 대비 맵 A_i를 생성한다.As described above, when applying filters of different sizes, the important face tracking apparatus generates a color contrast map A _i for the color A by combining the color contrast maps of several generated A.

또한 중요 얼굴 추적 장치는 215단계에서 CIE-LAB 컬러 공간으로 변환된 영 상 중 B 색상에 대한 영상을 1/4크기로 다운 샘플링한다. In addition, the critical face tracking device down-samples the B color image to 1/4 size of the image converted into the CIE-LAB color space in step 215.

그리고 나서 중요 얼굴 추적 장치는 216단계에서 상기 다운 샘플링된 B 색상 영상에 대한 색상 대비 맵을 생성한다. 본 발명이 실시 예에 따르면 B 색상에 대한 색상 대비 맵은 상기 A 색상에 대한 색상 대비맵 생성 방법과 유사하므로 간략히 설명한다. 즉, 중요 얼굴 추적 장치는 다운 샘플링된 B 색상에 대한 영상에 한 화소를 중심으로 N×N(예컨대 6×6, 7×7, 8×8 등) 크기의 필터들을 적용하여 B 색상에 대한 색상 대비 맵을 생성한다. 이때 중요 얼굴 추적 장치는 여러 개의 다른 크기의 필터를 적용하여 B 색상에 대한 색상 대비맵을 다수개 생성할 수 있다. 상기한 바와 같이 여러 개의 다른 크기의 필터들을 적용하는 경우 중요 얼굴 추적 장치는 여러 개 생성된 B의 색상 대비맵을 합하여 B 색상에 대한 색상 대비 맵 B_i를 생성한다.The critical face tracking device then generates a color contrast map for the downsampled B color image in step 216. According to an embodiment of the present invention, since the color contrast map for the B color is similar to the method for generating the color contrast map for the A color, it will be briefly described. In other words, the important face tracking device applies N × N (eg, 6 × 6, 7 × 7, 8 × 8, etc.) filters to down-sampled B-color images based on one pixel. Create a contrast map. In this case, the important face tracking apparatus may generate a plurality of color contrast maps for B colors by applying a filter of different sizes. As described above, in the case of applying filters of different sizes, the important face tracking apparatus generates a color contrast map B _i for the color B by adding the color contrast maps of several generated Bs.

상기한 바와 같이 A 및 B 색상에 대한 색상 대비 맵을 생성한 후, 중요 얼굴 추적 장치는 217단계에서 A 및 B 색상에 대한 색상 대비 맵을 조합한다.After generating the color contrast maps for the A and B colors as described above, the critical face tracking device combines the color contrast maps for the A and B colors in step 217.

A 및 B 색상에 대한 색상 대비 맵을 조합하기 위한 식은 하기 수학식 2와 같다.The formula for combining the color contrast map for the A and B colors is shown in Equation 2 below.

여기서, A_i는 A 색상에 대한 색상 대비맵이다. B_i는 B 색상에 대한 색상 대 비맵이다. C_map은 A 및 B 색상에 대한 색상 대비맵을 조합한 맵이다. 중요 얼굴 추적 장치는 상기 수학식 2와 같이 A 및 B 색상에 대한 색상 대비맵을 조합한 맵을 구한 후, 217단계에서 조합된 맵을 4배하여 원래 크기로 업 샘플링(up sampling)하여 최종 색상 대비맵(C _map)을 생성한다.Here, A _i is a color contrast map for A color. B _i is the color to nonmap for the B color. C _map is a combination of color contrast maps for A and B colors. The important face tracking device obtains a map combining color contrast maps for A and B colors as shown in Equation 2, and then, in step 217, up to 4 times the combined map and up-samples the original map to the final size. Create a contrast map ( C _map ).

또한, 상기 도 5의 220단계에서 중요 얼굴 추적 장치는 모션 맵 생성부(130)를 통해 모션 맵을 생성한다. 중요 얼굴 추적 장치는 모션 맵을 생성하기 위해 이전 영상 프레임과 현재 영상 프레임을 이용한다. 이러한 도 5의 220단계의 모션 맵 생성 과정이 도 7에 상세히 도시되어 있다.Also, in operation 220 of FIG. 5, the important face tracking apparatus generates a motion map through the motion map generator 130. The important face tracking apparatus uses the previous image frame and the current image frame to generate a motion map. The motion map generation process of step 220 of FIG. 5 is illustrated in detail in FIG. 7.

도 7은 본 발명의 실시 예에 따른 모션 맵 생성 과정에 대한 흐름도이다. 도 7을 참조하면, 중요 얼굴 추적 장치는 입력되는 영상으로부터 이전 영상 프레임과 현재 영상 프레임을 획득하고, 222단계에서 이전 영상 프레임과 현재 영상 프레임의 노이즈를 제거한다. 이때 노이즈 제거를 위해 가우시안(Gaussian)필터가 이용될 수 있다.7 is a flowchart illustrating a motion map generation process according to an embodiment of the present invention. Referring to FIG. 7, the important face tracking apparatus obtains a previous image frame and a current image frame from an input image, and removes noise of the previous image frame and the current image frame in step 222. In this case, a Gaussian filter may be used to remove noise.

상기한 바와 같이 노이즈 제거 후, 중요 얼굴 추적 장치는 223단계에서 이전 영상 프레임과 현재 영상 프레임을 1/4 크기로 다운 샘플링한다. 이는 역시 연산 속도를 빠르게 하기 위함이다.As described above, after removing noise, the important face tracking apparatus down-samples the previous image frame and the current image frame to 1/4 size in step 223. This is also to speed up the computation.

그리고 중요 얼굴 추적 장치는 224단계에서 상기 다운 샘플링된 이전 영상 프레임과 현재 영상 프레임간의 모션 벡터를 산출한다. 이때 이전 영상 프레임과 현재 영상 프레임간의 모션은 옵티컬 플로우(optical flow) 방식이나, 모션 벡터 방식을 이용하여 측정될 수 있다. 옵티컬 플로우 방식의 경우 비교적 정확한 모션을 측정할 수 있지만 빛의 변화나 노이즈에 민감한 특징이 있다. 모션 벡터 방식의 경우 및의 변화나 노이즈에 덜 민감하지만 옵티컬 플로우 방식보다 덜 정확한 특징이 있다. In operation 224, the important face tracking apparatus calculates a motion vector between the down-sampled previous image frame and the current image frame. In this case, the motion between the previous image frame and the current image frame may be measured using an optical flow method or a motion vector method. The optical flow method can measure relatively accurate motion, but it is sensitive to light changes and noise. The motion vector method is less susceptible to changes in and and noise but is less accurate than the optical flow method.

본 발명에서는 이전 영상 프레임과 현재 영상 프레임간의 모션을 측정함에 있어서 모션의 방향 보다는 크기(amplitude) 정보가 필요하므로 각 모션의 상대적 측정값이 필요하다. 따라서 기존으 모션 벡터 측정 방법을 이용하지 않고, 이를 변형한 모션 앰플리튜드(motion amplitude) 방법을 이용한다. 이를 위해 본 발명에서는 모션 벡터 측정 방법의 하나인 전역탐색법(full search)를 수행하여 모션 벡터를 측정한다. In the present invention, since the amplitude information rather than the direction of the motion is required to measure the motion between the previous video frame and the current video frame, a relative measurement value of each motion is required. Therefore, instead of using a conventional motion vector measurement method, a modified motion amplitude method is used. To this end, the present invention measures the motion vector by performing a full search, which is one of the motion vector measurement methods.

상기한 바와 같이 모션 벡터를 측정하고 나서, 중요 얼굴 추적 장치는 225단계서 모션 크기를 산출한다. 예컨대 중요 얼굴 추적 장티는 전역탐색법에 의해 측정된 모션 측정값의 크기를 전체 모션 크기의 합으로 나누어 각 모션의 크기값이 상대적인 값을 갖도록 한다.After measuring the motion vector as described above, the critical face tracking device calculates the motion magnitude in step 225. For example, the critical face tracking system divides the magnitude of the motion measurement measured by the global search method by the sum of the total motion magnitudes so that the magnitude of each motion has a relative value.

본 발명의 실시 예에 따르면 모션 크기 산출식은 하기 수학식 3과 같다.According to an embodiment of the present invention, the motion magnitude calculation equation is shown in Equation 3 below.

여기서, M_x,y는 각 모션 크기값이고, S_motion는 전체 모션의 크기의 합니다. 그 리고

은 상대적인 모션 크기값이다.Where M _{x, y} is the size of each motion and S _motion is the size of the entire motion. And

Is the relative motion magnitude value.

상기한 바와 같이 상대적인 모션 크기 산출 후, 중요 얼굴 추적 장치는 226단계에서 모션 크기를 정규화한다. 즉, 중요 얼굴 추적 장치는 상대적인 모션 크기의 최대값을 구하고, 그 최대값을 이용하여 상대적인 모션 크기를 0~225 값으로 정규화한다. After calculating the relative motion size as described above, the critical face tracking device normalizes the motion size in step 226. That is, the critical face tracking apparatus obtains the maximum value of the relative motion size and normalizes the relative motion size to a value of 0 to 225 using the maximum value.

본 발명의 실시 예에 따르면 상대적인 모션 크기를 정규화하는 식은 하기 수학식 4와 같다.According to an embodiment of the present invention, the equation for normalizing the relative motion magnitude is shown in Equation 4 below.

여기서,

는 상대적인 모션 크기값이고, max는 상대적인 모션 크기이 최대값이다. 225는 정규화를 위한 가중치이다. M_map은 정규화된 모션 크기값이다.here,

Is the relative motion magnitude value and max is the relative motion magnitude value. 225 is a weight for normalization. M _map is the normalized motion magnitude value.

수학식 4를 참조하면, 중요 얼굴 추적 장치는 상대적인 모션 크기값을 상대적인 모션 크기의 최대값으로 나누고, 그 최대값에 정규화 가중치를 곱하여 정규화된 모션 크기값을 산출한다.Referring to Equation 4, the important face tracking apparatus divides the relative motion magnitude value by the maximum value of the relative motion magnitude, and multiplies the maximum value by the normalization weight to calculate a normalized motion magnitude value.

그리고 중요 얼굴 추적 장치는 227단계에서 정규화된 모션 크기값(M_map)을 업 샘플링하여 모션 맵(M _xap)을 생성한다.In operation 227, the important face tracking apparatus up-samples the normalized motion magnitude value M _map to generate a motion map M _xap .

또한, 상기 도 5의 230단계에서 중요 얼굴 추적 장치는 얼굴 후보 영역 검출 부(140)를 통해 얼굴 후보 영역을 검출한다. 이러한 도 5의 230단계의 얼굴 후보 영역 검출 과정이 도 8에 상세히 도시되어 있다. In operation 230 of FIG. 5, the important face tracking apparatus detects the face candidate region through the face candidate region detector 140. The face candidate region detection process of step 230 of FIG. 5 is illustrated in detail in FIG. 8.

도 8은 본 발명의 실시 예에 따른 얼굴 후보 영역 검출 과정에 대한 흐름도이다. 도 8을 참조하면, 중요 얼굴 추적 장치는 232단계에서 카메라(110)에 의해 입력된 영상을 YCbCr 형식으로 변환한다. 이는 YCbCr 형식이 얼굴 영상 처리 속도가 빠르고 얼굴 정면 뿐만 아니라 기울어짐, 좌우 회선 등에 덜 민감하기 때문이다.8 is a flowchart illustrating a process of detecting a face candidate region according to an embodiment of the present invention. Referring to FIG. 8, in operation 232, the important face tracking apparatus converts an image input by the camera 110 into a YCbCr format. This is because the YCbCr format is fast in processing face images and is less sensitive to tilt, left and right lines as well as face front.

중요 얼굴 추적 장치는 입력 영상을 YCbCr 형식으로 변환 후, 234단계에서 Cb 및 Cr에 대해 미리 설정된 임계값을 이용하여 얼굴 후보 영역을 검출한다.The important face tracking apparatus detects the face candidate region using the threshold values preset for Cb and Cr in step 234 after converting the input image into the YCbCr format.

본 발명의 실시 예에 따르면 얼굴 후보 영역 검출을 위한 식은 하기 수학식 5와 같다.According to an embodiment of the present invention, an equation for detecting a face candidate region is shown in Equation 5 below.

여기서, Cb 의 입계값은 105<Cb<135이고, Cr의 임계값은 140<Cr<165이다. Cf는 상기 Cb 의 입계값 및 Cr의 임계값에 따라 산출된 얼굴 후보 영역이다.Here, the grain boundary of Cb is 105 <Cb <135 and the threshold of Cr is 140 <Cr <165. Cf is a face candidate region calculated according to the threshold of Cb and the threshold of Cr.

상기 수학식 5를 참조하면, Cb 및 Cr 값이 상기 임계값내에 존재하는 경우 Cf는 225가 되고, Cb 및 Cr 값이 상기 임계값내에 존재하지 않는 경우 Cf는 0이 된 다. Cf가 225인 경우 그 영역은 얼굴 후보 영역으로 검출하고, Cf가 0인 경우 그 영역은 얼굴 후보 영역으로 검출하지 않는다.Referring to Equation 5, Cf is 225 when the Cb and Cr values are within the threshold, and Cf is 0 when the Cb and Cr values are not within the threshold. If Cf is 225, the area is detected as a face candidate area. If Cf is 0, the area is not detected as a face candidate area.

상기한 바와 같이 미리 정해진 임계값을 만족하는 얼굴 후보 영역을 검출한 후, 중요 얼굴 추적 장치는 236단계에서 상기 검출된 얼굴 후보 영역 중 잘못 검출된 얼굴 후보 영역을 제거하고, 검출된 얼굴 후보 영역을 보정하여 최종 얼굴 후보 영역을 결정한다. 예컨대 중요 얼굴 추적 장치는 상기 검출된 얼굴 후보 영역 중 노이즈로 인해 잘못 검출된 얼굴 후보 영역을 제거하고 모폴로지 열림(morphology opening)을 실시하여 얼굴 영역 안에 포함된 구멍 등을 메운다. 모폴로지 열림은 얼굴 이진 영상에 대해 침식(Erosin) 연산과 팽창(Dilation) 연산을 번갈아 실시하는 방식으로 수행될 수 있다.After detecting the face candidate area that satisfies the predetermined threshold value as described above, the critical face tracking apparatus removes the wrongly detected face candidate area among the detected face candidate areas in step 236 and removes the detected face candidate area. The final face candidate area is determined by the correction. For example, the important face tracking apparatus removes a face candidate region that is incorrectly detected due to noise among the detected face candidate regions, and performs a morphology opening to fill holes included in the face region. The morphology opening may be performed by alternately performing an erosion operation and a dilation operation on the face binary image.

한편, 도 5의 240단계에서 중요 얼굴 추적 장치는 상기 생성된 색상 대비맵과 모션 맵을 이용하여 중요 대비 맵을 생성한다. 즉, 중요 얼굴 추적 장치는 상기 생성된 색상 대비맵과 모션 맵 각각에 가중치를 적용하고, 각각 가중치 적용된 맵을 선형 조합하여 중요 대비 맵을 생성한다. Meanwhile, in operation 240 of FIG. 5, the important face tracking apparatus generates an important contrast map using the generated color contrast map and the motion map. That is, the important face tracking apparatus applies weights to each of the generated color contrast map and the motion map, and linearly combines the weighted maps to generate the importance contrast map.

본 발명의 실시 예에 따르면 중요 대비맵 생성을 위한 식은 하기 수학식 6과 같다. According to an embodiment of the present invention, the equation for generating the important contrast map is shown in Equation 6 below.

여기서, a는 가중치 파라메터이고, C _map은 색상 대비맵이고, M _map은 모션 대비 맵이다. S _map은 중요 대비맵이다.Here, a is a weight parameter, C _map is a color contrast map, and M _map is a motion contrast map. S _map is an important contrast map.

수학식 6을 참조하면, 본 발명의 실시 예에서는 모션 대비와 색상 대비를 적절하게 유지하기 위해 a의 기본값을 0.5로 설정한다. a는 모션 대비와 색상 대비 중 원하는 대비를 부각시기키 위해 적절히 조절될 수 있다. a>0.5인 경우 모션 대비 보다 색상 대비가 강조되므로 움직임이 작더라도 두드러진 색상을 띈다면 색상 영역이 중요 대비 맵에서 큰 수치를 가지게 된다. 또한 a<0.5인 경우 색상 대비 보다 모션 대비가 강조되므로 모션이 두드러지게 크다면 모션 영역이 중요 대비맵에서 큰 수치를 가지게 된다.Referring to Equation 6, in the embodiment of the present invention, the default value of a is set to 0.5 to properly maintain the motion contrast and the color contrast. a can be adjusted appropriately to highlight the desired contrast between motion contrast and color contrast. In the case of a> 0.5, the color contrast is emphasized more than the motion contrast, so that even if the movement is small, the color gamut will have a large number in the important contrast map if the color is outstanding. In addition, if a <0.5, the motion contrast is emphasized rather than the color contrast, so if the motion is significantly larger, the motion area will have a large number on the important contrast map.

상기한 바와 같이 중요 대비맵을 생성한 후, 도 5의 242단계에서 중요 얼굴 추적 장치는 상기 생성된 중요 대비맵과 얼굴 후보 영역을 결합하여 중요 얼굴 영역군을 설정한다. After generating the important contrast map as described above, in step 242 of FIG. 5, the important face tracking apparatus sets the important face region group by combining the generated important contrast map and the face candidate area.

본 발명의 실시 예에 따르면 중요 얼굴 영역군 설정을 위한 식은 하기 수학식 7과 같다.According to an embodiment of the present invention, the equation for setting the important face area group is shown in Equation 7 below.

여기서, T는 미리 정해진 중요 대비맵의 크기 임계값이고, Cf는 얼굴 후보 영역이고, S _map은 중요 대비맵이다. 그리고 Sf 중요 얼굴 영역군이다. Here, T is a predetermined threshold value of the critical contrast map, Cf is a face candidate area, and S _map is an important contrast map. And Sf is an important facial area group.

상기 수학식 7을 참조하면, 중요 얼굴 추적 장치는 이때 중요 얼굴 추적 장 치는 중요 대비맵(S _map)의 크기가 일정 임계값(T)이상인 영역에 대해서만 얼굴 후보 영역(Cf)과의 결합을 시도하고, 그렇지 않을 경우에는 제거하여 전체 후보 얼굴 영역들 중 중요한 중요 얼굴 영역(Sf )들만을 검출되도록 한다.Referring to Equation 7, the important face tracking device attempts to combine the face candidate area Cf only with respect to the area where the size of the important contrast map S _map is greater than or equal to a predetermined threshold T. Otherwise, it is removed so that only important face areas Sf among the entire candidate face areas are detected.

그리고 얼굴 추적 장치는 244단계에서 상기한 바와 같이 중요 얼굴 영역(Sf )군에 포함된 각 중요 열굴 영역(Sf )들이 각 중요 얼굴 영역(Sf )들이 얼굴 조건을 만족하는지 판단한다. 이는 중요 얼굴 영역(Sf )군에 포함된 각 중요 얼굴 영역(Sf )들이 실제 얼굴 영역인지 여부를 판단하고, 실제 얼굴로 판단된 영역들 중 가장 중요한 얼굴 영역을 결정하기 위함이다.And face tracking apparatus determines in step 244 that each critical Face area (Sf) to each important face region (Sf) included in the important face region (Sf) the group to satisfy the conditions as described above face. This is to determine whether each of the important face areas Sf included in the important face area Sf group is an actual face area, and determine the most important face area among the areas determined as the actual face.

본 발명의 실시 예에 따르면 얼굴 추적 장치는 우선 중요 얼굴 영역(Sf )군에 포함된 중요 얼굴 영역(Sf )들 각각에 라벨링(labeling)을 하고 즉, 번호를 부여하고, 번호가 부여된 각 영역들이 하기와 같은 조건을 만족할 경우 실제 얼굴 영역으로 판단한다.According to an embodiment of the invention the face tracking device is first important face region (Sf) the group the important face region (Sf) to each area of the label (labeling) each and that is, given a number, and the number is assigned contains the If they meet the following conditions, it is determined as the real face area.

예컨대 실제 얼굴 영역인지 여부 판단 조건은, For example, whether the condition is a real face area is

1. 얼굴 영역의 크기가 영상의 크기에 비례하여 0.2%이상인지 여부,1. Whether the size of the face area is 0.2% or more in proportion to the size of the image,

2. 얼굴 영역의 장축(세로)과 단축(가로)의 비가 1 이상 2.2 이하인지 여부, 2. Whether the ratio of the long axis (length) and short axis (width) of the facial area is 1 or more and 2.2 or less,

3. 얼굴 영역에서 수평(X)방향과 수직(Y)방향에 대한 소벨 에지(Sobel Edge) 각각의 합의 비(X/Y)가 0.9이상인지의 여부 등이 될 수 있다.3. In the face region, the sum of the sums (X / Y) of the Sobel Edges with respect to the horizontal (X) direction and the vertical (Y) direction may be 0.9 or more.

상기 조건들 중 조건 1은 작은 얼굴 영역들을 무시하기 위한 조건이다. 얼굴 추적 장치는 각 중요 얼굴 영역(Sf )들이 조건 1을 만족하는지 판단하기 위해 각 중요 얼굴 영역(Sf )들의 화소값을 전체 영상의 화소 값으로 나누어 결과값이 0.2%이상인지 판단한다.Condition 1 of the above conditions is a condition for ignoring small face areas. Face tracking apparatus determines whether each of the important face region (Sf) are divided into a pixel value the result of the entire image, a pixel value of each of the important face region (Sf) to determine whether they meet the first condition at least 0.2%.

또한, 조건 2는 각 중요 얼굴 영역(Sf )들이 일반적인 사람 얼굴의 가로 세로 길이 비(ratio)를 만족하는지를 판단하기 위한 조건이다. 얼굴 추적 장치는 각 중요 얼굴 영역(Sf )들이 조건 2를 만족하는지 판단하기 위해 각 각 중요 얼굴 영역(Sf )들의 가로 세로 길이를 측정하고 세로 길이를 가로 길이로 나누어 결과값이 1 이상 2.2이하인지 판단한다.In addition, condition 2 is a condition for determining whether each of the important face areas Sf satisfy the aspect ratio of the general human face. Face tracking device that each significant face area (Sf) are more than the result by dividing the height and measuring the horizontal and vertical lengths of each important face region (Sf) to determine whether they satisfy the condition 2 to the width of value 1 2.2 or less To judge.

또한, 조건 3은 각 중요 얼굴 영역(Sf )들이 통상적인 얼굴과 같이 X방향 에지가 Y방향 에지보다 두드러진 특징을 가지는 지를 판단하기 위한 조건이다. 얼굴 추적 장치는 각 중요 얼굴 영역(Sf )들의 X방향 에지가 Y방향 에지보다 0.9이상 두드러지는지 여부를 판단한다.In addition, condition 3 is a condition for determining whether each of the important face areas Sf has a characteristic that the X-direction edge is more prominent than the Y-direction edge like a normal face. The face tracking apparatus determines whether the X-direction edge of each of the important face regions Sf is more than 0.9 than the Y-direction edge.

상기한 바와 같은 3가지 조건을 사용할 경우 본 발명의 실시 예에 따른 중요 얼굴 추적 장치는 기존의 방법처럼 형판(template)를 이용하거나 학습된 데이터와 매칭하는 과정을 거치지 않으므로 적은 처리 시간과 적은 메모리 용량으로 중요 얼굴을 결정할 수 있게 된다.In the case of using the above three conditions, the important face tracking apparatus according to the embodiment of the present invention does not go through the process of using a template or matching the learned data as in the conventional method, so that the processing time and the memory capacity are small. You will be able to determine the important face.

중요 얼굴 영역(Sf )이 상기한 바와 같은 3가지 조건을 모두 만족하지 않을 경우 중요 얼굴 추적 장치는 246단계에서 그 중요 얼굴 영역(Sf )을 상기 중요 얼굴 영역(Sf )군에서 제거한다. Important that the face region (Sf) are three important, if not satisfy the condition face tracking device as described above to remove the important face region (Sf) in step 246 in the important face region (Sf) group.

그리고 중요 얼굴 영역(Sf )이 상기한 바와 같은 3가지 조건을 모두 만족할 경우 중요 얼굴 추적 장치는 248단계에서 최종 중요 얼굴 영역을 결정한다. 이때 중요 얼굴 추적 장치는 중요 대비맵(S _map)을 이용하여 상기한 바와 같은 3가지 조건을 모두 만족하는 중요 얼굴 영역(Sf )들 중 중요 대비맵(S _map)값이 가장 큰 중요 얼굴 영역을 최종 중요 얼굴로 결정한다.If the important face area Sf satisfies all three conditions as described above, the important face tracking apparatus determines the final important face area in step 248. At this time, the important face tracking apparatus uses an important contrast map ( S _map ) to select the important face region having the largest S _map value among the important face regions Sf satisfying all three conditions as described above. Decide on your final critical face.

그리고 최종 중요 얼굴이 결정되면 중요 얼굴 추적 장치는 250단계에서 최종 중요 얼굴을 추적하기 위한 카메라 이동거리를 추정한다. 즉, 중요 얼굴 추적 장치는 전체 영상의 가운데 중심점을 기준으로 상기 결정된 최종 중요 얼굴에 대한 영상의 중심점과의 거리를 이용하여 카메라 이동거리를 추정하고, 그에 따른 카메라 이동량을 설정한다. 이때 카메라 이동량은 '추정된 이동거리 × d'와 같이 설정될 수 있다. 이때 d는 카메라 사양에 따른 이동값으로 사용자에 의해 미리 설정될 수 있다. 카메라 이동거리 추정이 완료되면, 중요 얼굴 추적 장치는 252단계에서 상기 설정된 카메라 이동량에 따라 카메라(110)를 제어하여 중요 얼굴을 추적한다.When the final important face is determined, the important face tracking apparatus estimates a camera moving distance for tracking the final important face in step 250. That is, the important face tracking apparatus estimates the camera moving distance by using the distance from the center point of the image for the final important face based on the center point of the entire image, and sets the camera movement amount accordingly. At this time, the camera movement amount may be set as 'estimated movement distance x d'. In this case, d may be preset by the user as a movement value according to the camera specification. When the camera movement distance estimation is completed, the important face tracking apparatus controls the camera 110 according to the set camera movement amount in step 252 to track the important face.

상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다. While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. Therefore, the scope of the present invention should not be limited by the described embodiments but should be determined by the equivalents of the claims and the claims.

상술한 바와 같이 본 발명은 입력 영상에 여러 사람이 존재하여도 특정 한 사람을 중요한 사람으로 인식하여 그 중요한 사람만을 추적할 수 있도록 하는 효과 가 있다.As described above, the present invention has an effect of recognizing a particular person as an important person and tracking only the important person even if several people are present in the input image.

또한 본 발명은 많은 수의 특징 맵을 사용하지 않고 인간의 시각적 특징에 따른 소수의 맵을 사용하여 중요 얼굴을 검출 및 추적함으로써 적은 계산량이 요구되며, 시간이 적게 걸리는 효과가 있다.In addition, the present invention requires a small amount of calculation by using a small number of maps according to the visual characteristics of a human being, without using a large number of feature maps, and thus requires a small amount of computation and takes time.

또한 본 발명은 입력된 영상에 여러 얼굴이 존재할 경우 이들 중 어떠한 얼굴이 중요한 얼굴인지 구분하여 중요 얼굴만 추적하므로, 무인 감시 시스템 또는 로봇 시스템 등에 적용되어 여러 객체들 중 침입자 등과 같은 특정 사람을 쉽게 검출 및 추적할 수 있도록 한다.In addition, in the present invention, if there are multiple faces in the input image, only the important faces are tracked by distinguishing which of these faces are important faces, and thus, it is applied to an unmanned surveillance system or a robot system to easily detect a specific person such as an intruder among various objects. And to be traceable.

예컨대 현재 감시 시스템에서는 입력 영상에 움직임이 감지되면 움직이는 객체를 침입자로 간주하지만, 본 발명에서는 움직임이 감지될 경우 움직이는 객체들 중 사람의 얼굴을 찾고 사람의 얼굴이 있는지 여부에 따라 침입자를 판단하므로 침입자 판단을 더욱 정확하게 할 수 있는 효과가 있다.For example, in the current surveillance system, when a motion is detected in the input image, the moving object is regarded as an intruder. However, in the present invention, when the motion is detected, the intruder is determined by looking for the face of the moving object and determining the intruder according to whether there is a face of the person. It is effective to make judgment more accurately.

Claims

In an important face tracking device in an unmanned surveillance robot,

A camera that shoots video,

Generates a color contrast map according to the degree of color contrast with respect to the photographed image, a motion map according to the motion size between the previous image frame and the current image frame for the photographed image, and combines the color contrast map and the motion map. A map generator for generating an important contrast map,

A face candidate region detector for detecting a face candidate region similar to the face image among the photographed images;

An important face detector which detects important face regions by combining the important contrast map and the face candidate region, and determines a final important face of one of the detected important face regions;

And an important face tracking unit for controlling the camera to track the determined final important face.

In an important face tracking method in an unmanned surveillance robot,

Receiving an image captured by the camera;

Generate a color contrast map according to the color contrast level of the input image, a motion map according to the motion size between the previous image frame and the current image frame for the input image, and combine the color contrast map and the motion map Creating a critical contrast map,

Detecting a face candidate region similar to the face image from the input image;

Detecting important face regions by combining the important contrast map and the face candidate region;

Determining a final important face of one of the detected important face regions;

Controlling the camera to track the determined final critical face.

delete

The method of claim 2, wherein the generating of the color contrast map comprises:

Converting the input image into a CIE (Commission Internationale de l'Eclairage) -LAB format;

Generating at least one color contrast map for at least one color in the converted image;

And generating a color contrast map combining the at least one color contrast map.

The method of claim 4, further comprising downsampling the image for the at least one color at a predetermined magnification to generate a color contrast map for the at least one color.

6. The method of claim 5, further comprising upsampling a color contrast map combining a color contrast map for the at least one color at a predetermined magnification.

The method of claim 2, wherein the generating of the motion map comprises:

Measuring a motion vector between a previous image frame and a current image frame of the input image;

And generating a motion map by using the magnitude value of the motion vector.

The method of claim 7, further comprising down sampling a previous image frame and a current image frame of the input image.

The method of claim 7, wherein the generating of the motion map by using the magnitude value of the motion vector comprises:

Calculating a relative motion magnitude of the motion vector;

Normalizing the relative motion magnitudes;

And upsampling the normalized motion magnitude to generate a motion map.

The process of claim 2, wherein the combining the color contrast map and the motion map to generate an important contrast map comprises:

Applying a predetermined weight to each of the generated color contrast map and motion map;

And linearly combining the weighted color contrast map and the motion map to generate an important contrast map.

The method of claim 2, wherein the detecting of the face candidate area comprises:

Determining whether a color of the input image is within a preset range with respect to a face color;

And detecting the face candidate area when the color of the input image is within the preset range.

Converting the input image into a YCbCr format;

Determining whether the Cb and Cr colors of the converted color are within a range for the predetermined Cb and Cr colors;

If the Cb and Cr colors are within a range for a predetermined Cb and Cr color, detecting the corresponding area as a face candidate area.

And removing the face candidate area erroneously detected due to noise among the detected face candidate areas.

14. The method of claim 13, further comprising correcting the detected face region by performing a morphology opening.

The method of claim 2, wherein the detecting of the important face areas comprises:

Identifying an area whose size of the critical contrast map is greater than or equal to a predetermined threshold value;

And detecting only the important face areas by attempting to combine the face candidate area with only an area whose size of the important contrast map is greater than or equal to a predetermined threshold value.

The method of claim 2, wherein the determining of the final important face of one of the detected important face areas comprises:

Determining whether the important face areas are real face areas;

And determining at least one final critical face among the areas determined as the actual face as a result of the determination.

The method of claim 16, wherein the determination condition of the real face area is:

And determining whether or not the size of the important face area is greater than or equal to a predetermined size.

And a condition for determining whether the important face region satisfies a predetermined aspect ratio with respect to a human face.

And applying a Sobel edge algorithm to the critical face region, wherein the condition determines whether a horizontal edge has a more pronounced feature than a vertical edge like a normal human face.

Whether the size of the important face area is 0.2% or more in proportion to the size of the image, whether the ratio of the long axis (length) and the short axis (horizontal) of the important face area is 1 or more and 2.2 or less, horizontal (X) in the important face area At least one condition or a condition in which at least two are combined, whether or not the sum (X / Y) of each of the Sobel Edges with respect to the direction and the vertical (Y) direction is 0.9 or more. .

The method of claim 2, wherein the tracking of the determined final important face is performed.

Estimating a camera movement distance according to a distance from the center point of the image with respect to the determined final important face based on the center point of the input image;

And controlling a camera according to the estimated camera movement distance to track an important face.

delete